Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在 Amazon SageMaker AI 上的内核工程优化,通过 Swap-AB 转置让 Hopper 的 WGMMA 指令充分利用专家维度(N=8192),在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及以上版本。
针对 MoE 模型在 Amazon SageMaker AI 上的内核工程优化,通过 Swap-AB 转置让 Hopper 的 WGMMA 指令充分利用专家维度(N=8192),在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及以上版本。
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative,为欧洲科研界提供加速工具、算力、培训与创业支持。
北欧正加速建设欧洲重要科技生态,预计到 2027 年底部署 1 吉瓦 AI 云容量,Bitdeer、CoreWeave、Crusoe、Nscale 等云厂商参与其中。
NVIDIA 宣布计划投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,分别覆盖医疗智能体、原子级材料工程、通用机器人和企业规划平台。
NVIDIA 在 OCP 全球峰会上通过开放的 NVIDIA MGX 架构,向 OCP 贡献了 Vera Rubin 机架和计算托盘设计,为系统构建商提供开发下一代 AI 工厂基础设施的共同基础。
推荐理由:NVIDIA 在 OCP 峰会上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构,读者可据此了解 AI 工厂基础设施的开放标准进展。
Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、Apache 2.0 许可,原生将文本、图像、音频和视频映射到统一嵌入空间,参数量 7.4 亿。
推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到端侧嵌入空间,并给出参数量与内存占用,便于判断本地多模态检索的可行性。