Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在 Amazon SageMaker AI 上的内核工程优化,通过 Swap-AB 转置让 Hopper 的 WGMMA 指令充分利用专家维度(N=8192),在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及以上版本。
针对 MoE 模型在 Amazon SageMaker AI 上的内核工程优化,通过 Swap-AB 转置让 Hopper 的 WGMMA 指令充分利用专家维度(N=8192),在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及以上版本。
机器学习先驱 Michael I. Jordan 在接受《Libération》采访时,将 AI 末日论和超级智能警告斥为科幻,称 AI 公司呼吁监管是"作秀"。他把 Anthropic 研究员 Jacob Coxon 的辞职事件视为"宏大的道德表演",批评这些年轻员工并非真正的工程师。他还质疑万亿级数据中心投资能否回本,认为用开放权重模型即可满足专业领域需求。
Floqer 计划开源其自主客户知识数据库,目标 2027 年初发布,尚待安全审查。该平台用 AI 智能体跨 100 多个第三方数据源自动调研潜客、补全并持续更新客户记录,客户反馈调研时间最多减少 70%。公司称 ARR 已超 120 万美元,过去一年整体营收增长约十倍,现有 1000 多家客户,包括 Perplexity、Wise 和 AngelList。
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative,为欧洲科研界提供加速工具、算力、培训与创业支持。
北欧正加速建设欧洲重要科技生态,预计到 2027 年底部署 1 吉瓦 AI 云容量,Bitdeer、CoreWeave、Crusoe、Nscale 等云厂商参与其中。
英伟达 CEO 黄仁勋在欧洲之行中宣布,将于下周起在欧洲新增 20 亿美元投资,并披露对法国初创公司 Doctolib、Genesis AI、Pigment 和 Entalpic 的新持股。
Google 的 Gemini 4 Argon 正式 GA,覆盖编码、知识工作、企业工作流与网络防御,API 入门价为每百万输入/输出 token 2 美元/10 美元,缓存输入折扣 95%,11 月 30 日后价格翻倍至 4 美元/20 美元。
Anthropic 发布报告称,Z.ai 于 8 月发布的开源模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。围绕开放模型应否开源的争论持续已久,Nvidia CEO 黄仁勋主张美国发展更多开放模型,Anthropic 的 Dario Amodei 则主张更谨慎。
NVIDIA 宣布计划投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,分别覆盖医疗智能体、原子级材料工程、通用机器人和企业规划平台。
Python 3.15 正式发布,新增 PEP 810 显式惰性导入(lazy import)和 PEP 798 推导式解包语法,标准库还引入采样分析器 Tachyon(profiling.sampling)。
NVIDIA 在 OCP 全球峰会上通过开放的 NVIDIA MGX 架构,向 OCP 贡献了 Vera Rubin 机架和计算托盘设计,为系统构建商提供开发下一代 AI 工厂基础设施的共同基础。
推荐理由:NVIDIA 在 OCP 峰会上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构,读者可据此了解 AI 工厂基础设施的开放标准进展。
Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、Apache 2.0 许可,原生将文本、图像、音频和视频映射到统一嵌入空间,参数量 7.4 亿。
推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到端侧嵌入空间,并给出参数量与内存占用,便于判断本地多模态检索的可行性。