Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在 Amazon SageMaker AI 上的内核工程优化,通过 Swap-AB 转置让 Hopper 的 WGMMA 指令充分利用专家维度(N=8192),在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及以上版本。
针对 MoE 模型在 Amazon SageMaker AI 上的内核工程优化,通过 Swap-AB 转置让 Hopper 的 WGMMA 指令充分利用专家维度(N=8192),在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及以上版本。
AWS 发布教程,介绍如何在 Amazon Bedrock 上基于 SpaceXAI 的 Grok 4.7 构建工具调用智能体,并评测其 reasoning effort 分档表现。
推荐理由:AWS 官方给出 Grok 4.7 在 Bedrock 上搭建工具调用智能体的完整评测方法,含 72 次运行的分档对比与生产监控思路。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中与 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,通过结构化 CUDA-to-MLX 翻译层把已有 CUDA 内核作为知识库,在 Apple Silicon 上生成高质量内核。
推荐理由:K-Search 把 CUDA 内核优化经验迁移到 Apple Silicon,给出注意力与 Mamba 两类内核的实测数据,可看跨平台迁移方法。
Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要以自然语言"信念状态"形式隔离并监督其信息内容,用受自编码器启发的信念评分作为辅助 RL 任务。在协作编程基准 CollabBench 上,采用重建式信念评分的 ABBEL-rec-BG 将相对全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值 token 长度也低于全上下文设置。
伯克利人工智能研究实验室(BAIR)展示 2026 届博士毕业生,研究方向覆盖机器人、具身智能、大语言模型与推理、计算机视觉、生成建模、AI 安全、人机交互及 AI for science 与医疗。毕业生去向包括 OpenAI、Mistral AI、Physical Intelligence、Amazon 等机构,以及 UCLA、普林斯顿 CITP 等学术岗位,部分人正在创业或寻找下一步机会。
伯克利 AI 研究团队梳理了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。现有方法如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 的并行结构多由外部设定,未教会模型自适应行为。
伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让基于学习世界模型的长时程规划变得可行。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维视觉模型脆弱梯度等问题。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约 10x 更少的消融达到 SPEX 的性能。