Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在 Amazon SageMaker AI 上的内核工程优化,通过 Swap-AB 转置让 Hopper 的 WGMMA 指令充分利用专家维度(N=8192),在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及以上版本。
针对 MoE 模型在 Amazon SageMaker AI 上的内核工程优化,通过 Swap-AB 转置让 Hopper 的 WGMMA 指令充分利用专家维度(N=8192),在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及以上版本。
AWS 发布教程,介绍如何在 Amazon Bedrock 上基于 SpaceXAI 的 Grok 4.7 构建工具调用智能体,并评测其 reasoning effort 分档表现。
推荐理由:AWS 官方给出 Grok 4.7 在 Bedrock 上搭建工具调用智能体的完整评测方法,含 72 次运行的分档对比与生产监控思路。
亚马逊云科技介绍如何用 Amazon Bedrock AgentCore 构建智能体式 IDP 系统,由 8 个专用智能体组成识别与训练两条图工作流,自动分类、提取、校验并从新文档格式中学习。
基于 Amazon Bedrock AgentCore 的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中不到 90 秒完成。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,再生成带护栏和回滚指引的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且零生产事故。Tami 由调查、安全评分、修复和代码生成四个专用智能体组成,通过单一 API 按任务调用不同基础模型。
Amazon SageMaker JumpStart 支持从模型目录部署预训练模型,并用 SageMaker Python SDK 跑轻量可复现的性能测试,测完删除端点。
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器,替代此前的 LLM 流水线,用户对告警的接受度提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超过 98%。
Amazon Bedrock 的托管权益(managed entitlements)支持从中心账户订阅一次第三方 AI 模型,再把访问权限分发到组织内多个 AWS 账户。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 构建了 Slack 内的 AI IT 服务台 Deckhand,可解答常规 IT 问题、识别报错截图并创建和更新 Jira Service Management 工单。
GitHub Copilot 提供四种方式让 Copilot 理解项目上下文:仓库级自定义指令(.github/copilot-instructions.md)、可复用的 agent skills(.github/skills)、面向复杂任务的 custom agents(.github/agents),以及连接外部工具与数据的 MCP servers。
GitHub 发文指出,AI 正在改变开发者工作方式,写代码仍重要,但开发者更需要学会指挥 AI 智能体、评估其输出并做出技术决策。文章给出三项技能:学会指挥 AI 而非只是使用它;不要轻信 AI 的第一个答案,可让第二个模型进行批判,GitHub Copilot 内置的 Rubber Duck agent 就用第二个模型审查计划、代码和测试;用 AI 节省的时间去解决更大的问题。
GitHub Copilot 应用推出 canvases(画布扩展),一种用户与智能体共享的可定制界面,可做成看板、问题分诊板、发布清单或仪表盘。在智能体会话中输入 /create-canvas 并用自然语言描述工作流,无需编码即可生成界面,画布双向同步,双方可同时修改。画布保存为扩展,可随项目共享或存为个人扩展,Awesome Copilot 已提供现成模板。
GitHub Copilot 应用推出 canvas,一种运行在应用内、无浏览器外壳的全栈小应用,可与 Copilot 智能体双向通信,并能在本地执行代码、调用第三方 API。文中演示了用 canvas 做 Connect 4 游戏、Winget 包管理界面和 SQLite 操作界面,认为智能体应构建工具而非充当工具,以避免浪费 token。