跳到正文
今天10月16日周五1 条
  1. The Decoder82

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,单题成本不足 3 美元

    一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。

    推荐理由:读者可看到智能体在理论物理论文级计算上的实际得分与成本,以及作者对研究品味与资源门槛的讨论。

10月15日周四
10月5日周一
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。

7月26日周日
  1. Berkeley AI Research36

    Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互摘要

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要以自然语言"信念状态"形式隔离并监督其信息内容,用受自编码器启发的信念评分作为辅助 RL 任务。在协作编程基准 CollabBench 上,采用重建式信念评分的 ABBEL-rec-BG 将相对全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值 token 长度也低于全上下文设置。