跳到正文

#评测与社区

今日 1 条
10月11日周日
  1. 北京智源研究院

    AgentWorld 基准评测:最强模型团队仅完成 52% 协作任务

    OpenAgents 联合哥伦比亚大学、宾夕法尼亚大学等机构构建了多智能体协作评测基准 AgentWorld,在 100 个人工设计任务及 100 个增强变体上评测 Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini 和 DeepSeek R1-70B。

    AI 评分42

    AI 评分 42 / 100

  2. 北京智源研究院精选

    Google 发布生图模型 Nano Banana 2.1:4K 直出、中文渲染提升、API 降价

    Google 发布新一代生图模型 Nano Banana 2.1,围绕视觉设计、蒙版编辑、主体一致性和画面真实自然性全面升级,支持 4K 直出。据 Arena 评测,其在文本转图像、多图像编辑和单张图像编辑三项上平均提升约 61.7 分,其中文本转图像排名第四、比上一代提升 80 分,仅次于 GPT。

    AI 评分71

    AI 评分 71 / 100

10月10日周六
  1. 量子位精选

    Google 发布生图模型 Nano Banana 2.1:支持 4K 直出,中文渲染明显进步

    Google 发布新一代生图模型 Nano Banana 2.1,围绕视觉设计、蒙版编辑、主体一致性和画面真实自然性升级,支持 4K 直出。据 Arena 评测,其在文本转图像、多图像编辑和单张图像编辑三项上平均提升约 61.7 分,文本转图像排名第四、仅次于 GPT。

    AI 评分71

    AI 评分 71 / 100

  2. cnBeta精选

    尊界 V800 刹车踏板断裂争议:懂车帝测试与标准之争

    懂车帝对尊界 V800 进行制动测试时,刹车踏板底座在全力制动下发生断裂,第三次测试中压力读数达 1612N 时踏板底座脆断,江淮集团股价连续两天跌停。尊界回应称 V800 刹车踏板强度高于现行强制国标和推荐性团体标准,已提车用户未发现类似故障,将优化部件设计并提供免费升级。

    AI 评分62

    AI 评分 62 / 100

  3. 北京智源研究院

    墨尔本大学等发布多会话语音记忆基准 VoxMem,15 个音频大模型 32K 下无一超 40%

    墨尔本大学与新南威尔士大学联合团队提出多会话语音记忆基准 VoxMem,用「声学证据×记忆操作」二维分类法覆盖 15 种考察组合,含 3,196 个评测实例、34,743 个语音会话(约 177 小时)。对 15 个音频大模型的评测显示,32K 历史长度下无一整体准确率超过 40%,追踪语气变化和背景声变化的平均准确率仅为 3.4% 与 1.2%。 brief: yes

    AI 评分38

    AI 评分 38 / 100

10月9日周五
  1. TechCrunch · AI精选

    AI 排行榜 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元

    AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。

    AI 评分62

    AI 评分 62 / 100

10月8日周四
  1. Simon Willison精选

    Anthropic 发布 Claude Haiku 5.5 并调整 API 定价

    Anthropic 发布快速低成本模型 Claude Haiku 5.5,价格与 OpenAI 的 GPT-6 Luna 一致,为每百万输入 0.10 美元、输出 0.50 美元,超过 100,000 tokens 后涨至 0.50/2.50 美元。

    AI 评分74

    AI 评分 74 / 100

10月7日周三
  1. Simon Willison

    Mistral Large 4

    Simon Willison 用同一提示词测试 Mistral Large 4 生成 SVG 的能力,与 Claude Opus 5.5、GPT-6.1-sol、Gemini 3.8 Flash 进行对比,提示词为"生成一只穿渔网袜在火星上乱穿马路的犰狳"。各模型均使用默认推理级别。

    AI 评分32

    AI 评分 32 / 100

10月6日周二
  1. TechCrunch · AI精选

    HackerRank 正式上线 AI 面试官 Chakra

    HackerRank 将其 AI 面试官 Chakra 面向客户正式开放,此前约六个月的测试中已完成超过 50 万场面试,Snowflake、Snorkel、Capgemini 等公司参与试用。

    AI 评分62

    AI 评分 62 / 100

10月4日周日
10月3日周六
  1. Latent Space精选

    AINews:GPT-6.1 Sol 与 Sonnet 5.5 重塑成本性能前沿

    Latent Space 的 AINews 汇总 10 月 1 日至 2 日动态:OpenAI 发布 GPT-6.1 Sol,定价为每百万输入/输出 token 2 美元和 10 美元,据称在 DeepSWE v1.1 上比 GPT-6 Sol 高 6.4 分,在 AutomationBench 上比 Opus 5.5 高 2.2 分。

    AI 评分70

    AI 评分 70 / 100

9月30日周三
9月23日周三
  1. OpenAI News

    OpenAI 推出 MentalHealthBench

    OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。

    AI 评分31

    AI 评分 31 / 100

9月22日周二
9月16日周三
9月3日周四
9月2日周三
8月28日周五
8月21日周五
  1. Hugging Face Blog精选

    Hugging Face 研究量化语音识别中的基准优化现象

    Hugging Face 发布研究,用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。结果显示部分 WER 最低的模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,包括音频中被静音的数字,在 VoxPopuli 上复现错误参考的比例为 18–30%。

    AI 评分62

    AI 评分 62 / 100

8月17日周一
8月13日周四
  1. Microsoft Research

    MindTopo 基准揭示多模态大模型的空间推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型在连通性、封闭性、顺序、分离与打结等拓扑概念上的推理与规划能力。测试显示,模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,且整体远低于人类水平。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列操作时仍不可靠。

    AI 评分38

    AI 评分 38 / 100

8月11日周二
8月10日周一
  1. Import AI

    Import AI 468:23 条 RSI 政策建议、PostTrainBench+,以及信任与透明度如何影响 AI 竞赛

    Import AI 第 468 期收录了智库 IFP 提出的 23 条政策建议,分属 7 个类别,用于帮助政策制定者应对 AI 研发进一步自动化的风险。MIT 与 Columbia 的论文《Racing to Ruin》分析双寡头 R&D 竞争,认为信任与透明度是竞争对手实现协调减速的两个关键变量。本期还介绍了 PostTrainBench+ 以及一篇关于智能机器与机器人身体的虚构短篇故事。

    AI 评分32

    AI 评分 32 / 100

8月4日周二
  1. Microsoft Research精选

    微软研究院开源 Orchard:面向可扩展智能体 AI 的开放框架

    微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用于软件工程、网页导航和个人助理等任务,并支持在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中直接训练智能体。

    AI 评分72

    AI 评分 72 / 100

7月29日周三
7月27日周一
7月15日周三
7月8日周三
7月1日周三
  1. Hugging Face Blog

    ScarfBench:面向企业级 Java 框架迁移的 AI 智能体基准测试

    Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间的跨框架迁移能力,包含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。

    AI 评分44

    AI 评分 44 / 100

6月30日周二
  1. Hugging Face Blog

    Hugging Face 模型页现已展示 Every Eval Ever 评测结果

    Every Eval Ever(EEE)与 Hugging Face Community Evals 现已互通,评测结果可交叉发布并回链至完整 EEE 记录。EEE 数据存储已收录约 229,000 条评测结果,覆盖超 22,000 个模型和 2,200 个 benchmark,来自 31 种报告格式。

    AI 评分36

    AI 评分 36 / 100

6月24日周三
6月23日周二
6月18日周四