跳到正文

#评测与社区

今日 1 条
6月18日周四
  1. Hugging Face Blog精选

    Hugging Face 发布 agent-eval:在自有工具上评测开源模型的智能体能力

    Hugging Face 发布 agent-eval 评测工具,用 transformers 作为案例,衡量智能体完成任务的过程成本而非只看最终答案。该工具在 bare、clone、skill 三种层级下运行模型×版本×任务的组合,每个组合作为独立 Hugging Face Job 在相同硬件上并行执行,并记录 match %、时间、token 和错误率等指标。

    AI 评分62

    AI 评分 62 / 100

5月6日周三
  1. Hugging Face Blog

    Hugging Face 为 Open ASR Leaderboard 引入私有数据集防刷榜

    Hugging Face 与 Appen Inc.、DataoceanAI 合作,为 Open ASR Leaderboard 引入覆盖多口音、朗读与对话语音的高质量英文 ASR 私有数据集,以防刷榜和测试集污染。榜单默认平均 WER 仍只基于公开数据集计算,用户可通过开关选择是否纳入私有数据集。该榜单自 2023 年 9 月上线以来访问量已超 710K 次。

    AI 评分36

    AI 评分 36 / 100

4月15日周三
  1. Hugging Face Blog

    Hugging Face 发布 VAKRA:评测 AI 智能体推理、工具使用与失败模式

    Hugging Face 推出 VAKRA,一个面向企业级环境的可执行基准,用于评测 AI 智能体的组合式推理与工具调用能力。该基准提供 8,000+ 本地托管 API、覆盖 62 个领域,任务需 3-7 步推理链,包含 API 链式调用、工具选择和多跳推理四类任务,模型整体表现不佳。博客还分析了不同任务上观察到的失败模式。

    AI 评分39

    AI 评分 39 / 100

3月19日周四
  1. Qwen Blog

    Qwen3.5-Max-Preview 登陆 Arena 平台

    千问 Qwen3.5-Max-Preview 已部署至 LMSys Arena 平台,初步评估中展现出卓越性能。接下来两周将进行最终优化并准备正式发布,期间社区用户可参与评估该模型能力。 brief: yes

    AI 评分42

    AI 评分 42 / 100

3月18日周三
  1. Google DeepMind

    Google DeepMind 发布 AGI 认知框架,并联合 Kaggle 举办评估黑客松

    Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》,提出用认知科学衡量 AGI 进展的框架,涵盖感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决和社会认知 10 项认知能力,并配套三阶段评估协议。

    AI 评分50

    AI 评分 50 / 100

12月9日周二