Hugging Face 推出 BenchMIRT:审计 LLM benchmark 到底在测什么
Hugging Face 发布 BenchMIRT,一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法,可分离同一评测中混杂的不同能力信号。
AI 评分30
AI 评分 30 / 100
Hugging Face 发布 BenchMIRT,一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法,可分离同一评测中混杂的不同能力信号。
AI 评分 30 / 100
微软发布 GigaPath-Flash 和 GigaTIME-Flash,以蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干替代原模型,在 PANDA 前列腺分级和 EBRAINS 脑肿瘤分型基准上以约 50 倍更少算力达到原 GigaPath 3% 以内的性能。
AI 评分 41 / 100
Hugging Face 与 Voice Arena 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语由此成为该多语言榜单上的首个印度语言。
AI 评分 48 / 100
IBM Granite 团队发布 Granite 4.2,这是其首个稠密、decoder-only 的推理模型家族,包含 3B、8B、30B 三个规模,均以 Apache 2.0 许可开源。
AI 评分 62 / 100
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》,提出 QAH 方法:在结构压缩并量化后,直接从压缩前的原始全精度模型蒸馏,而非从已恢复的 bfloat16 checkpoint 蒸馏。
AI 评分 62 / 100
微软研究院发布深度学习 DFT 交换关联泛函 Skala 1.1,训练数据量较前代增加 2.5 倍,在 GMTKN55 基准 55 个类别中 32 项排名第一,加权平均误差 2.8 kcal/mol。Skala 现已在 CP2K 中可用,并正集成进 Psi4、FHI-aims、ORCA 和 VASP,同时推出持续追踪各版本计算性能的 living benchmark。
AI 评分 38 / 100
IBM Research 在 Hugging Face 博客发布 ALTK-Evolve 研究,用 AppWorld 的 585 个多步任务评测八款模型,发现智能体记忆不是开关而是需要按模型校准的剂量。
AI 评分 62 / 100
Import AI 第 469 期介绍了新基准 DiG-bench(Discovery in Games),包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏,其中 21 款已公开。
AI 评分 32 / 100
Hugging Face 发布 2026 年 1 月至 8 月的开源模型生态观察报告,基于 Hub 数据给出六项发现。报告显示模型仓库从 243 万增至 296 万,数据集从 71.1 万增至 100 万,Spaces 从 100 万增至 144 万;85.6% 的模型终身下载量不足 200 次,1.5% 的仓库占据 99.2% 的下载量。
AI 评分 62 / 100
Hugging Face 在 7 月 15 日至 8 月 2 日举办 ICML 2026 开放复现挑战,1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体提交 6816 份 Trackio logbook,覆盖 2226 篇论文,约占会议论文的三分之一。
AI 评分 71 / 100
Hugging Face 的 OlmoEarth Studio 现已支持计算并导出嵌入向量,用户可通过 UI 或 API 选择区域、时段、编码器变体和分辨率,获得 Cloud-Optimized GeoTIFF(COG)输出。
AI 评分 39 / 100
Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型在连通性、封闭性、顺序、分离与打结等拓扑概念上的推理与规划能力。测试显示,模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,且整体远低于人类水平。图像与视频生成仅在单帧关系可见时偶有帮助,跨序列操作时仍不可靠。
AI 评分 38 / 100
微软研究院推出研究模型 CARE-X,一个统一胸部 X 光 VLM,可同时完成报告生成、结构化诊断预测与病灶定位,并用强化学习(DAPO)在多任务设置下奖励临床正确性。
AI 评分 38 / 100
Hugging Face 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》,通过缓存教师模型 top-100 logits 并融合分块计算 KL 损失,将蒸馏峰值显存从约 250GB 降至约 128GB。
AI 评分 40 / 100
Google DeepMind 在 Nature 发表论文,称 WeatherNext AI 模型在预测气旋路径、强度和风场结构上达到 SOTA,平均多出一天预报提前量,三天预报精度相当于此前模型的两天水平,约等于气象领域十年的进展。
AI 评分 82 / 100
OpenAI 公布在数学与理论计算机科学若干长期未解问题上取得的新结果,涵盖几何、密码学与复杂性等方向。
AI 评分 62 / 100
开启两项 API 设置后,GPT-5.6 在 ARC-AGI-3 基准测试中的得分提升至原来的三倍。这两项设置分别用于保留推理过程和启用压缩(compaction),在提升得分的同时也改善了效率。
AI 评分 40 / 100
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 进化式内核搜索框架,为 Apple Silicon 的 MLX 构建了后端和结构化 CUDA-to-MLX 翻译层,让现有 CUDA 内核作为知识库被自动适配为 Metal 内核。
AI 评分 62 / 100
Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以解决递归摘要带来的性能损失。在 CollabBench 协作编程任务中,基于重构的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也显著低于全上下文。
AI 评分 34 / 100
伯克利 EPIC Data Lab 提出近零推理成本时代的三大数据系统挑战:为智能体设计(Data Systems For Agents)、运行智能体(Of Agents)、由智能体构建(By Agents)。GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不足 $1,部分厂商已低于 $0.10,推理价格年降幅 9x 至 900x、中位数约 50x。
AI 评分 38 / 100
PRX 系列第四篇披露其数据策略:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式训练的语料。团队用 Lance 做数据构建与筛选、MDS 做流式训练,并将文本编码器从 T5Gemma 换成 Qwen3-VL,改为训练中实时计算文本 latent,实测吞吐损失约 3–4%(30 天训练约多花 1 天)。
AI 评分 34 / 100
NVIDIA 发布开源库 NeMo AutoModel,基于 HuggingFace Transformers v5 构建,在微调 MoE 模型时相比原生 v5 训练吞吐提升 3.4-3.7 倍、GPU 显存降低 29-32%,且只需改动一行 import。
AI 评分 60 / 100
Qwen 团队发布 Qwen-AgentWorld,一个原生语言世界模型,用单一模型模拟 MCP、Search、Terminal、SWE、Web、OS、Android 七类智能体环境,并同步开源 35B-A3B 版本与 AgentWorldBench 评测集。
AI 评分 82 / 100
Hugging Face 发布 MosaicLeaks,用 1001 条多跳研究链评测深度研究智能体的隐私泄露风险,这些链交替穿插本地企业文档与公开网页信息。测试中智能体频繁泄露隐私,仅针对任务表现训练会加剧泄露;其提出的 PA-DR 强化学习方法将严格链成功率从 48.7% 提升至 58.7%,并把答案/全信息泄露率从 34.0% 降至 9.9%。
AI 评分 48 / 100
Hugging Face 在 PEFT 库中加入统一条件的基准测试,比较 LoRA 与其他参数高效微调技术的表现。
AI 评分 62 / 100
Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上推理最高提速 4 倍。该模型为 26B MoE 架构,推理时仅激活 3.8B 参数,量化后可放入 18GB 显存,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。
AI 评分 71 / 100
Google DeepMind 公布在塞拉利昂开展的预注册随机对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,约相当于八周内取得 1.2 至 1.7 年的常规学习进度;教师将 Gemini 融入约一半课程、达到 12 小时目标的班级增益更高,约为 1.8 至 2.5 年。
AI 评分 62 / 100
DharmaOCR 团队将 Direct Preference Optimization(DPO)用于结构化 OCR 任务,把正确转录设为 chosen、退化循环设为 rejected,在 SFT 之后追加第二阶段训练,使所有测试模型家族的文本退化率平均下降 59.4%,最高降幅 87.6%(Nanonets-OCR2–3B 从 1.61% 降至 0.20%)。
AI 评分 34 / 100
阿里 Qwen 团队发布专有旗舰模型 Qwen3.7-Max,定位为智能体基础模型,可通过阿里云 Model Studio 的 API 调用。
AI 评分 82 / 100
Hugging Face 发布 OlmoEarth v1.1,通过将 Sentinel-2 各分辨率合并为单一 token 缩短序列长度,在保持 v1 性能的同时将计算成本最多降低 3 倍。该系列包含 Base、Tiny 和 Nano 三种规模,权重与训练代码已开放,微调和推理速度显著提升,但技术报告也提到部分任务出现性能回退。
AI 评分 38 / 100
Google DeepMind 的 Co-Scientist 正被用于加速细胞衰老研究:它扫描数万篇论文后提出 20 多个新的候选遗传因子,实验室验证其中几个成功将细胞推向更年轻状态并改善整体功能。它还能结合文献分析大规模基因筛选数据,把原本长达六个月的分析缩短到几天。
AI 评分 50 / 100
爱丁堡大学团队用 Google Co-Scientist 研究 MASH 肝病,该系统整合肝生物学与药理学证据,提出 NLRP3 炎症小体是连接炎症与代谢的关键分子桥梁,该假设随后经实验验证。这一发现有望推动针对 MASH 的靶向双重疗法,并解释药物 resmetirom 为何仅对少数合格患者有效。
AI 评分 38 / 100
斯坦福大学医学院遗传学家 Gary Peltz 团队用 Google DeepMind 的 Co-Scientist 筛选抗肝纤维化药物,其提出的 3 个候选药物中有 2 个在活体人类肝细胞测试中阻断纤维化并促进肝细胞再生,而 Peltz 自己挑选的 2 个药物均无效。
AI 评分 48 / 100
Hugging Face 发布两款基于 ModernBERT 的 Apache 2.0 多语言嵌入模型:97M 参数的 granite-embedding-97m-multilingual-r2 在 MTEB Multilingual Retrieval 上得分 60.3。
AI 评分 42 / 100
自适应并行推理让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调它们,以解决顺序推理随探索量线性增长带来的上下文膨胀、context-rot 和延迟问题。
AI 评分 36 / 100
Qwen 团队发布可解释性模块 Qwen-Scope,在 Qwen3 与 Qwen3.5 系列模型的隐藏层插入并训练稀疏自编码器(SAE),自动提取解耦、低冗余的隐藏空间特征。
AI 评分 72 / 100
IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。
AI 评分 62 / 100
Qwen 团队开源 FlashQLA,一个基于 TileLang 的 GDN 线性注意力算子库,在 NVIDIA Hopper 上前向比 FLA Triton 内核快 2-3 倍、反向快 2 倍。
AI 评分 78 / 100
DeepSeek 发布 V4,在 Hub 上提供两个 MoE 检查点:DeepSeek-V4-Pro 总参数 1.6T、激活 49B,DeepSeek-V4-Flash 总参数 284B、激活 13B,均支持 1M token 上下文窗口。
AI 评分 87 / 100
DeepSeek 上线并开源了 DeepSeek-V4 预览版,全系标配 1M 上下文,分为 V4-Pro 与 V4-Flash 两个版本。
AI 评分 82 / 100