跳到正文

#多模态模型

今日 3 条
5月16日周六
  1. Google DeepMind精选推荐

    Google DeepMind 发布 Gemini 3.5 Flash,主打智能体与编码

    Google DeepMind 发布 Gemini 3.5 系列首个模型 3.5 Flash,定位为面向智能体与编码的前沿模型,即日起在 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API 以及 Gemini Enterprise 等渠道上线。

    AI 评分87

    AI 评分 87 / 100

4月30日周四
  1. Google DeepMind精选

    Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非主流证据合成工具;在 140 项问诊技能评估中,AI 在 68 项上与初级保健医生相当或更优,但专家医生在识别危险信号和指导关键体格检查上整体表现更好。

    AI 评分62

    AI 评分 62 / 100

4月28日周二
  1. Hugging Face Blog精选

    NVIDIA 发布 Nemotron 3 Nano Omni 全模态模型

    NVIDIA 发布 Nemotron 3 Nano Omni,一款面向文档分析、多图推理、语音识别、长音视频理解和智能体电脑操作的全模态理解模型,在 MMlongbench-Doc、OCRBenchV2、WorldSense、DailyOmni、VoiceBench 等榜单上取得领先成绩。

    AI 评分71

    AI 评分 71 / 100

4月22日周三
4月16日周四
  1. Hugging Face Blog

    用 Sentence Transformers 训练和微调多模态 Embedding 与 Reranker 模型

    Sentence Transformers 现已支持训练和微调多模态 embedding 与 reranker 模型,作者以 Qwen/Qwen3-VL-Embedding-2B 微调视觉文档检索(VDR)为例,微调后 NDCG@10 从基座的 0.888 提升至 0.947,超过其测试的所有现有 VDR 模型,包括参数量最多达其 4 倍的模型。

    AI 评分38

    AI 评分 38 / 100

4月15日周三
4月13日周一
4月9日周四
  1. Hugging Face Blog精选

    Sentence Transformers v5.4 支持多模态嵌入与重排模型

    Sentence Transformers v5.4 更新后,可用同一套 API 编码和比较文本、图像、音频与视频,并支持多模态重排模型对混合模态文档打分。新增能力覆盖跨模态相似度计算、encode_query/encode_document 检索流程以及先检索再重排的 RAG 模式,官方同时列出了 Qwen3-VL、NVIDIA、BGE-VL 等已支持的多模态嵌入与重排模型清单。

    AI 评分62

    AI 评分 62 / 100

  2. Hugging Face Blog精选

    Overworld 发布 Waypoint-1.5 实时视频世界模型

    Overworld 发布实时视频世界模型 Waypoint-1.5,在 RTX 3090 至 5090 等桌面硬件上可生成最高 720p、60 FPS 的实时环境,并新增面向更广消费级硬件的 360p 版本。

    AI 评分62

    AI 评分 62 / 100

4月3日周五
4月2日周四
  1. Hugging Face Blog精选推荐

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 Hugging Face 发布 Gemma 4 多模态模型家族,采用 Apache 2 许可,支持图像、文本和音频输入并输出文本。

    AI 评分87

    AI 评分 87 / 100

4月1日周三
  1. Hugging Face Blog精选

    TII 发布 Falcon Perception 与 Falcon OCR 模型

    TII 的 Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早期融合 Transformer,用自然语言提示做开放词汇定位与分割,在 SA-Co 上达到 68.0 Macro-F1,高于 SAM 3 的 62.3,但在存在性校准上落后(MCC 0.64 对 0.82)。

    AI 评分62

    AI 评分 62 / 100

3月31日周二
  1. Hugging Face Blog精选

    IBM 发布 Granite 4.0 3B Vision 企业文档多模态模型

    IBM 发布 Granite 4.0 3B Vision,一个面向企业文档理解的紧凑视觉语言模型,以 LoRA 适配器形式叠加在 Granite 4.0 Micro 之上,支持表格抽取、图表理解和语义键值对抽取。

    AI 评分62

    AI 评分 62 / 100

3月30日周一
3月26日周四
3月4日周三
  1. Google DeepMind精选

    Google DeepMind 发布 Gemini 3.1 Flash-Lite

    Google DeepMind 推出 Gemini 3.1 Flash-Lite,定位为 Gemini 3 系列中速度最快、成本最低的模型,即日起通过 Gemini API 在 Google AI Studio 和 Vertex AI 向开发者开放预览。

    AI 评分71

    AI 评分 71 / 100

2月27日周五
2月19日周四
2月16日周一
2月10日周二
  1. Qwen Blog精选

    Qwen 发布图像生成基础模型 Qwen-Image-2.0,生图与编辑合二为一

    Qwen 团队推出新一代图像生成基础模型 Qwen-Image-2.0,把此前的生图支线与编辑支线合并为同一个模型,同时支持文生图和图生图。模型支持 1k token 指令、2k 分辨率,可直出 PPT、海报、漫画等信息图,并强调更轻量的架构带来更小模型和更快速度。官方称在 AI Arena 盲测中,该模型在文生图与图生图基准上均取得优越性能,文中示例 PPT 即由模型按提示词直接生成。

    AI 评分72

    AI 评分 72 / 100

1月30日周五
1月16日周五
  1. Google DeepMind精选

    Google DeepMind 发布 D4RT:统一 4D 场景重建与追踪模型

    Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),用单一编码器-解码器 Transformer 统一动态场景重建与追踪,通过查询机制回答某个像素在任意时间、任意相机视角下位于 3D 空间的何处。

    AI 评分62

    AI 评分 62 / 100

1月14日周三
1月8日周四
12月31日周三
12月23日周二
  1. Qwen Blog

    Qwen 发布图像编辑模型 Qwen-Image-Edit-2511,一致性显著提升

    Qwen 团队发布 Qwen-Image-Edit-2511,作为 Qwen-Image-Edit-2509 的增强版本,重点提升编辑一致性。新版本缓解图像漂移,增强单人及多人合影中的角色一致性,可将两张人物图高保真融合为合影;同时把社区热门 LoRA(如光照增强、新视角生成)直接集成进基座模型,无需额外调优即可使用。

    AI 评分58

    AI 评分 58 / 100

12月17日周三
  1. Google DeepMind精选推荐

    Google DeepMind 发布 Gemini 3 Flash

    Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度兼顾,在 GPQA Diamond 得分 90.4%、Humanity's Last Exam 无工具 33.7%、MMMU Pro 81.2%、SWE-bench Verified 78%,定价为输入 $0.50/1M tokens、输出 $3/1M tokens。

    AI 评分84

    AI 评分 84 / 100

12月9日周二
11月20日周四
  1. Google DeepMind精选

    Google 在 Gemini 应用中上线 AI 图像验证功能

    Google 在 Gemini 应用中上线图像验证功能,用户上传图片并提问即可借助 SynthID 数字水印判断该图是否由 Google AI 生成或编辑。SynthID 自 2023 年推出以来已为超过 200 亿件 AI 生成内容添加水印,Google 此前已用 SynthID Detector 与记者和媒体从业者测试。

    AI 评分62

    AI 评分 62 / 100

11月19日周三
11月13日周四
11月11日周二
  1. Google DeepMind

    Google DeepMind 在 Nature 发表研究:让 AI 视觉表征更接近人类

    Google DeepMind 在 Nature 发表新论文,分析 AI 视觉模型与人类在组织视觉世界方式上的差异,并提出一种三步对齐方法。该方法先用 THINGS 数据集训练一个冻结主模型的小型适配器作为教师模型,再生成包含百万张图像、数百万条类人判断的 AligNet 数据集,最后微调学生模型。

    AI 评分58

    AI 评分 58 / 100

11月6日周四