Handshake AI数据深度解析

这是我们与一家AI数据公司进行的首次潜在空间深度解析。在大约一年内，Handshake的AI训练业务从启动到实现年收入10亿美元的年化总收入。前沿实验室在这个规模下购买什么？哪些评估指标模型仍然远未达到人类水平？Garrett Lord带来了构建这些强化学习环境的人员来向我们展示。我们首次实时地走过了它们！

为了涵盖Handshake的范围，我们不得不制作一个非常特别的跨播客，涵盖我们的科学/工程/研究/金融播客主持人，因为Handshake的业务跨越所有这些领域以及更多。

在一般介绍之后，注意三个部分：

金融。在金融演示中，代理必须在银行的电子邮件中找到它的任务，弄清楚哪些文件管理交易，并交付一个工作簿。看看客户电子邮件中关于现有商誉的一行发生了什么。代理将数字带到Python中并减去它。Collin指出，当你直接询问它时，模型可以解释税收处理。错误发生在它必须识别出这一行代码是规则应用的地方时。
生物。Nick Magazine和Jonas Mueller向我们展示了VIALS，Handshake用于解释科学家在工作中使用的图像的基准。Nick在屏幕上放置了九张脑肿瘤组织幻灯片，并询问哪两张显示了最先进的血管坏死。在他回答之前给自己一点时间。Nick选择了H和I。模型选择了这两张，并添加了G。观察Nick指出组织中缺失的内容比看到分数更有指导意义。
编程。在一个模拟文件访问任务中，团队可以检查代理读取了哪些文件，是否检查了副本，以及它后来对shell历史记录做了什么。代理最终回复的文本记录将错过Steve Kelling和Nishant Ranka正在评估的大部分内容。

在房间里的人

🟣 AI数据业务 — Garrett Lord、Sahil Bhaiwala和Nishant Ranka在专家数据的市场上开启和结束了这一集。
🌸 生命科学 — Nick Magazine和Jonas Mueller将凝胶和脑组织任务放在屏幕上。
🟢 金融 — Collin Schweiker和Sahil Bhaiwala带我们了解Project Falcon及其Excel评分器。
🟠 对齐 — Steve Kelling和Nishant Ranka通过安全模拟跟踪代理的工具调用。

节目单

ATLAS-Finance — 探索代理在模拟银行的收件箱、文档和财务模型中工作的基准。
银行内部 — Handshake从客户的电子邮件到评分决策追踪了一个单独发布的交易，Project Osprey。我们访谈中屏幕上的交易是Project Falcon。
VIALS样本任务 — 尝试科学图像问题，包括节目中的凝胶和脑组织任务。
Handshake如何训练模型读取科学图形 — 团队描述了使用中间图像描述来训练和评估视觉语言模型。

时间戳

0:00 Inside Handshake AI
0:39 Garrett, Sahil and Nishant on frontier training data
5:15 How to build a banking environment for an agent
13:07 How frontier labs buy data
15:51 How a lab evaluates a new dataset
20:01 Testing training data on open models
27:38 Where rubrics fall short of expert judgment
31:30 Nick and Jonas introduce the VIALS benchmark
35:52 Reading molecular structures and plasmid maps
43:48 Training vision models to interpret scientific images
47:17 Task one: reading the bands on a gel
50:59 Task two: finding necrosis in brain tissue
55:49 Can Python tools help the model see?
1:02:52 Can biology models improve on their own?
1:06:19 What a biology lab can buy from Handshake
1:12:33 Atlas Finance with Collin and Sahil
1:18:56 Inside a simulated investment bank
1:25:45 Where the agent’s financial model went wrong
1:31:18 How a banker grades the spreadsheet
1:41:12 Penalty traps, dependency gates and partial credit
1:46:41 How an agent gamed the Excel grader
1:48:52 What would make an AI banker useful?
1:54:48 Safety and alignment with Steve and Nishant
1:58:25 CAREBench and the limits of a refusal
2:04:42 How safety feedback reaches model training
2:07:21 When an agent sends the wrong files
2:11:14 A loan application tests fair lending
2:16:09 Designing private benchmarks for enterprises
2:25:37 The leadership team on Handshake’s mission
2:28:36 When enterprises need their own models
2:33:03 The market for compute and expert data
2:39:12 Why labs hold out evaluation tasks
2:43:01 Hiring at Handshake AI