跳到正文
原文
The Decoder· Matthias Bastian·· 5 天前精选AI 评分70

Anthropic的Message

Anthropic's Message Threads cut time to first token by 35 percent for long conversations

AI 摘要

Anthropic在其Claude平台上发布了Message Threads功能,通过仅传输自上次消息以来的更改内容,将500,000到一百万个token请求的首次获取token时间缩短约35%

正文 · AI 翻译

Anthropic在其Claude平台上发布Message Threads作为公共测试版。到目前为止,每个API请求都必须重新发送整个对话历史。Message Threads仅传输自上次消息以来的更改内容,对于500,000到一百万个token之间的请求,将首次获取token的时间缩短了约35%,Anthropic表示。

公司表示,编码代理、计算机使用代理以及处理大量文档或图像的工作流程受益最大。线程在请求之间保持在内存中加密,并在五分钟不活动后过期。token使用量不会改变,因为Claude仍然读取完整的对话历史。该功能适用于Claude平台以及AWS、Microsoft Foundry和Google Cloud。详细信息请参阅文档。

无炒作的AI新闻——由人类编辑

订阅THE DECODER以获得无广告阅读、每周AI简报、我们独家每半年发布一次的“AI雷达”前沿报告、完整存档访问权限以及访问我们的评论部分。

来源:The Decoder · the-decoder.com

00