Hacker News· 1equalsequals1·· 5 天前精选AI 评分80
字节跳动USDB统一序列存储实践
USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance
正文 · AI 翻译
作者：Xiaoran Zhu, Jieming Cai, Weiping Yu, Xi Chen, Shu Cai, Jiahao Li, Yifan Xiao, Yan Deng, Yisha Zhou, Yu Lin, Shiru Ren, Siqiang Luo, Peng Xu, Junjun Chai
摘要：推荐模型消耗越来越长、属性丰富的用户历史，导致小规模连续更新和重复大规模读取成为核心存储不对称。我们提出了USDB，字节跳动针对流式和批处理工作负载的统一序列存储实践。CascadeLSM基于时间的压缩阶段将特定应用的历史具体化；差异化的副本共享持久文件；部分转储从捕获的最近状态和版本化历史中重建推理输入；混合列式格式加速投影读取。这些设计在摄取、推理和训练中复用维护结果。生产迁移记录显示平均写入延迟降低了85.8%，而标准化部署核算显示基础设施成本降低了42.1%。与优化后的RocksDB序列基线的控制比较显示，在投影和客户端负载方面，长历史读取速度更快。聚合下推在受限接收预算下，使普通读取的吞吐量提升了8.5倍。生产重建和直接文件训练结果展示了共享序列维护如何支持新鲜服务和重复历史访问。
| 评论： | 17页，18图，5表 |
| 主题： | 数据库 (cs.DB) |
| 引用方式： | arXiv:2611.02618 [cs.DB] |
| (或 arXiv:2611.02618v1 [cs.DB] for this version) | |
| https://doi.org/10.48550/arXiv.2611.02618 通过DataCite发布的arXiv DOI (待注册) |
提交历史
来自：Weiping Yu 先生 [查看邮箱]
[v1]
周一，2026年11月2日 06:45:03 UTC (432 KB)
来源：Hacker News · arxiv.org
00