是石科技发布TokenFleet调度框架提效
是石科技发布TokenFleet分布式调度框架,通过请求路由、跨机房容量协同和混合负载治理提高算力有效产出,在GLM5.3调优中P95首Token延迟降低32.4%,P50首Token延迟降低71.3%,总输出吞吐增加约1.5%
AI 评分80
AI 评分 80 / 100
是石科技发布TokenFleet分布式调度框架,通过请求路由、跨机房容量协同和混合负载治理提高算力有效产出,在GLM5.3调优中P95首Token延迟降低32.4%,P50首Token延迟降低71.3%,总输出吞吐增加约1.5%
AI 评分 80 / 100