合成企业数据评估 Microsoft Copilot

评估 Microsoft Copilot 在企业规模上的表现需要能够捕捉真实组织全部复杂性的测试数据，但真实企业数据包含敏感信息，在任何情况下都不能用于评估。 为了解决这一矛盾，我们构建了行业评估数据生成平台：基于公开的真实世界数据源（如 O*NET 职业数据、在线招聘信息和 SEC 文件）的全面合成企业环境。 这些合成环境模拟真实业务流程，帮助 Microsoft 发现通用基准会遗漏的问题。 安全和隐私是平台设计的核心。 每个环境都是完全合成的，自动内容安全检查确保生成数据不含有害或可识别个人身份的材料。

每天，全球数百万知识工作者依靠 Microsoft Copilot 起草文件、总结会议、提取相关信息并加速生产力。 背后是 AI 系统的网络，确保它们按预期工作需要周到的评估方法。 在 Microsoft，我们知道高性能不是凭猜测得来的，而是通过测试、衡量和持续迭代实现的。 医疗保健组织不断从各团队综合安全信号，以便做出更快、更好的决策，直接影响患者结果和监管信心。 他们可能要求 Copilot 总结会议并提取团队行动项。 几秒钟内，Copilot 提供结构化摘要，引用转录中的具体讨论点。

但如何确保此响应准确、完整且正确基于会议内容？ 这就是我们的评估系统发挥作用的地方。 我们开发了一种结构化评估策略，称为行业评估数据生成平台，包括针对现实企业场景设计的行业特定评估数据集，基于三个核心支柱：合成企业环境：模拟具有真实用户、会议、电子邮件、文档和组织结构的 Microsoft Copilot 环境，复制真实组织的复杂性，而无需使用任何客户数据。 自动查询生成管道：用于快速、可重复地创建评估数据集的结构化质量框架：确保合成数据达到有意义的评估标准。

这些支柱帮助我们回答两个基本问题：Microsoft Copilot 是否确实在执行用户需要它执行的任务，以及我们是否能在从未接触用户数据的情况下证明这一点？ 在本博客文章中，我们将介绍我们的评估系统和流程，从合成环境生成到自动查询管道，以及它们如何共同建立 Microsoft Copilot 的第一个标准化评估基准。