自主分析洞察质量提升
Raising the quality of insights in agentic analytics
调查显示,在调查的公司中,分析代理平均生成的48%的洞察导致了改进业务的行动,与一年前的37%相比有所进步,但仍有超过一半的代理洞察未能帮助业务,高质量洞察能带来明显的业务优势,洞察领导者中超过70%的代理洞察改进了业务
在短短几年内,生成式AI已经改变了企业分析的面貌,尤其使分析对组织内所有用户都变得触手可及。 自主AI承诺做得更多,通过自动化整个工作流程并根据代理洞察采取行动。 但存在一个问题:代理当前生成的洞察质量还有待提高。 在为本报告调查的机构中,不到一半的代理生成的洞察导致了业务改进。 虽然大多数受访者赞扬其代理描述性洞察的质量,但对其规范性洞察(基于这些洞察采取行动)的评论却好坏参半。 未能产生改进业务的洞察剥夺了组织在自主分析中期望的投资回报。 更糟的是,导致错误行动的缺陷洞察可能造成声誉或财务损害。
本报告评估了公司如何看待其分析代理生成的输出质量,并探讨了组织如何寻求提高洞察质量并使代理为业务做出更大贡献。 报告的一些关键发现包括:自主分析才刚刚开始交付。 在调查的公司中,分析代理平均生成的48%的洞察导致了改进业务的行动。 与一年前的37%的平均水平相比,这是一个显著的进步。 但这意味着今天分析代理生成的超过一半的洞察仍然无法帮助业务。 高质量的洞察带来了明显的业务优势。 在我们称为“洞察领导者”的一小组组织中,AI代理的表现远好于平均水平。 在这个群体中,超过70%的代理洞察导致了改进业务的行动。
洞察领导者还对其代理洞察的质量给出了比总体受访者更高的评价。 在规范性洞察方面,质量差距尤其明显。 当分析代理提供质量不高的洞察时,主要原因是不够的业务背景,正如55%的受访高管所引用的那样。 根据45%的调查,分散或不访问的数据是另一个主要因素。 较少的洞察领导者说他们的代理在获取背景方面存在困难。 洞察过载进一步降低了代理的有效性。 在调查的多数(52%)组织中,分析代理生成的洞察太多,无法得到适当的评估并采取行动。 不到四分之一(24%)能够评估所有代理洞察; 大多数是按个案进行的,该过程目前是劳动密集型的。
治理和语义是提高洞察的重点领域。 调查的公司正在优先考虑通过加强AI和数据治理(引用60%)来使代理洞察更好的举措。 他们还在其数据架构中添加语义层(45%)。 我们采访的专家同意,语义层对于确保高性能代理至关重要。


来源:MIT Technology Review · technologyreview.com