跳到正文
原文
The Decoder· Jonathan Kemper·· 15 天前AI 评分41

AI提升初级专利律师表现但可能阻碍其职业发展

AI makes junior patent attorneys instantly better but may quietly stunt their professional growth

AI 摘要

一项研究显示,AI能显著提升初级专利律师在起草专利草案时的表现,但可能阻碍其长期技能发展,而资深律师则不受AI影响,这表明基础专业知识可能是将AI辅助实践转化为持久能力的前提条件。

正文 · 清洗整理版

这项研究将专利律师分为两组,一组先使用AI辅助工作,然后在没有AI的情况下评估结果。 研究人员通过这种设计测量了AI辅助工作的质量以及律师自身判断力的保持情况。 在一家独立律师事务所,律师们对五类结果进行评分:可执行性、技术准确性、战略模糊性、完整性和清晰度。 谷歌资助的研究中,三分之二的参与者获得了谷歌实验室未发布的AI助手“InFlow”,其余三分之一则没有使用AI。 在两项专利权利要求起草任务中,只有实验组可以使用InFlow,而对照组则无AI辅助完成任务。

在第三项名为“修订”的任务中,所有参与者都必须在没有AI的情况下批判性地审查一份现有的专利草案。 起草任务衡量即时AI辅助表现,而修订任务衡量内化的判断力,这是专利律师通常无需工具即可执行的任务。 AI主要改善初级律师的起草工作 在起草任务中,实验组在10天和90天时都明显优于对照组,效果体现在所有五个评分维度上。 高分主要来自较少的低分和更多的中等分数,而顶尖分数几乎没有变化。 获得AI访问权限的初级律师在专利草案上获得低分的次数大大减少。 | 图:NBER 对于经验少于七年的初级律师来说,收益要大于资深律师。

研究人员表示,这与越来越多的研究表明AI缩小了经验较少和经验较丰富员工之间的绩效差距相一致,这一效应已在使用写作、客户服务和软件开发中观察到。 只有资深律师保持AI优势 修订任务产生了相反的结果。 实验组整体得分更高,但优势完全来自资深律师,初级律师根本没有受益,尽管他们在AI辅助起草期间取得了最大进步。 在AI辅助起草期间,初级律师受益最大。 在没有AI的修订期间,只有资深律师保持优势。 | 图:NBER 相反,初级律师的结果分化,中等分数大幅减少,低分和高分增多,顶尖分数没有增长。

作者认为,这表明AI加速了部分初级律师的技能培养,而取代了其他人的技能,尽管实验没有解释为什么效果出现分歧。 在没有AI的修订期间,实验组初级律师的分数分布更广,低分和高分增多。 | 图:NBER 从AI中获益最多的律师恰恰是保留最少持久技能的律师,这导致研究人员建议,基础专业知识可能是将AI辅助实践转化为持久能力的前提条件。 一项补充文本分析提供了一个可能的解释。 资深律师更经常重构有缺陷的草案,并将他们的更改基于法律原则,而初级律师经常发现严重缺陷但未修复,留下的笔记读起来像是对AI助手的指令。

由于这种行为也出现在对照组中,作者没有将其归因于AI训练习惯,而是将其视为初级水平的基础缺陷,AI的使用并未修复。 实际结果的意义 作者指出了一些局限性,包括由顶尖律师的高计费率导致的小样本量,参与公司不能代表整个专业服务行业,缺乏基线技能测量,以及三个月的时间窗口与建立专利专业知识所需的时间相比太短。 研究人员认为,只要专业工作仍然需要在没有AI的情况下进行判断,即时生产力提升和持久技能发展之间的张力就很重要,而且这种情况可能还会持续很长时间。 即使AI最终支持

Six histograms comparing score distributions between control and treatment groups in drafting tasks after 10 and 90 days, broken down by all attorneys, juniors, and seniors.

Three dot plots showing AI access effects in standard deviations for the overall score and five rating dimensions, broken down by all attorneys, juniors, and seniors across drafting at 10 and 90 days and redlining at 90 days.

Three histograms comparing score distributions between control and treatment groups in redlining after 90 days for all attorneys, juniors, and seniors.

来源:The Decoder · the-decoder.com

00