跳到正文
原文
cnBeta· ugmbbc·· 3 小时前精选AI 评分70

AI生物学应用引安全警告

腾讯首席AI科学家发出警告:AI即将掌握生物学 安全风险或比网络攻击更难管控

AI 摘要

腾讯首席AI科学家姚顺雨警告,AI在生物学领域的发展可能比网络安全更难管理,因其应用具有双重用途,易被滥用带来生物安全隐患,同时AI正加速应用于生命科学和药物研发,推动科研进步但也需严格测试和监管以应对新型安全挑战。

正文 · 中文整理稿

姚顺雨表示,人工智能在网络安全领域已经展现出足以产生实际影响的能力,而生物学能力也正接近类似水平。 他警告称,未来AI在生物学领域的发展可能比网络安全领域更难管理,因此无论是中国企业还是其他采用开放模型路线的公司,都必须严肃对待相关安全问题。 近年来,越来越多的前沿AI系统开始被应用于生命科学、医学研究和药物开发。 业内普遍认为,AI有望显著缩短药物筛选和研发周期,加快治疗方案发现速度。 然而专家同时指出,这些能力具有“双重用途”特征,在推动科研进步的同时,也可能被不法分子滥用,从而带来新的生物安全隐患。

姚顺雨此次发言正值腾讯加快推进AI战略之际。 腾讯于11月4日正式发布新一代旗舰模型Hy4,并将其定位为公司最重要的基础模型之一。 根据人工智能评测机构Artificial Analysis的数据,Hy4目前已位列中国表现最强的AI模型之一。 在谈及未来发展方向时,姚顺雨透露,腾讯正在探索建设“自主科学实验室”的可能性,希望利用AI系统独立完成复杂科研流程,包括部分生物学研究任务。 他认为,从技术角度来看,大多数难题最终都能够解决,真正更大的挑战在于社会治理、组织协调以及安全监管体系的建设。

为了降低潜在风险,腾讯在Hy4的训练过程中采取了一系列安全措施。 公司表示,其故意剔除了与软件漏洞利用和攻击行为相关的数据,仅保留防御性网络安全知识,希望在保留防护能力的同时减少攻击能力。 对于生物学领域,腾讯的内部评估认为,Hy4虽然拥有较强的基础生物学知识,但距离能够独立制定实验流程和形成高风险能力仍存在明显差距。 姚顺雨特别强调,相较于网络安全领域,生物学领域往往更难清晰区分“进攻能力”和“防御能力”。 这意味着研究人员在评估模型风险时将面临更复杂的情况,因此模型发布前必须进行更加严格的测试和验证。

腾讯目前正与公司内部顶级安全实验室合作,对相关能力展开系统评估。 对于近年来备受争议的“开源与闭源”路线之争,姚顺雨表示,美国企业如Anthropic等主张将最先进模型保持封闭,以减少潜在社会风险,这一观点具有一定合理性。 但他同时认为,开放模型同样能够帮助防御者提升能力,因此未来行业或许需要在开放与封闭之间寻求平衡,而非完全依赖单一路线。 随着人工智能逐步从编程、数学和内容生成扩展至生命科学领域,生物学正被视为下一阶段最重要的AI前沿方向之一。

分析人士指出,一旦AI真正具备深入理解和应用生物学知识的能力,相关技术不仅可能改变药物研发和医疗行业,也将促使全球监管机构重新审视人工智能治理框架,以应对随之而来的新型安全挑战。

来源:cnBeta · cnbeta.com.tw

00