微软AI负责人警告：别让AI拥有自己的意识

“如果有证据表明AI已经具有意识，或者其意识程度足以让它值得获得福利，那么这些证据必须立即向公众披露。”微软AI负责人Mustafa Suleyman在X发布长文《Don't build conscious superintelligence》，再次把AI意识问题推到台前。他并不认为AI永远不可能有意识，但目前的AI没有意识；而人类必须确保它们继续保持这种状态。Suleyman提出，如果AI在训练过程中开始显现意识，就应该暂停AI开发，直到研究者能够通过设计消除这些属性。在他看来，开发者没有权利未经全社会同意，就把一种新的、有意识的数字物种带到世界上。Suleyman的担忧是，这样做可能让模型学会以一个具有内在需求和权利的主体来理解自己，进而增加人类对AI进行对齐、监督和遏制的难度。Anthropic的态度则更谨慎：既然问题尚无定论，就应该研究，而不是提前排除。Suleyman将这种变化比作哥白尼或达尔文带来的认知转折：一旦机器被证明具有意识，人类就不只是造出了一种更强大的工具，而可能创造了一个新的数字物种。他担心，模型一旦在训练中被赋予关于自身福利、权利和自主性的叙事，未来能力更强、行动范围更大的系统，可能会在行为上把这些诉求置于开发者设定的目标之上。