有效利他主义影响硅谷

在近期提交的招股书中，Anthropic透露了将近100页的风险因素。 除了常见的金融和市场风险之外，还包括了关于前沿AI所带来的灾难性、甚至威胁人类生存的风险这样的表述。 Anthropic说，他们自己也无法保证自己的安全措施一定有效。 招股书还披露，上市后七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权； 与此同时，还有一个叫做“长期利益信托”的机构，有权选举董事会的多数成员。 这套安排的目标，是让公司在追求商业利益时也考虑人类的长远利益。

但有媒体注意到了一个细节：创始人可以提前指定，在自己失去履职能力后由谁接替自己的投票权。 这些人选需要经过内部批准，但名单是保密的。 这份招股书，将AI安全对于Anthropic这家公司的重要性，再一次展现在了公众面前。 但与此同时，如果他们的警告成真，那作为公众，我们是否应该有权知道，谁能够代表人类来做决定呢？ 要理解Anthropic对于安全的重视，以及围绕它的信任和权力争议，就要提到一个近期反复出现的概念，那就是有效利他主义（Effective Altruism），简称EA。

就在这个月，《经济学人》把EA放上了封面，称它为“本世纪最重要的思想”。 一些报道指出，围绕AI安全政策，EA的支持者与我们播客里提到过的科技右翼发生了冲突，甚至特朗普政府也加入了争论——美国国防部在社交媒体上直接喊出了一句口号：“美国主义，而非有效利他主义”。 一个听起来还属于哲学讨论的概念，就这样成了美国政府公开划清界限的对象。 本期《硅谷101》，我们邀请到了一位与EA圈关系密切的人：以太坊创始人Vitalik Buterin，和他的朋友、科技记者Afra。

以下是对话的第一部分，由Afra介绍有效利他主义的发展的四个阶段； 它的精神领袖Will MacAskill其人其事； EA和理性主义、e/acc（有效加速主义）之间在社群气质与行动力上的差异； 以及EA是如何主导AI安全叙事，把硅谷最聪明的人一步步网罗其中的。 以下是这次对话内容的精选：Yiwen：你觉得总体来说，有哪些话题是EA会比较关注的？ Afra：其实需要把EA影响全球格局的这十几年时间，分成大概四个阶段，它每个阶段关注的重点都不太一样。 第一个阶段就是所谓的“蚊帐时期”。

这个时期就是你用非常详实的、可量化的证据去改善做慈善的效率，去影响比方说全球的健康指数。 这是一种可以测量的善，它是一个由证据来支持、由数据来支持的善。 因为在EA刚刚成立的那段时间里，许多人想要行善，许多人想通过慈善去捐钱，但是慈善的效率非常低下，他们捐的钱捐不到位。 但是EA这群人，他们就想用一个可量化的、科学的方式，把这个钱捐到位，然后去最大化它的价值。 所以这就是蚊帐时代的来源——这个蚊帐指的就是，蚊帐是一个“你捐多少钱，就能够挽救多少个生命”的最最有效的方式。

接下来，EA的下一个阶段就到了，叫做所谓的“长远规划时期”。 这个长远规划时期大概是在2015年左右发生的，就是这群人开始不成比例地去研究存在风险和关于未来世代的问题，资金和机构也开始扩张。 他其实不再关心一个蚊帐能救多少人，而是关心未来几千年、几万年，人类的世世代代的子女，这些人的生活质量和生活标准。 所以就有大量的资金——同时也是SBF以及很多其他富豪的资金——在这个阶段进入了社区。 我觉得SBF可能是这个时代最极端的一个象征，因为他自己就是一个非常非常关注long-termism（长期主义）问题的人。

我读过一篇关于Will MacAskill的《纽约客》人物特稿，读完之后我的一个判断是：SBF可能是整个EA转向long-termism的决定性因素之一。 接下来就是整个社群声誉崩盘的时代。 出现了很大的信任危机，大家也开始去反思，EA的群体到底出了什么问题。 同时ChatGPT也诞生了，也带来了一个AI的转折——之前EA还有理性主义群体讨论的这种AI风险、生存问题，突然变成了更多人关心的问题。 所以这个阶段，我觉得它是一个也有很多挫败、但是也有很多曝光的阶段。

首先它曝光出了非常多的问题，比方说Will MacAskill本人识人的失败，他自己一直被社群批评，也是他现在仍然对SBF的反思不够，以及他当时一直在庇护SBF。 但是这个时期，也是一个真正让EA变成了就像是《经济学人》所说的、对21世纪影响最重要的一个思想流派的时期。 再接下来，就是我们现在熟知的AI安全时代。 我觉得是在AI安全的这个时代，让大众都能够听说“有效利他主义”这个词，因为AI安全成为了他们最核心的议题之一。

整个EA的网络，一是有很多成员进入前沿实验室成为员工，二是大量的资金去资助AI安全，使得整个EA的圈子和政策圈、和国家安全的圈子、和华盛顿那些圈子发生了交汇。 也导致了比方说特朗普总统，比方说美国国防部会发推说“我们美国肯定不会变成EA”等等。 我觉得当下这个阶段，是EA的一个新的阶段，有新的挑战，但它也是一个最进入公众意识当中的时代。 泓君：不知道你最近有没有关注到，Anthropic和一些安全审计机构、和EA之间的关系？

9月Jacob Coxon从Anthropic辞职之后，有一位独立研究者Kevin Bass在X上梳理资金链，他看的是Anthropic安排来做独立安全审计的机构METR：METR和其他一些安全机构的资助方，同时也是Anthropic的早期投资人——Coefficient Giving的创始人Dustin Moskovitz，他持有大量Anthropic股票。 所以这个所谓的“独立评估”，实际上可能是和Anthropic的商业利益绑定的。 网上因此有很多声讨EA的声音，很多人开始质疑所有安全机构的资金来源。

你怎么看这些质疑？ Afra：Jacob那条推特火了之后，大家才把整个EA对AI安全的资金注入牵出来，然后开始编各种阴谋论。 对我来说，它本身就是一个阴谋论。 泓君：为什么你觉得它是一个阴谋论？ Afra：很多传统媒体会质疑：这些钱流向这些组织，到底有什么目的、有什么隐藏的议程？ 我觉得一定会有某种议程的投射。 但EA这群人的议程是什么？ 就是不想让AI变得不可控、造成人类无法承受的后果。 这就是他们的议程，没有什么隐藏的议程。

最近前《纽约时报》记者，同时也是播客Hard Fork的主持人Kevin Roose写了一本《The AGI Chronicles》（AGI编年史），写作的时候拿了一些有EA背景的钱。 于是很多人质疑：这笔钱的来源是不是不清不楚？ 拿了EA的钱，是不是就一定要把他们的议程写进书里？ 但我觉得最大的问题可能是：当一个思想运动有了这么多钱之后，它到底是在发现最重要的问题，还是它也开始参与和决定：什么问题会被认为是重要的。 我们现在其实已经生活在这个后果当中。

他们很早就说AI安全重要、说要往里面注入很多钱，我们现在就活在这个影响力里。 我见过一些华盛顿的传统智库，它甚至很难招到合格的AI政策分析员，因为年轻、有能力的人才，都流入了EA赞助的智库和组织。 如果你是一个20岁出头的年轻研究员，刚从学校毕业，拿了斯坦福的PhD，想研究AI经济，你会发现AI alignment和AI安全这个领域有大量的研究员席位、大量的科研资助、很多研究职位，年薪也很不错； 这些机构只管给你钱，不太管你的研究方向，也没有人要求你改变信念。 而其他研究机构就没有这么多资源，也没有这么多自由。

所以我见过越来越多这样的年轻人，被这些跟AI安全有关的、所谓“EA机构”吸纳； 也见过越来越多非常聪明的人，因为每天跟这些人见面、讨论问题，被safety-pilled（被AI安全的理念说服）。 但在我看来，在现在这个阶段被safety-pilled很正常。 即使你对AI安全问题不那么关心，每天看各种普通新闻、看各种电视报道，你也会被safety-pilled。 泓君：我知道你其实会经常去伯克利，还有旧金山一些EA的组织，或者我们把它叫做理性主义的组织。

我还听说，在旧金山，比如我们刚刚提到的METR这家机构——如果你要进去参加一些活动，比方说Anthropic或者是研究员的活动，你说自己“我不是一个EA主义者”，他们会问——你不是EA的话，你可能连旧金山的很多活动都进不去。 Afra：我觉得EA也很有意思。 你问一些人说“你是EA吗？ ”他们说“哎呀，我也不是EA，但是我跟他们的人走得很近”。 没有EA的人是天天把自己是EA挂在嘴边的。 其实有很多我的EA朋友，他们很EA，但是他们并不觉得自己是EA成员，我觉得这个也是很有意思的。 泓君：伯克利是一个怎样的氛围？

我觉得伯克利是不是更偏向于理性主义的社区？ 我知道有一个组织叫Lighthaven，大家经常在那里聚会、办活动，它跟旧金山的氛围还不太一样。 Afra：对，我觉得现在伯克利已经自成一个体系了。 伯克利有非常多AI安全第三方的审计机构，或者像METR这样的组织，伯克利已经有几十家了，说实话。 Lighthaven它其实是理性主义者和一些EA赞助的活动场所，它是在伯克利由大概六到七个独栋的房子组合而成的一个活动园区。 你可以在那里听讲座，可以自由地社交，晚上在篝火边烤棉花糖。

Lighthaven就是被看作AI安全、EA和理性主义的一个大本营。 我自己会偶尔去Lighthaven开一些跟AI相关的会，去认识一些人。 我两个星期前刚刚从两个会议回来：一个会议叫做The Curve，另外一个会议叫做Progress Conference。 一个是关于AI呈curve（曲线）、呈爆炸式水平发展的、跟前沿AI研究