跳到正文
原文
界面新闻· jianli@jiemian.com(硅谷101)·· 2 天前精选AI 评分70

Vitalik反思EA与AI安全

对话Vitalik:捐出数亿美元后,如何开始反思EA?(下篇)

AI 摘要

以太坊联合创始人Vitalik Buterin向慈善机构捐出数亿美元,其中约4-6亿美元捐给未来生命研究所(FLI),后者从对抗人类存在性风险转向全力押注AI安全并走向政策行动。Vitalik认为AI毁灭人类概率为0.1但存在极大不确定性

正文 · 中文整理稿

怎样用有限的钱帮助更多人? 有效利他主义(EA)推动人们比较不同慈善项目的效果,从捐赠蚊帐、预防疟疾,到投入数亿美元研究AI安全。 SBF与FTX崩塌让EA陷入信誉危机,AI研究员辞职、安全评估机构和捐赠网络争议再引关注。 当一些人将防止AI毁灭人类视为最值得投入的事业,他们的判断如何影响研究方向和资金分配? 其中利益与权力问题如何存在?

以太坊联合创始人Vitalik Buterin曾向多家慈善机构捐出加密货币,其中捐给未来生命研究所(FLI)的部分约4-6亿美元,FLI也明确表示Vitalik是该机构迄今最大捐赠者。 然而FLI关注方向从对抗人类存在性风险转向全力押注AI安全并走向政策行动。 Vitalik尝试与FLI沟通希望对方拓展关注领域,但被拒绝。 他认为EA思想在对抗自然领域有效,但在与人博弈领域更复杂。

AI是否存在毁灭人类风险仍有极大不确定性,不同立场的人对Anthropic的安全哲学存在质疑,EA内部也存在支持与反对Anthropic的群体。 他总结出d/acc(防御性加速主义)思想,主张优先发展能保护人、分散权力的技术,如网络安全、疫苗和空气过滤,提高社会抵御风险能力。 Vitalik最初接触EA是因为理性主义和EA讨论物理学、道德等话题,并关注非洲健康问题。 2016-2017年以太币涨10倍时,他将一小部分以太币捐给EA组织。 他关注AI安全始于2015年,当时AI理论上是重要话题,但研究极少。

2018年摄像头和AI辅助数字监控出现,2020-2023年GPT-3和ChatGPT让AI成为真正话题。 2022年前唯一答案是增加研究,但2022年后AI发展迅速,成为具体话题。 Vitalik认为AI毁灭人类概率为0.1,但存在极大不确定性,包括AI发展速度、对齐问题是否为真正问题、政治不确定性等。 2021年5月12日他捐赠了包括FLI在内的多个EA组织,当时因狗狗币价格暴涨,他将部分狗狗币换成以太币捐给抗疟疾基金会,剩余部分捐给FLI。

三个月后狗狗币未跌,CryptoCOVID Relief卖完币获得4.7亿美元,FLI可能获得4-6亿美元。 Vitalik说服CryptoCOVID Relief归还一半资金,开始做抗疫情工作,包括研究过滤器、紫外光、口罩、长新冠研究,并捐给开源疫苗公司RADVAC和PopVax。 2022年初开始对抗所有空气传播疾病,用了两个亿做了大量工作。

来源:界面新闻 · jiemian.com

00