世界末日机器不应该存在。
这本来只是一个设想性的实验：想象有这样一个装置，其唯一目的就是毁灭所有人，这台机器深埋在地下，但与一台电脑相连，而这台电脑通过传感器跟美国各地的城镇相连。传感器的设计目的是用于捕捉世界末日的气息，但它的作用不是为了阻止世界末日，而是完成世界末日。
打个比方：如果辐射水平显示美国有三座城市同时发生了核爆炸，传感器就会通知末日机器。末日机器就会回应，引爆足以毁灭地球上所有生命的数枚核弹头程序。到那时，就没有回头路了。
一阵可怕的闪光，一声巨响，接着是持续不断的轰隆声。我们有一个词来形容末日机器释放的破坏规模：大死亡（注，原文megadeath，泛指数以百万计，极大规模的死亡）。
没有人期待这种大规模死亡。但是，死亡并不是末日机器唯一的恐怖之处。真正的恐怖在于它的自主性，具体来说就是，它自有一套编程程序，可以自动检测周边的环境数据，然后在不需要人类干预的情况下自主采取行动。
军事战略家赫尔曼·卡恩在他1960年出版的《论热核战争》一书中写道，“人类不可能干预、控制和做出最终决定。”
这本书提出了末日机器的假设，这种机器的理念是在核战争爆发后彻底摧毁人类，简直难以想象。
卡恩思想实验的结论是，自动灭绝地球上所有的生命是不道德的。即使这台机器有着最精密的计算，只有在人类确实遭受灭顶之灾没有生还可能的时候才会启动，也不足以证明末日机器存在的必要。
卡恩写道，“即使我们放弃计算机，让末日机器在人为控制之下，它仍然不够可控。人类不应该赋予机器那么强大的力量，当然人类也不应该有这种力量。”
近年来，随着Facebook的错误不断加剧，其声誉一落千丈，很明显，疏忽只是问题的一部分，没有人，哪怕是扎克伯格本人，也无法控制他所创造的产品。自此，我开始意识到Facebook并不是一家媒体公司。
这是一台末日机器。
苏联在冷战期间确实制造了一款末日机器。他们给它起了个代号叫“死亡之手”。如今，我们奇迹般地找到了在核战威胁下和平共处的办法，却要学习面对社交网络中的生存。
最近人们经常抱怨Facebook，好像它出了什么问题。有一种观点认为，社交网络以前还是不错的，或者说它至少曾经有机会做得很好，只要我们设置一些约束：适当的控制和事实核查，再加上一定的监管，或者联邦反垄断诉讼也是一个不错的办法。
但这样的观点未免过于乐观和短视。当今的社交网络，Facebook是其中的领头羊，我们现在诟病它的地方，恰恰正是它建立之初的目的和基础。那些有害的因素早就根植在他们的框架里。
多年来，我一直在思考，怎样才能让社交网络以正确的方式展现它神奇的魅力，不要那么极端，没有那么有毒，并且更真实。直到最近我才意识到，自己对这个问题的思考太狭隘了。我一直幻想扎克伯格能够把Facebook定义为一家媒体公司，像其他编辑那样对自己创造的信息环境负责。
有一次我曾就此追问他，他笑了。
近年来，随着Facebook的错误不断加剧，其声誉一落千丈，很明显，疏忽只是问题的一部分，没有人，哪怕是扎克伯格本人，也无法控制他所创造的产品。自此，我开始意识到Facebook并不是一家媒体公司。
这是一台末日机器。
社交网络正在按照它当初建立的目的发挥着作用。Facebook的存在不是为了寻求真相并报道真相，不是为了改善公民健康状况，不是为了追究权贵的责任，也不是为了代表其用户的利益，尽管这些东西可能是它偶尔产生的副产品。
facebook早期的使命是“赋予人们分享的力量，让世界变得更加开放和连接。”
但是事实上它偷换了“社区”的概念，抽走了所有的道德意义。例如，QAnon的崛起就是合乎社交网络逻辑的产物之一。这是因为Facebook，连同谷歌和YouTube，非常适合以闪电般的速度向全球受众放大和传播虚假信息。
注，QAnon，匿名者Q，美国最流行的极右翼阴谋论，认为美国政府内部存在一个反对特朗普及其支持者的深层政府，有一个叫Q的人会不断的在网上揭露这个阴谋，除了希拉里这样的民主党人，包括索罗斯，比尔·盖茨还有福奇都是这个阴谋论攻击的对象。
可以说，Facebook是宣传、定向骚扰、恐怖分子招募、情绪操纵，还有种族灭绝的温床，这是一种在世界历史上有重要意义的武器，它并没有躲藏在地下，而是在加州门洛帕克一个充满迪斯尼乐园风格的园区里大摇大摆（注，指facebook总部）。
Facebook及其子公司Instagram，谷歌及其子公司YouTube是社交网络界的巨头。规模稍小的twitter通过保持教条式的价值中立，在我所说的“做大做强”的道路上也取得了不小的成功。在发展的过程中，Facebook明白它要的用户群体不能只是庞大的，而必须是空前庞大。这一决定让Facebook走上了一条逃逸速度（注，航天器脱离地球引力所需要的速度，泛指极快的速度）的道路，当它到达了一个临界点，它的存在就只会给社会造成伤害。
唯一的问题是，减少被Facebook称为“对世界有害内容”的传播，也会降低人们对该网站的浏览量。据《泰晤士报》报道，在人为干预的实验中，Facebook调整了算法，让用户的新闻推送中保留一定的有害内容，以保证网站的浏览量。
“末日机器”与Facebook的不同显而易见：Facebook没有核弹那样在瞬间摧毁一座城市的能力。世界末日机器是为了应对世界末日的到来，而设置的同归于尽的毁灭性机器，而Facebook的诞生，不过是因为一名半醉的哈佛大学本科生有天晚上找不到人聊天而想到的点子。
但Facebook仍然关系着人类的未来和生死。它庞大的用户群的杀伤力跟末日机器原子弹的杀伤力一样，对人类有着同等的威胁。没有任何一台机器有权利控制人类的命运，而这正是末日机器和Facebook建立的初衷。
Facebook不惜一切代价扩大规模的商业模式所造成的恶性循环显而易见。规模和用户参与对Facebook来说很有价值，因为对广告商很有价值。从Facebook的页面设置上就可以看出这种倾向，如评论点赞按钮，鼓励用户方便频繁地参与互动和评论，这反过来刺激用户分享一些能激起强烈反应的想法。
每次你点击Facebook上的点赞评论按钮，你的行为就会记录进一套算法，用于刻画你的形象（注，此处指通过用户的行为记录用户的兴趣爱好、年龄、收入等特征，以便商家更精准地找到目标客户）。
用户的超目标定位（是指在网络中基于网民的兴趣偏好向特定群体投放广告内容的能力）就是通过这样海量的数据得以实现，为广告商、政治活动、造谣者、当然还有Facebook本身的发展，创造了一个完美的环境，最终控制着你在网络平台上会看到什么,不会没有看到什么。
Facebook招募了大约15000名版主，这些人拿钱观看难以启齿的事情——谋杀、轮奸和其他在平台上出现的暴力画面。尽管Facebook一直坚称，对于用户发布的内容，它是一个价值观中立的平台，版主帮助公司维持平台的平衡和洁净。
但是多达15000名的的版主也没有足够多的时间和精力，来阻止Facebook向世界释放的垃圾洪流，因为大多数情况下，算法比人力更快更强大。在如此庞大的用户群规模上，在这种被算法扭曲的个性化信息环境下，很难进行有意义的调节，这是非常危险的。
这些危险可不是仅仅停留在理论上，而且这种危险正在被facebook巨大的规模放大，这个平台终于成为对人进行试验的一个诱人场所——Facebook在不告知用户的情况下，对用户进行了社交传递实验。
Facebook在这个试验里充当了数字殖民主义的角色，试图成为世界各地人们事实上的（也是唯一的）的互联网体验。Facebook曾吹嘘自己有能力影响选举结果；非法武装利用Facebook组织力量；政府官员利用Facebook来误导舆论，并篡改选举结果。
军方官员利用Facebook的自满情绪进行种族灭绝；Facebook无意中为伊斯兰国自动传播了洋洋得意的招募视频，其中有反犹太的信息和焚烧美国国旗的内容。
即使在美国情报机构认定Facebook为信息战和外国干预2016年大选的主要战场之后，这个公司也未能阻止其网站上极端主义、仇恨言论、虚假信息和阴谋论的传播。
新纳粹分子即使在被正式禁止后仍然通过广告的形式在Facebook上活跃着。例如，直到今年10月，Facebook才宣布将删除专门针对QAnon的群组、页面和Instagram账户，以及所有否认二战时期纳粹大屠杀的帖子。
扎克伯格此前曾为Facebook不删除有关纳粹大屠杀的虚假信息的决定辩护，他在谈到纳粹大屠杀否认者时说，我不认为他们是故意散布错误信息。他后来澄清说，他无意为否认纳粹大屠杀的人辩护。
即便如此，Facebook还是定期向用户发送电子邮件，推荐最新的QAnon群组。白人至上主义者和已经失去热度的“让美国重新强大起来的”的口号可能会涌向Gab、Parler这样的小型社交平台，但这些平台没什么规模，也没什么影响力。
在2020年总统大选后，扎克伯格授权调整Facebook的算法，这样高准确度的新闻来源如NPR（美国国家公共电台）将获得优先可见性，而极度拥护某一党派的偏执内容如布赖特巴特新闻网（美国著名极右翼媒体网站）和“占领民主党”（一家美国左翼媒体机构）会被弱化。
据《纽约时报》的报道，证明如果Facebook如果有心去做，它是可以通过调整设置来减少虚假信息的。《纽约时报》在报道中提醒人们，Facebook可以左右数十亿人在网上看到的内容。
对Facebook来说，调整算法的行为极不正常。这就像末日机器的传感器检测到环境中有害物质，却选择不让算法按正常程序引爆末日机器。这一次，因为人类的介入而减轻了伤害。
唯一的问题是，减少被Facebook称为“对世界有害内容”的传播，也会降低人们对该网站的浏览量。据《泰晤士报》报道，在人为干预的实验中，Facebook调整了算法，让用户的新闻推送中保留一定的有害内容，以保证网站的浏览量。
以算法为基础的社区环境通过用户数据操纵用户体验，这样的社区环境不以服务用户为最终目的。现实世界的暴力事件可以很容易地在Facebook和8kun上找到源头。但8kun不会操纵用户或他们所处的信息环境。这两个网站都是有害的。但Facebook实际上可能对人类更有害。
Facebook公开宣称的使命——让世界变得更加开放和联通，在我看来，往好里说是虚伪，往坏里说就是帝国主义。毕竟，今天的帝国是在网络上诞生的。Facebook是一个不分国界和民族的帝国，其用户数量几乎相当于中国和印度人口的总和，而且它主要由秘密算法控制。
希拉里·克林顿今年早些时候告诉我，与扎克伯格交谈感觉就像与一个外国专制国家的领导人谈判。希拉里说：“这是一家全球性的公司，我们才刚刚开始意识到它对整个世界的巨大影响力。”
我回想起希拉里几周前发出的警告，史蒂夫·班农（注，特朗普前顾问，被称为极右翼的军师，上文提到的美国著名右翼媒体布赖特巴特新闻网的创立人之一）主张把传染病医生安东尼·福奇和联邦调查局局长克里斯托弗·雷斩首后，扎克伯格没有在Facebook上封杀史蒂夫·班农，并且为他的这个决定辩护。
这段插曲让我思考了一个找不到答案但一直萦绕在脑海里的问题：如果Facebook不存在，能避免多少现实世界的暴力？
我就这个问题问过约书亚·格尔策，他曾在白宫担任反恐官员，现在乔治敦大学法学院任教。他告诉我，在反恐界，911事件以后，人们乐于宣扬美国在阻止恐怖分子方面做得有多好。事实并不是这样，他说：“事实上，每一天乃至每分每秒，恐怖分子都在通过Facebook进入人们的世界。”
鼓励大规模暴力方面最著名的贴图网站应该是4chan，随后是8chan，最后变成了8kun。有好多次，大规模枪击嫌疑人在杀人狂欢实施前，在这些网站上都分享了宣言，使得这些网站臭名昭著。
少数愿意无条件捍卫这些网站的人，都是从绝对的言论自由主义的立场出发的。这个论点有待商榷，但这个网站的架构也值得关注：8kun上没有算法，只有一个用户社区，他们可以发布任何想要的东西。
人们使用8kun发布令人厌恶的观点，但至少社区没有故意粉饰他们的罪恶。最大的社交平台Facebook同样宣称中立和支持言论自由，但实际上没有两个用户会看到完全相同的消息。
以算法为基础的社区环境通过用户数据操纵用户体验，这样的社区环境不以服务用户为最终目的。现实世界的暴力事件可以很容易地在Facebook和8kun上找到源头。但8kun不会操纵用户或他们所处的信息环境。这两个网站都是有害的。但Facebook实际上可能对人类更有害。
当我在另一次谈话中向格尔策提出这个问题时，他告诉我：“当你这样构思时，这真是一套可怕的选择，自由发布信息的构思一听真很糟糕，直到你看到那套据称是有节制有策划的平台所产生的算法，它可能不会有直接伤害，但它潜移默化制造的伤害更多。”
以前，美国官员至少可以研究，比如说二战期间的纳粹宣传，并完全掌握纳粹想要人们相信什么。今天，格尔策说：”这是一种极其强势的信息过滤，我甚至不知道其他被算法过滤过的人看到的信息是什么。”
这一领域的另一位专家，乔治城法学院宪法宣传和保护研究所的法律主任玛丽·麦科德告诉我，她认为8kun在宣传暴力方面可能更加明目张胆，但Facebook因为其巨大的影响力 “在某些方面更糟糕”。
她说：“Facebook没有任何准入门槛，我们调查的每一种极端主义暴力，都在Facebook发了帖子。而这能接触到大量的人。它的广泛影响将人们带入这个圈子，并将极端主义正常化，使其成为主流。”
换句话说，巨大的浏览量正是Facebook的可怕之处。
2007年，在Facebook在用户激增的悬崖边缘，扎克伯格在接受《洛杉矶时报》采访时曾说过一些话，现在看来，这些话的含义要阴暗得多：“人们不在Facebook上做，现实中也会做的事情，这算不上什么强大的力量，如果一些事情他们不在Facebook上做，也就不会在现实生活中做，这个力量才够强大。”
回头看看，扎克伯格统治世界的道路似乎是注定的。他在九年级时编写了电脑版《风险》（一款战略棋类游戏），他长期以来都对罗马帝国很感兴趣，他对信息流和人类心理学很痴迷。
他第一次真正的互联网丑闻，是他在未经允许的情况下，黑进了哈佛大学通讯录，窃取了学生的照片，创建了网站FaceMash（扎克伯格后来形容自己侵入哈佛系统这件事是“小孩子贪玩”）。
他口头上对保护隐私的承诺，与Facebook的实际运作方式之间存在脱节。(以下是扎克伯格多年前与一位朋友的私人聊天记录，他从Facebook的早期用户那里获得了大量数据：“我有4000多封电子邮件、照片、地址……人们主动上传的。我不知道为什么，他们的信任我，这些蠢货。”)
多年来，他在自己的Facebook个人资料中列出了自己的兴趣爱好：禁欲、极简主义、创新、打破常规、革命、开放、增长指数、社交动态、统治。
Facebook的巨大规模让扎克伯格对全球的影响力达到了前所未有的程度。即使他不是这个星球上最有权力的人，他也已经接近顶层了。
格尔策告诉我：“拥有这么大说话、沉默和批准的权力，这已经够疯狂了，更不用说他还是决定互联网上信息传播算法的最终持有者。他掌握的东西对人们的认知和信念有这样大的影响，甚至是对如何使用核武器，或者是如何使用他们手中的美元这样的事情，他都有能力左右。”
Facebook新成立的监督委员会是对其权力的延伸。该委员会是为了应对网站的反对声，其任务是做出有关节制和言论自由的决策。格尔策说，“他们做出的10项决定将比美国最高法院接下来准备做出的10项决更有影响力，无论是对美国还是对全世界。这就是力量，真正的力量。”
2005年，也就是我加入Facebook的那一年，该网站还标榜自己是一个在线通讯录，用于“查找你学校里的人”。看看人们是如何相互认识的。你可以找到你的班级同学和小组组员。
那年夏天，在帕洛阿尔托，扎克伯格接受了一位年轻电影制作人的采访，后者随后将这段视频发布到了YouTube上。在视频中，你可以看到当时的扎克伯格仍然在琢磨Facebook的未来。
这段对话提醒人们，扎克伯格创立Facebook时年轻得几乎不可思议。(采访开始时，他问，我应该把啤酒放下吗？他当时拿着一个红色一次性塑料杯。)然而，21岁时，扎克伯格清楚地表达了他的公司的一些事实，从他的话里可以预见到如今的危机：Facebook不是网络上一个统一的地方，而是“很多不同的个体社区”。
今天，扎克伯格提到的“不同的个体社区”，包括QAnon和其他极端主义团体。那个时候，这些社区还只是一群少年宣泄情绪的地方。在2005年的采访中，扎克伯格被问及Facebook的未来，他给出的回答现在回想起来，感觉像是一场悲剧：
“我的意思是，没有必要做那么多。就像，很多人专注于统治世界，或者做最大的事情，获得最多的用户。而我只想一心一意做些小事，我的意思是，我真的只是想看到每个人都专注于学院和创建一个很酷的学院社区，就像人们还在大学时，关心的那些信息。”
搞笑的是，这种小规模地方化的团体是超大规模成为可能的部分原因。早期对会员资格有一定的限制：首先要求用户就读于哈佛大学，之后改成可以是任何一所常春藤盟校，他们的电子邮件地址必须以.edu结尾，这提供了一种凝聚力和社区意识。
它让人们更自在地分享更多的自我。这一群群有明确定义的人群统计数据非常对广告商的胃口。2004年，扎克伯格表示，Facebook投放广告只是为了支付服务器成本。但在接下来的两年里，Facebook彻底颠覆并重新定义了整个广告行业。
在社交网络出现之前，分类广告遭到了破坏，但Facebook和谷歌的连击重创了当地新闻和大多数杂志行业，出版物开始通过网络挣钱，而社交巨头则将它们全部收入囊中。没有一家新闻机构能与社交网络的规模相抗衡。它太大了。
来了又走，走了又回来的Facebook高管克里斯·考克斯曾谈到初创公司的“神奇数字”，即当一家公司的员工人数超过150人之后，事情就开始偏离原先的轨道了。他在2016年的一次会议上说：“我和很多初创企业的CEO交谈过，在他们的公司人数超过150这个数字后，奇怪的事情开始发生。”
这一观点来自人类学家罗宾·邓巴，他认为148是一个人能够维持的稳定社会关系的最大数量。如果我们将同样的逻辑应用于社交平台的稳定性，我们会得到什么数字?
作家兼互联网学者伊桑·祖克曼，他的大半人生都在思考如何建立一个更好的网络。他对我说：“我认为最理想的数字是2万到2万人。超过这个数字，就很难有任何实质的联系了。”
换句话说，经营一家公司或维持一个有凝聚力的社会生活的极限数字是150人，对于一个功能性社交平台来说，理想的数字是2万人。然而Facebook现在每月有27亿用户。
2007年，在Facebook在用户激增的悬崖边缘，扎克伯格在接受《洛杉矶时报》采访时曾说过一些话，现在看来，这些话的含义要阴暗得多：“人们不在Facebook上做，现实中也会做的事情，这算不上什么强大的力量，如果一些事情他们不在Facebook上做，也就不会在现实生活中做，这个力量才够强大。”
我仍然相信互联网对人类有好处——排除了社交网络，而不是因为社交网络。我们还必须找到方法来修复社会和文化中被社交网络严重破坏的方面。这需要思想上的独立、基于尊重的辩论，以及几个世纪前帮助确立启蒙价值观同样的反叛精神。
预测未来是人们最不擅长做的事情。20世纪60年代，赫尔曼·卡恩和他的经济学同行、数学家以及兰德公司（注，Rand Corporation，一所旨在通过慈善、教育和科技促进未来美国公众福利、提高社会安全的非盈利性组织)的前军官等超级富豪知识分子对这预测未来极为关注。
卡恩和他的同事们发明了现代未来主义这一概念，它诞生于原子弹带来的生存恐惧，并理解到大多数创新本质上是横向的，即对已经存在的东西的改进，而不是真正全新的。真正的发明是极其罕见的，而且更具破坏性。
逻辑学家兼哲学家奥拉夫·赫施伯格曾与卡恩在兰德公司共事过，后来两人共同创立了未来研究所。他在逃离纳粹后来到加州，这段经历让他对窥测未来有了一种特殊的迫切感。他认为，技术变革的加速产生了新的需求，在工程、医学、社会科学等领域都需要新的认知来迎合技术的发展。
他写道：“一种新的生活模式的形成不再需要几代人的时间来演化，我们的生活正在经历几个重大调整，我们的孩子将不得不适应不断变化的生活方式。”
1965年，他写了一本名为《社会技术》（Social Technology）的书，旨在创造一种预测未来的科学方法。
那几年，卡恩正在构想他自己的假想机器，为人类面临的新威胁提供一个哲学框架。他称它为世界末日机器。斯坦利·库布里克（Stanley Kubrick，美国电影导演，编剧和制片人）在1964年的电影《奇爱博士》中借用了这一概念，这部电影对核毁灭的宿命论进行了神化。
这与如今关于互联网破碎的宿命论感觉类似。我们仍然处于本世纪互联网、智能手机和社交网络三重数字革命的初期阶段，我们发现自己处在一个危险和不稳定的信息环境中，无力抵抗操纵和剥削的力量，我们能够感受到这些无形的力量施加在我们身上。
末日机器给我们上了一课：我们不应接受目前的这种安排，没有一台机器有权力控制这么多人。
如果理性时代（注，指17～18世纪末欧洲启蒙主义哲学盛行、以理性和常识占优势为特征的时期））在某种程度上指对印刷机的反应，1960年代未来主义是对原子弹的反应，那么现在，我们需要一个新的哲学和道德框架应对社会网络，这是信息时代的新启蒙运动，它将带领我们共享现实和经验。
Facebook的长期高管之一安德鲁·博斯沃思将Facebook比作糖块，说它“很美味”，但最好适度享用。在去年最初贴在Facebook内部网络上的一份备忘录中，他主张建立一种个人责任哲学。博斯沃思写道：“我祖父对培根就是这种态度（美味，可以吃但是适量的态度），我因此很钦佩他，社交媒体可能没有培根那么致命。”
这种观点仅仅把Facebook视为个人消费行为，而忽视了它是一个庞大网络的事实。Facebook也是一门生意，还是人们彼此相处的地方。这么说吧，如果你拥有一家商店，有人走进来，开始在收银台附近大声宣传纳粹或招募恐怖分子，作为店主，你会任由他们把你的商店变成他们宣传的场所吗?
当然，任何认真想要减轻社交网络对人类的伤害的人，都应该考虑退出Facebook、Instagram和Twitter，以及远离任何被扭曲的算法控制、操纵人类的信息环境。但我们需要从更广泛的角度来看待如何修补社交网络的缺陷。
这就需要挑战当今平台的逻辑，首先，也是最重要的，就是挑战作为人类聚集方式的超大规模概念。如果Facebook的力量和危险来自于它超大的规模，那么为了改变现状，必须采取集体行动反对这种大规模的网络。
网络现有的逻辑告诉我们，社交平台以免费的使用，换取大量的用户数据，各大网络必然是全球性和集中化的，由版主制定规则。
其实这些都没必要。我们需要有人构建替代方案来打破这些观念，我们需要足够多的人去关注这些替代方案，以打破风险资本和大众关注的魔咒。正是这些资本和关注催生了规模巨大的网络，并导致了人们对互联网产生了宿命论。
我仍然相信互联网对人类有好处——排除了社交网络，而不是因为社交网络。我们还必须找到方法来修复社会和文化中被社交网络严重破坏的方面。这需要思想上的独立、基于尊重的辩论，以及几个世纪前帮助确立启蒙价值观同样的反叛精神。
我们可能无法预测未来，但我们知道它是如何产生的：通过人们付出宝贵时间和大量精力，通过颠覆历史的伟大发明。现在，太多的人任由算法和科技巨头操纵他们，结果是事态渐渐脱离我们的掌控。
本世纪的末日机器就在这里，嗡嗡作响。
原文刊于《大西洋月刊》
作者：AdrienneLaFrance
编译：远奇
