为了说明这一点，请让我以一个有点儿天马行空的思想实验为例，它有点儿像波斯特洛姆提出的“回形针启示”的极权政体版本。想象时间来到 2050 年，凌晨 4 点，独裁者被“监控与安全算法”紧急叫醒。“伟大的领袖，我们遇上了一个紧急状况。我通过计算几万亿个数据，发现了绝对无误的模式：国防部长打算在今早对您发动暗杀政变。暗杀小队已经准备就绪，等他下令。但只要您一声令下，我就会发动精准攻击，将他肃清。”

“可是国防部长是我手下最忠诚的人，”独裁者说，“他昨天还跟我说……”

“伟大的领袖，我知道他对您说了什么，这世上没有什么话是我没听过的。但我也知道他后来对暗杀小队说了什么，而且我一直在数据中发现令人不安的模式，已经追踪了好几个月。”

“你确定你没有被深度伪造的数据蒙骗吗？”

“恐怕我所依据的数据都是百分之百真实的，”算法说，“我使用专门的深度伪造检测子算法检查过。虽然我可以详细解释为什么我知道这些不是深度伪造的数据，但可能得花上几个星期。要不是已经确定，我绝不想惊扰您，但所有数据都指向一个绝对的结论：一场政变就在眼前。除非我们现在采取行动，否则暗杀小队一小时后就会抵达。但只要您下令，我就会肃清叛徒。”

独裁者让监控与安全算法拥有这么大的权力，这让他进退两难。如果他不相信算法，就可能被国防部长暗杀；如果他相信算法、肃清国防部长，就成了算法的傀儡。要是有人想对算法不利，算法也很清楚怎样操弄他来先下手为强。请注意，这一切并不代表算法需要有意识。就像波斯特洛姆的回形针思想实验所显示的——也像是 GPT-4 会对跑腿兔网站（TaskRabbit）的打工人员小规模地撒谎——算法就算没有意识，不会像人类一样贪婪或自私，也可能会试着抓住权力，操弄他人。

要是算法真的能发展出以上假设的这些能力，独裁政权成为算法傀儡的风险其实远高于民主政权。在美国这样的分布式民主体系中，人工智能再不择手段也很难夺权：就算学会了如何操弄美国总统，还是得面对国会、联邦最高法院、州长、媒体、各大企业和各种非政府组织的反对。举例来说，如果参议院阻挠议事，算法能怎么办？

国家的权力如果高度集中，夺权的难度就低得多。如果所有权力集于一人之手，只要控制了专制者的亲信，就等于控制了专制者，也就等于控制了整个国家。只要学会操控一个人，就能成功劫持整个体制。一个典型的例子就是罗马皇帝提比略成了禁卫军队长塞扬努斯的傀儡。

禁卫军最初由奥古斯都所设，是一个小型的帝国护卫队。奥古斯都还给禁卫军任命了两名队长，这样任何一位的权力都不会凌驾于自己之上。可惜，提比略没那么聪明，而他的偏执也成了他最大的弱点。身为两位队长之一的塞扬努斯，巧妙地利用了提比略的恐惧心理，不断揭发各种号称要暗杀提比略的阴谋，但多半纯属虚构。除了塞扬努斯，这位多疑的皇帝开始越来越不信任其他人，于是任命塞扬努斯成了禁卫军唯一的队长，统领 1.2 万人，还进一步负责整个罗马城的治安与管理。到最后，塞扬努斯还说服提比略离开了首都，前往卡普里岛，理由是比起一个充满叛徒与间谍的大都市，在一个小岛上保护皇帝实在容易多了。但正如罗马历史学家塔西佗所言，塞扬努斯的真正目的是掌控能够传到皇帝手中的一切信息：“与皇帝的接触尽在他的控制之中，之前由士兵传递的信件，现在都必须经他的手转交。”

提比略被孤立在卡普里岛上，塞扬努斯控制了提比略能够获取的一切信息。随着禁卫军控制了罗马，这位禁卫军队长也就成了罗马帝国真正的统治者。包括皇室成员在内，只要是可能反对他的人，塞扬努斯就会诬指他们叛国，并加以清除。所有人都必须经过塞扬努斯的许可才能联络上皇帝，提比略因此沦为傀儡。

算法就算没有意识，不会像人类一样贪婪或自私，

也可能会试着抓住权力，操弄他人。

终于，后来有人（或许是提比略的弟媳安东尼亚）在塞扬努斯的信息防线里发现了一个缺口，偷偷将一封信送到皇帝那里，解释了当时的情境。提比略发现了危险，决心要除掉塞扬努斯，却几乎束手无策。这个人不但控制了他身边的守卫，还控制了他与外界的一切联系，他要怎样才能扳倒这个人？一旦提比略轻举妄动，塞扬努斯就可能会将他无限期囚禁在卡普里岛，并且告诉元老院与军队皇帝重病，无法前往他处。

话虽如此，提比略还是成功地扭转乾坤。随着塞扬努斯权力与日俱增，他开始把更多心思放在整个帝国的管理上，不再过问罗马治安机构的日常琐事。提比略找到塞扬努斯的一个部下——马克罗（负责罗马消防与夜巡事务的警卫队队长），取得了他的支持。马克罗策划政变，扳倒了塞扬努斯。作为奖励，提比略任命马克罗成为新任禁卫军队长。几年后，马克罗杀死了提比略。

提比略的命运告诉我们，所有独裁者都要维持一种很脆弱的平衡：既要把所有信息集中在一处，又要小心让自己成为各种信息通道的唯一交会点。要是信息通道交会在其他地方，那里就会成为真正的权力枢纽。如果政权仰赖的是人类（如塞扬努斯与马克罗），高明的独裁者就能操弄他们互相对抗，而让自己稳居高位。如果政权仰赖的是一套力量强大且高深莫测的人工智能，所有信息都由人工智能来收集与分析，人类独裁者就有可能直接失去一切权力。这位独裁者就算依然身在首都，也像是被隔离在一个数字孤岛上，只能受到人工智能的控制与操弄。

独裁者的困境

比起成为算法的傀儡，接下来几年里，这个世界上的独裁者还会碰上更迫切的问题。目前的人工智能系统还没有大规模操控政权的能力，但极权政权已经出现了太过信任算法的危机。民主政权假设任何人都可能犯错，而极权政权假设自己永远是对的。基于这种假设而建立起的政权，相信有绝对正确的天才存在，也不乐见创造出强大的自我修正机制，用以监督那位天才。

到目前为止，这些政权相信的都是由人类组成的领导人，也是培育个人崇拜的温床。未来，这样的极权传统也使这些政权做好另一种准备：相信有绝对正确的人工智能。这不只会给这些政权的公民带来灾难，还可能波及世界其他地区。要是某个负责环境政策的算法犯了离谱的错误，又没有自我修正机制能够发现并修正这个错误，事情会如何发展？要是某个负责国家社会信用体系的算法犯了离谱的错误，除了开始恐吓一般大众，甚至还开始恐吓执政党成员，把所有质疑算法所制定的政策的人都贴上“人民的敌人”这个标签，事情又会如何发展？

独裁者无法摆脱的问题，就是自我修正机制薄弱，以及下属尾大不掉的威胁，而人工智能的兴起又可能让这些问题变得更为严重。对独裁者来说，计算机网络带来的其实是一个令人无比苦恼的两难困境。独裁者如果想要摆脱尾大不掉的人类下属，可以选择信任理论上绝对正确的信息技术，但这种时候，他们就可能成为信息技术的傀儡。如果独裁者想要建立一个人类机构来监督人工智能，就得小心这个机构对独裁者的权力造成限制。

即使全球只有极少数独裁者选择信任人工智能，也可能对全人类造成深远影响。科幻小说里常常会出现人工智能不再受控，进而奴役或消灭人类的场景，而且多半把背景设在民主资本主义的社会。这点也不难理解，毕竟民主国家的作家对自己的社会更感兴趣。然而，人类如果要对抗人工智能，里面最弱的一环大概就是独裁者。人工智能如果要夺取权力，最简单的方法不是逃出制造科学怪人的实验室，而是赶快去讨好偏执的提比略。

这种说法并不是预言，而是提出一种可能。1945 年之后，独裁者及其下属还是能和民主政权与公民携手合作，共同抵制核武器的。1955 年 7 月 9 日，爱因斯坦、罗素等著名科学家及思想家共同发表《罗素-爱因斯坦宣言》，呼吁各个国家的领导人应合力避免发生核战争。这份宣言提到：“我们以人类的身份，向人类殷切呼吁：请铭记人性，并忘却其余。做到这点，眼前就是通往新天堂的道路；反之，眼前就是共同毁灭的危机。”人工智能也是如此。独裁者如果相信人工智能必定会让权力的天平向自己倾斜，只能说是愚不可及。只要一不小心，人工智能就会夺取权力。