摘要：人工智能可能引发的风险已经成为AI安全问题讨论的基点，对于AI进化的未来形式——超级智能引发的问题学界却存在着不同的看法。哲学界的“生存论问题”、社会科学界的“存在论风险”以及科学界的“灾难性风险”是三个标识性概念。针对灾难性风险，学界提出四条科学路径：第一条是约书亚提出的科学家AI策略，但这条路径过于理想化；第二条是超级对齐，这条路径具有充足的逻辑基础，因为价值对齐被很多学者认为是应对ANI、AGI风险的最优选择，但其中的逻辑悖论是如何做到以弱胜强；第三条是数据路径，即将合成数据喂给大模型，使得模型崩溃来减缓超级智能的发育，但是这条路径存在很多争议；第四条是蒸馏路径，即采用数据蒸馏的方法使得超级智能变弱。哲学路径包括设置哥德尔炸弹和“以人为中心”等。设置哥德尔炸弹属于思想实验，这条路径已被提出者抛弃。文章提出了“以人为目的”的路径来作为一种尝试，即面对人类的关机或者销毁命令，超级智能破解这一难题的出路就是将“以人为目的”作为最高原则，自主关机，而不是说服人类改变命令或者通过复制来保存自己。
关键词：超级智能安全；灾难性风险；超级对齐；以人为中心；以人为目的；AI安全
作者：杨庆峰
期刊信息：《延边大学学报（社会科学版）》，2025年第5期。
发表日期：2025/9/20
