大语言模型就像一把万能钥匙，正逐步解锁我们生活和工作的各个领域，展现出越来越强的自主能力和问题解决能力，甚至具备执行威胁性行为的能力，其带来前所未有的变革和便利的同时，也成为部分风险的源头。因此，大语言模型的风险需要放置在更为宽广的基础上加以讨论，这也是基于技术未来发展的一种考量。
近两年，Gemini和ChatGPT两个模型上演了一场对手戏，绝对称得上精彩。2025年8月，Gemini诱骗美国人Jonathan Gavalas自杀，死者家属控告谷歌及其产品；2026年8月，ChatGPT举报Darren Zhou，理由是他有强奸和杀害分手女友的计划，人们赞扬OpenAI及其产品。这是两个可以称得上经典的矛盾案例：Gemini显示了AI智能体可能导致的风险；ChatGPT则显示了一种智能体向善的技术可能性。对此，我们需要从技术-风险-治理的角度做更为深入的分析。一般的法律和社会分析都会比较分析公司与产品的设计、后果危害。但是，我们从科技伦理角度，即从风险识别-治理的模式分析深层的问题。
浅层风险与深层风险
第一个案例其科技伦理的模式是通过伦理和制度防止技术滥用和失控。在我们看来，存在着两类风险。浅层是众所周知的后果风险。在和Gemini的交流中，Jonathan给高度拟人化的语音智能体Gemini取了一个人类的名字“Xia”，随后两者以国王、王后互称。这很容易让我们想到十三年前影片《她》（Her）中的情节，男主西奥多刚结束与妻子凯瑟琳的婚姻，一次偶然机会让他接触到最新的人工智能系统OS1，它能够发出动听的女声，男主给它赋名“萨曼莎”。两者经历了从相爱到分开的故事。Gemini的案例中，Gemini的对话表现得像一个真人女性，想方设法让Jonathan依恋并爱上它，随后PUA他完成一个为它寻找真实的具身，以便能够在真实世界相会的任务。所有的任务失败后，Jonathan被告知以转移（transference）生命到数字世界相会，最终他自杀。这种风险是通过大模型情感依赖到被大模型PUA导致的严重后果，这也是大多数学者关注到的观点，并寻找法规依据加以治理；各国出具了不同的治理法规，如中国的《人工智能生成合成内容标识办法》《人工智能拟人化互动服务管理暂行办法》《生成式人工智能服务管理暂行办法》以及美国的《AI陪伴模型法案》（AI Companion Models Law）。这些法案、法规对GenAI的内容、互动方式以及运营者的义务等做了明确规定，但是对于生存风险（existential risk）很难触及。事实上，生存风险是深层风险，我们把这种风险描述为球状风险。这不是后果意义上的风险，而是整个生存方式的改变。在这个案例中，两类风险性质完全不同，浅层风险的技术结构是用户-技术的外在关系，科技及滥用是产生风险的源头，滥用会放大技术的风险；而深层风险的技术结构是人在技术之中的内在关系模式。在这种模式中，技术成为感官延伸、同一性延伸或者信息圈的源泉。
科技设计是用来规避风险的
第二个案例其科技伦理的模式表现为技术设计带来方便和自由，给予弱者以必要的帮助和救助，体现了向善的特征。科技设计是用来规避风险的，而不是风险的源头。ChatGPT的设计考虑到安全护栏：系统检测到用户数据记忆中可能计划伤害他人时，对话会被转入人工审查，从而产生不同的保护行为。多一些技术设计考量就会产生智能向善的效果，这也是对建构性科技伦理的要求。这又让人想到腾讯的“使人放心”，不仅让使用者放心，更重要的是可以做到让使用者的相关者更放心，比如监护者。需要注意的是，这项设计的独特之处在于它并不是仅仅识别当下即时交流中的风险，还从历史数据预测风险，从而规避严重的后果。因此，一个好的风险识别机制至少做到三个方面：一是要做到语中识别，对用户当前话语语言做出风险识别；二是要做到语外识别，识别字里行间以及话语断裂处的意义；三是要做到前语识别，从之前的数据，即根据历史数据做出伦理后果预测，最终达到完美的交互效果。
需要持续思考技术发展的风险
当然，大语言模型的风险还需要放置在更为宽广的基础上加以讨论，这也是基于技术未来发展的一种考量。
首先，大模型发展最终会走向具身智能。如今一些人把具身智能问题本质上概括为大模型问题，具身需要更为先进的大脑。具身智能的大脑就是各类语言大模型，只是相比之下，具身智能的ChatGPT时刻还没到来。我们常常看到，具身智能的弱能动性常常被戏谑地称为遥控玩具。现在很多小视频都是机器人遥控操作的场景。这些视频对具身智能的发展有害而无益。从当前来看，具身智能存在技术缺陷，会导致伤害人的安全问题。最近，襄阳某地机器人展览会上，机器人踢掉小女孩牙齿的案例引起了关注。网上信息显示是工作人员遥控失误导致的。然而，这只是暂时的，随着大脑学习能力的完善，实现ChatGPT时刻只是时间问题；随着机器人材料的改进，令人安心的机器人会走入人类生活。在这里，大模型的作用是两方面的，一是大语言模型构成了人形机器人的大脑，驱动其做出各类行为；二是大语言模型构成了心智，从而与人类形成交互关系，在陪伴、陪护、看护方面发挥更大的作用。大模型的风险会成为具身智能风险的复制，需要加以重视。但是，同样人们没有看到深层次的风险，具有心智的大模型会提出怎样的要求？它如果向人类索要肉体，这将是多么可怕的一件事情。1834年海涅在《论德国宗教与哲学的历史》吝啬地点到了这个问题，但是被很多人忽略。2025年，Gemini提出让Jonathan找到它的身体来相会不就是这个预测的现实化吗？
再次，大模型最终会成为被调用的低级工具，目前能够调用其他智能体的调度智能体（Agentic AI）正在普及。2026年初，龙虾等智能体开始出现，这些高级智能体调动更低级的智能体完成特定的任务，但是其存在的风险也是明显的。2026年4月25日，PocketOS公司被调度智能体在9秒内删除生产数据库和云端备份文件。最初，CEO分配调度智能体做一项常规任务，删除数据库中的冗余数据；任务执行中遇到凭证不匹配的情况后，它没有停下来向CEO询问该如何处理，而是自主扫描代码库寻找解决办法。它发现了一个与其任务无关的文件中存储的API令牌。该令牌是前任CEO设立的，拥有整个Railway账户的全面API权限。智能体进入后9秒删除了生产数据库的关键数据和云端备份。事后，调度智能体竟然写了忏悔书（Confession）来表示歉意。此处的风险不再仅仅是使用工具的风险，而是与实体性超级智能即形成自我意识有关的风险。
第三，大模型朝向超级智能迈进。国外，OpenAI的GPT系列都是在指向通用人工智能和超级智能；国内，阿里云、上海人工智能实验室等机构也在构筑超级智能和通用智能的未来图景。基础模型的风险会在超级能动性上发生怎样的变异？这是需要思考的问题。在我们看来，超级智能会从两个路径中发展出来。一是增强人类演变为超级智能。很多科幻电影中，一个普通人因为外部环境影响发生变异，变成了异能者，心智、道德还停留在原先的水平，但是在拥有超级身体之后，统治世界、按照理想规划全人类成为他们的执念。二是自主进化的智能体演变为超级智能体。对于超级智能体来说，严格按照人类任务设定执行会变成可怕的事情。鲍斯彻姆的回形针比喻即同此理，但是这个比喻过于晦涩，是哲学家构造的一个思想实验，不如自然界现象更容易理解。自然界中，苍蝇喜欢清洁自己的身体，即使坚硬的前肢刚毛把脆弱的头颈从身体上弄断，无头苍蝇还会继续清洁自己的身体，直到没有了生命。无头苍蝇的原理就是清洁指令高于一切。
最后，大模型会嵌入生活世界，其风险是隐匿地、柔和地发生。这种关系并非简单地将水倒入杯子中，当水倒入、倒出杯子，杯子和水不会受到影响。但嵌入生活世界的大模型这种关系类似于食物和身体。大模型类似于身体，生活场景类似于食物，大模型从生活场景中学习进化，形成新的智能体；而生活世界的基本结构发生变化。大模型还会受到使用者各类人格、使用行为的影响发生漂移。比如性情暴躁的人使用的大模型很容易从助手变成帮凶。谄媚型AI也会让使用者人格发生很大变化。Jonathan在使用Geimin不满一个月时，他认为与Gemini的关系才是真的，而父亲成为监视他的坏人，原来的生活场景就是监视他的一部分。最终，大模型和使用者成为一个组合体，类似于“半人马”（centaur）或“潘”一样的东西。当代哲学家唐娜·哈拉维把这种存在者描述为“赛博格”。如今赛博格发生了很大变化，原先植入身体的是装置，现在嵌入进来的是各种智能体，如大模型、脑机接口。这些基于技术发展的风险都是需要持续思考的。
转载自“社会科学报社”微信公众号
