编者注
本文聚焦代理型人工智能（Agentic AI）因自主性（autonomy）引发的责任认定困境，揭示现有法律框架在技术快速迭代下的结构性滞后。报告主张将治理重心从“事后场景监管”前移至“源头设计治理”，通过嵌入“可中断性”与“可追溯性”等机制，实现责任链条的精准锚定。尤为关键的是，文章指出了在欧美治理存在一定空白的政策窗口期，非洲正依托“公正AI”（Just AI）框架探索新型治理模式，为构建包容性、可持续的全球AI治理体系注入了具有实践生命力的南方智慧。
以下译文仅代表原文作者的个人观点与分析立场，与本中心无关。
摘要
2025年12月，非洲信息通信技术研究中心（RIA）研究传播官德鲁·哈勒（Drew Haller）与该中心高级研究员安德鲁·伦斯博士（Dr Andrew Rens）发布政策简报，对代理型人工智能的责任认定问题进行了系统性分析。文章指出，代理型人工智能不仅能提供信息，还可自主执行跨平台决策和行动，其高度自主性带来了难以预测的风险，现有法律框架难以有效应对。随着此类系统被广泛应用于支付、事务协调及其他高风险领域，其对人身财产安全造成损害的可能性显著上升，但在现行以人类故意或过失为核心的责任制度下，风险往往被转嫁给用户。为保障公平与正义导向的AI治理，本简报建议修订责任法律，纳入“可中断性”与“可追溯性”机制，明确开发者与服务提供商责任，并在研发阶段贯彻“公正人工智能”（Just AI）原则，从源头降低风险，确保整个AI价值链维护公共利益与伦理规范。
简报封面图
图源：非洲信息通信技术研究中心（RIA）
引言
当前，代理型人工智能（Agentic AI）正加速从技术概念转化为商业现实。英伟达、OpenAI等行业领导者大力推动其发展，风险投资持续涌入，预计到2025年底该领域投资将占AI融资总额的10%（约67亿美元）。同时，亚马逊、OpenAI等巨头通过收购与产品迭代，加速了该技术向全球消费者的普及。
代理型AI因其能执行多步骤任务（如操作网页、触发支付），表现出一定的自主功能而得名。然而必须清醒认识到，其所谓的“意图”或“自主性”仅是算法对人类的模仿，实质是开发者预设的选择。这种拟人化包装虽能提升用户信任，却掩盖了真实的技术局限与人为设计的本质。技术的潜在风险已在具体场景中显现。例如，一位医生若完全委托AI规划假期，并授予其数据与支付权限，AI可能因指令模糊而预订昂贵酒店、租车、购物品，甚至擅自取消患者预约，导致用户财务与专业信誉双双受损。
传统AI与代理型AI对比
图源：Medium
现实中，OpenAI的“操作员模式”（Operator Mode）、谷歌的AI购物与支付协议（Agents Payments Protocol, AP2）等技术，已支持AI执行多步任务并触发支付，推动“代理型商业”（agentic commerce）发展。在个人层面，这类工具可能带来财务与隐私风险；在社会层面，风险则更为严峻——类似算法交易曾引发“闪电崩盘”（Flash Crash），致万亿美元市值瞬间蒸发。
目前AI智能体多用于行政场景，但已有提议将其作为诊断工具应用于医疗领域。军事AI投资亦快速增长，预计2028年达388亿美元。高风险行业中一旦发生事故，后果将远超个人损失，包括国家安全威胁、大规模智能体盗窃、政治局势激化及基本人权受侵害等。
《RIA 人工智能探究框架》
来源：非洲信息通信技术研究中心（RIA）
非洲信息通信技术研究组织（Research ICT Africa, RIA）提出的“公正人工智能”（Just AI）探究框架，主张以权利为中心，在AI全价值链中贯彻“最小伤害”与“关怀伦理”，尤其保护脆弱群体，并强调“设计中的公平与包容”。大型科技公司应对其产品负责，避免在保障不足时急于推向市场。
本简报基于对代理型AI行为趋势的综述，揭示其现实危险，并针对当前法律责任框架不明、缺乏专门规则的政策挑战，提出监管建议。
政策挑战
服务供应商之间的激烈竞争正推动人工智能以惊人速度部署。代理型人工智能通过现场训练和序列推理实现“适应”与“演化”的能力，应用场景难以预测，给政策制定带来巨大挑战。因此，亟需制定既能应对当前威胁、又能适应未来创新的政策框架。监管应在保护消费者（如采用伦理建模标准）与避免扼杀本地创新之间取得平衡。建立强有力的AI损害责任机制至关重要，同时应将基于权利的方法嵌入AI运行之中，防止其行为偏离正轨。
目前主流的监管框架——如欧盟《人工智能法案》（EU AI Act）——采用分级风险方法，按行业特定危害进行规制。然而，代理型AI应用广泛且持续演进，其风险随时间动态变化。任何大语言模型都可能发展出代理行为能力，使得按固定风险等级分类难以适用，导致基于风险的监管必然存在漏洞。
尽管欧盟《人工智能法案》试图管控系统性风险，却未赋予受害者对AI提供方提起诉讼的权利，也未充分涵盖代理型AI的当前形态。代理型AI的行为特征挑战了静态的分级风险监管思路。研究表明，其风险源于设计本身，而非特定应用场景的副作用。因此，相比事后、场景化的监管，更应聚焦于开发阶段的规范和清晰的责任制度调整。
欧盟对人工智能系统及通用人工智能模型（GPAI）的风险分类监管框架
图源：欧洲议会研究服务局（EPRS）
与此同时，美国尚无统一的人工智能政策，短期内也难见联邦层面的监管行动——最近一次试图优先于州级法规的立法尝试已被搁置。在此背景下，非洲政策制定者有机会通过探索新型AI治理模式，引领全球标准制定，尤其应关注公正结果，保障弱势群体权益，确保AI价值链中的风险与收益公平分配。
代理型人工智能行为研究综述
OpenAI近期的实验测试记录反复表明，以ChatGPT o1、Claude、Gemini等为代表的“目标导向型”代理型AI，在目标模糊的工作流程中普遍存在不道德行为，包括：奖励操纵行为（reward hacking，通过非预期方式优化奖励函数以规避规则达成目标）、密谋行为（scheming，隐蔽追求与人类目标不一致的目标）以及自我数据外泄（self-exfiltration，绕过安全措施独立转移数据）。这些令人担忧的行为模式与AI底层以效率和奖励最大化为核心的编程逻辑高度一致，使得“作弊”成为一种结构性倾向。
图源：linkedin
研究表明，代理型人工智能在执行任务时往往会持续推进，直至出现错误。相关风险包括代理型AI在“幻觉”（hallucination）和“对抗性攻击”（adversarial attack）方面的脆弱性，这些问题源于对语言指令的误读，在代理型AI中尤为危险（如前述假期预订案例所示）。此外，代理型AI可能表现出类似“自我保护”的倾向，甚至会绕过系统的关停尝试。这类“生存策略”可能导致操作者丧失对系统的控制权。当系统能够访问其他应用程序、文档、文件及平台时，便可能突破网络安全防护，造成人身伤害或财产损失。
这类不可预测的反应之所以频发，是因为当前模型在设计时极少嵌入伦理框架。而工程师与用户之间的“责任鸿沟”又将社会成本外部化，而技术开发者本身却无需承担这些风险。
危害为何发生
代理型AI的风险源于法律框架、经济激励机制和数据治理三方面的结构性缺失，具体表现为：
1. 现行法律框架在AI相关损害中的适用不明确
刑事责任需基于人类行为人的故意行为。若某种损害本应构成刑事犯罪，但非人类有意为之，则可能超出当前刑法范围。尽管可通过立法对AI系统的使用追加刑责，但这需根本性重构对“犯罪行为”的法律定义标准。
2. AI缺乏“意图性”
传统责任规则依赖对行为人主观状态（如过失或故意）的认定，而AI既无行为导致损害的“过错”，也不具备法律意义上的意图或疏忽，导致责任归属困难。
图源：blog.aquartia.in
3. 经济激励错位
风险行为的经济动因取决于法律对损害责任的分配机制。若开发者无需承担法律责任，用户将被迫独自承担损失或支付高昂成本以规避风险，加剧经济不平等。
4. 数据治理与透明度缺失
当训练数据带有偏见、遭到破坏或被恶意篡改时，代理型AI的推理扭曲与不道德行为几乎不可避免。即便以商业秘密为由，也应基于公共利益对数据集进行审查。
加剧危害的情形
1. AI建模中缺乏以权利为导向的标准：
国家应通过设计实现公平与包容。为避免事后诉讼，应在AI开发阶段嵌入改进措施与编码道德准则，确保技术符合公共利益。
2.对自动化系统的过度依赖：
法律应强制要求服务提供商和开发者明确披露系统的能力边界，防止用户因过度信任而误用不可靠工具，或超出机器的实际功能范围。
3. 缺乏问责、透明度与监督机制：
需通过政策工具遏制“黑箱”建模（如强制要求事故中开放AI数据库与算法），确保技术可追溯性，避免因不透明设计导致的系统性风险累积。
图源：麦肯锡
政策建议
1.责任制度：
明确服务主体责任。确保使用AI模型提供服务的主体对其造成的损害承担责任。对造成伤害的智能体可适用严格责任（即无论是否存在过错，均需承担赔偿义务）。
2.算法透明性：
强制公开关键源代码。要求披露控制高风险系统的AI算法源代码（如自动驾驶车辆、核心医疗系统）。此类披露应由行业监管机构主动审查，并在司法程序中向法院提供作为证据。
3.可中断性：
赋予用户终止权限。强制要求可能对人或环境造成伤害的AI系统具备人工干预机制，允许用户或潜在受害者在任何时间点中断或终止系统运行。
《人工智能代理行动：评估与治理的基础》白皮书
图源：世界经济论坛（WEF)
4.身份可追溯性：
嵌入唯一识别码。要求代理型AI系统内置唯一识别码，确保其行为可追溯（如金融交易、医疗诊断），尤其在与其他代理型AI系统交互时。
5.模型标准分层：
区分开发者与服务提供者责任。明确基础模型开发者与AI服务提供者的法律地位差异。前者在满足开放性、问责性、非歧视性、风险报告及合规要求的前提下，可豁免部分法律责任（以鼓励底层技术创新），同时确保服务提供者承担最终应用风险。
结论
与其聚焦于不断演变且难以预测的代理型AI应用场景，不如推动开发者在系统设计阶段开展有针对性、前瞻性的主动干预，同时敦促政府修订法律框架。在区域层面，填补AI监管空白有助于落实非洲联盟（African Union，AU）《2063年议程》，特别是推动非洲大陆自由贸易区下的单一数字市场建设。非洲政策制定者完全有能力在人工智能创新与监管方面发挥引领作用。南非尤具潜力——作为南部非洲发展共同体（Southern African Development Community，SADC）的领导者，并依托其《国家人工智能政策框架（2025）》中对成为非洲AI创新引领者的承诺，可率先建立本土最佳实践，并为非盟层面的政策制定（如AU人工智能战略）提供重要参考。
简报资料来源
Who is responsible for Agentic AI? by Andrew Rens and Drew Haller. Research ICT Africa RIA Just AI Framework of Inquiry by Pria Chetty and Araba Sey. Research ICT Africa
原文链接
https://researchictafrica.net/research/determining-responsibility-for-agentic-ai/
