摘要
2025年11月，英国未来工作研究所（Institute for the Future of Work, IFOW）教授、欧盟联合技术委员会 JTC21（CEN-CENELEC）指定的人工智能专家代表菲比·V·摩尔（Phoebe V. Moore）发文探讨了欧盟《人工智能法案》（AI Act）在应对人工智能风险与不确定性方面的制度困境。文章以“黑箱”隐喻指出，欧盟AI监管过程本身存在透明度不足、企业游说过度及责任划分模糊等问题。法案虽在条文中区分了AI“提供者”和“部署者”，但却忽略了最受影响的普通用户——公民、消费者与劳动者。AI系统的自主性与适应性使其行为具有高度不可预测性，这导致传统风险评估与责任认定难以适用。文章呼吁，AI监管应明确“不可接受风险”的界限，确保测试与合规机制的伦理与透明性。在促进创新与维护公众权益之间，欧盟AI治理的关键在于防止监管“黑箱化”与风险常态化，以实现技术发展与社会保护的平衡。
图源：未来工作研究所（Institute for the Future of Work, IFOW）
人工智能，“智能”在哪里？
麦卡锡等人在 1955 年提出人工智能概念时注意到，人类的思考并非完全遵循逻辑，而是会伴随着轻微的偏差及随机性（randomness），这类“不完全可控”的特质在许多情境下反而能产生意想不到的洞察。因此，早期人工智能尝试模仿这种特性，希望机器能够在输入有限的情况下生成看似合理但难以完全预设的输出。
然而，当这种不可预测性被嵌入自动化系统、治理流程甚至决策制度时，它所带来的实际风险远远超出了科学能控制的范围。近年来的案例显示，生成式人工智能能够以极低成本制造看似可信实则错误的内容，甚至已有这类内容渗入商业报告与公共服务的案例。
人工智能具有“可预期的不可预测性”（predictably unpredictable），而我们对“机器应当做什么”的传统认知并没有达到足够的深度。由此，一个愈发迫切的问题出现了：当技术本身以不可预测为特征，我们如何建立可靠的责任链条，并保护公众的基本权利？
欧盟人工智能法案封面（横向/宽幅版本）
图源：欧盟人工智能法案网站
欧盟的人工智能监管是否正在“黑箱”中进行？
欧盟《人工智能法案》（AI Act，Regulation (EU) 2024/1689）是全球最雄心勃勃的人工智能监管法案，但随着文本定稿与实施细节逐步公开，越来越多的观察者开始质疑其监管过程与逻辑是否本身已陷入一种“黑箱”（black box）。表面上，欧盟以分级监管、风险分类与合规要求构建出一个结构清晰的法律框架，但在这些条款背后，大型科技企业、行业协会与法律顾问在立法过程中的影响力却远比公众所见更为深刻。
“黑箱”一词来自机械系统中被封闭且只有在事故发生后才能开启的部分。用在欧盟人工智能监管上，它意味着政策制定过程本身缺乏透明度。为此，我们必须严肃审读人工智能法案正式通过的文本，从多个维度重新定位监管逻辑：检视提供方与部署方在合规要求中的核心张力；预判用户在真实环境中可能遭遇的风险与危害；将这些问题放置在更长期的历史、法律与政治经济背景中加以讨论。只有这样，我们才能为监管体系提供真正有效的对话基础，同时为监管沙盒等实验机制奠定更扎实的理论与实践框架——毕竟，测试必须在部署之前完成。而为了避免“不合格的风险”被逐渐视为“正常”并最终固化在法律与企业实践之中，我们必须立即划定真正的红线。
2025 年，谁对人工智能负责，谁又受到人工智能影响？
在《人工智能法案》中，最核心的两个主体是“提供者”（providers）和“部署者”（deployers），二者分别在第三条第 3 款与第 4 款中被定义。设定这两个角色的目的在于明确责任归属与问责机制，因为他们在人工智能生命周期的不同阶段承担着关键的行为与决策——无论该主体是个人、群体还是组织。
然而，在实际讨论中，这两类主体的地位变得如此突出，以至于某些同样重要的角色逐渐被遮蔽，那就是那些并不参与开发或部署，却深受人工智能影响的真实“用户”（users）。这些用户包括消费者、公民与劳动者，也包括更加脆弱、受人工智能潜在危害影响更大的群体。
尽管法案中确实出现过“用户”这一术语，例如第 71 条第 4 款要求高风险人工智能的数据库“应对用户友好”（user-friendly），附录 IV(g) 要求技术文档中应包含产品“用户界面”（user-interface）的描述——此处“用户”泛指任何人。然而，这些条文涉及的大多是提供者与部署者之间的技术沟通，所关注的依然主要是系统的设计者、操作者，而不是最终承受风险的人群。
这种现实的担忧也反映在人工智能法案的“前瞻性监管”（ex ante）逻辑之中：监管围绕“预期用途”（intended purpose）与“可预见的滥用”（foreseeable misuse）展开（见序言第65段、第9条）。但问题在于，预期用途与滥用情况并不仅仅取决于编程者的意图，更取决于人工智能部署后的实际表现。无论人工智能是嵌入机器设备还是以软件形式运作，其功能都具有演变性，以至于使用者最终承担的风险可能与设计者设想的不同。
欧盟宣布成立人工智能办公室对AI进行监管。
图源：搜狐网
人工智能的不可预测性为用户带来新的风险与危害
传统的监管体系通常基于对机器或工具的可预测用途与预期目标的假设，在这种前提下，人们能够对事故、危害和风险进行事先判断，这是健康与安全法规及相关研究的基本框架。
然而，人工智能系统具备自主行为，并能通过推断生成各种预测与决策，这使得责任归属与问责体系在人工智能监管中变得格外复杂。无论是欧洲联合技术委员会（CEN-CENELEC）的标准制定框架，还是欧盟委员会针对人工智能系统及机械设备的立法过程，想要制定出既清晰又能帮助企业实现合规的规范，都面临重大挑战（作者基于其第一手经验指出）。
法案最终确定的人工智能定义如下——
第3条第1款：人工智能系统（AI System）指一种基于机器的系统，设计用于在不同自主性水平下运行，并可能在部署后表现出适应性（adaptiveness）；该系统为了明确或隐含的目标，根据接收到的输入推断如何生成输出，例如预测、内容、建议或决策，而这些输出能够影响到物理或虚拟环境。
这一官方定义强调：人工智能系统具有自主性；它在部署后会进一步变化；且它会进行显性（explicit）或隐性（implicit）的推断。因此，其行为本质上就不总是可预测的。例如，一个人工智能推荐系统（AI-based recommender system）可能向用户展示完全不符合其偏好的内容，从而以不受欢迎的方式侵入个人隐私；雇主也无法总是清楚地判断出，AI 的异常行为究竟是系统自我演化的“变异”（mutation），还是源于用户对技术的误用。
人工智能法案因强调风险分类（risk categorisation）而著称，法案将风险定义为：“伤害发生的概率及其严重程度”（Art. 3(2)）。然而，这种概率应当是可量化的，但当危害本身具有不可预测性、且可能在未知的未来环境中产生时，这种量化就无法成立。因此，如今监管所面对的难题在于：如何在不将风险“正常化”（normalising）甚至“结构性写入”（building in）技术体系的前提下，对人工智能的危害进行规制？
社会伤害
图源：欧盟人工智能法案网站
不可预测性的“双面性”（Janus face）
不可预测性曾经被人工智能企业视为创新优势，是实现灵活性、泛化能力与创造性输出的基础。因此，在商业宣传中，技术提供者倾向强调这类“超出设定的新能力”。然而，一旦人工智能系统被划入高风险类别，提供者就必须承担额外更加严格的合规要求，包括技术文档、风险分类、用途界定以及对可预见滥用的评估。在此矛盾中，不可预测性既是技术亮点，又是监管负担。
在这种逻辑下，如果人工智能要持续发展，那么某些具有危害性且不可预测的机器行为似乎不仅需要被允许，甚至需要被保护，以便创新得以继续推进——换句话说，风险被视为不可避免的组成部分。
这就引出了“战略性模糊”（strategic ambiguity）的概念，它在技术标准撰写和配套指南中日益突出。例如哥本哈根商学院学者安德烈·萨文（Andrej Savin）指出，欧洲的政策制定者实际上将法律中的不确定性交由了企业自己承担；另有阿姆斯特丹大学（UvA）政治学系教授丹尼尔·穆格（Daniel Mügge）认为，在人工智能监管中，各种妥协是不可避免的。然而，将这种战略性模糊制度化、法制化的行为，本身就蕴含巨大风险，由此也引出了如下的根本性的问题——我们究竟能够容忍多少风险与不确定性？
欧盟旗帜
图源：欧盟人工智能法案网站
我们究竟能够容忍多少风险与不确定性？
所有具备高风险能力的 AI 产品都必须经过符合性评估（conformity assessment）、影响评估（impact assessments），并在监管沙盒（sandbox）中被测试，或接受类似的处理。但这些过程本身就包含了大量尚未解决的问题：沙盒中的模拟环境是否包含人类参与者及其数据？沙盒是否能够真实反映现实条件？在这些高风险的测试环境中，参与者得到了哪些保护？沙盒是否依赖合成数据（synthetic data）、预训练数据（pre-trained data） 以及真实数据（real-life data），并且在世界多数国家的数据与隐私保护法律都很薄弱的情况下，这些数据将如何得到充分保护？
这些关键问题迫使我们重新思考：一个人工智能系统在被交付给机构或个人、并由他们部署之前，可以被容许存在多少不确定性与风险？
我们应当如何划定界限？哪些不可预测性可以被视为技术的正常组成部分，而哪些是绝不能被接受的？在制定法律和合规要求时，我们应容忍多少不确定性？而政策制定者又该如何面对这种“新的常态”？
原文链接
