前沿解析丨AGI时刻：不确定未来的战略选择

  文中观点不代表编译者或发布平台立场，完整论述及作者原意请参阅英文原文。

作者简介

  保罗·沙雷（Paul Scharre），新美国安全中心执行副总裁。曾任美国国防部长办公室官员，参与无人系统、自主系统及新兴武器技术相关政策制定。著有《人工智能时代的四大战场（Four Battlegrounds: Power in the Age of Artificial Intelligence）》和《无人军队：自主武器与战争的未来（Army of None: Autonomous Weapons and the Future of War）》。

  围绕通用人工智能（Artificial General Intelligence，AGI）的政策讨论，已经形成从加速发展、战略竞赛，到国际协调、威慑管控，再到暂停甚至禁止进一步发展的多种主张。表面上看，这些战略之间的分歧主要体现为风险偏好不同，但更深层的差异在于：不同战略实际上设想了完全不同的AGI未来。正是由于它们对AI能力会如何提升、何时达到关键节点、是否会出现“智能爆炸”、领先优势能维持多久，以及人类能否继续控制高能力AI等问题作出了不同假设，因此最终得出了截然不同的政策结论。

  一种极端情景认为，AGI可能触发“智能爆炸”（intelligence explosion）。当AI达到足够高的能力后，它可以参与甚至自动化下一代AI系统的研发，进而形成自我强化的技术进步过程。由此，AI能力可能迅速从接近人类水平跃升至远超人类的人工超级智能（Artificial Superintelligence，ASI）。在这种情景下，最重要的问题不再是AI能否提高生产率，而是人类是否还能控制技术发展方向。如果高能力AI的自我改进速度远超人类反应速度，那么技术安全和控制问题就可能会压倒其他政策目标。

  另一类观点则将AI视为一种“普通技术”（normal technology）。这里的“普通”并不意味着AI影响有限，而是强调其影响仍可能遵循电力、内燃机、互联网等通用技术的历史规律，即技术能力的出现，并不等于其经济和社会影响会同步出现。新技术需要被企业、政府和社会组织逐步采用，需要与既有制度、基础设施和生产流程结合，其扩散和应用通常需要较长时间。即使AI最终带来类似工业革命级别的变化，也不意味着这种变化会在某一个明确时点突然完成。

  正是这两种不同的未来想象，使政策建议走向不同方向。如果认为AGI一旦出现便可能迅速自我强化并突破人类控制，那么提前限制高风险研发、建立暂停机制或推动国际协调就更具有吸引力；如果认为AI仍然受到技术扩散、组织采用和现实制度条件的约束，那么政策重点就更可能转向技术创新、应用能力和风险治理，而不是把所有问题集中在某个“AGI时刻”上。因此，无需试图在这些战略之间给出一个确定的答案，而是首先要把它们背后的假设拆开。真正需要回答的问题，不只是“应该加速还是暂停”，而是这些战略各自在什么样的技术和制度条件下才可能成立。

  不同战略首先面对的一个基础问题：“AGI”究竟指什么。在当前讨论中，与AGI相近的概念还包括“人类水平智能”“变革性AI”“先进AI”“强AGI”“强大AI”“自给自足AI”和“人工超级智能”等。不同研究者有时使用同一个词指代不同能力，有时又使用不同概念描述相似现象。因此，围绕AGI的争论中，一些分歧并不是来自对同一种技术的不同判断，而是参与者实际上在讨论不同的技术状态和社会影响。

  这一问题直接影响对AGI时间表的判断。目前有关AGI何时出现的预测跨度极大，有研究者认为可能在未来几年达到，有人把时间点放在2030年前后，也有人认为需要十年以上，还有观点认为某些现有系统已经接近甚至达到AGI。事实上，无需试图判断哪一种预测更准确，因为时间本身就是战略变量。如果AGI距离现在只有一两年，那么可供政府调整制度、建立监管能力和推进国际协调的时间非常有限；如果关键能力至少还需要十年，则政策工具和制度准备空间会明显扩大。

  时间差异还意味着AGI将进入一个完全不同的外部环境。如果AGI很快到来，它面对的将大体是今天的网络安全、生物安全、地缘竞争以及政府与企业关系结构；如果AGI距离现在更远，那么机器人、网络物理系统、数字金融和生命科学等领域也可能发生重大变化，这些变化会进一步影响AI能够作用于现实世界的范围和方式。换言之，AGI到来的时间不仅决定准备时间，也决定它到来时所处的社会技术环境。

  比具体时间更加关键的，是AGI是否真的会以一个能够被识别的“时刻”到来。部分战略隐含地将AGI理解为类似核武器的能力阈值：在跨过某一道线之前，系统仍然属于可接受范围，一旦越过则进入完全不同的战略状态。如果这一阈值清晰、可测量并且能够提前预警，那么国际协调、限制研发或者类似威慑机制的制度设计相对更容易成立。

  但现实也可能并非如此。AI能力可能以持续、渐进而又不均匀的方式提升，不同任务上的表现呈现明显的“锯齿状”特征。届时，人们可能很难判断系统究竟在哪一天、哪一个版本或哪一项能力上真正“跨入AGI”。因此，AGI可能并不是一个明确的里程碑，而更像工业化或数字化一样，是一个长期展开的变化过程。

  因此，在AGI问题上，“何时到来”和“是否存在一个可识别的到来时刻”是两个不同的问题。后者甚至可能比前者更重要，因为它直接决定政府有没有可能提前识别风险，并据此启动某种治理措施。

  许多AGI战略进一步假设，一旦AI能够自动参与AI研发，技术进步速度会出现显著加快。这通常被称为“起飞”（takeoff）。真正有战略意义的问题并不是AI是否会继续变强，而是能力提升究竟是缓慢、持续的，还是会在短时间内出现极快跃升。

  如果自动化AI研发形成强烈反馈，领先实验室可能利用更强模型设计下一代模型，从而不断扩大与竞争者之间的差距。在这种情况下，数月甚至数周的领先都可能产生重要后果，也更容易支撑“率先达到AGI即可获得决定性优势”的判断。相反，如果算法进步依旧需要人类研究者、芯片制造、数据中心建设和复杂实验过程共同推进，那么即便AI参与研发，技术优势也未必会无限扩大。

  与“起飞速度”相联系的，是前沿AI参与者究竟会保持高度集中，还是迅速扩散。很多战略默认真正具有前沿能力的实验室只有少数几个，因此只要对这些主体进行监管，就能够在相当程度上影响技术发展。但当前AI能力的扩散速度很快，模型、算法和研究成果会通过开源、人才流动和商业应用等方式传播。如果高能力AI最终也迅速扩散，那么治理对象就不会长期局限于少数前沿实验室。

  这进一步动摇了另一个常见假设，即“先发者优势”（first-mover advantage）能够自动转化为持久的战略优势。历史上的技术领先确实可能带来重要优势，但还没有哪一种技术能够永久赋予单一行动者不可逆的决定性优势。AI尤其如此：模型能力的扩散速度可能远快于政府、军队和大型组织吸收并有效运用这些能力的速度。

  当前前沿AI能力往往可以在较短时间内扩散，而军事和政府部门的实际采用却受到采购程序、预算周期、组织结构和运行惯性的约束。即使某一主体率先获得更先进模型，也不代表它能够立即将这一优势转化为网络、情报、军事或信息领域的实际能力。AI实验室之间可能进行的是“研发竞赛”，但国家之间真正决定结果的可能是“采用竞赛”。

  因此，判断AI竞争格局时，不能只看“谁先开发出最强模型”，还要看谁能够更快把模型嵌入组织、基础设施和实际行动之中。如果AI扩散速度始终快于先发者将技术领先转化为现实优势的速度，那么决定经济和地缘影响的，很可能不是“首先拥有AI”，而是“最有效地使用AI”。这一情景也是当前AGI讨论中尚未得到充分研究的一种可能未来。

  AI首先需要通过具体渠道作用于现实世界。在数字空间中，高能力AI可以操作计算机、调用网络工具、参与网络行动、获取信息并与人类互动，但这些能力仍然依赖既有数字基础设施。在物理世界中，如果AI希望独立完成制造、运输、资源获取乃至大规模行动，则需要机器人、自动化生产、生物技术等其他技术同步成熟。也就是说，智能本身并不会自动消除现实世界的物理和制度约束。

  例如，即使最强的国际象棋程序能够轻松击败人类棋手，它仍然必须遵守棋盘规则，不能直接越过棋盘影响现实世界。超级智能也是如此。更强的AI无疑可能提升机器人、合成生物学、网络行动和信息操作等能力，但这些能力能够以多快速度、在多大范围内转换为现实影响，本身仍然是一个需要分析的变量。

  这也意味着，“超级智能”等同于“全能”的推论并不必然成立。应更多研究这样一种未来：AGI甚至超级智能确实出现，并对社会产生重大影响，但其作用依旧受到机器人、生物技术、网络基础设施、政治体系和经济资源等条件约束。超级智能可以远超人类认知能力，但它仍然存在于真实世界的物理、政治和经济环境之中。

  与此同时，不同战略对于“对齐”（alignment）问题也存在根本不同的前提。一些战略假设高能力AI能够被安全控制，因此更担心的是在竞争中落后；另一些战略认为对齐是可以实现的，但需要投入大量安全研究和治理资源；还有一些观点则认为，在现有技术条件下并不存在可靠的超级智能安全路径，故最稳妥的做法是阻止其出现。不同判断会直接导向竞赛、合作、安全治理或暂停等完全不同的政策方向。更进一步说，各种战略甚至并不一定在解决同一个“主要威胁”。有人最担心AI失控及人类生存风险，有人担心国家或实验室之间的竞赛削弱安全投入，有人更关注落后于竞争者，有人担心少数主体利用AI集中权力，还有观点强调AI赋能非国家行为体或过度谨慎导致的机会损失。因此，战略分歧不仅来自对AI能力的不同判断，也来自对“最需要防范什么”这一问题的不同排序。

  在诸多不确定变量中，算力（compute）尤其重要。芯片和数据中心既是AI进步的重要技术基础，也可能成为少数能够被政府相对直接观察和干预的治理对象。当前AI能力与算力之间存在两个同时发生的趋势。一方面，训练和推理投入更多算力，通常能够提高模型能力；另一方面，算法效率持续改进，使达到同等能力所需的算力不断下降。这意味着，算力对于最前沿模型可能长期保持关键作用，但某一既定水平的AI能力所需算力却可能随着时间快速下降。因此，通过算力控制前沿AI发展可能在短期内有效，但随着算法效率提升，既有能力仍可能逐渐扩散。

  不过，即使模型本身已经广泛传播，大规模部署高能力AI依然需要大量计算资源。一个主体可能利用公开模型完成单次网络攻击，但如果要同时开展成千上万次行动，就需要更高的总体算力。同样，在推理阶段投入更多计算，也可能提升同一个模型解决复杂任务的能力。因此，模型是否能够被获得，与模型能否被规模化使用，是两个不同问题。基于这一判断，算力不仅决定技术研发，也影响AI能力在全球范围内如何分布。芯片出口限制、云计算“了解你的客户”（Know Your Customer，KYC）要求以及对芯片走私的管控等措施，都可能影响特定主体获取大规模AI算力的能力。

  同时，这一政策杠杆也具有明显的时间边界。在较短时间范围内，现有先进芯片供应链结构可能仍然具有较强约束力；但如果时间跨度拉长，其他国家发展独立芯片生态的可能性会上升。政策本身甚至可能改变未来供应链格局。因此，算力是否为一项有效的长期治理工具，也取决于政策实施时间、技术替代速度和全球芯片生态如何变化。

  经过对不同AGI情景的比较，无法得出“应当竞速”“应当暂停”或“应当采取某一种治理模式”的单一结论。相反，现有许多战略都建立在一组尚未得到验证的关键假设之上，例如AGI会在某个明确时点出现、前沿参与者长期保持少数、AI会发生“智能爆炸”、先发优势能够迅速转化为战略能力，以及智能提升能够快速突破现实世界约束。部分假设可能成立，但也有一些与当前观察到的趋势并不一致。

  现有研究对未来情景的覆盖仍然偏窄。一些值得进一步关注的可能性包括：高能力AI快速扩散到大量主体；模型扩散速度快于先发者形成战略优势的速度；超级智能出现但仍受现实世界物理约束；AGI能力持续提升却始终不存在清晰的技术阈值；以及AI虽然带来深刻社会变化，但整体过程仍然保留以往通用技术扩散和组织适应的某些规律。

  面对不确定性，政策并非只能停留在情景推演。很多决定未来走向的变量实际上是可以持续观测的。例如，AI研发速度、算力和算法效率变化、AI研发自动化程度、全球算力分布、网络安全和合成生物学等双重用途能力、模型自主获取算力和修改自身等失控相关能力，以及前沿模型的对齐程度，都可以通过数据和测试逐步提高可见度。部分变量还可以通过政策和企业行为受到影响，例如安全与对齐研究投入、自动化AI研发的推进速度、安全监管要求、AI实验室透明度、研究开放程度以及全球算力分布等。

  政府、企业和社会组织应同时做两件事：一是更准确地判断未来正在朝哪个方向发展，二是识别哪些因素仍然可以通过现实行动加以塑造。在具体政策取向上，需关注“可见度”（visibility）和“选择空间”（optionality）。前者意味着政府需要更充分了解前沿AI正在发生什么，包括提高AI实验室透明度、加强独立第三方安全评估等；后者则意味着当前政策不应过早把未来锁定在某一种战略之中，而应保留在风险显著上升时进一步加强治理的能力。

  面对AGI的高度不确定性，政策价值不只体现在今天解决了什么问题，也体现在它是否保留了明天应对不同情景的能力。因此，情景规划真正的意义，不在于准确预测哪一种AGI未来必然发生，而在于帮助决策者提前识别关键变量、建立监测能力，并在未来信息更加明确时仍有调整空间。

  关于先进AI如何发展以及如何影响国际关系的研究仍处于早期阶段。未来可能比现有情景更平常，也可能更加陌生。正因如此，政策准备的目标不应是寻找一个确定预测，而是在不确定性仍然存在时，提高对技术变化的观察能力，并维持足够的制度弹性。

原文链接

https://www.cnas.org/publications/reports/the-agi-moment