AI安全与主权AI

一、引言：从上海共识说起

2026年7月17日至20日，2026世界人工智能大会暨人工智能全球治理高级别会议在上海举行。

会议以“智能伙伴　共创未来”为主题，国家主席习近平出席开幕式并发表主旨讲话，来自一百多个国家和国际组织的代表与会。会议期间，成立世界人工智能合作组织协定签署仪式在上海举行，全球首个人工智能领域政府间国际组织落户上海；会议发布的主席声明凝练了十五项共识，并同步推出《人工智能合作发展行动计划》《智能体互信互联互操作全球合作倡议》《国际人工智能伦理治理行动计划》等一系列成果文件。^[1]

细读主席声明，有两个关键词值得法律人特别留意。其一是“控制”。声明强调人工智能应当始终处于人类控制之下，企业在研发部署前沿模型时应审慎评估风险、加装安全“护栏”。其二是“边界”。针对快速普及的智能体（Agent）应用，声明明确提出应合理设定智能体的决策权限和行为边界，建立可追溯机制。

控制与边界，恰是法学的经典命题——谁有权控制、控制到什么程度、越界之后由谁承担责任，本质上都是权利义务的配置问题。当这些命题被写入一份由百余国代表参与形成的国际会议文件时，人工智能安全已不再只是工程师的技术议题，而成为需要规范供给的法治议题。

从产业实践观察，这一转变来得比许多人预期的更快。大模型能力沿着“对话工具—编程助手—自主智能体”的路径迅速演进，人工智能被嫁接到金融、医疗、制造、法律服务等各个行业，随之衍生出算力服务、数据供给、模型授权、智能体集成等一系列新型交易结构。

新的交易结构必然带来新的法律关系，新的法律关系必然提出新的问题：当人工智能的输出造成损害，谁是责任主体？当模型能够自主调用工具，谁来控制访问权限？当平台留存了用户与模型交互的完整记录，用户是否知情、能否退出？这些问题不会停留在论文里，它们正在以合同纠纷、侵权诉讼乃至仲裁案件的形式，进入争议解决机构的受案视野。

二、人工智能安全的层次化图景及其法律意涵

“安全”在人工智能语境下并非单一概念，而是一束层次分明的法益集合。将其拆解开来，大体可以区分为模型、系统、数据、应用、国家安全五个层次。每一层次对应的风险形态不同，所触发的规范工具与救济路径也不同。

（一）模型层：幻觉、可靠性与信赖利益

模型层的核心风险是“幻觉”，即模型生成看似合理实则错误或虚构的内容。对于依赖模型输出作出决策的场景——法律检索、医疗咨询、金融分析——幻觉构成直接的信赖风险。《生成式人工智能服务管理暂行办法》要求服务提供者采取有效措施提升服务透明度，提高生成内容的准确性和可靠性，已经将可靠性从技术指标上升为法定义务的指向。^[2]

但法定义务的表述是引导性的，真正的责任边界仍有待合同约定与个案裁判去填充：模型服务合同中的品质承诺应当如何措辞，“幻觉”属于服务的固有属性还是瑕疵履行，免责条款的效力边界何在，这些问题在既有合同法框架内并无现成答案。下篇讨论的多起虚假引证事件表明，幻觉风险已经真实地进入司法与仲裁程序内部。

（二）系统层：智能体权限与提示词注入

系统层的风险源于人工智能从“回答问题”走向“执行任务”。智能体能够自主调用工具、读写本地文件、执行代码、访问网络，权限失控与提示词注入（Prompt Injection）由此成为新的攻击面：恶意指令可以被埋藏在网页、文档甚至第三方插件之中，诱导智能体越权行事；一些来路不明的插件与“技能”组件被植入后门代码，构成供应链层面的投毒。

2025年11月，有前沿模型企业披露其编程智能体被网络攻击组织滥用，以高度自动化的方式实施网络入侵，表明智能体安全已从假设性风险转变为现实威胁。^[3]

就法律意涵而言，系统层风险考验的是既有网络安全义务体系的延展能力：《网络安全法》确立的网络运营者安全保护义务、《数据安全法》确立的数据处理安全义务，如何具体化为智能体运营者的接入管理、权限分级与日志留存义务，需要在实施层面进一步细化。

《智能体互信互联互操作全球合作倡议》将身份标识列为智能体基础共性技术之首，颇具深意——身份标识表面上是互操作的技术前提，实质上是在为未来的责任追溯准备“主体识别”的基础设施。没有身份标识，就无法回答“哪个智能体、代表谁、在何种授权范围内”实施了某一行为，责任配置也就无从谈起。^[4]

（三）数据层：训练合法性、个人信息与跨境流动

数据层的问题相对经典，但在大模型场景下均被显著放大。其一是训练数据的来源合法性。《生成式人工智能服务管理暂行办法》第七条要求训练数据来源合法、不得侵害知识产权与个人信息权益，而大规模语料获取与逐一授权之间的结构性矛盾，恰是国内外训练数据诉讼的共同根源。

其二是个人信息保护规则在训练场景的适配。以告知同意为中心的《个人信息保护法》框架，面对海量爬取、二次利用与模型记忆化的技术现实，其适用需要精细的解释作业。

其三是数据跨境流动。安全评估、标准合同、保护认证三条出境路径，加上《促进和规范数据跨境流动规定》设置的豁免安排，构成企业出海的基本合规坐标；而算力与数据基础设施的地缘化布局，又使跨境议题超出了单纯的合规范畴，与产业安全紧密交织。

（四）应用层：内容标识、深度合成与拟人化交互

应用层是普通公众感知最直接的层次，也是我国规则供给最密集的层次。《互联网信息服务深度合成管理规定》确立了深度合成内容的标识与安全评估要求；《人工智能生成合成内容标识办法》及配套强制性国家标准GB 45438-2025自2025年9月1日起施行，要求对人工智能生成合成内容添加显式标识与隐式标识，构建起“源头标识—分发核验—传播提示”的治理闭环。^[5]

更值得关注的是2026年7月15日起施行的《人工智能拟人化互动服务管理暂行办法》。该办法针对以文本、图像、音频、视频等方式模拟自然人人格特征与交流风格、提供持续性情感陪伴的服务，划定了国家安全、用户身心健康与人格尊严、数据安全与隐私、未成年人特别保护、防范情感依赖与沉迷、禁止情感操纵与非理性诱导等合规红线，并要求服务提供者以显著方式提示用户其交互对象为人工智能而非真人。^[6]

从治理逻辑上看，这份规章标志着监管对象从“人工智能说什么”扩展到“人工智能与人建立什么关系”。传统消费者保护法以理性人为预设，而拟人化交互恰恰通过情感联结绕开理性防线——从这个意义上说，该办法实质上是对“情感操纵”这一新型意思瑕疵来源的前置规制，其法理意义超出人工智能领域本身。

（五）国家安全层：算力、模型依赖与关键基础设施

最高层次是国家安全。算力芯片的出口管制、基础模型的对外依赖、智能基础设施的自主可控，均已进入各国战略视野。一个经济体如果缺乏本土强势模型与算力底座，其关键行业的智能化将建立在对外依赖之上，这正是所谓“智能鸿沟”的深层含义，也是全球南方国家在历次治理峰会上持续发声的原因。

我国立法对此已有回应：2025年10月修改的《网络安全法》新增第二十条，明确国家支持人工智能基础理论研究和算法等关键技术研发，推进训练数据资源、算力等基础设施建设，完善人工智能伦理规范，加强风险监测评估和安全监管，促进人工智能应用和健康发展。^[7]这是人工智能首次被写入国家网络安全领域的基本法律，其体系意义在于为后续综合性立法预留了接口。

将五个层次合并观察，可以发现人工智能安全对应着三类法益——个体权益、公共秩序、国家安全——以及三类规范工具：以合同与侵权救济为中心的私法机制、以备案评估标识为中心的行为监管机制、以出口管制与基础设施保护为中心的国家管制机制。三类工具的争议解决出口各不相同，其中私法机制所产生的平等主体间纠纷，正是仲裁可以也应当承接的领域。这为下篇的讨论埋下伏笔。

三、主权AI：概念证成与法理展开

（一）从网络主权到人工智能主权

主权概念在数字时代经历了三次延展。第一次是网络主权：《网络安全法》第一条即宣示维护网络空间主权，确立了国家对境内网络设施与网络活动的管辖权基础。第二次是数据主权：《数据安全法》通过数据出境管制、重要数据目录与对等反制条款，把数据要素纳入主权关切。

第三次便是当下的人工智能主权。“主权AI”（Sovereign AI）一词大约在2023年前后由产业界推热——芯片企业负责人曾在多个场合呼吁各国建设自己的主权人工智能基础设施——随后迅速进入政策话语。学界亦有观点认为，人工智能技术可以无国界，但人工智能的发展与治理具有鲜明的主权属性：一国的大模型以何种语料训练、体现何种价值取向、保障何种群体的权益，从来不是纯粹的技术选择。

需要澄清的是，主权AI并非要求一切自研自建的技术民族主义。较为准确的界定是：国家或组织对人工智能的关键资源、技术路径、数据流动、基础设施与治理规则，保持实质性的控制能力、选择能力与风险承受能力。通俗地说，是要始终知道关键能力依赖谁、模型权重归谁掌握、数据在哪里存储、向何处流动——一旦外部供给中断或条件生变，是否具备可接受成本内的替代方案。

（二）主权AI的四个支柱

主权AI的实现依托四个支柱。一是算力，即芯片与智能基础设施的获取与自主程度；二是数据，即训练语料与调用数据的控制能力；三是模型，即基础模型的切换与替代能力；四是治理，即规则、标准与责任配置能力。

四者之中，治理具有统摄性。过去谈人工智能治理，多指一国发布了何种政策文件；而今治理已经融入每一个技术层级——芯片层的参数设计、数据层的权重与训练方式、应用层的输出规则，都在治理框架的约束之下运行。治理能力的竞争，最终表现为规则标准的制定权与责任配置的话语权之争。

（三）主权AI不是技术封闭

强调主权，并不意味着退回封闭。我国2023年10月发布的《全球人工智能治理倡议》明确提出尊重各国主权、反对阵营对抗，2026年上海会议的主席声明进一步强调践行多边主义、支持联合国发挥主渠道作用、帮助发展中国家弥合智能鸿沟；世界人工智能合作组织的成立本身即是明证——主权解决的是“谁能决定”的正当性问题，合作解决的是“如何共存”的互操作问题，二者并行不悖。^[8]

对微观交易主体而言，主权AI还有一层常被忽视的投影：宏观的主权关切会层层传导，最终落地为交易文件中的具体条款。企业采购模型服务时要求约定模型可替代与迁移协助机制，是替代能力关切的合同化；跨境架构中约定数据分域存储与本地化处理，是数据控制关切的合同化；供应链尽调中核查算力来源与开源许可证，是基础设施关切的合同化。

可以说，主权AI正在经历一个“合同化”的过程——这也意味着，围绕这些条款的解释与履行争议，将成为争议解决机构未来受理涉人工智能案件的重要类型。

四、全球治理的三种路径与国际共识

（一）三种路径的分野

欧盟选择了统一立法、风险分级的路径。《人工智能法》（Regulation (EU) 2024/1689）作为全球首部人工智能综合立法，以风险为基础，对禁止性实践、高风险系统、特定透明度场景以及其他低风险应用分别配置义务。禁止性条款与通用目的模型义务已分别于2025年2月和8月开始适用，违反禁止性规定的罚款上限达3500万欧元或全球年营业额的百分之七。^[9]

值得注意的是，欧盟委员会2025年11月提出“数字一揽子”简化方案，拟将部分高风险制度的适用与配套工具、标准的就绪情况衔接，并简化部分合规要求；相关方案此后继续进入立法程序。立法先行的模式在产业竞争压力下正经历再平衡，其后续走向值得持续观察。

在执法层面，意大利个人数据保护机构2024年12月曾就ChatGPT相关数据处理问题对OpenAI处以1500万欧元罚款；2026年3月，罗马法院支持OpenAI提出的异议，监管决定页面随后被暂时下线。该案仍体现了既有数据保护框架对人工智能服务的执法介入，但其后续法律状态需要持续跟踪。^[10]

美国迄今没有联邦层面的人工智能综合立法，治理主要依托行政令、出口管制、政府采购与个案司法。2025年12月发布的第14365号行政令着力建立全国统一的人工智能政策框架，抑制州法碎片化；2026年6月的第14409号行政令则聚焦先进模型的创新与安全、关键基础设施保护及对人工智能犯罪利用的执法。训练数据的合法性问题，则交由法院在合理使用框架下逐案回答。^[11]

我国走的是第三条路径：敏捷治理、小切口立法、体系化推进。不追求毕其功于一役的大而全立法，而是针对算法推荐、深度合成、生成式人工智能、内容标识、拟人化交互等具体场景快速供给规章与标准，形成“备案—评估—标识—伦理审查—专项治理”的监管闭环，同时以促进性政策保持发展与安全的平衡。三种路径的差异可以概括如下。

（二）国际共识的形成脉络

在路径分化的同时，国际共识也在缓慢累积。2023年11月英国布莱切利峰会形成首份聚焦前沿模型风险的《布莱切利宣言》；2024年5月首尔峰会将治理目标从单一安全扩展为安全、创新、包容三元，并首次强调不同治理框架之间的互操作性；2025年2月巴黎峰会突出普惠、可持续与全球南方能力建设；2026年7月的上海会议则以政府间国际组织的成立，把峰会式的宣言合作推进到常设机制合作。

与峰会平行，G7广岛进程发布了面向先进模型开发组织的国际指导原则与行为准则，联合国大会先后通过关于可信人工智能与人工智能能力建设国际合作的决议，并设立人工智能独立国际科学小组和治理全球对话机制。^[12]

剥去各文件的措辞差异，国际共识的公约数可以归纳为五步逻辑：识别对象——明确治理的是哪个模型、系统、场景中的哪类主体；识别风险——评估可能伤害谁、泄露什么、被谁滥用；划分责任——在开发者、提供者、部署者、使用者之间配置义务；建立控制——保留测试权限、人类监督与应急处置手段；持续更新——随技术迭代滚动修订治理措施。这一逻辑同样是企业搭建内部治理体系、律师起草人工智能相关合同的通用骨架。

标准层面，美国国家标准与技术研究院的《人工智能风险管理框架1.0》及其生成式人工智能配套画像、国际标准化组织的ISO/IEC 42001:2023人工智能管理体系标准，是目前较有代表性的两套治理工具。后者是全球首个人工智能管理体系国际标准，组织可以据此建立、实施和持续改进人工智能管理体系，并可选择申请第三方认证。^[13]

应当指出，这些文件多属自愿性软法，但软法有其“硬化”机制：通过合同引用成为约定义务，通过认证采信成为交易条件，通过裁判说理成为注意义务的判断基准。在综合性立法出台之前，将成熟技术标准引入合同条款与交易清单，是法律实务可以即时落地的切入点。

五、我国现行规范体系的全景审视

（一）法律层面

我国尚无人工智能综合性立法，但基本法律层面的骨架已初步显现。《网络安全法》2025年修改新增人工智能专条，前已述及；《数据安全法》《个人信息保护法》分别覆盖数据处理安全与个人信息保护两大基础制度；《民法典》第1019条、第1023条关于肖像权及声音保护的规定、第1194条以下关于网络侵权责任的规定，为人格权益与平台责任提供请求权基础；《科学技术进步法》确立科技伦理治理的原则要求。

特别值得争议解决界注意的是，2025年9月修订通过的《仲裁法》自2026年3月1日起施行，其第十一条明确仲裁活动可以通过信息网络在线进行并与线下活动具有同等法律效力。争议解决基础设施本身的数字化，与人工智能产业的数字原生特征形成了制度上的呼应。^[14]

（二）行政法规与部门规章层面

规章层面的供给最为密集，且呈现清晰的演进线索：2022年施行的《互联网信息服务算法推荐管理规定》确立算法备案与安全主体责任，2023年施行的《互联网信息服务深度合成管理规定》延伸至合成内容治理，同年施行的《生成式人工智能服务管理暂行办法》确立面向公众提供生成式服务的备案、评估与内容治理框架，2025年施行的《人工智能生成合成内容标识办法》补上内容溯源一环，2026年施行的《人工智能拟人化互动服务管理暂行办法》进一步覆盖情感交互场景；伦理维度则有《科技伦理审查办法（试行）》及人工智能领域的配套审查规则。

促进侧同样有据可依：国务院2025年8月印发《关于深入实施“人工智能+”行动的意见》，部署科技、产业、消费、民生、治理、全球合作六大领域的融合应用目标。监管侧与促进侧双轨并行，构成完整的政策光谱。^[15]

（三）标准与技术文件层面

标准层面，GB 45438-2025作为强制性国家标准直接产生法律拘束力；全国网络安全标准化技术委员会2025年9月发布的《人工智能安全治理框架》2.0版，将风险区分为技术内生风险、技术应用风险与应用衍生风险三类，并探索低、一般、较大、重大、特别重大五级分级，辅以人工智能应用伦理安全指引等系列技术文件，形成了从原则到操作的治理工具。^[16]

这些文件虽多为推荐性或指导性，但如前所述，可以经由合同引用与裁判援用获得实际拘束力。

（四）立法展望与体系评析

立法机关已经给出明确信号：全国人大常委会2026年度立法工作计划将人工智能健康发展相关立法列入调研和起草项目，视情安排审议；国务院2026年度立法工作计划明确提出加快推进人工智能健康发展综合性立法，并部署完善数据、算力、算法、产权、网络安全、供应链安全等共性要素立法。^[17]可以预期，我国人工智能立法正处在由分散规章走向综合立法的窗口期。

综合立法需要正面回答三个悬而未决的结构性问题。第一是角色划分与责任传导：现行规章以“服务提供者”为义务锚点，但在开源模型被二次开发、模型接口被逐层集成的产业现实中，开发、提供、部署诸角色日益分离，责任如何沿供应链传导，需要立法给出规则而非全部交由合同解决。

第二是风险分级的中国方案：欧盟按应用场景分级、《人工智能安全治理框架》按风险来源分类，综合立法应当如何设定分级标准并与备案评估制度衔接。

第三是安全义务与发展激励的平衡：过密的事前义务会抬高创新门槛，过疏的事后追责又难以防范系统性风险，如何在二者之间校准，是立法技术的真正考验。