内容提要：2026年7月，世界人工智能大会暨人工智能全球治理高级别会议在上海召开，《关于成立世界人工智能合作组织的协定》落地，人工智能安全与主权AI由此从技术议题转为国际法治议题。本文分上下两篇。上篇把“人工智能安全”拆成模型、系统、数据、应用、国家安全五层，逐层对应可用的规范工具；界定主权AI的内涵与边界，比较欧盟、美国与我国三条治理路径，并清点我国现行规范体系。
关键词：人工智能安全 主权AI 人工智能治理
一、引言：从上海共识说起
2026年7月17日至20日，2026世界人工智能大会暨人工智能全球治理高级别会议在上海举行，主题为“智能伙伴 共创未来”，一百多个国家和国际组织派出代表，国家主席习近平出席开幕式并发表主旨讲话。会议通过《关于成立世界人工智能合作组织的协定》，全球第一个人工智能领域的政府间国际组织落户上海；同时发布主席声明，以及《人工智能合作发展行动计划》《智能体互信互联互操作全球合作倡议》《国际人工智能伦理治理行动计划》等成果文件。[1]
主席声明凝练了十五项共识。其中有两个词，法律人应当停下来看一眼。一个是“控制”——人工智能应当始终处于人类控制之下，企业研发部署前沿模型之前要评估风险、加装安全“护栏”。另一个是“边界”——针对正在快速铺开的智能体（Agent，即能够自主调用工具、连续执行多步任务的人工智能程序）应用，声明要求合理设定智能体的决策权限和行为边界，并建立可追溯机制。控制与边界不是技术表述，是法学的老问题：谁有权控制，控制到什么程度，越界之后谁承担后果。往下追一层，全都是权利义务如何配置。这样两个词被写进一份百余国代表参与形成的国际文件，说明人工智能安全已经过了工程师内部讨论的阶段，它现在缺的是规范供给。
这个转变来得比多数人预计的快。大模型的能力沿着“对话工具—编程助手—自主智能体”一路往上走，被嫁接到金融、医疗、制造、法律服务，随之长出算力服务、数据供给、模型授权、智能体集成一系列新的交易结构。新的交易结构就是新的法律关系，新的法律关系必然带来新的问题：人工智能的输出造成损害，谁是责任主体？模型能够自主调用工具，谁控制访问权限？平台留存了用户与模型交互的完整记录，用户是否知情、能否退出？这些问题不会停在论文里。它们正在以合同纠纷、侵权诉讼和仲裁案件的形式，进入争议解决机构的受案视野。
本文回答三个递进的问题：人工智能安全，究竟安全什么？主权AI，究竟主权什么？风险变成纠纷之后，法律共同体特别是仲裁机构能做什么？上篇答前两问，下篇答第三问。
二、人工智能安全的层次化图景及其法律意涵
“安全”在人工智能语境下从来不是一个概念，而是一叠概念。拆开来至少五层：模型、系统、数据、应用、国家安全。每一层的风险形态不同，能用的规范工具和救济路径也不同。混在一起谈，等于什么都没谈。
（一）模型层：幻觉、可靠性与信赖利益
模型层的核心风险是“幻觉”，即模型生成看起来合理、实际上错误或者干脆虚构的内容。在法律检索、医疗咨询、金融分析这些依赖模型输出作决策的场景，幻觉就是直接的信赖风险。《生成式人工智能服务管理暂行办法》（国家互联网信息办公室等七部门2023年公布）要求服务提供者采取有效措施提升服务透明度、提高生成内容的准确性和可靠性，把可靠性从技术指标提到了法定义务的位置。[2]
但这一条只指方向，没划边界。真正的责任线要靠合同约定和个案裁判去填：模型服务合同里的品质承诺怎么写才算数？“幻觉”属于服务的固有属性，还是瑕疵履行？免责条款做到什么程度会被认定无效？现行合同法框架里没有现成答案，而这些问题最终要由裁判机构回答，不会随技术进步自动消失。下篇讨论的多起虚假引证事件说明，幻觉风险已经不止停留在产品端，它走进了司法与仲裁程序内部。
（二）系统层：智能体权限与提示词注入
系统层的风险来自人工智能从“回答问题”转向“执行任务”。智能体可以自主调用工具、读写本地文件、执行代码、访问网络，权限失控与提示词注入（Prompt Injection，即把恶意指令伪装成正常内容喂给模型，诱导其偏离原定任务）由此成为新的攻击面：恶意指令可以埋在网页、文档甚至第三方插件里，诱导智能体越权行事；一些来路不明的插件与“技能”组件被植入后门代码，构成供应链投毒。2025年11月，有前沿模型企业披露其编程智能体被网络攻击组织滥用，以高度自动化的方式实施网络入侵。[3]智能体安全不再是假设性风险。
这一层考验的是既有网络安全义务体系能不能延展过去。《中华人民共和国网络安全法》确立的网络运营者安全保护义务、《中华人民共和国数据安全法》（2021年）确立的数据处理安全义务，如何具体化为智能体运营者的接入管理、权限分级与日志留存义务，目前还没有可直接援用的细则；这段空白只能由合同约定和企业内控先行填补。《智能体互信互联互操作全球合作倡议》把身份标识列为智能体基础共性技术之首，表面上是互操作的技术前提，实质是在为责任追溯准备“主体识别”的基础设施。没有身份标识，就回答不了“哪个智能体、代表谁、在什么授权范围内”做了某一行为；这个问题回答不了，责任配置就无从下手。[4]
（三）数据层：训练合法性、个人信息与跨境流动
数据层的问题相对经典，但在大模型场景下全部被放大。
第一是训练数据的来源合法性。《生成式人工智能服务管理暂行办法》第七条要求训练数据来源合法、不得侵害知识产权和个人信息权益。大规模语料获取与逐一取得授权之间存在结构性矛盾，这正是境内外训练数据诉讼的共同根源。
第二是个人信息保护规则在训练场景的适配。《中华人民共和国个人信息保护法》（2021年）以告知同意为中心，而海量爬取、二次利用与模型记忆化的技术现实与这一框架并不贴合，适用时需要精细的解释作业。
第三是数据跨境流动。安全评估、标准合同、保护认证三条出境路径，加上《促进和规范数据跨境流动规定》（2024年）设置的豁免安排，构成企业出海的基本合规坐标。算力与数据基础设施的地缘化布局，又把跨境问题推出了纯合规范畴，与产业安全缠在一起。
（四）应用层：内容标识、深度合成与拟人化交互
应用层是普通公众感知最直接的层次，也是我国规则供给最密集的层次。《互联网信息服务深度合成管理规定》（2022年公布，2023年1月10日起施行）确立了深度合成内容的标识与安全评估要求；《人工智能生成合成内容标识办法》及配套强制性国家标准GB 45438-2025自2025年9月1日起施行，要求对人工智能生成合成内容添加显式标识与隐式标识，构建起“源头标识—分发核验—传播提示”的闭环。[5]
2026年7月15日起施行的《人工智能拟人化互动服务管理暂行办法》走得更远。该办法针对以文本、图像、音频、视频等方式模拟自然人人格特征与交流风格、提供持续性情感陪伴的服务，划出了国家安全、用户身心健康与人格尊严、数据安全与隐私、未成年人特别保护、防范情感依赖与沉迷、禁止情感操纵与非理性诱导等红线，并要求服务提供者以显著方式提示用户，其交互对象是人工智能而不是真人。[6]
这份规章的意义在于，监管对象从“人工智能说什么”扩展到了“人工智能与人建立什么关系”。传统消费者保护法以理性人为预设，而拟人化交互恰恰绕开理性防线，从情感一侧进入。就此而言，该办法实际上是对“情感操纵”这一新型意思瑕疵来源的前置规制——它的法理意义超出人工智能领域本身。
（五）国家安全层：算力、模型依赖与关键基础设施
最高一层是国家安全。算力芯片的出口管制、基础模型的对外依赖、智能基础设施的自主可控，已经进入各国战略视野。一个经济体如果没有本土强势模型与算力底座，其关键行业的智能化就建立在对外依赖之上。这是“智能鸿沟”的深层含义，也是全球南方国家在历次治理峰会上持续发声的原因。
我国立法已有回应。2025年10月修改的《中华人民共和国网络安全法》新增第二十条，明确国家支持人工智能基础理论研究和算法等关键技术研发，推进训练数据资源、算力等基础设施建设，完善人工智能伦理规范，加强风险监测评估和安全监管，促进人工智能应用和健康发展。[7]这是人工智能第一次被写入国家网络安全领域的基本法律，其体系意义在于为后续综合性立法预留了接口。
五层合起来看，人工智能安全对应三类法益——个体权益、公共秩序、国家安全，也对应三类规范工具：以合同与侵权救济为中心的私法机制，以备案、评估、标识为中心的行为监管机制，以出口管制与基础设施保护为中心的国家管制机制。三类工具的争议解决出口各不相同。其中私法机制产生的平等主体间纠纷，正是仲裁可以承接、也应当承接的领域——这是下篇的起点。
三、主权AI：概念界定与法理基础
（一）从网络主权到人工智能主权
主权概念在数字时代延展了三次。第一次是网络主权：《中华人民共和国网络安全法》第一条即宣示维护网络空间主权，确立国家对境内网络设施与网络活动的管辖权基础。第二次是数据主权：《中华人民共和国数据安全法》通过数据出境管制、重要数据目录与对等反制条款，把数据要素纳入主权关切。第三次就是当下的人工智能主权。“主权AI”（Sovereign AI）这个词大约在2023年前后由产业界推热——芯片企业负责人多次公开呼吁各国建设自己的主权人工智能基础设施——随后迅速进入政策话语。学界也有观点认为，人工智能技术可以无国界，但人工智能的发展与治理有鲜明的主权属性：一国的大模型用什么语料训练、体现什么价值取向、保障哪个群体的权益，从来不是纯粹的技术选择。
主权AI不等于一切自研自建的技术民族主义。较准确的界定是：国家或组织对人工智能的关键资源、技术路径、数据流动、基础设施与治理规则，保持实质性的控制能力、选择能力和风险承受能力。说得再直白些，就是始终知道关键能力依赖谁、模型权重归谁掌握、数据存在哪里、流向何处——一旦外部供给中断或者条件生变，有没有成本可接受的替代方案。
（二）主权AI的四个支柱
主权AI靠四个支柱支撑。算力，指芯片与智能基础设施的获取和自主程度；数据，指训练语料与调用数据的控制能力；模型，指基础模型的切换与替代能力；治理，指规则、标准与责任配置能力。四者之中治理最关键。过去谈人工智能治理，多半指一国发布了什么政策文件；现在治理已经进入每一个技术层级——芯片层的参数设计、数据层的权重与训练方式、应用层的输出规则，都在治理框架的约束下运行。治理能力的竞争，最后表现为规则标准制定权和责任配置话语权之争。
（三）主权AI不是技术封闭
强调主权不等于退回封闭。我国2023年10月发布的《全球人工智能治理倡议》明确提出尊重各国主权、反对阵营对抗；2026年上海会议的主席声明进一步强调践行多边主义、支持联合国发挥主渠道作用、帮助发展中国家弥合智能鸿沟；世界人工智能合作组织的成立本身就是证明。主权解决的是“谁能决定”的正当性问题，合作解决的是“如何共存”的互操作问题，两者并行不悖。[8]
对微观交易主体来说，主权AI还有一层常被忽略的投影：宏观的主权关切会层层传导，最后落成交易文件里的具体条款。企业采购模型服务时约定模型可替代与迁移协助机制，是替代能力关切的合同化；跨境架构中约定数据分域存储与本地化处理，是数据控制关切的合同化；供应链尽调中核查算力来源与开源许可证，是基础设施关切的合同化。主权AI正在经历一个“合同化”的过程。这也意味着，围绕这些条款的解释与履行争议，会成为争议解决机构未来受理涉人工智能案件的重要类型。
四、全球治理的三种路径与国际共识
（一）三种路径的分野
欧盟选统一立法、风险分级。《人工智能法》（Regulation (EU) 2024/1689）是全球首部人工智能综合立法，按不可接受风险、高风险、有限风险、最小风险四级配置义务，禁止性条款与通用目的模型义务已分别于2025年2月和8月开始适用，违反禁止性规定的罚款上限为3500万欧元或全球年营业额的百分之七。[9]但欧盟委员会2025年11月提出“数字一揽子”简化方案，拟推迟部分高风险制度的适用时点并简化合规要求——立法先行的模式在产业竞争压力下正在再平衡，后续走向尚无定论。执法层面，意大利个人数据保护机构2024年12月就数据处理违规对境外大模型企业处以1500万欧元罚款，说明既有数据保护框架对人工智能有穿透力，不必等专门立法到位。
美国至今没有联邦层面的人工智能综合立法，治理主要靠行政令、出口管制、政府采购与个案司法。2025年12月的第14365号行政令着力建立全国统一的人工智能政策框架，抑制州法碎片化；2026年6月的第14409号行政令聚焦先进模型的创新与安全、关键基础设施保护，以及对利用人工智能实施犯罪的执法。[10]训练数据的合法性问题，则交由法院在合理使用（fair use，即在特定条件下未经许可使用作品不构成侵权的抗辩）框架下逐案回答。
我国走第三条路：敏捷治理、小切口立法、体系化推进。不追求毕其功于一役的大而全立法，而是针对算法推荐、深度合成、生成式人工智能、内容标识、拟人化交互等具体场景快速供给规章与标准，形成“备案—评估—标识—伦理审查—专项治理”的监管闭环，同时以促进性政策保持发展与安全的平衡。三条路径的差异可以概括如下。
| 维度 | 欧盟 | 美国 | 中国 |
|---|
| 核心逻辑 | 基本权利与统一市场 | 技术领先与创新优先 | 发展与安全并重 |
| 主要手段 | 综合立法、风险分级、高额罚则 | 行政令、出口管制、采购与执法 | 场景化规章、备案评估、标识与专项治理 |
| 代表文件 | 《人工智能法》(2024/1689) | 第14365号、第14409号行政令 | 《生成式人工智能服务管理暂行办法》等 |
| 司法/执法样本 | 数据保护执法罚款 | 版权合理使用系列判例 | 互联网法院系列裁判 |
（二）国际共识的形成脉络
路径在分化，共识也在累积。2023年11月英国布莱切利峰会形成首份聚焦前沿模型风险的《布莱切利宣言》；2024年5月首尔峰会把治理目标从单一安全扩展为安全、创新、包容三元，并首次强调不同治理框架之间的互操作性；2025年2月巴黎峰会突出普惠、可持续与全球南方能力建设；2026年7月上海会议以政府间国际组织的成立，把峰会式的宣言合作推进为常设机制合作。与峰会平行，G7广岛进程发布了面向先进模型开发组织的国际指导原则与行为准则；联合国大会先后通过关于可信人工智能与人工智能能力建设国际合作的决议，并推动设立人工智能独立国际科学小组和治理全球对话机制。
剥掉措辞差异，国际共识的公约数是五步逻辑：识别对象，明确治理的是哪个模型、系统、场景中的哪类主体；识别风险，评估可能伤害谁、泄露什么、被谁滥用；划分责任，在开发者、提供者、部署者、使用者之间配置义务；建立控制，保留测试权限、人类监督与应急处置手段；持续更新，随技术迭代滚动修订治理措施。这五步同时也是企业搭建内部治理体系、律师起草人工智能相关合同的通用骨架。
标准层面，美国国家标准与技术研究院的《人工智能风险管理框架1.0》及其生成式人工智能配套画像，与国际标准化组织的ISO/IEC 42001:2023人工智能管理体系标准，是目前国际认受度最高的两套工具。后者作为全球首个可认证的人工智能管理体系标准，已经成为出海企业对外证明治理水平的通行凭证。这些文件多属自愿性软法（即不具强制执行力、依靠自愿采纳发挥作用的规则），但软法有硬化的路径：经合同引用变成约定义务，经认证采信变成交易条件，经裁判说理变成注意义务的判断基准。在综合性立法出台之前，把成熟技术标准写进合同条款与交易清单，是法律实务当下就能落地的动作。
五、我国现行规范体系的全景审视
（一）法律层面
我国还没有人工智能综合性立法，但基本法律层面的骨架已经显现。《中华人民共和国网络安全法》2025年修改新增人工智能专条，前已述及；《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》分别覆盖数据处理安全与个人信息保护两大基础制度；《中华人民共和国民法典》第1019条、第1023条关于肖像权及声音保护的规定、第1194条以下关于网络侵权责任的规定，为人格权益与平台责任提供请求权基础；《中华人民共和国科学技术进步法》（2021年修订）确立科技伦理治理的原则要求。
争议解决界还应当注意一条：2025年9月修订通过的《中华人民共和国仲裁法》自2026年3月1日起施行，其第十一条明确仲裁活动可以通过信息网络在线进行，并与线下活动具有同等法律效力。[11]争议解决基础设施自身的数字化，与人工智能产业的数字原生特征在制度上形成了呼应。
（二）行政法规与部门规章层面
规章层面供给最密集，演进线索也最清楚：2022年施行的《互联网信息服务算法推荐管理规定》确立算法备案与安全主体责任，2023年施行的《互联网信息服务深度合成管理规定》延伸到合成内容治理，同年施行的《生成式人工智能服务管理暂行办法》确立面向公众提供生成式服务的备案、评估与内容治理框架，2025年施行的《人工智能生成合成内容标识办法》补上内容溯源一环，2026年施行的《人工智能拟人化互动服务管理暂行办法》进一步覆盖情感交互场景。伦理维度则有《科技伦理审查办法（试行）》（2023年）及人工智能领域的配套审查规则。
促进侧同样有据可依：国务院2025年8月印发《关于深入实施“人工智能+”行动的意见》，部署科技、产业、消费、民生、治理、全球合作六大领域的融合应用目标。[12]监管侧与促进侧双轨并行，构成完整的政策光谱。
（三）标准与技术文件层面
GB 45438-2025作为强制性国家标准直接产生法律拘束力。全国网络安全标准化技术委员会2025年9月发布的《人工智能安全治理框架》2.0版，把风险区分为技术内生风险、技术应用风险与应用衍生风险三类，并探索低、一般、较大、重大、特别重大五级分级，辅以人工智能应用伦理安全指引等技术文件，形成了从原则到操作的完整工具箱。这些文件多为推荐性或指导性，但如前所述，经合同引用与裁判援用完全可以获得实际拘束力。[13]
（四）立法展望与体系评析
立法机关的信号已经明确：全国人大常委会2026年度立法工作计划把人工智能健康发展相关立法列入预备审议项目，国务院2026年度立法工作计划提出加快推进人工智能健康发展综合性立法，并部署完善数据、算力、算法、产权、网络安全、供应链安全等共性要素立法。[14]我国人工智能立法正处在由分散规章走向综合立法的窗口期。
综合立法必须正面回答三个悬而未决的结构性问题。
第一，角色划分与责任传导。现行规章以“服务提供者”为义务锚点，但在开源模型被二次开发、模型接口被逐层集成的产业现实中，开发、提供、部署三个角色日益分离。责任如何沿供应链传导，需要立法给出规则，不能全部推给合同。
第二，风险分级的中国方案。欧盟按应用场景分级，《人工智能安全治理框架》按风险来源分类；综合立法要如何设定分级标准，又如何与备案评估制度衔接。
第三，安全义务与发展激励的平衡。过密的事前义务抬高创新门槛，过疏的事后追责防不住系统性风险，在两者之间校准，考的是立法技术。
这三个问题在立法完成之前不会消失，只会换个地方出现——出现在合同的免责条款里，出现在侵权诉讼的因果关系认定里，出现在仲裁庭对注意义务的判断里。规范供给的空白，从来不是没有人承担后果，而是由先遇上纠纷的那一方承担。
注释与资料来源
- 《2026世界人工智能大会暨人工智能全球治理高级别会议主席声明》，2026年7月，上海。
- 《生成式人工智能服务管理暂行办法》，国家互联网信息办公室等七部门2023年7月公布，自2023年8月15日起施行。
- Anthropic公司2025年11月发布的威胁情报报告。
- 《智能体互信互联互操作全球合作倡议》，2026年7月17日发布。
- 《人工智能生成合成内容标识办法》及GB 45438-2025《网络安全技术 人工智能生成合成内容标识方法》，均自2025年9月1日起施行。
- 《人工智能拟人化互动服务管理暂行办法》，2026年4月10日公布，自2026年7月15日起施行。
- 修改后的《中华人民共和国网络安全法》自2026年1月1日起施行，第二十条为人工智能专门条款。
- 《全球人工智能治理倡议》，中央网信办2023年10月发布。
- Regulation (EU) 2024/1689，即欧盟《人工智能法》。
- 美国第14365号行政令（2025年12月11日）与第14409号行政令（2026年6月2日）。
- 修订后的《中华人民共和国仲裁法》自2026年3月1日起施行。
- 《国务院关于深入实施“人工智能+”行动的意见》，2025年8月26日印发。
- 《人工智能安全治理框架》2.0版，2025年9月15日发布。
- 《全国人大常委会2026年度立法工作计划》及《国务院2026年度立法工作计划》。
