《利用生成式人工智能与大语言模型革新自主系统安全，构建零信任架构》232页最新干货书

2024年GENZERO研讨会于2024年11月12日至13日由技术创新研究所安全系统研究中心主办，汇聚了顶尖研究人员、行业先驱和政策制定者。在为期两天的会议中，与会者探讨了如何将最初为网络防御设计的零信任安全理念，适配到不断扩张的人工智能驱动自主系统领域。一个核心见解是，迫切需要利用生成式人工智能和大语言模型构建一个稳健的端到端平台，在运营各层级强制执行安全、可靠与韧性。一个关键的焦点是将人工智能逐步集成到物理机器人领域，包括无人机、无人地面载具，以及今年晚些时候将涉及的人形机器人。当人工智能在物理领域控制机械时，若无严格的零信任措施作为基础，可能会对人类造成严重伤害。这包括指挥控制系统与集群单元之间的安全通信，以及验证持续可靠性的安全运行时保证。当生成式人工智能检测干扰威胁或协调动态信道/频段切换时，此种严谨性至关重要。随着人工智能物理足迹的扩大，确保这些机器人平台的完全可信性也变得愈加紧迫。

目标与意义

自主系统的零信任演进
- 核心目标：将零信任从简单的网络范式扩展到物理机器人领域，涵盖硬件、软件、数据管道和人工智能模型。
- 安全与韧性：嵌入持续验证和安全运行时保证协议，以防止无人机、无人地面载具或人形机器人故障或落入对手控制而导致灾难性后果。
利用生成式人工智能和大语言模型
- 赋能技术：生成式人工智能和大语言模型使自主系统能够解读现实世界数据、调整任务参数并应对新出现的威胁。
- 平衡之道：在不影响加密、认证和异常检测机制的前提下实现强大性能——这些是零信任安全态势的基石。
面向平台的愿景
- 平台化方法：倡导一个连接基于人工智能的控制器、安全通信和稳健机器学习算法的生态系统，并对所有环节进行持续的可靠性监控。
- 安全运行时保证：提供近乎实时的系统完整性监督，确保随着任务从地面扩展到空中——并最终扩展到人形机器人领域——信任始终不受损害。
可信标准大语言模型与可解释人工智能
- 信任与透明度：许多组织依赖商用大语言模型；研讨会强调了严格审查其来源和训练数据的必要性。
- 可解释性：在物理人工智能部署中，可解释人工智能至关重要。操作员和监管机构必须理解自主系统为何如此行事，尤其是在敏感或高风险情境下。

新兴主题与研究前沿

面向物理机器人的整体零信任平台
- 人工智能驱动的指挥控制：先进的指挥控制架构本身作为人工智能体，必须集成安全运行时保证，以在整个无人机、无人地面载具和人形机器人集群中保持可靠性。
- 作为人工智能体的通信：生成式人工智能在检测干扰和自动切换信道/频段方面的作用，展示了保护关键任务数据链路的新方法。
人工智能供应商的透明度
- 开放数据集与训练协议：对于数据来源隐藏或模糊的专有大语言模型，仍存在重大关切。
- 零信任开源模型：研讨会成员呼吁建立可审计的数据管道，以便集成商能够在物理机器人上放心部署人工智能，而无需承担未知风险。
针对关键任务应用验证标准大语言模型
- 挑战：许多标准或预训练人工智能模型并非专门为现实世界机器人任务设计。确保其达到零信任基准是一项艰巨任务。
- 机遇：用于可解释人工智能和运行时验证的工具可以帮助统一主流大语言模型与先进机器人技术，推动在公共和商业领域更安全的部署。
安全运行时保证
- 关键要务：在具身人工智能中，持续的运行时检查对于检测异常或恶意干扰至关重要——特别是在高风险环境中。
- 后续步骤：为监控、检测和当人工智能驱动机器人偏离预期行为时的快速响应，制定行业标准和最佳实践。
生成式人工智能在多智能体、弹性机器人中的未来
- 适应性与自我修复：在稳健安全框架的指导下，生成式人工智能可以帮助机器人快速适应机械故障或环境危害。
- 扩展到人形机器人：随着人形机器人的临近，人工智能决策的现实后果将变得更加重大，这凸显了从一开始就采用零信任的必要性。

展望未来：建议与后续步骤

建立透明的供应商框架
- 标准化披露：敦促人工智能模型提供商记录用于关键任务机器人的训练数据、方法论和对齐策略。
- 第三方审计：独立评估方可以确认其是否符合零信任和安全运行时保证的要求，从而增强对物理人工智能解决方案的信任。
为零信任与可解释人工智能建立基准
- 新度量标准：开发针对物理自主性的专项测试——包括集群、人形机器人和多智能体任务——衡量其韧性、透明度和运行时可靠性。
- 社区存储库：鼓励共享关于人工智能驱动的干扰检测、信道切换策略和安全人形机器人操作等现实世界尝试的数据。
监管与伦理准则
- 责任与问责：随着机器人进入人类空间，需明确谁对人工智能造成的伤害或误用承担法律责任。
- 伦理监督：要求在公共领域部署先进人工智能时设定安全边界，确保技术公司、研究人员和监管机构共同承担责任。
跨学科协作
- 联合研发努力：汇聚机器人专家、网络安全专家、人工智能伦理学家和法律学者，共同为新兴的人形机器人技术设计多层解决方案。
- 全球伙伴关系：缔结国际协议，协调零信任标准，确保跨国界的一致、透明实践。