世界正目睹来自边缘物联网传感器(从无人机到风力涡轮机,再到制造机器人)收集的数据量呈爆炸式增长。随着数以十亿计的新传感器和泽字节级的额外数据在不久的将来上线,边缘带来了巨大的机遇与挑战。历史上,一直专注于获取将这些数据集成到集中式平台的能力,以实现数据驱动的决策。然而,如今这一策略正变得越来越不理想。许多最有价值的潜在行动——无论是在作战还是制造中——都具有时间敏感性。将数据传回云端进行处理和分析,意味着高优先级目标可能已经改变位置,或者可能已发生运行故障。竞争优势将属于那些能够在边缘设备上、在潜在断连的环境中于数秒内做出决策的组织。
Palantir边缘人工智能(Edge AI) 是 Palantir 的人工智能编排与传感器融合引擎,可实现跨边缘设备和环境的自主决策。它专为时间和效率至关重要的场景而设计,可在低带宽、低功耗条件下运行,包括在无人机、飞机、船舶、机器人、建筑和卫星上。
本文探讨了组织通常如何实现边缘自主决策的目标,以及 Palantir Edge AI 的关键技术支柱。
01 开放模型管理基础设施
虽然大多数人工智能公司倾向于专注于提供开箱即用的单一模型,但Palantir为各组织提供的是端到端的人工智能/机器学习解决方案。Palantir可集成任何类型或复杂度的数据——例如海量传感器和流视频数据——然后执行有关数据质量、溯源和清洗的关键任务,从而为模型生成可用的数据资产。完整的人工智能/机器学习基础设施提供了独立地对模型进行版本控制、测试、发布和部署的能力。用户可插入来自任何供应商的模型,并并排比较其性能——从而避免人工智能解决方案常常带来的供应商锁定。
02 基于微模型的动态模型编排
当今人工智能/机器学习领域的最大挑战在于定义有价值、可解决的问题,并持续针对这些问题部署模型。Palantir Edge AI通过一项名为"微模型"的新技术来应对这一挑战。微模型是模块化的、围绕可衡量目标设计的、针对特定操作的模型。它们可以是自研的、开源的或第三方的算法。
微模型与环境无关,能够独立运行或使用上游模型的输出。通过这种方式允许您分离人工智能流水线的逻辑部分,Palantir Edge AI帮助组织将模型开发、评估和训练工作下放给内部团队和外部供应商——从而提升生产力、质量、迭代速度和发布节奏。
03 自适应运行时配置
为了在边缘提供灵活性,模型可以作为处理器串行或并行运行。串行运行允许模型利用上游模型的信息。并行运行有助于减少延迟并更高效地利用硬件。关键的是,用户可以实时热插拔模型,而不会中断系统中传感器数据的流动。这也意味着,如果一个模型崩溃,不会影响依赖该传感器输出的下游用户。Palantir Edge AI对模型及其依赖项进行容器化,允许组织将必要的库和驱动程序直接与模型打包,而无需依赖与Palantir或系统中第三方模型的协调。
04 轻量级、模块化接口,用于在远程或资源受限环境中执行关键计算过程
Palantir Edge AI可在组织的专用计算硬件或其他低SWaP(尺寸、重量和功耗)规格的设备上运行。在使用点部署可实现源自最高质量传感器、物联网和视频输入的最佳质量人工智能检测。该平台根据资源限制条件决定是否从设备传出信息。在限制较少的情况下,它可以传输所有原始输入和模型生成的丰富元数据。在限制较多的情况下,可将其配置为传输"仅元数据"流(例如,任何检测数据,以及位置经纬度/高程数据),这占用的可用带宽更少。在近期的操作测试中,Palantir Edge AI能够将比特率降低20倍,从而减轻了下行链路网络系统的压力。在微型规格设备上运行模型并校准数据传输,使得自主传感器工作成为可能。
05 简化并自动化复杂数据工程任务的工具
Palantir Edge AI提供了一个配置界面,允许所有用户(包括非技术人员)在实时传感器上配置高度复杂的人工智能流水线。该界面支持多种用例,包括视频稳定、目标检测、地理配准以及运动检测与预测。
06 实时便携式再训练
Palantir Edge AI中的算法可以在实时数据流上更新和部署,几乎无需停机,从而缩短模型再训练的反馈循环。团队可以根据输出质量、速度和带宽等因素对模型进行优化。
07 持续集成/持续交付
从边缘部署模型传回的决策和上下文元数据会流回核心的Palantir人工智能/机器学习基础设施,加速再训练过程。其结果是一个良性循环,实现了模型直至边缘的持续集成/持续交付。