物联网（IoT）已成为技术基石，实现了整合数十亿异构设备的高度互联系统。这些设备的综合数据输出估计每天达数百艾字节。大语言模型（LLMs）的兴起为管理这些设备、处理其产生的数据以及应对物联网生态系统带来的技术和社会挑战带来了新的机遇。然而，将大语言模型集成到物联网中也带来了重大挑战。本文就大语言模型与物联网生态系统的融合进行了迄今最全面的综述。我们涵盖了包括设备、软件工程、感知、网络、数据处理、隐私与安全以及人机交互在内的多个技术层面。我们综合了300多篇文献的见解，指出了开放的研究缺口，并强调了从语义推理、通信到量子计算融合等一系列有前景的未来方向。通过阐述与大语言模型融合相关的特征、挑战和机遇，本文旨在为研究人员和实践者提供基础性资源，帮助他们在应对相关复杂性的同时，利用大语言模型增强物联网功能。

图1. 大语言模型及其与物联网应用功能层级的交互。 感知、网络和数据处理被归类为专门的功能层级，各自处理物联网操作的不同方面。相比之下，设备、软件工程、隐私与安全以及人机交互则是横切关注点，影响着整个物联网生态系统，波及所有系统和部署。我们的综述探讨了大语言模型在所有功能层级内的集成，并通过我们的三维框架——资源效率、功能协同和运行信任——对每一层级进行了评估。（注：本图使用的图标由Google Gemini生成）。

引言

物联网（IoT）的快速普及催生了集成各类设备的高度互联系统。这些系统在环境监测、医疗保健、农业和智能生活环境等多个领域带来了显著效益^[1]。当前估计连接物联网设备数量已超过180亿，预计到2032年将达到371亿台^[2]。管理庞大的物联网设备网络及其数据变得越来越复杂，尤其是在大规模生态系统中。传统的计算方法通常难以应对物联网设备的多样性、海量数据量以及这些环境的实时性需求。因此，迫切需要能够高效管理海量异构物联网数据，同时促进智能和上下文感知交互的先进方法。

大语言模型（LLMs）以其先进的自然语言处理能力而闻名^[3]，已成为促进自然且具有上下文感知交互的强大工具。这些基于海量数据集预训练、精密复杂的神经网络，能够理解并生成类人语言。它们处理大型数据集的能力使其能够胜任文本摘要、分析和生成等任务。这些能力为有意义的对话、个性化推荐和增强决策制定开辟了机会^[4]。

大语言模型的融合有潜力通过管理设备多样性、处理生成数据以及应对物联网环境中的挑战来增强物联网生态系统。通过利用大语言模型能力，物联网系统可以实现更高水平的智能化和自主性，从而实现更高效的运营。例如，大语言模型促进了自然人机交互^[5]，通过上下文理解改进了数据解读^[6]、^[7]，并实现了任务自动化^[8]、^[9]。利用大语言模型的商业物联网应用也日益涌现，例如宝马集成亚马逊的Alexa在驾驶过程中提供自然语言辅助^[10]，以及百事公司的菲多利工厂利用大语言模型进行预测性维护，以识别可能的故障并减少停机时间^[11]。另一个例子是微软的Azure物联网平台，它为工业物联网应用提供大语言模型推理和部署支持^[12]。

然而，大语言模型的融合既带来了机遇，也带来了重大挑战。这些挑战包括物联网设备的资源限制、与向大语言模型共享数据相关的隐私和安全问题，以及物联网环境中不同设备之间的独特特性和交互。近期的进展已开始通过模型优化^[13]、边缘大语言模型^[14]、指令调优^[15]和提示策略^[16]等技术应对其中一些挑战。尽管这些发展使得大语言模型能够在更广泛的物联网场景中得到利用，但关于如何将大语言模型有效集成到物联网系统的整体研究格局仍处于起步阶段，且探索不足。目前缺乏相关信息，包括实现无缝集成的具体方法论、可扩展性，以及在不同物联网环境中部署大语言模型可能带来的安全与隐私影响。

本文严谨地审视了大语言模型与物联网交叉领域的研究格局，涵盖了关键挑战、在物联网生态系统不同功能层级的当前应用、未来及新兴趋势，以及开放缺口。现有综述主要侧重于优化大语言模型或将其集成到特定的物联网组件中^[17]、^[18]、^[19]、^[20]、^[21]、^[22]，但未能提供对整个物联网生态系统的整体概览。物联网应用的特点在于跨不同功能层的复杂交互。若不考虑整个生态系统的整体视角，大语言模型的全部潜力以及诸多挑战和缺口可能会被忽视。我们的综述通过分析大语言模型集成到物联网系统相关的挑战与机遇，解决了先前研究的这一局限。我们回顾了300多篇文献，综合了大语言模型在物联网各层级（从设备、软件工程到感知、网络和数据处理）的融合进展。我们还讨论了基于大语言模型的物联网系统中的安全、隐私、人机交互及其影响。最后，我们强调了未来的研究方向和新兴趋势，以及从我们的发现中识别出的开放研究缺口。解决这些缺口对于最大化大语言模型融合潜力、增强物联网能力至关重要。本综述旨在为研究人员和实践者提供基础性资源，帮助他们在应对相关挑战的同时，利用大语言模型改进物联网功能。

大语言模型与物联网

本综述全面回顾了大语言模型与物联网在物联网生态系统所有功能层级的融合，为研究人员和实践者提供参考。现在，我们进入综述的主体部分，按照不同的物联网层级来组织内容。我们讨论的主题及相关的文献示例如表3所示。

A. 物联网设备

大语言模型越来越多地可以在物联网设备上运行，即使其中大多数设备最初并非为此目的而构建。接下来，我们将探讨改进大语言模型与物联网设备集成的方法，并通过我们的分析框架评估这些方法。我们将涵盖设备端模型、分布式架构和硬件加速器。

1) 设备端大语言模型

设备端大语言模型是资源效率提升的驱动力，它们是专门为嵌入式设备（如移动固件^[122]和基于大语言模型的自动驾驶汽车操作系统^[9]）高度优化的大语言模型版本。这些模型利用前文介绍的模型压缩技术，如剪枝和量化，以在嵌入式环境的限制下最大化资源效率^[14]。利用量化方法的设备端大语言模型示例包括TinyAgent^[90]和LLMEdge^[13]，以及近期出现的Microsoft Phi-3和Phi-4-mini^[160]、Gemma3-4B-IT^[161]和Qwen 2.5^[162]。近期进展，如Huff-LLM，引入了基于霍夫曼编码的大语言模型权重无损压缩创新方法以及定制化解码器，显著减少了模型大小和能耗^[154]。此外，也提出了一些利用知识蒸馏的工作^[155]、^[156]。例如，MiniLM^[157]采用深度自注意力层，以更少的参数量精确模拟更大规模大语言模型的行为。Ray^[158]识别出一类特定的参数规模在十亿以下的模型，如SmolLM（135M/360M）和Qwen-0.5B，它们能够在资源受限的边缘硬件上运行。此外，Chen等人强调，与全量微调相比，像LoRA这样的参数高效微调（PEFT）方法可将设备端适配所需的内存减少70%以上^[159]。同样，Huff-LLM框架通过使用无损压缩，证明可显著降低边缘设备的能耗（高达40%）。增强功能协同的未来方向包括将设备端大语言模型与联邦学习及其他分布式学习范式相结合，以实现协作式模型训练。硬件方面的进步，如神经形态架构，也可能进一步提高资源效率，并在受限设备上实现更复杂的大语言模型能力。

2) 分布式大语言模型

为了在网络中建立功能协同，可以通过在边缘和终端设备间协作式地分布大语言模型来最小化资源需求^[163]。该策略有助于在考虑可用资源的同时，协同优化性能权衡。文献^[164]中提出了一个协作式微调框架，该框架在边缘节点上使用骨干大语言模型和适配器层，以根据其特定资源约束来调整模型。CoLLM^[165]提出了一种协同部署策略，该策略集成了张量并行化、自适应负载均衡以及一种确定最小化延迟所需最优协作者数量的算法。类似地，Edge-LLM旨在为边缘设备优化计算和内存需求^[86]。为实现此目标，Edge-LLM采用了逐层压缩方法以及一种使用投票选择最佳输出的自适应层调优方法。此外，Edge-LLM包含一个硬件调度模块，以优化因不同量化、压缩、稀疏性及对大语言模型分段更新而产生的不规则计算模式。尽管在功能协同方面取得了这些进展，资源约束仍然是物联网应用中部署分布式大语言模型面临的重大挑战。未来方向包括开发用于管理资源使用的算法和优化框架，以及与高速通信技术更紧密地集成，以提高大语言模型间的通信效率。

3) 动态子网络选择

动态子网络选择是一种专门化的优化技术，它利用大语言模型的结构，仅激活模型中的特定子集，即子网络。这些子网络可以分布在不同的设备上，以优化资源效率和资源利用率^[71]。然而，分布子网络会引入通信开销，并因增加模型故障风险而影响运行信任。一种替代方法是专家混合（MoE）框架，其中每个子网络被视为一个专家。在推理过程中，只激活这些专家的一个子集，从而实现更好的专业化和资源效率。MoE尤其适用于基于代理的框架，其中每个专家可以作为一个专门的大语言模型代理运行。当专家被建模为代理时，此框架也称为代理混合（MoA）框架^[171]。MoE模型的计算复杂性取决于有效管理专家间的功能协同以及为给定输入选择适当的专家，这可以通过并行化和资源感知的专家激活调度来解决^[166]、^[167]，而任务分配技术可以基于资源约束和查询特征来优化专家选择^[168]。相比之下，彩票假设（LTH）认为，在一个大型的、过度参数化的模型中，被称为“中奖彩票”的更小、初始化良好的子网络可以被训练以达到与原始模型相当的性能^[169]、^[312]。识别这些“中奖彩票”可以创建轻量子网络，在保持高精度的同时使用更少的资源。LTH也可以增强分布式学习，已成功应用于优化联邦学习^[170]。然而，这种方法可能损害运行信任；例如，基于LTH的联邦学习系统已被证明易受后门攻击^[313]。该领域的未来方向包括减少子网络的通信开销、开发改进的机制以识别最优子网络，以及调查与这些技术相关的安全和隐私威胁。

4) 硬件加速器

硬件加速器是专用组件，通过支持同时处理多个神经网络任务来提升资源效率，从而减少延迟和功耗^[172]。最常见的加速器类型是现场可编程门阵列（FPGA），它可以重新编程以创建特定于大语言模型的加速器，从而为特定模型优化数据流和计算。例如，已开发出用于LLaMA模型的自定义FPGA^[173]。对于可能需要同时运行多个模型的边缘设备，FPGA尤其有益。然而，实现功能协同是困难的，因为定制过程可能劳动密集且需要专门的设计解决方案^[174]、^[175]。或者，专用集成电路（ASIC），也称为神经网络处理单元（NPU），是专为加速人工智能工作负载而设计的定制芯片，不绑定于特定模型，这使其非常适合物联网集成。它们特别擅长减少预填充延迟，这是推理延迟的主要来源之一^[176]。微控制器设计的最新进展也旨在通过优化的指令集和库来增强现有中央处理器（CPU）上运行大语言模型的性能。这些优化通常针对特定的处理器系列，限制了其广泛适用性^[177]。虽然这些技术显著提高了大语言模型的推理速度，但物联网设备的多样架构和大语言模型的不断演进性质，要求进一步研究功能协同。同时，迫切需要通过集成安全处理器和隐私机制来增强运行信任。例如，将FPGA与可信执行环境集成以实现安全处理极具挑战性^[178]。对能够在各种硬件平台和大语言模型上提供一致性能的更通用加速器的需求正在增长。

5) 部署策略的比较评估

通过我们的分析框架进行评估，设备端模型、协作分布式大语言模型和MoE架构的适用性在物联网场景中存在显著差异。通过最大化资源效率，设备端小语言模型（SLMs）（例如，量化的十亿参数以下模型和TinyAgent风格的部署）非常适合电池供电的固件和需要高运行信任（对隐私敏感）的上下文，特别是与避免全模型更新的参数高效微调（PEFT）方法结合使用时。相比之下，协作分布式大语言模型（CoLLM/Edge-LLM）通过适配器层和自适应调度利用功能协同，为复杂任务实现更低的延迟，但引入了对可靠链路的依赖和适度的通信开销。当专家激活是资源感知时，MoE增强了专业化和吞吐量。然而，它增加了配置复杂性，并因代理间编排的脆弱性而对运行信任构成压力。在开销方面，动态子网络选择减少了本地计算负载，但在低带宽（BLE/LoRa）物联网网络中会引入通信开销，可使总推理延迟增加15-30%（在WiFi/以太网网络中增加通常低于10%）。此外，FPGA等硬件加速器为相同的内核提供卓越的性能提升（1.2-1.8倍），但受限于硬件异构性，限制了功能协同。为一个NPU优化的模型可能需要对另一个NPU进行重大重新设计，这使跨不同设备集群的可移植性复杂化。最后，运行信任风险随模型分布而扩大：由于节点间数据传输，分布大语言模型增加了安全漏洞，特别是中间人攻击的风险。这些考虑表明，部署策略应根据场景动态选择。轻量级量化设备端大语言模型最适合用于占空比传感器上的实时控制，而协作或MoE部署则更适合局域网连接的工业边缘中的多步骤分析和自动化。MoE的物联网应用示例还包括自动驾驶汽车和多模态感知。

B. 物联网软件工程

大语言模型与物联网软件开发的融合正在革新为日益增多的物联网设备创建和维护应用程序的过程。本节探讨了大语言模型如何自动化和增强软件开发生命周期的各个阶段，包括自动化软件开发过程，以及支持任务规划与自动化。请注意，大语言模型在软件工程流程中自然还有许多其他用途。然而，这些已由其他综述（如^[314]）广泛探讨，在本节中，我们特别关注物联网特定的软件工程问题。

1) 自动化软件开发流程

大语言模型可以通过基于非正式信息生成全面的文本需求和用例，显著增强物联网设备的软件开发流程^[40]。在提高资源效率方面，它们可以加速代码生成和故障检测，例如，从自然语言请求生成用于家庭自动化和其他领域的动态触发-动作程序（TAPs）^[179]。其他模型，如IoTcoder^[180]和LLM4TAP^[181]，也利用大语言模型进行TAP生成。除了代码生成，大语言模型可以通过利用设备特定参数和来自验证的反馈来优化生成的代码，从而促进自动验证^[182]。大语言模型还可以根据用户目标和设备约束创建定制的AI模型或代理^[183]、^[184]。此外，它们可以用于通过缺陷定位和错误检测来加强运行信任。例如，ChatDL^[185]分析工业物联网系统的代码更新和缺陷报告。通过增强代码摘要和基于缺陷相关性对变更进行排序，它可以更准确地定位软件错误。未来的研究应侧重于集成自动化测试方法以确保稳健的系统集成，并调查进一步强化物联网软件开发中运行信任的安全协议。其他方向包括探索大语言模型在实时协同编码环境中的应用，并评估其在跨平台开发中提高开发效率的潜力，从而增强功能协同。

2) 任务规划与自动化

大语言模型擅长活动规划和工作流设计，这使其对跨多样化物联网生态系统自动化大规模任务非常有价值^[8]。它们生成和执行代码的能力使得在具有不同部署特性（如不同位置和环境）的设备间实现高度的功能协同成为可能^[35]、^[36]、^[183]。研究已通过基于工作流的方法展示了物联网自动化，其中大语言模型充当工作流引擎以确保无缝的任务执行。这种能力在智能家居和楼宇中尤其相关，在那里大语言模型可以编排集成缺乏共享空间特性的多样化子系统的工作流。基于大语言模型的规划也能惠及城市规模的自动驾驶汽车部署，或指导和增强机器人及微型移动车辆的协调任务^[9]、^[186]、^[187]。IoT-Together是自动化任务规划系统的一个示例^[188]。它采用自然语言交互式目标管理来识别用户目标，并根据当前设备限制生成必要的服务代码。另一个例子是DELTA，它引入了使用场景图进行任务分解的方法，为机器人制定可行的计划^[189]。通过任务分解和改进推理方法（如测试时推理）来增强大语言模型的规划能力，可以进一步推动任务规划和整体资源效率的提升^[190]。尽管有这些优势，延迟、处理速度和输出可靠性等挑战可能会限制基于大语言模型的自动化在实时应用中的有效性，影响运行信任^[9]。未来的研究应侧重于开发更高效的算法，在保证输出质量的同时减少大语言模型的延迟。结合大语言模型与边缘计算资源的混合模型也可能提高处理速度并降低整体能耗。此外，探索标准化大语言模型在各种物联网设备中集成的方法，对于促进互操作性和可扩展性、确保持续的功能协同至关重要。

C. 物联网感知

大语言模型具有强大的推理能力，可以增强传感器数据的收集、处理和利用。本节探讨了大语言模型如何用于改进和简化多样化物联网应用中与感知相关的任务。

1) 增强数据收集

为了提高资源效率，大语言模型可以通过制定有效的数据收集计划并将其转化为物联网设备的可执行指令来增强数据收集过程。例如，提示可以指导制定针对特定场景的数据收集和采样率问题，确保物联网设备高效运行^[99]。此外，对大语言模型进行微调可以通过实现传感器数据与环境信息或领域特定知识的无缝集成来促进功能协同。例如，LightLLM^[191]通过融入任务相关知识来增强基于物联网的光感知任务，相关知识通过提示编码以实现有效的数据融合。此外，一些工作，如CASIT^[192]，利用基于大语言模型的代理根据用户命令预处理物联网传感器数据，从而减少传输的数据量。其他研究侧重于利用大语言模型压缩特定领域的传感器数据，例如智能交通^[193]，采用了自适应采样和重缩放技术以及思维链提示。An等人提出了IoT-LLM框架，该框架利用思维链（CoT）提示，在处理前将复杂传感器信号（如心电图和WiFi信道状态信息）转换为描述性文本提示进行解释。与基线模型相比，这种方法将大语言模型锚定在物理现实中，显著提高了感知任务的推理准确性^[196]。此外，多模态大语言模型（MLLMs）可用于动态控制传感器电源状态，例如当RGB-D相机提供足够数据时关闭耗电的激光雷达，从而优化感知层的能效^[197]。

大语言模型还提供了一种增强运行信任的潜在方式，即建立量化参与物联网设备可靠性的声誉指标，确保它们提供的众包数据可信且准确^[194]。此外，大语言模型可用于创建数据驱动的软传感器（或代理），用于难以直接测量但可从其他辅助传感器推断出的变量，特别是在工业环境中^[195]。大语言模型还可以根据其对环境的嵌入式理解和物联网传感器数据，提供关于物理世界的知识。例如，大语言模型可以通过提供关于运动的传感器数据来提供关于用户位置的信息^[5]。未来方向包括为多样化的传感器类型优化大语言模型以提高数据准确性并增强上下文感知能力。基于大语言模型的数据压缩也值得探索，特别是在数据完整性保留方面。其他潜在方向包括基于实时传感器反馈生成自适应提示，以及多传感器融合技术以更深入地洞察物联网数据。

2) 合成数据生成

大语言模型有潜力显著提高合成数据生成的资源效率，缓解数据稀缺和高收集成本问题^[198]。这在收集现实世界数据不切实际或成本高昂的情况下尤为重要。此外，合成数据可以通过生成不暴露敏感个人信息的数据来减轻隐私顾虑并维护运行信任。例如，大语言模型已被用于创建运动数据的文本描述^[199]。它们表达人类体验的能力也有助于生成人机交互识别的传感器数据，特别是当现实场景的变异性导致现有数据集有限时^[201]。通过描述执行活动的合理方式，大语言模型增强了用于训练机器学习模型的数据集，如在生成人机交互识别的合成传感器数据^[200]和各种活动的地面压力数据^[202]中所示。

大语言模型还可以支持其他领域，例如射频（RF）数据生成^[121]。通过将领域特定知识与强化学习相结合，大语言模型可以有效地生成通用传感器数据^[198]。在^[203]中，提出了一个框架，该框架使用大语言模型推断所需数据特征并选择领域特定的生成模型以增强输出。GenG^[204]采用了类似的策略，针对传感器数据任务微调一个大语言模型，并采用基于Transformer的模型进行数据生成。此外，大语言模型可以为资源有限的设备（如智能家居）自动创建数据集来训练小型语言模型，使其能够根据用户目标规划行动^[205]。此外，大语言模型可以使用自适应采样技术从现有基准测试中优化样本选择，在保持准确性的同时降低训练成本^[206]。未来方向涉及改进合成数据生成技术以提高数据集的真实性和多样性，这对于鲁棒的机器学习至关重要。将大语言模型与生成对抗网络（GANs）集成可以提高数据质量，同时评估这些方法在各种物联网应用中的可扩展性对于评估其实际影响至关重要。

3) 上下文感知感知

大语言模型可以通过提供额外上下文来增强传感器数据。例如，它们已被用于标注原始惯性测量单元（IMU）传感器数据，而无需额外的模态^[207]，解决了与人工标注相关的可扩展性、成本和隐私问题。大语言模型还丰富了智能家居中用于人机交互识别的环境传感器数据，使模型能够依赖文本数据，并促进跨不同户型平面图的空间功能协同^[208]。ContextGPT^[6]通过利用大语言模型提供基于来自可穿戴设备和智能家居传感器的额外原始传感器数据的上下文，改进了人机交互识别。这有助于验证识别出活动的一致性，从而增强运行信任。类似地，SensorLLM^[7]添加了传感器数据变化和趋势的文本描述，以辅助活动标注。此外，大语言模型可以通过整合从网络提取的高质量文本数据来增强众包时空数据的质量^[209]。未来方向包括集成多样化传感器输入，并确保大语言模型能够生成实时上下文洞察以支持上下文推理。

4) 感知应用开发

大语言模型可以为基于常见传感器的上下文感知应用程序提供编程框架^[210]。该框架允许自然语言作为处理传感器数据的接口，增强了透明度，减少了对编程专业知识的需求，并提高了整体资源效率。它还促进了整合反馈以优化查询，简化了应用程序开发过程。此外，大语言模型可以处理在边缘设备上从环境传感器收集的数据，实现实时紧急情况检测，通过为用户提供适当的交互和提醒直接支持运行信任^[211]。这种能力在医疗保健和老年护理等领域尤其有价值，及时的干预可显著影响结果。未来方向包括扩展大语言模型编程框架以适应更广泛的传感器类型和应用，并探索集成用户反馈机制以创建更直观、用户友好的上下文感知应用程序的方法。

5) 遥感

大语言模型代理可以管理遥感任务。首先，它们接收自然语言的用户命令并规划必要的功能。然后，执行这些功能并将最终结果交付给用户^[212]。此外，大语言模型可以优化网络中感知与通信之间的平衡，例如在无人机（UAVs）中，这两种功能共享相同的信号。通过分析这些信号，大语言模型通过识别数据收集和通信效率之间的最优权衡展示了高度的功能协同^[213]。这确保无人机在保持可靠通信的同时有效地收集信息。此外，利用多模态大语言模型可以通过改进视觉感知和有效整合文本与图像来增强遥感图像感知^[214]。这种能力可以从遥感数据中产生更丰富的上下文和更具可操作性的见解。未来方向涉及集成反馈机制以提高操作效率。

D. 物联网网络

随着物联网部署规模的扩大，连接这些设备的网络复杂性也在增加。大语言模型可以增强物联网网络的各个方面，包括优化网络配置、改进资源分配和增强弹性。本节综述了大语言模型在增强物联网网络中的作用。

1) 物联网网络设计与配置

大语言模型有潜力通过量身定制网络要求和规范以匹配特定任务和部署规模，显著提高资源效率^[39]、^[215]。例如，设备端和卸载架构的设计可以极大地受益于大语言模型。这些模型可以根据设备位置、资源可用性等因素选择优化网络中任务分发的网络策略和卸载模型^[51]。这种能力增强了功能协同和通信效率。大语言模型还可以在维护全网策略方面发挥关键作用。云执行就是一个例子，其中的策略管理设备外部的数据通信^[80]。确保运行信任在此至关重要；提示生成的敏感数据在传输到云端前必须得到妥善处理，或进行移除或模糊化^[8]。然而，这种方法的一个显著缺点是处理时间和通信延迟可能会增加。未来方向涉及研究能够动态适应不断变化的网络条件和设备能力的先进算法和框架。

2) 网络管理与编排

在网络管理中实现功能协同是复杂的，因为物联网网络支持分布式架构，以容纳使用各种通信技术的异构设备。这种多样性给使用大语言模型带来了挑战，特别是由于设备间通信协议、数据格式和功能的差异。应对这些挑战需要对设备操作和用户交互有一致的上下文理解^[216]。大语言模型可以促进指导网络架构设计的框架。这通过提供对配置权衡的洞察来优化资源效率，特别是在复杂网络如5G/6G和卫星系统中^[217]。一个值得注意的应用是基于意图的网络，其中大语言模型可以以最少的外部干预自主生成网络配置^[218]、^[219]。大语言模型还可用于实时查询和分析来自物联网设备和网络基础设施的数据。这支持网络编排、动态任务调度和其他关键任务^[215]。这种实时数据分析可以增强模型推理，并促进基于大语言模型的地理分布式物联网网络架构的实施^[220]。此外，大语言模型可以为更频繁激活^[221]或具有更高工作负载需求^[222]的设备优先安排卸载。未来方向包括将大语言模型与基于意图的网络框架集成，以增强自适应决策过程。这将优化性能，同时确保网络有效响应条件和需求的实时变化。

3) 网络分析

通过收集网络流量数据并将其转换为自然语言，可以开发定制的大语言模型来识别和描述物联网网络中的不同设备^[223]。这种能力对于管理大规模物联网系统至关重要，因为准确识别和分类设备可以显著提高资源效率和网络响应能力。例如，Meyuhas等人^[224]采用大语言模型自动检测和标记物联网设备。这涉及从网络流量中提取和丰富文本特征，然后应用机器学习方法进行字符串匹配。接着使用具有零样本分类能力的大语言模型来确定设备功能并根据置信度进行标记。然而，维护运行信任是大语言模型集成中的一个主要注意事项，因为它们的使用可能引入影响网络性能或暴露配置的新漏洞。例如，尽管推测解码可以提高效率并加速大语言模型推理，但它可能导致依赖于输入的网络数据包时序和大小的变化^[225]。类似地，分析网络数据和参数的大语言模型可能无意中导致数据泄露，揭示底层网络架构的细节^[226]。此外，大语言模型的性能可能受到影响网络可靠性的因素（如干扰、信号衰减和带宽不足）的影响。这可能导致传输到大语言模型的数据不完整或不准确^[227]。未来方向包括开发稳健的机制以减轻这些漏洞，同时确保大语言模型在物联网网络中的有效集成。

4) 漏洞分析与支持

除了设备识别，大语言模型还可通过漏洞分析来强化运行信任。它们通过诊断问题、描述问题并提供纠正措施指导来实现这一点，从而提高网络弹性和性能^[228]、^[229]。这种方法已成功应用于光网络，其中位于控制层的人工智能代理管理层并促进应用层的交互^[230]。大语言模型还可以通过建议增强数据传输效率和增加网络智能化的调整来优化资源效率^[216]。在无线网络中，上下文学习简化了模型训练和超参数微调^[231]。大语言模型已被用于对网络数据进行大规模实时上下文分析，从而实现动态网络拓扑优化^[232]。在6G移动通信的背景下，大语言模型可以通过服务个性化和全面的运营评估来增强网络性能和安全性^[233]。未来方向应侧重于增强基于大语言模型的漏洞评估的可解释性，并探索将大语言模型能力更贴近终端用户物联网设备的部署方案。

5) 网络拓扑管理

许多物联网部署具有高度动态性，设备频繁加入或离开网络。在这些环境中维护准确的网络信息可能具有挑战性，即使对大语言模型也是如此^[234]。然而，通过持续检查网络使用模式，大语言模型可以通过减少对网络架构中故障的响应时间来维持功能协同，提供及时的洞察和实用建议。例如，通过为特定设备及其使用上下文定制的、有大型语言模型辅助的分析，分析数据包丢失、重传和通信信道利用率等指标，有助于更清晰地了解正常网络行为^[235]、^[236]。这种理解使得能够采取有针对性的纠正措施，例如调整传输协议、基于实时使用情况动态重新分配带宽，或优化路由配置以增强整体网络性能^[237]。大语言模型还可以通过帮助进行故障检测来增强运行信任和网络弹性。例如，它们可以建立预期通信模式的全面基线，用于识别可能指示潜在节点故障的心跳响应异常^[216]。未来方向包括增强大语言模型在动态环境中的响应能力，确保它们有效适应网络拓扑和设备可用性的变化。

E. 物联网数据处理

物联网的持续扩张增加了互联设备生成的数据量和复杂性。大语言模型已成为处理这些数据的强大工具，为代码生成、数据处理和推理任务提供了创新的解决方案。本节探讨了大语言模型在物联网数据处理中的多样化应用。

1) 数据处理的代码生成

早期关于利用大语言模型进行代码生成的研究表明，GPT-3^[24]尽管没有为此目的进行专门训练，但可以从Python文档字符串生成简单程序^[238]。为了提高资源效率，这种能力使得大语言模型可以简化生成用于修改输入数据集、创建有意义的特征、预处理物联网传感器数据以及执行物联网任务推理和分析流程的代码^[239]。通过利用对应于特定数据相关任务（如数据可视化、预处理、转换和分析）的提示，大语言模型可以用各种编程语言生成定制化的脚本^[240]。每个提示通常包括描述问题的测试用例、源文件以及明确的代码生成指令。与通常由人类评估者或启发式算法评估的自然语言样本不同，生成的脚本经过验证以确保成功运行并满足指定要求。流行的基准测试框架，如HumanEval^[238]，根据这些脚本首次尝试的成功率来衡量它们的功能正确性。未来方向包括增强大语言模型生成代码的鲁棒性以巩固运行信任，集成反馈机制以进行迭代改进，并将代码生成能力扩展到更复杂的物联网应用，如实时数据处理和机器学习模型部署。

2) 非文本数据

大语言模型最初是为处理和生成文本而设计的，而物联网系统包含了多样化的传感器模态，包括时间序列、空间数据、语音和图像。实现跨这些不同数据类型的协同功能是近期进展的主要焦点。这些进展使大语言模型能够更好地处理各种物联网传感器数据类型，如时空数据^[241]、^[242]、原始惯性测量单元（IMU）数据^[99]、^[101]、^[243]、来自智能家居的传感器数据^[105]和时间序列数据^[244]、^[245]、^[246]、^[247]、^[248]、^[249]。由于大语言模型可以从稀疏和不完整的数据中进行推断，已提出了几种有效表示传感器数据的方法。一种方法是在提示中包含原始传感器数据^[250]、^[251]。另一种方法涉及将时空和时间序列数据转换为文本表示，例如数字字符串或令牌序列。这将时间序列预测框架化为下一个令牌预测任务^[252]、^[253]。此外，使用统计摘要代替完整的原始数据可以减少输入大小，并通过最小化大语言模型处理大型数据集的需求来提高响应效率^[100]。最近，TimeSeriesScientist^[257]，一个由大语言模型驱动的代理框架，利用四个代理（用于增强和预处理、自我规划、预测和验证以及报告）来提供一个可解释和透明的时间序列预测过程。随着像GPT-4V(ision)^[254]这样的大型多模态模型（LMMs）的发展，大语言模型也通过多模态插件（如Bing图像搜索^[255]）扩展到图像分析。这一进展增强了对音频和视觉信号语义的理解和推理能力。大语言模型还可以协助根据用户对话为数据选择最佳的分析工具^[256]。Marble^[65]利用多模态输入，如图像、视频和文本来生成3D世界并提供空间智能功能。然而，处理混合数据类型操作中遇到的错误，例如在数字和字符串之间执行算术运算，仍然是一个挑战^[240]。未来方向包括改进传感器数据表示以增强融合、建模和推理，以及开发更稳健的方法来表征和处理混合数据类型。

3) 增强推理

为了提高大语言模型的推理能力，可以以自然语言提供关于时间序列输入和任务指令的额外上下文^[258]。大语言模型可以利用先进的自然语言处理技术来理解和分析随时间空间变化的复杂模式。首先在非文本数据上训练它们，然后针对特定任务进行微调，可以提高它们在时间序列预测中预测未来值的准确性^[258]、^[259]。更先进的技术涉及将领域知识整合到神经符号模型中，这可以显著提高活动识别的准确性^[6]。除了这些策略，大语言模型可以通过构建融合来自各种传感器的数据流的复杂多模态表示来实现高度的功能协同^[260]。此外，整合专门为时间序列或时空数据设计的编码器已显示出巨大的潜力。例如，Li等人^[261]利用神经网络有效地编码时空数据中的时间依赖性。此外，专门针对时间序列数据训练或微调大语言模型被证明是一种有效的策略，正如Bian等人^[262]所展示的，他们首先在基于补丁的预测上训练大语言模型以学习跨领域的通用时间序列特征，然后对其进行多补丁预测的微调。除了基于文本的表示，大语言模型可以通过专门的嵌入技术处理结构化数据，如图或表格，这些技术能够捕捉关系和层次信息^[263]。未来方向包括探索更复杂的多模态模型，以集成和支持多样化的数据类型。

4) 缺失数据与预处理

缺失数据是物联网数据分析任务中常见且具有挑战性的问题，大语言模型越来越多地被用于评估和填补这些缺失值^[263]、^[264]。解决这些缺口对于维护生成洞察的运行信任至关重要。该方法利用大语言模型的预训练知识来理解数据中复杂的模式和关系，从而为缺失值生成准确的填补。例如，与图注意力模块集成的大语言模型可以有效地捕获时空依赖性，从而为时空物联网传感器数据生成更精确的填补^[263]。这种能力不仅提高了数据质量，还增强了后续分析和预测的可靠性和操作信任。此外，大语言模型可以通过采用填充和令牌化等技术来协助预处理时间序列数据，以管理序列长度的变化并创建有意义的序列^[265]。为促进从多个时间尺度整合信息并提高预测准确性，已开发了专门的框架，如LLM4TS^[259]。此外，基于下游任务减少大语言模型输入数据的任务感知缩减方法^[266]被用于通过优先处理相关数据来提升大语言模型性能。Flash-Fusion^[267]系统使用类似的方法，通过一个具有对收集数据和用户查询语义理解的规划器来检索查询相关的传感器数据。未来方向涉及将这些框架扩展到能够处理缺失值的先进填补技术，同时也能检测和处理异常值及异常数据点。

5) 特征提取

有效的数据分析依赖于能准确表征目标问题并与期望输出相关联的特征。大语言模型可以利用其模式学习能力来识别有意义的关联，自动化特征生成以提高资源效率，并促进特征的可解释性以确保运行信任^[268]、^[274]。有效的特征提取需要精心设计的提示来指导模型提取相关特征。这些提示通常包括任务描述、预期输入或输出以及相关示例^[272]。它们可以从大语言模型建议的初始候选中开发^[269]，由思维链推理引导^[270]，或基于来自其他提示的见解构建^[271]。领域特定的提示可以进一步优化大语言模型输出，生成结构化表示，提取有意义的见解以改进预测^[275]。例如，基于智能家居例程的提示可以引导大语言模型提出适应用户行为的特征^[35]。有效的特征提取也可以通过利用预训练大语言模型的嵌入知识，通过少样本和零样本提示实现^[272]。此外，大语言模型通过自然语言查询促进交互式特征探索，允许用户直观地参与数据并在没有专门技术知识的情况下提取见解^[273]。凭借持续学习能力，大语言模型可以适应新数据和用户反馈，从而提取更具相关性和可解释性的特征。未来方向包括探索大语言模型与领域专家实时协作的潜力，优化特征提取过程以确保提取的特征满足实际应用需求。

6) 推理

大语言模型越来越多地用于物联网推理，特别是在传感器数据的因果分析中，以了解各种参数如何影响特定结果并改进决策^[106]。例如，通过向大语言模型提供关于数据收集方法、人类行为类别和精心设计的提示的详细信息，它们可以分析惯性测量单元（IMU）传感器数据以识别常见活动，如睡觉、走路、站立或骑自行车^[99]、^[260]。这种能力提供了对人类行为及其对结果影响的更深入理解。当未见任务的模型不可用时，生成对抗网络（GANs）可以与大语言模型结合进行推理，而无需从头开始训练新模型^[276]。此外，大语言模型通过自然语言命令增强了数据分析和推理能力，允许用户使用日常语言与系统交互以进行细致的数据探索。推理的有效性可以通过协作式大语言模型代理得到进一步改进^[192]。这些代理之间的无缝沟通与合作最大化了功能协同，增强了对人类行动的理解并优化了物联网系统的运营效率。未来方向包括研究大语言模型与物联网设备实时反馈回路的集成，以持续完善推理模型。

F. 物联网隐私与安全

物联网生态系统带来了重大的安全与隐私挑战，大语言模型可以帮助应对。本节探讨了大语言模型在改进安全措施和增强隐私保护方面可能带来的潜力。大语言模型集成中的安全与隐私风险已在第IV节中涵盖。

1) 隐私管理 大语言模型的自然语言能力支持整合隐私政策、用户偏好和法规要求^[280]。例如，用户可以利用上下文化提示来自定义其隐私设置并理解授予权限的含义。通过为用户控制其交互（基于个人偏好）提供透明的自然语言界面，大语言模型直接增强了运行信任^[277]、^[278]。这些工具允许用户指定他们愿意共享哪些传感器数据，帮助他们做出关于其数据的知情决策^[279]。这些工具还可以协助评估法规遵从性并扩展法律保护，例如GDPR（通用数据保护条例）所提供的保护^[280]、^[285]。大语言模型也促进了隐私增强技术（PETs）的实施，这些技术可以作为专用的人工智能代理，用于匿名化和数据最小化等任务^[281]、^[282]、^[283]、^[284]。最后，大语言模型可以生成定制的教育内容，以告知用户有关数据保护的最佳实践，例如更改默认密码或启用多因素认证^[3]。未来方向包括开发用户友好的界面和教育工具，以使用户能够更有效地管理其隐私。

2) 计算隐私 大语言模型也可以促进隐私保护机制在物联网环境中的集成。例如，大语言模型可以帮助评估k-匿名性，以降低重识别攻击的脆弱性^[286]、^[287]。它们可以通过确定适当的扰动机制或应添加的噪声水平来支持差分隐私^[288]、^[289]、^[290]。类似地，大语言模型可以通过分析收集的数据并应用匿名化技术来自动化去标识化过程。它们可以为假名化生成唯一的令牌，并提出泛化或数据交换的方法^[287]、^[291]。考虑到物联网部署中数据的海量性，识别有效的保护机制至关重要。虽然大语言模型增强了隐私集成和运行信任，但必须认识到训练这些模型通常涉及与用户行为和环境相关的敏感数据^[3]、^[279]。因此，必须仔细权衡大语言模型的益处，以确保资源效率不会因敏感数据泄露的风险而受到损害。未来方向包括研究在大型语言模型训练期间最小化敏感数据暴露的方法。

3) 计算安全 与隐私类似，大语言模型可以通过解释安全原则、提供关于增强措施的指导以及提供对潜在威胁的见解，在提高安全性方面发挥关键作用^[3]、^[292]。例如，考虑到数据类型和历史记录，引导式提示可以促进对收集的数据进行完整性检查以实现异常检测^[293]。通过分析数据使用模式，大语言模型可以帮助强制执行数据访问和共享的安全策略，并通过建议特定于应用程序的流量管理需求来协助防火墙配置管理。大语言模型可以推荐适合的安全机制，包括针对物联网场景量身定制的对称或非对称加密标准、加密散列方法和多因素认证策略^[291]、^[294]。大语言模型已被用于通过分析使用模式以检测异常流量来识别漏洞，例如拒绝服务攻击的风险^[295]。它们通过跨物联网各个层级监控安全威胁展示了高度的功能协同。例如，大语言模型可以通过扫描漏洞和确保固件完整性检查来降低后门攻击的风险^[296]、^[297]。另一个例子是进行流量分析以在传输期间保护数据包的安全，并为WPA、IPSec、TLS或VPN等安全协议生成配置脚本^[236]。另一方面，大语言模型容易受到通过基于提示的注入进行的模态攻击，特别是在使用多模态传感器数据时。为了降低这种脆弱性，可以使用JailGuard^[300]和E2AT^[301]等框架来评估提示或增强训练过程。未来方向包括探索大语言模型与实时威胁情报解决方案的集成。此外，研究应侧重于通过识别数据共享中的潜在漏洞来提高联邦学习和分布式学习的运行信任^[315]。最后，评估与设备使用和上下文（包括通信和计算开销）相关的漏洞对于优化资源效率仍然至关重要^[298]、^[299]。

实际缓解伦理和隐私问题需要采取分层方法。 在数据层面，各种数据最小化方法可以限制敏感属性的暴露。这些方法包括提示和日志修订、短上下文策略以及选择性传感器融合。隐私增强技术（PETs）可以集成到数据处理流程中，以控制身份泄露。例如，可以利用PET方法，如时空轨迹的k-匿名性^[286]、时间序列分析的校准差分隐私^[289]以及使用令牌库的假名化^[291]。在执行层面，可信环境、在可信执行环境内对敏感层进行加密^[316]以及加密的键值缓存^[317]降低了设备端被入侵的风险。此外，相互认证加强了多代理或分布式推理。幻觉控制方法，如对比解码^[135]、局部微调^[124]、大语言模型作为裁判的审计^[133]以及多个模型间的交叉检查一致性^[140]，增强了运行信任。最后，治理工件（如模型卡片和风险登记册）和用户代理模式（手动、自动和混合交互）促进了透明度并保障了自主性^[310]，改善了与新兴监管框架的一致性。

G. 物联网中的人机交互

大语言模型能力为增强物联网环境中的人机交互提供了众多机会。本节探讨了这些交互，重点关注其对用户界面设计、上下文感知、个性化和智能个人助理的贡献。

1) 图形用户界面代理 大语言模型可以通过开发用户交互的规定性模型和人类行为的描述性模型，显著增强图形用户界面（GUI）的设计。这种方法通过减少对广泛而昂贵的实体用户研究的依赖来提高资源效率^[302]。传统的物联网设计通常依赖于捕捉仅限于特定人群行为的用户研究，这可能没有考虑到多样化或特殊的场景。例如，来自郊区研究的发现可能不适用于为安全起见而让智能灯一直开着的城市用户。这凸显了对考虑更广泛用户行为的更具包容性的设计方法的需求。通过将大语言模型与人类行为描述符集成，设计者可以模拟全面的人机交互场景，包括不常见的行为，从而在不同用户群中最大化功能协同^[303]。可以创建提示模板来收集上下文相关的人类行为输入，例如，在家庭能源管理系统中，“给定[场景X]，[用户Z]的[行为Y]是什么？”^[302]。未来方向涉及评估这些模板在不同人口统计和背景下的有效性，以完善模型并提高现实世界的适用性。

2) 增强上下文感知与适应性 物联网系统在动态环境中运行，用户需求可能迅速变化。为了有效适应并提供相关服务，大语言模型通过持续从用户交互中学习来改进系统响应，从而实现功能协同。例如，大语言模型可以分析来自智能恒温器的数据，以根据用户偏好优化加热和冷却。像LIMU-BERT^[243]和Llama^[26]这样的多模态大语言模型可以解释传感器数据。然后，它们可以生成类人响应，回答用户关于可穿戴设备跟踪活动的询问^[304]，或使用来自智能手表的数据评估睡眠质量^[305]。未来研究的一个关键领域是，当大语言模型必须解决来自多个传感器的冲突数据以确保系统准确性时，如何保持运行信任。这涉及到开发基于上下文和用户偏好对传感器数据进行优先排序的算法。同时，这些算法必须处理对用户隐私、可用性和系统可靠性的影响。

3) 个性化与以用户为中心的交互 大语言模型可以通过提供统一的界面，使用自然语言处理和语音命令解释跨各种设备的用户意图，从而促进高度的功能协同^[306]。这简化了通信，使用户能够无缝控制设备。用户可以说“关掉所有灯，把恒温器调到24度”，而不是操作多个应用程序。其他研究，如Ideal-LLM^[318]，也增强了大语言模型在语音到文本任务中的多语言适应能力。端到端的语音大语言模型使交互更加用户友好。它们为多种语言和方言执行自动语音识别，同时生成音频响应^[319]、^[320]、^[321]。此外，大语言模型可以通过随时间学习个人偏好和行为来个性化交互^[8]。这有助于使物联网系统变得更加智能，并鼓励更广泛的采用。为了改进个性化，大语言模型可以生成适应用户偏好的摘要，并采用奖励函数来优化摘要策略^[307]。多感官多任务适配器层也可以增强多样化数据类型和任务的集成，从而在物联网系统中实现更高效的交互^[308]。然而，大语言模型在这些交互中的自主性引发了用户对数据和决策控制权的担忧，这可能会削弱运行信任和用户代理^[309]。为了缓解这些担忧，研究人员正在开发自动、手动和混合交互模式。这些模式允许用户选择最适合其需求的方法。用户还可以在请求时发起特定的大语言模型控制序列^[310]。未来的研究应侧重于以用户为中心的框架，以评估基于大语言模型的交互模式对用户满意度的有效性，并探索大语言模型驱动的个性化交互的优势和劣势。

4) 个人助理 设备生态系统的多样性和不同的用户界面可能会造成混淆并导致使用不足，因为用户常常难以处理复杂的命令。大语言模型可以与个人数据、设备和服务集成，以简化任务，通过减少冗余的设备交互以及在一个工作流程中规划多设备操作（例如，“锁门、关灯、设置恒温器”）来提高资源效率，从而降低总请求数量并减少网络流量。此外，大语言模型可以聚合来自设备的数据并提供对其运行的见解。大语言模型可用于根据上下文因素安排任务，以通过动态资源分配和能效优化资源使用。个人大语言模型代理可以通过利用先进的语义理解和推理能力扩展智能个人助理，以增强用户体验，自动化重复性任务，并提供个性化推荐^[19]。类似地，基于大语言模型的个人健康助理通过连接可穿戴健康监测设备以提供定制的咨询服务展示了功能协同^[305]。这弥合了用户与医疗专业人员（包括虚拟和实体医生）之间的差距^[311]。未来的研究应侧重于评估不同的大语言模型架构用于个人助理时的有效性。这还包括探索用户对这些技术在多个物联网应用领域（包括医疗保健、家庭自动化和个人生产力）的认知和接受度。