RoboEarth was a pioneering initiative in cloud robotics, establishing a foundational framework for robots to share and exchange knowledge about actions, objects, and environments through a standardized knowledge graph. Initially, this knowledge was predominantly hand-crafted by engineers using RDF triples within OWL Ontologies, with updates, such as changes in an object's pose, being asserted by the robot's control and perception routines. However, with the advent and rapid development of Large Language Models (LLMs), we believe that the process of knowledge acquisition can be significantly automated. To this end, we propose RecipeMasterLLM, a high-level planner, that generates OWL action ontologies based on a standardized knowledge graph in response to user prompts. This architecture leverages a fine-tuned LLM specifically trained to understand and produce action descriptions consistent with the RoboEarth standardized knowledge graph. Moreover, during the Retrieval-Augmented Generation (RAG) phase, environmental knowledge is supplied to the LLM to enhance its contextual understanding and improve the accuracy of the generated action descriptions.


翻译:RoboEarth是云机器人领域的一项开创性倡议,它建立了一个基础框架,使机器人能够通过标准化的知识图谱共享和交换关于动作、对象和环境的知识。最初,这些知识主要由工程师使用OWL本体中的RDF三元组手工构建,而更新(例如对象姿态的变化)则由机器人的控制与感知例程来断言。然而,随着大语言模型的出现和快速发展,我们相信知识获取过程可以得到显著自动化。为此,我们提出了RecipeMasterLLM,一个高级规划器,它能够响应用户提示,基于标准化的知识图谱生成OWL动作本体。该架构利用了一个经过微调的大语言模型,该模型专门训练用于理解和生成与RoboEarth标准化知识图谱一致的动作描述。此外,在检索增强生成阶段,环境知识被提供给大语言模型,以增强其上下文理解并提高生成动作描述的准确性。

0
下载
关闭预览

相关内容

【CVPR2023】NS3D:3D对象和关系的神经符号Grounding
专知会员服务
22+阅读 · 2023年3月26日
【NeurIPS2019】图变换网络:Graph Transformer Network
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员