The development of autonomous agents has seen a revival of enthusiasm due to the emergence of LLMs, such as GPT-4o. Deploying these agents in environments where they coexist with humans (e.g., as domestic assistants) requires special attention to trustworthiness and explainability. However, the use of LLMs and other deep learning models still does not resolve these key issues. Deep learning systems may hallucinate, be unable to justify their decisions as black boxes, or perform badly on unseen scenarios. In this work, we propose the use of s(CASP), a goal-directed common sense reasoner based on Answer Set Programming, to break down the high-level tasks of an autonomous agent into mid-level instructions while justifying the selection of these instructions. To validate its use in real applications we present a framework that integrates the reasoner into the VirtualHome simulator and compares its accuracy with GPT-4o, running some of the "real" use cases available in the domestic environments of VirtualHome. Additionally, since experiments with VirtualHome have shown the need to reduce the response time (which increases as the agent's decision space grows), we have proposed and evaluated a series of optimizations based on program analysis that exploit the advantages of the top-down execution of s(CASP).


翻译:随着GPT-4o等大语言模型的出现,自主智能体的发展重新激发了研究热情。将这些智能体部署在与人类共存的环境(例如作为家庭助手)中时,需特别关注其可信度与可解释性。然而,使用大语言模型及其他深度学习模型仍未能解决这些关键问题。深度学习系统可能出现幻觉、因其黑箱特性而无法为其决策提供合理解释,或在未见场景中表现不佳。在本工作中,我们提出使用基于答案集编程的目标导向常识推理器s(CASP),将自主智能体的高层任务分解为中层指令,同时为这些指令的选择提供依据。为验证其在真实应用中的有效性,我们提出了一个将推理器集成到VirtualHome模拟器中的框架,并在VirtualHome的家庭环境中运行部分“真实”用例,将其准确性与GPT-4o进行比较。此外,由于VirtualHome实验表明需要降低响应时间(该时间随智能体决策空间的扩大而增加),我们提出并评估了一系列基于程序分析的优化方法,这些方法利用了s(CASP)自上而下执行的优势。

0
下载
关闭预览

相关内容

【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
【NeurIPS2020】点针图网络,Pointer Graph Networks
专知会员服务
40+阅读 · 2020年9月27日
【NeurIPS2019】图变换网络:Graph Transformer Network
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员