We introduce Interactive Intelligence, a novel paradigm of digital human that is capable of personality-aligned expression, adaptive interaction, and self-evolution. To realize this, we present Mio (Multimodal Interactive Omni-Avatar), an end-to-end framework composed of five specialized modules: Thinker, Talker, Face Animator, Body Animator, and Renderer. This unified architecture integrates cognitive reasoning with real-time multimodal embodiment to enable fluid, consistent interaction. Furthermore, we establish a new benchmark to rigorously evaluate the capabilities of interactive intelligence. Extensive experiments demonstrate that our framework achieves superior performance compared to state-of-the-art methods across all evaluated dimensions. Together, these contributions move digital humans beyond superficial imitation toward intelligent interaction.


翻译:本文提出交互式智能这一新型数字人范式,其具备人格对齐表达、自适应交互与自我进化的能力。为实现该目标,我们提出Mio(多模态交互式全能化身)——一个由五个专用模块构成的端到端框架:思维模块、对话模块、面部动画模块、身体动画模块与渲染模块。该统一架构将认知推理与实时多模态具身表现相结合,实现了流畅且一致的交互体验。此外,我们建立了新的基准测试体系以严格评估交互式智能的能力。大量实验表明,本框架在所有评估维度上均优于现有最先进方法。这些成果共同推动数字人技术从表层模仿迈向智能交互的新阶段。

0
下载
关闭预览

相关内容

多模态数字人建模、合成与驱动综述
专知会员服务
30+阅读 · 2024年9月19日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
虚拟数字人发展白皮书,37页pdf
专知会员服务
156+阅读 · 2022年2月16日
虚拟数字人应用技术与发展路径
专知会员服务
101+阅读 · 2021年11月3日
虚拟数字人发展白皮书,37页pdf
专知
10+阅读 · 2022年2月16日
【人机融合智能】人机融合智能的现状与展望
产业智能官
12+阅读 · 2020年3月18日
解读!10篇人机交互领域高引论文合集
THU数据派
11+阅读 · 2019年11月14日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月13日
VIP会员
最新内容
【CVPR 2026】语义泡沫:统一空间与语义场景分解
专知会员服务
2+阅读 · 今天15:33
《图世界模型:概念、分类体系与未来方向》
专知会员服务
10+阅读 · 5月1日
Palantir AIP平台:连接智能体与决策
专知会员服务
16+阅读 · 5月1日
《美海军软件测试战略》90页slides
专知会员服务
12+阅读 · 5月1日
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
12+阅读 · 4月30日
相关资讯
虚拟数字人发展白皮书,37页pdf
专知
10+阅读 · 2022年2月16日
【人机融合智能】人机融合智能的现状与展望
产业智能官
12+阅读 · 2020年3月18日
解读!10篇人机交互领域高引论文合集
THU数据派
11+阅读 · 2019年11月14日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员