Digital Human Modelling (DHM) is increasingly shaped by advances in AI, wearable biosensing, and interactive digital environments, particularly in research addressing accessibility and inclusion. However, many AI-enabled DHM approaches remain tightly coupled to specific platforms, tasks, or interpretative pipelines, limiting reproducibility, scalability, and ethical reuse. This paper presents a platform-agnostic DHM framework designed to support AI-ready multimodal interaction research by explicitly separating sensing, interaction modelling, and inference readiness. The framework integrates the OpenBCI Galea headset as a unified multimodal sensing layer, providing concurrent EEG, EMG, EOG, PPG, and inertial data streams, alongside a reproducible, game-based interaction environment implemented using SuperTux. Rather than embedding AI models or behavioural inference, physiological signals are represented as structured, temporally aligned observables, enabling downstream AI methods to be applied under appropriate ethical approval. Interaction is modelled using computational task primitives and timestamped event markers, supporting consistent alignment across heterogeneous sensors and platforms. Technical verification via author self-instrumentation confirms data integrity, stream continuity, and synchronisation; no human-subjects evaluation or AI inference is reported. Scalability considerations are discussed with respect to data throughput, latency, and extension to additional sensors or interaction modalities. Illustrative use cases demonstrate how the framework can support AI-enabled DHM and HCI studies, including accessibility-oriented interaction design and adaptive systems research, without requiring architectural modifications. The proposed framework provides an emerging-technology-focused infrastructure for future ethics-approved, inclusive DHM research.


翻译:数字人体建模(DHM)正日益受到人工智能、可穿戴生物传感及交互式数字环境发展的影响,在关注可及性与包容性的研究中尤为明显。然而,许多基于人工智能的DHM方法仍与特定平台、任务或解释流程紧密耦合,限制了其可复现性、可扩展性及符合伦理的重复使用。本文提出一种平台无关的DHM框架,通过明确分离传感、交互建模与推理就绪性,旨在支持面向人工智能的多模态交互研究。该框架集成OpenBCI Galea头戴设备作为统一的多模态传感层,提供同步的脑电图、肌电图、眼电图、光电容积脉搏波和惯性数据流,并结合使用SuperTux实现的、可复现的基于游戏的交互环境。该框架不嵌入人工智能模型或行为推理机制,而是将生理信号表示为结构化、时间对齐的观测变量,使得下游人工智能方法可在获得适当伦理批准后应用。交互通过计算任务基元和时间戳事件标记进行建模,支持跨异构传感器与平台的一致性对齐。通过作者自检式仪器验证,技术性能确认了数据完整性、流连续性与同步性;本文未报告涉及人类受试者的评估或人工智能推理结果。研究从数据吞吐量、延迟及对额外传感器或交互模态的扩展性等方面讨论了可扩展性问题。示例用例展示了该框架如何支持基于人工智能的DHM及人机交互研究,包括面向可及性的交互设计与自适应系统研究,且无需修改架构。所提出的框架为未来符合伦理规范的、包容性的DHM研究提供了一种聚焦新兴技术的基础设施。

0
下载
关闭预览

相关内容

具身智能中的心理世界建模:深度综述
专知会员服务
35+阅读 · 1月10日
Agent AI:多模态交互的新地平线
专知会员服务
21+阅读 · 2025年5月26日
【ETHZ博士论文】《人类动作与交互的生成式建模》
专知会员服务
16+阅读 · 2025年3月28日
以人为中心的基础模型:感知、生成与代理建模
专知会员服务
24+阅读 · 2025年2月13日
多模态数字人建模、合成与驱动综述
专知会员服务
30+阅读 · 2024年9月19日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
DeepSeek 版Claude Code,免费小白安装教程来了!
专知会员服务
10+阅读 · 5月5日
《美空军条令出版物 2-0:情报(2026版)》
专知会员服务
14+阅读 · 5月5日
帕兰提尔 Gotham:一个游戏规则改变器
专知会员服务
9+阅读 · 5月5日
【综述】 机器人学习中的世界模型:全面综述
专知会员服务
13+阅读 · 5月4日
伊朗的导弹-无人机行动及其对美国威慑的影响
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员