This paper proposes a multi-agent artificial intelligence system that generates response-oriented media content in real time based on audio-derived emotional signals. Unlike conventional speech emotion recognition studies that focus primarily on classification accuracy, our approach emphasizes the transformation of inferred emotional states into safe, age-appropriate, and controllable response content through a structured pipeline of specialized AI agents. The proposed system comprises four cooperative agents: (1) an Emotion Recognition Agent with CNN-based acoustic feature extraction, (2) a Response Policy Decision Agent for mapping emotions to response modes, (3) a Content Parameter Generation Agent for producing media control parameters, and (4) a Safety Verification Agent enforcing age-appropriateness and stimulation constraints. We introduce an explicit safety verification loop that filters generated content before output, ensuring compliance with predefined rules. Experimental results on public datasets demonstrate that the system achieves 73.2% emotion recognition accuracy, 89.4% response mode consistency, and 100% safety compliance while maintaining sub-100ms inference latency suitable for on-device deployment. The modular architecture enables interpretability and extensibility, making it applicable to child-adjacent media, therapeutic applications, and emotionally responsive smart devices.


翻译:本文提出了一种多智能体人工智能系统,该系统能够基于音频衍生的情感信号实时生成面向响应的媒体内容。与主要关注分类准确性的传统语音情感识别研究不同,我们的方法强调通过一个由专门AI智能体构成的结构化流程,将推断出的情感状态转化为安全、适龄且可控的响应内容。所提出的系统包含四个协作智能体:(1) 一个采用基于CNN的声学特征提取的情感识别智能体,(2) 一个用于将情感映射到响应模式的响应策略决策智能体,(3) 一个用于生成媒体控制参数的内容参数生成智能体,以及(4) 一个强制执行适龄性和刺激约束的安全验证智能体。我们引入了一个显式的安全验证循环,在输出前对生成的内容进行过滤,确保其符合预定义的规则。在公共数据集上的实验结果表明,该系统实现了73.2%的情感识别准确率、89.4%的响应模式一致性以及100%的安全合规性,同时保持了低于100毫秒的推理延迟,适合在设备端部署。其模块化架构实现了可解释性和可扩展性,使其可应用于儿童相关媒体、治疗应用和情感响应智能设备。

0
下载
关闭预览

相关内容

《多智能体大语言模型系统的可靠决策研究》
专知会员服务
31+阅读 · 2月2日
具身人工智能中的生成式多智能体协作:系统性综述
专知会员服务
53+阅读 · 2025年2月22日
【NUS博士论文】面向交互的多智能体行为预测,156页pdf
专知会员服务
32+阅读 · 2024年11月17日
【CMU博士论文】多感官人工智能的基础
专知会员服务
40+阅读 · 2024年5月3日
多智能体自主系统《群体自主系统的实时路径规划》248页
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
MaskFusion: 多运动目标实时识别、跟踪和重建
计算机视觉life
11+阅读 · 2019年4月20日
【CAA智库】高文院士:转向跨媒体智能
中国自动化学会
22+阅读 · 2018年8月20日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员