Olfactory cues can enhance immersion in interactive media, yet smell remains rare because it is difficult to author and synchronize with dynamic video. Prior olfactory interfaces rely on designer triggers and fixed event-to-odor mappings that do not scale to unconstrained content. This work examines whether semantic planning for smell is intelligible to people before physical scent delivery. We present a video-to-scent planning pipeline that separates visual semantic extraction using a vision-language model from semantic-to-olfactory inference using a large language model. Two survey studies compare system-generated scent plans with over-inclusive and naive baselines. Results show consistent preference for plans that prioritize perceptually salient cues and align scent changes with visible actions, supporting semantic planning as a foundation for future olfactory media systems.


翻译:嗅觉线索能够增强交互式媒体的沉浸感,但气味应用仍然罕见,这主要是因为难以创作并与动态视频同步。现有的嗅觉界面依赖于设计者预设的触发器和固定的事件-气味映射,难以适应无约束的内容。本研究探讨了在物理气味释放之前,气味语义规划对人类是否具有可理解性。我们提出了一种视频到气味的规划流程,该流程将使用视觉-语言模型进行的视觉语义提取与使用大语言模型进行的语义到嗅觉推理分离开来。两项调查研究将系统生成的气味规划方案与过度包容和朴素的基线方案进行了比较。结果表明,人们一致倾向于优先考虑感知显著线索、并使气味变化与可见动作保持一致的规划方案,这支持了将语义规划作为未来嗅觉媒体系统的基础。

0
下载
关闭预览

相关内容

【斯坦福博士论文】从互联网视频中学习感知物理世界
专知会员服务
23+阅读 · 2024年12月30日
文本+视觉,多篇 Visual/Video BERT 论文介绍
AI科技评论
22+阅读 · 2019年8月30日
视频大脑:视频内容理解的技术与应用
AI前线
13+阅读 · 2019年4月18日
新任务&数据集:视觉常识推理(VCR)
专知
50+阅读 · 2018年12月1日
从场景到调参,爱奇艺的推荐算法演化之路
聊聊架构
10+阅读 · 2018年3月23日
视觉里程计:起源、优势、对比、应用
计算机视觉life
18+阅读 · 2017年7月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关VIP内容
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员