Humans can finely perceive material textures, yet articulating such somatic impressions in words is a cognitive bottleneck in design ideation. We present OnomaCompass, a web-based exploration system that links sound-symbolic onomatopoeia and visual texture representations to support early-stage material discovery. Instead of requiring users to craft precise prompts for generative AI, OnomaCompass provides two coordinated latent-space maps--one for texture images and one for onomatopoeic term--built from an authored dataset of invented onomatopoeia and corresponding textures generated via Stable Diffusion. Users can navigate both spaces, trigger cross-modal highlighting, curate findings in a gallery, and preview textures applied to objects via an image-editing model. The system also supports video interpolation between selected textures and re-embedding of extracted frames to form an emergent exploration loop. We conducted a within-subjects study with 11 participants comparing OnomaCompass to a prompt-based image-generation workflow using Gemini 2.5 Flash Image ("Nano Banana"). OnomaCompass significantly reduced workload (NASA-TLX overall, mental demand, effort, and frustration; p < .05) and increased hedonic user experience (UEQ), while usability (SUS) favored the baseline. Qualitative findings indicate that OnomaCompass helps users externalize vague sensory expectations and promotes serendipitous discovery, but also reveals interaction challenges in spatial navigation. Overall, leveraging sound symbolism as a lightweight cue offers a complementary approach to Kansei-driven material ideation beyond prompt-centric generation.


翻译:人类能够精细感知材料纹理,但在设计构思中将此类体感印象用语言表达却是一个认知瓶颈。我们提出了OnomaCompass——一个基于网络的探索系统,该系统通过联结拟声词与视觉纹理表征来支持早期材料发现。OnomaCompass无需用户为生成式AI精心构造精确提示,而是提供了两个协调的潜空间映射:一个用于纹理图像,另一个用于拟声词汇。这两个映射基于一个自建数据集构建,该数据集包含人工创编的拟声词及通过Stable Diffusion生成的对应纹理。用户可在两个空间中导航、触发跨模态高亮、在画廊中整理发现结果,并通过图像编辑模型预览纹理应用于物体的效果。该系统还支持在选定纹理间进行视频插值,以及对提取的帧进行重嵌入,从而形成一个涌现式探索循环。我们开展了一项包含11名参与者的被试内研究,将OnomaCompass与基于提示的图像生成工作流(使用Gemini 2.5 Flash Image "Nano Banana")进行比较。OnomaCompass显著降低了工作负荷(NASA-TLX总分、心理需求、努力程度及挫败感;p < .05)并提升了享乐型用户体验(UEQ),而可用性(SUS)则基线方法更优。定性研究结果表明,OnomaCompass有助于用户外化模糊的感官预期并促进偶然性发现,但也揭示了空间导航中的交互挑战。总体而言,利用声音象征作为轻量级线索,为超越以提示为中心的生成、实现感性驱动的材料构思提供了一种互补性方法。

0
下载
关闭预览

相关内容

DeepSeek模型综述:V1 V2 V3 R1-Zero
专知会员服务
116+阅读 · 2025年2月11日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员