We introduce the task of human motion unlearning to prevent the synthesis of toxic animations while preserving the general text-to-motion generative performance. Unlearning toxic motions is challenging as those can be generated from explicit text prompts and from implicit toxic combinations of safe motions (e.g., "kicking" is "loading and swinging a leg"). We propose the first motion unlearning benchmark by filtering toxic motions from the large and recent text-to-motion datasets of HumanML3D and Motion-X. We propose baselines, by adapting state-of-the-art image unlearning techniques to process spatio-temporal signals. Finally, we propose a novel motion unlearning model based on Latent Code Replacement, which we dub LCR. LCR is training-free and suitable to the discrete latent spaces of state-of-the-art text-to-motion diffusion models. LCR is simple and consistently outperforms baselines qualitatively and quantitatively. Project page: https://www.pinlab.org/hmu.


翻译:本文提出人体运动遗忘学习任务,旨在防止生成有害动画的同时保持通用文本到运动生成性能。遗忘有害运动具有挑战性,因为这些运动既可能源于显式文本提示,也可能来自安全运动的隐式有害组合(例如“踢腿”可视为“蓄力与摆腿”的结合)。我们通过从大规模前沿文本到运动数据集HumanML3D和Motion-X中筛选有害运动,构建了首个运动遗忘学习基准。我们通过将先进的图像遗忘技术适配于时空信号处理,提出了基线方法。最后,我们提出一种基于潜在代码替换的新型运动遗忘模型LCR。该模型无需训练,适用于当前最先进文本到运动扩散模型的离散潜在空间。LCR方法简洁高效,在定性与定量评估中均持续优于基线方法。项目页面:https://www.pinlab.org/hmu。

0
下载
关闭预览

相关内容

【NeurIPS2023】跨情境课程设计的Transformer智能体
专知会员服务
27+阅读 · 2023年10月14日
【NeurIPS2023】PAXION:在视频-语言基础模型中修补动作知识
【NeurIPS2021】InfoGCL:信息感知图对比学习
专知会员服务
37+阅读 · 2021年11月1日
专知会员服务
41+阅读 · 2021年6月19日
专知会员服务
65+阅读 · 2021年4月11日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
40+阅读 · 2020年6月22日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月14日
VIP会员
相关VIP内容
【NeurIPS2023】跨情境课程设计的Transformer智能体
专知会员服务
27+阅读 · 2023年10月14日
【NeurIPS2023】PAXION:在视频-语言基础模型中修补动作知识
【NeurIPS2021】InfoGCL:信息感知图对比学习
专知会员服务
37+阅读 · 2021年11月1日
专知会员服务
41+阅读 · 2021年6月19日
专知会员服务
65+阅读 · 2021年4月11日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
40+阅读 · 2020年6月22日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员