Text-to-motion (T2M) generation with diffusion backbones achieves strong realism and alignment. Safety concerns in T2M methods have been raised in recent years; existing methods replace discrete VQ-VAE codebook entries to steer the model away from unsafe behaviors. However, discrete codebook replacement-based methods have two critical flaws: firstly, replacing codebook entries which are reused by benign prompts leads to drifts on everyday tasks, degrading the model's benign performance; secondly, discrete token-based methods introduce quantization and smoothness loss, resulting in artifacts and jerky transitions. Moreover, existing text-to-motion datasets naturally contain unsafe intents and corresponding motions, making them unsuitable for safety-driven machine learning. To address these challenges, we propose SafeMo, a trustworthy motion generative framework integrating Minimal Motion Unlearning (MMU), a two-stage machine unlearning strategy, enabling safe human motion generation in continuous space, preserving continuous kinematics without codebook loss and delivering strong safety-utility trade-offs compared to current baselines. Additionally, we present the first safe text-to-motion dataset SafeMoVAE-29K integrating rewritten safe text prompts and continuous refined motion for trustworthy human motion unlearning. Built upon DiP, SafeMo efficiently generates safe human motions with natural transitions. Experiments demonstrate effective unlearning performance of SafeMo by showing strengthened forgetting on unsafe prompts, reaching 2.5x and 14.4x higher forget-set FID on HumanML3D and Motion-X respectively, compared to the previous SOTA human motion unlearning method LCR, with benign performance on safe prompts being better or comparable. Code: https://github.com/AIGeeksGroup/SafeMo. Website: https://aigeeksgroup.github.io/SafeMo.


翻译:基于扩散模型的文本到运动生成方法在真实性和对齐性方面取得了显著进展。近年来,文本到运动方法的安全性问题逐渐受到关注;现有方法通过替换离散VQ-VAE码本条目来引导模型远离不安全行为。然而,基于离散码本替换的方法存在两个关键缺陷:首先,替换被良性提示重复使用的码本条目会导致日常任务性能偏移,降低模型的良性表现;其次,基于离散令牌的方法会引入量化误差和平滑性损失,导致生成动作出现伪影和生硬过渡。此外,现有文本到运动数据集天然包含不安全意图及对应动作,使其不适用于安全驱动的机器学习。为解决这些挑战,我们提出SafeMo——一个集成最小化运动遗忘的两阶段机器遗忘策略的可信运动生成框架,该框架能够在连续空间实现安全人体运动生成,保持连续运动学特性而不产生码本损失,与现有基线相比实现了更优的安全性与实用性平衡。同时,我们首次构建了安全文本到运动数据集SafeMoVAE-29K,该数据集整合了重写后的安全文本提示与连续精细化运动数据,为可信人体运动遗忘学习提供支持。基于DiP架构构建的SafeMo能够高效生成具有自然过渡的安全人体运动。实验表明,SafeMo在HumanML3D和Motion-X数据集上分别达到现有最优人体运动遗忘方法LCR的2.5倍和14.4倍遗忘集FID值,在强化不安全提示遗忘效果的同时,对安全提示的良性性能保持相当或更优水平。代码:https://github.com/AIGeeksGroup/SafeMo。项目网站:https://aigeeksgroup.github.io/SafeMo。

0
下载
关闭预览

相关内容

EMNLP 2021 | 学习改写非自回归机器翻译的翻译结果
专知会员服务
16+阅读 · 2021年12月25日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员