Many sign language translation (SLT) systems operate on pose sequences instead of raw video to reduce input dimensionality, improve portability, and partially anonymize signers. The choice of pose estimator is often treated as an implementation detail, with systems defaulting to widely available tools such as MediaPipe Holistic or OpenPose. We present a systematic comparison of pose estimators for pose-based SLT, covering widely used baselines (MediaPipe Holistic, OpenPose) and newer whole-body/high-capacity models (MMPose WholeBody, OpenPifPaf, AlphaPose, SDPose, Sapiens, SMPLest-X). We quantify downstream impact by training a controlled SLT pipeline on RWTH-PHOENIX-Weather 2014 where only the pose representation varies, evaluating with BLEU and BLEURT. To contextualize translation outcomes, we analyze temporal stability, missing hand keypoints, and robustness to occlusion using higher-resolution videos from the Signsuisse dataset. SDPose and Sapiens achieve the best translation performance (BLEU ~11.5), outperforming the common MediaPipe baseline (BLEU ~10). In occlusion cases, Sapiens is correct in all tested instances (15/15), while OpenPifPaf fails in nearly all (1/15) and also yields the weakest translation scores. Estimators that frequently leave out hand keypoints are associated with lower BLEU/BLEURT. We release code that can be used not only to reproduce our experiments, but also considerably lowers the barrier for other researchers to use alternative pose estimators.


翻译:许多手语翻译(SLT)系统基于姿态序列而非原始视频进行处理,以降低输入维度、提升可移植性并部分实现手语者的匿名化。姿态估计器的选择常被视为实现细节,系统默认采用MediaPipe Holistic或OpenPose等广泛可用的工具。我们针对基于姿态的手语翻译任务,对姿态估计器进行了系统性对比,涵盖广泛使用的基线方法(MediaPipe Holistic、OpenPose)以及新一代全身/高容量模型(MMPose WholeBody、OpenPifPaf、AlphaPose、SDPose、Sapiens、SMPLest-X)。通过在RWTH-PHOENIX-Weather 2014数据集上训练受控的SLT流水线(仅改变姿态表示方式),并利用BLEU和BLEURT指标评估下游影响。为解释翻译结果,我们利用Signsuisse数据集的高分辨率视频,分析了时间稳定性、缺失手部关键点以及对遮挡的鲁棒性。SDPose和Sapiens取得最佳翻译性能(BLEU约11.5),优于常见的MediaPipe基线(BLEU约10)。在遮挡场景中,Sapiens在所有测试实例中均表现正确(15/15),而OpenPifPaf几乎全部失败(1/15),且其翻译得分最低。频繁缺失手部关键点的估计器与较低的BLEU/BLEURT值相关。我们公开了代码,既可复现实验,也显著降低了其他研究者使用替代姿态估计器的门槛。

0
下载
关闭预览

相关内容

端到端语音到语音翻译的优化方法综述
专知会员服务
8+阅读 · 2025年6月10日
【博士论文】基于视觉的手语处理:识别、翻译与生成
专知会员服务
13+阅读 · 2025年3月3日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
专知会员服务
34+阅读 · 2021年10月11日
最新《深度学习人体姿态估计》综述论文,26页pdf
专知会员服务
40+阅读 · 2020年12月29日
基于深度学习的手语识别综述
专知会员服务
47+阅读 · 2020年5月18日
【翻译技术速递】测评:免费的术语抽取工具
翻译技术沙龙
139+阅读 · 2019年11月2日
计算机视觉方向简介 | 人体姿态估计
计算机视觉life
28+阅读 · 2019年6月6日
深度学习人体姿态估计算法综述
AI前线
25+阅读 · 2019年5月19日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
重磅!头部姿态估计「原理详解 + 实战代码」来啦!
计算机视觉life
57+阅读 · 2018年11月29日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
端到端语音到语音翻译的优化方法综述
专知会员服务
8+阅读 · 2025年6月10日
【博士论文】基于视觉的手语处理:识别、翻译与生成
专知会员服务
13+阅读 · 2025年3月3日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
专知会员服务
34+阅读 · 2021年10月11日
最新《深度学习人体姿态估计》综述论文,26页pdf
专知会员服务
40+阅读 · 2020年12月29日
基于深度学习的手语识别综述
专知会员服务
47+阅读 · 2020年5月18日
相关资讯
【翻译技术速递】测评:免费的术语抽取工具
翻译技术沙龙
139+阅读 · 2019年11月2日
计算机视觉方向简介 | 人体姿态估计
计算机视觉life
28+阅读 · 2019年6月6日
深度学习人体姿态估计算法综述
AI前线
25+阅读 · 2019年5月19日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
重磅!头部姿态估计「原理详解 + 实战代码」来啦!
计算机视觉life
57+阅读 · 2018年11月29日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员