Contemporary neural machine translation (NMT) systems are almost exclusively built by training on supervised parallel data. Despite the tremendous progress achieved, these systems still exhibit persistent translation errors. This paper proposes that a post-training paradigm based on reinforcement learning (RL) can effectively rectify such mistakes. We introduce a novel framework that requires only a general text corpus and an expert translator which can be either human or an AI system to provide iterative feedback. In our experiments, we focus specifically on English-to-German translation as a representative high-resource language pair. Crucially, we implement this RL-based post-training using Direct Preference Optimization (DPO). Applying our DPO-driven framework to the gemma3-1b model yields a significant improvement in translation quality, elevating it's COMET score from 0.703 to 0.747 on the English to German task. The results demonstrate that DPO offers an efficient and stable pathway for enhancing pre-trained NMT models through preference-based post-training.


翻译:当代神经机器翻译(NMT)系统几乎完全依赖监督平行数据训练构建。尽管取得了巨大进展,这些系统仍存在持续性的翻译错误。本文提出基于强化学习(RL)的后训练范式可有效纠正此类错误。我们提出一种新型框架,仅需通用文本语料库和可提供迭代反馈的专家翻译器(人类或AI系统均可)。在实验中,我们重点针对英语到德语这一代表性高资源语言对进行研究。关键之处在于,我们采用直接偏好优化(DPO)实现基于强化学习的后训练。将我们的DPO驱动框架应用于gemma3-1b模型后,翻译质量显著提升:在英德翻译任务中,该模型的COMET评分从0.703跃升至0.747。实验结果表明,DPO通过基于偏好的后训练,为增强预训练NMT模型提供了一条高效且稳定的途径。

0
下载
关闭预览

相关内容

预训练神经机器翻译研究进展分析
专知会员服务
18+阅读 · 2024年7月25日
【博士论文】⾮⾃回归神经机器翻译的训练⽅法研究
专知会员服务
20+阅读 · 2023年12月9日
专知会员服务
17+阅读 · 2021年4月16日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
清华大学:刘洋——基于深度学习的机器翻译
人工智能学家
12+阅读 · 2017年11月13日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
12+阅读 · 2015年7月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
5+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
6+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员