Quality Estimation (QE) is essential for assessing machine translation quality in reference-less settings, particularly for domain-specific and low-resource language scenarios. In this paper, we investigate sentence-level QE for English to Indic machine translation across four domains (Healthcare, Legal, Tourism, and General) and five language pairs. We systematically compare zero-shot, few-shot, and guideline-anchored prompting across selected closed-weight and open-weight LLMs. Findings indicate that while closed-weight models achieve strong performance via prompting alone, prompt-only approaches remain fragile for open-weight models, especially in high-risk domains. To address this, we adopt ALOPE, a framework for LLM-based QE that uses Low-Rank Adaptation with regression heads attached to selected intermediate Transformer layers. We also extend ALOPE with recently proposed Low-Rank Multiplicative Adaptation (LoRMA). Our results show that intermediate-layer adaptation consistently improves QE performance, with gains in semantically complex domains, indicating a path toward more robust QE in practical scenarios. We release code and domain-specific QE datasets publicly to support further research.


翻译:质量评估(QE)在无参考译文的场景下对机器翻译质量进行评判至关重要,尤其对于领域特定和低资源语言场景。本文针对英语到印度语系语言的机器翻译,在四个领域(医疗健康、法律、旅游和通用领域)及五组语言对上研究了句子级质量评估。我们系统比较了在选定的闭源权重与开源权重大语言模型(LLM)上采用零样本、少样本及基于指导原则的提示方法的效果。研究发现,虽然闭源权重模型仅通过提示即可获得强劲性能,但纯提示方法对于开源权重模型而言仍显脆弱,尤其在风险较高的领域。为解决此问题,我们采用ALOPE框架——一种基于大语言模型的质量评估方法,该方法将低秩适配与回归头结合,并附加到选定的Transformer中间层。我们还使用近期提出的低秩乘性适配(LoRMA)对ALOPE进行了扩展。结果表明,中间层适配能持续提升质量评估性能,在语义复杂的领域收益尤为显著,这为实际场景中实现更鲁棒的质量评估指明了一条路径。我们公开了代码和领域特定的质量评估数据集以支持进一步研究。

0
下载
关闭预览

相关内容

【博士论文】⾮⾃回归神经机器翻译的训练⽅法研究
专知会员服务
19+阅读 · 2023年12月9日
机器音译研究综述
专知会员服务
17+阅读 · 2022年10月16日
「机器翻译评测研究」最新2022综述
专知会员服务
37+阅读 · 2022年3月13日
专知会员服务
17+阅读 · 2021年4月16日
稀缺资源语言神经网络机器翻译研究综述
专知会员服务
27+阅读 · 2020年12月2日
【Facebook AI】低资源机器翻译,74页ppt
专知
10+阅读 · 2020年4月8日
【翻译技术速递】测评:免费的术语抽取工具
翻译技术沙龙
139+阅读 · 2019年11月2日
清华大学NLP组年末巨献:机器翻译必读论文列表
机器之心
13+阅读 · 2018年12月30日
机器翻译学术论文写作方法和技巧
清华大学研究生教育
11+阅读 · 2018年12月23日
清华大学:刘洋——基于深度学习的机器翻译
人工智能学家
12+阅读 · 2017年11月13日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
12+阅读 · 2015年7月1日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
34+阅读 · 2012年12月31日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
2+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
6+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
7+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
19+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
11+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
10+阅读 · 5月30日
相关VIP内容
【博士论文】⾮⾃回归神经机器翻译的训练⽅法研究
专知会员服务
19+阅读 · 2023年12月9日
机器音译研究综述
专知会员服务
17+阅读 · 2022年10月16日
「机器翻译评测研究」最新2022综述
专知会员服务
37+阅读 · 2022年3月13日
专知会员服务
17+阅读 · 2021年4月16日
稀缺资源语言神经网络机器翻译研究综述
专知会员服务
27+阅读 · 2020年12月2日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
34+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员