We propose the on-the-fly ensembling of a machine translation model with an LLM, prompted on the same task and input. We perform experiments on 4 language pairs (both directions) with varying data amounts. We find that a slightly weaker-at-translation LLM can improve translations of a NMT model, and ensembling with an LLM can produce better translations than ensembling two stronger MT models. We combine our method with various techniques from LLM prompting, such as in context learning and translation context.

翻译：我们提出了一种将机器翻译模型与大型语言模型（LLM）进行即时集成的方案，其中LLM基于相同的任务和输入进行提示。我们在4个语言对（双向）上开展了实验，使用了不同规模的数据集。研究发现，在翻译任务上表现稍弱的LLM能够提升神经机器翻译（NMT）模型的翻译质量，并且与LLM集成所产生的翻译效果优于集成两个更强翻译模型的结果。我们将该方法与多种LLM提示技术相结合，例如上下文学习和翻译上下文。