We re-implement the NAVER LABS IWSLT 2025 instruction-following pipeline for the IWSLT 2026 Shared Task (constrained condition, short audio track), adapting it to the mandated components: SeamlessM4T-v2-large as the speech encoder and Qwen3-4B-Instruct as the LLM backbone. The three-stage approach projector alignment, text-only LoRA pre-training, and multimodal merging is preserved from the original design. We additionally construct 100k synthetic instruction-following examples across ten speech-centric task types (10k per task) from the provided corpora, suitable for further Stage 3 fine-tuning. Our primary model achieves COMET 0.781 on EN-ZH speech translation and BERTScore-F1 0.346 on English SQA on the MCIF benchmark.


翻译:暂无翻译

0
下载
关闭预览

相关内容

论文 | 全球负责任 AI 指数 2026 方法论
专知会员服务
9+阅读 · 8月23日
ICML 2026教程:用KET统一Attention与Diffusion
专知会员服务
12+阅读 · 7月10日
上交大ReThinklab实验室NeurIPS2024十六篇论文工作简介
专知会员服务
29+阅读 · 2024年10月10日
CoRL 2024 | InstructNav:通用指令导航大模型系统
专知会员服务
24+阅读 · 2024年9月21日
上交大ReThinklab实验室ICML2024十篇论文工作简介
专知会员服务
31+阅读 · 2024年5月26日
ReThinklab实验室NeurIPS2023论文速览
专知会员服务
28+阅读 · 2023年12月29日
EMNLP2023:Schema自适应的知识图谱构建
专知会员服务
44+阅读 · 2023年12月3日
NeurIPS 20201接收论文列表发布,2334篇论文都在这了!
专知会员服务
38+阅读 · 2021年11月4日
ICDE2022推荐系统论文集锦
机器学习与推荐算法
16+阅读 · 2022年8月9日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《最强大的军事网状网络》
专知会员服务
5+阅读 · 9月7日
《预测陆军征兵任务分配》110页
专知会员服务
5+阅读 · 9月7日
分层反无人机系统发展新趋势
专知会员服务
11+阅读 · 9月3日
何为协作武器?
专知会员服务
11+阅读 · 9月1日
相关VIP内容
论文 | 全球负责任 AI 指数 2026 方法论
专知会员服务
9+阅读 · 8月23日
ICML 2026教程:用KET统一Attention与Diffusion
专知会员服务
12+阅读 · 7月10日
上交大ReThinklab实验室NeurIPS2024十六篇论文工作简介
专知会员服务
29+阅读 · 2024年10月10日
CoRL 2024 | InstructNav:通用指令导航大模型系统
专知会员服务
24+阅读 · 2024年9月21日
上交大ReThinklab实验室ICML2024十篇论文工作简介
专知会员服务
31+阅读 · 2024年5月26日
ReThinklab实验室NeurIPS2023论文速览
专知会员服务
28+阅读 · 2023年12月29日
EMNLP2023:Schema自适应的知识图谱构建
专知会员服务
44+阅读 · 2023年12月3日
NeurIPS 20201接收论文列表发布,2334篇论文都在这了!
专知会员服务
38+阅读 · 2021年11月4日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员