We present FiMI (Finance Model for India), a domain-specialized financial language model developed for Indian digital payment systems. We develop two model variants: FiMI Base and FiMI Instruct. FiMI adapts the Mistral Small 24B architecture through a multi-stage training pipeline, beginning with continuous pre-training on 68 Billion tokens of curated financial, multilingual (English, Hindi, Hinglish), and synthetic data. This is followed by instruction fine-tuning and domain-specific supervised fine-tuning focused on multi-turn, tool-driven conversations that model real-world workflows, such as transaction disputes and mandate lifecycle management. Evaluations reveal that FiMI Base achieves a 20% improvement over the Mistral Small 24B Base model on finance reasoning benchmark, while FiMI Instruct outperforms the Mistral Small 24B Instruct model by 87% on domain-specific tool-calling. Moreover, FiMI achieves these significant domain gains while maintaining comparable performance to models of similar size on general benchmarks.


翻译:本文提出FiMI(面向印度的金融模型),这是一种为印度数字支付系统开发的领域专用金融语言模型。我们开发了两个模型变体:FiMI Base 和 FiMI Instruct。FiMI 基于 Mistral Small 24B 架构,通过多阶段训练流程进行适配。该流程始于对 680 亿个经过筛选的金融、多语言(英语、印地语、印英混合语)以及合成数据标记的持续预训练。随后进行指令微调和领域特定的监督微调,重点关注多轮次、工具驱动的对话,以模拟现实世界的工作流程,例如交易纠纷和授权生命周期管理。评估结果表明,在金融推理基准测试中,FiMI Base 相较于 Mistral Small 24B Base 模型实现了 20% 的性能提升;而在领域特定的工具调用任务上,FiMI Instruct 比 Mistral Small 24B Instruct 模型高出 87%。此外,FiMI 在取得这些显著领域性能提升的同时,在通用基准测试上仍保持了与同规模模型相当的性能。

0
下载
关闭预览

相关内容

在社会经济生活,银行、证券或保险业者从市场主体募集资金,并投资给其它市场主体的经济活动。
多模态金融基础模型(MFFMs):进展、前景与挑战
专知会员服务
17+阅读 · 2025年6月8日
大模型在金融领域的应用技术与安全白皮书2024
专知会员服务
60+阅读 · 2024年4月10日
金融领域大型语言模型综述(FinLLMs)
专知会员服务
71+阅读 · 2024年2月6日
《金融大数据术语》行业标准,24页pdf
专知会员服务
55+阅读 · 2022年2月28日
央行发布《金融大数据术语》,25页pdf
专知会员服务
43+阅读 · 2022年1月25日
【综述】金融领域中的深度学习,附52页论文下载
专知会员服务
165+阅读 · 2020年2月27日
金融领域自然语言处理研究资源大列表
专知
13+阅读 · 2020年2月27日
互联网金融中的交易反欺诈模型
炼数成金订阅号
14+阅读 · 2018年3月9日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员