We present Agaram 2.5B, a Tamil-first language model trained from scratch that converses in Tamil script, romanized Tanglish and English, and calls tools. Our first model, Agaram 1.5B, guided the new base, tokenizer and fine-tuning recipe: we pretrained a new 2.53B-parameter base on 50 billion tokens, 58% of them Tamil, with a tokenizer that needs 1.55 tokens per Tamil word where Qwen2.5's needs 9.44. A four-day public preview of our first 2.5B chat model showed where it fell short with real users, and we rebuilt supervised fine-tuning around what we saw, on 222,662 records. The released model scores above Sarvam-1 in all six translation directions we measured (FLORES chrF 56.9 into Tamil and 55.4 into English), chooses the expected tool on all 25 prompts of a tool set that was used during checkpoint selection and whose schemas appear in training, with exact arguments on 16, and was preferred over the preview model by an LLM judge on 100 sealed human-written prompts (net preference +30 points, 95% interval +14.5 to +45.0). On FLORES it also scores above Google's Gemma 4 E4B-it and our fine-tuned variant of it in both directions, with 2.53B parameters against E4B's 4.5B effective parameters. Factual knowledge and reliable refusal of harmful requests remain open problems, which we set out as future work. The base and chat weights and GGUF files are released under Apache-2.0, and this report gives a full account of the data, training and evaluation as a playbook for building language models for under-represented languages.


翻译:暂无翻译

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
大语言模型评测
专知会员服务
163+阅读 · 2023年7月31日
基于预训练语言模型的文本生成
专知会员服务
29+阅读 · 2022年1月28日
绝对干货!NLP预训练模型:从transformer到albert
新智元
15+阅读 · 2019年11月10日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
近期语音类前沿论文
深度学习每日摘要
14+阅读 · 2019年3月17日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
13+阅读 · 2020年4月12日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
16+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
17+阅读 · 10月24日
相关VIP内容
大语言模型评测
专知会员服务
163+阅读 · 2023年7月31日
基于预训练语言模型的文本生成
专知会员服务
29+阅读 · 2022年1月28日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员