Bangla is among the world's most widely spoken languages, yet it remains underserved in educational NLP research. In many remote and rural regions, access to qualified subject teachers is limited, and written answers are consequently graded largely by hand, restricting timely and consistent feedback. Automatic assessment is challenging because semantically correct responses can vary substantially in surface form. We present a bilingual (Bangla-English) evaluation system designed for low-resource educational settings that prioritizes semantic correctness over lexical overlap. Our approach fine-tunes a lightweight language model to grade each response using the question, reference answer, and student answer, producing a numeric score and concise, context-grounded feedback suitable for classroom deployment. We also construct a synthetic bilingual dataset to enable controlled training and evaluation. Across proprietary and open-source LLMs evaluated under a unified protocol, our QLoRA-tuned Qwen3-8B confirms consistent improvement by producing the most leakage-resistant feedback (RoRa = 0.819) in synthetic evaluation and the strongest agreement with human scores (rho = 0.936, MAE = 0.725) in a dedicated human study.


翻译:孟加拉语是世界上使用最广泛的语言之一,但在教育领域的自然语言处理研究中仍处于服务不足的状态。在许多偏远和农村地区,合格的学科教师资源有限,因此书面答案主要依赖人工评分,这限制了及时且一致的反馈。由于语义上正确的回答可能在表面形式上存在显著差异,自动评分具有挑战性。我们提出了一种专为低资源教育环境设计的双语(孟加拉语-英语)评估系统,该系统优先考虑语义正确性而非词汇重叠。我们的方法微调了一个轻量级语言模型,利用问题、参考答案和学生答案对每个回答进行评分,生成一个数值分数和简洁的、基于上下文的反馈,适用于课堂部署。我们还构建了一个合成双语数据集以实现受控训练和评估。在统一协议下评估的专有和开源大语言模型中,我们使用QLoRA微调的Qwen3-8B在合成评估中产生了最具抗泄漏性的反馈(RoRa = 0.819),并在专门的人类研究中与人类评分达成了最强的一致性(rho = 0.936, MAE = 0.725),证实了其持续改进。

0
下载
关闭预览

相关内容

最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
61+阅读 · 2020年10月27日
【清华大学】低资源语言:回顾综述和未来的挑战,14页pdf
自然语言生成资源列表
专知
17+阅读 · 2020年1月4日
一份超全的NLP语料资源集合及其构建现状
七月在线实验室
33+阅读 · 2019年1月16日
从语言学到深度学习NLP,一文概述自然语言处理
人工智能学家
13+阅读 · 2018年1月28日
Natural 自然语言处理(NLP)「全解析」
人工智能学家
15+阅读 · 2017年9月23日
NLP(自然语言处理)扫盲
大数据和云计算技术
20+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
最新内容
现代电磁战:集成式系统簇时代如何实现频谱优势
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
0+阅读 · 今天14:47
软件定义无人机蜂群给防空带来全新压力
专知会员服务
8+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
8+阅读 · 10月13日
迈向更智慧的军事情报
专知会员服务
8+阅读 · 10月12日
《美国陆军2026年野战手册 2-0 情报》
专知会员服务
7+阅读 · 10月12日
《基于启发式算法求解武器-目标分配问题》
专知会员服务
8+阅读 · 10月12日
相关VIP内容
最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
61+阅读 · 2020年10月27日
【清华大学】低资源语言:回顾综述和未来的挑战,14页pdf
相关资讯
自然语言生成资源列表
专知
17+阅读 · 2020年1月4日
一份超全的NLP语料资源集合及其构建现状
七月在线实验室
33+阅读 · 2019年1月16日
从语言学到深度学习NLP,一文概述自然语言处理
人工智能学家
13+阅读 · 2018年1月28日
Natural 自然语言处理(NLP)「全解析」
人工智能学家
15+阅读 · 2017年9月23日
NLP(自然语言处理)扫盲
大数据和云计算技术
20+阅读 · 2017年7月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员