This paper presents the design, development, and evaluation of a proposed revision platform assisting candidates for the International English Language Testing System (IELTS) writing exam. Traditional IELTS preparation methods lack personalised feedback, catered to the IELTS writing rubric. To address these shortcomings, the platform features an attractive user interface (UI), an Automated Essay Scoring system (AES), and targeted feedback tailored to candidates and the IELTS writing rubric. The platform architecture separates conversational guidance from a dedicated writing interface to reduce cognitive load and simulate exam conditions. Through iterative, Design-Based Research (DBR) cycles, the study progressed from rule-based to transformer-based with a regression head scoring, mounted with adaptive feedback. Early cycles (2-3) revealed fundamental limitations of rule-based approaches: mid-band compression, low accuracy, and negative $R^2$ values. DBR Cycle 4 implemented a DistilBERT transformer model with a regression head, yielding substantial improvements with MAE of 0.66 and positive $R^2$. This enabled Cycle 5's adaptive feedback implementation, which demonstrated statistically significant score improvements (mean +0.060 bands, p = 0.011, Cohen's d = 0.504), though effectiveness varied by revision strategy. Findings suggest automated feedback functions are most suited as a supplement to human instruction, with conservative surface-level corrections proving more reliable than aggressive structural interventions for IELTS preparation contexts. Challenges remain in assessing higher-band essays, and future work should incorporate longitudinal studies with real IELTS candidates and validation from official examiners.


翻译:本文介绍了一个旨在辅助国际英语语言测试系统(雅思)写作考试考生的修订平台的设计、开发与评估。传统的雅思备考方法缺乏针对雅思写作评分标准的个性化反馈。为弥补这些不足,该平台具备吸引人的用户界面、自动作文评分系统以及针对考生和雅思写作评分标准的定向反馈。平台架构将会话式指导与专用写作界面分离,以降低认知负荷并模拟考试环境。通过基于设计的迭代研究循环,本研究从基于规则的方法逐步推进到采用带回归头的基于Transformer的评分方法,并结合自适应反馈。早期研究循环(第2-3轮)揭示了基于规则方法的基本局限:中分段压缩、准确率低以及负的$R^2$值。第4轮研究循环实施了带回归头的DistilBERT Transformer模型,取得了显著改进,平均绝对误差为0.66且获得正的$R^2$值。这使得第5轮的自适应反馈得以实现,该轮反馈在统计上显示出显著的分数提升(平均提升+0.060分档,p = 0.011,Cohen's d = 0.504),但其效果因修订策略而异。研究结果表明,自动化反馈功能最适合作为人工教学的补充;在雅思备考情境中,保守的表面层次修正比激进的结构性干预更为可靠。评估高分档作文仍面临挑战,未来工作应纳入对真实雅思考生的纵向研究,并寻求官方考官的验证。

0
下载
关闭预览

相关内容

还在修改博士论文?这份《博士论文写作技巧》为你指南
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
34+阅读 · 2019年6月22日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
可能是 Android 上最好用的写作 App
少数派
11+阅读 · 2018年12月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
还在修改博士论文?这份《博士论文写作技巧》为你指南
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员