Large-scale Chinese spelling correction (CSC) remains critical for real-world text processing, yet existing LLMs and supervised methods lack robustness to novel errors and rely on costly annotations. We introduce CEC-Zero, a zero-supervision reinforcement learning framework that addresses this by enabling LLMs to correct their own mistakes. CEC-Zero synthesizes errorful inputs from clean text, computes cluster-consensus rewards via semantic similarity and candidate agreement, and optimizes the policy with PPO. It outperforms supervised baselines by 10--13 F$_1$ points and strong LLM fine-tunes by 5--8 points across 9 benchmarks, with theoretical guarantees of unbiased rewards and convergence. CEC-Zero establishes a label-free paradigm for robust, scalable CSC, unlocking LLM potential in noisy text pipelines.


翻译:大规模中文拼写纠错在实际文本处理中至关重要,然而现有的大语言模型与监督方法对新型错误缺乏鲁棒性,且依赖昂贵的标注数据。本文提出CEC-Zero,一种无监督强化学习框架,通过使大语言模型能够自我纠正错误来解决这一问题。CEC-Zero从干净文本合成含错误的输入,通过语义相似度与候选一致性计算集群共识奖励,并利用PPO优化策略。在9个基准测试中,其性能超越监督基线10-13个F$_1$分数点,优于强力大语言模型微调方法5-8个分数点,且具备无偏奖励与收敛的理论保证。CEC-Zero为鲁棒、可扩展的中文拼写纠错建立了无需标注的新范式,释放了大语言模型在噪声文本处理流程中的潜力。

0
下载
关闭预览

相关内容

中国电子信息产业集团有限公司(英文名称:China Electronics Corporation,简称中国电子,又称中国电子信息产业集团,英文缩写cec),是中央直接管理的国有独资特大型集团公司,也是中国最大的国有IT中央企业。提供电子信息技术产品与服务为主营业务,是中国最大的国有综合性IT企业集团。中国电子旗下拥有36家二级企业和15家控股上市公司,员工总数逾11万人。
Xsser 一款自动检测XSS漏洞工具
黑白之道
14+阅读 · 2019年8月26日
Zero-Shot Learning相关资源大列表
专知
52+阅读 · 2019年1月1日
基于机器学习的KPI自动化异常检测系统
运维帮
13+阅读 · 2017年8月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月5日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员