Price statistics increasingly draw on scanner, web-scraped and receipt data whose product names are short, noisy and carry no standard code, so they must be coded to consumption categories. We release a synthetic benchmark of six categories with character-level noise, which favours character features, and hard negatives, and compare seven models trained from scratch (four logistic regressions on word or character n-grams, an MLP, a CNN and an LSTM) and two pretrained encoders under one matched protocol of 30 category-seed cells, reporting wins, losses and ties rather than mean differences alone. A character n-gram logistic regression is the most accurate model in every category and wins every paired comparison against the other models trained from scratch; the CNN and LSTM, once trained to the same stopping rule, are not reliably worse than the word-level models but cost 212 and 258 times as much to train as unigram bag-of-words. A fine-tuned DistilBERT comes within half a point of the character model without passing it, at about 460 times its single-thread CPU inference cost. Character features reduce inference throughput 4.6-fold relative to unigram bag-of-words. A rule-based prefix-tree stage admits 75-86% of positive items, so in a cascade it bounds the recall of the whole pipeline. A Monte Carlo study of label aggregation with simulated annotators shows that an additive reliability weight barely improves on majority vote while Dawid-Skene aggregation recovers labels markedly better, and that this difference carries through to the character n-gram classifier. Sensitivity checks cover a planted shortcut, generator noise, training budget and annotator population. The benchmark is synthetic and English-language because the production data are under non-disclosure. Code, data and scripts are released; accuracies of models trained from scratch reproduce exactly, timings as ratios.


翻译:暂无翻译

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
【博士论文】电商搜索中的排序学习
专知会员服务
13+阅读 · 2025年11月15日
【机器学习术语宝典】机器学习中英文术语表
专知会员服务
62+阅读 · 2020年7月12日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
大数据数仓学习路线
DataFunTalk
11+阅读 · 2020年8月5日
时间序列预测:一课掌握亚马逊开源算法DeepAR
机器之心
13+阅读 · 2020年6月3日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
14+阅读 · 2018年4月27日
机器学习自动文本分类
AI前线
23+阅读 · 2018年2月4日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
6+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
9+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
13+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
19+阅读 · 10月15日
相关VIP内容
【博士论文】电商搜索中的排序学习
专知会员服务
13+阅读 · 2025年11月15日
【机器学习术语宝典】机器学习中英文术语表
专知会员服务
62+阅读 · 2020年7月12日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员