Two questions regarding practitioners' use of patent embeddings arise: (i) Does one fine-tuning recipe suffice for all downstream applications? (ii) Is fine-tuning on one patent landscape sufficient for downstream application on other landscapes? By evaluating 22 pre-trained embedding models (ranging from 22M to 12B parameters) on three tasks -- information retrieval, classification, and clustering -- on 113,148 WIPO patents for assistive technology (46,069 citation queries) and on an external DAPFAM dataset, we find that two results cast doubt on the prevailing wisdom. (i) The optimal fine-tuning recipe depends on the downstream task: cross-sectional alignment (recipe R3) provides the largest improvements to retrieval performance (+7.1% nDCG@10), whereas a combined signal recipe (recipe R4) is better suited to classification (+7.1 F1) and clustering (+10.9 V-measure); a matched data control confirms that differences in training dataset size are not a contributing factor. (ii) Single-landscape fine-tuning hampers cross-landscape information retrieval: fine-tuning on one landscape significantly degrades cross-domain retrieval for 5 of 8 model-recipe combinations on the DAPFAM corpus, with the stronger zero-shot models suffering most. While within-family scaling is consistent (Qwen3 0.6B->4B->8B; Llama-Nemotron 1B->8B), cross-family scaling is erratic; the 12B KaLM-Gemma3 is ranked 8th on TAC retrieval performance, following prefix modification. Title+Abstract+Claims is the ubiquitous best text view, and all models suffer from a 55-65% gap between IN and OUT-of-domain performance which cannot be mitigated by hybrid BM25-dense fusion. Code and evaluation framework are publicly available.


翻译:实践者在专利嵌入应用中面临两个关键问题:(i) 是否存在适用于所有下游应用的统一微调方案?(ii) 在单个专利领域进行微调是否足以支撑其他领域的下游应用?通过对113,148项辅助技术领域世界知识产权组织(WIPO)专利(含46,069条引文查询)及外部DAPFAM数据集,评估22个预训练嵌入模型(参数量从22M到12B)在信息检索、分类和聚类三项任务上的表现,我们发现两项结果对现有认知提出质疑:(i) 最优微调方案取决于下游任务——横截面对齐方案(方案R3)对检索性能提升最大(nDCG@10提升7.1%),而组合信号方案(方案R4)更适合分类(F1值提升7.1)和聚类(V-measure提升10.9);匹配数据对照实验证实训练集规模差异并非影响因素。(ii) 单领域微调会损害跨领域信息检索:在DAPFAM语料库中,8个模型-方案组合中有5个因单领域微调导致跨域检索性能显著下降,其中零样本能力较强的模型受损最大。虽然同家族模型具备一致的规模缩放规律(Qwen3 0.6B→4B→8B;Llama-Nemotron 1B→8B),但跨家族缩放则呈现不规律性;参数量12B的KaLM-Gemma3经前缀调整后,在TAC检索性能中仅排名第8。标题+摘要+权利要求书构成普适最优文本视图,所有模型在域内与域外性能间存在55-65%的差距,且无法通过混合BM25-密集融合技术弥补。代码与评估框架已公开提供。

0
下载
关闭预览

相关内容

专利(Patent)是专知网收录整理的一个重要资料文档板块,旨在通过人机协作的方式整理、挖掘国内外发明专利信息,提供便于科技工作者查阅的高质量知识信息。
论文浅尝 - CIKM2020 | 用于推荐系统的多模态知识图谱
开放知识图谱
12+阅读 · 2020年12月17日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
专知会员服务
1+阅读 · 今天15:24
人工智能赋能战场情报:提速决策进程
专知会员服务
0+阅读 · 今天15:15
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
2+阅读 · 今天15:11
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关VIP内容
相关资讯
论文浅尝 - CIKM2020 | 用于推荐系统的多模态知识图谱
开放知识图谱
12+阅读 · 2020年12月17日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员