Tools that claim to detect emerging research topics are rarely judged on their own lists. Our main contribution is a protocol that makes such judgement possible. A bet freezes four things before its verdict can be known: the date of the photograph, the population of candidates, the verdict rule, and the comparison with chance drawn among the same candidates. The list has a fixed length, is read on two axes (champions and failures) against a computed ceiling, and is sealed by cryptographic fingerprint; sealing proves that a list existed at a date, not that it is right. A topic is a champion if its yearly volume of records triples within three years and reaches 100, a failure if it falls by 30%. We apply the protocol to one detector on PubMed/MEDLINE, in three separate blocks. On a retrospective benchmark (2017-2022), chance among the candidates yields 26.7 champions and 15.1 failures out of 120 slots; the detector yields 85 and 3, and under nine pre-registered variants of the verdict rule its champions stay between 2.5 and 5.0 times chance, with no more failures. The detector was developed with these verdicts known, and its specification is not published. Prospective validation rests on six sealed bets, judged in early 2029 and early 2030; only bets 5 and 6 test exactly the instrument of the benchmark. A secondary, exploratory study applies the same judge to eight research funders: under exact name matching, which may disadvantage grant texts, the detector's lists are more concentrated in future champions than the twenty topics named in the most grants of each funder (70.8% against 20.8% to 35.8%, chance 22.3%). We document data defects, negative results and the limits of each comparison.


翻译:暂无翻译

0
下载
关闭预览

相关内容

【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
43+阅读 · 2020年11月22日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
12+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
9+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
4+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关VIP内容
【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
43+阅读 · 2020年11月22日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
相关资讯
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
相关基金
国家自然科学基金
12+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员