In many scientific research, it is often imperative to determine whether pairs of entities have similarities in themselves or not. There are standard approaches to this problem, such as Jaccard, Sorensen Dice, and Simpson. Recently, a better index for the analysis of cooccurrence and similarity was developed and it reversed all the results obtained by standard indices and supported theoretical predictions. In this paper, we propose a new method of similarity using MLE, PCA, LDA, and clustering. Our index depends strongly on the data before introducing randomness in prevalence. Then we propose a new method of randomization which changed the whole pattern of the results. Before randomization, it was strongly dependent o the prevalence and hence was following the pattern of the Jaccard index. So, we introduce the new randomization technique, and hence the whole results reversed and followed that of alpha. Also, we will show some limitations of alpha which we try to resolve through different pathways.


翻译:在众多科学研究中,常常需要判断实体对之间是否存在内在相似性。针对这一问题已有多种标准方法,如杰卡德指数、索伦森-戴斯指数和辛普森指数。近期,一种新的共现与相似性分析指数被开发出来,该指数颠覆了所有标准方法所得结果,并支持了理论预测。本文提出一种基于极大似然估计、主成分分析、线性判别分析和聚类的新型相似度计算方法。该指数在引入随机性之前高度依赖于数据本身,因此我们进一步提出了一种全新的随机化方法,该方法完全改变了结果模式。随机化前,该指数与出现频率高度相关,遵循杰卡德指数的变化规律;而通过引入新的随机化技术,整体结果发生逆转,转而遵循α指数的变化规律。同时,我们将揭示α指数存在的若干局限性,并尝试通过不同途径加以解决。

0
下载
关闭预览

相关内容

【干货书】工程和科学中的概率和统计,
专知会员服务
58+阅读 · 2022年12月24日
【硬核书】矩阵代数基础,248页pdf
专知会员服务
88+阅读 · 2021年12月9日
专知会员服务
78+阅读 · 2021年3月16日
专知会员服务
45+阅读 · 2020年12月18日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
量化金融强化学习论文集合
专知
14+阅读 · 2019年12月18日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
70+阅读 · 2022年6月30日
VIP会员
最新内容
《无人机对海面作战影响评估》
专知会员服务
10+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
5+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
8+阅读 · 7月19日
相关VIP内容
【干货书】工程和科学中的概率和统计,
专知会员服务
58+阅读 · 2022年12月24日
【硬核书】矩阵代数基础,248页pdf
专知会员服务
88+阅读 · 2021年12月9日
专知会员服务
78+阅读 · 2021年3月16日
专知会员服务
45+阅读 · 2020年12月18日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
量化金融强化学习论文集合
专知
14+阅读 · 2019年12月18日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员