Unsupervised clustering of feature matrix data is an indispensible technique for exploratory data analysis and quality control of experimental data. However, clusters are difficult to assess for statistical significance in an objective way. We prove a formula for the distribution of the size of the set of samples, out of a population of fixed size, which display a given signature, conditional on the marginals (frequencies) of each individual feature comprising the signature. The resulting "exact test for coincidence" is widely applicable to objective assessment of clusters in any binary data. We also present a software package implementing the test, a suite of computational verifications of the main theorems, and a supplemental tool for cluster discovery using Formal Concept Analysis.


翻译:未经监督的地物矩阵数据组合是探索性数据分析和实验数据质量控制的一种不可或缺的技术,然而,集群很难客观地评估其统计意义。我们证明一个公式,用以分配一组样品的大小,这些样品来自一个固定大小的人群,这些人群显示一个特定特征,以签字构成的每个特征的边际(频率)为条件。由此产生的“巧合精确测试”广泛适用于任何二进制数据中对集群的客观评估。我们还提供了一个实施测试的软件包、一套主要定理的计算核查,以及一个利用形式概念分析进行集群发现的补充工具。

0
下载
关闭预览

相关内容

【经典书】图论,322页pdf
专知会员服务
124+阅读 · 2021年10月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
128+阅读 · 2020年11月20日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
将门创投
3+阅读 · 2017年10月27日
Arxiv
0+阅读 · 2021年11月19日
Arxiv
0+阅读 · 2021年11月18日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
10+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
3+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
3+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
2+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
10+阅读 · 6月24日
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关资讯
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
将门创投
3+阅读 · 2017年10月27日
Top
微信扫码咨询专知VIP会员