Measuring causal effects in networked two-sided marketplaces is challenging due to treatment interference between market participants on different sides. When treatment is applied to one side (e.g., job seekers), their interactions with the other side (e.g., job posters) introduce spillover effects that violate the Stable Unit Treatment Value Assumption (SUTVA) and bias causal estimates. While cluster-based randomization mitigates this problem, prior approaches struggle with a fundamental trade-off: reducing spillover requires isolated clusters that will reduce the number of qualifying clusters, which decreases statistical power. This paper introduces EgoCluster V3, an iterative clustering algorithm that reduces spillover by 3x compared to prior versions while preserving node coverage and doubling test power. We further introduce MultiEgoCluster, which extends V3 through a two-stage procedure that first groups highly connected egos into multi-ego clusters before applying the iterative clustering algorithm. This achieves an additional ~56% spillover reduction and ~38% increase in sample size. Both methods are deployed in production at LinkedIn and have systematically enabled high-impact two-sided marketplace experiments. Since residual bias cannot be fully eliminated through clustering alone, we derive a theoretical bias correction method for average treatment effect (ATE) estimation based on graph structure and propose an approach to generalize results to the general population.


翻译:在具有网络结构的双边市场中,由于不同侧市场参与者之间的实验处理干扰,衡量因果效应面临挑战。当对其中一侧(如求职者)施加实验处理时,其与另一侧(如招聘方)的交互会引入溢出效应,违反稳定单元处理值假设(SUTVA)并导致因果估计偏差。虽然基于聚类的随机化能缓解该问题,但现有方法难以平衡根本性权衡:减少溢出需要隔离性强的聚类,但这会减少合格聚类数量,从而降低统计功效。本文提出EgoCluster V3,一种迭代聚类算法,与前代版本相比可将溢出效应降低3倍,同时保持节点覆盖率并提升两倍统计效力。我们进一步提出MultiEgoCluster,通过两阶段流程扩展V3:先通过高度连接的自我节点构建多自我聚类,再应用迭代聚类算法。该方法额外实现约56%的溢出效应降低和38%的样本量增加。两种方法已在LinkedIn生产环境中部署,系统性地支撑了高影响力的双边市场实验。由于聚类方法无法完全消除残余偏差,我们推导了基于图结构的平均处理效应(ATE)理论偏差校正方法,并提出将结果推广至总体的通用方案。

0
下载
关闭预览

相关内容

【博士论文】扩展可扩展会话推荐的边界
专知会员服务
13+阅读 · 2025年8月5日
【博士论文】生成流网络:理论与结构学习的应用
专知会员服务
22+阅读 · 2025年2月2日
异质信息网络分析与应用综述,软件学报-北京邮电大学
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
基于图神经网络的聚类研究与应用
THU数据派
10+阅读 · 2020年5月29日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
SCENE-一个可扩展两层级新闻推荐系统
全球人工智能
11+阅读 · 2018年1月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
3+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员