Switchback experiments--alternating treatment and control over time--are widely used when unit-level randomization is infeasible, outcomes are aggregated, or user interference is unavoidable. In practice, experimentation must support fast product cycles, so teams often run studies for limited durations and make decisions with modest samples. At the same time, outcomes in these time-indexed settings exhibit serial dependence, seasonality, and occasional heavy-tailed shocks, and temporal interference (carryover or anticipation) can render standard asymptotics and naive randomization tests unreliable. In this paper, we develop a randomization-test framework that delivers finite-sample valid, distribution-free p-values for several null hypotheses of interest using only the known assignment mechanism, without parametric assumptions on the outcome process. For causal effects of interests, we impose two primitive conditions--non-anticipation and a finite carryover horizon m--and construct conditional randomization tests (CRTs) based on an ex ante pooling of design blocks into "sections," which yields a tractable conditional assignment law and ensures imputability of focal outcomes. We provide diagnostics for learning the carryover window and assessing non-anticipation, and we introduce studentized CRTs for a session-wise weak null that accommodates within-session seasonality with asymptotic validity. Power approximations under distributed-lag effects with AR(1) noise guide design and analysis choices, and simulations demonstrate favorable size and power relative to common alternatives. Our framework extends naturally to other time-indexed designs.


翻译:切换实验——随时间交替施加处理和对照——在单元级随机化不可行、结果被聚合或用户干扰不可避免时被广泛应用。实践中,实验必须支持快速的产品迭代周期,因此团队通常仅在有限时间内开展研究,并基于适度样本量做出决策。与此同时,这些时间索引场景中的结果表现出序列相关性、季节性以及偶发的重尾冲击,而时间性干扰(残留效应或预期效应)可能导致标准渐近理论和朴素随机化检验不可靠。本文提出一种随机化检验框架,该框架仅利用已知的分配机制,无需对结果过程进行参数假设,即可为多个关注的零假设提供有限样本有效且无分布依赖的p值。针对关注的因果效应,我们施加两个基本条件——非预期性和有限残留效应窗口m——并基于将设计块事前聚合为“区段”的方式构建条件随机化检验(CRT),这种方法产生了易于处理的条件分配律,并确保了焦点结果的可推算性。我们提供了用于学习残留效应窗口和评估非预期性的诊断方法,并引入了针对会话级弱零假设的学生化CRT,该检验能适应会话内季节性并保持渐近有效性。在AR(1)噪声下的分布滞后效应模型中进行功效近似,以指导设计和分析选择,仿真实验表明相较于常见替代方法,本框架在检验水平和功效方面具有优势。该框架可自然扩展至其他时间索引的实验设计。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
Transformer在药物发现及其他领域的应用综述
专知会员服务
17+阅读 · 2024年9月3日
深度学习在时间序列异常检测中的应用综述
专知会员服务
110+阅读 · 2022年11月11日
【AAAI2022】谣言粉碎机!可解释事实检验算法研究
专知会员服务
17+阅读 · 2022年1月30日
【干货书】面向工程师的随机过程,448页pdf
专知会员服务
80+阅读 · 2021年11月3日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
AB实验在滴滴数据驱动中的应用
DataFunTalk
15+阅读 · 2020年5月31日
Forge:如何管理你的机器学习实验
专知
11+阅读 · 2018年12月1日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月15日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
7+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
15+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
4+阅读 · 4月12日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员