AWS Lambda terminates containers with an uncatchable SIGKILL signal when a function exceeds its configured timeout. When a Spark-on-AWS-Lambda (SoAL) job is killed between Phase 1 (data upload) and Phase 2 (metadata commit) of a write, the result is silent data loss: orphaned Parquet files accumulate on S3 while the table's committed state remains unchanged and standard monitoring raises no alert. We characterize this vulnerability across Delta Lake and Apache Iceberg through 860 controlled kill-injection experiments at three dataset sizes. A SIGKILL landing in the inter-phase gap produced silent data loss in 100% of trials for both formats. We then present SafeWriter, a language-level wrapper that arms a watchdog thread 30 seconds before the Lambda timeout, triggers a format-native rollback via SQL, and records a checkpoint document on S3. SafeWriter converted every tested kill scenario into a clean, detectable rollback with under 100 ms added to normal write paths.


翻译:当函数执行超过配置的超时时间时,AWS Lambda会通过不可捕获的SIGKILL信号终止容器。若Spark-on-AWS-Lambda任务在写入流程的第一阶段(数据上传)与第二阶段(元数据提交)之间被终止,将导致静默数据丢失:孤立的Parquet文件在S3上持续累积,而表的已提交状态维持不变且标准监控机制无法触发告警。我们通过860次受控终止注入实验,在三种数据集规模下对Delta Lake和Apache Iceberg两种表格式进行了该漏洞的表征分析。实验结果表明,在两种格式中,当SIGKILL信号落在阶段间隙时,100%的测试用例均出现静默数据丢失。为此,我们提出SafeWriter解决方案——该语言级封装器在Lambda超时前30秒激活看门狗线程,通过SQL触发格式原生回滚机制,并在S3上记录检查点文档。SafeWriter将全部测试的终止场景转化为干净、可检测的回滚操作,且正常写入路径的额外开销低于100毫秒。

0
下载
关闭预览

相关内容

由亚马逊云平台提供的一种信息服务。
【Manning新书】云计算安全指南:以AWS为例,311页pdf
专知会员服务
40+阅读 · 2022年9月11日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
基于MySQL Binlog的Elasticsearch数据同步实践
DBAplus社群
15+阅读 · 2019年9月3日
从零开始一起学习SLAM | 点云到网格的进化
计算机视觉life
13+阅读 · 2019年1月9日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
战略前沿人工智能的再思考(中文)
专知会员服务
4+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
4+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
4+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
14+阅读 · 5月28日
《基于理论的威慑效能评估》
专知会员服务
8+阅读 · 5月28日
相关VIP内容
【Manning新书】云计算安全指南:以AWS为例,311页pdf
专知会员服务
40+阅读 · 2022年9月11日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员