Snowpark enables data engineering and AI/ML workloads in Snowflake by executing user-defined functions in secure sandboxes. Many of these workloads require external connectivity to access cloud APIs, external databases, or feature stores, creating a dependability challenge: how to provide transparent network access while preserving strict multi-tenant isolation and resource fairness. This paper presents Secure Network Access in Snowpark (SNAS), a production architecture for secure external communication from sandboxed workloads. SNAS combines Extended Berkeley Packet Filter (eBPF) packet filtering, Generic Network Virtualization Encapsulation (GENEVE) overlay networks, and distributed egress proxies for policy-driven egress control with low overhead. We describe the design, deployment, and measured production behavior of SNAS, including an eBPF-based bandwidth limiter using the Earliest Departure Time (EDT) algorithm, dual-tier policy enforcement, and safeguards for connection limiting and port exhaustion. SNAS is deployed across all Snowflake regions and supports large-scale production workloads including petabyte-scale data transfer and latency-sensitive external integrations.


翻译:Snowpark通过在安全沙箱中执行用户自定义函数,支持Snowflake中的数据工程与AI/ML工作负载。这些工作负载大多需要外部连接以访问云API、外部数据库或特征存储,由此带来一个可靠性挑战:如何在保持严格的多租户隔离与资源公平性的同时,提供透明的网络访问。本文提出Snowpark中的安全网络访问(SNAS)——一种用于沙箱化工作负载安全外部通信的生产级架构。SNAS结合了扩展的伯克利数据包过滤器(eBPF)包过滤、通用网络虚拟化封装(GENEVE)覆盖网络以及分布式出口代理,实现低开销的策略驱动型出口管控。我们描述了SNAS的设计、部署及实测生产行为,包括基于最早出发时间(EDT)算法的eBPF带宽限制器、双层策略执行机制,以及连接限制与端口枯竭防护措施。SNAS已部署于所有Snowflake区域,支持包含PB级数据传输与延迟敏感型外部集成在内的大规模生产工作负载。

0
下载
关闭预览

相关内容

《面向军事网络的下一代云事件响应》
专知会员服务
16+阅读 · 2025年11月2日
《软件保障路线图》12页slides,美国国防工业协会
专知会员服务
32+阅读 · 2023年8月11日
TensorFlowLite:端侧机器学习框架
专知会员服务
33+阅读 · 2020年8月27日
【数据中台】数据中台技术架构方案
产业智能官
15+阅读 · 2020年5月26日
TheFatRat 一款简易后门工具
黑白之道
36+阅读 · 2019年10月23日
Xsser 一款自动检测XSS漏洞工具
黑白之道
14+阅读 · 2019年8月26日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
介绍WAF以及过滤机制
黑白之道
22+阅读 · 2019年2月5日
React Native 分包哪家强?看这文就够了!
程序人生
13+阅读 · 2019年1月16日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
人工智能赋能战场情报:提速决策进程
专知会员服务
0+阅读 · 14分钟前
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
0+阅读 · 18分钟前
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关VIP内容
《面向军事网络的下一代云事件响应》
专知会员服务
16+阅读 · 2025年11月2日
《软件保障路线图》12页slides,美国国防工业协会
专知会员服务
32+阅读 · 2023年8月11日
TensorFlowLite:端侧机器学习框架
专知会员服务
33+阅读 · 2020年8月27日
相关资讯
【数据中台】数据中台技术架构方案
产业智能官
15+阅读 · 2020年5月26日
TheFatRat 一款简易后门工具
黑白之道
36+阅读 · 2019年10月23日
Xsser 一款自动检测XSS漏洞工具
黑白之道
14+阅读 · 2019年8月26日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
介绍WAF以及过滤机制
黑白之道
22+阅读 · 2019年2月5日
React Native 分包哪家强?看这文就够了!
程序人生
13+阅读 · 2019年1月16日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员