Text-to-visualization (text-to-vis) models for tabular data have become essential tools in the era of big data, enabling users to generate visualizations and make data-driven decisions through natural language queries (NLQs). Despite their growing adoption, the security vulnerabilities of these models remain largely unexplored. To address this gap, we propose VisPoison, a backdoor attack framework that realistically simulates three types of attacks on text-to-vis models via data poisoning: data exposure, misleading visualizations, and denial-of-service (DoS). Specifically, VisPoison introduces two types of stealthy triggers to enable both proactive and passive backdoor activations. Proactive triggers are deliberately inserted by attackers using rare-word patterns to extract sensitive information, whereas passive triggers are unintentionally activated by users through first-word prompts, resulting in visualization errors or DoS failures. To support these triggers, we craft specialized payloads for visualization queries that allow compromised models to function normally on benign inputs while producing malicious outputs in the presence of triggers. Extensive evaluations on both trainable and in-context learning (ICL)-based text-to-vis models show that VisPoison achieves attack success rates exceeding 90\%, exposing serious vulnerabilities. Additionally, existing defense strategies reveal limited effectiveness against VisPoison, underscoring the urgent need for more robust and security-aware text-to-vis systems to safeguard human-data interaction.


翻译:在当今大数据时代,面向表格数据的文本到可视化(text-to-vis)模型已成为关键工具,使用户能够通过自然语言查询(NLQ)生成可视化图表并做出数据驱动的决策。尽管这些模型的应用日益广泛,但其安全漏洞在很大程度上仍未得到充分探究。为填补这一空白,我们提出了VisPoison,这是一个后门攻击框架,通过数据投毒真实地模拟了针对文本到可视化模型的三种攻击类型:数据泄露、误导性可视化和拒绝服务(DoS)。具体而言,VisPoison引入了两种隐蔽触发器,以实现主动式和被动式后门激活。主动触发器由攻击者通过罕见词模式刻意植入以提取敏感信息,而被动触发器则通过用户无意中使用的首词提示被激活,导致可视化错误或DoS故障。为支持这些触发器,我们为可视化查询设计了专门的恶意载荷,使得被攻陷的模型在良性输入下能正常运作,而在触发器存在时则产生恶意输出。基于可训练模型和上下文学习(ICL)的文本到可视化模型的广泛评估表明,VisPoison的攻击成功率超过90%,揭示了严重的安全漏洞。此外,现有防御策略对VisPoison的防护效果有限,这凸显了构建更鲁棒且具备安全意识的文本到可视化系统的迫切需求,以保障人机数据交互的安全。

0
下载
关闭预览

相关内容

什么是后训练?大语言模型训练后优化方法综述,87页pdf
面向表格数据的大模型推理综述
专知会员服务
67+阅读 · 2023年12月26日
通信网络中大型语言模型的后门攻击的综述
专知会员服务
30+阅读 · 2023年9月5日
强化学习与文本生成
微信AI
41+阅读 · 2019年4月4日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
最新内容
《面向海军应用的无人机网络安全仿真环境》
专知会员服务
7+阅读 · 4月7日
无人机与僵局:俄乌战争难以突破
专知会员服务
3+阅读 · 4月7日
《控制对手感知:电子战愿景与赋能技术》
专知会员服务
7+阅读 · 4月7日
自主、人工智能与可消耗集群时代的海军情报
专知会员服务
9+阅读 · 4月6日
“史诗狂怒行动”中的海军动态
专知会员服务
10+阅读 · 4月5日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员