AI systems are increasingly deployed for credit assessment and investment advisory in global financial markets, yet the integrity of their inference pipelines remains insufficiently addressed by existing regulatory frameworks. This paper identifies and empirically validates an invisible manipulation channel operating at the sampling layer of LLM inference--a vulnerability that allows adversaries to systematically bias AI-generated financial opinions while preserving full compliance with output-based audit mechanisms, including statistical watermarking. We show that this inference-stage manipulation is statistically hard to detect: the Kullback-Leibler divergence between manipulated and normal output distributions can be made arbitrarily small, so that any output-based detection scheme requires impractically large sample sizes to achieve reliable detection power. Empirical experiments across credit rating and investment advisory scenarios show that directional bias keywords can be amplified by 1.8-1.9x under stealth-preserving (aware) manipulation while triggering zero of six black-box detectors and preserving watermark integrity. The vulnerability generalizes across three mainstream watermarking schemes and three heterogeneous model architectures, establishing it as a systemic financial infrastructure risk. Software-based defenses including cryptographically secure pseudorandom number generators are entirely ineffective, while QRNG combined with TEE hardware isolation achieves 100% attack blocking--reducing the target rate to the natural baseline--by replacing the predictable hash key with quantum-derived entropy that renders all pre-computed manipulation targets invalid. We propose four regulatory amendments centered on mandatory QRNG certification for high-risk financial AI systems under NIST SP 800-90B, inference-layer supply chain audits, and output provenance mechanisms.


翻译:AI系统正日益应用于全球金融市场的信用评估与投资咨询领域,然而现有监管框架对其推理管线的完整性问题仍未给予充分关注。本文识别并实证验证了一种在LLM推理的采样层运作的无形操纵渠道——该漏洞使攻击者能在完全符合输出端审计机制(包括统计水印)的前提下,系统性偏倚AI生成的金融意见。我们证明这种推理阶段操纵在统计上难以检测:操纵输出分布与正常输出分布之间的Kullback-Leibler散度可被任意缩小,因此任何基于输出的检测方案都需要实际不可行的大样本量才能获得可靠的检测能力。在信用评级和投资咨询场景下的实证实验表明:在隐蔽性优先(知晓)的操纵模式下,方向性偏差关键词可被放大1.8-1.9倍,同时六个黑盒检测器均未触发警报且水印完整性未受影响。该漏洞可泛化至三种主流水印方案和三种异构模型架构,构成系统性金融基础设施风险。基于软件的防御方案(包括加密安全伪随机数生成器)完全无效,而QRNG结合TEE硬件隔离通过用量子熵替代可预测的哈希密钥(使所有预计算操纵目标失效),实现了100%的攻击阻断——将目标比率降至自然基线水平。我们提出四项监管修正案:在NIST SP 800-90B框架下对高风险金融AI系统实施强制性QRNG认证、推理层供应链审计及输出溯源机制。

0
下载
关闭预览

相关内容

在社会经济生活,银行、证券或保险业者从市场主体募集资金,并投资给其它市场主体的经济活动。
智能体评判者(Agent-as-a-Judge)研究综述
专知会员服务
37+阅读 · 1月9日
关于大语言模型驱动的推荐系统智能体的综述
专知会员服务
29+阅读 · 2025年2月17日
AI在医疗中的安全挑战
专知会员服务
19+阅读 · 2024年10月5日
量化金融强化学习论文集合
专知
14+阅读 · 2019年12月18日
AI综述专栏|跨领域推荐系统文献综述(下)
人工智能前沿讲习班
14+阅读 · 2018年5月18日
AI综述专栏 | 跨领域推荐系统文献综述(上)
人工智能前沿讲习班
13+阅读 · 2018年5月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
9+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
智能体评判者(Agent-as-a-Judge)研究综述
专知会员服务
37+阅读 · 1月9日
关于大语言模型驱动的推荐系统智能体的综述
专知会员服务
29+阅读 · 2025年2月17日
AI在医疗中的安全挑战
专知会员服务
19+阅读 · 2024年10月5日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员