语言模型已在自然语言处理中无处不在,它们利用大量未标记的数据并为下游任务进行微调。但人们对这些模型生成的文本的准确性和可信度提出了担忧。

与此同时,差分隐私已成为一种框架,用于保护敏感信息,同时允许机器学习算法从中学习。然而,统计保证与实用性之间的权衡对许多应用都带来了挑战**。因此,这篇论文旨在开发平衡保证和实用性的技术,重点是提高生成模型的可靠性,同时保持其灵活性**。

首先,我们提出了一个框架,可以有条件地使用硬约束生成文本,允许用户事先指定某些元素,而留下其他元素供模型预测。通过促进交互式编辑和重写,此框架为用户提供了对生成文本的精确控制。 接下来,我们引入了在软约束下生成预测的共形预测方法,以确保统计的正确性。这些方法在保持高经验精度的同时,为文本生成产生有效的置信集。

最后,我们通过放宽差分隐私的保证概念到基于猜测的定义,探索数据发布中隐私与实用性之间的平衡。我们提出了一种基于学习的去识别化方法,解决了隐私保护的挑战,同时仍能有效地利用数据。我们提出的方法的有效性通过一系列任务得到了证明,包括文本填充、放射学报告生成和X光分类。这些任务展示了我们的技术在各种实际场景中的实用性。

成为VIP会员查看完整内容
31

相关内容

【ETH博士论文】基于离散优化的学习,193页pdf
专知会员服务
44+阅读 · 2023年9月17日
【剑桥大学博士论文】机器学习中的分布外泛化,214页pdf
【CMU博士论文】可解释机器学习方法与应用,127页pdf
专知会员服务
77+阅读 · 2023年6月6日
【MIT博士论文】序列决策中的算法公平性,134页pdf
专知会员服务
25+阅读 · 2023年5月20日
专知会员服务
52+阅读 · 2021年6月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
176+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
182+阅读 · 2023年3月24日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
10+阅读 · 4月25日
多智能体协作机制
专知会员服务
10+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
9+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
8+阅读 · 4月25日
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
12+阅读 · 4月25日
【NTU博士论文】3D人体动作生成
专知会员服务
9+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
9+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
16+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
13+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
6+阅读 · 4月24日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员