Intelligent interfaces increasingly use large language models to summarize user-generated content, yet these summaries emphasize what is mentioned while overlooking what is missing. This presence bias can mislead users who rely on summaries to make decisions. We present Domain Informed Summarization through Contrast (DiSCo), an expectation-based computational approach that makes absences visible by comparing each entity's content with domain topical expectations captured in reference distributions of aspects typically discussed in comparable accommodations. This comparison identifies aspects that are either unusually emphasized or missing relative to domain norms and integrates them into the generated text. In a user study across three accommodation domains, namely ski, beach, and city center, DiSCo summaries were rated as more detailed and useful for decision making than baseline large language model summaries, although slightly harder to read. The findings show that modeling expectations reduces presence bias and improves both transparency and decision support in intelligent summarization interfaces.


翻译:智能界面日益采用大型语言模型来总结用户生成的内容,但这些摘要往往强调已提及的信息,而忽略了缺失的内容。这种存在性偏差可能会误导依赖摘要进行决策的用户。我们提出了基于对比的领域感知摘要方法(DiSCo),这是一种基于期望的计算方法,通过将每个实体的内容与领域主题期望进行对比来凸显缺失信息,其中领域期望通过参考分布捕获了同类住宿中通常讨论的方面。该比较能识别出相对于领域规范被异常强调或缺失的方面,并将其整合到生成的文本中。在涵盖滑雪、海滩和市中心三个住宿领域的用户研究中,DiSCo摘要被认为比基线大型语言模型摘要更详细且对决策更有帮助,尽管可读性稍逊。研究结果表明,建模期望能够减少存在性偏差,并提升智能摘要界面的透明度与决策支持能力。

0
下载
关闭预览

相关内容

【ICML2022】XAI for Transformers:通过保守传播更好的解释
专知会员服务
16+阅读 · 2022年7月19日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
14+阅读 · 2022年5月4日
【NeurIPS2019】图变换网络:Graph Transformer Network
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员