Scientific posters play a vital role in academic communication by presenting ideas through visual summaries. Analyzing reading order and parent-child relations of posters is essential for building structure-aware interfaces that facilitate clear and accurate understanding of research content. Despite their prevalence in academic communication, posters remain underexplored in structural analysis research, which has primarily focused on papers. To address this gap, we constructed SciPostLayoutTree, a dataset of approximately 8,000 posters annotated with reading order and parent-child relations. Compared to an existing structural analysis dataset, SciPostLayoutTree contains more instances of spatially challenging relations, including upward, horizontal, and long-distance relations. As a solution to these challenges, we develop Layout Tree Decoder, which incorporates visual features as well as bounding box features including position and category information. The model also uses beam search to predict relations while capturing sequence-level plausibility. Experimental results demonstrate that our model improves the prediction accuracy for spatially challenging relations and establishes a solid baseline for poster structure analysis. The dataset is publicly available at https://huggingface.co/datasets/omron-sinicx/scipostlayouttree. The code is also publicly available at https://github.com/omron-sinicx/scipostlayouttree.


翻译:科学海报通过视觉摘要呈现研究思想,在学术交流中发挥着至关重要的作用。分析海报的阅读顺序与父子关系对于构建结构感知界面至关重要,这类界面有助于清晰准确地理解研究内容。尽管海报在学术交流中极为普遍,但在结构分析研究中却仍未得到充分探索,该领域主要集中于论文分析。为填补这一空白,我们构建了SciPostLayoutTree数据集,其中包含约8,000张标注了阅读顺序与父子关系的海报。与现有结构分析数据集相比,SciPostLayoutTree包含了更多空间关系具有挑战性的实例,包括向上、水平及长距离关系。针对这些挑战,我们开发了Layout Tree Decoder,该模型不仅融合了视觉特征,还整合了包含位置与类别信息的边界框特征。该模型同时采用束搜索算法在预测关系时捕获序列层面的合理性。实验结果表明,我们的模型提升了空间挑战性关系的预测准确率,并为海报结构分析建立了坚实的基线。数据集公开发布于https://huggingface.co/datasets/omron-sinicx/scipostlayouttree。代码亦公开于https://github.com/omron-sinicx/scipostlayouttree。

0
下载
关闭预览

相关内容

《军事场景中的视觉分析探索》2023最新124页技术报告
专知会员服务
82+阅读 · 2023年3月2日
专知会员服务
66+阅读 · 2021年7月4日
【干货书】数据科学手册,456页pdf
专知
15+阅读 · 2021年4月28日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
不要担心没数据!史上最全数据集网站汇总
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
3+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
战略前沿人工智能的再思考(中文)
专知会员服务
8+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
6+阅读 · 5月29日
相关VIP内容
《军事场景中的视觉分析探索》2023最新124页技术报告
专知会员服务
82+阅读 · 2023年3月2日
专知会员服务
66+阅读 · 2021年7月4日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员