Transformer-based autoregressive models excel in data generation but are inherently constrained by their reliance on discretized tokens, which limits their ability to represent continuous values with high precision. We analyze the scalability limitations of existing discretization-based approaches for generating hybrid discrete-continuous sequences, particularly in high-precision domains such as semiconductor circuit designs, where precision loss can lead to functional failure. To address the challenge, we propose AGDC, a novel unified framework that jointly models discrete and continuous values for variable-length sequences. AGDC employs a hybrid approach that combines categorical prediction for discrete values with diffusion-based modeling for continuous values, incorporating two key technical components: an end-of-sequence (EOS) logit adjustment mechanism that uses an MLP to dynamically adjust EOS token logits based on sequence context, and a length regularization term integrated into the loss function. Additionally, we present ContLayNet, a large-scale benchmark comprising 334K high-precision semiconductor layout samples with specialized evaluation metrics that capture functional correctness where precision errors significantly impact performance. Experiments on semiconductor layouts (ContLayNet), graphic layouts, and SVGs demonstrate AGDC's superior performance in generating high-fidelity hybrid vector representations compared to discretization-based and fixed-schema baselines, achieving scalable high-precision generation across diverse domains.


翻译:基于Transformer的自回归模型在数据生成方面表现出色,但其本质上受限于对离散化标记的依赖,这限制了它们高精度表示连续值的能力。我们分析了现有基于离散化的方法在生成混合离散-连续序列时的可扩展性限制,特别是在半导体电路设计等高精度领域,其中精度损失可能导致功能失效。为应对这一挑战,我们提出了AGDC,一种用于可变长度序列的、联合建模离散值与连续值的新型统一框架。AGDC采用混合方法,将离散值的分类预测与基于扩散的连续值建模相结合,并包含两个关键技术组件:一种基于多层感知机(MLP)根据序列上下文动态调整序列结束(EOS)标记逻辑值的EOS逻辑调整机制,以及一个集成到损失函数中的长度正则化项。此外,我们提出了ContLayNet,一个包含33.4万个高精度半导体版图样本的大规模基准数据集,并配备了专门的评估指标,这些指标能够捕捉在精度误差显著影响性能时的功能正确性。在半导体版图(ContLayNet)、图形布局和SVG上的实验表明,与基于离散化的方法和固定模式基线相比,AGDC在生成高保真混合矢量表示方面具有优越性能,实现了跨领域可扩展的高精度生成。

0
下载
关闭预览

相关内容

UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
【ICML2024】变分薛定谔扩散模型
专知会员服务
20+阅读 · 2024年5月11日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员