The prevailing Next-Token Prediction (NTP) paradigm has driven the success of large language models through discrete autoregressive modeling. However, contemporary multimodal systems remain language-centric, often treating non-linguistic modalities as external attachments, leading to fragmented architectures and suboptimal integration. To transcend this limitation, we introduce Discrete Native Autoregressive (DiNA), a unified framework that represents multimodal information within a shared discrete space, enabling a consistent and principled autoregressive modeling across modalities. A key innovation is the Discrete Native Any-resolution Visual Transformer (dNaViT), which performs tokenization and de-tokenization at arbitrary resolutions, transforming continuous visual signals into hierarchical discrete tokens. Building on this foundation, we develop LongCat-Next, a native multimodal model that processes text, vision, and audio under a single autoregressive objective with minimal modality-specific design. As an industrial-strength foundation model, it excels at seeing, painting, and talking within a single framework, achieving strong performance across a wide range of multimodal benchmarks. In particular, LongCat-Next addresses the long-standing performance ceiling of discrete vision modeling on understanding tasks and provides a unified approach to effectively reconcile the conflict between understanding and generation. As an attempt toward native multimodality, we open-source the LongCat-Next and its tokenizers, hoping to foster further research and development in the community. GitHub: https://github.com/meituan-longcat/LongCat-Next


翻译:当前主流的下一标记预测范式通过离散自回归建模推动了大型语言模型的发展。然而,现有的大规模多模态系统仍以语言为中心,常将非语言模态视为外部附件,导致架构碎片化与集成效率欠佳。为突破这一局限,我们提出离散原生自回归框架——一种在多模态信息共享离散空间中实现统一表征的范式,支持跨模态的一致性原则自回归建模。其核心创新在于离散原生任意分辨率视觉变换器,该模块可在任意分辨率下执行标记化与解标记化操作,将连续视觉信号转化为分层离散标记。基于此基础,我们构建了LangCat-Next——一个将文本、视觉与音频统一于单一自回归目标下的原生多模态模型,仅需极少的模态特定设计。作为工业级基础模型,它能在一个统一框架中同时实现“观看”“绘画”与“对话”功能,并在广泛的多模态基准测试中展现出卓越性能。特别地,LangCat-Next突破了离散视觉建模在理解任务上长期存在的性能瓶颈,提供了一种有效协调理解与生成冲突的统一方法。作为原生多模态化的一次探索,我们开源了LangCat-Next及其分词器,期待推动社区的进一步研究与发展。GitHub: https://github.com/meituan-longcat/LongCat-Next

0
下载
关闭预览

相关内容

【博士论文】基于多模态基础模型的上下文学习
专知会员服务
25+阅读 · 2025年12月17日
用于多模态大模型的离散标记化:全面综述
专知会员服务
19+阅读 · 2025年8月2日
当持续学习遇上多模态大型语言模型:综述
专知会员服务
33+阅读 · 2025年3月5日
面向多模态智能的下一个Token预测:综述
专知会员服务
26+阅读 · 2024年12月30日
绝对干货!NLP预训练模型:从transformer到albert
新智元
14+阅读 · 2019年11月10日
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
语义分割如何「拉关系」?
计算机视觉life
11+阅读 · 2019年2月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
非对称防御中的自组织临界性:俄乌战争
专知会员服务
1+阅读 · 39分钟前
《战争中的大语言模型监管》
专知会员服务
1+阅读 · 49分钟前
边缘计算的军事应用
专知会员服务
7+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员