会员服务
将一个汉字序列切分成一个一个单独的词
Drift-Aware Continual Tokenization for Generative Recommendation
Arxiv
0+阅读 · 3月31日
ReTokSync: Self-Synchronizing Tokenization Disambiguation for Generative Linguistic Steganography
Arxiv
0+阅读 · 4月28日
MUTANT: A Recipe for Multilingual Tokenizer Design
Arxiv
0+阅读 · 3月22日
Token-Budget-Aware Pool Routing for Cost-Efficient LLM Inference
Arxiv
0+阅读 · 4月14日
Bi-Level Optimization for Generative Recommendation: Bridging Tokenization and Generation
Arxiv
0+阅读 · 4月16日
Deep Learning Based Amharic Chatbot for FAQs in Universities
Arxiv
0+阅读 · 4月15日
Dynamic Tokenization via Reinforcement Patching: End-to-end Training and Zero-shot Transfer
Arxiv
0+阅读 · 3月27日
Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer
Arxiv
0+阅读 · 3月19日
DualToken: Towards Unifying Visual Understanding and Generation with Dual Visual Vocabularies
Arxiv
0+阅读 · 4月20日
Understanding Secret Leakage Risks in Code LLMs: A Tokenization Perspective
Arxiv
0+阅读 · 4月20日
UniT: Toward a Unified Physical Language for Human-to-Humanoid Policy Learning and World Modeling
Arxiv
0+阅读 · 4月21日
Context-Aware Phishing Email Detection Using Machine Learning and NLP
Arxiv
0+阅读 · 3月28日
From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution
Arxiv
0+阅读 · 4月15日
Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
Arxiv
0+阅读 · 4月29日
MATHDance: Mamba-Transformer Architecture with Uniform Tokenization for High-Quality 3D Dance Generation
Arxiv
0+阅读 · 4月1日
参考链接
微信扫码咨询专知VIP会员
Top