会员服务
将一个汉字序列切分成一个一个单独的词
PLUME: Building a Network-Native Foundation Model for Wireless Traces via Protocol-Aware Tokenization
Arxiv
0+阅读 · 3月13日
Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness
Arxiv
0+阅读 · 3月11日
ReAttn: Improving Attention-based Re-ranking via Attention Re-weighting
Arxiv
0+阅读 · 2月23日
Frequency-Ordered Tokenization for Better Text Compression
Arxiv
0+阅读 · 2月26日
Towards Non-Latin Text and Layout Personalization for Enhanced Readability
Arxiv
0+阅读 · 2月28日
LGQ: Learning Discretization Geometry for Scalable and Stable Image Tokenization
Arxiv
0+阅读 · 2月20日
SOM-VQ: Topology-Aware Tokenization for Interactive Generative Models
Arxiv
0+阅读 · 2月24日
Diffusion Generative Recommendation with Continuous Tokens
Arxiv
0+阅读 · 2月24日
Understanding the Ability of LLMs to Handle Character-Level Perturbation
Arxiv
0+阅读 · 2月24日
PyraTok: Language-Aligned Pyramidal Tokenizer for Video Understanding and Generation
Arxiv
0+阅读 · 2月23日
Autoscoring Anticlimax: A Meta-analytic Understanding of AI's Short-answer Shortcomings and Wording Weaknesses
Arxiv
0+阅读 · 3月5日
Towards Scalable Pre-training of Visual Tokenizers for Generation
Arxiv
0+阅读 · 3月6日
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
Arxiv
0+阅读 · 3月12日
Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model
Arxiv
0+阅读 · 3月5日
GPUTOK: GPU Accelerated Byte Level BPE Tokenization
Arxiv
0+阅读 · 3月3日
参考链接
微信扫码咨询专知VIP会员
Top