会员服务
将一个汉字序列切分成一个一个单独的词
What Language is This? Ask Your Tokenizer
Arxiv
0+阅读 · 2月19日
Texo: Formula Recognition within 20M Parameters
Arxiv
0+阅读 · 2月19日
ArXiv-to-Model: A Practical Study of Scientific LM Training
Arxiv
0+阅读 · 2月19日
Tokens with Meaning: A Hybrid Tokenization Approach for Turkish
Arxiv
0+阅读 · 2月18日
Lossless Vocabulary Reduction for Auto-Regressive Language Models
Arxiv
0+阅读 · 2月18日
ActionCodec: What Makes for Good Action Tokenizers
Arxiv
0+阅读 · 2月17日
The Roots of Performance Disparity in Multilingual Language Models: Intrinsic Modeling Difficulty or Design Choices?
Arxiv
0+阅读 · 2月7日
Unlocking Noisy Real-World Corpora for Foundation Model Pre-Training via Quality-Aware Tokenization
Arxiv
0+阅读 · 2月6日
Bolmo: Byteifying the Next Generation of Language Models
Arxiv
0+阅读 · 2月9日
Foundations and Evaluations in NLP
Arxiv
0+阅读 · 2月13日
WeTok: Powerful Discrete Tokenization for High-Fidelity Visual Reconstruction
Arxiv
0+阅读 · 2月9日
Scaling Speech Tokenizers with Diffusion Autoencoders
Arxiv
0+阅读 · 2月6日
VAR-3D: View-aware Auto-Regressive Model for Text-to-3D Generation via a 3D Tokenizer
Arxiv
0+阅读 · 2月14日
Kairos: Toward Adaptive and Parameter-Efficient Time Series Foundation Models
Arxiv
0+阅读 · 2月13日
Crowdsourcing Piedmontese to Test LLMs on Non-Standard Orthography
Arxiv
0+阅读 · 2月16日
参考链接
微信扫码咨询专知VIP会员
Top