会员服务
将一个汉字序列切分成一个一个单独的词
DNACHUNKER: Learnable Tokenization for DNA Language Models
Arxiv
0+阅读 · 1月6日
NorwAI's Large Language Models: Technical Report
Arxiv
0+阅读 · 1月6日
Racka: Efficient Hungarian LLM Adaptation on Academic Infrastructure
Arxiv
0+阅读 · 1月3日
Improving Flexible Image Tokenizers for Autoregressive Image Generation
Arxiv
0+阅读 · 1月4日
BSAT: B-Spline Adaptive Tokenizer for Long-Term Time Series Forecasting
Arxiv
0+阅读 · 1月2日
Pose-Guided Residual Refinement for Interpretable Text-to-Motion Generation and Editing
Arxiv
0+阅读 · 2025年12月27日
Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
Arxiv
0+阅读 · 2025年12月29日
Broken Words, Broken Performance: Effect of Tokenization on Performance of LLMs
Arxiv
0+阅读 · 2025年12月26日
VA-$π$: Variational Policy Alignment for Pixel-Aware Autoregressive Generation
Arxiv
0+阅读 · 2025年12月22日
TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior
Arxiv
0+阅读 · 2025年12月23日
QuarkAudio Technical Report
Arxiv
0+阅读 · 2025年12月23日
AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3
Arxiv
0+阅读 · 2025年12月20日
OccSTeP: Benchmarking 4D Occupancy Spatio-Temporal Persistence
Arxiv
0+阅读 · 2025年12月17日
Panoramic Distortion-Aware Tokenization for Person Detection and Localization in Overhead Fisheye Images
Arxiv
0+阅读 · 2025年11月25日
Idea-Gated Transformers: Enforcing Semantic Coherence via Differentiable Vocabulary Pruning
Arxiv
0+阅读 · 2025年12月3日
参考链接
微信扫码咨询专知VIP会员
Top