会员服务
The Direction of Ignorance: LLMs Encode and Temper a Unigram Prior
Arxiv
0+阅读 · 10月29日
QuechuaTok: Morphological Boundary Accuracy as a Necessary Metric for Tokenizer Evaluation in Agglutinative Low-Resource Languages
Arxiv
0+阅读 · 10月29日
UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding
Arxiv
0+阅读 · 10月28日
The Lexical Imprint of Pre-training Data
Arxiv
0+阅读 · 10月26日
Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs New Metrics
Arxiv
0+阅读 · 10月22日
Revisiting the Estimation of Unigram Surprisal in Computational Psycholinguistics
Arxiv
0+阅读 · 10月13日
Language-Statistical Analysis of Neural Audio Codec Tokens Across Architectures, Corpora, and Noise Conditions
Arxiv
0+阅读 · 8月31日
AI Watermark Evidence Fails Forensic Readiness: An Empirical Evaluation
Arxiv
0+阅读 · 7月17日
QuechuaTok: Morphological Boundary Accuracy as a Necessary Metric for Tokenizer Evaluation in Agglutinative Low-Resource Languages
Arxiv
0+阅读 · 6月22日
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Arxiv
0+阅读 · 6月19日
Tokenisation via Convex Relaxations
Arxiv
0+阅读 · 5月21日
Interpretable Text Classification Applied to the Detection of LLM-generated Creative Writing
Arxiv
0+阅读 · 1月12日
Which Pieces Does Unigram Tokenization Really Need?
Arxiv
0+阅读 · 2025年12月14日
Rethinking Tokenization for Rich Morphology: The Dominance of Unigram over BPE and Morphological Alignment
Arxiv
0+阅读 · 2025年11月10日
An Exploration of Internal States in Collaborative Problem Solving
Arxiv
0+阅读 · 2025年7月3日
参考链接
微信扫码咨询专知VIP会员
Top