会员服务
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。
Bielik 7B v0.1: A Polish Language Model -- Development, Insights, and Evaluation
Arxiv
0+阅读 · 2025年12月29日
Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds
Arxiv
0+阅读 · 2025年12月27日
Diversity or Precision? A Deep Dive into Next Token Prediction
Arxiv
0+阅读 · 2025年12月28日
From Zipf's Law to Neural Scaling through Heaps' Law and Hilberg's Hypothesis
Arxiv
0+阅读 · 2025年12月20日
HLTCOE Evaluation Team at TREC 2025: VQA Track
Arxiv
0+阅读 · 2025年12月8日
Faster and Memory-Efficient Training of Sequential Recommendation Models for Large Catalogs
Arxiv
0+阅读 · 2025年12月1日
Statistical Analysis of Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss
Arxiv
0+阅读 · 2025年11月3日
Multi-Agent Cross-Entropy Method with Monotonic Nonlinear Critic Decomposition
Arxiv
0+阅读 · 2025年11月26日
Multi-Agent Cross-Entropy Method with Monotonic Nonlinear Critic Decomposition
Arxiv
0+阅读 · 2025年11月24日
Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default
Arxiv
0+阅读 · 2025年10月21日
The Coverage Principle: How Pre-training Enables Post-Training
Arxiv
0+阅读 · 2025年10月16日
Low-Rank Adapting Models for Sparse Autoencoders
Arxiv
0+阅读 · 2025年1月31日
Class Distance Weighted Cross Entropy Loss for Classification of Disease Severity
Arxiv
0+阅读 · 2025年1月10日
Disentangled Interleaving Variational Encoding
Arxiv
0+阅读 · 2025年1月16日
Disentangled Interleaving Variational Encoding
Arxiv
0+阅读 · 2025年1月15日
参考链接
微信扫码咨询专知VIP会员
Top