会员服务
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。
Diversity or Precision? A Deep Dive into Next Token Prediction
Arxiv
0+阅读 · 3月14日
Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds
Arxiv
0+阅读 · 3月11日
Rejuvenating Cross-Entropy Loss in Knowledge Distillation for Recommender Systems
Arxiv
0+阅读 · 3月1日
Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models
Arxiv
0+阅读 · 3月12日
Functional Properties of the Focal-Entropy
Arxiv
0+阅读 · 3月3日
Towards Intelligible Human-Robot Interaction: An Active Inference Approach to Occluded Pedestrian Scenarios
Arxiv
0+阅读 · 2月26日
Entropies, cross-entropies and Rényi divergence: sharp three-term inequalities for probability density functions
Arxiv
0+阅读 · 3月9日
MCEL: Margin-Based Cross-Entropy Loss for Error-Tolerant Quantized Neural Networks
Arxiv
0+阅读 · 3月5日
ACL: Aligned Contrastive Learning Improves BERT and Multi-exit BERT Fine-tuning
Arxiv
0+阅读 · 2月12日
Symmetrization Weighted Binary Cross-Entropy: Modeling Perceptual Asymmetry for Human-Consistent Neural Edge Detection
Arxiv
0+阅读 · 2月11日
CADO: From Imitation to Cost Minimization for Heatmap-based Solvers in Combinatorial Optimization
Arxiv
0+阅读 · 2月9日
Policy Gradient with Adaptive Entropy Annealing for Continual Fine-Tuning
Arxiv
0+阅读 · 2月15日
Benchmarks Are Not That Out of Distribution: Word Overlap Predicts Performance
Arxiv
0+阅读 · 2月11日
Provably Reliable Classifier Guidance via Cross-Entropy Control
Arxiv
0+阅读 · 2月5日
Diversity or Precision? A Deep Dive into Next Token Prediction
Arxiv
0+阅读 · 2月5日
参考链接
微信扫码咨询专知VIP会员
Top