会员服务
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。
CADO: From Imitation to Cost Minimization for Heatmap-based Solvers in Combinatorial Optimization
Arxiv
0+阅读 · 6月15日
DIFF-ERO: A Conformance-Aware Loss for Deep Learning in Process Mining
Arxiv
0+阅读 · 6月12日
A Mean-Field Analysis of Multi-Head Self-Attention under Cross-Entropy Training
Arxiv
0+阅读 · 6月9日
Test-Time Trajectory Optimization for Autonomous Driving
Arxiv
0+阅读 · 6月5日
Investigating the Histogram Loss in Regression
Arxiv
0+阅读 · 6月8日
Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks
Arxiv
0+阅读 · 4月14日
Ensemble-Based Dirichlet Modeling for Predictive Uncertainty and Selective Classification
Arxiv
0+阅读 · 4月7日
Minimax Generalized Cross-Entropy
Arxiv
0+阅读 · 3月25日
Minimax Generalized Cross-Entropy
Arxiv
0+阅读 · 3月20日
Towards Accurate and Calibrated Classification: Regularizing Cross-Entropy From A Generative Perspective
Arxiv
0+阅读 · 4月8日
Diversity or Precision? A Deep Dive into Next Token Prediction
Arxiv
0+阅读 · 3月14日
Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds
Arxiv
0+阅读 · 3月11日
Rejuvenating Cross-Entropy Loss in Knowledge Distillation for Recommender Systems
Arxiv
0+阅读 · 3月1日
Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models
Arxiv
0+阅读 · 3月12日
Functional Properties of the Focal-Entropy
Arxiv
0+阅读 · 3月3日
参考链接
微信扫码咨询专知VIP会员
Top