会员服务
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。
ACL: Aligned Contrastive Learning Improves BERT and Multi-exit BERT Fine-tuning
Arxiv
0+阅读 · 2月12日
Symmetrization Weighted Binary Cross-Entropy: Modeling Perceptual Asymmetry for Human-Consistent Neural Edge Detection
Arxiv
0+阅读 · 2月11日
CADO: From Imitation to Cost Minimization for Heatmap-based Solvers in Combinatorial Optimization
Arxiv
0+阅读 · 2月9日
Policy Gradient with Adaptive Entropy Annealing for Continual Fine-Tuning
Arxiv
0+阅读 · 2月15日
Benchmarks Are Not That Out of Distribution: Word Overlap Predicts Performance
Arxiv
0+阅读 · 2月11日
Provably Reliable Classifier Guidance via Cross-Entropy Control
Arxiv
0+阅读 · 2月5日
Diversity or Precision? A Deep Dive into Next Token Prediction
Arxiv
0+阅读 · 2月5日
Diversity or Precision? A Deep Dive into Next Token Prediction
Arxiv
0+阅读 · 2月4日
ACL: Aligned Contrastive Learning Improves BERT and Multi-exit BERT Fine-tuning
Arxiv
0+阅读 · 2月3日
Classically Spoofing System Linear Cross Entropy Score Benchmarking
Arxiv
0+阅读 · 2月3日
Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds
Arxiv
0+阅读 · 1月27日
Symmetrization Weighted Binary Cross-Entropy: Modeling Perceptual Asymmetry for Human-Consistent Neural Edge Detection
Arxiv
0+阅读 · 1月15日
Multi-Receptive Field Ensemble with Cross-Entropy Masking for Class Imbalance in Remote Sensing Change Detection
Arxiv
0+阅读 · 1月16日
Faster and Memory-Efficient Training of Sequential Recommendation Models for Large Catalogs
Arxiv
0+阅读 · 1月23日
Statistical Analysis of Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss
Arxiv
0+阅读 · 1月23日
参考链接
微信扫码咨询专知VIP会员
Top