会员服务
稀疏表达的效果好坏和用的字典有着密切的关系。字典分两类，一种是预先给定的分析字典，比如小波基、DCT等，另一种则是针对特定数据集学习出特定的字典。这种学出来的字典能大大提升在特定数据集的效果。
On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning
Arxiv
0+阅读 · 6月21日
CoSpaDi: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning
Arxiv
0+阅读 · 6月19日
Smaller and Faster 3DGS via Post-Training Dictionary Learning
Arxiv
0+阅读 · 5月28日
A Unified Theory of Sparse Dictionary Learning in Mechanistic Interpretability: Piecewise Biconvexity and Spurious Minima
Arxiv
0+阅读 · 4月22日
Diverse Dictionary Learning
Arxiv
0+阅读 · 4月19日
Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation
Arxiv
0+阅读 · 3月30日
Concept-Based Dictionary Learning for Inference-Time Safety in Vision Language Action Models
Arxiv
0+阅读 · 3月23日
Share Your Attention: Transformer Weight Sharing via Matrix-based Dictionary Learning
Arxiv
0+阅读 · 2月19日
CoSpaDi: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning
Arxiv
0+阅读 · 2月19日
Evolution of Concepts in Language Model Pre-Training
Arxiv
0+阅读 · 2月14日
CoSpaDi: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning
Arxiv
0+阅读 · 2月12日
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
Arxiv
0+阅读 · 2月11日
LatentAM: Real-Time, Large-Scale Latent Gaussian Attention Mapping via Online Dictionary Learning
Arxiv
0+阅读 · 2月12日
Dictionary Learning under Symmetries via Group Representations
Arxiv
0+阅读 · 2月4日
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
Arxiv
0+阅读 · 2月2日
参考链接
微信扫码咨询专知VIP会员
Top