会员服务
近年来，预训练模型（例如ELMo、GPT、BERT和XLNet等）的快速发展大幅提升了诸多NLP任务的整体水平，同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型，它的特点包括：第一，可以使用大规模无标注纯文本语料进行训练；第二，可以用于各类下游NLP任务，不是针对某项定制的，但以后可用在下游NIP任务上，你不需要为下游任务专门设计一种神经网络，或者提供一种结构，直接在几种给定的固定框架中选择一种进行 fine-tune，就可以从而得到很好的结果。
Effective vocabulary expanding of multilingual language models for extremely low-resource languages
Arxiv
0+阅读 · 2月10日
Unmasking Backdoors: An Explainable Defense via Gradient-Attention Anomaly Scoring for Pre-trained Language Models
Arxiv
0+阅读 · 1月30日
DSSmoothing: Toward Certified Dataset Ownership Verification for Pre-trained Language Models via Dual-Space Smoothing
Arxiv
0+阅读 · 1月26日
DSSmoothing: Toward Certified Dataset Ownership Verification for Pre-trained Language Models via Dual-Space Smoothing
Arxiv
0+阅读 · 1月23日
DSSmoothing: Toward Certified Dataset Ownership Verification for Pre-trained Language Models via Dual-Space Smoothing
Arxiv
0+阅读 · 1月27日
On the synchronization between Hugging Face pre-trained language models and their upstream GitHub repository
Arxiv
0+阅读 · 1月26日
RadarPLM: Adapting Pre-trained Language Models for Marine Radar Target Detection by Selective Fine-tuning
Arxiv
0+阅读 · 1月8日
RadarPLM: Adapting Pre-trained Language Models for Marine Radar Target Detection by Selective Fine-tuning
Arxiv
0+阅读 · 1月2日
Revisiting Pre-trained Language Models for Vulnerability Detection
Arxiv
0+阅读 · 2025年11月22日
B-cos LM: Efficiently Transforming Pre-trained Language Models for Improved Explainability
Arxiv
0+阅读 · 2025年12月9日
Patronus: Identifying and Mitigating Transferable Backdoors in Pre-trained Language Models
Arxiv
0+阅读 · 2025年12月7日
On The Role of Pretrained Language Models in General-Purpose Text Embeddings: A Survey
Arxiv
0+阅读 · 2025年11月26日
Huatuo-26M, a Large-scale Chinese Medical QA Dataset
Arxiv
1+阅读 · 2023年5月2日
FreeLM: Fine-Tuning-Free Language Model
Arxiv
0+阅读 · 2023年5月2日
How does GPT-2 compute greater-than?: Interpreting mathematical abilities in a pre-trained language model
Arxiv
0+阅读 · 2023年4月30日
参考链接
微信扫码咨询专知VIP会员
Top