大型自监督(预训练)模型已经改变了各种数据驱动的领域，如自然语言处理(NLP)。在本课程中，学生将全面介绍NLP应用的自监督学习技术。通过讲座、作业和期末项目，学生将学习使用Pytorch框架设计、实现和理解自己的自监督神经网络模型的必要技能。