在目前已发表的自然语言处理预训练技术综述中，大多数文章仅介绍神经网络预训练技术或者极简单介绍传统预训练技术，存在人为割裂自然语言预训练发展历程。为此，以自然语言预训练发展历程为主线，从以下四方面展开工作：首先，依据预训练技术更新路线，介绍了传统自然语言预训练技术与神经网络预训练技术，并对相关技术特点进行分析、比较，从中归纳出自然语言处理技术的发展脉络与趋势；其次，主要从两方面介绍了基于BERT改进的自然语言处理模型，并对这些模型从预训练机制、优缺点、性能等方面进行总结；再者，对自然语言处理的主要应用领域发展进行了介绍，并阐述了自然语言处理目前面临的挑战与相应解决办法；最后，总结工作，预测了自然语言处理的未来发展方向。旨在帮助科研工作者更全面地了解自然语言预训练技术发展历程，继而为新模型、新预训练方法的提出提供一定思路。

http://fcst.ceaj.org/CN/abstract/abstract2823.shtml