对于自然语言理解任务来说，外部知识通常是有用的。我们介绍了一个上下文文本表示模型，称为概念上下文(CC)嵌入，它将结构化的知识合并到文本表示中。与实体嵌入方法不同，我们的方法将知识图编码到上下文模型中。就像预先训练好的语言模型一样，CC嵌入可以很容易地在广泛的任务中重用。我们的模型利用语义泛化，有效地编码了庞大的UMLS数据库。在电子健康记录(EHRs)和医疗文本处理基准上的实验表明，我们的模型大大提高了监督医疗NLP任务的性能。