Sentence scoring aims at measuring the likelihood score of a sentence and is widely used in many natural language processing scenarios, like reranking, which is to select the best sentence from multiple candidates. Previous works on sentence scoring mainly adopted either causal language modeling (CLM) like GPT or masked language modeling (MLM) like BERT, which have some limitations: 1) CLM only utilizes unidirectional information for the probability estimation of a sentence without considering bidirectional context, which affects the scoring quality; 2) MLM can only estimate the probability of partial tokens at a time and thus requires multiple forward passes to estimate the probability of the whole sentence, which incurs large computation and time cost. In this paper, we propose \textit{Transcormer} -- a Transformer model with a novel \textit{sliding language modeling} (SLM) for sentence scoring. Specifically, our SLM adopts a triple-stream self-attention mechanism to estimate the probability of all tokens in a sentence with bidirectional context and only requires a single forward pass. SLM can avoid the limitations of CLM (only unidirectional context) and MLM (multiple forward passes) and inherit their advantages, and thus achieve high effectiveness and efficiency in scoring. Experimental results on multiple tasks demonstrate that our method achieves better performance than other language modelings.

翻译：判决评分的目的是衡量判决分数的可能性,在许多自然语言处理情景中广泛使用,例如重新排名,这是从多个候选人中选择最佳判决。以前的判决评分工作主要采用诸如GPT等因果语言模型(CLM)或德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国德国意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利意大利,意大利意大利意大利意大利意大利意大利意大利意大利,意大利意大利意大利意大利意大利意大利意大利意大利意大利,意大利,意大利意大利,意大利意大利,意大利,意大利意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,意大利,