目录
一、
nnn 元语法（N-Gram）nnn 元语法（n-gram）是指文本中**连续**出现的nnn 个**词元**。当nnn 分别为1,2,31,2,31,2,3 时，n-gram 又叫作 unigram（一元语法）、bigram（二元语法）和 trigram（三元语法）。nnn 元语法模型是基于n−1n-1n−1 阶马尔可夫链的一种概率语言模型（即只考虑前n−1n-1n−1 个词出现的情况下，后一个词出现的概率）：unigram:P(w1,w2,⋯,wT)=∏i=1TP(wi)bigram:P(w1,w2,⋯,wT)=P(x1)∏i=1T−1P(wi+1∣wi)trigram:P(w1,w2,⋯,wT)=P(x1)P(x2∣x1)∏i=1T−2P(wi+2∣wi,wi+1)\begin{aligned} \text{unigram:}\quad&P(w_1,w_2,\cdots,w_T)=\prod_{i=1}^T P(w_i) \\ \text{bigram:}\quad&P(w_1,w_2,\cdots,w_T)=P(x_1)\prod_{i=1}^{T-1} P(w_{i+1}|w_i) \\ \text{trigram:}\quad&P(w_1,w_2,\cdots,w_T)=P(x_1)P(x_2|x_1)\prod_{i=1}^{T-2} P(w_{i+2}|w_{i},w_{i+1}) \\ \end{aligned}unigram:bigram:trigram:P(w1,w2,⋯,wT)=i=1∏TP(wi)P(w1,w2,⋯,wT)=P(x1)i=1∏T−1P(wi+1∣wi)P(w1,w2,⋯,wT)=P(x1)P(x2∣x1)i=1∏T−2P(wi+2∣wi,wi+1)
二、BLEU（Bilingual Evaluation Understudy）
2.1 BLEU 定义
BLEU（发音与单词 blue 相同） 最早是用于评估机器翻译的结果， 但现在它已经被广泛用于评估许多应用的输出序列的质量。对于预测序列
pred
中的任意
nnn 元语法， BLEU 的评估都是这个nnn 元语法是否出现在标签序列
label
中。
BLEU 定义如下：
BLEU=exp(min(0,1−len(label)len(pred)))∏n=1kpn1/2n\text{BLEU}=\exp\left(\min\left(0,1-\frac{\text{len(label)}}{\text{len(pred)}}\right)\right)\prod_{n=1}^kp_n^{1/2^n}BLEU=exp(min(0,1−len(pred)len(label)))n=1∏kpn1/2n
其中
len(*)\text{len(*)}len(*) 代表序列∗*∗ 中的词元个数，kkk 用于匹配最长的nnn 元语法（常取444），pnp_npn 表示nnn 元语法的精确度。
具体而言，给定
label
：
A,B,C,D,E,FA,B,C,D,E,FA,B,C,D,E,F 和
pred
：
A,B,B,C,DA,B,B,C,DA,B,B,C,D，取k=3k=3k=3。
首先看
p1p_1p1 如何计算。我们先将
pred
中的每个 unigram 都统计出来：
(A),(B),(B),(C),(D)(A),(B),(B),(C),(D)(A),(B),(B),(C),(D)，再将
label
中的每个 unigram 都统计出来：
(A),(B),(C),(D),(E),(F)(A),(B),(C),(D),(E),(F)(A),(B),(C),(D),(E),(F)，然后看它们之间有多少匹配的（**不可以重复匹配，即必须保持一一对应的关系**）。可以看出一共有444 个匹配的，而
pred
中一共有
555 个 unigram，于是p1=4/5p_1=4/5p1=4/5。
再来看
p2p_2p2 如何计算。我们先将
pred
中的每个 bigram 都统计出来：
(A,B),(B,B),(B,C),(C,D)(A,B),(B,B),(B,C),(C,D)(A,B),(B,B),(B,C),(C,D)，再将
label
中的每个 bigram 都统计出来：
(A,B),(B,C),(C,D),(D,E),(E,F)(A,B),(B,C),(C,D),(D,E),(E,F)(A,B),(B,C),(C,D),(D,E),(E,F)，然后看它们之间有多少匹配的。可以看出一共有333 个匹配的，而
pred
中一共有
444 个 bigram，于是p2=3/4p_2=3/4p2=3/4。
最后看
p3p_3p3 如何计算。我们先将
pred
中的每个 trigram 都统计出来：
(A,B,B),(B,B,C),(B,C,D)(A,B,B),(B,B,C),(B,C,D)(A,B,B),(B,B,C),(B,C,D)，再将
label
中的每个 trigram 都统计出来：
(A,B,C),(B,C,D),(C,D,E),(D,E,F)(A,B,C),(B,C,D),(C,D,E),(D,E,F)(A,B,C),(B,C,D),(C,D,E),(D,E,F)，然后看它们之间有多少匹配的。可以看出只有111 个匹配，而
pred
中一共有
333 个 trigram，于是p3=1/3p_3=1/3p3=1/3。
因此此例的 BLEU 分数为
BLEU=exp(min(0,1−6/5))⋅p11/2⋅p21/4⋅p31/8=e−0.2⋅(45)1/2⋅(34)1/4⋅(13)1/8≈0.5940\begin{aligned} \text{BLEU}&=\exp(\min(0,1-6/5))\cdot p_1^{1/2}\cdot p_2^{1/4}\cdot p_3^{1/8} \\ &=e^{-0.2}\cdot \left(\frac45\right)^{1/2}\cdot \left(\frac34\right)^{1/4}\cdot\left(\frac13\right)^{1/8} \\ &\approx0.5940 \end{aligned}BLEU=exp(min(0,1−6/5))⋅p11/2⋅p21/4⋅p31/8=e−0.2⋅(54)1/2⋅(43)1/4⋅(31)1/8≈0.5940
2.2 BLEU 的探讨
根据 BLEU 的定义，当预测序列与标签序列完全相同时，BLEU 的值为
111。另一方面，由于ex>0e^x>0ex>0 且pn≥0p_n\geq0pn≥0，因此有BLEU∈[0,1]\text{BLEU}\in[0,1]BLEU∈[0,1]
BLEU 的值越接近
111，则代表预测效果越好；BLEU 的值越接近000，则代表预测效果越差。
此外，由于
nnn 元语法越长匹配难度越大， 所以 BLEU 为更长的nnn 元语法的精确度分配更大的权重（固定a∈(0,1)a\in(0,1)a∈(0,1)，则a1/2na^{1/2^n}a1/2n 会随着nnn 的增加而增加）。而且，由于预测序列越短获得的pnp_npn 值越高，所以系数exp(⋅)\exp(\cdot)exp(⋅) 这一项用于惩罚较短的预测序列。
2.3 BLEU 的简单实现
import mathfrom collections import Counterdefbleu(label, pred, k=4):# 我们假设输入的label和pred都已经进行了分词score = math.exp(min(0,1-len(label)/len(pred)))for n inrange(1, k +1):# 使用哈希表用来存放label中所有的n-gramhashtable = Counter([' '.join(label[i:i + n])for i inrange(len(label)- n +1)])# 匹配成功的个数num_matches =0for i inrange(len(pred)- n +1):ngram =' '.join(pred[i:i + n])if ngram in hashtable and hashtable[ngram]>0:num_matches +=1hashtable[ngram]-=1score *= math.pow(num_matches /(len(pred)- n +1), math.pow(0.5, n))return score
例如：
label ='A B C D E F'pred ='A B B C D'for i inrange(4):print(bleu(label.split(), pred.split(), k=i +1))# 0.7322950476607851# 0.6814773296495302# 0.5940339360503315# 0.0
References
[1] d2l. Sequence to Sequence Learning
本文转载自: https://blog.csdn.net/raelum/article/details/125632699
版权归原作者 aelum 所有， 如有侵权，请联系我们删除。
版权归原作者 aelum 所有， 如有侵权，请联系我们删除。