信息对数量度原理

4.2　信息对数量度原理

令x和y是两个离散随机变量,它们的可能结果分别是x_i（i＝1,2…n）和yi（i＝1,2…m）。假设我们观察其中的某个结果Y＝y_i,并希望定量的求出由于Y＝yj的出现所提供的关于X＝x_i（i＝1,2…n）的信息量。当X和Y统计独立时,Y＝y_j的出现对事件X＝x_i的发生不提供什么信息。当X和Y相关（不是统计独立）时,即Y＝y_j的出现决定于X＝x_i的发生,那么信息量就由事件X＝x_i来确定^［4］。满足这些条件的一个合适的度量是条件概率：

Pr（X＝x_i｜Y＝y_j）＝p（x_i｜y_j）　　公式（16）

除以概率Pr（X＝x_i）＝p（x_i）的对数,由于事件Y＝y_j的出现所提供的关于事件X＝x_i的信息量可定义为：

公式（17）

其中,IM（x_i,y_j）称为x_i和y_j之间的互信息（mutual infor mation）。

当X和Y为统计独立时,p（x_i｜y_j）＝p（x_i）,因此,IM（x_i,y_j）＝0。另一方面,当事件Y＝y_i的出现唯一决定了事件X＝x_i的发生时,则

此时,IM（x_i,y_j）为X＝x_i的自信息。

IM（x_i,y_j）反映了事件X和Y的可能结果,也可用联合事件出现的概率p（x_i,y_j）或频次对IM（x_i,y_j）进行简单加权,则

为方便应用,可以构造两个事件的出现频次表（见表4-7）。假设：

X代表事件A,Y代表事件B；

a代表x_i和y_j共同出现的频次；

b代表x_i出现而y_j不出现（即y_j′）的出现频次；

c代表x_i不出现（即）而y_j出现的出现频次；

d代表x_i不出现（即XI′）和y_j不出现（即y_j′）的出现频次；

a＋b＝Yj在样本中的出现频次,c＋d＝Xi在样本中出现的频次。

表4-7　两个事件的出现频次表

则IM（x_i,y_j）定义为：

IM（x_i,y_j）可理解为x_i和y_j之间的关联程度。IM（x_i,y_j）值越大,二者的关联程度就越大,其值反映了x_i和y_j两个联合事件的出现可能性大小。

假设在YBK1中,总样本量为181023,设X代表事件分类号,Y代表事件标引词,标引词“金融”的出现频次为80,分类号“F83”的出现频次为300,分类号“F83”和标引词“金融”同时出现的频次为30,则标引词“金融”和分类号“F83”的互信息量（IM）为5.42。