附录一：启发案例-信息熵图解
以下是第一张图片，在此图片中，包含的信息量3张下雨图，1张下雪图和1张刮风图。
所以，各天气情况出现的概率是：
按照信息熵的计算公式可得：下雨：，下雪：，刮风：
那这张图片所包含的信息量，按照信息熵的计算公式可得：
在第二张图中，包含的信息量是3张下雨图，2张下雪图，没有刮风图。
所以，各天气情况出现的概率是：
按照信息熵的计算公式可得：下雨：，下雪：。
那这张图片所包含的信息量，按照信息熵的计算公式可得：
在第三张图中，包含的信息量是5张下雨图，没有下雪图，也没有刮风图。
所以，各天气情况出现的概率是：
按照信息熵的计算公式可得：下雨：。
那这张图片所包含的信息量，按照信息熵的计算公式可得：
在这个启发案例中，可以有一个对信息熵的初步认知，即信息越混乱，信息熵越大。同理，数据越纯净，信息熵就越小，当所有的样本只有一种类别的时候，信息熵就为零，即信息的确定性最大。
信息熵在机器学习、自然语言处理及图像处理中都有着广泛的应用，用来衡量数据的不确定性和纯度，是人工智能学习的一个重要概念。
返回