决策树是用样本的属性作为结点，用属性的取值作为分支的树结构。是 利用信息论原理对大量样本的属性进行分析和归纳而产生的。决策树的 每一层根结点都是该层所有样本中信息量最大的属性。决策树的叶结点 是样本的类别值。
熵(entropy)
熵(entropy)指的是体系的混乱的程度，它在控制论、生命科学等领域都 有重要应用。在不同的学科中也有引申出的更为具体的定义，是各领域十 分重要的参量。 熵最初由鲁道夫· 克劳修斯(Rudolf Clausius)提出，并应用在热力学中。 克劳德· 艾尔伍德· 香农(Claude Elwood Shannon)第一次将熵的概念引入 到信息论中来。 详细释义 1、物理学上指热能除以温度所得的商，标志热量转化为功的程度。 2、科学技术上用来描述、表征系统不确定程度的函数。亦被社会科学 用以借喻人类社会某些状态的程度。 3、传播学中表示一种情境的不确定性和无组织性。