信息增益 发表评论(0) 编辑词条

　　信息增益（information gain）是指期望信息或者信息熵的有效减少量（通常用“字节”衡量），根据它能够确定在什么样的层次上选择什么样的变量来分类。

　　信息增益（IG）是信息论中比较重要的一个计算方法，该方法能够估算系统中新引入的特征所带来的信息量，即信息的增加量。通过该计算，实现了ID3算法，使得决策树分类方法获得改良，并得到了广泛应用。