以决策树作为开始,因为简单,而且也比较容易用到,当前的boosting或randomforest也是常以其为基础的决策树算法本身参考之前的blog,其实就是贪婪算法,每次切分使得数据变得最为有序无序,nodeimpurity对于分类问题,我们可以用熵entropy或Gini来表示信息的无序程度对于回归问题,我们用方差Variance来表示无序程度,方差越大,说明数据间差异越大用于表示,由父节点划分后得到子节点,所带来的impurity的下降,即有序性的增益下面直接看个regression的例子,分类的case,差不多,还是比较简单的,由于是回归,所以impurity的定义为variancema
1