1. 信息论的基础 - 香农

1.1. 信息熵

32支球队，log32=5比特 64支球队，log64=6比特 

• “谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：H = -(p1logp1 + p2logp2 + ... + p32log32)
  • H的专业术语称之为信息熵，单位为比特
  • 公式：H = -(p1logp1 + p2logp2 + ... + p32log32)
  • 当这32支球队夺冠的几率相同时， 对应的信息熵等于5比特
• 信息和消除不确定性是相联系的
  • “谁是世界杯冠军”的信息量应该比5比特少

1.2. 决策树的划分依据之一信息增益

• 信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
• 特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差
  • 公式：g(D, A) = H(D) - H(D|A)

讯享网ID 年龄 有工作 有自己的房子 信货情况 类别 1 青年 否 否 -般 否 2 青年 否 否 好 否 3 青年 是 否 好 是 4 青年 是 是 -般 是 5 青年 否 否 -般 否 6 中年 否 否 -般 否 7 中年 否 否 好 否 8 中年 是 是 好 是 9 中年 否 是 非常好 是 10 中年 否 是 非常好 是 11 老年 否 是 非常好 是 12 老年 否 是 好 是 13 老年 是 否 好 是 14 老年 是 否 非常好 是 15 老年 否 否 -般 否 

• 总的经验熵H(D) = -(9/15)log(9/15)-(6/15)log(6/15) = 0.971
• 年龄的信息增益: g(D, 年龄) = H(D) - [(5/15)H(D1)+(5/15)H(D2)+(5/15)H(D3)]
  • H(D1) = -(2/5)log(2/5)-(3/5)log(3/5)
  • H(D2) = -(3/5)log(3/5)-(2/5)log(2/5)
  • H(D3) = -(4/5)log(4/5)-(1/5)log(1/5)
• 同理其他的也可以计算出来，g(D，A2)=0.324，g(D，A3)=0.420，g(D，A4)=0.363，相比较来说其中特征A3 (有自
  己的房子）的信息增益最大，所以我们选择特征A3为最有特征

1.3. ID3

• 信息增益 最大的准则

1.4. C4.5

• 信息增益比 最大的准则

1.5. CART

• 回归树: 平方误差 最小
• 分类树: 基尼系数 最小的准则 在sklearn中默认的划分原则

2. sklearn决策树API

- class sklearn.tree.DecisionTreeClassifier(criterion=’gini’,max_depth=None,random_state=None) - 决策树分类器 - criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’ - max_depth:树的深度大小 - random_state:随机数种子 - method: - decision_path:返回决策树的路径 

3. 泰坦尼克号乘客生存分类模型

讯享网import pandas as pd import numpy as np from sklearn.feature_extraction import DictVectorizer from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier # 读取数据 titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt") # 获取特征属性 x = titan[['pclass', 'age', 'sex']] # 获取目标值 y = titan['survived'] # 缺失值处理 x['age'].fillna(x['age'].mean(), inplace=True) # 分割数据集为训练集，测试集 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25) # 特征工程 dict = DictVectorizer(sparse=False) x_train = dict.fit_transform(x_train.to_dict(orient='records')) x_test = dict.transform(x_test.to_dict(orient='records')) print(dict.get_feature_names()) # 决策树估计器流程 dec = DecisionTreeClassifier(max_depth=5) dec.fit(x_train, y_train) print("预测准确率：", dec.score(x_test, y_test)) 

4. 决策树的结构、本地保存

• sklearn.tree.export_graphviz() 该函数能够导出DOT格式
  • export_graphviz(dec, out_file="./tree.dot", feature_names=[‘年龄’, ‘一等舱’, ‘二等舱’, ‘三等舱’, ‘女性’, ‘男性’])
• 安装graphviz
  • yum -y install graphviz
• 运行命令
  • dot -Tpng tree.dot -o tree.png
• 完整代码

  
  讯享网

import pandas as pd import numpy as np from sklearn.feature_extraction import DictVectorizer from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier, export_graphviz # 读取数据 titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt") # 获取特征属性 x = titan[['pclass', 'age', 'sex']] # 获取目标值 y = titan['survived'] # 缺失值处理 x['age'].fillna(x['age'].mean(), inplace=True) # 分割数据集为训练集，测试集 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25) # 特征工程 dict = DictVectorizer(sparse=False) x_train = dict.fit_transform(x_train.to_dict(orient='records')) x_test = dict.transform(x_test.to_dict(orient='records')) print(dict.get_feature_names()) # 决策树估计器流程 dec = DecisionTreeClassifier() dec.fit(x_train, y_train) print("预测准确率：", dec.score(x_test, y_test)) # 导出决策树的结构 export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', '一等舱', '二等舱', '三等舱', '女性', '男性']) 

5. 决策树的优缺点以及改进

• 优点
  • 简单的理解和解释，树木可视化。
  • 需要很少的数据准备，其他技术通常需要数据归一化
• 缺点
  • 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
  • 决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成
• 改进
  • 减枝cart算法
  • 随机森林

6. 集成学习方法 - 随机森林

• 集成学习方法
  • 集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
• 什么是随机森林
  • 在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
• 随机森林的过程、优势
  • 随机森林建立多个决策树的过程
    • 随机抽样训练集
    • 有放回地抽样
  • 随机森林的优点
    • 在当前所有算法中，具有极好的准确率
    • 能够有效地运行在大数据集上(特征数多，样本数多)
    • 能够处理具有高维特征的输入样本，而且不需要降维
    • 能够评估各个特征在分类问题上的重要性
    • 对于缺省值问题也能够获得很好得结果
• 集成学习API
  • class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,max_depth=None, bootstrap=True, random_state=None)
  • 随机森林分类器
  • n_estimators：integer，optional（default = 10） 森林里的树木数量120,200,300,500,800,1200
  • criteria：string，可选（default =“gini”）分割特征的测量方法
  • max_depth：integer或None，可选（默认=无）树的最大深度 5, 8 , 15, 25, 30
  • bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样
  • max_feature=“auto”, 每个决策树的最大特征数量
• 泰坦尼克号乘客生存分类分析（网格搜索与交叉验证）

讯享网import pandas as pd import numpy as np from sklearn.feature_extraction import DictVectorizer from sklearn.model_selection import train_test_split,GridSearchCV from sklearn.tree import DecisionTreeClassifier, export_graphviz from sklearn.ensemble import RandomForestClassifier # 读取数据 titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt") # 获取特征属性 x = titan[['pclass', 'age', 'sex']] # 获取目标值 y = titan['survived'] # 缺失值处理 x['age'].fillna(x['age'].mean(), inplace=True) # 分割数据集为训练集，测试集 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25) # 特征工程 dict = DictVectorizer(sparse=False) x_train = dict.fit_transform(x_train.to_dict(orient='records')) x_test = dict.transform(x_test.to_dict(orient='records')) print(dict.get_feature_names()) # 随机森林进行预测（差参数优化） rf = RandomForestClassifier() param = {'n_estimators':[120, 200, 300, 500, 800, 1200], 'max_depth':[5, 8, 15, 25, 30]} gc = GridSearchCV(estimator=rf, param_grid=param, cv=2) gc.fit(x_train, y_train) print("准确率：", gc.score(x_test, y_test)) print("查看选择的参数模型：", gc.best_estimator_) 

• 注意： titan.loc[titan.age.isna()] = titan.age.mean()