决策树可视化方法与技巧汇总（1）（分类决策树）（含Python代码示例）

灰太狼 2023-09-28 19:22 14阅读 0赞

决策树的可视化可以帮助我们非常直观的了解算法细节。但在具体使用过程中可能会遇到一些问题。以下是我整理的一些可视化方法：

**一、可视化工具Graphviz：**

> Graphviz是一个开源的图（Graph）可视化软件，采用抽象的图和网络来表示结构化的信息。在数据科学领域，Graphviz的一个用途就是实现决策树可视化。

**1.使用export\_graphviz 将树导出为 Graphviz 格式：**

from sklearn import tree
    from sklearn.datasets import load_wine
    
    wine = load_wine()
    clf = tree.DecisionTreeClassifier()
    clf.fit(wine.data, wine.target)
    
    with open("wine.dot", 'w') as f:
        tree.export_graphviz(clf, out_file=f)

这里会生成一个纯文本文件iris.dot，我们可以直接打开查看，具体内容如下：

digraph Tree {
        
    node [shape=box, fontname="helvetica"] ;
    edge [fontname="helvetica"] ;
    0 [label="X[12] <= 755.0\ngini = 0.658\nsamples = 178\nvalue = [59, 71, 48]"] ;
    1 [label="X[11] <= 2.115\ngini = 0.492\nsamples = 111\nvalue = [2, 67, 42]"] ;
    0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;
    2 [label="X[10] <= 0.935\ngini = 0.227\nsamples = 46\nvalue = [0, 6, 40]"] ;
    1 -> 2 ;
    3 [label="X[6] <= 1.58\ngini = 0.049\nsamples = 40\nvalue = [0, 1, 39]"] ;
    2 -> 3 ;
    4 [label="gini = 0.0\nsamples = 39\nvalue = [0, 0, 39]"] ;
    3 -> 4 ;
    5 [label="gini = 0.0\nsamples = 1\nvalue = [0, 1, 0]"] ;
    3 -> 5 ;
    6 [label="X[1] <= 2.395\ngini = 0.278\nsamples = 6\nvalue = [0, 5, 1]"] ;
    2 -> 6 ;
    7 [label="gini = 0.0\nsamples = 5\nvalue = [0, 5, 0]"] ;
    6 -> 7 ;
    8 [label="gini = 0.0\nsamples = 1\nvalue = [0, 0, 1]"] ;
    6 -> 8 ;
    9 [label="X[6] <= 0.795\ngini = 0.117\nsamples = 65\nvalue = [2, 61, 2]"] ;
    1 -> 9 ;
    10 [label="gini = 0.0\nsamples = 2\nvalue = [0, 0, 2]"] ;
    9 -> 10 ;
    11 [label="X[0] <= 13.175\ngini = 0.061\nsamples = 63\nvalue = [2, 61, 0]"] ;
    9 -> 11 ;
    12 [label="gini = 0.0\nsamples = 58\nvalue = [0, 58, 0]"] ;
    11 -> 12 ;
    13 [label="X[12] <= 655.0\ngini = 0.48\nsamples = 5\nvalue = [2, 3, 0]"] ;
    11 -> 13 ;
    14 [label="gini = 0.0\nsamples = 3\nvalue = [0, 3, 0]"] ;
    13 -> 14 ;
    15 [label="gini = 0.0\nsamples = 2\nvalue = [2, 0, 0]"] ;
    13 -> 15 ;
    16 [label="X[6] <= 2.165\ngini = 0.265\nsamples = 67\nvalue = [57, 4, 6]"] ;
    0 -> 16 [labeldistance=2.5, labelangle=-45, headlabel="False"] ;
    17 [label="X[9] <= 3.605\ngini = 0.375\nsamples = 8\nvalue = [0, 2, 6]"] ;
    16 -> 17 ;
    18 [label="gini = 0.0\nsamples = 2\nvalue = [0, 2, 0]"] ;
    17 -> 18 ;
    19 [label="gini = 0.0\nsamples = 6\nvalue = [0, 0, 6]"] ;
    17 -> 19 ;
    20 [label="X[9] <= 3.435\ngini = 0.065\nsamples = 59\nvalue = [57, 2, 0]"] ;
    16 -> 20 ;
    21 [label="gini = 0.0\nsamples = 2\nvalue = [0, 2, 0]"] ;
    20 -> 21 ;
    22 [label="gini = 0.0\nsamples = 57\nvalue = [57, 0, 0]"] ;
    20 -> 22 ;
    }

这样的词典格式不方便我们理解，我们可视化：

**2.将.dot文件转换为可视化图形**

为了有更好的可视化效果，可以使用graphviz可执行包中的dot程序将其转化为可视化的PDF文档。

具体方法为执行如下命令：

dot -Tpdf wine.dot -o wine.pdf

转化完PDF后打开的图形如下：  
![7effdd51f94e4c85a233871628e7fdea.png][]

**二、pydotplus生成PDF**

使用命令行非常的麻烦，可以采取的方式是安装pydotplus（pip install pydotplus）来生成PDF。

另外在在使用tree.export\_graphviz导出数据是还可以另外加一些参数，使得图片看起来更容易理解：

from sklearn import tree
    from sklearn.datasets import load_wine
    import pydotplus
    
    wine = load_wine()
    clf = tree.DecisionTreeClassifier()
    clf.fit(wine.data, wine.target)
    
    dot_data = tree.export_graphviz(clf, out_file=None,
                                    feature_names=wine.feature_names,
                                    class_names=wine.target_names,
                                    filled=True, rounded=True,
                                    special_characters=True)
    
    graph = pydotplus.graph_from_dot_data(dot_data)
    graph.write_pdf('wine.pdf')

生成的结果为：  
![1340c2e0e7fc4ee7af1199c71cb8c309.png][]

sklearn.tree.export_graphviz(decision_tree, out_file=None, *, max_depth=None, feature_names=None, class_names=None, label='all', filled=False, leaves_parallel=False, impurity=True, node_ids=False, proportion=False, rotate=False, rounded=False, special_characters=False, precision=3)

传入参数：
    decision_tree：决策树对象
    out_file：输出文件的句柄或名称。
    max_depth：数的最大深度
    feature_names：特征名称列表
    class_names：类别名称列表，按升序排序
    label：显示纯度信息的选项{
        ‘all’, ‘root’, ‘none’}
    filled：绘制节点以指示分类的多数类、回归值的极值或多输出的节点的纯度。
    leaves_parallel：在树的底部绘制所有叶节点。
    impurity：是否显示纯度显示
    node_ids：是否显示每个节点的ID号
    proportion：将“值”和 “样本量”的显示分别更改为比例。
    rotate：设置未True是从左往右绘制，False是从上往下绘制。
    rounded：设置未True时，使用圆角进行绘制。
    special_characters：设置为时False，忽略特殊字符以实现PostScrip兼容性
    precision：每个节点数值的精度

**要是觉得生成PDF查看比较麻烦，可采取生成图片：**

![89de86d755b742729634756897479837.png][]

**三、scikit-learn的tree.plot\_tree**

from sklearn import tree
    from sklearn.datasets import load_wine
    import matplotlib.pyplot as plt
    
    wine = load_wine()
    clf = tree.DecisionTreeClassifier()
    clf.fit(wine.data, wine.target)
    
    plt.figure(figsize=(12,8))
    tree.plot_tree(clf,max_depth=10,feature_names=wine.feature_names,class_names=wine.target_names,filled=True, rounded=True)
    plt.show()

但是我们生成的图像分辨率较低！  
![07c7e1c1ca904a3999364c6c2d8fdb92.png][]  
**四、dtreeviz美化输出**

dtreeviz是一个美化输出的组件，在使用起来非常的简单：

from sklearn.datasets import load_wine
    from dtreeviz.trees import dtreeviz
    wine = load_wine()
    clf = tree.DecisionTreeClassifier()
    clf.fit(wine.data, wine.target)
    
    viz = dtreeviz(clf,
                   x_data=wine.data,
                   y_data=wine.target,
                   target_name='class',
                   feature_names=wine.feature_names,
                   class_names=list(wine.target_names),
                   title="Decision Tree - wine data set")
    viz.save('dtreeviz.svg')

我们生成的结果为：  
![e8ff905bdf98461eb749e8c4dfad1919.png][]

每个节点上，我们都可以看到用于分割观测值的特征的堆叠直方图，并按类别着色。通过这种方式，我们可以看到类是如何分割的。x轴的小三角形是拆分点。叶节点用饼图表示，饼图显示叶中的观察值属于哪个类。这样，我们就可以很容易地看到哪个类是最主要的，所以也可以看到模型的预测。我们也可以为测试集创建一个类似的可视化，只需要在调用函数时替换x\_data和y\_data参数。

**如果你不喜欢直方图并且希望简化绘图，可以指定fancy=False来接收以下简化绘图。**

![013ff9261f2243bca8fea090e0283fe8.png][]  
dtreeviz的另一个方便的功能是提高模型的可解释性，即在绘图上突出显示特定观测值的路径。通过这种方式，我们可以清楚地看到哪些特征有助于类预测。使用下面的代码片段，我们突出显示测试集的第一个样本的路径。

from sklearn import tree
    from sklearn.datasets import load_wine
    from dtreeviz.trees import dtreeviz
    wine = load_wine()
    clf = tree.DecisionTreeClassifier()
    clf.fit(wine.data, wine.target)
    
    viz = dtreeviz(clf,
                   x_data=wine.data,
                   y_data=wine.target,
                   target_name='class',
                   feature_names=wine.feature_names,
                   class_names=list(wine.target_names),
                   title="Decision Tree - Iris data set",
                   X=wine.data[0])
    viz.save('dtreeviz2.svg')

![18d4caa3ffbe43b3a5a93cbcc7a248ae.png][]  
这张图与前一张非常相似，然而，橙色突出清楚地显示了样本所遵循的路径。此外，我们可以在每个直方图上看到橙色三角形。它表示给定特征的观察值。我们还可以通过设置orientation=“LR”从上到下再从左到右更改绘图的方向。

**最后，我们可以打印这个观察预测所用的决定：**

print(explain_prediction_path(clf, wine.data[0], feature_names=wine.feature_names, explanation_type="plain_english"))

结果为：

2.17 <= flavanoids 
    3.43 <= color_intensity 
    755.0 <= proline

[7effdd51f94e4c85a233871628e7fdea.png]: https://img-blog.csdnimg.cn/7effdd51f94e4c85a233871628e7fdea.png
[1340c2e0e7fc4ee7af1199c71cb8c309.png]: https://img-blog.csdnimg.cn/1340c2e0e7fc4ee7af1199c71cb8c309.png
[89de86d755b742729634756897479837.png]: https://img-blog.csdnimg.cn/89de86d755b742729634756897479837.png
[07c7e1c1ca904a3999364c6c2d8fdb92.png]: https://img-blog.csdnimg.cn/07c7e1c1ca904a3999364c6c2d8fdb92.png
[e8ff905bdf98461eb749e8c4dfad1919.png]: https://img-blog.csdnimg.cn/e8ff905bdf98461eb749e8c4dfad1919.png
[013ff9261f2243bca8fea090e0283fe8.png]: https://img-blog.csdnimg.cn/013ff9261f2243bca8fea090e0283fe8.png
[18d4caa3ffbe43b3a5a93cbcc7a248ae.png]: https://img-blog.csdnimg.cn/18d4caa3ffbe43b3a5a93cbcc7a248ae.png