上证50成分股聚类可视化

你的名字 2021-12-12 01:43 218阅读 0赞

上证50成分股聚类可视化  
![上证50成分股聚类可视化][50]

参考：sklearn中的股票可视化例子 [Visualizing the stock market structure][]

数据来源：tushare 到网站 [https://tushare.pro/][https_tushare.pro] 注册后就可以获得免费的token

代码如下：

# 上证50股票聚类可视化
    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    import tushare as ts
    import datetime
    from matplotlib.collections import LineCollection
    from sklearn import cluster, covariance, manifold
    
    # 获取上证50的成分股
    sz50s = ts.get_sz50s()
    symbols = sz50s.code
    names = sz50s.name

sz50s 的结果如下：  
date code name  
0 2019-07-08 600000 浦发银行  
1 2019-07-08 600016 民生银行  
2 2019-07-08 600019 宝钢股份  
3 2019-07-08 600028 中国石化  
4 2019-07-08 600029 南方航空  
5 2019-07-08 600030 中信证券  
6 2019-07-08 600031 三一重工  
7 2019-07-08 600036 招商银行  
8 2019-07-08 600048 保利地产  
9 2019-07-08 600050 中国联通  
10 2019-07-08 600104 上汽集团  
11 2019-07-08 600196 复星医药  
12 2019-07-08 600276 恒瑞医药  
13 2019-07-08 600309 万华化学  
14 2019-07-08 600340 华夏幸福  
15 2019-07-08 600519 贵州茅台  
16 2019-07-08 600585 海螺水泥  
17 2019-07-08 600690 海尔智家  
18 2019-07-08 600703 三安光电  
19 2019-07-08 600837 海通证券  
20 2019-07-08 600887 伊利股份  
21 2019-07-08 601066 中信建投  
22 2019-07-08 601088 中国神华  
23 2019-07-08 601111 中国国航  
24 2019-07-08 601138 工业富联  
25 2019-07-08 601166 兴业银行  
26 2019-07-08 601186 中国铁建  
27 2019-07-08 601211 国泰君安  
28 2019-07-08 601229 上海银行  
29 2019-07-08 601288 农业银行  
30 2019-07-08 601318 中国平安  
31 2019-07-08 601319 中国人保  
32 2019-07-08 601328 交通银行  
33 2019-07-08 601336 新华保险  
34 2019-07-08 601390 中国中铁  
35 2019-07-08 601398 工商银行  
36 2019-07-08 601601 中国太保  
37 2019-07-08 601628 中国人寿  
38 2019-07-08 601668 中国建筑  
39 2019-07-08 601688 华泰证券  
40 2019-07-08 601766 中国中车  
41 2019-07-08 601800 中国交建  
42 2019-07-08 601818 光大银行  
43 2019-07-08 601857 中国石油  
44 2019-07-08 601888 中国国旅  
45 2019-07-08 601939 建设银行  
46 2019-07-08 601988 中国银行  
47 2019-07-08 601989 中国重工  
48 2019-07-08 603259 药明康德  
49 2019-07-08 603993 洛阳钼业

获取报价：

quotes = []
    ts.set_token('到网站https://tushare.pro/注册后就可以获得免费的token')
    start_date = '20100101'
    end_date = datetime.datetime.strftime(datetime.datetime.now(), '%Y%m%d')
    # 连续交易日时间序列
    date_range = pd.date_range(start=start_date, end=end_date, freq='B')
    dr = pd.DataFrame(data=date_range, columns=['trade_date'])
    for symbol in symbols:
        # 前复权
        df = ts.pro_bar(ts_code=symbol + '.SH', adj='qfq', start_date=start_date,
                        end_date=end_date)
        # 字符串转日期
        df.trade_date = df.trade_date.map(lambda x: datetime.datetime.strptime(x, '%Y%m%d'))
        # 与日期序列合并，使数据日期连续
        df = pd.merge(dr, df, how='left', on='trade_date')
        quotes.append(df)
        print(symbol)
    
    close_prices = np.vstack([q['close'] for q in quotes])
    open_prices = np.vstack([q['open'] for q in quotes])
    # The daily variations of the quotes are what carry most information
    variation = close_prices - open_prices
    # NaN值赋值为0，下面在调用GraphLassoCV的时候会报一些除0的RuntimeWarning，但是可以通过
    variation[np.isnan(variation)] = 0

做相关性分析

# #############################################################################
    # Learn a graphical structure from the correlations
    edge_model = covariance.GraphLassoCV(cv=5)
    
    # standardize the time series: using correlations rather than covariance
    # is more efficient for structure recovery
    X = variation.copy().T
    X /= X.std(axis=0)
    edge_model.fit(X)

聚类

# #############################################################################
    # Cluster using affinity propagation
    
    _, labels = cluster.affinity_propagation(edge_model.covariance_)
    n_labels = labels.max()
    
    for i in range(n_labels + 1):
        print('Cluster %i: %s' % ((i + 1), ', '.join(names[labels == i])))

输出结果：  
Cluster 1: 中国石化, 中国神华, 中国石油  
Cluster 2: 南方航空, 中国国航  
Cluster 3: 中信证券, 三一重工, 海通证券, 国泰君安, 华泰证券, 洛阳钼业  
Cluster 4: 保利地产, 华夏幸福, 海螺水泥  
Cluster 5: 复星医药, 恒瑞医药, 万华化学, 三安光电, 中国国旅  
Cluster 6: 贵州茅台, 海尔智家, 伊利股份  
Cluster 7: 工业富联, 药明康德  
Cluster 8: 浦发银行, 民生银行, 招商银行, 上汽集团, 兴业银行, 交通银行  
Cluster 9: 宝钢股份, 中国联通, 中国铁建, 中国中铁, 中国建筑, 中国中车, 中国交建, 中国重工  
Cluster 10: 上海银行  
Cluster 11: 农业银行, 工商银行, 光大银行, 建设银行, 中国银行  
Cluster 12: 中信建投, 中国人保  
Cluster 13: 中国平安, 新华保险, 中国太保, 中国人寿

把结果降维到2维平面：

# #############################################################################
    # Find a low-dimension embedding for visualization: find the best position of
    # the nodes (the stocks) on a 2D plane
    
    # We use a dense eigen_solver to achieve reproducibility (arpack is
    # initiated with random vectors that we don't control). In addition, we
    # use a large number of neighbors to capture the large-scale structure.
    node_position_model = manifold.LocallyLinearEmbedding(
        n_components=2, eigen_solver='dense', n_neighbors=6)
    
    embedding = node_position_model.fit_transform(X.T).T

可视化：

# #############################################################################
    # Visualization
    plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文
    plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
    plt.figure(1, facecolor='w', figsize=(10, 8))
    plt.clf()
    ax = plt.axes([0., 0., 1., 1.])
    plt.axis('off')
    
    # Display a graph of the partial correlations
    partial_correlations = edge_model.precision_.copy()
    d = 1 / np.sqrt(np.diag(partial_correlations))
    partial_correlations *= d
    partial_correlations *= d[:, np.newaxis]
    non_zero = (np.abs(np.triu(partial_correlations, k=1)) > 0.02)
    
    # Plot the nodes using the coordinates of our embedding
    plt.scatter(embedding[0], embedding[1], s=100 * d ** 2, c=labels,
                cmap=plt.cm.nipy_spectral)
    
    # Plot the edges
    start_idx, end_idx = np.where(non_zero)
    # a sequence of (*line0*, *line1*, *line2*), where::
    #            linen = (x0, y0), (x1, y1), ... (xm, ym)
    segments = [[embedding[:, start], embedding[:, stop]]
                for start, stop in zip(start_idx, end_idx)]
    values = np.abs(partial_correlations[non_zero])
    lc = LineCollection(segments,
                        zorder=0, cmap=plt.cm.hot_r,
                        norm=plt.Normalize(0, .7 * values.max()))
    lc.set_array(values)
    lc.set_linewidths(15 * values)
    ax.add_collection(lc)
    
    # Add a label to each node. The challenge here is that we want to
    # position the labels to avoid overlap with other labels
    for index, (name, label, (x, y)) in enumerate(
            zip(names, labels, embedding.T)):
    
        dx = x - embedding[0]
        dx[index] = 1
        dy = y - embedding[1]
        dy[index] = 1
        this_dx = dx[np.argmin(np.abs(dy))]
        this_dy = dy[np.argmin(np.abs(dx))]
        if this_dx > 0:
            horizontalalignment = 'left'
            x = x + .002
        else:
            horizontalalignment = 'right'
            x = x - .002
        if this_dy > 0:
            verticalalignment = 'bottom'
            y = y + .002
        else:
            verticalalignment = 'top'
            y = y - .002
        plt.text(x, y, name, size=10,
                 horizontalalignment=horizontalalignment,
                 verticalalignment=verticalalignment,
                 bbox=dict(facecolor='w',
                           edgecolor=plt.cm.nipy_spectral(label / float(n_labels)),
                           alpha=.6))
    
    plt.xlim(embedding[0].min() - .15 * embedding[0].ptp(),
             embedding[0].max() + .10 * embedding[0].ptp(), )
    plt.ylim(embedding[1].min() - .03 * embedding[1].ptp(),
             embedding[1].max() + .03 * embedding[1].ptp())
    
    plt.show()

结果即为文章开头的图片。

[50]: /images/20211211/21b29d37cacf464282bb097dcf80a344.png
[Visualizing the stock market structure]: https://scikit-learn.org/dev/auto_examples/applications/plot_stock_market.html#sphx-glr-auto-examples-applications-plot-stock-market-py
[https_tushare.pro]: https://tushare.pro/