带你看数据挖掘与机器学习-厦大EDP上课出勤预测

忘是亡心i 2022-01-14 06:53 237阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

# 带你看数据挖掘与机器学习-厦大EDP上课出勤预测 #

标签: 数据挖掘 特征工程 机器学习 出勤预测

write by xmhexi 2019/3/22

**内容提要**

首先说明本文是一篇科普文章，通过一个实际案例，帮助理解什么是数据挖掘、特征工程、机器学习等，文章中并不涉及详细的技术与参数。

本人刚刚起步初学，文章中均为本人的理解，有不妥之处，敬请指出。

文章中涉及的的姓名，电话等信息均做了模糊处理。

## 案例说明 ##

事情的开始很简单，我的EDP课程已经上了8次课了，在班级群里，老师发了一张上课出勤表，让大家核对。 出勤表大概长这个样子的：

![出勤表][17e755315532cd53b62d5984c256c9020da.jpg]

看着这张出勤表，我在想我们能做些什么呢？

能不能知道下次上课，谁会来，谁不会来，或者只来半天？

正好开始学习数据分析，那就用这些数据来做一个“上课出勤预测模型”吧，通过这些数据来最终预测下一次上课的出勤情况。

**预测目标：下节课所有同学的出勤情况。**

## 数据准备 ##

说干就干，首先要获取这些数据，把出勤表图片经过剪切、识别：

![图片剪切][4e15080505770f8ebeb2519f735df8f3872.jpg]

最终得到对应的数据：

![识别结果][ba11d51e1f2aa5667c0a235306537dec314.jpg]

同学们有没来上课，跟什么会有关系呢？

寻找“有没来上课”有关系的东西，并把这些东西变成数字，就叫做“特征工程”了。

接下来就来寻找这些特征了。

## 特征工程 ##

手上还有的资料就是同学录了，就从同学录入手。

![同学录][bb0b1934b1f910006138de728298ec4f668.jpg]

### **脱敏处理** ###

有些数据是比较敏感的，不适合到处传播，比如姓名，手机号，公司名称等，需要先进行一些处理，让这些数据可以使用但又不会被猜出来。

比如姓名就换成拼音的首字母，手机就保留前7位，公司名称就用序号来表示，其它的就可以删除了。

![脱敏处理][2af996c8aa2b8e434415c23d83c03742e2f.jpg]

### **班委** ###

都说“有担当 重责任”，担任班委职务是不是跟出勤有点关系？

![班委信息][48a393e44872a85b17dc38b5c0840b9d34a.jpg]

班委信息按级别，小组长是1，班长是4； 责任越大应该越会来上课吧？

### **性别** ###

都说男女有别，在决定去不去上课的时候，应该也是有差别的吧。

![性别][985bcf4fb413a9a01630136e005be68a4ac.jpg]

性别变成数字，女=0 男=1；

### **距离** ###

在哪里上班（公司地点）；离学校远不远？ 外地的同学来上课肯定是阻力重重啊。

这个特征可以从公司名称查到公司地址，为了省事，我就用手机查询到手机号所的省、市。

![手机号查询][b16661d6c666fc6cd8df49671e308f2a47c.jpg]

先导入手机归属地数据，然后查看下同学们的手机所在地的情况：

![手机1][1]

![手机2][2]

根据手机所在的省和市，把同学们离学校的距离分成了4种类型： 本地的，周边的地区的，本省的；外省的；

![手机3][3]

### **职务** ###

同学在公司的职务级别会不会影响来上课？ 越是领导越忙，肯定有关系呢。

看一下有哪些职位：

![公司职位][59921966889545f2e7298dd57c6f340eb45.jpg]

职位太杂了，做下归类：

![职务分布][0bc4205ed10ee34072264e99864e1df09f9.jpg]

可以看出，大多同学都是经理和总监级别。

最后归成几类数字越大，级别越高：

![职位归类][93bbd2e557912c8f03a2bfdccf906a753b6.jpg]

### **结伴同行** ###

都说“青春做伴好还乡”，同一个公司如果同时有几个伙伴一起来上课，那来上课的干劲应该高一点。

先看看各个公司派出伙伴的情况:

![伙伴人数][a05e4e36383b53924f03e70d53ff4a73db0.jpg] 可以看出大多公司都是1个小伙伴，最高的有10个小伙伴。

最后按照派出小伙伴的数量高低分成5个级别：

![伙伴索引][bacd75e1ddcf3751a7a3e26c8a34e6a4cd2.jpg]

### **星座** ###

都说处女座的做事特别不一样，脑洞大开一下，如果找到同学的星座信息，这也可能成为影响来不来上课的因素！

![星座1][1 1]

找到班级同学过生日的信息：

![生日][e5ebaf001daa62091d1d414f4e645f0fcc3.jpg]

对应计算出同学属于哪个星座，变成一个数字：

![星座处理][3578af09b4a11499ba93f4ea54e3d4af506.jpg]

### **天气** ###

天气会不会影响来上课的决定？ 有可能噢。

上网找出了所有上课日期对应上课地点的天气情况。

![天气][c0cae013c016a9b4a52fc31ed9b49e48a8f.jpg]

不过这个特征没有加进去，留做以后再处理吧。

### **合成数据** ###

找了这么多东西，最终得到了一些数据，把每个同学每节课的出勤情况做为一条记录，得到了1104条数据。

![合成数据][1c17b001abe97bbe54c4268563b6adef4b1.jpg]

## 数据模型 ##

上面找了这么多影响上课的因素（特征），到底哪些因素有关系，怎么样的关系呢，这个不用我们操心，建立一个数据模型就可以自动计算了。 我用了一个最简单的“决策树模型”,并进行“训练”，其实就是得到这些参数对结果的影响。

![模型][3d6595a925b21402e527f9a8e9ff32de542.jpg]

训练完成后，对已知的数据进行测试验证，看下准确度有多少：

![测试集][01f2cac3d9305e3ab378faf7725cbb07a1e.jpg]

哈哈，还不错哦，准确率有80%，也就是说用这个模型去预测未来，有8成的准确率。

那就用这个模型来计算下所有同学下一次上课的出勤情况，看下谁来谁不来，这个就叫“预测”：

![预测数据预测][8ca622dc2279a1a7992e5806ddd27ceace2.jpg]

预测完了是一堆的数据，为了好看，要处理成对应的格式：

![生成预测结果][be1b2a8e8b84c1d12acb8d767aef211cbfd.jpg]

怎么看数据呢？这张图中最后面的表格：

name\_py就是同学的姓名拼音首字母；

"C9-1","C9-2"分别是下次上课的两天课程；

“1.0"表示这位同学来上课；

“0.0”表示这位同学不来上课；

“0.5"表示这位同学来上半天后就走了（嘻）；

## **完整的预测结果** ##

为了方便同学位查一下预测结果里自己来不来，我把所有的预测结果放在下面，重申一下：结果是预测出来的，准确度有限，权当游戏一把，别当真！

name_py,C9-1,C9-2
    CXF,1,1
    CDL,0,0
    CMS,1,1
    CQL,0,0
    CYF,0,0
    CZY,1,1
    DX,1,1
    FCX,1,1
    FJT,0,0
    FRK,0,0
    FZY,1,1
    FPP,1,1
    GQH,1,1
    GBS,1,1
    HLM,0,0
    HSJ,0,0
    HX,1,1
    HQJ,1,1
    HHD,1,1
    HHS,0,0
    HTY,0,0
    HYL,1,1
    KZT,1,1
    KYP,1,1
    LFL,0,0
    LWJ,1,1
    LXH,0,0
    LBC,1,1
    LJG,1,1
    LLH,1,1
    LPH,0,0
    LSJ,1,1
    LYF,1,1
    LBR,1,1
    LGQ,0,0
    LKC,1,1
    LDF,1,1
    LSB,1,1
    LSF,0,0
    PDZ,1,1
    PSZ,0,0
    QWH,1,1
    QXH,1,1
    SGZ,0,0
    SYP,1,1
    WJP,1,1
    WXM_188,0,0
    WYJ,1,1
    WZ,1,1
    WQL,1,1
    WXM_155,1,1
    XGC,1,1
    XYH,1,1
    YXB,1,1
    YCP,1,1
    YQX,0,0
    ZH,1,1
    ZJQ,0,0
    ZSC,1,1
    ZXY,1,1
    ZY,1,1
    ZWJ,0,0
    ZLF,0,0
    ZWF,1,1
    ZYQ,1,1
    ZQH,0,0
    ZJW,1,1
    ZYN,0,0
    ZLJ,1,1

特别注明：有两位同学的拼音都是WXM，所以用手机号前3位附在后面以示区别。

*调整模型后重新更新了预测数据，最后更新时间：2019.4.1*

## **结束语** ##

当然，上面的数据中还可以分析出很多有价值的信息；还可以使用更为复杂的模型，来做出更加准确的预测。

从开始有想法到完成整个项目，花了很多时间和精力，毕竟是本人首个完成的实际案例。

在此过程中要感谢EDP老师、同学提供了这么好的素材；

感谢QQ群里为我提供帮助的小伙伴们；

还要感谢我的家人和同事，提供了让我完成的时间与环境，谢谢你们！

## **后记** ##

关于案例还是有些内容想要补充一下：

**模型优化**

上面文章中提到，这个模型的准确度只有80%,好象不太准。 还需要对模型进行优化，有几个方向：

*  对模型的参数进行调整，也就是常说的“调参”
 *  再挖掘数据中更多的特征点；
    
    本文中可以挖掘的特征点还很多，比如：
    
    “上课时间是在一个月的什么时间，上旬中旬还是下旬？”
    
    “有没有连续不来上课的记录或者是请假的记录？”
    
    “对于外地游学这个课程，重要程度比其它课程高。”
    
    “同一次课程里，第二天来上课与第一天有点不同。”
    
    “在公司是从事哪个部门，技术、人力还是销售？”
    
    “所在的公司是哪个行业，生产型还是互联网？”
 *  使用不同的模型来做训练，并做对比；
 *  扩充数据，看看其它班级还有数据加进来，让数据更丰富；

**视野**

“当你知道的越多，未知的也会越多。”

分析完数据后，能带给我们什么呢，除了预测结果以外，其实还可以分析训练完的模型。

模型中每个因素（特征）都有一个对应的系数，表示它对结果的影响程度，有的因素（特征）的系数比较大，属于关键因素（关键特征）。从模型里可以看到，哪个因素（特征)对结果的影响比较大。

这就为我们提供了控制结果的可能性，只要控制好这些核心因素，就能对最终的结果产生想要的影响。例如：

*  在上面案例中，如果我们发现“离学校的距离”，“公司职位的高低”是影响“出勤率”的关键因素，那么在招生时进行优化，老师也可以对这些学生给予特别的关注。
 *  如果在“用户下单预测模型”中发现，“有没有咨询过客服”是“最终下单”这个结果的关键因素之一，那么就可以通过“主动发起”等动作来促进用户下单。

转载于:https://my.oschina.net/u/1156588/blog/3026038

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220114/cafc60e3743c4827993ebaa6fd20f3e8.png
[17e755315532cd53b62d5984c256c9020da.jpg]: /images/20220114/248fe9b2725d45d28d7f0441a90b3aeb.png
[4e15080505770f8ebeb2519f735df8f3872.jpg]: /images/20220114/3868229d8e954248b1d711c29eb7f021.png
[ba11d51e1f2aa5667c0a235306537dec314.jpg]: /images/20220114/2d2fad6d766545f09dbfb8941aa695f1.png
[bb0b1934b1f910006138de728298ec4f668.jpg]: /images/20220114/e1a0ce55a3b74a5ba5b53138de76e0d2.png
[2af996c8aa2b8e434415c23d83c03742e2f.jpg]: /images/20220114/859830ab03db424d8b50acd90159033c.png
[48a393e44872a85b17dc38b5c0840b9d34a.jpg]: /images/20220114/8c61bb21bf504a0d9fb3c45605196d13.png
[985bcf4fb413a9a01630136e005be68a4ac.jpg]: /images/20220114/06017cc36b29475691477ea41ae3d7e1.png
[b16661d6c666fc6cd8df49671e308f2a47c.jpg]: /images/20220114/cb98e2caddbd4074a7faff7d94627f0d.png
[1]: /images/20220114/5cbed51ed38c4b9eb37abfa7616e02f4.png
[2]: /images/20220114/ce53a77def9a4e719cb5c77d7a65c7aa.png
[3]: /images/20220114/edc726c9434541a49c1d1989193164d4.png
[59921966889545f2e7298dd57c6f340eb45.jpg]: /images/20220114/6c222ca9e0704a358ff06a1ef6b8dd3e.png
[0bc4205ed10ee34072264e99864e1df09f9.jpg]: /images/20220114/b31bcd74db534c2f885959cc5a85d397.png
[93bbd2e557912c8f03a2bfdccf906a753b6.jpg]: /images/20220114/330787fc389643caa4707f2585a20130.png
[a05e4e36383b53924f03e70d53ff4a73db0.jpg]: /images/20220114/655dd7fdc9754e89a2cd35250c0251c0.png
[bacd75e1ddcf3751a7a3e26c8a34e6a4cd2.jpg]: /images/20220114/5d63fd9f8ba6486a9de5d08b6e1a8ad3.png
[1 1]: /images/20220114/2222c94a34b641b4a6b615e29431beaf.png
[e5ebaf001daa62091d1d414f4e645f0fcc3.jpg]: /images/20220114/ef8bc85d5e0a4bf09f8b6729d5bd8701.png
[3578af09b4a11499ba93f4ea54e3d4af506.jpg]: /images/20220114/0223b463e0214b2897ad4ef6991e0b11.png
[c0cae013c016a9b4a52fc31ed9b49e48a8f.jpg]: /images/20220114/44b16d16bdf843e989df55446988f8e8.png
[1c17b001abe97bbe54c4268563b6adef4b1.jpg]: /images/20220114/4dcf762f61dc44f2a44e081b234970e4.png
[3d6595a925b21402e527f9a8e9ff32de542.jpg]: /images/20220114/691955d2465f4406830c4e00de6a24b1.png
[01f2cac3d9305e3ab378faf7725cbb07a1e.jpg]: /images/20220114/358f966bae14407cb89ff4cbb0d950a5.png
[8ca622dc2279a1a7992e5806ddd27ceace2.jpg]: /images/20220114/2425180b700a49febb6aa3dae8e7d6ec.png
[be1b2a8e8b84c1d12acb8d767aef211cbfd.jpg]: /images/20220114/3db81c2ee77c424583a8de685c3ef829.png