通过淘宝，大白话讲解大数据各个方向的分工

ゞ浴缸里的玫瑰 2021-09-30 23:34 299阅读 0赞

> 本文公众号来源：大数据肌肉猿 作者：无精疯
> 
>   
> 
> 
> 最近也开始接触大数据相关的东西，看到这篇文章非常通俗易懂地讲解了大数据究竟是干嘛的，推荐阅读！  
> 
> 
>   
> 
> 
> （本文由虐狗的嫌疑，放下40米长刀再食用！）

**大纲：**

**一、写作背景**

**二、开始淘宝**

2.1 推荐系统（导购员）

2.2 大数据平台开发（店里监控布局）

2.3 实时计算（收银员）

2.4 数据仓库（储物间）

2.5 数据分析（店长）

2.6 离线计算（会计）

2.7 数据挖掘（精算师）

**三、总结**

**一、写作背景**

1.总跟女票说我是做大数据的，女票也跟她朋友说我是做大数据的，但一问是啥，我跟我女票解释了半天她都没听懂，她也不知道怎么跟她朋友说。最好的解决方法是换女票，当然这是不存在的，想都不会想也不敢想。于是乎说**写篇她看完也能知道大数据的文章给她。**

2.下次要是有人问你大数据开发是什么，希望你能把这篇文章分享给他。

**二、开始淘宝**

**2.1 推荐系统（导购员）**

一打开女票的手机淘宝页面，就发现推荐栏叫我女票换包。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

推荐商品栏以及热搜和搜索框中的内容，都是根据你定制的。你最近经常搜的物品和浏览的东西都被记录起来，然后被贴上标签。**像我女票应该是被贴上「小仙女」、「时尚」、「少女」等标签，下次的女神节，情人节等节日活动的对象就是他们。**

这个就是大数据中的推荐系统，专门猜你喜欢，类似导购，提高你的购买率。

**2.2 大数据平台开发（店里监控布局**）

那么数据是怎么被记录的？被记录的又是什么数据？

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

**你的昵称，设备IP，浏览的足迹，每个商品停留的时间，浏览的时间段都是后台要采集的数据。**

**首先我们搭建一个平台，专门去定制收集数据的手段以及采取的策略和存放这些数据的地方，这就是大数据平台的搭建。**类似你在你店里布置了监控探头，录音等设备，然后有其他店员通过这些设备帮你观察消费者的言行举止等等行为。

**2.3 实时计算（收银员）**

当你在浏览商品的时候，你会发现旁边会有实时的推荐，如下图：

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

这是因为你在浏览商品的过程中数据不断被收集，然后被投放到上述的推荐系统中。但是那些用户名，商品等信息不一定都是规则的，有可能是数字，有可能是符号。所以我们这边要有一个程序员，**专门负责实时的处理这些数据，把这些数据处理成有规则的，并存储到数据仓库中。**至于为什么这样做，下面会解释。

**这个过程就是大数据的实时计算，它具有时效性，就是不能停，立刻马上做出响应的。**把它比喻成收银员就是为了突出实时，别人要结账你得立即做出响应。

**2.4 数据仓库（储物间）**

**前面提到了数据仓库，顾名思义，存储数据的仓库。**在我们一些工厂或者企业的仓库里，我们通常都会**按循序、分类放好我们的物品，要制定规则，哪些能放，哪些不能放，哪些需要处理之后才能放。比如说你要放一个柜子，可能不能放，但你如果把它拆成木板就可以放，等要用的时候要拿这些木板去组装就行。**

所以才有上述的**实时计算，因为它要遵守数据仓库管理员制定的规则，将数据按照规格处理好才能进行存放。**

**2.5 数据分析（店长）**

当你从淘宝给你推荐的商品挑选出你喜欢的之后，点击直接购买并付款。淘宝系统会生成一条你订单的数据到数据库里面，上面会有你的收件地址、联系方式、商品信息、数量等。

而这些数据有什么用呢？你可能会想说，留底当凭证啊。对的，不过不止这个作用。

举个例子：马云开会说：我要看一下这十年的内衣销售明细，各个地区的销售情况。这时候有个部门就要去整理出这些报表了，那就是数据分析部门，**他们要从海量的数据中去分析这些指标，并整理成报表给马老板看。**

马老板看了这些数据之后，得出一个结论：**「浙江女性胸部全国最小」**。然后呢？肯定是以后往浙江多进一些小码的内衣，以增加销售量，然后可能再顺带卖点木瓜什么的。

**这就是数据分析带来的好处，为我们公司的高层提供决策上的支持。**

**2.6 离线计算（会计）**

不对啊，十年的数据量，能说查就查吗？数据量得多大啊！没错，不可能说要什么数据立马就能查出来的。最理想的方案就是：**当天结束就计算当天的指标，把销售额，地址什么的统计好，然后每星期再统计一下，每个月再统计一下，以此类推。那算十年不就分分钟的事？**

对的，那这些事情谁来做呢？当然是我们离线计算工程师。**离线计算顾名思义，实时计算的对立方，我们做的是幕后工作。可以将实时计算工程师想象为收银员，每个顾客买单时都得结账并打印发票什么的，不能拖延。离线计算则是会计，每天下班之后看着账单点数，看看今天哪些东西各卖多少。可以慢悠悠地算一个晚上，数据对就行，没人在乎你算了多久。**

**2.7 数据挖掘（精算师）**

那这些处理好的数据不能光存着啊，得挖掘出它的价值。**没错，根据这些订单数据，我们能推测出未来商品的一个销售走势，哪个地区需要投放哪些商品，这就是数据挖掘。**数据挖掘相当于我们企业的精算师顾问，他会从你已有的数据去分析你之后的走势，给你提供一些有价值可供参考的建议。

**我们要给数据挖掘系统投放有价值的数据，它类似我们人脑，输入的数据越有价值和参考性，预测的结果越准，否则只会误导。**

**三、总结**

好了，通过以上步骤，**淘宝更懂我女朋友了**，它会推送更多符合我女票的胃口的商品，然后下单之后的数据会帮助那些商家投放更多种类的商品到该地区，选择更多了，**我女朋友也更喜欢在淘宝购物了。**

推荐阅读：

*  [《大型网站系统与Java中间件》读书笔记 （二）][Java_]
 *  [面试官:“谈谈Spring中都用到了那些设计模式?”。][Spring]
 *  [【吐血推荐】什么是领域驱动设计？DDD？][DDD]
 *  [基础：为什么计算机只认识0和1？][0_1]
 *  [面试题：你的Redis怎么持久化的][Redis]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

**200多篇** **原创** **技术文章** **海量视频资源** **精美脑图** **面试题**

**长按扫码可关注获取**

欢迎关注![640?wx\_fmt=png][640_wx_fmt_png]点个再看![640?wx\_fmt=png][640_wx_fmt_png 1]

[640_wx_fmt_jpeg]: /images/20210827/429107806d4641388cb487f600aa66a5.png?wx_fmt=jpeg
[640_wx_fmt_jpeg 1]: /images/20210827/38fa374dba634b718b2958641f03f429.png?wx_fmt=jpeg
[640_wx_fmt_jpeg 2]: /images/20210827/face520410d845f4a789d5b1f3bf501a.png?wx_fmt=jpeg
[Java_]: https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247485332&idx=1&sn=d5124382dd89c6f0b724d3feac001d34&chksm=ebd74695dca0cf83a5a412faabd5fb7099fe2e8b1d425170d66b7bf77190a00572c78210c53b&token=323270755&lang=zh_CN&scene=21#wechat_redirect
[Spring]: https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247485324&idx=1&sn=c1ee95e48a9554e5e02314e1563d2137&chksm=ebd7468ddca0cf9ba59f0196031b1c2842a4b1affd38d20519c481dc2bee3318d660f1f06479&token=2042355911&lang=zh_CN&scene=21#wechat_redirect
[DDD]: https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247485322&idx=1&sn=6676735b2d3eb5ba01628626affb9e19&chksm=ebd7468bdca0cf9d17d036cbd84768d52fb8c7c1fb7a7527b9390b58d667250aba1a052c9ace&token=2042355911&lang=zh_CN&scene=21#wechat_redirect
[0_1]: https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247485320&idx=1&sn=26b7d46a1c2ca32e9d4ef981d39594bd&chksm=ebd74689dca0cf9fd2f6534045a5080abba0a922f804022cd59b79aef73db236b4d8c77922e3&token=2042355911&lang=zh_CN&scene=21#wechat_redirect
[Redis]: https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247485316&idx=1&sn=0e9977c178b29f8f71405d29d8d2aa35&chksm=ebd74685dca0cf9356183ab6571bd15860c0fc80b4c1fcf19aa9b799d28a4c4c58976a8651ba&token=2042355911&lang=zh_CN&scene=21#wechat_redirect
[640_wx_fmt_jpeg 3]: /images/20210827/99871c208267426bb20369eb05fef162.png?wx_fmt=jpeg
[640_wx_fmt_png]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_png/iaIdQfEric9TxAghDEtyL0yGWb5bwkkbojspAFsIK81p9GbZ7ibpE1PM7HSBxvSm0BjwYa4v6JIlMIhYMMEDeOdUg/640?wx_fmt=png
[640_wx_fmt_png 1]: /images/20210827/b11865d175514f06ae7b35f78335991d.png?wx_fmt=png