终于有人把大数据讲明白了

我会带着你远行 2022-12-24 05:51 297阅读 0赞

![format_png][]

**导读：**我们将从大数据的概念、核心技术、特点、通用应用这4个方面对大数据进行阐述。

作者：王健宗 何安珣 李泽远

来源：大数据DT（ID：hzdashuju）

![format_png 1][]

**01 大数据概念**

数据发展推动科技进步，海量数据给数据分析带来了新的机遇和挑战。大数据是一种强大到在获取、存储、管理、分析方面远远超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和较低的价值密度这四大特征。

于是，**我们需要新的处理模式来实现更强的数据处理能力以应对多样化的信息资产。**

大数据技术追求的不是精确性的样本数据，而是面向全体的数据，这部分数据可能是不精确的、非结构化的，但大数据技术正是利用这些之前未被利用的数据，创造新的价值。

从海量数据中获得的数据处理结果可能是超乎我们的认知逻辑的，但是我们并不需要理解结果背后的因果关系。简言之，**我们需要用相关思维替代因果思维。**

**02 大数据核心技术**

大数据在信息系统的生命周期中，从数据源到最终产生有价值的可视化信息，主要经历**6个步骤**，分别是**数据收集、数据存储、资源管理与服务协调、计算框架确定、数据分析和数据可视化**，此过程涵盖了海量分布式系统、数据库、并行计算框架、数据挖掘等方面的技术。

图2-1罗列了大数据技术中各个步骤目前所对应的主流技术体系，大数据的相关技术日新月异、层出不穷，由于篇幅限制，不再一一列举。

![format_png 2][]

▲图2-1 大数据的主流技术体系

**03 大数据特点**

大数据具有海量的数据规模、快速的数据流转、多样的数据类型和较低的价值密度这四大特征，下面将分别进行详细阐述。

**1. 海量的数据规模（Volume）**

大数据所采集、存储和计算的数据规模都非常大。随着互联网的广泛应用，使用互联网的人和企业等增多，数据的创造者变多，数据量呈几何级增长。近年来，随着数据维度变多、数据类型增加、数据的描述能力增强，数据可以传达的信息也越来越多，越来越准确。

**2. 快速的数据流转（Velocity）**

大数据不仅增长速度快，处理速度也快，有很强的时效性。在信息时代，人成为网络的核心，每个人每天都在制造新的数据，这些数据再被相应的机构如政府、互联网企业、银行、电信运营商等收集，形成了一个个庞大的数据体系。

面对如此庞大的数据体系，处理数据并得到结果的速度越快，数据的时效性就越强，价值就越高——而大数据和传统数据挖掘最大的区别也在于此，**大数据更强调数据处理的实时性和时效性。**

**3. 多样的数据类型（Variety）**

大数据的种类和来源多样化，多样的数据为数据处理带来了挑战。在数据结构上，大数据可以分为结构化数据、半结构化数据和非结构化数据；在具体形式上，大数据可以分为视频、音频、图像、博客、社交网络、互联网搜索等。大数据迎接的挑战就是要针对这些结构不一、形式多样的数据，挖掘其中的相关性。而这些前所未有的、来自各个领域的、不同形式的数据，赋予了大数据强大的威力。

**4. 较低的价值密度（Value）**

大数据的价值密度相对较低。数据的价值密度和数据的规模呈反相关，数据的规模越大，数据的价值密度越低。**大数据最大的价值即在于从大量低价值密度数据中挖掘出对分析和预测等有价值的信息。**

相较于传统数据挖掘利用结构化的数据类型，大数据把目光也投向了非结构化的、非抽样的、包含全体的数据类型。这为大数据带来了更多的有效信息，但同时也增加了大量无价值的甚至是错误的信息。

![format_png 3][]

**04 大数据的通用应用**

大数据已经渗透到了全世界市场中的各个领域，彰显着巨大的价值，其在各个领域的详细应用情况如下。

**1. 金融领域**

大数据在金融领域应用广泛，如针对个人的信贷风险评估，银行根据用户的刷卡、转账、微信评论等数据有针对性地推送广告；理财软件通过大数据为客户有针对性地推荐理财产品。总结来说，大数据在金融领域的应用可以概括为精准营销、风险控制、效率提升、决策支持。

**2. 医疗领域**

医疗行业拥有大量的病例、检测记录、药物记录、治疗结果记录等，这些数据中蕴含着巨大的价值，如果可以加以利用，将对医疗界产生不可估量的影响。疾病确诊和因人而异的治疗方案设定是医疗领域的重大问题，大数据可以帮助建立针对疾病特点、病人状况以及治疗方案的数据库，为人类健康贡献巨大的力量。

**3. 生物领域**

各国研究人员正如火如荼地推进着人类基因组计划，这促进了生物数据的爆发式增长。基因检测可以帮助人们对自己现在的以及未来的健康状况有更深刻、全面的认识，甚至可以帮助父母在宝宝出生前就对其健康状况进行检测。因此，人类基因组计划是未来人类战胜疾病的重要工具。

**大数据可以整合已有的人类基因的检测结果并进行分析，加速人类基因组研究的进程。**

**4. 零售领域**

零售行业可以利用大数据了解顾客的消费偏好和趋势，用以商品的精准营销和相关产品的精准推销，降低运营成本，提高进货管理和过期产品管理效率。大数据可以帮助零售商预测消费者需求趋势，更高效地提高供应链满足需求的能力。对大数据带来的潜在信息的挖掘和有效利用，将成为未来零售领域的必争之地。

**5. 电商领域**

电商行业的数据集中、数据规模大，**可以利用大数据在很多方面进行有效信息的分析提取，如用户消费趋势、地域消费特点等。**

电商领域中的大数据应用已经颇具规模，电商也是最早利用大数据进行精准营销的行业。电商可以根据顾客消费习惯提前备货以提高商品送达效率，还可以通过对客户浏览、收藏、加入购物车和购买记录等数据的分析，对用户进行有效的商品推荐，提高销量。

**关于作者：王健宗**，博士，某大型金融集团科技公司资深人工智能总监、高级工程师，中国计算机学会大数据专家委员会委员、高级会员，美国佛罗里达大学人工智能博士后，曾任美国莱斯大学电子与计算机工程系研究员、美国惠普公司高级云计算解决方案专家。

**何安珣**，某大型金融集团科技公司高级算法工程师，中国计算机学会会员，中国计算机学会青年计算机科技论坛（YOCSEF深圳）委员。拥有丰富的金融智能从业经验，主要研究金融智能系统框架搭建、算法研究和模型融合技术等，致力于推动金融智能的落地应用与价值创造。

**李泽远**，某大型金融集团科技公司高级人工智能产品经理，中国计算机学会会员，长期致力于金融智能的产品化工作，负责技术服务类的产品生态搭建与实施推进。

本文摘编自《金融智能：AI如何为银行、保险、证券业赋能》，经出版方授权发布。

延伸阅读《金融智能》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**这是一部讲解如何用AI技术解决银行、保险、证券行业的核心痛点并帮助它们实现数智化转型的著作。作者从金融智能一线从业者的视角，深入剖析了传统金融行业的痛点与局限，以及金融智能的特点与优势，阐明了人工智能等技术在金融业的必要性，并针对金融智能在银行、保险和证券业的诸多应用场景，给出了具体解决方案。

![音符][format_png 4]

**划重点????**

**干货直达????**

*  [盘点谷歌、Facebook和IBM的重磅AI项目][Facebook_IBM_AI]  
    
 *  [为什么微服务化、数据仓库都不是中台？][Link 1]  
    
 *  [Python条件判断语句详解：if、else、switch都有了][Python_if_else_switch]  
    
 *  [终于有人把前台、中台、后台都讲明白了][Link 2]

**更多精彩****????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都完成了这个神操作

**????**

![format_png 5][]

![format_png 6][]

[format_png]: /images/20221120/594c9adf494e4d4ca95effefef6edebb.png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9MU09qeWliNWdpYVZlWHVaVm9CUDdpYWdvY3BpYk5yVXdiWG5DZ084cWVNSFR6bmJua1ZYckV3T3ByRnBpYVhZR1lranBteWdhbERSNkZvdDg4Vm9ON2pDajVBLzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZlWHVaVm9CUDdpYWdvY3BpYk5yVXdiWG5VeVlKSDJ3SEhpYTRkUE1uSk5MU1phN3d1SHQySXQwWnhNY3VaY3pBVkl2d2xCZFo0RWliNnVXdy82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9MU09qeWliNWdpYVZlWHVaVm9CUDdpYWdvY3BpYk5yVXdiWG5Na2c5bXRBN3NGUmlhZmliS0FXTE5EdkxrdkFuNm51dmlhRkVWT1lYWmlieWNvQzY0WjE4SEpBMG9nLzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6L2NaVjJoUnB1QVBpYUpRWFdHeUM5d3JVeklpY2liZ1hheXJnaWJUWWFyVDNBMXl6dHRidGFPMEpsVjIxd01xcm9HWVQzUXRQcTJDN0hNWXN2aWNTQjJwN2RUQmcvNjQw?x-oss-process=image/format,png
[Facebook_IBM_AI]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc252dbfb4b449f755d0cc64b2e59cc00f39bf731955cbb41be547acba42a81ac77a2ab46&idx=3&mid=2247519166&scene=21&sn=7ec7bd8d4abc4e2cf535d88a020a0ba7#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc26adbfb4b7c5335d35fb8c494a08ba18ebdb76ecc999741c33a60c4031878df046e846b&idx=2&mid=2247519110&scene=21&sn=d6f419ad47ea5c577efe7efc2af28e51#wechat_redirect
[Python_if_else_switch]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc29bdbfb4b8d2ca1e39cc73c788aa0bf5601e3119864db73d44e73dac443f3035f46c15d&idx=2&mid=2247519095&scene=21&sn=d594eeeaf791ba537733720e33cfc9df#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc378dbfb4a6ef9d2350e303bef186b48ced3ff1987d7f483c7978c413b7cb6b229b76289&idx=1&mid=2247518868&scene=21&sn=b76dd996ce868ec05174dab8aa87e688#wechat_redirect
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9MU09qeWliNWdpYVZkUFFyOEtxQllFaHlvS2RNc2cwRWxPRjFrMmVOd2dpY2NnanBWbmNWaWJzRGljUk9pY2p2SVpTRndPR0FkM250UzNYQWlhS1U3ME1QSW0wVncvNjQw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkR2JGdk8wSXRRRDFkM29GaWNPc0hMNFZ6WDFqOHpHTExTaWEzWm9EcHBhRldBRUFZM2VPamlhSkZSZnpaR3BCNXEzendLRlNVb2JMekhnLzY0MA?x-oss-process=image/format,png