spark学习习惯

川长思鸟来 2022-05-11 12:03 188阅读 0赞

spark常常是构建实时流项目来进行计算，在平时的学习和重点提高上面不是很方便，那么如何更加高效的学习spark呢？

首先要是想高效，就得分段，这类似于项目开发中的组件化

总结下flume+kafka+spark+mysql/hbase/redis运行方案：

1.flume接受数据，输出数据

2.kafka接受flume数据，转送到spark上

3.spark接受kafka数据，处理数据，输出到mysql/hbase/redis

现在我们只是想提高下spark在数据处理上的应用（sparkSql, sparkML,sparkGraph.....）

这时不妨将spark接受的数据固定存储，比如一个csv文件， 存放在项目的根目录，这样简化了接受数据的过程

spark输出数据也可以进行简化，比如一般我们都会输出到mysql/hbase/redis,这时简化输出到控制台就行了，所以思路就是：

读取本地文件（txt,csv....）---->spark处理----->打印到控制台

这种非商业化使用的思路也是一般训练的思路，比如matlab , tensorFlow处理流程类似！

spark处理简化需求，由于spark本身内容比较多，包括sql,ml等等，再加上scala相比python学习起来要复杂点（比如对DataSet ,RDD, DataFrame操作），所以spark的学习也必须清晰化

利用组件化思想（其本身也是抽象和分解的实现）+步骤测试（为什么不叫单元测试，集成测试，因为这里测试的可能就俩行）

如何组件化处理+步骤测试呢？

spark处理：

1.读取本地文件， 那么组件化就是能做到读取各种文件---》验证（输出读取到的文件）

2.建议数据格式转换（一般都有这种需求，虽然数据前期经过了清洗存储，但spark分析的也不是所有的数据），组件化比如：如何处理dataFrame这种类型的数据 ，打乱数据（代理变位）等  ---》验证（输出转换后的数据）

3.sparkSql处理：初始化---》使用一点 --》验证（输出处理后的数据）---》使用一点---》验证（输出处理后的数据）

4.sparkMl处理 ：初始化---》使用一点 --》验证（输出处理后的数据）--》使用一点 --》验证（输出处理后的数据）

辅助技巧：

像dataFrame, dataset ,RDD等许多类型的变量都有show  方法，将数据打印出来，这在验证中常常被使用

如何打乱数据（代理变位）？ 举个实际中的例子，我们租房子的时候喜欢找中介，由中介根据我们的需求找到合适的房子，这里的中介就能理解为代理， 代理这种思想在现实中应用很广泛， 当然在设计模式中的代理模式也是类似的思想，打乱数据，首先为每个数据元素随机生成一个数（random实现），组成的数据类型在python 和scala中加元组， 然后对每个数据元素的随机数进行排序，看，这样不就打乱原有的数据了吗

发表评论取消回复

表情：

评论列表（有 0 条评论，188人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark学习5：spark-shell

1.spark提供了交互式接口 spark-shell spark-shell 实现了用户可以逐行输入代码，进行操作的功能。即可以不像Java一样，编写完所有代

た入场券/ 2023年01月22日 09:49/ 0 赞/ 16 阅读

相关 spark学习4：spark安装

1.下载spark安装包 2.配置环境 1.cd /bigdata/spark-3.0.1-bin-hadoop3.2/conf/ 2.4.添加动态库

以你之姓@/ 2023年01月22日 03:52/ 0 赞/ 59 阅读

相关 spark 学习笔记

spark 学习笔记《spakr快速大数据分析》书中例子是以spark1.2为基础写的。第二章启动 ipython `PYSPARK_DRIVER_P

朴灿烈づ我的快乐病毒、/ 2022年07月13日 08:11/ 0 赞/ 207 阅读

相关 spark学习习惯

spark常常是构建实时流项目来进行计算，在平时的学习和重点提高上面不是很方便，那么如何更加高效的学习spark呢？首先要是想高效，就得分段，这类似于项目开发中的组件化

川长思鸟来/ 2022年05月11日 12:03/ 0 赞/ 189 阅读

相关大神的学习习惯

一直以来伴随我的一些学习习惯(part3) By 刘未鹏(pongba) C++的罗浮宫(http://blog.csdn.net/pongba) TopLanguage

超、凢脫俗/ 2022年03月15日 04:34/ 0 赞/ 229 阅读

相关 Spark学习（4）-Spark SQL（2）

目录： 1. Spark SQL 使用 1. 反射推断模式 2. 用户自定义模式 3. 两者对比 2. Spark SQL 数据源

拼搏现实的明天。/ 2022年03月14日 13:34/ 0 赞/ 230 阅读

相关 Spark学习（3）-Spark SQL（1）

目录： 1. Spark SQL发展历程 2. Spark SQL性能 3. DateFrame介绍 4. Spark RDD SQL 简单使用一.Spa

Dear 丶/ 2022年03月14日 08:44/ 0 赞/ 220 阅读

相关 Spark学习（5）- Spark Streaming

目录： 1. Spark Streaming简介 1. 概述 2. 工作原理 3. 离散流 DStreams 2. Spark S

缺乏、安全感/ 2022年03月12日 03:16/ 0 赞/ 307 阅读

相关 Spark学习

Spark是什么 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。

ゞ浴缸里的玫瑰/ 2022年03月10日 14:49/ 0 赞/ 183 阅读

相关 Spark学习之路 Spark分区

一、分区的概念　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计

一时失言乱红尘/ 2022年01月05日 09:25/ 0 赞/ 305 阅读