发表评论取消回复
相关阅读
相关 Spark 原理详解 整理
Hadoop缺陷: 基于磁盘,无论是MapReduce还是YARN都是将数据从磁盘中加载出来,经过DAG,然后重新写回到磁盘中 计算过程的中间数据又需要写入到HDFS的临时
相关 【Hadoop/Spark】Hadoop、Spark安装详解
前言 之前有安装过Hadoop,最近想学学spark,因为spark需要和Hadoop版本统一,索性就卸了Hadoop重新装,折腾了几个小时终于都弄好了,现在把安装步骤整
相关 spark rdd详解 整理
spark简介 Spark是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map 函数和reduce函数及计算模型,还提供更为丰富
相关 hadoop 默认端口说明
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对
相关 Spark与Hadoop关系
[Spark与Hadoop关系][Spark_Hadoop] [Spark][]是一个计算框架 [Hadoop][]是包含计算框架MapReducehe分布式文件系统H
相关 [Hadoop] Spark SQL
Spark SQL [Spark SQL ][Spark SQL]is Apache Spark's module for working with structured
相关 Hadoop默认端口说明
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完
相关 kafka+spark(待整理)
import org.apache.kafka.common.serialization.StringDeserializer import org.apach
还没有评论,来说两句吧...