spark-2.2.2的安装部署

港控/mmm° 2024-02-19 14:39 14阅读 0赞

1.编写Dockerfile

FROM centos6.5:v1
    
    LABEL author.email="578888218@qq.com" 
    
    
    
    #jdk
    #增加jdk
    ADD jdk-8u171-linux-x64.tar.gz /etc/java/jdk
    RUN ln -s /etc/java/jdk/jdk1.8.0_171 /etc/java/jdk/jdk1.8
    
    #安装环境变量
    ENV JAVA_HOME /etc/java/jdk/jdk1.8
    ENV PATH $JAVA_HOME/bin:$PATH
    
    ADD spark-2.2.2-bin-hadoop2.7.tgz /usr/local
    RUN ln -s /usr/local/spark-2.2.2-bin-hadoop2.7 /usr/local/spark

2.验证是否安装成功

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXl1bnNoZW5nc2ly_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXl1bnNoZW5nc2ly_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXl1bnNoZW5nc2ly_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/eeacc5401f7b485fbd0d3f3ea80546e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXl1bnNoZW5nc2ly_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/fba6c776d2f34ca6ad9a0254a6fa3358.png

发表评论取消回复

表情：

评论列表（有 0 条评论，14人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark安装部署

Spark安装部署登录Spark官网下载页面（[http://spark.apache.org/downloads.html）下载Spark][http_spark.a

超、凢脫俗/ 2024年02月19日 15:47/ 0 赞/ 51 阅读

相关 spark-2.2.2的安装部署

1.编写Dockerfile FROM centos6.5:v1 LABEL author.email="578888218@qq.com"

港控/mmm°/ 2024年02月19日 14:39/ 0 赞/ 15 阅读

相关 222

\ /etc/services:\ $Id: services,v 1.48 2009/11/11 14:32:31 ovasik Exp $\\ Network servic

清疚/ 2024年02月17日 23:10/ 0 赞/ 66 阅读

相关 Spark介绍以及安装和部署

一、spark（计算引擎）介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯

缺乏、安全感/ 2023年07月17日 12:46/ 0 赞/ 22 阅读

相关 linux 安装　jdk8u222

\1.下载 jdk8u222保存到 /usr/local/download cd /usr/local/download wget -O jdk8u222-linux-

Love The Way You Lie/ 2023年03月01日 12:47/ 0 赞/ 15 阅读

相关 Spark运行模式及安装部署

目录一、Spark运行模式二、Spark安装地址三、Local模式 3.1 安装使用四、

￡神魔★判官ぃ/ 2022年12月29日 09:39/ 0 赞/ 197 阅读

相关 Spark-Yarn模式安装部署

目录可能碰到的问题 1.解压 Spark 安装包 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -

￡神魔★判官ぃ/ 2022年11月09日 14:18/ 0 赞/ 185 阅读

相关 spark单机部署

2 下载 wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoo

妖狐艹你老母/ 2022年10月12日 15:00/ 0 赞/ 185 阅读

相关 Ambari部署Spark

> Add Service ![image-20210223095506581.png][] ![image-20210223095627647.png][] > 集群部

男娘i/ 2022年08月31日 04:52/ 0 赞/ 206 阅读

相关 spark的分布式部署

目录 1.spark是什么？ 2.spark的原理 3. spark的分布式部署 3.1 机器信息 3.2 安装前准备工作 3.2.1 jdk的安装 3.2

布满荆棘的人生/ 2022年01月26日 23:11/ 0 赞/ 261 阅读