Ubuntu 下安装sparklyr 并连接远程spark集群

阳光穿透心脏的1/2处 2022-06-12 06:58 201阅读 0赞

### 安装sparklyr ###

1.通过devtools包实现sparklyr包的安装：

install.packages("devtools")
    devtools::install_github("rstudio/sparklyr")

出现问题：安装不上，因为Ubuntu中需要安装一些包

$ sudo apt-get install libcurl4-openssl-dev libssl-dev

2.在本地安装spark

library(sparklyr)
    spark_install(version = "2.1.0"，hadoop_version="2.7")

3.设置JAVA，SPRK，SPRK\_VERSION环境变量

Sys.setenv(JAVA_HOME='/home/haoyu/jdk1.7')
    Sys.setenv(SPARK_HOME='/home/haoyu/spark/spark-2.1.0-bin-hadoop2.7')
    Sys.setenv(SPARK_VERSION='2.1.0')

4.连接本地spark

install.packages("dplyr")
    library(dplyr)
    sc <- spark_connect(master = "local")

5.连接远程spark

sc <- spark_connect(master="spark://192.168.20.172:7077")

注意：之前如果设置了环境变量的话，就直接使用以上语句就行，否则的话得在函数里添加环境变量的参数。  
6.读取HDFS文件，并放进spark集群中

ccf_online_stage1_train <- spark_read_csv(  
            sc, name="online_trian",
            path="hdfs://192.168.20.172:900/haoyu_data/O2O/ccf_online_stage1_train.csv",
            charset="utf-8"
    )

![连接成果如图所示][SouthEast]

[SouthEast]: /images/20220612/b17ceee726574b01ba559639d7b6493e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，201人围观）

还没有评论，来说两句吧...

相关阅读

相关 ubuntu安装mysql并使用datagrip远程连接

1.安装client sudo apt-get install mysql-server 2.mysql8默认不开启用户root，默认用户是debian-sys-m

「爱情、让人受尽委屈。」/ 2024年04月03日 12:33/ 0 赞/ 89 阅读

相关 IDEA创建spark maven项目并连接远程spark集群

环境： scala：2.12.10 spark：3.0.3 1、创建scala maven项目，如下图所示： ![watermark_type_ZHJvaWRzYW5z

红太狼/ 2022年09月09日 06:25/ 0 赞/ 237 阅读

相关 Ubuntu下hadoop集群安装

一、需要的软件 1、jdk-7u21-linux-i586.tar.gz 2、hadoop：hadoop-1.2.1.tar.gz 3、zlib：zlib-1

今天药忘吃喽~/ 2022年08月14日 03:56/ 0 赞/ 245 阅读

相关 Ubuntu 下安装sparklyr 并连接远程spark集群

安装sparklyr 1.通过devtools包实现sparklyr包的安装： install.packages("devtools") devtool

阳光穿透心脏的1/2处/ 2022年06月12日 06:58/ 0 赞/ 202 阅读

相关 Spark集群安装配置

一、准备工作 1.安装centos 6.5 2.安装 jdk 1.8.x 3.配置三台机器之间的ssh通信 4.安装hadoop2.7.x以上的版本以上步骤在已经配

红太狼/ 2022年05月27日 05:38/ 0 赞/ 272 阅读

相关 sparklyr连接spark

1，安装sparklyr RStudio安装好后，需要安装sparklyr包来连接spark；https://spark.rstudio.com/guides/connect

小鱼儿/ 2022年05月25日 13:35/ 0 赞/ 132 阅读

相关 ubuntu下spark集群实践以及问题总结

spark集群实践以及问题总结准备工作配置集群运行spark的样例准备工作 1. 安装虚拟机三台：192.168.55.

迷南。/ 2022年04月10日 02:43/ 0 赞/ 237 阅读

相关 Spark集群安装

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] Spark的版本1.6.0，Scala的版本2.

不念不忘少年蓝@/ 2022年01月13日 23:05/ 0 赞/ 355 阅读

相关 Spark集群模式安装

实现步骤： 1）上传解压spark安装包 2）进入spark安装目录的conf目录 3）配置spark-env.sh文件配置示例： \本机ip地址

旧城等待，/ 2021年11月05日 17:00/ 0 赞/ 385 阅读

相关 Ubuntu下安装mysql集群mysqlcluster

下面的都是在当前用户的主目录下完成。 1,搞定文件 -1，SSH连接上传安装文件 -2，直接下载安装文件(http://www.mysql.com/dow

叁歲伎倆/ 2021年11月05日 01:28/ 0 赞/ 592 阅读