大数据分析平台搭建教程：基于Apache Zeppelin Notebook和R的交互式数据科学

曾经终败给现在 2022-08-21 14:51 9阅读 0赞

# 介绍 #

这篇文章的目的是帮助您开始使用 Apache Zeppelin Notebook，它可以满足您用R做数据科学的需求。Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。

![0-z-homepage1.png_w_2181_h_1158_objectId_1190000004428222_token_b4f3756bbfa2189ed4f617ce5cbe3925][]

![0-z-homepage2.png_w_2172_h_770_objectId_1190000004428222_token_362b1f3cb44dcc0185332a526c32efcb][]

然而,最新的官方版本是0.5.0,还不支持R编程语言。幸运的是，NFLabs公司做了个开源项目,让我提供了一个R的编译器。这个编译器是让用户可以使用自定义的语言做为数据处理后端的一个 Zeppelin 插件。例如在 Zeppelin 使用scala代码,您需要一个 Spark编译器。所以,如果你像我一样有足够的耐心将R集成到Zeppelin中， 这个教程将告诉你怎样从源码开始配置 Zeppelin和R。

# 准备工作 #

*  我们将通过Bash shell在Linux上安装Zeppelin。如果您使用的是Windows操作系统,我建议您安装和使用Cygwin终端(它提供功能类似于Windows上的Linux发行版)。
 *  确保 Java 1.7 和 Maven 3.2.x 是已经安装并且配置到环境变量中。

# 从源代码构建 Zeppelin #

## 第一步:下载 Zeppelin 源代码 ##

去这github分支下载源代码，将这个链接复制并粘贴到你的浏览器:[https://github.com/elbamos/incubator-zeppelin/tree/rinterpreter][https_github.com_elbamos_incubator-zeppelin_tree_rinterpreter]

![2-z-download-branch1.png_w_2217_h_820_objectId_1190000004428222_token_678fc9a26aec800a18b326caa90b4183][]

在我的例子中我已经下载并解压文件夹在我的桌面

![3-z-unzip-desktop.png_w_1514_h_1022_objectId_1190000004428222_token_78133f65bb15e17eebc44d05660f02f2][]

## 第二步:构建 Zeppelin ##

假设你是安装在单机，打开你的Terminal，运行下面的代码。如果你是安装在一个集群，会稍微复杂一点，具体步骤 [Zeppelin 的文档][Zeppelin]中找到。

$ cd Desktop/Apache/incubator-zeppelin-rinterpreter $ mvn clean package -DskipTests

![4-z-build-source.png_w_1570_h_68_objectId_1190000004428222_token_eb6cb7adaae1176c0a27bb695108ff6c][]

这将需要约16分钟构建Zeppelin、Spark,所有引擎包括R,markdown,shell,hive等。(见下图)。

![15mins.png_w_1436_h_1000_objectId_1190000004428222_token_e6797707be97e0661fce515bbf86b214][]

## 第三步:启动 Zeppelin ##

运行以下命令启动Zeppelin：

$ ./bin/zeppelin-daemon.sh start

![start.png_w_1634_h_98_objectId_1190000004428222_token_d6b064ad0f46a7f036366efcaa09ba37][]  
打开web浏览器，访问[http://localhost:8080][http_localhost_8080]。此时,您已经准备好开始在 Zeppelin 用代码创建交互笔记本。

![6-z.png_w_2547_h_1188_objectId_1190000004428222_token_d0f34298788d34ab1fcb5e0a0935209b][]

# 交互式数据科学 #

## 第一步:创建一个笔记本 ##

单击下拉箭头旁边的“笔记本”页面,点击“创建新报告”。

![6-z-create-note.png_w_1238_h_520_objectId_1190000004428222_token_60169a3a8adfa27a0c1fd06fb22d0b28][]

给你的笔记本命名或您可以使用指定的缺省名称。我命名为“Base R in Apache Zeppelin”。

![6-z-my-notebook.png_w_1176_h_596_objectId_1190000004428222_token_e1deaf55f15c37a47665c05893618aa6][]

## 第二步:开始你的分析 ##

如下图所示，调用R可以用“%spark.r”或“%spark.knitr”标签。首先让我们用 markdown 写一些介绍。

![7-z-md1.png_w_1980_h_762_objectId_1190000004428222_token_9e29da6a1a9330648dc4d5f4794dfdf5][]

根据我们可能需要我们的分析，现在让我们来安装一些包。

![8-z-install-packages1.png_w_840_h_406_objectId_1190000004428222_token_8b24631c59a7c3d64830c6f5087940ca][]

我们将使用“flights”数据集显示2013年离开纽约的航班，现在让我们读取数据集。

![9-z-read-df1.png_w_2700_h_1020_objectId_1190000004428222_token_93d2ba474d0312c2025a099a7bd6a167][]

现在,让我们使用dplyr(用管道符)做一些数据操作。

![10-z-data-manipulation.png_w_2700_h_846_objectId_1190000004428222_token_8fa93b71566d369c8b79203a8d76ae59][]

您还可以使用条形图和饼图来可视化一些描述性统计数据。

![10-z-data-man2.png_w_2700_h_1395_objectId_1190000004428222_token_dfa7828fc4b71d67070f73a1eda79f4c][]

现在,让我们与ggplot2共舞。

![11-ggplot21.png_w_695_h_1012_objectId_1190000004428222_token_216b36a9debe758b68e2972de3d452da][]

现在,让我们用`caret`包做一些统计的机器学习。

![13-ml1.png_w_1484_h_762_objectId_1190000004428222_token_0574e85da7a065fdc1e227c3162b5bdc][]

![13-lm-2.png_w_1516_h_1342_objectId_1190000004428222_token_9c37c3317f882ac878a775f588736350][]

最后，绘制几个地图。  
![14-maps1.png_w_2310_h_828_objectId_1190000004428222_token_d4e2502d84a1c2e9e568d0a1dc16c82c][]

# 结束语 #

Zeppelin 帮助您使用多种编程语言创建交互式文档和美丽的图表。这篇文章的目的是帮助你配置 Zeppelin 和 R。希望这牛逼的的项目管理委员会(PMC)的开源项目可以用R引擎发布下一个版本。到时候安装 Zeppelin肯定会更快更方便,而不必从源代码构建。

还值得一提的是,还有另一个R的编译器是由 Data Layer 提供的。你可以在这里找到说明如何使用:[https://github.com/datalayer/zeppelin-R][https_github.com_datalayer_zeppelin-R]。

你可以尝试着两个编译器，然后然后在下面的评论区分享一下你的使用体验。

## Data Layer提供的编译器 ##

### RCharts ###

![rcharts.png_objectId_1190000004428222_token_0a5a704c5f67e5283598405f1f51378d][]

### Rchats Map ###

![rcharts-map.png_objectId_1190000004428222_token_b150c2117f5125b91474dc1a82b66d38][]

### GoogleViz ###

![googlevis.png_objectId_1190000004428222_token_9c0e20e311a9862d3f44ff27718ed1aa][]

### Scala R Binding ###

![scala-r-binding.png_objectId_1190000004428222_token_5ed592408a2ba88b26d0b2e58a8784f0][]

### R Scala Dataframe Binding ###

![scala-r-dataframe-binding.png_objectId_1190000004428222_token_728e6ba0915e77c94102ef01b27fa04e][]

### SparkR ###

![sparkr.png_objectId_1190000004428222_token_93f1682446629c8aa1b1c24005430c4a][]

## 用Docker镜像部署 ##

为了您的方便, Datalayer 为Apache Zeppelin 提供了一个最新的 Docker镜像。你可以通过执行下面的命令来获取镜像

docker pull datalayer/zeppelin-rscala
    
    Run the Zeppelin notebook with:
    
    docker run -it -p 2222:22 -p 8080:8080 -p 4040:4040 datalayer/zeppelin-rscala

现在，你可以去`http://localhost:8080`测试这个R教程笔记了。

## 展望 ##

作为后续这篇文章中,我们将看到在 Zeppelin 中如何使用 Apache Spark(尤其是SparkR)。

# 更新 #

此小节由于原文有可能变动，故不作翻译，望读者原谅，可以直接访问原文查看最新的更新情况。

本文已获得原作者：[Daniel Emaasit][] 授权，并由 HarryZhu 翻译。  
【原文地址】：[http://blog.sparkiq-labs.com/2015/11/16/interactive-data-science-with-r-in-apache-zeppelin-notebook/][http_blog.sparkiq-labs.com_2015_11_16_interactive-data-science-with-r-in-apache-zeppelin-notebook]

> 作为分享主义者(sharism)，本人所有互联网发布的图文均遵从CC版权，转载请保留作者信息并注明作者 Harry Zhu 的 FinanceR专栏:[https://segmentfault.com/blog/harryprince][https_segmentfault.com_blog_harryprince]，如果涉及源代码请注明GitHub地址：[https://github.com/harryprince][https_github.com_harryprince]。微信号: harryzhustudio  
> 商业使用请联系作者。

[0-z-homepage1.png_w_2181_h_1158_objectId_1190000004428222_token_b4f3756bbfa2189ed4f617ce5cbe3925]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/0-z-homepage1.png?w=2181&h=1158&objectId=1190000004428222&token=b4f3756bbfa2189ed4f617ce5cbe3925
[0-z-homepage2.png_w_2172_h_770_objectId_1190000004428222_token_362b1f3cb44dcc0185332a526c32efcb]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/0-z-homepage2.png?w=2172&h=770&objectId=1190000004428222&token=362b1f3cb44dcc0185332a526c32efcb
[https_github.com_elbamos_incubator-zeppelin_tree_rinterpreter]: https://github.com/elbamos/incubator-zeppelin/tree/rinterpreter
[2-z-download-branch1.png_w_2217_h_820_objectId_1190000004428222_token_678fc9a26aec800a18b326caa90b4183]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/2-z-download-branch1.png?w=2217&h=820&objectId=1190000004428222&token=678fc9a26aec800a18b326caa90b4183
[3-z-unzip-desktop.png_w_1514_h_1022_objectId_1190000004428222_token_78133f65bb15e17eebc44d05660f02f2]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/3-z-unzip-desktop.png?w=1514&h=1022&objectId=1190000004428222&token=78133f65bb15e17eebc44d05660f02f2
[Zeppelin]: https://zeppelin.incubator.apache.org/docs/0.5.0-incubating/
[4-z-build-source.png_w_1570_h_68_objectId_1190000004428222_token_eb6cb7adaae1176c0a27bb695108ff6c]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/4-z-build-source.png?w=1570&h=68&objectId=1190000004428222&token=eb6cb7adaae1176c0a27bb695108ff6c
[15mins.png_w_1436_h_1000_objectId_1190000004428222_token_e6797707be97e0661fce515bbf86b214]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/15mins.png?w=1436&h=1000&objectId=1190000004428222&token=e6797707be97e0661fce515bbf86b214
[start.png_w_1634_h_98_objectId_1190000004428222_token_d6b064ad0f46a7f036366efcaa09ba37]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/start.png?w=1634&h=98&objectId=1190000004428222&token=d6b064ad0f46a7f036366efcaa09ba37
[http_localhost_8080]: http://localhost:8080/
[6-z.png_w_2547_h_1188_objectId_1190000004428222_token_d0f34298788d34ab1fcb5e0a0935209b]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/6-z.png?w=2547&h=1188&objectId=1190000004428222&token=d0f34298788d34ab1fcb5e0a0935209b
[6-z-create-note.png_w_1238_h_520_objectId_1190000004428222_token_60169a3a8adfa27a0c1fd06fb22d0b28]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/6-z-create-note.png?w=1238&h=520&objectId=1190000004428222&token=60169a3a8adfa27a0c1fd06fb22d0b28
[6-z-my-notebook.png_w_1176_h_596_objectId_1190000004428222_token_e1deaf55f15c37a47665c05893618aa6]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/6-z-my-notebook.png?w=1176&h=596&objectId=1190000004428222&token=e1deaf55f15c37a47665c05893618aa6
[7-z-md1.png_w_1980_h_762_objectId_1190000004428222_token_9e29da6a1a9330648dc4d5f4794dfdf5]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/7-z-md1.png?w=1980&h=762&objectId=1190000004428222&token=9e29da6a1a9330648dc4d5f4794dfdf5
[8-z-install-packages1.png_w_840_h_406_objectId_1190000004428222_token_8b24631c59a7c3d64830c6f5087940ca]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/8-z-install-packages1.png?w=840&h=406&objectId=1190000004428222&token=8b24631c59a7c3d64830c6f5087940ca
[9-z-read-df1.png_w_2700_h_1020_objectId_1190000004428222_token_93d2ba474d0312c2025a099a7bd6a167]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/9-z-read-df1.png?w=2700&h=1020&objectId=1190000004428222&token=93d2ba474d0312c2025a099a7bd6a167
[10-z-data-manipulation.png_w_2700_h_846_objectId_1190000004428222_token_8fa93b71566d369c8b79203a8d76ae59]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/10-z-data-manipulation.png?w=2700&h=846&objectId=1190000004428222&token=8fa93b71566d369c8b79203a8d76ae59
[10-z-data-man2.png_w_2700_h_1395_objectId_1190000004428222_token_dfa7828fc4b71d67070f73a1eda79f4c]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/10-z-data-man2.png?w=2700&h=1395&objectId=1190000004428222&token=dfa7828fc4b71d67070f73a1eda79f4c
[11-ggplot21.png_w_695_h_1012_objectId_1190000004428222_token_216b36a9debe758b68e2972de3d452da]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/11-ggplot21.png?w=695&h=1012&objectId=1190000004428222&token=216b36a9debe758b68e2972de3d452da
[13-ml1.png_w_1484_h_762_objectId_1190000004428222_token_0574e85da7a065fdc1e227c3162b5bdc]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/13-ml1.png?w=1484&h=762&objectId=1190000004428222&token=0574e85da7a065fdc1e227c3162b5bdc
[13-lm-2.png_w_1516_h_1342_objectId_1190000004428222_token_9c37c3317f882ac878a775f588736350]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/13-lm-2.png?w=1516&h=1342&objectId=1190000004428222&token=9c37c3317f882ac878a775f588736350
[14-maps1.png_w_2310_h_828_objectId_1190000004428222_token_d4e2502d84a1c2e9e568d0a1dc16c82c]: https://segmentfault.com/image?src=https://sparkiqlabs.files.wordpress.com/2015/11/14-maps1.png?w=2310&h=828&objectId=1190000004428222&token=d4e2502d84a1c2e9e568d0a1dc16c82c
[https_github.com_datalayer_zeppelin-R]: https://github.com/datalayer/zeppelin-R
[rcharts.png_objectId_1190000004428222_token_0a5a704c5f67e5283598405f1f51378d]: https://segmentfault.com/image?src=https://raw.githubusercontent.com/datalayer/zeppelin-R/rscala/_Rimg/rcharts.png&objectId=1190000004428222&token=0a5a704c5f67e5283598405f1f51378d
[rcharts-map.png_objectId_1190000004428222_token_b150c2117f5125b91474dc1a82b66d38]: https://segmentfault.com/image?src=https://raw.githubusercontent.com/datalayer/zeppelin-R/rscala/_Rimg/rcharts-map.png&objectId=1190000004428222&token=b150c2117f5125b91474dc1a82b66d38
[googlevis.png_objectId_1190000004428222_token_9c0e20e311a9862d3f44ff27718ed1aa]: https://segmentfault.com/image?src=https://raw.githubusercontent.com/datalayer/zeppelin-R/rscala/_Rimg/googlevis.png&objectId=1190000004428222&token=9c0e20e311a9862d3f44ff27718ed1aa
[scala-r-binding.png_objectId_1190000004428222_token_5ed592408a2ba88b26d0b2e58a8784f0]: https://segmentfault.com/image?src=https://raw.githubusercontent.com/datalayer/zeppelin-R/rscala/_Rimg/scala-r-binding.png&objectId=1190000004428222&token=5ed592408a2ba88b26d0b2e58a8784f0
[scala-r-dataframe-binding.png_objectId_1190000004428222_token_728e6ba0915e77c94102ef01b27fa04e]: https://segmentfault.com/image?src=https://raw.githubusercontent.com/datalayer/zeppelin-R/rscala/_Rimg/scala-r-dataframe-binding.png&objectId=1190000004428222&token=728e6ba0915e77c94102ef01b27fa04e
[sparkr.png_objectId_1190000004428222_token_93f1682446629c8aa1b1c24005430c4a]: https://segmentfault.com/image?src=https://raw.githubusercontent.com/datalayer/zeppelin-R/rscala/_Rimg/sparkr.png&objectId=1190000004428222&token=93f1682446629c8aa1b1c24005430c4a
[Daniel Emaasit]: https://www.linkedin.com/in/emaasit
[http_blog.sparkiq-labs.com_2015_11_16_interactive-data-science-with-r-in-apache-zeppelin-notebook]: http://blog.sparkiq-labs.com/2015/11/16/interactive-data-science-with-r-in-apache-zeppelin-notebook/
[https_segmentfault.com_blog_harryprince]: https://segmentfault.com/blog/harryprince
[https_github.com_harryprince]: https://github.com/harryprince