Hadoop分布式搭建、Hbase安装、Hive安装

素颜马尾好姑娘i 2022-07-10 05:28 284阅读 0赞

# Hadoop分布式搭建、Hbase安装、Hive安装 #

> 关于hadoop分布式环境的搭建，网上有很多教程，看起来很简单，对着别人的教程一步一步来，但是真的是亲身试了这趟水，才知道这趟水有多深，就算步骤对着别人的教程一步不错，也会出现大大小小的问题，我前后安装的数次，解决了N个乱七八糟的问题，真的很消磨耐心，但是学习之路永远艰且长，所以认真学，逐渐摸清它的本质，就算出现问题也能自己解决。  
> 这是最终成功的版本，特此记录成安装手册

*  安装环境：ubuntu12.04 64位系统  
    Hadoop版本：hadoop2.6.0

## Hadoop安装 ##

## 一、创建用户 ##

：因为我在创建虚拟机，安装ubuntu的时候用的用户就是hadoop，默认为管理员，不用再设置增加权限，并将用户密码设置为hadoop。

## 二、更新apt： ##

根据网上教程，若是没有更新apt安装软件，可能有些软件安装不了。  
登录hadoop用户，按ctrl+alt+t打开终端窗口，执行如下命令：

$ sudo apt-get update

## ![这里写图片描述][SouthEast] ##

## 三、安装SSH、配置SSH无密码登陆： ##

> SSH是专为远程登录会话和其他网络服务提供安全性的协议  
> 公钥私钥简单实现原理：  
> 1、比如两台服务器A、B，A要通过SSH远程B，A首先本地生成公钥私钥对，将公钥发送给B，B收到A的公钥后加入到自己授权列表中。此时A、B公钥私钥对配置完成  
> 2、在A请求远程B时，B先在授权列表中检查是否有A相关登录用户配置，如果有，那么就B就用A的公钥加密一段信息，发送给A，A收到后用私钥解密，然后发回给B，B就接收A解密后的信息，与发出的信息进行校验，如果校验成功则允许登录

集群、单节点模式都需要用到SSH登陆，ubuntu默认已安装了SSH client，此外还需要安装SSH server  
![这里写图片描述][SouthEast 1]

安装后，可以使用如下命令登陆本机：  
![这里写图片描述][SouthEast 2]

此时，会有如下提示（SSH首次登陆提示），输入yes。然后按提示输入密码hadoop，这样就登陆到本机了。  
![这里写图片描述][SouthEast 3]

配置SSH无密码登陆：首先退出刚才的SSH，回到原先的终端窗口，然后利用ssh-keygen生成密匙，并将密匙加入到授权中：  
![这里写图片描述][SouthEast 4]  
![这里写图片描述][SouthEast 5]

加入授权：  
![这里写图片描述][SouthEast 6]

## 四、安装java环境： ##

## jre和jdk的区别 ##

> JRE（Java Runtime Environment，Java运行环境），是运行 Java 所需的环境。JDK（Java Development Kit，Java软件开发工具包）即包括 JRE，还包括开发 Java 程序所需的工具和类库。

直接通过命令安装OpenJDK 7  
![这里写图片描述][SouthEast 7]

安装好OpenJDK后，找到相应的安装路径：  
![这里写图片描述][SouthEast 8]  
红色的/bin/javac前面的一串：/usr/lib/jvm/java-7-openjdk-i386，就是其安装路径

接着配置JAVA\_HOME环境变量：  
![这里写图片描述][SouthEast 9]  
![这里写图片描述][SouthEast 10]  
使该环境变量生效：  
![这里写图片描述][SouthEast 11]

## 五、安装hadoop： ##

我下载的是hadoop-2.6.0版本，下载在“下载”文件夹中；并选择将hadoop安装到/usr/local/中

1.  将hadoop安装包解压到/usr/local中  
    ![这里写图片描述][SouthEast 12]
2.  将文件夹名改为hadoop：  
    ![这里写图片描述][SouthEast 13]
3.  修改文件权限：  
    ![这里写图片描述][SouthEast 14]  
    Hadoop解压后即可使用。输入如下命令检查hadoop是否可用，成功则会显示hadoop的版本信息：  
    ![这里写图片描述][SouthEast 15]

## 六、hadoop伪分布式配置： ##

> Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。  
> Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

1.  修改配置文件core-site.xml  
    ![这里写图片描述][SouthEast 16]  
    如图修改  
      
    ![这里写图片描述][SouthEast 17]
2.  修改配置文件hdfs-site.xml:  
    ![这里写图片描述][SouthEast 18]  
    ![这里写图片描述][SouthEast 19]
3.  配置完成后，执行NameNode的格式化  
    ![这里写图片描述][SouthEast 20]  
    成功：  
    ![这里写图片描述][SouthEast 21]
4.  开启NameNode和DataNode守护进程：  
    ![这里写图片描述][SouthEast 22]

## 七、启动YARN ##

> 新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。  
> YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。

1.  重命名：  
    ![这里写图片描述][SouthEast 23]
2.  修改配置文件mapred-site.xml:  
    ![这里写图片描述][SouthEast 24]
3.  修改配置文件yarn-site.xml:  
    ![这里写图片描述][SouthEast 25]  
    ![这里写图片描述][SouthEast 26]
4.  启动YARN：  
    ![这里写图片描述][SouthEast 27]
5.  开启历史服务器，在Web中查看任务运行情况：  
    ![这里写图片描述][SouthEast 28]  
    ![这里写图片描述][SouthEast 29]

## 八、 ##

> 网络配置：  
> 我使用的是虚拟机，所以需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连  
> 此外，如果节点的系统是在虚拟机中直接复制的，要确保各个节点的 Mac 地址不同（可以点右边的按钮随机生成 MAC 地址，否则 IP 会冲突

1.  安装其他两台slave虚拟机：slave1，slave2
2.  按以上相同的方法，在这两台slave虚拟机上配置hadoop用户、安 装SSH server、安装java环境。
3.  查看得知3台虚拟机的ip地址：
4.  在master节点上修改主机名，改为master：  
    ![这里写图片描述][SouthEast 30]  
    ![这里写图片描述][SouthEast 31]
5.  修改所用结点的ip映射：  
    ![这里写图片描述][SouthEast 32]  
    ![这里写图片描述][SouthEast 33]
6.  用同样的方法，在其他两个slave1，slave2结点上，修改主机名和自己所用结点的ip映射。修改完之后还需要重启机器一下，才能机器名的变化。
7.  配置好后需要在各个节点上执行ping命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：

九、SSH无密码登陆结点

1.  首先生成master结点的公匙，在master的终端执行，因为改过主机名，所以得删掉原来的再重新生成一次  
    ![这里写图片描述][SouthEast 34]
2.  让master结点能无密码登陆本机，执行：  
    ![这里写图片描述][SouthEast 35]
3.  在master结点上将公匙传输到slave1，和slave2结点：  
    ![这里写图片描述][SouthEast 36]  
    ![这里写图片描述][SouthEast 37]
4.  接着在slave1结点上，将SSH的公匙加入授权：  
    ![5.][]
5.  在master结点上就可以无密码SSH到各个结点了，执行如下命令进行检验：  
    ![这里写图片描述][SouthEast 38]

## 十、配置PATH变量： ##

将hadoop安装目录加入到PATH变量中，这样就可以在任意目录中直接使用hadoop、hdfs等命令了，在master结点中进行配置，执行：  
![这里写图片描述][SouthEast 39]  
加入一行：  
![这里写图片描述][SouthEast 40]  
然后执行：（使配置生效）  
![这里写图片描述][SouthEast 41]

## 十一、配置集群/分布式环境 ##

1.  修改文件core-site.xml  
    ![这里写图片描述][SouthEast 42]
    
    修改文件hdfs-site.xml：  
    ![这里写图片描述][SouthEast 43]

修改文件mapred-site.xml：  
![这里写图片描述][SouthEast 44]

修改文件yarn-site.xml：  
![这里写图片描述][SouthEast 45]

1.  配置好文件后，将master上的/usr/local/hadoop文件夹复制到各个结点上，在master结点上执行：  
    删除hadoop临时文件和日志文件  
    ![这里写图片描述][SouthEast 46]  
    压缩后再复制：  
    ![这里写图片描述][SouthEast 47]  
    ![这里写图片描述][SouthEast 48]
2.  在slave结点上执行：  
    ![这里写图片描述][SouthEast 49]  
    ![这里写图片描述][SouthEast 50]
3.  首次启动需要先在master结点上执行NameNode的格式化：  
    ![这里写图片描述][SouthEast 51]
4.  启动hadoop，在master结点上执行：  
    ![这里写图片描述][SouthEast 52]  
    通过jps指令查看各个节点启动的进程

# Hbase安装 #

一、安装运行HBase：

1.  解压安装包至路径/usr/local  
    ![这里写图片描述][SouthEast 53]
2.  将解压的文件名hbase-1.1.4改为hbase：  
    ![这里写图片描述][SouthEast 54]
3.  查看hbase版本，确定hbase安装成功：  
    ![这里写图片描述][SouthEast 55]

# Hive安装 #

1.  解压缩下载的Hive软件包  
    ![这里写图片描述][SouthEast 56]
2.  将文件名改为hive：  
    ![这里写图片描述][SouthEast 57]
3.  修改文件权限：  
    ![这里写图片描述][SouthEast 58]
4.  创建元数据存储文件夹：  
    ![这里写图片描述][SouthEast 59]
5.  修改文件权限：  
    ![这里写图片描述][SouthEast 60]
6.  为了方便使用，将hive的命令加入到环境变量中去，使用下列命令编辑.bashrc文件：  
    ![这里写图片描述][SouthEast 61]  
    ![这里写图片描述][SouthEast 62]  
    使配置生效：  
    ![这里写图片描述][SouthEast 63]
7.  运行启动hive：  
    ![这里写图片描述][SouthEast 64]

[SouthEast]: /images/20220709/227c97b9ef774d28a0951e35d0a2f1fd.png
[SouthEast 1]: /images/20220709/cd464f0fee4241de971ae80cc39c78f0.png
[SouthEast 2]: /images/20220709/423db980d34b4d229fa6be786f9ab03d.png
[SouthEast 3]: /images/20220709/5680206e33b142409640b2bc967452db.png
[SouthEast 4]: /images/20220709/2878cfb14aaf458a90a2d4ce7292e8ed.png
[SouthEast 5]: /images/20220709/f83c2d28637f4101a796e4dbebe47b8a.png
[SouthEast 6]: /images/20220709/71b679e8770f4275ac78a4b974b90e39.png
[SouthEast 7]: /images/20220709/9c27c7c8ae3740929abdced27648680f.png
[SouthEast 8]: /images/20220709/819220b660cc428784423d3c5e249869.png
[SouthEast 9]: /images/20220709/87e67deb7e0d4b169256981ea49006e6.png
[SouthEast 10]: /images/20220709/f232b5c01c3f47a2a70d2165d8a152f8.png
[SouthEast 11]: /images/20220709/36037b6a0b9a4ac2a679c6f771822bed.png
[SouthEast 12]: /images/20220709/f7a8d20ba2624c4e9e6e91e7e3799583.png
[SouthEast 13]: /images/20220709/a1eca5d5228044d4a0c9ebd396a5f00a.png
[SouthEast 14]: /images/20220709/622f283321a14b95aa2742960688b771.png
[SouthEast 15]: /images/20220709/c3f01a5f8c514ea48c97fd94f3faf9d7.png
[SouthEast 16]: /images/20220709/cb5822e5f15d4e23bb954673d98bc65f.png
[SouthEast 17]: /images/20220709/2455369b6a9145699f3540a119f4fef7.png
[SouthEast 18]: /images/20220709/b044995de42d4745b67813e70caf80bd.png
[SouthEast 19]: /images/20220709/9a64a6f1e6774e9384de87cb31c66b76.png
[SouthEast 20]: /images/20220709/dc28658a3f5a4d0daebcc473ec8c92c0.png
[SouthEast 21]: /images/20220709/2eea776c014243b68e961d15fd35b6cb.png
[SouthEast 22]: /images/20220709/a1a77f12bfaa4c79ac9d35dc0ba5238c.png
[SouthEast 23]: /images/20220709/ebe9ca74f1cf415683bb3b409291a5b4.png
[SouthEast 24]: /images/20220709/ac4f1f1c445a49c6b70a1e75963c0138.png
[SouthEast 25]: /images/20220709/37e78626a72a4d02b90a78b34b6772ae.png
[SouthEast 26]: /images/20220709/3c2dfdb74eb44dd3b442ec3f60e57041.png
[SouthEast 27]: /images/20220709/4a040bc1ec294def8bfe3866b2cd7d06.png
[SouthEast 28]: /images/20220709/6fb505fd42ee42ee9176ad01d4fe0f9a.png
[SouthEast 29]: /images/20220709/948c54b1bec445c2a4f60fc87cbdb808.png
[SouthEast 30]: /images/20220709/1d6f2b53ec404687bc3e6e13fc2420a6.png
[SouthEast 31]: /images/20220709/e46a8d8100b447c78fc5457ac9081aef.png
[SouthEast 32]: /images/20220709/75fe3eba7b524e6990be703b814eb694.png
[SouthEast 33]: /images/20220709/00eec2b363ad4f1ea9514dc97e7bf3fe.png
[SouthEast 34]: /images/20220709/7d9c523a109748a4b74d4d7ea00a85c2.png
[SouthEast 35]: /images/20220709/fc7408687c64481fb8bb0bf8391d6bca.png
[SouthEast 36]: /images/20220709/2e3ed148191446bb8207826e66132fdc.png
[SouthEast 37]: /images/20220709/5105f2818dee4716a321d7c9e75dc7df.png
[5.]: /images/20220709/cd098484786d4791a5800a8aa2c7fe85.png
[SouthEast 38]: /images/20220709/27b21fb651ea4b30ae27f5a4cbc34ea7.png
[SouthEast 39]: /images/20220709/8d165db516c54cf88930fa181b1a2731.png
[SouthEast 40]: /images/20220709/dfb647cbf7f74890acb8e4721d45112b.png
[SouthEast 41]: /images/20220709/b9779fc6ab4e4031a717961a65084440.png
[SouthEast 42]: /images/20220709/e4c8a69c4f4345839cad2def14111360.png
[SouthEast 43]: /images/20220709/089a60175b134863b63bff2a4c79decb.png
[SouthEast 44]: /images/20220709/dff1227a95e540ff8cd1472643b715d2.png
[SouthEast 45]: /images/20220709/63a81059959c4380a3ee57af4486b78f.png
[SouthEast 46]: /images/20220709/3fa2aba7c5064186925792893359e668.png
[SouthEast 47]: /images/20220709/cbe6630e60de440c8099bc672a0e2c2e.png
[SouthEast 48]: /images/20220709/e06925c268534067b0211d8fe56e843c.png
[SouthEast 49]: /images/20220709/a097cefa2dfe4603ba1d3746b959e922.png
[SouthEast 50]: /images/20220709/f431329ef9134917a92a2efe2f4e1f13.png
[SouthEast 51]: /images/20220709/8464f2d0d4f643c487953eff30230a35.png
[SouthEast 52]: /images/20220709/ecd9035195b748c38bfeb38cdefdef24.png
[SouthEast 53]: /images/20220709/cc67966cd15e4f3ea663eca0d0825abc.png
[SouthEast 54]: /images/20220709/4fa1a30dc6ec4489b17826b2372683a4.png
[SouthEast 55]: /images/20220709/ae7f415ea66d4a9b9d70ea3322cb1ab7.png
[SouthEast 56]: /images/20220709/c59c8c0e35a0452eaab3b4c9a28d87ee.png
[SouthEast 57]: /images/20220709/66dd33e06b3e4a68beee8026742edf5c.png
[SouthEast 58]: /images/20220709/d7a1711d613d46a8aef3e36cac056934.png
[SouthEast 59]: /images/20220709/6088304cbc1b4b51bcf0fa58e8e6fe93.png
[SouthEast 60]: /images/20220709/4789440c9ef14855bfd263da0956fc21.png
[SouthEast 61]: /images/20220709/98f1f9e1322b4e4c95a3d85c8807c892.png
[SouthEast 62]: /images/20220709/6a4f6dc9fae043ed8af83c1727306a56.png
[SouthEast 63]: /images/20220709/9d11fa5e3358412bb6b296aa3d55ef67.png
[SouthEast 64]: /images/20220709/281d332678024d7898efae7686c5ce23.png