使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建

叁歲伎倆 2021-09-22 08:06 389阅读 0赞

今天小编将要使用Hadoop ，Nutch，Hbase，solr来搭建一个搜索引擎。在一台全新的centOS 系统上进行搭建，8核，16G内存，60G 系统盘，500G EOS 存储盘。

###     Hadoop环境搭建,安装Hadoop1.2.1 ###

（一）进入或者创建usr/local/hadoop文件夹中

（二）使用如下命令 ，获取hadoop-1.2.1.tar.gz

wget https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz

（三）在Hadoop文件中 解压hadoop-1.2.1.tar.gz

tar -xzvf hadoop-1.2.1.tar.gz

（四）修改目录权限：

sudo chmod 777 -R hadoop

（五）创建/data/hadoop-data目录，在根目录下输入如下命令

mkdir data
        cd data
        mkdir hadoop-data

（六）修改./conf/core-site.xml配置如下：

<configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/hadoop-data/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

（七）修改conf/hadoop-env.sh中的JAVA\_HOME配置如下（根据自己）：

export JAVA_HOME=/usr/java/jdk1.6

（八）修改./conf/hdfs-site.xml配置如下：

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

（九）修改./conf/mapred-site.xml配置如下：

<configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
        </property>
    </configuration>

（十） 配置环境变量

export HADOOP_PREFIX=/usr/local/hadoop/hadoop-1.2.1
    export PATH=${HADOOP_PREFIX}/bin/:${PATH}

（十一）格式化namenode

hadoop namenode -format

（十二）启动hadoop

start-all.sh

![Center][]

（十三）检查hadoop是否正确启动

hadoop fs -ls /
        jps

![SouthEast][]

### PS :安装ssh ###

### yum -y install openssh-server openssh-clients ###