在服务器上搭建scrapy分布式爬虫环境的过程

向右看齐 2022-02-04 09:41 120阅读 0赞

## ##

### 1.**python 的安装** ###

在装过好几台服务器后总结出了最短且有效的装 python 的方法，参考了[这篇文章][Link 1]这里简要总结一下

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
    wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz
    mkdir /usr/local/python3
    tar -zxvf Python-3.6.3.tgz
    cd Python-3.6.3
    ./configure --prefix=/usr/local/python3
    make && make install
    ln -s /usr/local/python3/bin/python3 /usr/bin/python3 创建 python3 的软链接
    ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3 创建 pip3 的软链接

*  最后命令行下输入`pip3`和`python3 -V` 验证一下是否都成功

### 2.**mongodb / mysql的安装** ###

*   
 *  在从机上都装上 mongodb，爬取的数据都存在各自的服务器上，之后再汇总。
 *      vim /etc/yum.repos.d/mongodb-org-3.4.repo
    
        [mongodb-org-3.4] 
        name=MongoDB Repository 
        baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/ 
        gpgcheck=1 
        enabled=1 
        gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
    
    将这段代码复制粘贴到刚才创建的mongodb-org-3.4.repo文件中。
 *  下载安装MongoDB
 *      yum -y install mongodb-org
    
        systemctl enable mongod.service
    
    设置开机启动
 *  编辑配置文件，注释掉bindlp,并重启mongodb

systemctl restart mongod.service               //重启mongodb服务
    
    
    systemctl stop mongod.service               //停止 mongodb

### 3.**利用 pip3 安装 scrapy 等** ###

先安装Twisted组件，再安装scrapy

*  `pip3 install scrapyd`
 *  `pip3 install scrapy`
 *  `pip3 install pymongo`
 *  `pip3 install redis`
 *  `pip3 install redis-client`

安装完以上内容，基本能满足分布式从机的爬取。但是在命令行直接输入`scrapy` 和 `scrapyd` 发现会报错，提示`command not found`，这里可以通过创建软链接解决问题。

find / -name scrapy

找到系统中scrapy所在的目录，选择在`bin`目录下的路径

ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy

这是在我的路径下创建的软链接.`scrapy` 命令行再输入scrapy发现已经可用

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70][]

主机配置  
以上完成了从机的配置，接下里配置主机  
主机和从机不同在于它需要提供 redis 服务来保存请求队列，所以主要是安装 redis 服务。参考了众多文章后，还是推荐这篇文章   
这里梳理一下过程：

yum install gcc
    wget http://download.redis.io/releases/redis-3.0.6.tar.gz
    tar zxvf redis-3.0.6.tar.gz
    cd redis-3.0.6 建议将文件夹名字修改为redis看着简洁一些
    vim redis.conf 打开 redis 配置文件
    #bind 127.0.0.1 将绑定 ip 注释掉，以便远程访问
    daemonize yes 在 redis.conf 中修改该选项为 yes，即后台运行
    requirepass 后加上登陆密码
    protected-mode no 关闭保护模式，接着保存退出
    mkdir /etc/redis 
    cp redis.conf /etc/redis/6379.conf 将 redis.conf 复制一份名为 6379.conf 到指定目录
    cd utils 在原redis目录下打开utils文件夹
    vim redis_init_script 修改启动脚本，并在开头添加如下代码 
    #!/bin/sh 
    #chkconfig: 2345 90 10 
    #description: Redis is a persistent key-value database 
    cp redis_init_script /etc/init.d/redisd 将启动脚本复制为 redis
    chkconfig redisd on 设置开机启动
    service redisd start 启动 redis
    service redisd stop 关闭 redis

[Link 1]: http://blog.csdn.net/x_koozal/article/details/72432906
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]: /images/20220204/6eb7f4d514d84e789a97bc8f98e5be61.png