D 实战 window 配置python及scrapy环境

曾经终败给现在 2022-05-16 03:06 54阅读 0赞

# 一、安装python及scrapy #

*  [python安装][python]
 *  [Python 环境搭建][Python]
 *  命令：`pip install scrapy`

# 二、安装mysql #

1.  安装mysql

> 下载地址：[Download MySQL Installer][]  
> 参考：[在win10上安装mysql数据库 ][win10_mysql_]

1.  安装图形界面管理工具 Front

> 下载地址：[MySQL-Front(mysql管理工具) v6.0官方版][MySQL-Front_mysql_ v6.0]

# 三、安装splash #

1.  安装docker

> 下载地址：[Docker Community Edition for Windows][]  
> 参考：[记Windows10下安装Docker的步骤][Windows10_Docker]

1.  更改镜像源地址：https://registry.docker-cn.com
2.  下载splash  
    输入指令`docker pull scrapinghub/splash`下载
3.  python库的 scrapy-splash  
    输入`pip install scrapy-splash`
4.  开启splash端口  
    输入`docker run -p 8050:8050 scrapinghub/splash`
5.  验证splash运行情况  
    浏览器输入`http://localhost:8050`

ip设置  
https://my.oschina.net/RanboSpider/blog/1785626

## （一）'twisted.enterprise’报错 ##

1.  错误：`ModuleNotFoundError: No module named 'twisted.enterprise'`
2.  怀疑1：‘twisted’ 或 ‘twisted.enterprise’ 库没装  
    （将twisted和scrapy卸载后，用conda重新安装，就不报错了）

## （二）抓取中途自动结束 ##

1.  错误：抓取当当时，抓到一半自动结束，已知当当不会封IP，什么原因？
2.  怀疑1：meta传参数时，把 i 放进去了  
    （删除meta，报错）
3.  怀疑2：header错了  
    （每个request加入header，报错）
4.  怀疑3：翻页方式错了  
    （每一本书都用for翻页，不出错）

[python]: https://jingyan.baidu.com/article/0eb457e53408a703f1a905f0.html
[Python]: https://www.runoob.com/python/python-install.html
[Download MySQL Installer]: https://dev.mysql.com/downloads/installer/
[win10_mysql_]: https://jingyan.baidu.com/article/642c9d343557e9644b46f743.html
[MySQL-Front_mysql_ v6.0]: http://www.ddooo.com/softdown/9255.htm
[Docker Community Edition for Windows]: https://store.docker.com/editions/community/docker-ce-desktop-windows
[Windows10_Docker]: https://www.cnblogs.com/5bug/p/8506085.html