学习 scrapy 第一课

客官°小女子只卖身不卖艺 2022-02-14 09:27 293阅读 0赞

安装  
直接使用pycharm安装的步骤

File -> Setting -> project:yourProjectName -> 点击加号 ->输入你需要的包（我这里输入 scrapy）

然后直接安装即可，如果出现下面的报错  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]  
说明是超时了，这大概率上是pip源的问题。可以搜索 pip更换国内源 的方案进行解决。在更换好源之后，我再次执行，发生的错误就发生了变化  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]  
可见，pip源超时的问题已经解决掉了。好了，以上内容只是常见包的安装手段，对于scrapy我使用的是其他办法安装完成的。

如果在报错信息中，你会找到

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

这样的信息，你需要到 [http://www.lfd.uci.edu/~gohlke/pythonlibs/\#twisted][http_www.lfd.uci.edu_gohlke_pythonlibs_twisted] 下载twisted对应版本的whl文件，例如我的python版本是 3.6.2，所以我下载了这两个文件，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]  
来到下载页，  
![在这里插入图片描述][20190426105556781.png]  
执行  
![在这里插入图片描述][20190426105622767.png]  
报错说

ERROR: Twisted-19.2.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.

可是，我记得我应该是64位操作系统才对  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 3]  
原来是，这里的 win32和win\_amd64 的理解有问题，

> Win32 -> 指的就是Windows系统；  
> 64 bit- > 指的是Windows是64位的；  
> AMD64 -> 指的就是 CPU是x64的

我的电脑首先应该满足的是windows系统，所以应该使用 Twisted-19.2.0-cp36-cp36m-win32.whl 安装 Twisted  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 4]  
那么如何理解 amd64那个包呢？

> 因为python有很多native的包，就是不是纯python代码，用了诸如c/c++的代码，然后编译成库给py文件调用的，这样在安装的时候就要区分包的平台：库在windows上多是dll，在linux等是so，在macos是dylib。win-amd64就是CPU是AMD64兼容的架构并在windows上运行，win是windows，还可以有其他比如darwin是macos，linux是linux；amd64是CPU平台，还可能有arm，x86，x86\_64等的

然后使用pip安装 scrapy就可以了，安装完成的截图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 5]

我这里使用了 pip临时源

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

值得提醒的是，每个人在安装的过程中可能都会遇到不同的报错信息。所以我们需要掌握的是找到错误关键字儿，然后到百度或者谷歌上面搜索即可。例如，我在之前安装 scrapy的时候，  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 6]  
出现了这样的错误，那么就把这个error原封不动拿到搜索引擎里面去搜索就行了。据我观察，这种错误普遍在报错信息的末尾或者开头，从上面的例子中可以看到，超时异常实际上是在报错信息开头打印的。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70]: /images/20220214/7274d914e7bb40909997c52b7f08c31f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 1]: /images/20220214/9af2121e33a8410f8cc3fc54951c27ee.png
[http_www.lfd.uci.edu_gohlke_pythonlibs_twisted]: http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 2]: /images/20220214/2a7dfed4fae04bd391ff483984c31191.png
[20190426105556781.png]: /images/20220214/2a3821c15dce4f1da0f6e172c02b06c9.png
[20190426105622767.png]: /images/20220214/1180867710da41d6a8f1c4aef7a5a070.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 3]: /images/20220214/7eff6cdf3d814274a8645c0984264fae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 4]: /images/20220214/2046aeb669fb4534bbc8d5459ff3083b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 5]: /images/20220214/907103c981f649a3af02cdde890fe8ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9jaGFvamlsYWppLmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70 6]: /images/20220214/631652f3eb0c4de89de12ef9cad1bf01.png