windows安装scrapy正确步骤

水深无声 2021-11-10 06:40 382阅读 0赞

### 1.**安装Twisted** ###

直接pip install Twisted

然后报错

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> </td> 
   <td> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>error: Microsoft Visual C</code><code>+</code><code>+</code>&nbsp;<code>14.0</code>&nbsp;<code>is</code>&nbsp;<code>required. Get it with&nbsp;</code><code>"Microsoft Visual C++ Build Tools"</code><code>: http:</code><code>/</code><code>/</code><code>landinghub.visualstudio.com</code><code>/</code><code>visual</code><code>-</code><code>cpp</code><code>-</code><code>build</code><code>-</code><code>tools</code></p> <p>&nbsp;</p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code><code>-</code></p> <p><code>Command&nbsp;</code><code>"c:\users\zb\appdata\local\programs\python\python36-32\python.exe -u -c "</code><code>import</code>&nbsp;<code>setuptools, &lt;br&gt;tokenize;__file__</code><code>=</code><code>'C:\\Users\\zb\\AppData\\Local\\Temp\\pip-build-10ew2ma_\\Twisted\\setup.py'</code><code>;f</code><code>=</code><code>getattr</code><code>(tokenize,&nbsp;</code><code>'open'</code><code>,&nbsp;</code><code>open</code><code>)(__file__);code</code><code>=</code><code>f.read().replace(</code><code>'\r\n'</code><code>,&nbsp;</code><code>'\n'</code><code>);f.close();</code><code>exec</code><code>(</code><code>compile</code><code>(code, __file__,&nbsp;</code><code>'exec'</code><code>))</code><code>"&lt;br&gt; install --record C:\Users\zb\AppData\Local\Temp\pip-85cixft1-record\install-record.txt --single-version-externally-managed --compile"</code>&nbsp;<code>failed with error code&nbsp;</code><code>1</code>&nbsp;<code>in</code>&nbsp;<code>C:\Users\zb\AppData\Local\Temp\pip</code><code>-</code><code>build</code><code>-</code><code>10ew2ma_</code><code>\Twisted\</code></p> <p><code>You are using pip version&nbsp;</code><code>9.0</code><code>.</code><code>1</code><code>, however version&nbsp;</code><code>10.0</code><code>.</code><code>1</code>&nbsp;<code>is</code>&nbsp;<code>available.</code></p> <p><code>You should consider upgrading via the&nbsp;</code><code>'python -m pip install --upgrade pip'</code>&nbsp;<code>command.</code></p> </td> 
  </tr> 
 </tbody> 
</table>

最后一句提醒让升级pip，然后运行 python -m pip install --upgrade pip 运行

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNzM2Mzk5LzIwMTgwNS83MzYzOTktMjAxODA1MDUyMjQ0NDkxMjktOTM3MzY1MjQ0LnBuZw][]

这时候我们成功升级了pip了。然后重新 安装pip install twisted运行之后看到出现 如下错误

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>building&nbsp;</code><code>'twisted.test.raiser'</code>&nbsp;<code>extension</code></p> <p><code>error: Microsoft Visual C</code><code>+</code><code>+</code>&nbsp;<code>14.0</code>&nbsp;<code>is</code>&nbsp;<code>required. Get it with&nbsp;</code><code>"Microsoft Visual C++ Build Tools"</code><code>: http:</code><code>/</code><code>/</code><code>landinghub.visualstudio.com</code><code>/</code><code>visual</code><code>-</code><code>cpp</code><code>-</code><code>build</code><code>-</code><code>tools</code></p> </td> 
  </tr> 
 </tbody> 
</table>

字面意思看需要安装Microsoft Visual C++ 14.0 ，但是这个东西安装起来很麻烦，而且安装上了也不一定准确，这个时候呢，我们一般就考虑第三方的python模块安装包  
http://www.lfd.uci.edu/~gohlke/pythonlibs/

然后搜索twisted，下载对应的版本，下图cp36就是python3.6x版本用的，win32是指的windows的位数，cmd输入python查看python的版本，这里我就下载下面蓝色x

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNzM2Mzk5LzIwMTgwNS83MzYzOTktMjAxODA1MDUyMjU2MzYxMzktMTczNjg1MjEwNC5wbmc][]

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNzM2Mzk5LzIwMTgwNS83MzYzOTktMjAxODA1MDUyMjU0NDg1NjAtMTM1ODU1ODU2MC5wbmc][]

[https://pan.baidu.com/s/1MOVgSWO0aJrBMKUw4ibdrQ][https_pan.baidu.com_s_1MOVgSWO0aJrBMKUw4ibdrQ]

然后用命令行到whl的目录

pip install  Twisted-18.4.0-cp36-cp36m-win32.whl

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNzM2Mzk5LzIwMTgwNS83MzYzOTktMjAxODA1MDUyMzQxNDc4MDMtNzk0ODg4OTM2LnBuZw][]

2.安装scrapy

pip install scrapy

没有特殊情况就会安装成功了。

3.创建工程

打开命令行，然后切换到需要的目录,d:

输入下面的命令创建工程

scrapy startproject weibo

其中weibo是你需要创建的工程的名字，前两个参数不动。

然后到达工程的目录，cd weibo

scrapy genspider weibocn m.weibo.cn

然后这时候进入工程的spider文件发现多了一个文件weibocn.py

weibocn 是爬虫的名字，具有唯一性，每个工程拥有一个唯一的爬虫名，m.weibo.cn是指定域范围，获取的内容只在指定的域。

[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNzM2Mzk5LzIwMTgwNS83MzYzOTktMjAxODA1MDUyMjQ0NDkxMjktOTM3MzY1MjQ0LnBuZw]: /images/20211109/04a19c2403da4d7f98a7d22fde289063.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNzM2Mzk5LzIwMTgwNS83MzYzOTktMjAxODA1MDUyMjU2MzYxMzktMTczNjg1MjEwNC5wbmc]: /images/20211109/49893a40a89a4e08ada0a37022c5a423.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNzM2Mzk5LzIwMTgwNS83MzYzOTktMjAxODA1MDUyMjU0NDg1NjAtMTM1ODU1ODU2MC5wbmc]: /images/20211109/c281b0f9020a4df4a1b4d81c0fd8ad28.png
[https_pan.baidu.com_s_1MOVgSWO0aJrBMKUw4ibdrQ]: https://www.cnblogs.com/c-x-a/p/%20https://download.lfd.uci.edu/pythonlibs/t5yhk4lc/Twisted-18.4.0-cp36-cp36m-win32.whl
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNzM2Mzk5LzIwMTgwNS83MzYzOTktMjAxODA1MDUyMzQxNDc4MDMtNzk0ODg4OTM2LnBuZw]: /images/20211109/cc951336027742e68fd53523154198c1.png