实现基于scrapy框架的天气预报爬虫hengYangSpaider @572311文

淡淡的烟草味﹌ 2022-05-25 13:44 82阅读 0赞

**实现基于scrapy框架的天气预报爬虫hengYangSpaider**

@572311文

**时间：**2018年5月6日-2018年5月8日

**参考书目：**《Python 网络爬虫实践》（胡松涛 编著）第五章5.4

**运行环境：**

Windows10 pro

python2.7

scrapy 1.5.0

mysql 5.7.17-log MySQL Community Server (GPL)

【MySQL\_python-1.2.5-cp27-none-win\_amd64】

**实验过程：**同书

**实验所遇部分问题：**

1. **mysql创建用户并授予权限**，因为在user表中password字段已被取消，代替之的是authentication\_string字段，所以原书中的创建语句修改为：

**原文：**

INSERT INTO mysql.user(Host,User,password)

values("%","crawlUSER",password("crawl123"));

**修改后：**

INSERT INTO mysql.user (Host, User, authentication\_string, ssl\_cipher , x509\_issuer , x509\_subject )

values("%","crawlUSER",password("crawl123"),'','','');

直接使用update语句也是可以的

\#update mysql.user setauthentication\_string=password("crawl123") where user="crawlUSER " and Host ="%";

2. **mysql无密码修改root用户密码，**由于在操作过程中出现了失误，原系统用户的密码被修改掉，登陆不上去了。参考网上教程，进行了如下操作：

① 停止mysql服务 ：net stop mysql57

② 修改my.in文件（我的安装目录是：…\\program files\\，但是my.ini文件在..\\ProgramData\\MySQL\\MySQL Server 5.7\\里边）：在\[mysqld\]下加入 skip-grant-tables，重启mysql；

③ 启动mysql服务 ：net start mysql57

④ 输入命令mysql -u root -p，出现 ‘password：’，直接回车可以进入。输入下列指令：  
use mysql;  
update user set password=password("newpasswd") whereuser="root";  
flush privileges;

quit;

（记得刷新）

⑤ 修改my.in文件：删除skip-grant-tables

⑥ 参考csdnBlog: [mysqlAccess denied for user root@localhos错误解决方法总结][mysqlAccess denied for user root_localhos]

3. 在安装MySQL-python时，出现以下问题：

error: Microsoft Visual C++ 9.0 is required (Unableto find vcvarsall.bat). Get it from http://aka.ms/vcpython27  
解决办法：是从[http://aka.ms/vcpython27下载安装][http_aka.ms_vcpython27]VCForPython27，后出现以下问题：

\_mysql.c

\_mysql.c(42): fatal error C1083: Cannot open include file: 'config-win.h': No s uch file ordirectory

error: command'"C:\\Users\\fnngj\\AppData\\Local\\Programs\\Common\\Microsoft\\Visual C ++ forPython\\9.0\\VC\\Bin\\amd64\\cl.exe"' failed with exit status 2

按照网上所提示各种方法均有尝试，问题仍然存在；后又下载安装mysql-connector-c-6.0.2-winx64.msi，其中64和32位的都下载尝试了，但问题仍然存在，继续寻找解决方案，后参考csdnBlog：[安装MySql-Python遇到的错误及解决方法][MySql-Python]，在[https://sourceforge.net/projects/mysql-python/?source=typ\_redirect][https_sourceforge.net_projects_mysql-python_source_typ_redirect]下载并安装 MySQL-python-1.x.xwin-amd64-py2.7.exe，问题得以解决。

**实验收获：**

1、 python对于缩进格式有着严格要求，必须是4个空格（一个4长度的制表符）；

2、 要灵活运用print打印，以及try指令进行错误的查找；

3、 关于xpath（） ，参数字符串代表是标签层次，侧面可以理解为地址，以” //a//b//c”为例，其代表的是a标签下的，b标签里的，c标签中的内容，c标签可能会有多个，切没有classname，那么选择器的选择结果则是以selectList 的实例返回的，其本质为list类；

4、 小数据保存用txt、json、cvs格式即可，大数据用Mysql保存。

[mysqlAccess denied for user root_localhos]: https://blog.csdn.net/u012730299/article/details/51840416
[http_aka.ms_vcpython27]: http://aka.ms/vcpython27%E4%B8%8B%E8%BD%BD%E5%AE%89%E8%A3%85
[MySql-Python]: https://blog.csdn.net/altland/article/details/55804052
[https_sourceforge.net_projects_mysql-python_source_typ_redirect]: https://sourceforge.net/projects/mysql-python/?source=typ_redirect