Python于allitebooks.com爬虫书籍名称导入数据库

我不是女神ヾ 2022-05-28 07:45 40阅读 0赞

# Python于allitebooks.com爬虫书籍名称导入数据库 #

准备工作  
1.python软件  
2.搭建数据库  
（备注：数据库和数据表可提前创建好，也可以python代码搭建）

## 1 创建数据库 ##

博主是提前在SQLyog里创建好了数据库，数据库名为python，数据表此处也取名为python，名字可任意取不影响，如下图（此处做实验只爬取了书名）：  
![这里写图片描述][70]

## 2 爬取书籍名称导入数据库python ##

### （1）爬虫分析 ###

在查询界面点击右键，选择检查使得页面和代码可同时分析，在书籍列表点击书名或者封面图都可以进入详情,则书名和封面图任选一个,这里选择书名。  
![这里写图片描述][70 1]  
我们可以通过查找class=”entry-title”定位到书名所在的h2标签,然后通过此标签的a属性即可获得书名所在的a标签,再通过a标签的string属性可获得书名。

### （2）代码实现 ###

第一步：连接数据库，以便爬虫结果直接导入数据库，该部分参见上一篇博客  
第二步: 爬虫数据导入数据库

r= requests.get(url)   #向服务器发送请求
    soup = BeautifulSoup(r.text,'lxml') #声明BeautifulSoup对象
    pattern = soup.find_all('h2', class_='entry-title')  #通过查找class="entry-title"定位到书名所在的h2标签
    try:   
         values = []  #初始值为空
         for item in pattern: #循环批量插入记录数据
             values.append(item.a.string)  #将h2标签下a标签中的字符串数据插入列表
             cursor.executemany('insert into python(bookName) values(%s)',values)#执行 cursor.executemany（），将数据插入数据库

## 3 结果 ##

![这里写图片描述][70 2]

源代码：  
链接：[https://pan.baidu.com/s/1m1zUxONPP\_8SkU4CJm005w][https_pan.baidu.com_s_1m1zUxONPP_8SkU4CJm005w] 密码：dzyj

[70]: /images/20220528/67d032df263a4d29984bd1055fdaf70c.png
[70 1]: /images/20220528/95795efeea50434c87aab06f83007131.png
[70 2]: /images/20220528/a33148e7f90e452591ffd77a44555ab2.png
[https_pan.baidu.com_s_1m1zUxONPP_8SkU4CJm005w]: https://pan.baidu.com/s/1m1zUxONPP_8SkU4CJm005w