Python爬虫获取电子书资源实战

灰太狼 2022-05-23 12:52 186阅读 0赞

最近在学习Python，相对java来说python简单易学、语法简单，工具丰富，开箱即用，适用面广做全栈开发那是极好的，对于小型应用的开发，虽然运行效率慢点，但开发效率极高。大大提高了咱们的生产力。为什么python能够在这几年火起来，自然有他的道理，当然也受益于这几天大数据和AI的火。

据说网络上80%的爬虫都是用python写的，不得不说python写爬虫真的是so easy。基本上一个不太复杂的网站可以通过python用100多行代码就能实现你所需要的爬取。 现在就以一个电子书的网站为例来实现python爬虫获取电子书资源。爬取整站的电子书资源，按目录保存到本地，并形成索引文件方便查找。

爬取的目标网站：苦瓜书盘

步骤：爬取->分析、解析->保存

对于一个不需要登录验证的资源分享类的网站，爬取最大的工作量应该是在对目标页面的分析、解析、识别，这里用的到是Python的BeautifulSoup库。

一、获取目录

二、获取书籍列表页

三、获取书籍详情页

四、分析书籍详情页的资源地址

五、下载并保存

**一、获取目录**

![20180609111525168][]

通过浏览器的调试工具可以看到目录在id=catagory的div标签下，下面还有ul和li标签，那我们可以迭代li可以获得目录及目录页的地址。

可以通过soup.find\_all( attrs =\{  **'id'** :  **'category'** \})\[ 0 \].ul 获取 到ul标签，然后获取ul的li标签，进行迭代获取。

代码如下：

**'''**

**获取目录**

**'''**

**def**  getcategory():

req\_result=requests.get(main\_url, headers =headers)

**if**  req\_result.status\_code== 200 :

htmlstr=req\_result.content.decode( **'utf-8'** )

soup = BeautifulSoup(htmlstr,  **'lxml'** )

categorys=soup.find\_all( attrs =\{  **'id'** :  **'category'** \})\[ 0 \].ul

**for**  li  **in**  categorys.find\_all( name = **'li'** ):

print ( **'开始抓取'** \+li.a.attrs\[ **'href'** \]+ **"--"** \+li.string)

getcategroydetail(main\_url+li.a.attrs\[ **'href'** \],li.string)

time.sleep( 1 )

**二、获取书籍列表页**

在书籍列表页，我们要获取两个信息，分别是书籍列表的信息及翻页下一页书籍列表的URL地址。

通过浏览器的调试工具分别对列表的信息及翻页下一页的html进行分析。

![20180609111602633][]

列表中的书籍详情页信息在class="channel-item"的div标签下，通过class="list-title"的h3标签循环迭代

![20180609111619790][]

下一页，我们可以直接通过next\_pag=soup.find(name='a',text=re.compile('下一页'))来获取。

然后我们可以通过递归来不断的调用获取下一页书籍列表页的代码，知道没有下一页为止。就可以把怎个目录都可以爬取完。

代码如下：

**'''**

**获取书籍列表**

**'''**

**def**  getbookslist(bookurlstr,categroy\_path):

book\_result=requests.get(bookurlstr, headers =headers)

bookhtmlstr=book\_result.content.decode( **'utf-8'** )

soup = BeautifulSoup(bookhtmlstr,  **'lxml'** )

booklists=soup.select( **'.channel-item'** )

**for**  bookinfo\_div  **in**  booklists:

booktitle\_div=bookinfo\_div.select( **'.list-title'** )\[ 0 \]

bookurl=booktitle\_div.a.attrs\[ **'href'** \]

getbookdetail(bookurl,categroy\_path)

next\_pag=soup.find( name = **'a'** , text =re.compile( **'下一页'** ))

**if**  next\_pag  **is not None** :

next\_url=next\_pag.attrs\[ **'href'** \]

print ( **'爬取下一页：'** \+next\_url)

getbookslist(next\_url,categroy\_path)

**三、获取书籍详情页**

我们要在书籍详情页需要获得书籍详情信息包括书名、作者等信息

![20180609111648260][]

关于书名和作者可以分别通过提取class="news\_title"的h1标签和id="news\_details"的div下的ul下的li再通过正则表达式对作者信息进行提取。

booktitle=bookdetailsoup.select( **'.news\_title'** )\[ 0 \].text.strip()

bookauthor=bookdetailsoup.select( **'\#news\_details'** )\[ 0 \].ul.li.find( text =re.compile( **'作者：(.\*?)'** )).strip()

bookauthor=bookauthor.replace( **'作者：'** , **''** )

booktitleinfo= **"《"** \+booktitle+ **'》-'** \+bookauthor

**四、分析书籍详情页的资源地址**

在书籍详情页，我们还要分析书籍详情页的资源地址

![20180609111724479][]

电子书的资源下载地址可以通过提取a标签的信息来获取。通过正则表达式分别匹配azw3、mobi、epub分别提取不同的电子书资源。

book\_url\_item=bookdetailsoup.find( name = **'a'** , text =re.compile(booktype,re.I))

代码如下：

**'''**

**根据书籍资源类型下载资源**

**'''**

**def**  getbookfortype(bookurl,categroy\_path,bookdetailsoup,booktype):

booktitle=bookdetailsoup.select( **'.news\_title'** )\[ 0 \].text.strip()

bookauthor=bookdetailsoup.select( **'\#news\_details'** )\[ 0 \].ul.li.find( text =re.compile( **'作者：(.\*?)'** )).strip()

bookauthor=bookauthor.replace( **'作者：'** , **''** )

booktitleinfo= **"《"** \+booktitle+ **'》-'** \+bookauthor

print ( **'书籍详情：---'** \+booktitleinfo)

book\_url\_item=bookdetailsoup.find( name = **'a'** , text =re.compile(booktype,re.I))

**if**  book\_url\_item  **is not None** :

downloadurl=book\_url\_item.attrs\[ **'href'** \]

print ( **'下载地址：'** \+downloadurl)

**if**  checkIfNoExistBookByUrl(downloadurl):

r = requests.get(downloadurl)

**if**  r.status\_code== 200 :

savepath=createdir(categroy\_path,booktitleinfo)

filename=booktitle+ **"."** \+booktype

savebook(r.content,savepath,filename)

p,f=os.path.split(categroy\_path)

bookcategory=f

book=Book(bookcategory,booktitle,bookauthor,bookurl,downloadurl,savepath, **"苦瓜书盘"** ,booktype)

print (book.toString())

savebooktojson(book)

**else** :

print ( **'下载失败：status\_code='** \+ str (r.status\_code))

**else** :

print ( **'没有'** \+booktype+ **'格式的书'** )

**五、下载并保存**

有了资源的下载资源后下载就变得很简单了，主要用python的os库，对文件进行操作，包括建目录及保存资源文件。也可以通过连接数据库将爬取的数据保存到数据库。

定义书籍类Book用于组织和保存数据。

**class**  Book( object ):

**def**  \_\_init\_\_ ( self ,bookcategory,bookname,bookauthor,bookurl,bookdownloadurl,booksavepath,booksource,booktype):

self .bookcategory=bookcategory

self .bookname=bookname

self .bookauthor=bookauthor

self .bookurl=bookurl

self .bookdownloadurl=bookdownloadurl

self .booksavepath=booksavepath

self .booksource=booksource

self .booktype=booktype

**def**  toString( self ):

**return**  \{  **"bookcategory"** : self .bookcategory, **"bookname"** : self .bookname, **"bookauthor"** : self .bookauthor, **"bookurl"** : self .bookurl, **"bookdownloadurl"** : self .bookdownloadurl, **"booksavepath"** : self .booksavepath, **"booksource"** : self .booksource, **"booktype"** : self .booktype\}

**'''**

**将获取的信息保存至文件**

**'''**

**def**  savebooktojson(book):

bookdata=\{

**'booksource'** :book.booksource,

**'booktype'** :book.booktype,

**'bookcategory'** :book.bookcategory,

**'bookname'** :book.bookname,

**'bookauthor'** :book.bookauthor,

**'bookurl'** :book.bookurl,

**'bookdownloadurl'** :book.bookdownloadurl,

**'booksavepath'** :book.booksavepath

bookjson=json.dumps(bookdata, ensure\_ascii = **False** )  *\#ensure\_ascii=False 就不会用 ASCII 编码，中文就可以正常显示了*

print (bookjson)

**with**  open ( **'data.json'** ,  **'a'** , encoding = **'gbk'** )  **as**  file:

file.write(bookjson+ **'** **\\n** **'** )

**'''**

**根据目录创建文件夹**

**'''**

**def**  createdir(savepath,dir):

path=os.path.join(savepath,dir)

isExists=os.path.exists(path)

**if**  isExists:

print ( **'已经存在'** \+dir)

**else** :

print ( **'创建目录'** \+dir)

os.mkdir(path)

**return**  path

**'''**

**下载书籍资源**

**'''**

**def**  savebook(content,savepath,savefilename):

savefile=os.path.join(savepath,savefilename)

**with**  open (savefile,  **"wb"** )  **as**  code:

code.write(content)

\---------------------------------------------------------

**运行效果如下：**

1、爬取过程

![20180609111750443][]

2、爬取记录的json信息

data.json的信息如下：

![20180609111806360][]

3、爬取获取的资源

按目录都已经整理好了，够你看的了。

![20180609111829621][]

Python爬虫获取电子书资源实战的全部代码，包括爬取->分析、解析->保存至本地及数据库。 [下载][Link 1]

[20180609111525168]: /images/20220523/401c2f724ae64b2eb2cb110933250838.png
[20180609111602633]: /images/20220523/faa4aa5804df4d419abfd68fcfd4ad79.png
[20180609111619790]: /images/20220523/37f762aea1c248d58c4e3033059883a6.png
[20180609111648260]: /images/20220523/278d757cf22645548a48a8521ebf96f5.png
[20180609111724479]: /images/20220523/098461a07800489ea295f5daa04bcca8.png
[20180609111750443]: /images/20220523/ce7fe9a51e1c469dbce8559d1022794b.png
[20180609111806360]: /images/20220523/2a1c477567d24982b75850eaa095d3de.png
[20180609111829621]: /images/20220523/059070eca4d0496083677f7dab9b2e4d.png
[Link 1]: https://download.csdn.net/download/fullbug/10468606