python爬取豆瓣TOP250生成Excel表格例子最新

浅浅的花香味﹌ 2022-10-24 05:51 173阅读 0赞

## 一 确定爬取网站 ##

因为初学，所以按照网上的教程爬取豆瓣TOP250的网站。网址：  
https://movie.douban.com/top250  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1MzA2Mw_size_16_color_FFFFFF_t_70]

## 二 编写爬虫程序 ##

详细过程就不再一 一讲解，可以看代码中的注释

采用pyCharm变成软件创建的python工程，

from bs4 import BeautifulSoup # 网页解析
 import re # 正则表达式
 import urllib.request, urllib.error # 制定url
 import xlwt # 进行excel操作
 import sqlite3 # 进行SQLite数据库操作
 
 
 def main():
 baseurl = "https://movie.douban.com/top250?start="
 # 1 爬取网页
 datalist = getData(baseurl)
 
 # 3 保存数据
 savepath = ".\\豆瓣电影Top250.xls"
 saveData(datalist, savepath)
 
 # askURL(baseurl)
 
 
 # 创建正则表达式对象，表示规则(字符串的模式)
 # 获取影片详情链接的规则 加r可以有转义字符
 findLink = re.compile(r'<a href=(.*?)">')
 # 获取影片图片链接的规则 re.S让换行符包含在字符串中
 findImg = re.compile(r'<img.*src="(.*?)"', re.S)
 # 获取影片标题内容的规则
 findTitle = re.compile(r'(.*?)')
 # 获取影片评分的规则
 findRating = re.compile(r'(.*?)')
 # 获取影片评价人数
 findPeople = re.compile(r'(\d*)人评价')
 # 获取影片概况
 findInq = re.compile(r'(.*?)')
 # 获取影片相关内容
 findBd = re.compile(r'(.*?)', re.S)
 
 
 def getData(baseurl):
 datalist = []
 for i in range(0, 10):
 # 拼接字符串，强制转换str(i*25)
 url = baseurl + str(i * 25)
 # 保存获取到网页的源码
 html = askURL(url)
 # 2 逐一解析数据
 soup = BeautifulSoup(html, "html.parser")
 # 查找符合要求的数据 遍历
 for item in soup.find_all("div", class_="item"):
 # print(item)
 # 保存一部电影的所有信息
 data = []
 # 强制转换
 item = str(item)
 # re库用来通过正则表达式查找指定的字符串
 # 获取影片详情的链接
 link = re.findall(findLink, item)[0]
 data.append(link)
 # print(link)
 # 获取影片图片的链接
 imgLink = re.findall(findImg, item)[0]
 data.append(imgLink)
 # 获取影片标题内容
 titles = re.findall(findTitle, item)
 if len(titles) == 2:
 cTitle = titles[0]
 data.append(cTitle)
 oTitle = titles[1].replace("/", "")
 data.append(oTitle)
 else:
 data.append(titles[0])
 data.append(" ")
 # 获取影片评分
 rating = re.findall(findRating, item)[0]
 data.append(rating)
 # 获取影片评价人数
 perpsoncount = re.findall(findPeople, item)[0]
 data.append(perpsoncount)
 # 获取影片概况
 inq = re.findall(findInq, item)
 if len(inq) != 0:
 inq = inq[0].replace("。", "")
 data.append(inq)
 else:
 data.append(" ")
 # 获取影片相关内容
 bd = re.findall(findBd, item)[0]
 bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd)
 bd = re.sub('/', " ", bd)
 # strip()去掉空格
 data.append(bd.strip())
 # print("影片详情链接" + link + "\t图片链接：" + imgLink + "\t标题:" + titles[
 # 0] + "\t评分:" + rating + "\t评价人数:" + perpsoncount + "\t影片概况：" + inq + "\t影片内容:" + bd)
 datalist.append(data)
 # print(datalist)
 return datalist
 
 
 # 得到指定一个URL的网页内容
 def askURL(url):
 # 伪装浏览器
 head = {
 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36"}
 # 配置request
 request = urllib.request.Request(url, headers=head)
 html = ""
 try:
 # 获取响应
 response = urllib.request.urlopen(request)
 # 把响应读取
 html = response.read().decode("utf-8")
 # print(html)
 except urllib.error.UrlError as e:
 if hasattr(e, "code"):
 print(e.code)
 if hasattr(e, "reason"):
 print(e.reason)
 return html
 
 
 # 保存数据
 def saveData(datalist, savepath):
 print("save...")
 book = xlwt.Workbook(encoding="utf-8", style_compression=0)
 sheet = book.add_sheet("豆瓣电影Top250", cell_overwrite_ok=True)
 col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概况", "相关信息")
 for i in range(0, 8):
 sheet.write(0, i, col[i])
 for j in range(0, 250):
 print("第%d条" % j)
 data = datalist[j]
 for k in range(0, 8):
 sheet.write(j+1, k, data[k])
 book.save('豆瓣Top250.xls')
 print("success")
 
 
 if __name__ == "__main__":
 # 调用函数
 main()

怎么引入模块可以自行查阅资料，简单的可以按ALT+ENTER键导入

## 三 运行程序，查看结果 ##

右击run![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1MzA2Mw_size_16_color_FFFFFF_t_70 1]  
运行成功结果如图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1MzA2Mw_size_16_color_FFFFFF_t_70 2]  
在同级目录下生成的Excel表格如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1MzA2Mw_size_16_color_FFFFFF_t_70 3]

至此 结束

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1MzA2Mw_size_16_color_FFFFFF_t_70]: /images/20221024/27653461fe0f4591b0b2fe93a6589906.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1MzA2Mw_size_16_color_FFFFFF_t_70 1]: /images/20221024/d17e27b5cdcd4cac9a0824ab79acdc66.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1MzA2Mw_size_16_color_FFFFFF_t_70 2]: /images/20221024/3e430b9ca0f24bc2b1cbdc17d72469bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1MzA2Mw_size_16_color_FFFFFF_t_70 3]: /images/20221024/575a702e983a48528bcc33ac7d0e4afb.png