一次简单的Python爬虫

绝地灬酷狼 2023-06-06 03:49 11阅读 0赞

主要流程分为：

**爬取、整理、存储**

**1.其中用到几个包，包括**

requests 用于向网站发送请求，并获得网页代码

BeautifulSoup4 用于处理获得的网页代码，提取有效信息

pandas 用于存储信息

其中在to\_excel(‘docname.xlsx’)时，可能去要另外的包 openpyxl

<table> 
 <tbody> 
 <tr> 
 <td> <code>import requests</code> <code>from bs4 import BeautifulSoup</code> <code>import re</code> <code>import json</code> <code>import pandas</code> <code>import excel</code> <code>import sqlite3</code> <code># import openpyxl</code> </td> 
 </tr> 
 </tbody> 
</table>

**2.以爬取新浪网址中各个新闻的责任编辑为例子**

可以按照倒推的方式确定def的functions

获取到了当条新闻下的网页网址后，如何获得责任编辑？

<table> 
 <tbody> 
 <tr> 
 <td> <code>ef getComments(url):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>res=requests.get(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>res.encoding=</code><code>'utf-8'</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>soup=BeautifulSoup(res.text,</code><code>'html.parser'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>soup.select(</code><code>'.show_author'</code><code>)[0].text</code> </td> 
 </tr> 
 </tbody> 
</table>

ii) 根据主页面如何获得各条新闻网页的网址

某行文件是在json中发现，因此通过comments=requests.get(‘url’)再

jd=json.loads(comments.text.strip(‘var data=‘))

jd=\[‘result’\]\[‘count’\]\[‘total’\] ==>这里为字典中的字典，可以从网页检查元素的preview中查看

==>可转化为字典

其中要恢复成字典，左右两头多出了什么就要通过strip()去除

有些需要分左右侧分别删除则通过lstrip()与rstrip(),即left和right

==>for ent in ～：

ent\[‘url’\]

\*\*\*) soup.select()到的所需元素在同一个类中，则可以使用contents\[0\]区分

\*\*\*）time与str间的转换

<table> 
 <tbody> 
 <tr> 
 <td> <code>from datetime import </code><code>date</code> <code>time</code> <code>Str==&gt;time&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dt=datetime.</code><code>strptime</code><code>(timesource,’%Y%m%d’)</code> <code>time==&gt;Str&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dt.</code><code>strftime</code><code>(‘%Y-%m-%d’)</code> </td> 
 </tr> 
 </tbody> 
</table>

\*\*\*) 将list\[\]各元素连接

<table> 
 <tbody> 
 <tr> 
 <td> <code>‘-‘.join(list) #将list中的各元素以-方式连接</code> <code>‘’.join([p.text.strip() </code><code>for</code> <code>p in soup.select(‘#artibody p’)[:-1]])</code> </td> 
 </tr> 
 </tbody> 
</table>

\*\*\*) 对于有多页的网址，则需要找到page对应部分改为\{\}，

然后通过format()进行替换

<table> 
 <tbody> 
 <tr> 
 <td> <code>news_total=[]</code> <code>for</code> <code>i in range(1,3):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>newsurl=url.format(i)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>newsary=parseListlink(newsurl)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>new_total.extend(newsary)</code> </td> 
 </tr> 
 </tbody> 
</table>

**3. 使用pandas存储数据，其中是DataFrame()功能函数**

<table> 
 <tbody> 
 <tr> 
 <td> <code>df=pandas.DataFrame(list)</code> <code>print</code><code>(df.head(20))&nbsp; #显示前20条信息</code> <code>df.to_excel(</code><code>'news.xlsx'</code><code>) #转存为excel格式，名字为news.xlsx</code> </td> 
 </tr> 
 </tbody> 
</table>

其中list的格式为

<table> 
 <tbody> 
 <tr> 
 <td> <code>for</code> <code>u in geturl(url):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>excel1 = [] # 循环开始清空数组</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>result = {} # 循环开始清空字典</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code># 每个条目在新字典赋值</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>result[</code><code>'zeren'</code><code>]=getComments(u)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>result[</code><code>'id'</code><code>]=i</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>i=i+1</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>except:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>continue</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#每个条目形成数组</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>excel1.append(result)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>#在列表中添加数组</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>list.extend(excel1)</code> </td> 
 </tr> 
 </tbody> 
</table>

**4. 存储数据库**

`df=pandas.DataFrame(list)`

`print``(df.head(20))  #显示前20条信息`

`# df.to_excel(``'news.xlsx'``) #转存为excel格式，名字为news.xlsx`

`with sqlite3.connect(``'news.sqlite'``)``as` `db:`

`    ``# 存入news.sqlite文件中的news表格`

`    ``df.to_sql(``'news'``,con=db)`

`    ``# 读取/查询news表格并将数据赋值给df2`

`    ``df2=pandas.read_sql_query(``'SELECT * FROM news'``,con=db)`