Python批量采集wordpress网站数据爬虫脚本

ゞ浴缸里的玫瑰 2024-03-16 10:17 102阅读 0赞

分享一段非常简单的Python批量采集wordpress网站数据的爬虫脚本，实现采集wordpress程序的网站的整站数据的爬虫程序。从首页开始，抓取href标签，到子页面后还是要继续找href标签，采用Python递归方法，直接贴代码吧！

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 </td> 
 <td> <code>import</code>&nbsp;<code>re</code> <code>import</code>&nbsp;<code>bs4</code> <code>import</code>&nbsp;<code>urllib.request</code> <code>&nbsp;</code>&nbsp; <code>url_home&nbsp;</code><code>=</code>&nbsp;<code>'https://www.che0.com/'</code>&nbsp;&nbsp;<code>#要采集的网站</code> <code>url_pattern&nbsp;</code><code>=</code>&nbsp;<code>url_home&nbsp;</code><code>+</code>&nbsp;<code>'([\s\S]*)\.html'</code>&nbsp;<code>#正则表达式匹配文章页面，此处需完善为更好的写法</code> <code>url_set&nbsp;</code><code>=</code>&nbsp;<code>set</code><code>()</code> <code>url_cache&nbsp;</code><code>=</code>&nbsp;<code>set</code><code>()</code> <code>url_count&nbsp;</code><code>=</code>&nbsp;<code>0</code> <code>url_maxCount&nbsp;</code><code>=</code>&nbsp;<code>1000</code>&nbsp;&nbsp;<code>#最大采集数量</code> <code>&nbsp;</code>&nbsp; <code>#采集匹配文章内容的href标签</code> <code>def</code>&nbsp;<code>spiderURL(url,&nbsp;pattern):</code> <code>&nbsp;&nbsp;&nbsp;</code><code>html&nbsp;</code><code>=</code>&nbsp;<code>urllib.request.urlopen(url).read().decode(</code><code>'utf8'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>soup&nbsp;</code><code>=</code>&nbsp;<code>bs4.BeautifulSoup(html,&nbsp;</code><code>'html.parser'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>links&nbsp;</code><code>=</code>&nbsp;<code>soup.find_all(</code><code>'a'</code><code>,&nbsp;href&nbsp;</code><code>=</code>&nbsp;<code>re.</code><code>compile</code><code>(pattern))</code> <code>&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>link&nbsp;</code><code>in</code>&nbsp;<code>links:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>link[</code><code>'href'</code><code>]&nbsp;</code><code>not</code>&nbsp;<code>in</code>&nbsp;<code>url_cache:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url_set.add(link[</code><code>'href'</code><code>])</code> <code>&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>soup</code> <code>&nbsp;</code>&nbsp; <code>#采集的过程&nbsp;&nbsp;异常处理还需要完善，对于一些加了防采集的站，还需要处理header的，下次我们再学习</code> <code>spiderURL(url_home,&nbsp;url_pattern)</code> <code>&nbsp;</code>&nbsp; <code>while</code>&nbsp;<code>len</code><code>(url_set)&nbsp;!</code><code>=</code>&nbsp;<code>0</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;</code><code>try</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url&nbsp;</code><code>=</code>&nbsp;<code>url_set.pop()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url_cache.add(url)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>soup&nbsp;</code><code>=</code>&nbsp;<code>spiderURL(url,&nbsp;url_pattern)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>page&nbsp;</code><code>=</code>&nbsp;<code>soup.find(</code><code>'div'</code><code>,&nbsp;{ </code><code>'class'</code><code>:</code><code>'content'</code><code>})</code> <code>&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>title&nbsp;</code><code>=</code>&nbsp;<code>page.find(</code><code>'h1'</code><code>).get_text()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>autor&nbsp;</code><code>=</code>&nbsp;<code>page.find(</code><code>'h4'</code><code>).get_text()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>content&nbsp;</code><code>=</code>&nbsp;<code>page.find(</code><code>'article'</code><code>).get_text()</code> <code>&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(title,&nbsp;autor,&nbsp;url)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>except</code>&nbsp;<code>Exception&nbsp;as&nbsp;e:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(url,&nbsp;e)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>continue</code> <code>&nbsp;&nbsp;&nbsp;</code><code>else</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url_count&nbsp;</code><code>+</code><code>=</code>&nbsp;<code>1</code> <code>&nbsp;&nbsp;&nbsp;</code><code>finally</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>url_count&nbsp;</code><code>=</code><code>=</code>&nbsp;<code>url_maxCount:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>break</code> <code>&nbsp;</code>&nbsp; <code>print</code><code>(</code><code>'一共采集了：&nbsp;'</code>&nbsp;<code>+</code>&nbsp;<code>str</code><code>(url_count)&nbsp;</code><code>+</code>&nbsp;<code>'&nbsp;条数据'</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>