Python全栈3 - 定向爬虫入门

不念不忘少年蓝@ 2022-06-18 13:16 266阅读 0赞

3、Python 定向爬虫入门

**1、基本的正则表达式**

1-2正则表达式符号与方法

常用符号

. 匹配任意字符，换行符\\n除外 （占位符，几个点就是几个占位符）

\* 匹配前一个字符0次或无限次

? 匹配前一个字符0次或1次

.\* 贪心算法

.\*?非贪心算法

() 括号内的数据作为结果返回

常用方法

findall匹配所有符合规律的内容，返回包含结果的列表

search 匹配并提取**第一个**符合规律的内容，返回一个正则表达式对象（object）

sub替换符合规律的内容，返回替换后的值

常用技巧

import re （推荐）

from re import \* （不推荐）

from re import findall,search,sub,S （不推荐）

不需要compile

使用\\d+匹配纯数字

re.S – 让点的范围匹配任何字符（包括\\n），任何一行

1-3正则表达式的应用举例

import re

匹配多段内容

灵活使用findall与search

先抓大再抓小

实现翻页

#-*-coding:utf8-*-
    
    #导入re库文件
    import re
    
    old_url = 'http://www.jikexueyuan.com/course/android/?pageNum=2'
    total_page = 20
    
    f = open('text.txt','r')
    html = f.read()
    f.close()
    
    #爬取标题
    # title = re.search('<title>(.*?)</title>',html,re.S).group(1)
    # print title
    
    #爬取链接
    # links = re.findall('href="(.*?)"',html,re.S)
    # for each in links:
    #     print each
    
    #抓取部分文字,先大再小
    # text_fied = re.findall('<ul>(.*?)</ul>',html,re.S)[0]
    # print text_fied
    # the_text = re.findall('">(.*?)</a>',text_fied,re.S)
    # for every_text in the_text:
    #     print every_text
    
    #sub实现翻页
    for i in range(2,total_page+1):
        new_link = re.sub('pageNum=\d+','pageNum=%d'%i,old_url,re.S)
        print new_link

1-4实战——制作文本爬虫

目标网站：http://www.jikexueyuan.com/

目标内容：课程图片

实现原理：

1.保存网页源代码

2.Python读文件加载源代码

3.正则表达式提取图片网址

4.下载图片

#-*-coding:utf8-*-
    import re
    import requests
    
    #读取源代码文件
    f = open('source.txt','r')
    html = f.read()
    f.close()
    
    #匹配图片网址
    pic_url = re.findall('img src="(.*?)" class="op-img-others c-img c-img6"',html,re.S)
    i = 0
    for each in pic_url:
        print 'now downloading:' + each
        pic = requests.get(each)
        fp = open('pic\\' + str(i) + '.jpg','wb')
        fp.write(pic.content)
        fp.close()
        i += 1

**2、Python 单线程爬虫**

2-1 Requests介绍和安装

Requests安装

Windows: pip install requests （在目录C:\\Python27\\Scripts）

Linux: sudo pip install requests

第三方库安装技巧

少用easy\_install因为只能安装不能卸载

多用pip方式安装

撞墙了怎么办？请戳->http://www.lfd.uci.edu/~gohlke/pythonlibs/

下载后将.whl重命名为.zip

2-2 第一个网页爬虫

直接获取源代码

**import** requests  
html = requests.get(**'http://tieba.baidu.com/'**)  
**print** html.text

修改http头获取源代码  
*\#hd是我们自己构造的一个字典，里面保存了user-agent*  
hd = \{ **'User-Agent'**:**'Mozilla/5.0(Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/41.0.2272.118 Safari/537.36'**\}  
html = requests.get(**'http://jp.tingroom.com/yuedu/yd300p/'**,headers= hd)

Requests与正则表达式

单线程简单爬虫原理 – 使用requests获取网页源代码，再使用正则表达式匹配出感兴趣的内容

#-*—coding:utf8-*-
    import requests
    import re
    #下面三行是编码转换的功能，大家现在不用关心。
    import sys
    reload(sys)
    sys.setdefaultencoding("utf-8")
    
    #hd是我们自己构造的一个字典，里面保存了user-agent
    hd = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'}
    # html = requests.get('http://jp.tingroom.com/yuedu/yd300p/')
    html = requests.get('http://jp.tingroom.com/yuedu/yd300p/',headers = hd)
    
    html.encoding = 'utf-8' #这一行是将编码转为utf-8否则中文会显示乱码。
    print html.text
    title = re.findall('color:#666666;">(.*?)</span>',html.text,re.S)
    for each in title:
        print each
    
    chinese = re.findall('color: #039;">(.*?)</a>',html.text,re.S)
    for each in chinese:
        print each

2-3 向网页提交数据

Get与post介绍

Get是从服务器上获取数据

Post是向服务器传送数据

Get通过构造url中的参数来实现功能

Post将数据放在header提交数据

分析目标网站

网站地址：https://www.crowdfunder.com/browse/deals

分析工具：Chrome-审核元素-Network

** **

Request 表单提交

核心方法：**request.post**

核心步骤：构造表单-提交表单-获取返回信息

异步加载

#-*-coding:utf8-*-
    import requests
    import re
    # url = 'https://www.crowdfunder.com/browse/deals'
    url = 'https://www.crowdfunder.com/browse/deals&template=false'
    
    
    # html = requests.get(url).text
    # print html
    
    
    #注意这里的page后面跟的数字需要放到引号里面。
    data = {
        'entities_only':'true',
        'page':'2'
    }
    html_post = requests.post(url,data=data)
    title = re.findall('"card-title">(.*?)</div>',html_post.text,re.S)
    for each in title:
        print each

2-4 实战-极客学院课程爬虫

目标网站：[http][][://www.jikexueyuan.com/course][http][/][http]

目标内容：课程名称，课程介绍，课程时间，课程等级，学习人数

涉及知识：

Requests获取网页

re.sub换页

正则表达式匹配内容

*\#-\*\_coding:utf8-\*-*  
**import** requests  
**import** re  
**import** sys  
reload(sys)  
sys.setdefaultencoding(**"utf-8"**)*\#在windows下命令提示符默认的编码是GBK， 而网页是utf-8，将windows下命令提示符的编码方式强制转化为utf-8*  
  
**class** spider(object):  
    **def** \_\_init\_\_(self):  
        **print u'开始爬取内容。。。'**  
  
*\#getsource用来获取网页源代码  
   * **def** getsource(self,url):  
        html = requests.get(url)  
        **return** html.text  
  
*\#changepage用来生产不同页数的链接  
   * **def** changepage(self,url,total\_page):  
        now\_page = int(re.search(**'pageNum=(\\d+)'**,url,re.S).group(1))  
        page\_group = \[\]  
        **for** i **in**range(now\_page,total\_page+1):  
            link = re.sub(**'pageNum=\\d+'**,**'pageNum=%s'**%i,url,re.S)  
            page\_group.append(link)  
        **return** page\_group  
*\#geteveryclass用来抓取每个课程块的信息  
   * **def** geteveryclass(self,source):  
        everyclass = re.findall(**'(<li deg="".\*?</li>)'**,source,re.S)  
        **return** everyclass  
*\#getinfo用来从每个课程块中提取出我们需要的信息  
   * **def** getinfo(self,eachclass):  
        info = \{\}  
        info\[**'title'**\] =re.search(**'target="\_blank">(.\*?)</a>'**,eachclass,re.S).group(1)  
        info\[**'content'**\] = re.search(**'</h2><p>(.\*?)</p>'**,eachclass,re.S).group(1)  
        timeandlevel = re.findall(**'<em>(.\*?)</em>'**,eachclass,re.S)  
        info\[**'classtime'**\] = timeandlevel\[0\]  
        info\[**'classlevel'**\] = timeandlevel\[1\]  
        info\[**'learnnum'**\] = re.search(**'"learn-number">(.\*?)</em>'**,eachclass,re.S).group(1)  
        **return** info  
*\#saveinfo用来保存结果到info.txt文件中  
   * **def** saveinfo(self,classinfo):  
        f = open(**'info.txt'**,**'a'**)  
        **for** each **in**classinfo:  
            f.writelines(**'title:'** \+ each\[**'title'**\] +**'\\n'**)  
            f.writelines(**'content:'** \+ each\[**'content'**\] +**'\\n'**)  
            f.writelines(**'classtime:'** \+ each\[**'classtime'**\] +**'\\n'**)  
            f.writelines(**'classlevel:'** \+ each\[**'classlevel'**\] +**'\\n'**)  
            f.writelines(**'learnnum:'** \+ each\[**'learnnum'**\] +**'\\n\\n'**)  
        f.close()  
  
**if** \_\_name\_\_ == **'\_\_main\_\_'**:  
  
    classinfo = \[\]  
    url = **'http://www.jikexueyuan.com/course/?pageNum=1'  
   ** jikespider = spider()  
    all\_links = jikespider.changepage(url,20)  
    **for** link **in**all\_links:  
        **print u'正在处理页面：'**\+ link  
        html = jikespider.getsource(link)  
        everyclass = jikespider.geteveryclass(html)  
        **for** each **in**everyclass:  
            info = jikespider.getinfo(each)  
            classinfo.append(info)  
    jikespider.saveinfo(classinfo)

课程总结

1）  requests获取网页源代码

2）  修改Http头绕过简单的反爬虫机制

3）  向网页提交内容

**3、XPath 与多线程爬虫**

3-1 XPath的介绍与配置

XPath – XML Path language

XPath 是一门语言

XPath可以在XML文档中查找信息

XPath支持HTML

XPath通过元素和属性进行导航

XPath可以用来提取信息