Selenium爬虫

今天药忘吃喽~ 2022-05-24 07:08 302阅读 0赞

### 一、简介 ###

#### selenium ####

一个用于Web应用自动化程序测试的工具，模拟用户操作浏览器。

两种模式：

1.  支持通过驱动真实浏览器（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）
2.  支持通过驱动无界面浏览器（HtmlUnit，PhantomJs）

#### PhantomJS ####

一个基于 WebKit（WebKit是一个开源的浏览器引擎，Chrome，Safari就是用的这个浏览器引擎） 的服务器端 JavaScript API，

应用场景：

1.  无需浏览器的 Web 测试
2.  页面访问自动化，屏幕捕获
3.  网络监控

### 二、安装 ###

#### selenium模块 ####

1、源码安装
    wget https://files.pythonhosted.org/packages/d1/46/16760572785e62262da64b2624acf3b51e50a1581b14aea17aa61e145309/selenium-2.48.0.tar.gz
    
    解压到\Python27\Lib\site-packages
    
    2、pip安装
    pip install selenium
    
    #指定版本安装
    pip install selenium==2.48.0
    
    #查看安装版本
    pip show selenium
    
    #卸载模块
    pip uninstall selenium
    
    #安装过高版本报错
    UserWarning: Selenium support for PhantomJS has been deprecated,
        please use headless versions of Chrome or Firefox instead 
    warnings.warn('Selenium support for PhantomJS has been deprecated, 
    please use headless '
    解决：卸载重新指定2.48.0版本安装

#### PhantomJS ####

1、源码安装
    http://phantomjs.org/download.html  
    解压到C:\Python27\Scripts，添加环境变量
    
    2、pip安装
    pip install PhantomJs

### 定位页面元素 ###

XPath: XML的查询语言
    开头是一个斜线（/）代表这是绝对路径
    开头是两个斜线（//）表示文件中所有符合模式的元素都会被选出来
    使用星号（Wildcards,＊）可以选择未知的元素
    属性都是以@开头
    
    <catalog>
        <cd country="UK">
             <title>Hide your heart</title>
             <artist>Bonnie Tyler</artist>
             <price>9.90</price>
        </cd>
        <cd country="USA">
             <title>Greatest Hits</title>
             <artist>Dolly Parton</artist>
             <price>9.90</price>
        </cd>
    </catalog>  
    
    选catalog底下的cd中所有price元素可以用: /catalog/cd/price 
    文件中的所有元素： //*
    文件中所有叫做country的属性： //@country

#### 模拟百度搜索 ####

from selenium import webdriver
    obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
    obj.set_page_load_timeout(5)
    try:
        obj.get('http://www.baidu.com')
        print obj.find_element_by_id("cp").text  # 获取元素的文本信息
        obj.find_element_by_id('kw').clear()              #用于清除输入框的内容
        obj.find_element_by_id('kw').send_keys('Hello')  #在输入框内输入Hello
        obj.find_element_by_id('su').click()              #用于点击按钮
        obj.find_element_by_id('su').submit()             #用于提交表单内容
    
    except Exception as e:
        print e

#### Python编码问题 ####

cd /usr/lib/python2.7/site-packages/
    cat sitecustomize.py
    # encoding=utf8 
    import sys
    
    reload(sys) 
    sys.setdefaultencoding('utf8')
    
    此时重启python解释器，执行sys.getdefaultencoding()，
    发现编码已经被设置为utf8的了，多次重启之后，效果相同，
    这是因为系统在python启动的时候，自行调用该文件，设置系统的默认编码，
    而不需要每次都手动的加上解决代码，属于一劳永逸的解决方法。

参考

[https://www.jianshu.com/p/45f299f9bf7c][https_www.jianshu.com_p_45f299f9bf7c]

[http://www.cnblogs.com/luxiaojun/p/6144748.html][http_www.cnblogs.com_luxiaojun_p_6144748.html]

XPath [http://www.cnblogs.com/hyddd/archive/2009/05/22/1487332.html][http_www.cnblogs.com_hyddd_archive_2009_05_22_1487332.html]

python编码问题 [http://www.cnblogs.com/kevingrace/p/5893121.html][http_www.cnblogs.com_kevingrace_p_5893121.html]

[https_www.jianshu.com_p_45f299f9bf7c]: https://www.jianshu.com/p/45f299f9bf7c
[http_www.cnblogs.com_luxiaojun_p_6144748.html]: http://www.cnblogs.com/luxiaojun/p/6144748.html
[http_www.cnblogs.com_hyddd_archive_2009_05_22_1487332.html]: http://www.cnblogs.com/hyddd/archive/2009/05/22/1487332.html
[http_www.cnblogs.com_kevingrace_p_5893121.html]: http://www.cnblogs.com/kevingrace/p/5893121.html