Selenium设置Chrome和PhantomJS的请求头信息

r囧r小猫 2022-02-12 11:07 334阅读 0赞

对于反爬虫来说，部分对策可以选择Selenium模拟器进行爬取，但是问题来了，如何设置请求头呢，模拟器是怎样伪装的呢？

**目录：**

*  一：selenium设置phantomjs请求头
 *  二：selenium设置chrome请求头
 *  三：selenium设置chrome–cookie
 *  四：selenium设置phantomjs-图片不加载

### 一：selenium设置phantomjs请求头： ###

设置[http://www.cnblogs.com/TTyb/p/6128323.html][http_www.cnblogs.com_TTyb_p_6128323.html] 网址，可看见自己设置的头文件，感谢[百度][Link 1]

如代码：

from selenium import webdriver
    
    from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
    
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
        'Connection': 'keep-alive'
    }
    
    cap = DesiredCapabilities.PHANTOMJS.copy() # 使用copy()防止修改原代码定义dict
    
    for key, value in headers.items():
        cap['phantomjs.page.customHeaders.{}'.format(
            key)] = value
    browser = webdriver.PhantomJS(desired_capabilities=cap)
    
    browser.get("http://httpbin.org/get?show_env=1")
    
    # print(browser.page_source)
    browser.get_screenshot_as_file('01.png')
    
    browser.close()

### 二：selenium设置chrome请求头： ###

来源 [http://www.cnblogs.com/TTyb/p/6128323.html ][http_www.cnblogs.com_TTyb_p_6128323.html]，感恩原作者

from selenium import webdriver  # 进入浏览器设置
    
    options = webdriver.ChromeOptions()  # 设置中文
    
    options.add_argument('lang=zh_CN.UTF-8')  # 更换头部
    
    options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"')
    
    browser = webdriver.Chrome(chrome_options=options)
    
    browser.get("http://httpbin.org/get")
    
    print(browser.page_source)
    
    browser.close()

### 三：selenium设置chrome–cookie： ###

cookie用于模拟登陆，记录会话

from selenium import webdriver
    
    browser = webdriver.Chrome()
    
    browser.get("https://www.baidu.com/")
    
    new_window = 'window.open("https://www.baidu.com");'  # 打开新窗口
    
    browser.delete_all_cookies()  # 删除原来的cookie
    
    browser.add_cookie({'name': 'ABC', 'value': 'DEF'})  # 携带cookie打开
    
    browser.execute_script(new_window)  # 通过js新打开一个窗口
    
    input("查看效果")
    
    browser.close()

### 四：selenium设置phantomjs-图片不加载： ###

from selenium import webdriver
    
    options = webdriver.ChromeOptions()
    
    prefs = {
        'profile.default_content_setting_values': {
            'images': 2
        }
    }
    options.add_experimental_option('prefs', prefs)
    
    browser = webdriver.Chrome(chrome_options=options)
    
    browser.get("http://image.baidu.com/")
    
    input("是否有图")
    
    browser.close()

**效果如图：**

![20190428190710153.png][]

特此记录，以备不时之需

[http_www.cnblogs.com_TTyb_p_6128323.html]: http://www.cnblogs.com/TTyb/p/6128323.html
[Link 1]: https://www.baidu.com
[20190428190710153.png]: /images/20220212/328a44bf50964dfe837befe5d6810926.png