python爬虫+网页点击事件+selenium模拟浏览器，爬取选股宝内容

矫情吗；* 2022-04-22 02:26 187阅读 0赞

（一）PYTHON的安装（已安装，可跳过此步骤）

1、PYTHON下载

PYTHON官网：https://www.python.org/

![70][]

按照对应的系统下载，我这里是window系统，点击windows,根据自己系统操作位数下载

![70 1][]

添加环境变量：

![70 2][]

如果没有添加，可自行在计算机添加

![70 3][]

（二）第三方库的安装

安装selenium和pyquery，在cmd命令下输入 pip install selenium（pyquery安装类似）

![70 4][]

如果报错则进入python目录下scripts目录下，再输入命令

![70 5][]

在python的IDLE下如果没有报错则安装成功

![70 6][]

（三）浏览器及相应浏览器驱动的安装

这里主要使用chrome浏览器，自行去谷歌官网下载安装，安装后查看谷歌版本，单击关于google chrome

（一般在这里都可以找到）

![70 7][]

我的版本：67.0

![70 8][]

下载对应的webdriver  （这里没有可以自己推测每3个版本，对应一个v65-67---v2.38,即v68-70--v2.39）

下载地址：http://chromedriver.storage.googleapis.com/index.html

![70 9][]

把下载好的chromedriver.exe，解压后放到python36目录下（或者python36目录下的scripts）

在IDLE下执行如下代码，会自动打开你谷歌浏览器（环境搭建完成）

![70 10][]

（四）实例代码详解

要求：爬取https://www.xuangubao.cn/股票网站的信息（（“利好”或“利空”）和“相关股票”），实现点击加载更多

![70 11][]

（1）打开浏览器，获取相关讯息：

![70 12][]![70 13][]

（2）网页分析（selenium有很多定位方法，这里用到比较少）

在上面的代码中，data已经拥有了网页当前页的所有内容（可输出观察）；我们现在只要从中拿到我们想要的数据

在网页中，右键，审查元素，（或者检查）分析网页：（由于得到的data可能与网页的分析有所出入，建议最好输出data，从data中分析得到正则表达式）

![70 14][]

我们用正则表达式找到所有以1开头，以2为结尾内容用findall函数

![70 15][]

实现点击：（点击之后的”利好”和“相关股票”的正则会与首页的不同（后面点击的与第一次点击后的一样））

定位方法有：（这里用的比较少不做详细介绍，大家自行了解）：

find\_element\_by\_id　当你知道一个元素的id属性时使用它。使用此策略，将返回具有与该位置匹配的id属性值的第一个元素。  
                 find\_element\_by\_name　当你知道一个元素的name属性时使用它。使用此策略，将返回具有与该位置匹配的id属性值的第一个元素。  
                 find\_element\_by\_xpath  
                 find\_element\_by\_link\_text  
                find\_element\_by\_partial\_link\_text  
                find\_element\_by\_tag\_name  
                find\_element\_by\_class\_name  
               find\_element\_by\_css\_selector

![70 16][]  
    源码附上：

#coding=utf-8
    from selenium import webdriver
    import time
    import re
    from pyquery import PyQuery as pq
    
    
    def openurl(url,num):
            browser  = webdriver.Chrome()  #打开浏览器
            browser.get(url)               #进入相关网站
            html=browser.page_source       #获取网站源码
            data=str(pq(html))             #str() 函数将对象转化为适于人阅读的形式。
                                                                                                                  
            dic={}                         
            re_rule=r'<div class="news-item-container">(.*?)<div data-v-00b2e9bc=""/>'       
            datalist=re.findall(re_rule,data,re.S)
            for i in range(0,len(datalist)):
                    rule1=r'<img src="/img/icon-lihao.png" data-v-6c26747a=""/>(.*?)</span>'
                    bullish = re.findall(rule1,datalist[i],re.S)
                    if len(bullish)==0:
                            rule1=r'<img src="/img/icon-likong.png" data-v-6c26747a=""/>(.*?)</span>'
                            bullish = re.findall(rule1,datalist[i],re.S)
                            
                    rule2=r'<span class="stock-group-item-name" data-v-f97d9694="">(.*?)</span>'
                    stock_name=re.findall(rule2,datalist[i], re.S)
                    
                    if len(stock_name) > 0 and len( bullish) > 0:
                            for c in range(0,len(stock_name)):
                                    dic[stock_name[c]]= bullish[0]
                                    print("正在爬取第",len(dic)+1,"个请稍等.....") 
                  
            c=len(datalist)
            if len(dic) < num:
                    while(1):
                            browser.find_element_by_class_name("home-news-footer").click()
                            time.sleep(1)
                            html=browser.page_source
                            data=str(pq(html))
                            datalist=re.findall(re_rule,data,re.S)
                            for i in range(c,len(datalist)):
                                    rule3=r'<img data-v-6c26747a="" src="/img/icon-lihao.png"/>(.*?)</span>'
                                    bullish = re.findall(rule3,datalist[i],re.S)
                                    if len(bullish)==0:
                                            rule5=r'<img data-v-6c26747a="" src="/img/icon-likong.png"/>(.*?)</span>'
                                            bullish = re.findall(rule5,datalist[i],re.S)
                                    rule4=r'<span data-v-f97d9694="" class="stock-group-item-name">(.*?)</span>'
                                    stock_name=re.findall(rule4,datalist[i], re.S)
                                                    
                                    if len(stock_name) > 0 and len( bullish) > 0:
                                            for c in range(0,len(stock_name)):
                                                    dic[stock_name[c]]= bullish[0]
                                                    
                                
                            c=len(datalist)
                            if len(dic) > num :
                                    browser.quit()
                                    print("爬取完毕！！")
                                    break
    
    
                            print("正在爬取第",len(dic)+1,"个请稍等.....")   
            else:
                    browser.quit()
                    print("爬取完毕！！")
                    
            return dic
                                                                             
    url='https://www.xuangubao.cn/'
    dict=openurl(url,3)
    print(dict)
    #f=open("F:\\text.txt","a")
    #for key,values in  dict.items():
            #f.write((key+"\t"))
            #print(key,values)
    #f.close()

\---------------------   
  
原文：https://blog.csdn.net/weixin\_42551465/article/details/80817552

[70]: /images/20220422/205d467faeff4d50af2c4b7760b62b20.png
[70 1]: /images/20220422/44a5fe660e224c1a98c17ae782aa4fe8.png
[70 2]: /images/20220422/f4e8da061d1441989da32737c8fe69fa.png
[70 3]: /images/20220422/c5624c1f9ce94a7fb0f5f068c0fe303b.png
[70 4]: /images/20220422/6c818e63007b49df948c4e355d41d212.png
[70 5]: /images/20220422/1cacf7e5eeea40a1b74373905307ddc6.png
[70 6]: /images/20220422/f9f4fdad91d446478ebf4fbdc248a09c.png
[70 7]: /images/20220422/e097faf2497b4aed9977ec351ab870e3.png
[70 8]: /images/20220422/f7bf6f67ed574efaa2d3fee2d729e9ed.png
[70 9]: /images/20220422/3ed7c4a053a3415199fe8758ae7e066e.png
[70 10]: /images/20220422/f748ff428b5948948fb1bf50de76de77.png
[70 11]: /images/20220422/19bda7276ef64c7eaccfefa97c263a2a.png
[70 12]: https://img-blog.csdn.net/20180627221233476?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjU1MTQ2NQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 13]: /images/20220422/e829c96fb72944319a051daee7b3625c.png
[70 14]: /images/20220422/918567636a0a4fe4a7578273a5a199e4.png
[70 15]: /images/20220422/12b084cf9af841d095f6cd035f5afb3b.png
[70 16]: /images/20220422/2dbfba866d6d4d068c1e7f32db3bafa1.png