多彩投网站动态爬取[python+selenium]

水深无声 2022-04-08 14:12 239阅读 0赞

## 目标网站 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70]

## 遇到的坑 ##

这个网站为了反爬虫，使用了很多策略，而这些策略都会是爬虫中可能遇到的坑。

**目的：** 目的是爬取这个网页中的这个状态的项目（`projectStatus=6`）（**估计是表示结束了的意思**）

### 坑1 ###

*  **坑：** **上面的图示网页，无法直接获得具体的项目的网页链接：** 页面的地址是被动态加载的。也就是说没办法直接获取到每个项目的具体链接。
 *  **解决方式：** 这个是被我后面用一个方法（**selenium**）一起解决了，但其实不是一定要用selenium的。但是如果是只有这一个问题的话，我们其实一方面可以通过后台来看network相关的请求，另一方面看js的过程。

### 坑2 ###

*  **坑：** **在每一个项目页面中，加载到具体的具体信息页面中**。采用的是js自动替换页面的技术。**同样是这个原因，让我更想使用selenium来实现爬取了**
 *  **解决方式：** selenium动态模拟

### 坑3 ###

*  **坑：在具体的数据页面中数据的变换。** 比如说到稍微到后面的一点点的页面的情况的哈，会发现网页的数据内容变了。
    
     *  比如说，有些是：**最高可投**，有些是**每人限投**。其实本质上是一个意思。
     *  `"标的公司", "项目公司"`也是一样的道理
     *  `"标的估值", "项目公司估值"`
     *  然后一开始的数据表示的话，中间是用`：`（**中文输入法的`：`**），但是，在后面有些网页就会是`:` (**英文输入法的冒号加上空格作为分隔符**)
 *  **解决办法：** 全都是用中文的来进行字符串替代。

### 坑4 ###

* **坑：一开始的数据都是用每行用来表示的，但是后来发现，会随机在某两种数据直接，使用 （换行符来分隔）**。这样，如果采用一般的直接获取p标签的话，就会出现bug。导致会在某些地方一直没捕捉到数据。
 * **解决办法：** 就是下面的代码段。要先获取具体的html代码然后根据html的结构进行分析。**隐含的坑！！（find\_…之类的话，如果是不存在的话，就会报错。但是之前说了这个是随机的…所以只能是使用try来实现）**

tempDatas = []
 for d in datas:
 try:
 td = d.find_element_by_tag_name('span').get_attribute("innerHTML")
 if ' ' in td:
 tds = td.split(' ')
 for tdi in tds:
 tempDatas.append(tdi.replace('\n', '').replace(' ', ' ').replace(': ', '：').replace(':', "：").strip())
 else:
 tempDatas.append(d.text.strip().replace('\n', '').replace(': ', '：').replace(':', "："))
 except Exception as e:
 tempDatas.append(d.text.strip().replace('\n', '').replace(': ', '：').replace(':', "："))
 datas = tempDatas

### 坑5 ###

*  **坑：网页结构发生了变化。** 以前的数据似乎跟稍微近一些的数据不太一样。比如说关于我们想要的数据的所在的定位span。以前是第一个，但是后面的时候会遇到有些是在第二个上，所以就会出现一直爬不到信息的情况。
 *  **解决办法：** 这里的解决办法其实还不够完善，但是至少够用了。就是使用最后一个。我发现，之前的只有一个span的情况，那还是一样，但是有两个span的时候，数据一般是在后面的span中。所以我就直接使用了`[-1]`这样的方式来进行索引。

### 坑6 ###

*  **坑：每次都要手动登录**。非常麻烦，因为这里有需要有验证码，而且，验证码还是需要先手动先滑动一个东西之后，才会发到手机上的。而且，发到之后，每个手机号，每天只能发5次。这个非常坑。
 *  **解决方法：** 使用pickle来存储cookies。然后每次只用调用一次，以后的，就需要先访问登录网页，然后加载cookies就好了。**根据我的实验，每一份cookies可以使用一天，然后，对面的这个网站，就会刷新这个cookies**。

**具体的代码片段：**

*  `refresh` 表示是否刷新cookies

if refresh:
        browser.get(LOGIN_URL)
        # 登录
        time.sleep(2)
        input = browser.find_element_by_xpath('//input[@placeholder="请输入手机号"]')
        input.send_keys(USERNAME)
        time.sleep(40)
        pickle.dump(browser.get_cookies(), open("cookies.pkl", "wb"))
        print('finish refresh')
        browser.get(tempURL)  # 加载网页
        time.sleep(2)
    else:
        browser.get(LOGIN_URL)  # 加载网页
        cookies = pickle.load(open("cookies.pkl", "rb"))
        for cookie in cookies:
            browser.add_cookie(cookie)
        browser.get(tempURL)  # 加载网页
        time.sleep(2)

### 坑7 ###

*  **坑：有些是有项目的价值，有些是有项目公司的价值，有些是两者都有** 这个我惊呆了。
 *  **解决方法：** 我就想到用字典来存储，如果有就添加进去，否则就添加一个NULL。

### 坑8 ###

*  **坑：这个网页有些神奇（或许是服务器质量不是很好）**，有些时候网页加载数据的速度很慢。（加载的延时很高）。有时候，爬取到了具体的数据，但是却没爬到对应的公司名字。这个没办法了。
 *  **解决办法：** 我就设置，如果当公司名字为空的话，就重新加载。然后最多重新加载一定的次数。

类似的有切换网页的时候也会出现失败，但是刷新一下也就好了。这个我就限制了，到了一定次数就直接终止整个程序。因为，我有天晚上爬取，但是半夜的时候断网了… 发现一直在爬取空数据。所以就有了这样的设计。

同时，我也增加了**等待机制。** 类似于下面的这种。

elemnt = WebDriverWait(browser, 10).until(
                    EC.presence_of_element_located(
                        (By.XPATH, '//*[@id="__layout"]/div/div[2]/div/div[3]/ul/li[%d]/div/div/div[1]/div[2]/h3' % (
                                index_i + 1)))
                )

同样是因为那次停电，我之前爬取到不少有用的数据，但是没保存，所以我加入了一个中途定次数记录的代码。来保持中间的数据，为避免突然发生的问题。

### 坑9 ###

*  到很久远的数据时候，会发现**没有数据了，全都是图片来表示数据**
 *  **这是我一个没解决的问题：** 在图片内… 我大概就爬了300多条稍微干净的数据了，我想应该够用了吧。
 *  在图片内嵌入数据，这个只能做图片文字提取的技术了。。

## 代码如何使用 ##

*  `pageCount` 第几页（是最开始的图片所示）
 *  `index_i`在第几页的第几个（从0开始计数）

用这个可以做分段爬取（有时候遇到问题了，对于某些部分可以用这个来设置重新开始）

*  `refresh = False` 为True的时候，需要手动登录。然后，等待出现刷新完成之后就说明已经保存好cookies了。然后以后再启动的时候，就设置为False。这样就不需要再登录了。
 *  **configure** 这个部分的代码，一般人都需要注释掉。我有这个代码，主要是因为我的chrome是我用源码替换掉的。所以没写入到系统中。然后就手动写执行文件所在的地址好了。一般人是不需要这段代码的。**记得注释掉！！！**
 *  下载好需要的库~

之后直接运行就好了。用时蛮久的。

## 完全的代码 ##

from selenium import webdriver
 from selenium.webdriver.common.by import By
 from selenium.webdriver.support.ui import WebDriverWait
 from selenium.webdriver.support import expected_conditions as EC
 import time
 import pickle
 import pandas as pd
 
 #####################
 USERNAME = "写自己的手机号码"
 # 填写好账号 密码 下面的url根据要求替换掉
 URL = "https://www.duocaitou.com/project?projectStatus=6&pageNum=%d"
 pageCount = 1
 tempURL = URL % pageCount
 LOGIN_URL = "https://www.duocaitou.com/login?redirect=%2Fproject"
 refresh = False
 
 #####################
 # configure
 options = webdriver.ChromeOptions()
 options.binary_location = r"D:\Software\Chrome\Application\chrome.exe"
 browser = webdriver.Chrome(chrome_options=options)
 
 keys = ['项目公司', '项目公司估值', '项目估值', '筹集规模', '筹集模式', '起投金额', '每人限投', '投资期限']
 globalData = { }
 for k in keys:
 globalData[k] = []
 
 if refresh:
 browser.get(LOGIN_URL)
 # 登录
 time.sleep(2)
 input = browser.find_element_by_xpath('//input[@placeholder="请输入手机号"]')
 input.send_keys(USERNAME)
 time.sleep(40)
 pickle.dump(browser.get_cookies(), open("cookies.pkl", "wb"))
 print('finish refresh')
 browser.get(tempURL) # 加载网页
 time.sleep(2)
 else:
 browser.get(LOGIN_URL) # 加载网页
 cookies = pickle.load(open("cookies.pkl", "rb"))
 for cookie in cookies:
 browser.add_cookie(cookie)
 browser.get(tempURL) # 加载网页
 time.sleep(2)
 
 print(tempURL)
 save = 0
 times = 0
 
 index_i = 0
 continuetime = 0
 
 try:
 while True:
 try:
 elemnt = WebDriverWait(browser, 10).until(
 EC.presence_of_element_located(
 (By.XPATH, '//*[@id="__layout"]/div/div[2]/div/div[3]/ul/li[%d]/div/div/div[1]/div[2]/h3' % (
 index_i + 1)))
 )
 li_list = browser.find_element_by_xpath(
 '//*[@id="__layout"]/div/div[2]/div/div[3]/ul/li[%d]/div/div/div[1]/div[2]/h3' % (index_i + 1)).click()
 elemnt = WebDriverWait(browser, 10).until(
 EC.presence_of_element_located(
 (By.XPATH, '//*[@id="__layout"]/div/div[2]/div/div[1]/div[1]/div[2]/div[1]/div/div/div/div/div[3]'))
 )
 browser.find_element_by_xpath(
 '//*[@id="__layout"]/div/div[2]/div/div[1]/div[1]/div[2]/div[1]/div/div/div/div/div[3]').click()
 
 elemnt = WebDriverWait(browser, 10).until(
 EC.presence_of_element_located(
 (By.XPATH, '//*[@id="__layout"]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/div[2]/div/span'))
 )
 datas = browser.find_elements_by_xpath(
 '//*[@id="__layout"]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/div[2]/div/span')
 
 if "筹集模式" in datas[0].text:
 datas = datas[0]
 else:
 datas = datas[-1]
 elemnt = WebDriverWait(datas, 10).until(
 EC.presence_of_element_located(
 (By.TAG_NAME, 'p'))
 )
 time.sleep(5 + continuetime)
 datas = datas.find_elements_by_tag_name('p')[0:40]
 except Exception as e:
 browser.get(tempURL) # 加载网页
 print('refresh', tempURL, 'index is', index_i)
 time.sleep(5)
 
 continuetime += 1
 if continuetime >= 10:
 break
 continue
 datas = [d for d in datas if len(d.text.strip()) > 4 and ('：' in d.text or ':' in d.text)][:8]
 
 tempDatas = []
 for d in datas:
 try:
 td = d.find_element_by_tag_name('span').get_attribute("innerHTML")
 if ' ' in td:
 tds = td.split(' ')
 for tdi in tds:
 tempDatas.append(tdi.replace('\n', '').replace(' ', ' ').replace(': ', '：').replace(':', "：").strip())
 else:
 tempDatas.append(d.text.strip().replace('\n', '').replace(': ', '：').replace(':', "："))
 except Exception as e:
 tempDatas.append(d.text.strip().replace('\n', '').replace(': ', '：').replace(':', "："))
 datas = tempDatas
 try:
 tempdict = { }
 for d in datas:
 if '：' not in d:
 continue
 
 a = d[:d.index('：')]
 b = d[d.index('：') + 1:]
 if a == '最高可投':
 a = '每人限投'
 a = a.replace("标的公司", "项目公司").replace("标的估值", "项目公司估值")
 if a in tempdict:
 if '筹集规模：' in b:
 b = b.split('筹集规模：')
 tempdict['项目公司估值'] = b[0]
 tempdict['筹集规模'] = b[1]
 else:
 tempdict['项目公司估值'] = b
 elif a == '筹集模式' and '每人限投：' in b:
 b = b.split('每人限投：')
 tempdict[a] = b[0]
 tempdict['每人限投'] = b[1]
 elif a == '项目公司' and '筹集规模：' in b:
 b = b.split('筹集规模：')
 tempdict['项目公司估值'] = b[0]
 tempdict['筹集规模'] = b[1]
 else:
 tempdict[a] = b
 
 if len(tempdict) == 0 or '项目公司' not in tempdict:
 continuetime += 1
 if continuetime < 3:
 browser.get(tempURL) # 加载网页
 time.sleep(2)
 continue
 else:
 continuetime = 0
 
 for key in globalData.keys():
 if key in tempdict:
 globalData[key].append(tempdict[key])
 elif key == '标的公司':
 globalData['项目公司'].append(tempdict[key])
 elif key == '标的公司估值':
 globalData['项目公司估值'].append(tempdict[key])
 else:
 globalData[key].append('NULL')
 print(key, ': ', globalData[key][-1], end=' , ')
 print()
 times += 1
 if times % 50 == 49:
 pd.DataFrame(globalData).to_excel('data_%d.xlsx' % save, columns=keys)
 save += 1
 times = 0
 except Exception as e:
 print(e.args)
 for i, d in enumerate(datas):
 print(i, d)
 break
 if index_i == 8:
 index_i = 0
 pageCount += 1
 if pageCount >= 67:
 break
 tempURL = URL % pageCount
 print(tempURL)
 browser.get(tempURL) # 加载网页
 time.sleep(2)
 else:
 browser.get(tempURL) # 加载网页
 time.sleep(2)
 index_i += 1
 continuetime = 0
 finally:
 pd.DataFrame(globalData).to_excel('data.xlsx', columns=keys)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ExOTk5MDQxMg_size_16_color_FFFFFF_t_70]: /images/20220404/511678c5674e4af78f03368ef06c3a6a.png