Python网络爬虫，pyautogui与pytesseract抓取新浪微博数据，OCR

ゝ一世哀愁。 2023-01-01 02:54 207阅读 0赞

# Python网络爬虫，pyautogui与pytesseract抓取新浪微博数据，OCR方案 #

用ocr与pyautogui，以及webbrowser实现功能：设计爬虫抓取新浪微博数据，比如，抓取微博用户的粉丝数。

Windows下需要先下载tesseract ocr安装文件。下载地址：

[http://digi.bib.uni-mannheim.de/tesseract][http_digi.bib.uni-mannheim.de_tesseract]

下载后安装。安装完成后，需要配置当前系统指向tesseract.exe文件的路径，如果不想通过设置系统环境变量实现，也可以通过设置pytesseract包的源代码实现：

通过  pip install pytesseract 后，在pytesseract.py源代码的其中一行：

tesseract_cmd = 'tesseract'

修改成当前安装tesseract后，指向的tesseract.exe路径，如：

tesseract_cmd = r'D:\program\tesseract\tesseract.exe'

如图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA_size_16_color_FFFFFF_t_70][]

以上环境完成配置后，开始编程实现具体逻辑。

思路：新浪微博用户粉丝数量固定在特定位置：

![20201230203315176.png][]

在把这个图片（loc.png）交给pyautogui用于定位该图片位于整个网页截图的位置，然后从中心点位置“粉丝”上方开始截图，截取粉丝的数量切图，切出粉丝数字后交给tesseract做数字ocr识别。

import time
    import pandas as pd
    from tqdm import tqdm
    import pyautogui
    import webbrowser as wb
    import pytesseract as pt
    from selenium import webdriver
    
    
    # 启动程序前先打开浏览器，且使浏览器窗口最大化。
    def get_city_data(city):
        url = f'https://weibo.com/{city[1]}'
        # chromepath = r'D:\program\chromedriver_win32\chromedriver.exe'
        # driver = webdriver.Chrome(executable_path=chromepath)
        # driver.get(url)
        # driver.close()
        # driver.quit()
        wb.open(url=url)
    
        pyautogui.sleep(6)
    
        full_img = pyautogui.screenshot()
        print(full_img)
    
        # loc.png需要事先打开微博截取，作为目标的模板匹配图片。
        locate = pyautogui.locateOnScreen('loc.png')
        print(locate)
        center_x, center_y = pyautogui.center(locate)
        print(center_x, center_y)
    
        # 截图的宽高，需要根据不同的浏览器和电脑分辨率尺寸进行调整。
        WIDTH = 140
        HIGHT = 38
    
        # 左，上，右，下
        box = (center_x - WIDTH / 2, locate.top - HIGHT, center_x + WIDTH / 2, locate.top)
        print(box)
        crop = full_img.crop(box=box)
        crop.save(fp='num.png')
        text = pt.image_to_string(image=crop)
        print(text)
    
        return city[0], int(text), time.strftime('%Y-%m-%d %H:%M', time.localtime())
    
    
    def main():
        city = [
            ('成都', '2384889627'),
        ]
    
        city_data = []
        pbar = tqdm(total=len(city), leave=True)
        for c in city:
            result = get_city_data(c)
            print(result)
            city_data.append(list(result))
    
            pbar.update(1)
    
        col = ['城市', '粉丝数量', '统计时间']
        df = pd.DataFrame(data=city_data, columns=col)
        df = df.sort_values(by=col[1], axis=0, ascending=False)  # 降序
    
        # 排序后重置index，
        # 否则索引是混乱的
        df = df.reset_index(drop=True)
    
        # 因为默认的pandas起始索引从0开始，
        # 为了使数据行的初始索引（起始索引index）从1开始
        df.index = df.index + 1
    
        print(df.head(10))
    
        df.to_excel('city.xls', encoding='utf-8')
        df.to_csv('city.csv', encoding='utf-8')
    
    
    if __name__ == '__main__':
        main()

特别注意：该程序模块需要根据不同的浏览器缩放比例，电脑屏幕的尺寸进行调整参数。对于粉丝上面显示数字的区域，预估宽高（截取）需要根据当前代码实际运行的环境调整。

运行输出：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA_size_16_color_FFFFFF_t_70 1][]

[http_digi.bib.uni-mannheim.de_tesseract]: http://digi.bib.uni-mannheim.de/tesseract
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA_size_16_color_FFFFFF_t_70]: /images/20221120/6b3bb400d3af4aaaae8c6d2aa94277ed.png
[20201230203315176.png]: https://img-blog.csdnimg.cn/20201230203315176.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201230211633301.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncGhpbA==,size_16,color_FFFFFF,t_70