用 Python 爬取 QQ 空间说说和相册

偏执的太偏执、 2023-01-19 08:13 4阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

君不见走马川行雪海边，平沙莽莽黄入天。

![7d2d54cac1bb3b24e19c546a7763be83.png][]

文 | 某某白米饭

来源：Python 技术「ID: pythonall」

![金属质感分割线][b542d1eb8c61e6fc0b182d9b7a265f47.png]QQ 空间在 2005 年被腾讯开发，已经经历了 15 个年头，在还没有微信的年代，看网友发表的心情、心事、照片大多都在 QQ 空间的里。它承载了80、90 后的大量青春，下面我们一起用 selenium 模块导出说说和相册回忆青春吧

### 安装 selenium ###

selenium 是一个在浏览器中运行，以模拟用户操作浏览器的方式获取网页源码，使用 pip 安装 selenium 模块

pip install selenium

查看 chrome 浏览器版本并下载 对应的 chrome 浏览器驱动

![5598f03c6ef509a34ab2d19b60237828.png][]

在 `http://npm.taobao.org/mirrors/chromedriver` 网址中找到相同版本的 chrome 驱动，并放在 python 程序运行的同一个文件夹中

### 登陆 ###

按 F12 检擦网页源代码，找到登录和密码的文本框，如下图所示

![a92ac1f860b33770b346a1218a1f43f1.png][]

def login(login_qq,password, business_qq):
        '''
        登陆
        :param login_qq: 登陆用的QQ
        :param password: 登陆的QQ密码
        :param business_qq: 业务QQ
        :return: driver
        '''
        driver = webdriver.Chrome()
    
        driver.get('https://user.qzone.qq.com/{}/311'.format(business_qq))  # URL
        driver.implicitly_wait(10)  # 隐示等待，为了等待充分加载好网址
        driver.find_element_by_id('login_div')
        driver.switch_to.frame('login_frame')  # 切到输入账号密码的frame
        driver.find_element_by_id('switcher_plogin').click()  ##点击‘账号密码登录’
        driver.find_element_by_id('u').clear()  ##清空账号栏
        driver.find_element_by_id('u').send_keys(login_qq)  # 输入账号
        driver.find_element_by_id('p').clear()  # 清空密码栏
        driver.find_element_by_id('p').send_keys(password)  # 输入密码
        driver.find_element_by_id('login_button').click()  # 点击‘登录’
        driver.switch_to.default_content()
    
        driver.implicitly_wait(10)
        time.sleep(5)
    
        try:
            driver.find_element_by_id('QM_OwnerInfo_Icon')
            return driver
        except:
            print('不能访问' + business_qq)
            return None

### 说说 ###

![8929759c143a35bb6990a1969c374eeb.png][]

def get_shuoshuo(driver):
        
        page = 1
        while True:
            # 下拉滚动条
            for j in range(1, 5):
                driver.execute_script("window.scrollBy(0,5000)")
                time.sleep(2)
    
            # 切换 frame
            driver.switch_to.frame('app_canvas_frame')
            # 构建 BeautifulSoup 对象
            bs = BeautifulSoup(driver.page_source.encode('GBK', 'ignore').decode('gbk'))
            # 找到页面上的所有说说
            pres = bs.find_all('pre', class_='content')
    
            for pre in pres:
                shuoshuo = pre.text
                tx = pre.parent.parent.find('a', class_="c_tx c_tx3 goDetail")['title']
                print(tx + ":" + shuoshuo)
    
            # 页数判断
            page = page + 1
            maxPage = bs.find('a', title='末页').text
    
            if int(maxPage) < page:
                break
    
            driver.find_element_by_link_text(u'下一页').click()
            # 回到主文档
            driver.switch_to.default_content()
            # 等待页面加载
            time.sleep(3)

### 相册 ###

下载相册里面的照片需要 selenium 模块模拟鼠标一步步点击页面，先点击上方的相册按钮，进去就是多个相册的列表，下图是单个相册的超链接

![ec0883e71268b7f26f3d2381a9ab59b5.png][]

在单个相册中点击照片，界面如下图

![53c25756bf52462ba1ead15fc88548ec.png][]

def get_photo(driver):
        
        # 照片下载路径
        photo_path = "C:/Users/xxx/Desktop/photo/{}/{}.jpg"
        
        # 相册索引
        photoIndex = 1
    
        while True:
            # 回到主文档
            driver.switch_to.default_content()
            # driver.switch_to.parent_frame()
            # 点击头部的相册按钮
            driver.find_element_by_xpath('//*[@id="menuContainer"]/div/ul/li[3]/a').click()
            #等待加载
            driver.implicitly_wait(10)
            time.sleep(3)
            # 切换 frame
            driver.switch_to.frame('app_canvas_frame')
            # 各个相册的超链接
            a = driver.find_elements_by_class_name('album-cover')
            # 单个相册
            a[photoIndex].click()
    
            driver.implicitly_wait(10)
            time.sleep(3)
            # 相册的第一张图
            p = driver.find_elements_by_class_name('item-cover')[0]
            p.click()
            time.sleep(3)
    
            # 相册大图在父frame，切换到父frame
            driver.switch_to.parent_frame()
            # 循环相册中的照片
            while True:
                # 照片url地址和名称
                img = driver.find_element_by_id('js-img-disp')
                src = img.get_attribute('src').replace('&t=5', '')
                name = driver.find_element_by_id("js-photo-name").text
    
                # 下载
                urlretrieve(src, photo_path.format(qq, name))
    
                # 取下面的 当前照片张数/总照片数量
                counts = driver.find_element_by_xpath('//*[@id="js-ctn-infoBar"]/div/div[1]/span').text
    
                counts = counts.split('/')
                # 最后一张的时候退出照片浏览
                if int(counts[0]) == int(counts[1]):
                    # 右上角的 X 按钮
                    driver.find_element_by_xpath('//*[@id="js-viewer-main"]/div[1]/a').click()
                    break
                # 点击 下一张，网页加载慢，所以10次加载
                for i in (1, 10):
                    if driver.find_element_by_id('js-btn-nextPhoto'):
                        n = driver.find_element_by_id('js-btn-nextPhoto')
                        ActionChains(driver).click(n).perform()
                        break
                    else:
                        time.sleep(5)
    
            # 相册数量比较，是否下载了全部的相册
            photoIndex = photoIndex + 1
            if len(a) <= photoIndex:
                break

示例结果

![85d0a80600cee8c25d6fa9a9e6097fdc.png][]

### 总结    ###

大家在看十几年前的说说和照片是不是感觉满满的黑历史快要溢出屏幕了。时光荏苒、岁月如梭，愿一切安好。

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  ## [Python自带爬虫库urllib使用大全][Python_urllib] ##
 *  ## [一篇文章教会你使用Python定时抓取微博评论][Python] ##
 *  ## [一篇文章教会你使用Python图片格式转换器并识别图片中的文字][Python 1]    ##

![9410a49f78b8a079f6980f5ba8669627.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[7d2d54cac1bb3b24e19c546a7763be83.png]: /images/20221021/9328c68b41504f4cb72bd167074ecabe.png
[b542d1eb8c61e6fc0b182d9b7a265f47.png]: /images/20221021/5f15d5dc5ac24e999ab856891d07341d.png
[5598f03c6ef509a34ab2d19b60237828.png]: /images/20221021/7269ce54176a4e41bebb3e4bbc5c7b77.png
[a92ac1f860b33770b346a1218a1f43f1.png]: /images/20221021/afaa666191344d33a0a1e172c7b4db9b.png
[8929759c143a35bb6990a1969c374eeb.png]: /images/20221021/03af381568d04594855cb7e450707683.png
[ec0883e71268b7f26f3d2381a9ab59b5.png]: /images/20221021/8f64036806f74c8aa9d5b2fed162c80e.png
[53c25756bf52462ba1ead15fc88548ec.png]: /images/20221021/e9d863520aad4c8b97638db68e64b94a.png
[85d0a80600cee8c25d6fa9a9e6097fdc.png]: /images/20221021/322b258939f04422916c02ae2cd3c045.png
[Python_urllib]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc3587ecbb4d168e9efa50fa95a4d190d5fee7e62e326551ae9fc94c02fb57c52f96388e254&idx=1&mid=2247491157&scene=21&sn=9ee3a9b6f62bc1d209ded1fd43d11baf#wechat_redirect
[Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc3587fcbb4d1697dfc598205d3b03d5ac37722263c623b47ee690324909c3a953dbf5bf4c8&idx=2&mid=2247491156&scene=21&sn=d92d98c077ac686d4e75586b6b81c0d4#wechat_redirect
[Python 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc35865cbb4d17312f67837c8748e43198b7ba538f2b5ff9f772f05168d3877dcae71612c2c&idx=1&mid=2247491150&scene=21&sn=5d69c0d58a9b7b965f07874f12990793#wechat_redirect
[9410a49f78b8a079f6980f5ba8669627.png]: /images/20221021/63680b895570481995930a763dfe401a.png