python爬取链家二手房信息,确认过眼神我是买不起的人 淡淡的烟草味﹌ 2022-12-08 14:19 181阅读 0赞 ## 前言 ## 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 [python免费学习资料以及群交流解答点击即可加入][python] -------------------- ## 基本环境配置 ## * python 3.6 * pycharm * requests * parsel * time 相关模块pip安装即可 ## 确定目标网页数据 ## ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center] 哦豁,这个价格…看到都觉得脑阔疼 通过开发者工具,可以直接找到网页返回的数据~ ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1] ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2] 每一个二手房的数据,都在网页的 `li 标签`里面,咱们可以获取网页返回的数据,然后通过解析,就可以获取到自己想要的数据了~ ## 获取网页数据 ## import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, headers=headers) ## 解析网页数据 ## import parsel selector = parsel.Selector(response.text) lis = selector.css('.sellListContent li') dit = { } for li in lis: title = li.css('.title a::text').get() dit['标题'] = title positionInfo = li.css('.positionInfo a::text').getall() info = '-'.join(positionInfo) dit['开发商'] = info houseInfo = li.css('.houseInfo::text').get() dit['房子信息'] = houseInfo followInfo = li.css('.followInfo::text').get() dit['发布周期'] = followInfo Price = li.css('.totalPrice span::text').get() dit['售价/万'] = Price unitPrice = li.css('.unitPrice span::text').get() dit['单价'] = unitPrice csv_writer.writerow(dit) print(dit) ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3] ## 保存数据 ## import csv f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价']) csv_writer.writeheader() csv_writer.writerow(dit) f.close() ## 数据 ## ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 4] [python]: https://jq.qq.com/?_wv=1027&k=ThcV4SNF [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/63ca0b48d8384086ba5b39c24ace436f.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/18a343ca9cfe4b11aee719cc54f679c5.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/186ac0a6909644af9dfbb4d6f0d62b80.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/dda755a9d33f4cafb8f2281d2ed601c0.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/71022e058aae482a8f122cb2f865fc2d.png
相关 确认过眼神,你就是我心中的【理想型】API! ![图片][62d19a4082a94a40b3ba7e660d557f32.jpeg] API作为开发者友好的Friend凭借信息直达、灵活便捷、简单高效的特点,成为了商户 ゝ一纸荒年。/ 2024年03月02日 07:56/ 0 赞/ 62 阅读
相关 python爬虫之静态网页爬取--猫眼电影/链家二手房 猫眼电影(xpath) 目标 1、地址: 猫眼电影 - 榜单 - top100榜 2、目标: 电影名称、主演、上映时间 步骤 本是古典 何须时尚/ 2023年06月22日 08:25/ 0 赞/ 33 阅读
相关 爬取链家任意城市二手房数据(天津) 1 !/usr/bin/env python 2 -- coding: utf-8 -- 3 @Time : 2019-08-16 1 桃扇骨/ 2023年06月03日 04:00/ 0 赞/ 22 阅读
相关 Python爬虫新手入门教学(三):爬取链家二手房数据 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观 港控/mmm°/ 2023年01月11日 03:44/ 0 赞/ 195 阅读
相关 python爬取链家二手房信息,确认过眼神我是买不起的人 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS:如有需要Python学习资料的小伙伴可以加点击下方链接 淡淡的烟草味﹌/ 2022年12月08日 14:19/ 0 赞/ 182 阅读
相关 Python爬虫之链家二手房数据爬取 Python 依赖模块: requests parsel csv 功能要求: ![watermark_type_ZHJvaWRzYW5zZmFs 本是古典 何须时尚/ 2022年09月11日 07:23/ 0 赞/ 366 阅读
相关 Python爬取城市二手房数据 今天要分享的教程是爬取各大城市的二手房数据,抛开以前的文章不谈,下面的内容应该足够你实现这篇爬虫。以下是正文: 1. 确定目标 今天我们的目标官网链接是:https:/ ﹏ヽ暗。殇╰゛Y/ 2022年08月29日 14:55/ 0 赞/ 281 阅读
相关 Python爬虫-利用xpath解析爬取58二手房详细信息 文章目录 前言 介绍 代码 运行结果截图 前言 简单的Python练习,对页面中的某些部分的文字进行爬取 介绍 ![在这里插入图片 超、凢脫俗/ 2022年08月29日 10:43/ 0 赞/ 284 阅读
相关 爬取链家网所有二手房楼盘信息 代码如下: import requests from lxml import etree import math import time 缺乏、安全感/ 2022年02月04日 17:13/ 0 赞/ 402 阅读
还没有评论,来说两句吧...