杂记 小灰灰 2022-05-21 13:16 206阅读 0赞 # 7月7日。 # \-------------------------------------------------------------- 距离刚开始学爬虫,已经近一个半月,6月8号买的爬虫书,这一个月算是努力了一下,自己也喜欢这种每天都有目标的 状态,感觉很好,很充实。回顾一下这一个月以来写的爬虫:头条街拍,淘宝,网易云相册,简书,微博(m.weibo.cn),豆瓣电影分类,其中头条、淘宝、微博都是书上的例子,但是我也尽量自己从头实现了一遍,也尽量用两种方式实现:requests+beautifulsoup和scrapy,其中的坑,只有踩过才懂。列几个感觉还需要深入的地方: 1.微博验证码登陆,m.weibo.cn不需要登陆也可以访问大量接口,让技术难度一下子降低了很多 2.速度。实测用scrapy爬取的时候,速度并不是很快,可能是settings文件还没有调教好?实测下爬同一个网站网易云相册,requests+beautifulsoup的速度往往比scrapy快不少。settings中有一个的请求并发数参数,默认值是16,而这个设置默认是注释了的,不知道改一改会怎么样。明天测试一下。 3.海量数据存储,至今为止爬的最多的数据是微博,爬下来的数据也不过30w+,想办法用分布式把爬虫速度提上去就能存储尽可能的数据。 4.爬虫部署,写了几个爬虫,都只在本地运行,想办法部署到服务器上,稳定跑起来,目前想到的是部署方式是阿里云服务器。 # 7月8日 # \-------------------------------------------------------------- 今天改写了一下简书的爬虫,去掉了随机延时,简书可能需要被搜索引擎尽可能的获取页面,对爬虫的限制很少,我10多个小时就爬下来了30w的数据。 同时还写了京东商品评论的爬虫,从搜索商品名称入口,获得搜索结果的商品列表,以此爬取各商品的评论数据。京东的反爬虫挺严,但比淘宝差点,还不需要上selenium,测试了下爬了6k条评论,并没有被京东封掉。
相关 杂记---- 文章目录 1. echo命令特性 2. msf 3. 劫持explorer.exe黑屏 4. 影子账户 5. 烂土豆提权 6. mim 拼搏现实的明天。/ 2022年11月20日 08:20/ 0 赞/ 646 阅读
相关 杂记 杂记 MySQL相关 show variables like ‘%变量名%’查看mysql变量 select version查询mysql版本号 mysql 默 曾经终败给现在/ 2022年10月30日 14:22/ 0 赞/ 246 阅读
相关 杂记 Google镜像: [https://github.com/greatfire/wiki][https_github.com_greatfire_wiki] 谁借莪1个温暖的怀抱¢/ 2022年09月28日 13:24/ 0 赞/ 218 阅读
相关 杂记 人生,也是游戏,鼓起勇气玩这游戏。 看到额头的岁月痕迹,不禁心寒。从现在开始,要让自己开心,灵活巧妙的应对人生的挑战———— 序,先和后的关系。复杂的事情,如果掌握好序,其 柔情只为你懂/ 2022年06月01日 02:13/ 0 赞/ 194 阅读
相关 杂记 7月7日。 \-------------------------------------------------------------- 距离刚开始学爬虫,已经近一个 小灰灰/ 2022年05月21日 13:16/ 0 赞/ 207 阅读
相关 杂记 ![!\[blockchain\](https://ss0.bdstatic.com/70cFvHSh\_Q1YnxGkpoWK1HF6hhy/it/u=702257389,1 蔚落/ 2022年05月11日 13:44/ 0 赞/ 207 阅读
相关 杂记 @GET : 提供查询方法,所有参数均在URL路径中,只能传输一个或者多个字符串,无法传输对象 @POST:提供新增方法,参数可以存在URL路径 妖狐艹你老母/ 2022年04月17日 06:27/ 0 赞/ 226 阅读
相关 杂记 愿你三冬暖,愿你春不寒, 愿你天黑有灯,下雨有伞, 愿你一路上,有良人相伴。 愿有人陪你颠沛流离, 愿你惦念的人能和你道早安, 愿你独闯的日子里不觉得孤单。 愿孤单 た 入场券/ 2021年12月09日 02:27/ 0 赞/ 346 阅读
相关 杂记 1.@RequestMapping 和 @GetMapping @PostMapping 区别 @GetMapping是一个组合注解,是@RequestMapping(met 水深无声/ 2021年10月09日 10:08/ 0 赞/ 380 阅读
相关 杂记 神奇的数学(index=(0x80000000>>>前置0)^位置): ![734212-20190329100618019-44678809.jpg][] 一些收藏: 蔚落/ 2021年09月29日 10:14/ 0 赞/ 329 阅读
还没有评论,来说两句吧...