追踪分析12306验证码的奥秘 (ainusers原创)

àì夳堔傛蜴生んèń 2024-04-18 12:03 51阅读 0赞

前言：
        由于做计算机视觉需要用到一批图形数据，12306验证码又是出了名的
        所以决定写一个定时爬虫下载一批数据
    
        爬虫呢，有很多方案，request发请求，一种是解析请求返回值，第二种是解析读取页面元素
        scrapy框架只是更加完善，归根结底还是这两种思想

第一步：
        先给大家看下12306的请求连接和响应参数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 1][]

第二步：
        本想着根据上面的图片的返回值，和图片的访问链接做比对
        我想着能够直接获取到图片的访问地址，然而没想到

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 2][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 3][]

第三步：
        比对两者链接，链接太长了，昨天在线比对的时候，网站都无响应了几次，今天早上才可以

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 4][]

第四步：
        通过比对发现，12306的图片，经过了处理的，他妹的(小声比比)

![20190906141008478.png][]

第五步：
        先分析下请求连接地址，看一下哪些地址是动态的，这也是爬虫的基本思路
        
        查看源代码,从引入的js文件中查找的
        (https://kyfw.12306.cn/otn/resources/js/login_new.js)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 5][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 6][]

第六步：
        查看验证码拼接代码

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 7][]

最后这是为啥呢？原因留给你们思考思考

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190906120035117.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/dfe2f1b096b94cdb94ff63d808ff4fd1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190906135729724.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/57c6ea1126ee4b9e9ec4fc2da5341e5e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6f2c80d0b91c4facad856453c41682d7.png
[20190906141008478.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/a6f40d97d8b14fa6b35d3af67393d0f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2019090614142916.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ea7e61a8c1dd4b30be0b34cf9754e90a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FpblVzZXI_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6ec390c0ea664f94961d5d4a44a889b7.png