黑客工具_Python多线程爬虫抓取扫描器

约定不等于承诺〃 2022-03-27 12:10 349阅读 0赞

## 一、Python多线程扫描器介绍 ##

对于小白来说，玩蛇网在这里介绍的扫描器，并非是条码扫描器；  
其实多线程扫描器是[**python 爬虫**][python]中的一种，可以自动检测远程服务器、Web站点等安全漏洞、弱口令、扫描IP、文件、端口、目录的Python程序，它能够快速的准确的发现扫描目标所存在的漏洞，为渗透入侵安全检测等打下了铺垫。  
  
![Python爬虫多线程扫描器图片][Python]  
python 多线程爬虫相关的知识也是Python黑客学习渗透技术必须所掌握的。  
  
例如这个Python Hacker 工具，简单来说有如下作用：

1. 站点漏洞、木马、危险程序的扫描  
    2. 扫描对比文件差异、监控网站文件  
    3. 检测网页状态码 (200、403、404、500==)  
    4. 检测网站是否SEO作弊 \[针对用户和搜索引擎返回不一样的结果\]  
    5. 网站压力测试 iis连接数等 虚拟主机空间 连接数 150个  
    6. 模拟搜索引擎蜘蛛抓取 US User-Agent 用户代理  
    7. 网站程序以及版本确认，网站后台扫描  
    8. 扫描端口等等 玩蛇网www.iplaypy.com

## 二、黑客多线程扫描器的功能 ##

本次玩蛇网Python之家图文教程和视频教程中，需要实现的Python扫描器的简单功能有:

1. [多线程][Link 1]扫描（加快速度）  
    2. 模拟搜索引擎爬虫(User-Agent)  
    3. 使用代理服务器(大量代理IP切换抓取)  
    4. 扫描状态码、文件目录等返回  
    5. 过滤不需要的文件或目录等  
    6. 可以手动更改匹配扫描的字典  
    7. 可以做成带图形化界面的黑客工具，  
如下图所示：(本节教程为终端版，以后会推出相应的GUI版)  
  
![多线程端口目录扫描器GUI界面][GUI]

## 三、测试多线程爬虫环境搭建 ##

1. [Linux][]\\Mac OS X\\Windows均可  
    2. [编辑器IDE][IDE]、Python2.X/Python3.x  
    3. 本地搭建测试用开源Web程序或Blog程序 (玩蛇网教程环境: apache2 + php5 + wordpress)  
    4. 抓取匹配的列表[字典][Link 2]、目录或漏洞文件字典(wordpress , zblog, dedecms等)  
    5. 确保本地网络与被扫描服务器之间是连通、稳定的  
    6. 注：建议在本地搭建测试环境，切勿扫描网络上面其它网站、服务器，此为非法行为！  
  
     声明：本视频教程仅为[Python学习][Python 1]、测试使用，请勿用于非法途径和行为，  
     一切后果自负与玩蛇网与斯巴达本人无关！

## 四、黑客工具实战代码案例剖析 ##

[?][Link 3]

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 </td> 
 <td> <code># -*- coding:utf-8 -*-</code> <code>__author__</code><code>=</code><code>"iplaypython.com"</code> &nbsp; <code>import</code> <code>os</code> <code>import</code> <code>urllib2</code> <code>import</code> <code>threading</code> <code>import</code> <code>Queue</code> <code>import</code> <code>time</code> <code>import</code> <code>random</code> &nbsp; <code>q </code><code>=</code> <code>Queue.Queue() </code><code># Queue产生一个队列，有3种类型队列 默认用 FIFO队列</code> <code>threading_num </code><code>=</code> <code>5</code> <code># 开启5个线程</code> &nbsp; <code># 扫描本地IP或域名</code> <code>domain_name </code><code>=</code> <code>"<a href="http://127.0.0.1/" rel="nofollow">http://127.0.0.1</a>"</code> <code># 百度蜘蛛UA</code> <code>Baidu_spider </code><code>=</code> <code>"Mozilla/5.0 (compatible; Baiduspider/2.0; +<a href="http://www.baidu.com/search/spider.html" rel="nofollow">http://www.baidu.com/search/spider.html</a>)"</code> <code># 不需要的文件过滤列表</code> <code>exclude_list </code><code>=</code> <code>[</code><code>'.jpg'</code><code>, </code><code>'.gif'</code><code>, </code><code>'.css'</code><code>, </code><code>'.png'</code><code>, </code><code>'.js'</code><code>, </code><code>'.scss'</code><code>] </code> &nbsp; <code>proxy_list </code><code>=</code> <code>[ </code><code># 代理服务器，可能已经失效，换为自己的</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{ </code><code>'http'</code><code>: </code><code>'117.28.254.130:8080'</code><code>},</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{ </code><code>'http'</code><code>: </code><code>'118.144.177.254:3128'</code><code>},</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{ </code><code>'http'</code><code>: </code><code>'113.118.211.152:9797'</code><code>},</code> <code>]</code> &nbsp; <code># 打开字典文件，开始过滤不需要的文件路径</code> <code>with </code><code>open</code><code>(</code><code>"/home/leo/app_txt/wordpress.txt"</code> <code>, </code><code>"r"</code><code>) as lines:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code> <code>line </code><code>in</code> <code>lines:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>line </code><code>=</code> <code>line.rstrip()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>os.path.splitext(line)[</code><code>1</code><code>] </code><code>not</code> <code>in</code> <code>exclude_list:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>q.put(line) </code><code>#将line传入到队列 q 中</code> &nbsp; <code># 扫描器方法</code> <code>def</code> <code>crawler():</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>while</code> <code>not</code> <code>q.empty(): </code><code># 循环</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>path </code><code>=</code> <code>q.get() 将line从队列 q 中取出来</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>url </code><code>=</code> <code>"%s%s"</code> <code>%</code> <code>(domain_name, path) </code><code># 组合url地址，用于下一步提交</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>random_proxy </code><code>=</code> <code>random.choice(proxy_list) </code><code># 随机使用一个代理服务器</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_support </code><code>=</code> <code>urllib2.ProxyHandler(random_proxy)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>opener </code><code>=</code> <code>urllib2.build_opener(proxy_support)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>urllib2.install_opener(opener)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>headers </code><code>=</code> <code>{} </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>headers[</code><code>'User-Agent'</code><code>] </code><code>=</code> <code>Baidu_spider </code><code># 蜘蛛的头部信息</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code># 玩蛇网 www.iplaypy.com</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>request </code><code>=</code> <code>urllib2.Request(url, headers</code><code>=</code><code>headers) </code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>response </code><code>=</code> <code>urllib2.urlopen(request)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>content </code><code>=</code> <code>response.read()</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>len</code><code>(content): </code><code># 内容不为空的情况下返回状态码、路径</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code> <code>"Status [%s]&nbsp; - path: %s"</code> <code>%</code> <code>(response.code, path)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>response.close()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>time.sleep(</code><code>1</code><code>) </code><code># 休息一会儿，防止速度过快连接数过大被封掉IP</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>except</code> <code>urllib2.HTTPError as e:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code># print e.code, path</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pass</code> <code># 异常处理，先暂时pass掉</code> &nbsp; <code>if</code> <code>__name__ </code><code>=</code><code>=</code> <code>'__main__'</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code># 创建多线程并指明函数的入口为crawler，以后还可以传参进去</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code> <code>i </code><code>in</code> <code>range</code><code>(threading_num): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>t </code><code>=</code> <code>threading.Thread(target</code><code>=</code><code>crawler)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>t.start()</code> </td> 
 </tr> 
 </tbody> 
</table>

\# 上面代码，我们一共导入了6个模块都是接下来需要使用的功能模块，  
    \# os作用是对我们不需要扫描的后缀名文件进行筛选，       
    \# urllib2负责抓取，而threading就是我们的Python多线程模块，       
    \# 这次还需要用到Queue这个保证线程安全的队列模块，       
    \# 其它两个比较简单，一个是随机模块random，另一个时间模块time

[http://www.iplaypy.com/crawler/multithreading-crawler-scanner.html][http_www.iplaypy.com_crawler_multithreading-crawler-scanner.html]

[python]: http://www.iplaypy.com/crawler/
[Python]: /images/20220327/32dcd521f14e4ecd9e6bc6293cea962e.png
[Link 1]: http://www.iplaypy.com/module/threading.html
[GUI]: /images/20220327/685124e31bf543d39bc23c50a1961e3d.png
[Linux]: http://www.iplaypy.com/linux/
[IDE]: http://www.iplaypy.com/editor/
[Link 2]: http://www.iplaypy.com/jichu/dict.html
[Python 1]: http://peixun.iplaypython.com/
[Link 3]: http://www.iplaypy.com/crawler/multithreading-crawler-scanner.html#
[http_www.iplaypy.com_crawler_multithreading-crawler-scanner.html]: http://www.iplaypy.com/crawler/multithreading-crawler-scanner.html