python 编写的DHT Crawler 网络爬虫

港控/mmm° 2022-05-14 03:27 190阅读 0赞

1、安装boost依赖和编译环境。

yum install -y boost boost-devel
    
    yum install -y make gcc gcc-c++ kernel-devel python-devel

2、装 libtorrent 的 python 绑定库

#下载到本地
    cd  /opt/software
    
    wget https://github.com/arvidn/libtorrent/releases/download/libtorrent-1_0_10/libtorrent-rasterbar-1.0.10.tar.gz
    
    
    #解压
    cd  /opt/software/libtorrent-rasterbar-1.0.10.tar.gz
    tar  -xf  libtorrent-rasterbar-1.0.10.tar.gz -C /opt
    
    
    #编译，安装，根据系统性能，虚拟机上时间有点长
    ./configure --disable-debug --with-boost-libdir=/usr/lib64 --disable-encryption --enable-python-binding
    make && make install
    
    
    #配置库文件环境变量
    export LD_LIBRARY_PATH=/usr/local/lib/
    
    #绑定
    cd bindings/python
    python setup.py build
    python setup.py install

3、安装 twisted 网络库

pip install twisted

4、开放防火墙的对应端口段，目前默认的是 32900--32920 (20是工作的p2p客户端数量)

这里我们的虚拟机的防火墙是关闭的状态。

5、运行方法

*  下载 collector.py collectord.py 文件到安装目录

git clone  https://github.com/blueskyz/DHTCrawler.git

*  脚本方式测试运行：

python collector.py result.json collector.state

*  服务方式运行：

twistd -y collectord.py

6、查看结果：

![70][]

![70 1][]

[70]: /images/20220514/dac54b2d341e46f3a34602df31107b2a.png
[70 1]: /images/20220514/8ca030b24ae84840b1fe18c6d9811cb1.png

发表评论取消回复

表情：

评论列表（有 0 条评论，190人围观）

还没有评论，来说两句吧...

相关阅读

相关 nCoV_Crawler2019疫情爬虫笔记

nCoV\_Crawler2019疫情爬虫笔记： GitHub： [Ticsmyc/2019nCoV-Crawler][Ticsmyc_2019nCoV-Crawl

拼搏现实的明天。/ 2023年07月19日 08:27/ 0 赞/ 17 阅读

相关爬虫Crawler - 学习笔记：selenium - FirefoxDriver

谷歌容易被反，用火狐能拿到 <dependency> <groupId>org.seleniumhq.selenium</groupId>

傷城~/ 2023年01月09日 15:32/ 0 赞/ 172 阅读

相关爬虫Crawler - 学习笔记：selenium

版本对应关系火狐 <table> <thead> <tr> <th>geckodriver</th> <th>firefox</th>

短命女/ 2023年01月02日 12:25/ 0 赞/ 169 阅读

相关 python网络爬虫入门小程序_python编写爬虫小程序的方法

\ coding:utf-8 import urllib domain = 'http://www.liaoxuefeng.com' \廖雪峰的域名 path = r'C

待我称王封你为后i/ 2022年10月28日 00:54/ 0 赞/ 211 阅读

相关爬虫日记(84)：Scrapy的Crawler类（三）

前面完成Crawler类的构造函数分析，接着下来我们来分析这个类的第一个开始调用的函数，Crawler类被创建之后，就会立即调用crawl函数，代码如下： class Cra

刺骨的言语ヽ痛彻心扉/ 2022年10月16日 12:26/ 0 赞/ 232 阅读

相关爬虫日记(84)：Scrapy的Crawler类（二）

spidercls是一个蜘蛛类，比如这里是<class 'ItemDemo.spiders.quotes.QuotesSpider'>内容，self.settings是前面加载

我就是我/ 2022年10月16日 09:58/ 0 赞/ 204 阅读

相关数学之美系列 -- 图论和网络爬虫 (Web Crawlers)

数学之美系列 -- 图论和网络爬虫 (Web Crawlers) 发表者: 吴军，Google 研究员 \[[离散数学][Link 1]是当代数学的一个重要分支，

╰半橙微兮°/ 2022年09月18日 05:50/ 0 赞/ 171 阅读

相关 crawler4j爬虫入门

一、nutch和crawler4 nutch的人比较多，适合大规模海量数据的爬取。 crawler4j是一个短小精悍的爬虫。二、下载crawler4j源

电玩女神/ 2022年07月14日 12:09/ 0 赞/ 259 阅读

相关【Python】基于python的urllib库编写网络爬虫

1.前言基于python的urllib库编写爬虫爬取前程无忧招聘网站的招聘数据。 2.python代码 coding:utf-8 import

「爱情、让人受尽委屈。」/ 2022年06月12日 00:00/ 0 赞/ 255 阅读

相关 python 编写的DHT Crawler 网络爬虫

1、安装boost依赖和编译环境。 yum install -y boost boost-devel yum install -y make gcc

港控/mmm°/ 2022年05月14日 03:27/ 0 赞/ 191 阅读