PHP使用CURL_MULTI实现多线程采集的例子

雨点打透心脏的1/2处 2022-07-12 09:45 211阅读 0赞

这两天有一客户定制了一个免登录发布模块，因为在模块中需要涉及到很多图片下载的问题，考虑到性能问题，所以特别写了一个CURL\_MULTI远程采集网页的函数，以方便以后使用，估计以后都不会使用原来的单线程curl函数去foreach了，其性能对比很明显的。同样获取我的博客的十个不同网页，curl\_multi:4.5246081352234，file\_get\_contents:33.001797914505，将近8倍的效率，可想而知，如果在附件更多的情况下，性能差异就越明显了，希望对您有所帮助！

<?php $text = remote(array('http://www.jb51.net/','http://www.baidu.com/')); print_r($text); function remote($urls) { if (!is_array($urls) or count($urls) == 0) { return false; } $curl = $text = array(); $handle = curl_multi_init(); foreach($urls as $k => $v) { $nurl[$k]= preg_replace('~([^:\/\.]+)~ei', "rawurlencode('\\1')", $v); $curl[$k] = curl_init($nurl[$k]); curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl[$k], CURLOPT_HEADER, 0); curl_multi_add_handle ($handle, $curl[$k]); } $active = null; do { $mrc = curl_multi_exec($handle, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($handle) != -1) { do { $mrc = curl_multi_exec($handle, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } foreach ($curl as $k => $v) { if (curl_error($curl[$k]) == "") { $text[$k] = (string) curl_multi_getcontent($curl[$k]); } curl_multi_remove_handle($handle, $curl[$k]); curl_close($curl[$k]); } curl_multi_close($handle); return $text; }

发表评论取消回复

表情：

评论列表（有 0 条评论，211人围观）

还没有评论，来说两句吧...

相关阅读

相关 PHP使用CURL MULTI实现并发采集的例子

在本文中，我们将介绍如何使用PHP的CURL MULTI功能来实现并发采集。CURL MULTI是一个强大的工具，可以让我们同时发起多个HTTP请求，并在它们完成时获取结果。这

傷城~/ 2024年02月27日 03:49/ 0 赞/ 54 阅读

相关使用PHP pthreads实现多线程

多线程在编程中起着重要的作用，能够充分利用多核处理器的优势，提高程序的并发性和性能。在PHP中，我们可以使用pthreads扩展来实现多线程编程。本文将介绍如何安装和使用pth

短命女/ 2024年02月26日 05:53/ 0 赞/ 56 阅读

相关 php实现多进程、多线程

孤儿进程：一个父进程退出，而它的一个或多个子进程还在运行，那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养，并由init进程对它们完成状态收集工作。

本是古典何须时尚/ 2023年10月17日 17:40/ 0 赞/ 53 阅读

相关 PHP使用swoole实现多线程爬虫

在swoole中,php可以借助其启动子进程的方式,实现php的多进程： <?php $s_time = time(); echo

逃离我推掉我的手/ 2023年07月23日 03:32/ 0 赞/ 5 阅读

相关 PHP多线程的实现（PHP多线程类）

PHP多线程的实现（PHP多线程类）通过WEB服务器来实现PHP多线程功能。当然，对多线程有深入理解的人都知道通过WEB服务器实现的多线程只能模仿多线程的一些效果，

快来打我*/ 2022年09月19日 04:15/ 0 赞/ 208 阅读

相关多线程实现消费者生产者的例子

今天看书，看了一个例子，于是自己手动的自己敲了一下。。。但是，期望的结果和理论结果是不一样的，求解答啊。。。上源代ma \[cpp\] [view plain][]

不念不忘少年蓝@/ 2022年08月23日 08:29/ 0 赞/ 202 阅读

相关多线程采集的核心代码

多线程采集的核心代码 /// <summary> /// 采集进程记录 /// </s

今天药忘吃喽~/ 2022年07月14日 07:25/ 0 赞/ 194 阅读

相关 PHP使用CURL_MULTI实现多线程采集的例子

这两天有一客户定制了一个免登录发布模块，因为在模块中需要涉及到很多图片下载的问题，考虑到性能问题，所以特别写了一个CURL\_MULTI远程采集网页的函数，以方便以后使用，估计

雨点打透心脏的1/2处/ 2022年07月12日 09:45/ 0 赞/ 212 阅读

相关 PHP实现多进程,多线程

菜鸟须知: 孤儿进程：一个父进程退出，而它的一个或多个子进程还在运行，那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养，并由init进程对它们完成状

太过爱你忘了你带给我的痛/ 2022年05月26日 13:19/ 0 赞/ 220 阅读

相关 PHP 实现-多线程编程

前些天帮同事查一个问题，第一次接触到了 PHP 的多线程，原以为 PHP 普遍都是单线程模型，并不适合多线程领域，花些时间翻了几个多线程的项目源码之后，发现 PHP 的多线程也

左手的ㄟ右手/ 2021年09月20日 08:22/ 0 赞/ 386 阅读