curl_init()和curl_multi_init()多线程的速度比较

àì夳堔傛蜴生んèń 2023-10-16 23:04 44阅读 0赞

来源:http://www.webkaka.com/tutorial/php/2013/102843/

*  php中curl\_init()的作用很大，尤其是在抓取网页内容或文件信息的时候，例如之前文章[curl获得header检测GZip压缩的源代码][curl_header_GZip]就介绍到curl\_init()的强大。
    
    curl\_init()处理事物是单线程模式，如果需要对事务处理走多线程模式，那么php里提供了一个函数curl\_multi\_init()给我们，这就是多线程模式处理事务的函数。
    
    **curl\_init()与curl\_multi\_init()的速度比较**
    
    curl\_multi\_init()多线程能提高网页的处理速度吗？今天我通过实验来验证一下这个问题。
    
    今天我的测试很简单，那就是要抓取www.webkaka.com网页的内容，要连续抓5次，分别用curl\_init()和curl\_multi\_init()函数来完成，记录两者的耗时，比较得出结论。
    
    首先，用curl\_init()单线程连续抓5次www.webkaka.com网页的内容。
    
    程序代码如下：
    
    <?php  
    $mtime = explode(" ", microtime());  
    $mtime = $mtime\[1\].($mtime\[0\] \* 1000);  
    $mtime2 = explode(".", $mtime);  
    $mtime = $mtime2\[0\];  
    echo $mtime;  
    echo "<br>";  
    for($i=1; $i<=5; $i++)\{  
    $szUrl = 'http://www.webkaka.com/';  
    $curl = curl\_init();  
    curl\_setopt($curl, CURLOPT\_URL, $szUrl);  
    curl\_setopt($curl, CURLOPT\_HEADER, 0);  
    curl\_setopt($curl, CURLOPT\_RETURNTRANSFER, 1);  
    curl\_setopt($curl, CURLOPT\_ENCODING, '');  
    $data=curl\_exec($curl);  
    echo $data;  
    echo "<br>";  
    $mtime\_ = explode(" ", microtime());  
    $mtime\_ = $mtime\_\[1\].($mtime\_\[0\] \* 1000);  
    $mtime2\_ = explode(".", $mtime\_);  
    $mtime\_ = $mtime2\_\[0\];  
    echo $mtime\_;  
    echo "<br>";  
    echo $mtime\_ - $mtime;  
    \}  
    ?>
    
    然后，用curl\_multi\_init()多线程连续抓5次www.webkaka.com网页的内容。
    
    代码如下：
    
    <?php  
    echo date("Y-m-d H:m:s",time());  
    echo " ";  
    echo floor(microtime()\*1000);  
    echo "<br>";  
    $mtime = explode(" ", microtime());  
    $mtime = $mtime\[1\].($mtime\[0\] \* 1000);  
    $mtime2 = explode(".", $mtime);  
    $mtime = $mtime2\[0\];  
    echo $mtime;  
    echo "<br>";  
    $urls = array(  
    'http://www.webkaka.com',  
    'http://www.webkaka.com',  
    'http://www.webkaka.com',  
    'http://www.webkaka.com',  
    'http://www.webkaka.com');  
    print\_r(async\_get\_url($urls)); // \[0\] => example1, \[1\] => example2  
    echo "<br>";  
    echo date("Y-m-d H:m:s",time());  
    echo " ";  
    echo floor(microtime()\*1000);  
    echo "<br>";  
    $mtime\_ = explode(" ", microtime());  
    $mtime\_ = $mtime\_\[1\].($mtime\_\[0\] \* 1000);  
    $mtime2\_ = explode(".", $mtime\_);  
    $mtime\_ = $mtime2\_\[0\];  
    echo $mtime\_;  
    echo "<br>";  
    echo $mtime\_ - $mtime;  
      
    function async\_get\_url($url\_array, $wait\_usec = 0)  
    \{  
    if (!is\_array($url\_array))  
    return false;  
    $wait\_usec = intval($wait\_usec);  
    $data = array();  
    $handle = array();  
    $running = 0;  
    $mh = curl\_multi\_init(); // multi curl handler  
    $i = 0;  
    foreach($url\_array as $url) \{  
    $ch = curl\_init();  
    curl\_setopt($ch, CURLOPT\_URL, $url);  
    curl\_setopt($ch, CURLOPT\_RETURNTRANSFER, 1); // return don't print  
    curl\_setopt($ch, CURLOPT\_TIMEOUT, 30);  
    curl\_setopt($ch, CURLOPT\_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');  
    curl\_setopt($ch, CURLOPT\_FOLLOWLOCATION, 1); // 302 redirect  
    curl\_setopt($ch, CURLOPT\_MAXREDIRS, 7);  
    curl\_multi\_add\_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里  
    $handle\[$i++\] = $ch;  
    \}  
    /\* 执行 \*/  
    do \{  
    curl\_multi\_exec($mh, $running);  
    if ($wait\_usec > 0) /\* 每个 connect 要间隔多久 \*/  
    usleep($wait\_usec); // 250000 = 0.25 sec  
    \} while ($running > 0);  
    /\* 读取资料 \*/  
    foreach($handle as $i => $ch) \{  
    $content = curl\_multi\_getcontent($ch);  
    $data\[$i\] = (curl\_errno($ch) == 0) ? $content : false;  
    \}  
    /\* 移除 handle\*/  
    foreach($handle as $ch) \{  
    curl\_multi\_remove\_handle($mh, $ch);  
    \}  
    curl\_multi\_close($mh);  
    return $data;  
    \}  
    ?>
    
    为了避免随机性，我分别测了5次（用CTRL+F5强行刷新的方式），数据如下：
    
    curl\_init()：
    
    <table style="border-collapse:collapse"> 
     <tbody> 
      <tr> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> &nbsp;</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第一次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第二次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第三次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第四次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第五次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> <strong>平均</strong></td> 
      </tr> 
      <tr> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 耗时(ms)</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 3724</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 3615</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 2540</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 1957</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 2794</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> <strong>2926</strong></td> 
      </tr> 
     </tbody> 
    </table>
    
    curl\_multi\_init()：
    
    <table style="border-collapse:collapse"> 
     <tbody> 
      <tr> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> &nbsp;</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第一次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第二次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第三次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第四次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 第五次</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> <strong>平均</strong></td> 
      </tr> 
      <tr> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 耗时(ms)</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 4275</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 2912</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 3691</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 4198</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> 3891</td> 
       <td style="margin:0px; padding:0px; line-height:18px; font-family:Tahoma,Helvetica,Arial,sans-serif"> <strong>3793</strong></td> 
      </tr> 
     </tbody> 
    </table>
    
    从测试结果来看，我们发现两种方法的耗时差不了太多，只有700多毫秒。很多人原本以为多线程比单线程耗时会短很多，实际上并不是这样的，从数据来看，多线程反而比单线程耗时更多了一点。不过，对于某些事务来说，用多线程来处理不一定是为了追求速度，这个是需要注意的。
    
    **关于curl\_multi\_init()**
    
    一般来说，想到要用curl\_multi\_init()时，目的是要同时请求多个url，而不是一个一个依次请求，否则就要curl\_init()了。
    
    不过，在使用curl\_multi的时候，你可能遇到cpu消耗过高、网页假死等现象，可以看看[如何解决curl\_multi导致网页假死的问题][curl_multi]
    
    **使用curl\_multi的步骤总结如下：**
    
    第一步：调用curl\_multi\_init  
    第二步：循环调用curl\_multi\_add\_handle  
    这一步需要注意的是，curl\_multi\_add\_handle的第二个参数是由curl\_init而来的子handle。  
    第三步：持续调用curl\_multi\_exec  
    第四步：根据需要循环调用curl\_multi\_getcontent获取结果  
    第五步：调用curl\_multi\_remove\_handle，并为每个字handle调用curl\_close  
    第六步：调用curl\_multi\_close
    
    **各函数作用解释：**
    
    **curl\_multi\_init()**  
    初始化一个curl批处理句柄资源。
    
    **curl\_multi\_add\_handle()**  
    向curl批处理会话中添加单独的curl句柄资源。curl\_multi\_add\_handle()函数有两个参数，第一个参数表示一个curl批处理句柄资源，第二个参数表示一个单独的curl句柄资源。
    
    **curl\_multi\_exec()**  
    解析一个curl批处理句柄，curl\_multi\_exec()函数有两个参数，第一个参数表示一个批处理句柄资源，第二个参数是一个引用值的参数，表示剩余需要处理的单个的curl句柄资源数量。
    
    **curl\_multi\_remove\_handle()**  
    移除curl批处理句柄资源中的某个句柄资源，curl\_multi\_remove\_handle()函数有两个参数，第一个参数表示一个curl批处理句柄资源，第二个参数表示一个单独的curl句柄资源。
    
    **curl\_multi\_close()**  
    关闭一个批处理句柄资源。
    
    **curl\_multi\_getcontent()**  
    在设置了CURLOPT\_RETURNTRANSFER的情况下，返回获取的输出的文本流。
    
    **curl\_multi\_info\_read()**  
    获取当前解析的curl的相关传输信息。
    
    **实例**  
    请看本文里async\_get\_url()的写法。

*  ###### Tags: [curl\_init][curl_init] [curl\_multi\_init][curl_multi_init] [curl\_multi][curl_multi 1] ######

[curl_header_GZip]: http://www.webkaka.com/tutorial/php/2013/071938/
[curl_multi]: http://www.webkaka.com/tutorial/php/2013/102844/
[curl_init]: http://www.webkaka.com/tutorial/php/catalog.asp?tags=curl%5Finit
[curl_multi_init]: http://www.webkaka.com/tutorial/php/catalog.asp?tags=curl%5Fmulti%5Finit
[curl_multi 1]: http://www.webkaka.com/tutorial/php/catalog.asp?tags=curl%5Fmulti