【PHP-网页内容抓取】抓取网页内容的两种常用方法

缺乏、安全感 2022-06-17 10:54 464阅读 0赞

说到网页内容的抓取，最常用的两种方式：

1.利用file\_get\_contents()函数，简简单单；

2.CURL抓取工具。CURL是一个非常强大的开源库，支持很多协议，包括HTTP、FTP、TELNET等，我们使用它来发送HTTP请求。它给我 们带来的好处是可以通过灵活的选项设置不同的HTTP协议参数，并且支持HTTPS。CURL可以根据URL前缀是“HTTP” 还是“HTTPS”自动选择是否加密发送内容。curl尤其是在api接口调用过程中用处广泛。

下面现说file\_get\_contents()函数，不多说，实例说话。

<?php
    $url = 'http://www.smartbc.cn/jfdz/download.php?P_ID=57';
    $s = file_get_contents($url);
    echo bin2hex(substr($s, 0, 20));//
    //bin2hex函数把包含数据的二进制字符串转换为十六进制值

上面程序的意思就是抓取某一网址下的下载文件的二进制内容。

之后，开始说下curl的使用，步骤如下：  
1.初始化连接句柄；2.设置CURL选项；3.执行并获取结果；4.释放VURL连接句柄。

1.  curl\_init() 和 curl\_close() 分别是初始化CURL连接和关闭CURL连接，都比较简单。
2.  curl\_exec() 执行CURL请求
3.  CURL函数库里最重要的函数是curl\_setopt(),它可以通过设定CURL函数库定义的选项来定制HTTP请求。
4.  上述代码片段中使用了三个重要的选项：
5.  CURLOPT\_URL 指定请求的URL；
6.  CURLOPT\_RETURNTRANSFER 设置为1表示稍后执行的curl\_exec函数的返回是URL的返回字符串，而不是把返回字符串定向到标准输出并返回TRUE；
7.  CURLLOPT\_HEADER设置为0表示不返回HTTP头部信息。