php 抓取页面

ゝ一世哀愁。 2022-05-17 07:21 228阅读 0赞

Curl

抓取页面 也就是把别人的页面抓回来分析  得出自己需要的东西 然后入库

简单点抓取 就是抓个 get请求的  不涉及到 post数据  也不涉及到登陆

一个最简单的抓取

抓取回来的是页面 也就是由html css  js组成的东西,

一般要获取自己需要的东西,这是就得就分析页面结构,然后写正则来获取数据

一个例子(获取163财经频道的   本周点击最多 [ http://money.163.com/special/002526BH/rank.html][http_money.163.com_special_002526BH_rank.html])

抓取结果

Array
    (
        [subjet] => 王石回应离婚传闻：我没有背叛家庭
        [url] => http://money.163.com/12/1029/10/8EVOHHRV00253B0H.html
    )
    Array
    (
        [subjet] => 浙江楼市从领涨到领跌 温州炒房客被套转投实业
        [url] => http://money.163.com/12/1105/01/8FGR7QQK00253B0H.html
    )
    Array
    (
        [subjet] => 《时代周刊》评选2012最佳发明：谷歌眼镜上榜
        [url] => http://money.163.com/12/1102/15/8FAM06V600253G87.html
    )
    Array
    (
        [subjet] => 网络盛传万科董事长王石已离婚
        [url] => http://money.163.com/12/1029/00/8EUPDERR00253B0H.html
    )
    Array
    (
        [subjet] => 中粮上海楼盘单价21.6万元/平 刷新汤臣一品纪
        [url] => http://money.163.com/12/1030/10/8F2CUD73002534NU.html
    )
    Array
    (
        [subjet] => 中国近10年来涌现13位首富 有人已锒铛入狱
        [url] => http://money.163.com/12/1029/14/8F06QTD700253G87.html
    )
    Array
    (
        [subjet] => 2012全球25大最佳国家品牌：瑞士排名第一
        [url] => http://money.163.com/12/1030/19/8F3CH5AJ00253B0H.html
    )
    ...........内容较多  省略掉

第二中抓取麻烦点,就要post数据,用到Curl   
一些Curl的介绍的文章

[http://developer.51cto.com/art/200904/121739.htm][http_developer.51cto.com_art_200904_121739.htm]

[http://www.cmx8.cn/curl.html][http_www.cmx8.cn_curl.html]

一个例子 (抓取博客园  前端文章的例子      抓取地址    [ http://www.cnblogs.com/mvc/AggSite/PostList.aspx][http_www.cnblogs.com_mvc_AggSite_PostList.aspx])

抓取成功的页面很少, 因为博客园的博客皮肤太多 , 那个正则只支持几款皮肤,  所以失败率很高呀.ps博客园的东西真难抓取

header("Content-type: text/html;charset=UTF-8");
    	
    	function postHtml($json,$url){
    		$curlPost = http_build_query(json_decode($json,true));
    		$ch = curl_init();
    		curl_setopt($ch, CURLOPT_URL, $url);
    		curl_setopt($ch, CURLOPT_HEADER, 1);
    		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    		curl_setopt($ch, CURLOPT_POST, 1);
    		curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
    		$data = curl_exec($ch);
    		curl_close($ch);
    		return $data;
    	}
    
    	function getHtml($url){
    		$opts = array(
    				'http'=>array(
    				'method'=>"GET",
    				'header'=>"Content-Type: text/html; charset=utf-8" 
    					)
    				);        
    		$context = stream_context_create($opts);        
    		return file_get_contents($url, false, $context);   	
    	}
    
    	$url = 'http://www.cnblogs.com/mvc/AggSite/PostList.aspx';
    	$json = '{"CategoryType":"TopSiteCategory","ParentCategoryId":0,"CategoryId":108703,"PageIndex":3,"ItemListActionName":"PostList"}';
    	$html = postHtml($json,$url); //抓取的原始页面
    	$reg  = '/<a class="titlelnk" href="(?P<href>.*?)"[^>]+>(?P<subject>.*?)<\/a>[\s\S]*?<\/a>(?P<time>[\s\S]*?)<span class="article_comment">/';
    
    	//因为上面的抓取 主要是提供的 标题  时间  有url  所有后面还要到url去抓取文章的内容
    	if(preg_match_all($reg,$html,$matches)){
    		$data = array();
    		foreach($matches["href"] as $i=>$href){
    			$html = getHtml($href);
    			$reg = '/<div class="postText">(?P<content>[\s\S]*?)<\/div>\s*\r\s*<p class="postfoot">/';
    			if(preg_match_all($reg,$html,$rs)){
    				echo $matches["href"][$i]."----------------成功<br>";
    				$data[$i] = array("href"=>$href,"subject"=>$matches["subject"][$i],"time"=>$matches["time"][$i],"body"=>$rs["content"][0]);
    			}else{
    				echo $matches["href"][$i]."----------------失败<br>";
    			}			
    		}
    	}

第3中抓取是需要登录的,有些数据需要登录后才可见.  就需要模拟登陆.

http是无状态的,服务端要识别客户端的请求用户是否登陆,就需要用到cookie, 所以先抓包登陆请求地址需要post参数,然后讲cookie存起来放到其他文件,然后请求登陆后的页面的时候把cookie带上,就可以模拟登陆请求一些需要的东西了,(ps 有些网站似乎有限制  不管怎么请求都没有返回)

一个例子

<?php
    
    $url = "http://passport.cnblogs.com/login.aspx";
    $login = "xxxxx";  //账号和密码
    $password = "xxxxx";
    
    $post_data = array( "__EVENTTARGET" => "","__EVENTARGUMENT" => "","__VIEWSTATE" => "/wEPDwULLTE1MzYzODg2NzZkGAEFHl9fQ29udHJvbHNSZXF1aXJlUG9zdEJhY2tLZXlfXxYBBQtjaGtSZW1lbWJlcm1QYDyKKI9af4b67Mzq2xFaL9Bt" ,"__EVENTVALIDATION" => "/wEWBQLWwpqPDQLyj/OQAgK3jsrkBALR55GJDgKC3IeGDE1m7t2mGlasoP1Hd9hLaFoI2G05","tbUserName" => $login,"tbPassword" => $password,"btnLogin" => "登++录","txtReturnUrl" => "http://home.cnblogs.com/"); 
    $cookie_jar = tempnam('./temp','cookie');//存放COOKIE的文件
    
    $ch = curl_init();
    
    curl_setopt($ch, CURLOPT_URL, $url);
    
    curl_setopt($ch, CURLOPT_POST, 1);
    
    curl_setopt($ch, CURLOPT_HEADER, 0);
    
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
    
    curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);  
    
    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);  //保存cookie信息
    
    curl_exec($ch);
    
    curl_close($ch); 
    
    //上面是登陆的请求  post的东西是我抓包获取的  主要是为了获得cookie
    //下面的才是用登陆后的cookie  去获取登陆后的东西
    
    
    $url = "http://home.cnblogs.com/";
    $ch = curl_init();
    
    curl_setopt($ch, CURLOPT_URL, $url);
    
    curl_setopt($ch, CURLOPT_REFERER, $url);       //伪装REFERER
    
    
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   //返回数据，而不是直接输出
    
    curl_setopt($ch, CURLOPT_HEADER, 0);   // 设置是否显示header信息 0是不显示，1是显示  默认为0
    
    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);  //发送cookie文件
    
    $output2 = curl_exec($ch);    //发送HTTP请求
    curl_close($ch); 
    
    echo $output2;
    ?>

[http_money.163.com_special_002526BH_rank.html]: http://money.163.com/special/002526BH/rank.html
[http_developer.51cto.com_art_200904_121739.htm]: http://developer.51cto.com/art/200904/121739.htm
[http_www.cmx8.cn_curl.html]: http://www.cmx8.cn/curl.html
[http_www.cnblogs.com_mvc_AggSite_PostList.aspx]: http://www.cnblogs.com/mvc/AggSite/PostList.aspx