PHP页面数据采集程序的一个插件子类

一时失言乱红尘 2022-09-19 10:42 154阅读 0赞

下面我们实现一个具体的采集类,这个类用来采集 游戏币交易网站的游戏币价格和库存数据  
  
我们共开发了几十个采集插件,打算将市面上所有的游戏币交易网站的数据都收集起来,  
  
这是其中的一个,(有些必要的注释已经去除,太长了,而且都是一样的)  
  
`<?php //包含共用函数库 include_once('Gather_Base.php'); final class bank extends Gather_Base{ private $homepage='http://www.rmt-bank.co.jp/'; private $classname='bank'; private $encoding='shift-jis'; function __construct(){   //调用父类的构造方法,增加两个参数,   //一个是类名,一个是编码   parent::Gather_Base($this->classname,$this->encoding); } //得到数据 function getData(){   $games=$this->getGames($this->homepage);   if($games===false)return false;   //每个游戏处理   foreach($games as $name=>$http){    echo "\nGame:$name\n";    $this->log('Game',$name);    $price=$this->getPrice($http['sell']);    if($price!==false)     $this->areasSell[$name]=$price;    $price=$this->getPrice($http['buy']);    if($price!==false)     $this->areasBuy[$name]=$price;   } } function getPrice($http){   if(!$http)return false;   $thisGame=array();   $doc=$this->get($http);   $doc=$this->getMiddle($doc,'cart_t');   $table=$this->getTableData($doc);   //dump($table);exit;   $headers=$table[1];   $favorCount=count($headers);   $last='last area';   for($i=2;$i<count($table);$i+=2){    $tds=$table[$i];    $name=trim($tds[0]);    //echo "I=$i  Name=$name  Last=$last\n";    if(substr($name,0,strlen($last))==$last)continue;    $last=$name;    $stock=intval($tds[1]);    $price=intval($tds[3]);    $thisGame[$name]=array(     'areaName'=>$name,     'basePrice'=>$price,     'stock'=>$stock,     'favor'=>array()    );    for($j=0;$j<$favorCount;$j++){     $favorStock=intval($headers[$j]);     $favorPrice=$tds[$j +3];     $thisGame[$name]['favor'][$favorStock]=intval($favorPrice);    }   }   //dump($thisGame);exit;   return $thisGame; } function getBuyPrice($http){   $thisGame=array();   $doc=$this->get($http);   $doc=$this->getMiddle($doc,'botan');   $table=$this->getTableData($doc);   //dump($table);exit;   for($i=1;$i<count($table);$i++){    $tds=$table[$i];    $name=$tds[0];    $stock=intval($tds[1]);    $price=intval($tds[2]);    $thisGame[$name]=array(     'areaName'=>$name,     'basePrice'=>$price,     'stock'=>$stock,    );   }   //dump($thisGame);exit;   return $thisGame; } function getGames($GamePage){   $doc = $this->get($GamePage);   if($doc===false)return false;   $reg='/<td[^>]*><a\s*href="([^"]*)"\s*target="\_self"><img[^>]*alt="([^"]*)"><\/a><\/td>/i';   $matchs=$this->pregMatchAll($reg,$doc);   //dump($matchs);exit;   foreach($matchs as $match){    if($match==$matchs[0])continue;    $name=$match[2];    $mts=$this->pregMatch('/(?:rmt)?\s*(\S*)/i',$name);    //dump($name);dump($mts);exit;    $name=trim($mts[1]);    $name=$this->getMiddle($name,null,' ',true);    $http=$match[1];    $doc=$this->get2($http);    $regSell='/<A\s*href="([^"]*)"\s*target="\_self"><IMG\s*src="gallery\/order\_sell\.jpg"[^>]*>/i';    $regBuy='/<A\s*href="([^"]*)"\s*target="\_self"><IMG\s*src="gallery\/order\_buy\.jpg"[^>]*>/i';    $mtsSell=$this->pregMatch($regSell,$doc,true);    $mtsBuy=$this->pregMatch($regBuy,$doc,true);    if($mtsSell)     $httpSell=$mtsSell[1];    else     $httpSell=false;    if($mtsBuy)     $httpBuy=$mtsBuy[1];    else     $httpBuy=false;    //dump($http);dump($mtsSell);dump($mtsBuy);exit;    if(!$mts)continue;    $games[$name]=array(     'sell'=>$httpSell,     'buy'=>$httpBuy    );   }   //dump($games);exit;   return $games; } } ?>`

阅读(353) | 评论(0) | 转发(0) |

上一篇：PHP开发的页面数据采集程序 的基础类

下一篇：PHP页面数据采集程序的主程序

相关热门文章

*  [南京网站建设，dx2.0升级dx3.1...][dx2.0_dx3.1...]
 *  [vim脚本写法][vim]
 *  [河南内黄县国税局收入提高企业...][...]
 *  [谷歌清理Chrome插件：多用途插...][Chrome_...]
 *  [Java关键字介绍之final][Java_final]

*  承接自动化测试培训、外包、实...
 *  Solaris PowerTOP 1.0 发布
 *  For STKMonitor
 *  busybox的httpd使用CGI脚本(Bu...
 *  项目小体会

*  [LNMP 老是会出现502？][LNMP _502]
 *  [suse 运用一个shell获取本机和...][suse _shell_...]
 *  [虚拟机 unix 配置ip ][unix _ip]
 *  [hp-un 主机新系统读不到磁盘阵...][hp-un _...]
 *  [mysql出现问题：Starting MySQ...][mysql_Starting MySQ...]

给主人留下些什么吧！~~

评论热议

[dx2.0_dx3.1...]: http://blog.chinaunix.net/uid-16749422-id-4047597.html
[vim]: http://blog.chinaunix.net/uid-28332494-id-4047567.html
[...]: http://blog.chinaunix.net/uid-29391202-id-4047459.html
[Chrome_...]: http://blog.chinaunix.net/uid-29233025-id-4046575.html
[Java_final]: http://blog.chinaunix.net/uid-29397544-id-4046000.html
[LNMP _502]: http://ask.chinaunix.net/question/785370
[suse _shell_...]: http://ask.chinaunix.net/question/785369
[unix _ip]: http://ask.chinaunix.net/question/292361
[hp-un _...]: http://ask.chinaunix.net/question/37122
[mysql_Starting MySQ...]: http://ask.chinaunix.net/question/4616