使用php laravel进行数据数据采集

素颜马尾好姑娘i 2022-06-12 13:39 487阅读 0赞

1、本次使用QueryList强大的采集框架进行抓去数据

2、采集国家地理中文网:http://m.nationalgeographic.com.cn/，找到一个H5页面

3、分析dom结构

接下来我们开始使用QueryList。

本人采用wampserver+laravel5.1 进行抓取，首先引入QueryList类，不得不说composer是个很不错的东西，如果对composer不懂得同学可以去网上找些资料进行阅读

推荐:http://www.phpcomposer.com/。本次需要在本地安装composer才可以哦

1、composer require jaeger/querylist在项目根目录执行。也可以手动下载放到指定目录，其他的方式不多说了大家可以看下官网

2、直接上代码，本次抓取例子:http://m.nationalgeographic.com.cn/国家地理中文网的H5页面。

3、在控制器引入use QL\\QueryList;

$url = 'http://m.nationalgeographic.com.cn/';定义一个url本次采集的地址

设置路由规则

$rules = array(  
     //采集class为two下面的超链接的链接  
      'link' => array('\#ajaxBox>.ajax\_list dd a)','href'),//获取网站url  
      'covPic'=>array('\#ajaxBox>.ajax\_list dd a img','src'),  
      'title'=>array('\#ajaxBox>.ajax\_list dd a img','alt'),  
      'desc'=>array('\#ajaxBox>.ajax\_list dl .ajax\_dd\_text','text'),        
    );

网站列表结构图:

![Center][]

通过规则，我们进行抓取列表  //创建数组  
        $data = QueryList::Query($urls,$rules)->getData(function($item)\{  
          return $item;  
        \});

$data就是我们要抓取当前的url列表，

类似这种，我们也可以通过当前抓去列表的url，去详情页获取当前的列表所有信息

[Center]: /images/20220612/6711531a6bd94793a7593334f9c9b471.png

发表评论取消回复

表情：

评论列表（有 0 条评论，487人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkStreaming-从kafka采集数据进行消费

用法及说明在工程中需要引入 Maven 工件 spark- streaming-kafka\_2.10 来使用它。包内提供的 KafkaUtils 对象可以在 Strea

﹏ヽ暗。殇╰゛Y/ 2023年02月19日 13:29/ 0 赞/ 29 阅读

相关 php laravel redis数据数组进行手动分页

在redis中我们使用有序集合一般是利用score进行数据的筛选，一般score存放时间戳，用来进行时间段筛选问题：利用`ZRANGEBYSCORE key mi

亦凉/ 2022年12月05日 13:48/ 0 赞/ 195 阅读

相关 laravel使用异常来进行数据验证及提示

[前面写了对表单提交的数据进行验证][Link 1]可以解决用户表单输入数据的规范性问题，但是在非表单的情况下我们也希望给用户个提示。例如：数量在不足的情况用户点

妖狐艹你老母/ 2022年11月18日 04:40/ 0 赞/ 67 阅读

相关 java使用多线程进行分页数据采集

public void executeList(Date startDate, Date endDate,String subgamekind) { S

た入场券/ 2022年10月01日 02:47/ 0 赞/ 274 阅读

相关 PHP页面数据采集程序的主程序

之前我们介绍了采集程序的基类,以及采集插件的具体子类但我们还缺少一个管理程序将所有的插件运行起来,下面是采集程序的主程序考虑了LINUX下可以实现多线程

柔光的暖阳◎/ 2022年09月19日 10:42/ 0 赞/ 165 阅读

相关使用Debezium、Postgres和Kafka进行数据实时采集（CDC）

1. 背景一直在完善自己的微服务架构，其中包含分布式工作流服务的建设，目前采用的是Camunda工作流引擎。使用Camunda工作流，就会涉及到工作流引擎的用户体系如何

矫情吗；*/ 2022年08月30日 04:03/ 0 赞/ 1316 阅读

相关使用php laravel进行数据数据采集

1、本次使用QueryList强大的采集框架进行抓去数据 2、采集国家地理中文网:http://m.nationalgeographic.com.cn/，找到一个H5页面

素颜马尾好姑娘i/ 2022年06月12日 13:39/ 0 赞/ 488 阅读

相关 PHP使用3种方法实现数据采集

【转自：http://blog.csdn.net/zls986992484/article/details/52894526】什么叫采集？就是使用PHP程序，把其他

约定不等于承诺〃/ 2022年05月29日 06:39/ 0 赞/ 194 阅读

相关 laravel输出xml数据，php输出xml格式数据

背景： seo的同事要批量提交xml格式的数据到搜索引擎，目前项目用laravel框架开发的，所以就有了这篇文章的诞生了。网上有不少关于php输出xml格式的例子，小弟不才

妖狐艹你老母/ 2022年05月13日 16:29/ 0 赞/ 355 阅读

相关数据采集：如何自动化采集数据？

![0a5c33b06997c876401d471a8090a719.jpg][] 上一节中我们讲了如何对用户画像建模，而建模之前我们都要进行数据采集。数据采集是数据挖掘的基

╰半夏微凉°/ 2022年03月22日 09:40/ 0 赞/ 607 阅读