luigi 模板

悠悠 2021-05-20 14:02 441阅读 0赞

[luigi doc][]

import os,sys
    import luigi
    import luigi.contrib.hdfs
    from datetime import datetime, timedelta
    
    class DummyTarget(luigi.Target):
        def __init__(self, exist):
            self.exist = exist
    
        def exists(self):
            return self.exist
    
    class CrawlDataInput(luigi.ExternalTask):
        input_file=luigi.Parameter()
        def output(self):
            target = luigi.contrib.hdfs.HdfsTarget(self.input_file)
            if not  target.exists():
                return DummyTarget(False)
            return target
    
    class CrawlParseBaseData(luigi.Task):
        version = luigi.Parameter()
        def requires(self):
            return CrawlDataInput(done_base_tag)
        def run(self):
    
        def output(self):
            target=luigi.contrib.hdfs.HdfsTarget(done_base_tag)
            return target 
    
    
    class CrawlDataParserTask(luigi.Task):
        version = luigi.Parameter()
        def requires(self):
            return CrawlParseBaseData(version=self.version)
        def run(self):
    
        def output(self):
            target=luigi.contrib.hdfs.HdfsTarget(done_base_tag)
            return target 
    
    if __name__ == '__main__':
           date_str = (datetime.now() - timedelta(2)).strftime('%Y%m%d')
           luigi.build([CrawlDataParserTask(version=date_str)])

[luigi doc]: https://luigi.readthedocs.io/en/stable/example_top_artists.html

发表评论取消回复

表情：

评论列表（有 0 条评论，441人围观）

还没有评论，来说两句吧...

相关阅读

相关 C++ 模板：函数模板

文章目录 C++ 模板函数模板 1. 模板的概念 2. 函数模板 2.1 函数模板语法 2.2

秒速五厘米/ 2022年12月30日 12:55/ 0 赞/ 274 阅读

相关 (模板)字典树模板

前缀树是 N叉树的一种特殊形式。通常来说，一个前缀树是用来存储字符串的。前缀树的每一个节点代表一个字符串（前缀）。每一个节点会有多个子节点，通往不同子节点的路径上有着

红太狼/ 2022年12月14日 13:35/ 0 赞/ 187 阅读

相关 (模板)旋转数组模板

class Solution { public: int minArray(vector<int>& numbers) {

港控/mmm°/ 2022年11月01日 13:46/ 0 赞/ 181 阅读

相关线段树模板（模板）

参考博客 http://blog.csdn.net/metalseed/article/details/8039326 持续更新。。。 \[外链图片转存失败,源站可能有防盗

野性酷女/ 2022年09月24日 05:19/ 0 赞/ 177 阅读

相关模板之类模板（数组类模板）

include<iostream> using namespace std; template <class T,int i> class sh

小鱼儿/ 2022年06月15日 00:51/ 0 赞/ 280 阅读

相关视图 & 模板 —— Blade模板

1、简介 Blade是Laravel提供的简单而强大的模板引擎。与控制器布局不同，Blade由模板继承和部分驱动。所有Blade模板都应该使用扩展名`.blade.php

我会带着你远行/ 2022年05月22日 09:53/ 0 赞/ 286 阅读

相关 Luigi －－基于Python语言的流式任务调度框架教程

Luigi: author: vincentzhwg@gmail.com date: 2014.5.6 blog已迁移，最新的Luigi教程更新在：[http://gua

àì夳堔傛蜴生んèń/ 2022年04月13日 10:16/ 0 赞/ 532 阅读

相关函数模板&类模板

函数模板 template<typename T> T max(T a, T b) { return a > b ? a : b; }

柔情只为你懂/ 2022年04月10日 07:17/ 0 赞/ 314 阅读

相关 luigi框架--关于python运行spark程序

首先，目标是写个python脚本，跑spark程序来统计hdfs中的一些数据。参考了别人的代码，故用了luigi框架。至于luigi的原理底层的一些东西Google就好。

Myth丶恋晨/ 2021年12月23日 12:15/ 0 赞/ 273 阅读

相关 luigi 模板

import os,sys import luigi import luigi.contrib.hdfs from datetime import datetime, t...

悠悠/ 2021年05月20日 14:02/ 0 赞/ 442 阅读