python 为什么每次代码运行时间不同-python – 气流在同一个dag的不同时间运行任......

迷南。 2022-11-21 14:22 179阅读 0赞

我在dag中有30个单独的任务,它们之间没有依赖关系.任务运行相同的代码.唯一的区别是数据量,有些任务将以秒为单位完成,有些任务需要2小时或更长时间.

问题是在追赶期间,以秒结束的任务被在完成下一个执行日期之前需要数小时才完成的任务阻止.

我可以将它们分解成单独的骰子,但这看起来很愚蠢,未来30个任务将增长到更大的数量.

有没有办法在不同的执行时间在同一个dag中运行任务？就像任务完成一样,无论其他任务如何进行,都要承担下一个执行日期.

添加pic用于插图.基本上,我想在第一排看到两个更加坚实的绿色方框,而第三排仍在后面.

![IqGo2.png][]

编辑：

在y2k-shubham的explanation之后,我试图实现它.但它仍然无法正常工作.快速任务从2019-01-30 00开始,在一秒内完成,并且由于慢速任务仍在运行,因此无法启动2019-01-30 01.如果可能的话,如果可能的话,最好同时运行2019-01-30 01,2019-01-30 02,2019-01-30 03 …

添加代码示例

import time

from datetime import datetime

from airflow import DAG

from airflow.operators.python\_operator import PythonOperator

from airflow.utils.trigger\_rule import TriggerRule

default\_args = \{

'owner': 'test',

'depends\_on\_past': False,

'start\_date': datetime(2019, 1, 30, 0, 0, 0),

'trigger\_rule': TriggerRule.DUMMY

\}

dag = DAG(dag\_id='test\_dag', default\_args=default\_args, schedule\_interval='@hourly')

def fast(\*\*kwargs):

return 1

def slow(\*\*kwargs):

time.sleep(600)

return 1

fast\_task = PythonOperator(

task\_id='fast',

python\_callable=fast,

provide\_context=True,

priority\_weight=10000,

pool='fast\_pool',

\# weight\_rule='upstream', \# using 1.9, this param doesn't exist

dag=dag

)

slow\_task = PythonOperator(

task\_id='slow',

python\_callable=slow,

provide\_context=True,

priority\_weight=500,

pool='slow\_pool',

\# weight\_rule='upstream', \# using 1.9, this param doesn't exist

dag=dag

)

fast\_task >> slow\_task \# not working

[IqGo2.png]: https://i.stack.imgur.com/IqGo2.png

发表评论取消回复

表情：

评论列表（有 0 条评论，179人围观）

还没有评论，来说两句吧...

相关阅读

相关 python中的代码运行时间怎么获取

我们知道为了提高代码的运行速度，我们需要对书写的python代码进行性能测试，而代码性能的高低的直接反馈是电脑运行代码所需要的时间。这里将介绍四种常用的测试代码运行速度的方

迷南。/ 2024年03月31日 17:38/ 0 赞/ 79 阅读

相关 Python 统计程序运行时间

想要统计Python 运行的时间，发现实现起来非常简单，不需要下载额外包，系统自带。 import datetime startTime = dat

灰太狼/ 2023年02月10日 03:55/ 0 赞/ 211 阅读

相关 python 控制函数运行时间

版本1 from contextlib import contextmanager @contextmanager def timeout(dura

绝地灬酷狼/ 2023年01月17日 10:43/ 0 赞/ 151 阅读

相关 python测试程序运行时间_python测试一段代码运行时间的优雅方法

python测试一段代码运行时间的优雅方法文章目录前言：这个PER的全面整理，简直害死人，怎么这么多事儿？需要补的知识点太多了啊~ 为了要测试PER的时间消耗

女爷i/ 2023年01月08日 08:14/ 0 赞/ 237 阅读

相关 python 为什么每次代码运行时间不同-python – 气流在同一个dag的不同时间运行任......

我在dag中有30个单独的任务,它们之间没有依赖关系.任务运行相同的代码.唯一的区别是数据量,有些任务将以秒为单位完成,有些任务需要2小时或更长时间. 问题是在追赶期间,以秒

迷南。/ 2022年11月21日 14:22/ 0 赞/ 180 阅读

相关【Python】记录程序运行时间

转载自：[blog][] 方法1 import datetime starttime = datetime.datetime.now() lon

水深无声/ 2022年06月16日 02:20/ 0 赞/ 252 阅读

相关 Python计算程序运行时间

方法1 import datetime starttime = datetime.datetime.now() \long running endtime = date

曾经终败给现在/ 2022年06月14日 10:28/ 0 赞/ 284 阅读

相关 Python计算程序运行时间

方法1 import time from datetime import datetime starttime = datetime.n

忘是亡心i/ 2022年03月14日 09:38/ 0 赞/ 352 阅读

相关 python 获取程序运行时间

python3.8 不支持 clock 了，替换成 time.perf\_counter() 就可以了使用python的过程中，需要得知程序从运行开始到结束所需要的时间，可

冷不防/ 2021年09月07日 06:02/ 0 赞/ 455 阅读

相关 python使用timeit.Timer测试代码运行时间

python中测试代码运行时间，可以使用`time库`和`timeit库`，使用`timeit`来计算相对精确一些，主要用于计算小代码运行时间。

绝地灬酷狼/ 2021年06月22日 15:37/ 0 赞/ 533 阅读