Когда Cron подводит

!

  , . Cron', . Cron : , .  : MySQL- , , , Cron, .  , . .  , .

.

Airflow Kubernetes. .  , , Data Team,  – , - .

– , , . – , , . , , ,   ,    . , ,     , , , – , .

. – .  :  , . , production-, , . , . , . .

, - : . python, Cron' . , . , ,  – . : , , , .

DataTeam . , . 

: "", , .

-  – . , , ,  – . ,  ,  , . , ,  . Cron . , .

Cron' . , , - . Cron' . , , . .

 – , . , , . : , , - . - ( , ). , .

, ( ), . Kubernetes'.  ,  CronJob. , Cron'. :  , CronJob , . , , . , Cron , . CronJob "" ( : A cron job creates a job object about once per execution time of its schedule. ). "" , . .  CronJob .   .

,  Kubernetes' . ,  CronJob , , .  – , . , , , . , , , , - , , .

, . Airflow.

Airflow

(,  ). Arflow , .  – ( directed acyclic graph).

 – ,    . , , . Airflow . , .

– . Cron CronJob . Cron' , , CronJob – Kubernetes'.  , Airflow ,  Kubernetes', - . , . Airflow , , . .

, , Kubernetes'. Airflow    , , : KubernetesPodOperator KubernetesExecutor. KubernetesPodOperator: docker- Kubernetes'.

 kubernetes-client  API Kubernetes', Airflow.  configmap' , . KubernetesExecutor' : Airflow , , .

Airflow + KubernetesPodOperator + Kubernetes , , , Airflow Kubernetes, , - .

KubernetesPodOperator'

Kubernetes' Docker' Airflow. - SimpleHttpOperator' PythonOperator',  http- , . , , - .  – , -. , : , , , . Airflow.  – - , , ,   , .

, .

: . . BI- Metabase, . ().

 Airflow + KubernetesPodOperator + Kubernetes .

, " !"?

:

1. ;

2. , ;

3. , ;

4. , .
   
   , Airflow , / ;

5. , , ;

6. 5.

, "how to"  Airflow , .