TIL - 20241112

Airflow backfill 재처리

Airflow에서 과거 날짜에 대한 DAG를 재실행하기 위해서는 backfill 명령어를 사용하면 된다.

airflow dasg backfill -s [start-date] -e [end-date] -x -y [dag_id]

각 옵션별 설명

• --continue-on-failures: 일부 task가 실패하더라도 backfill 작업을 계속 진행한다
• --delay-on-limit: max_active_runs 의 수치만큼의 DAG가 실행 중일 때 대기하는 시간초를 의미한다.
• --disable-retry: task가 실패했을 때 재시도를 하지 않고 실패 상태로 둔다
• -x: DAG 설정을 pickling해서 전달하는 것이 아니라 worker 자체에 있는 코드를 기준으로 실행한다.
• -n: 실제로 실행하는 것이 아닌 dry run으로 실행
• -s, -e: 각각 시작일자와 종료 일자를 표현
• -B: 최신 날짜부터 역순으로 실행한다.
• -y: 따로 프롬프트로 관련 내용을 묻지 않고 바로 실행한다.