TIL - 20241121

Dynamic task mapping 사용시 팁

Dynamic task mapping을 사용하면 airflow 웹 서버에서 task 수행되는 것을 보면 0, 1, 2, 3과 같이 숫자로 찍힌다.
이렇게 되면 해당 task가 어떤 잡인지 알기 어려운 점이 있다.

이를 map_index_template 값을 사용하면 dynamic task가 끝난 시점에 task 이름 정보를 업데이트하고 이걸 airflow UI에서 해당 내용을 확인할 수 있다.

다만 이게 task 수행이 끝나야지만 업데이트가 되기 때문에 이 점을 유의해야 한다.