[Airflow] Dag 인식이 안 될 때

오류 상황

작성한 Dag 파일이 Airflow Web UI 상에서 인식 되지 않음.

 

해결 과정 및 방법

현재 인식이 되지 않는 Dag 파일은 baljoo_dag.py

 

1. logs/dag_processor_manager에서 확인

2. Dag를 잘 인식하고 있는지 명령어로 확인 -> baljoo 없음

3. Dag의 Task를 잘 인식하고 있는지 명령어로 확인 -> 인식 되고 있지 않음

4. 명령어로 Dag 파일 실행시켜보기

python baljoo_dag.py

# 결과
airflow/dags/baljoo_dag.py:21 RemovedInAirflow3Warning: Param `schedule_interval` is deprecated and will be removed in a future release. Please use `schedule` instead.

다른 것도 다 'schedule_interval'로 설정 하긴 했는데,, 바꿔주라고 하니 바꿔본다.

 

그러고나서 다시 Dag 파일 실행 시키니 오류 없이 완료!

 

다시 'airflow dags list' 명령어로 Dag 파일 잘 인식 되고 있는지 확인해보면, 인식 안되고 있음..^^

 

5. ags list 확인했을 때 나온 지시처럼 'airfow dsgs list-import-errors'로 확인

airflow dags list-import-errors

# 결과
filepath                   | error
===========================+=========================================================================================================================================
airflow/dags/baljoo_dag.py | AirflowDagDuplicatedIdException: Ignoring DAG pmt_update from airflow/dags/baljoo_dag.py - also found in airflow/dags/pmt_update_dag.py

지금 보니까 내가 Dag 파일을 생성 시 다른 Dag 파일을 복사&붙여넣기 하면서 dag_id를 변경 하지 않아 중복이 발생하여 인식 되지 않았던 것..

 

너무나 어이 없는 이유..^^ㅠㅠ 다음부터 이런 부분은 꼭꼭 확인하자.

 

수정하고 나니 잘 인식 된다.

 

 

항상 파일을 꼼꼼히 확인하자!