Data Engineering/Airflow
[Airflow] Dag 인식이 안 될 때
돌돌찐
2023. 8. 8. 15:42
오류 상황
작성한 Dag 파일이 Airflow Web UI 상에서 인식 되지 않음.
해결 과정 및 방법
현재 인식이 되지 않는 Dag 파일은 baljoo_dag.py
1. logs/dag_processor_manager에서 확인
2. Dag를 잘 인식하고 있는지 명령어로 확인 -> baljoo 없음
3. Dag의 Task를 잘 인식하고 있는지 명령어로 확인 -> 인식 되고 있지 않음
4. 명령어로 Dag 파일 실행시켜보기
python baljoo_dag.py
# 결과
airflow/dags/baljoo_dag.py:21 RemovedInAirflow3Warning: Param `schedule_interval` is deprecated and will be removed in a future release. Please use `schedule` instead.
다른 것도 다 'schedule_interval'로 설정 하긴 했는데,, 바꿔주라고 하니 바꿔본다.
그러고나서 다시 Dag 파일 실행 시키니 오류 없이 완료!
다시 'airflow dags list' 명령어로 Dag 파일 잘 인식 되고 있는지 확인해보면, 인식 안되고 있음..^^
5. ags list 확인했을 때 나온 지시처럼 'airfow dsgs list-import-errors'로 확인
airflow dags list-import-errors
# 결과
filepath | error
===========================+=========================================================================================================================================
airflow/dags/baljoo_dag.py | AirflowDagDuplicatedIdException: Ignoring DAG pmt_update from airflow/dags/baljoo_dag.py - also found in airflow/dags/pmt_update_dag.py
지금 보니까 내가 Dag 파일을 생성 시 다른 Dag 파일을 복사&붙여넣기 하면서 dag_id를 변경 하지 않아 중복이 발생하여 인식 되지 않았던 것..
너무나 어이 없는 이유..^^ㅠㅠ 다음부터 이런 부분은 꼭꼭 확인하자.
수정하고 나니 잘 인식 된다.
항상 파일을 꼼꼼히 확인하자!