목록Dag (2)

데이터 노트

[Airflow] 메타데이터베이스를 통한 dag 실행 이력 조회

작업 배경작업 보고를 위해 얼마나 dag의 수행이 성공적이었고, 속도 면에서 개선이 있었는지 등 판단하기 위해 이력 조회가 필요한 상황이 발생했고, 그래서 작업을 하기 위해 알아보게 되었다. 작업Dag별 수행 시간import psycopg2from psycopg2.extras import RealDictCursorimport csv# PostgreSQL(메타데이터베이스)에 연결conn = psycopg2.connect( dbname="airflow", user="{계정명}", password="{계정 비밀번호}", host="{서비스명}", # Docker Compose에서 정의된 서비스 이름 port="5432")# 커서를 생성cur = conn.cursor(cursor_f..
Data Engineering/Airflow 2024. 8. 15. 16:46
[Airflow] Dag 인식이 안 될 때

오류 상황작성한 Dag 파일이 Airflow Web UI 상에서 인식 되지 않음. 해결 과정 및 방법현재 인식이 되지 않는 Dag 파일은 baljoo_dag.py 1. logs/dag_processor_manager에서 확인2. Dag를 잘 인식하고 있는지 명령어로 확인 -> baljoo 없음3. Dag의 Task를 잘 인식하고 있는지 명령어로 확인 -> 인식 되고 있지 않음4. 명령어로 Dag 파일 실행시켜보기python baljoo_dag.py# 결과airflow/dags/baljoo_dag.py:21 RemovedInAirflow3Warning: Param `schedule_interval` is deprecated and will be removed in a future release. Pleas..
Data Engineering/Airflow 2023. 8. 8. 15:42
이전 Prev 1 Next 다음