Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Tags
- kafka
- RAG
- aiagent
- Redshift
- BigQuery
- Dag
- grafana
- MSA
- 오블완
- airflow
- pySpark
- 루프백주소
- hadoop
- javascript
- ubuntu
- Python
- amazonlinux
- prometheus
- vectorDB
- 설치
- dockercompose
- sparkstreaming
- jmx-exporter
- spark
- docker
- Streamlit
- airflow설치
- SQL
- metadabatase
- milvus
Archives
- Today
- Total
목록postgres (1)
데이터 노트
[Airflow] 메타데이터베이스를 통한 dag 실행 이력 조회
작업 배경작업 보고를 위해 얼마나 dag의 수행이 성공적이었고, 속도 면에서 개선이 있었는지 등 판단하기 위해 이력 조회가 필요한 상황이 발생했고, 그래서 작업을 하기 위해 알아보게 되었다. 작업Dag별 수행 시간import psycopg2from psycopg2.extras import RealDictCursorimport csv# PostgreSQL(메타데이터베이스)에 연결conn = psycopg2.connect( dbname="airflow", user="{계정명}", password="{계정 비밀번호}", host="{서비스명}", # Docker Compose에서 정의된 서비스 이름 port="5432")# 커서를 생성cur = conn.cursor(cursor_f..
Data Engineering/Airflow
2024. 8. 15. 16:46