Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- aiagent
- kafka
- airflow
- MSA
- metadabatase
- vectorDB
- docker
- ubuntu
- spark
- Dag
- dockercompose
- SQL
- Redshift
- airflow설치
- Streamlit
- grafana
- hadoop
- amazonlinux
- sparkstreaming
- BigQuery
- RAG
- 설치
- prometheus
- jmx-exporter
- 오블완
- pySpark
- 루프백주소
- Python
- milvus
- javascript
Archives
- Today
- Total
목록postgres (1)
데이터 노트
[Airflow] 메타데이터베이스를 통한 dag 실행 이력 조회
작업 배경작업 보고를 위해 얼마나 dag의 수행이 성공적이었고, 속도 면에서 개선이 있었는지 등 판단하기 위해 이력 조회가 필요한 상황이 발생했고, 그래서 작업을 하기 위해 알아보게 되었다. 작업Dag별 수행 시간import psycopg2from psycopg2.extras import RealDictCursorimport csv# PostgreSQL(메타데이터베이스)에 연결conn = psycopg2.connect( dbname="airflow", user="{계정명}", password="{계정 비밀번호}", host="{서비스명}", # Docker Compose에서 정의된 서비스 이름 port="5432")# 커서를 생성cur = conn.cursor(cursor_f..
Data Engineering/Airflow
2024. 8. 15. 16:46