Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- BigQuery
- RAG
- Python
- jmx-exporter
- Streamlit
- metadabatase
- prometheus
- javascript
- 오블완
- 루프백주소
- grafana
- Dag
- hadoop
- amazonlinux
- vectorDB
- pySpark
- dockercompose
- aiagent
- spark
- kafka
- MSA
- Redshift
- milvus
- airflow설치
- 설치
- sparkstreaming
- ubuntu
- docker
- airflow
- SQL
Archives
- Today
- Total
목록Data Engineering/SQL (1)
데이터 노트
[SQL] 중복된 데이터 행 제거
데이터를 이관하는 과정에서 프로시저를 자동화 했는데,로직이 잘못 되었었는지 같은 데이터가 중복으로 삽입되어 있었다. 이를 삭제하기 위한 쿼리를 기록해본다. 일반적으로 고유한 값을 가지는 id로만 데이터를 구분하여 삭제하는 쿼리 예시는 많이 있었는데,내가 겪은 케이스의 경우 id 값이 유일하지 않았다. 그래서 유일해야하는 id값과 컬럼 중 데이터 값이 유일하게 달랐던 데이터 삽입 시간 created_datetime을 기준으로 구분했다.DELETE FROM table1WHERE (id, created_datetime) IN ( SELECT id, created_datetime FROM ( SELECT id, created_datetime ,ROW_NUMBER() OVER (PART..
Data Engineering/SQL
2024. 4. 1. 07:37