[Redshift] Airflow로 자동화한 프로시저가 작동하지 않을 경우

Redshift 상에 구축한 프로시저를 자동화하기 위해 Airflow에 DAG, Task를 생성하였으나,

제대로 작동되지 않고 데이터가 들어가지 않았다.

 

그런데 Airflow 상에서는 제대로 task가 실행되었다고 뜨고,

별도의 오류가 없어서 다같이 트러블슈팅을 하였다.

 

결과론적으로는 시간대 설정의 문제였다.

airflow 상에서는 한국 시간대 KST로 설정하여 프로시저가 작동하도록 설정해두었는데,

redshift 상에서는 프로시저에서 기간 값 설정을 위해 Declare 문에서 선언한 변수의 시간을 current_date로 설정한 것이 문제였다.

-- 기존 프로시저 내 설정
DECLARE
	date_from date:= (current_date -7)::date;
    date_to date:= (current_date)::date;

 

redshift는 UTC 기반이기 때문에 프로시저가 돌아가는 시간 기준으로 설정한 기간 값이 제대로 설정 되지 않았기 때문.

 

아래와 같이 변경하여 시간대를 동일하게 설정하였고, 문제는 해결되었다.

모든 프로시저들을 다 바꾸어줘야한다는 번거로움이 있었지만,,^^

-- UTC 시간대를 KST 시간대로 변경 설정
date_from date:= CONVERT_TIMEZONE('KST', SYSDATE) - INTERVAL '7 days';
date_to date:= CONVERT_TIMEZONE('KST', SYSDATE);

 

그 외에도 데이터 insert 시간을 입력하는 컬럼의 값 등 시간을 기준으로 하는 내용의 경우,

전부 위와 같이 설정해서 맞춰주었다.

 

* 추가적으로 알게 된것은 sysdate와 current_date 차이

- current_date : 사용자 세션 시간

- sysdate : 데이터 서버가 위치해 있는 시간