데이터 노트

개요Milvus에 적재해둔 데이터를 기반으로 사용자가 검색한 유실물과 유사한 유실물 정보를 출력하도록 하기 위해 LangChain 활용해 RAG 구축을 하려고 했고, 벡터데이터베이스로 Milvus DB와 연동하고자 했다. 검색 결과까지 보여주는게 목표였는데, 계속 오류로 인해 일단 연결하는 부분만 작성. 환경Docker Compose로 모두 컨테이너화하였으며, 사용자의 입력값을 받기 위한 FastAPI 컨테이너에서 Milvus 컨테이너 연결 작업FastAPI 컨테이너에서 Milvus 연결 테스트 시도 (오류 발생 및 해결)Milvus 공식 문서를 참고해서, 코드를 작성하고 연결이 되는지 테스트 해보았다.아래 코드는 오류가 난 코드.from dotenv import load_dotenvimport osfr..

문제 상황docker-compose.yml 파일을 생성했다.그리고 컨테이너를 올리는데 kafka 브로커 3개와 jmx-exporter 3개 다 안 올라왔다. 오류 찾기 & 해결 과정실패한 컨테이너 오류 확인먼저 브로커 컨테이너 로그를 확인했다.오류 내용 더보기===> Launching ... ===> Launching kafka ... Error: Could not find or load main class '-Xmx1G' Caused by: java.lang.ClassNotFoundException: '-Xmx1G'jmx-exporter 컨테이너 로그 확인.오류 내용 더보기Error: Could not find or load main class '-Xmx128m'오류 원인브로커 컨테이너 : KAFKA_..

사용할 Airflow 버전 : 2.6.0실행 환경 : Mac 설치1. docker-compose.yaml 파일 다운로드curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.6.0/docker-compose.yaml'  포함된 내용은 엄청 길어서 그 중 확인이 필요한 서비스 목록 및 내용만 확인해보았다.airflow-scheduler : 모든 task와 DAG를 모니터링airflow-webserver : 에어플로우 웹 서버. http://localhost:8080airflow-worker : 스케줄러로부터 부여된 테스크들을 실행하기 위한 워커airflow-init : 서비스 이니셜라이제이션postgres(DB) : 데이터 베이스redis : 스케줄러에서..

계기ubuntu 서버에서 docker를 통해 django로 생성한 서비스를 배포하기 하려고 한다. 이를 위해 docker를 설치했다.공식 문서도 참고하였으나, 좀 어려웠던 부분이 있어 여러 레퍼런스를 찾아 설치했던 경험을 메모해두려 한다.설치repository 업데이트 및 HTTPS 설치sudo apt updatesudo apt upgrade -ysudo apt install -y ca-certificates \ curl \ gnupg \ lsb-releasedocker GPG key 등록sudo mkdir -p /etc/apt/keyringscurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/..

이미 docker에서 한 번 mysql 설치를 진행한 적이 있지만,왜인지 연동이 잘 되지 않는 것 같아서 새롭게 다시 복기할 겸 설치해보려 한다. docker 설치하기docker desktop 다운로드 나는 이미 설치가 되어있는 상태라 바로 다음 스텝으로 넘어간다.(기존에 설치되어 있는 건 삭제했다.) mysql image 리스트 확인, 가져오기- docker images: docker에서 이미 가져온 image 리스트 확인하기$ docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEubuntu_miniconda 0.1 00e9e90394d7 2 weeks..