데이터 노트

개요사용자 쿼리를 화면 상에서 받고, 검색 시 유사한 값을 화면에 출력해보기 위해 작업해보았다. 환경FastAPI 컨테이너 내에서 작업. 작업1. 데이터 검색을 위한 코드 함수화테스트로 유사도 검색 작업을 했던 파일을 다듬어 함수화하였다.from dotenv import load_dotenvimport osfrom langchain_openai import OpenAIEmbeddingsfrom pymilvus import connections, MilvusClientfrom openai import OpenAIload_dotenv()# 환경 변수 가져오기OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")MILVUS_HOST = os.getenv("MILVUS_HOST")MI..

개요Milvus에 적재해둔 데이터를 기반으로 사용자가 검색한 유실물과 유사한 유실물 정보를 출력하도록 하기 위해 LangChain 활용해 RAG 구축을 하려고 했고, 벡터데이터베이스로 Milvus DB와 연동하고자 했다. 검색 결과까지 보여주는게 목표였는데, 계속 오류로 인해 일단 연결하는 부분만 작성. 환경Docker Compose로 모두 컨테이너화하였으며, 사용자의 입력값을 받기 위한 FastAPI 컨테이너에서 Milvus 컨테이너 연결 작업FastAPI 컨테이너에서 Milvus 연결 테스트 시도 (오류 발생 및 해결)Milvus 공식 문서를 참고해서, 코드를 작성하고 연결이 되는지 테스트 해보았다.아래 코드는 오류가 난 코드.from dotenv import load_dotenvimport osfr..

개요분실물을 보다 용이하게 찾을 수 있도록, Lost112 사이트의 데이터를 크롤링하여 적재 후 이미지 및 텍스트 검색 기능을 붙이려고 함.분실물 상세 페이지 내에 있는 줄글의 내용을 임베딩하여 Milvus Vector DB에 저장 후, 이후 유저가 검색 시 사용하도록 한다. 환경ubuntu 내 docker compose로 Milvus DB와 python 코드 실행용 컨테이너를 빌드하여 데이터 적재 작업Milvus 컨테이너 설치하기기존에 테스트 한다고 FastAPI, Python 실행용 web_scraper 등의 컨테이너들을 이미 띄워놓았었는데,이 docker-compose.yaml 파일에 Milvus 공식 문서에서 제공하는 내용을 추가하여 빌드했다.공식 문서 링크아래 코드로 yaml 파일을 다운 받을 ..