데이터 노트

자세한 코드 정보는 Github에!https://github.com/JHYUNN-LEE/2025-side-MyParkingSpot GitHub - JHYUNN-LEE/2025-side-MyParkingSpot: 서울시 실시간 주차장 현황 대시보드서울시 실시간 주차장 현황 대시보드. Contribute to JHYUNN-LEE/2025-side-MyParkingSpot development by creating an account on GitHub.github.com  개요이전에 실시간 주차장 현황을 보여주는 것에서 발전 시켜서, Spark Streaming으로 실시간 데이터를 집계해서 보여주는 탭을 만들었다.Kafka → Spark Streaming → PostgreSQL → Streamlit 시각화 흐..

자세한 코드 정보는 Github에!https://github.com/JHYUNN-LEE/2025-side-MyParkingSpot GitHub - JHYUNN-LEE/2025-side-MyParkingSpot: 서울시 실시간 주차장 현황 대시보드서울시 실시간 주차장 현황 대시보드. Contribute to JHYUNN-LEE/2025-side-MyParkingSpot development by creating an account on GitHub.github.com개요실시간 데이터 처리를 경험해보고자 했고, 데이터는 실생활에 조금 밀접한 것을 찾고자 했다.그래서 찾게 된 실시간 주차장 현황 정보 데이터.물론 서울시에서 여러 기업과 합작하여 더 다양한 실시간 자료를 보여주는 사이트가 운영 중이지만나는 주차..

개요사용자 쿼리를 화면 상에서 받고, 검색 시 유사한 값을 화면에 출력해보기 위해 작업해보았다. 환경FastAPI 컨테이너 내에서 작업. 작업1. 데이터 검색을 위한 코드 함수화테스트로 유사도 검색 작업을 했던 파일을 다듬어 함수화하였다.from dotenv import load_dotenvimport osfrom langchain_openai import OpenAIEmbeddingsfrom pymilvus import connections, MilvusClientfrom openai import OpenAIload_dotenv()# 환경 변수 가져오기OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")MILVUS_HOST = os.getenv("MILVUS_HOST")MI..

개요지난번 글에서 vector_store 부분 수정해서 검색결과가 나오지 않았는데, 이 부분이 잘 되지 않아서,우선 Milvus Client로 통신하여 구축해보았다. 환경Docker Compose로 모두 컨테이너화하였으며, 사용자의 입력값을 받기 위한 FastAPI 컨테이너에서 Milvus 컨테이너 연결해 데이터 조회. 작업임베딩은 OpenAI 모델 사용해서 진행할 예정이고, Milvus Client 사용해 통신하기 위해 모듈을 가져온다.from openai import OpenAIfrom langchain_openai import OpenAIEmbeddingsfrom pymilvus import connections, MilvusClient .env에 저장해둔 환경 변수 가져오기from dotenv i..

개요Milvus에 적재해둔 데이터를 기반으로 사용자가 검색한 유실물과 유사한 유실물 정보를 출력하도록 하기 위해 LangChain 활용해 RAG 구축을 하려고 했고, 벡터데이터베이스로 Milvus DB와 연동하고자 했다. 검색 결과까지 보여주는게 목표였는데, 계속 오류로 인해 일단 연결하는 부분만 작성. 환경Docker Compose로 모두 컨테이너화하였으며, 사용자의 입력값을 받기 위한 FastAPI 컨테이너에서 Milvus 컨테이너 연결 작업FastAPI 컨테이너에서 Milvus 연결 테스트 시도 (오류 발생 및 해결)Milvus 공식 문서를 참고해서, 코드를 작성하고 연결이 되는지 테스트 해보았다.아래 코드는 오류가 난 코드.from dotenv import load_dotenvimport osfr..

개요분실물을 보다 용이하게 찾을 수 있도록, Lost112 사이트의 데이터를 크롤링하여 적재 후 이미지 및 텍스트 검색 기능을 붙이려고 함.분실물 상세 페이지 내에 있는 줄글의 내용을 임베딩하여 Milvus Vector DB에 저장 후, 이후 유저가 검색 시 사용하도록 한다. 환경ubuntu 내 docker compose로 Milvus DB와 python 코드 실행용 컨테이너를 빌드하여 데이터 적재 작업Milvus 컨테이너 설치하기기존에 테스트 한다고 FastAPI, Python 실행용 web_scraper 등의 컨테이너들을 이미 띄워놓았었는데,이 docker-compose.yaml 파일에 Milvus 공식 문서에서 제공하는 내용을 추가하여 빌드했다.공식 문서 링크아래 코드로 yaml 파일을 다운 받을 ..