데이터 노트

개요사용자 쿼리를 화면 상에서 받고, 검색 시 유사한 값을 화면에 출력해보기 위해 작업해보았다. 환경FastAPI 컨테이너 내에서 작업. 작업1. 데이터 검색을 위한 코드 함수화테스트로 유사도 검색 작업을 했던 파일을 다듬어 함수화하였다.from dotenv import load_dotenvimport osfrom langchain_openai import OpenAIEmbeddingsfrom pymilvus import connections, MilvusClientfrom openai import OpenAIload_dotenv()# 환경 변수 가져오기OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")MILVUS_HOST = os.getenv("MILVUS_HOST")MI..

회사에서 LLM을 위한 ETL 파이프라인을 만드는 프로젝트에 참여하게 되었다.아직은 시작 단계는 아니지만, 관련 용어들에 대한 기본적인 정의가 부족한 듯 하여, 내용을 정리하게 되었다.LLM정의LLM(Large Language Model) : 대규모 언어 모델방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 AI 모델특징대규모 데이터 학습 : 수십 테라바이트의 텍스트 데이터로 학습된다.언어 이해 및 생성 : 자연어를 이해하고 생성할 수 있다.다목적성 : 다양한 언어 관련 작업을 수행할 수 있다.작동 방식트랜스포머 아키텍처LLM은 주로 트랜스포머라는 신경망 아키텍처를 기반으로 한다.자기 주의 메커니즘 (self-attention 메커니즘)트랜스포머 모델은 자기 주의 메커니즘을 사..