OpenAI2 [AI] RAG 의 구성요소 2 ( Embedding ) 안녕하세요🐶빈지식 채우기의 비니🙋🏻♂️ 입니다. RAG 에 필요한 구성요서 두 번째 시간!바로 비정형 데이터를 사용함에 매우매우 중요한 임베딩에 대해 알아보도록 하겠습니다!1. 임베딩이란?사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 과정 가장 간단한 형태의 임베딩은 단어의 빈도를 기준으로 벡터로 변환하는 것입니다. 구분A 책B 책C 책D 책탕수육0297고양이0100동물0100위에 표에서 B 책의 임베딩은 [2,1,1] 이고 탕수육의 임베딩은 [0,2,9,7,] 입니다.C 책과 D 책에서 탕수육의 단어가 많이 겹친 것을 알 수 있습니다.위 표를 마탕으로 C 책과 D 책은 탕수육이라는 소재를 공유한다는 점에서 비슷한 작품일 가능성이 높습니다.고양이와 동물은 .. 2024. 9. 4. [AI] 간단한 RAG 구현 ( Anaconda, Streamlit, OpenAI, Flask, Chroma, Hugging Face ) 안녕하세요🐶빈지식 채우기의 비니🙋🏻♂️ 입니다. 오늘은 RAG 에 필요한 구성요소들을 조합하여 실제로 RAG 개발을 해보는 시간을 가지도록 하겠습니다.바로 가시죠!1. 개요RAG 아키텍쳐는 아래와 같이 설계하였습니다.Anaconda : Python 가상환경 구성Streamlit(UI) : 데이터 분석과 시각화를 함께 간편하게 수행 가능한 파이썬 오픈소스 라이브러리RAG ServerLangChain : 언어 모델을 기반으로 한 어플리케이션을 개발하기 위한 프레임워크Chroma : 임베딩 벡터를 저장하기 위한 오픈소스 소프트웨어 ( Vector DB )Hugging Face : 다양한 트렌스포머 모델과 학습 스크립트를 제공하는 모듈 ( 임베딩 )OpenAI : 사용자의 프롬프트를 분석하여 원하는 정보.. 2024. 9. 3. 이전 1 다음 반응형
