GPT2 [AI] 간단한 RAG 구현 ( Anaconda, Streamlit, OpenAI, Flask, Chroma, Hugging Face ) 안녕하세요🐶빈지식 채우기의 비니🙋🏻♂️ 입니다. 오늘은 RAG 에 필요한 구성요소들을 조합하여 실제로 RAG 개발을 해보는 시간을 가지도록 하겠습니다.바로 가시죠!1. 개요RAG 아키텍쳐는 아래와 같이 설계하였습니다.Anaconda : Python 가상환경 구성Streamlit(UI) : 데이터 분석과 시각화를 함께 간편하게 수행 가능한 파이썬 오픈소스 라이브러리RAG ServerLangChain : 언어 모델을 기반으로 한 어플리케이션을 개발하기 위한 프레임워크Chroma : 임베딩 벡터를 저장하기 위한 오픈소스 소프트웨어 ( Vector DB )Hugging Face : 다양한 트렌스포머 모델과 학습 스크립트를 제공하는 모듈 ( 임베딩 )OpenAI : 사용자의 프롬프트를 분석하여 원하는 정보.. 2024. 9. 3. [AI] RAG ( Retrieval Augmented Generation ) 의 기초 안녕하세요🐶빈지식 채우기의 비니🙋🏻♂️ 입니다. 요즘 AI 에 대해 많은 관심이 생겨 이리저리 공부 중에 있습니다. 그 중 LLM에 대해 공부를하다 RAG 라는 것을 알게되었습니다. 오늘은 LLM에서 사용되고 있는 RAG 에 대해 알아보도록 하겠습니다.1. RAG 가 등장배경RAG 는 현재 널리 사용되고 있는 LLM 의 한계로부터 나오게된 개념이다.대표적으로 아래와 같이 4가지가 있다.LLM 이란 GPT 모델 별로 학습되어 있는 데이터가 다르다.OpenAI 의 GPT-4-turbo 를 보면 23 년 12월까지의 데이터가 학습된 것을 볼 수 있다.그렇다면 23년 12월과 현재 사이의 데이터에 대한 학습은 어떻게 되는 것일까?공백의 사이 데이터가 학습되지 않은 LLM은 거짓된 답변이 사실인 것 처럼 .. 2024. 8. 20. 이전 1 다음 반응형
