vector db3 [AI] RAG 의 구성요소 2 ( Embedding ) 안녕하세요🐶빈지식 채우기의 비니🙋🏻♂️ 입니다. RAG 에 필요한 구성요서 두 번째 시간!바로 비정형 데이터를 사용함에 매우매우 중요한 임베딩에 대해 알아보도록 하겠습니다!1. 임베딩이란?사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과 혹은 그 과정 가장 간단한 형태의 임베딩은 단어의 빈도를 기준으로 벡터로 변환하는 것입니다. 구분A 책B 책C 책D 책탕수육0297고양이0100동물0100위에 표에서 B 책의 임베딩은 [2,1,1] 이고 탕수육의 임베딩은 [0,2,9,7,] 입니다.C 책과 D 책에서 탕수육의 단어가 많이 겹친 것을 알 수 있습니다.위 표를 마탕으로 C 책과 D 책은 탕수육이라는 소재를 공유한다는 점에서 비슷한 작품일 가능성이 높습니다.고양이와 동물은 .. 2024. 9. 4. [AI] RAG 의 구성요소 1 ( Vector DB ) 안녕하세요🐶빈지식 채우기의 비니🙋🏻♂️ 입니다. 이전 포스팅을 통해 RAG 의 기초에 대해 알아보았습니다.오늘은 RAG 의 구성요소 첫 번째 Vector DB 에 대해 알아보도록 하겠습니다. 이전 포스팅을 보고 오시면 좀 더 이해하기 쉽습니다. [AI] RAG ( Retrieval Augmented Generation ) 의 기초안녕하세요🐶빈지식 채우기의 비니🙋🏻♂️ 입니다. 요즘 AI 에 대해 많은 관심이 생겨 이리저리 공부 중에 있습니다. 그 중 LLM에 대해 공부를하다 RAG 라는 것을 알게되었습니다. 오늘은 Lbeanistory.tistory.com1. Vector DB 란벡터 형식의 데이터를 저장, 쿼리 분석에 특화된 데이터베이스벡터는 공간상의 점을 나타내는데 사용하며, 다차원 .. 2024. 8. 21. [AI] RAG ( Retrieval Augmented Generation ) 의 기초 안녕하세요🐶빈지식 채우기의 비니🙋🏻♂️ 입니다. 요즘 AI 에 대해 많은 관심이 생겨 이리저리 공부 중에 있습니다. 그 중 LLM에 대해 공부를하다 RAG 라는 것을 알게되었습니다. 오늘은 LLM에서 사용되고 있는 RAG 에 대해 알아보도록 하겠습니다.1. RAG 가 등장배경RAG 는 현재 널리 사용되고 있는 LLM 의 한계로부터 나오게된 개념이다.대표적으로 아래와 같이 4가지가 있다.LLM 이란 GPT 모델 별로 학습되어 있는 데이터가 다르다.OpenAI 의 GPT-4-turbo 를 보면 23 년 12월까지의 데이터가 학습된 것을 볼 수 있다.그렇다면 23년 12월과 현재 사이의 데이터에 대한 학습은 어떻게 되는 것일까?공백의 사이 데이터가 학습되지 않은 LLM은 거짓된 답변이 사실인 것 처럼 .. 2024. 8. 20. 이전 1 다음 반응형
