728x90 300x250 코딩48 라마 인덱스와 랭체인 비교 오늘의 할 일은 라마 인덱스(구 GPT 인덱스)와 랭체인에 대한 비교를 진행할 것입니다. 조사해를 해본 자료를 조합하면 대충 아래와 같습니다. Langchain (랭체인): Langchain은 일반적인 프레임워크로 사용될 수 있으며 다양한 응용 프로그램을 구축하는데 유연한 선택지를 제공합니다. 이 도구는 초기 프로젝트 시작과 빠른 구현에 적합하며 러닝 커브가 낮습니다. 여기에 몇 가지 주요 특징을 살펴봅시다: 일반적인 프레임워크: Langchain은 다양한 응용 프로그램을 구축하기 위한 보다 일반적인 프레임워크로 사용됩니다. 이는 프로젝트의 목표와 요구 사항을 다양하게 다룰 수 있음을 의미합니다. 유연성: Langchain은 사용자에게 응용 프로그램의 동작을 사용자 정의할 수 있는 유연성을 제공합니다. .. 2023. 11. 1. 벡터 데이터베이스와 벡터 인덱스 Faiss 주로 LLM 관련되서 중장기적인 기억을 담당하는 부분을 수행으로 복합 비정형 데이터를 위해 효율적으로 저장 및 검색을 하기 위해 개발된 데이터베이스 구조 복합 비정형 데이터를 저장하기 위해서는 데이터를 일련의 숫자로 구성된 임베딩으로 변환하는 것이 필요하다. 임베딩을 하는 이유는 한 공간안에 유사한 것은 비슷한 공간에 몰려있다는 것을 전제로 진행한다. 예시 그림 Mnist 3차원같이 한 공간에 표현할 수 있어야 한다. (에 표현한 그림이라서 2차원같지만 3차원) 기존의 키-밸류 기반의 DB에서 이러한 복합 비정형 데이터를 찾을 때 상당히 느리고 정확하지 않은 문제점이 있어서 고안 됬다고 한다. 쿼리가 주어줬을 때 vecotor간의 거리를 계산해서 가장 가깝게 있는 것을 호출한다는 과정으로 주로 사용되는 .. 2023. 10. 29. lora finetuning 후 EOS token이 안나오는 문제 지난번에 LoRA를 학습시키고 EOS 토큰이 나오는 확률이 낮아진거같은데... 어떻게 해결 할 수 있는 방법이 있는가 구글링을 통해서 찾아 보았다. https://towardsdatascience.com/challenges-in-stop-generation-within-llama-2-25f5fea8dea2 Challenges in Stop Generation within Llama 2 An Exploration with Potential Solutions towardsdatascience.com 이글을 보면 EOS 토큰의 확률이 생성될 가능성을 확인하는 방법을 알려줌 아래 코드를 잘 훔쳐 쓰겠습니다. 선생 class EosTokenRewardLogitsProcessor(LogitsProcessor): d.. 2023. 10. 28. llama2에 remon 데이터로 LoRA 학습기 간단히 llama2를 통해 remon데이터를 학습시켜서 AI 캐릭터을 만드는 짓을 하겠다 remon data는 허깅 페이스에서 쉽게 구할 수 있음 nsfw가 없는 클린한 데이터를 사용합니다. https://huggingface.co/datasets/junelee/remon_without_nsfw 2023. 10. 25. 이전 1 ··· 6 7 8 9 10 11 12 다음 728x90 300x250
