본문 바로가기
728x90
300x250

전체 글54

모델 리뷰 OLMo Bitnet 1B을 colab에서 실행해보자 요즘 화두에 있는 Bitnet 양자화를 직접 구현했다는 NousResearch의 OLMo-Bitnet-1B을 리뷰해볼 예정입니다. NousResearch에서 제시한 방식으로 실행을 하려고 합니다. 모델 및 실행에 필요한 코드는 레포지토리에 모델과 같이 trust_remote_code=True을 하면 실행 할 수 있습니다. NousResearch에서에서 구현한 BitLinear158 클래스 먼저 살펴 볼 예정입니다. NousResearch에서에서 구현한 BitLinear158 클래스 해당 코드는 PyTorch를 사용하여 비트 정밀도(1.58 비트)로 선형 레이어를 구현하는 것으로 보입니다. 코드의 구성 요소를 살펴보겠습니다: weight_quant 함수: 이 함수는 가중치 텐서를 1.58 비트로 양자화합니.. 2024. 4. 3.
LLM기반 임베딩 모델, bge 리랭커 모델 'bge-reranker-v2-gemma' 리랭커 모델 소개 이 포스트에서는 'bge-m3'를 기반으로 한 '리랭커' 모델을 살펴보겠습니다. 기존의 '임베딩' 모델과는 달리 '리랭커' 모델은 질문과 문서를 입력으로 받아들이고 유사도를 출력합니다. 다른 임베딩 모델과는 달리, 리랭커는 질문과 문서를 입력으로 사용하며, 임베딩 대신 유사도를 직접 출력합니다. 리랭커는 쿼리와 메시지를 입력으로 받으면 관련성 점수를 계산하며, 이 점수는 시그모이드 함수를 사용하여 [0,1] 범위의 부동 소수점 값으로 매핑될 수 있습니다. 또한, 다국어를 지원하기 위해 BAAI/bge-reranker-v2-m3와 BAAI/bge-reranker-v2-gemma 두 가지 버전이 존재합니다. gemma 버전은 LLM(Large Language Model) 기반의 리랭커 LL.. 2024. 4. 2.
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits" 논문에서 소개된 방법론이 소개되었습니다. 1비트 LLM(1-bit LLM)은 자연어 처리(NLP) 모델의 성능을 개선하려는 시도 중 하나로, 기존의 32비트나 16비트 LLM과는 다른 접근 방식을 취합니다. 이 모델은 모든 파라미터나 가중치를 -1, 0, 1 중 하나의 값으로 양자화하여 구성됩니다. 이렇게 함으로써, 각 파라미터가 더 적은 비트로 표현되어 전체적인 모델 크기를 줄이고 메모리 사용량을 최적화할 수 있습니다. 1비트 LLM은 절대평균 양자화(absolute mean quantization)라는 특정한 양자화 기법을 사용하여 수치를 양자화합니다. 이 양자화 기법은 평균 값과.. 2024. 4. 1.
라마 팩토리(LLaMA-Factory)를 통해 LLM 파인 튜닝을 쉽게 LLaMA Factory는 대규모 언어 모델(Large Language Models, LLMs)을 손쉽게 파인 튜닝할 수 있는 프레임워크로 소개됩니다. 이것은 기술적인 이해가 있는 사람이든 없든, 누구에게나 적합합니다. 💡 이 튜토리얼은 어느 정도의 컴퓨팅 파워만 있다면 누구나 LLM 파인 튜닝에 참여할 수 있다는 점을 강조합니다. 💻 이 프레임워크는 다양한 기법인 PPO, DPO, SFT, 리워드 모델링 등을 지원하며, LoRA와 QLoRA 같은 다양한 훈련 방법론도 함께 제공합니다. 📚 LLaMA Factory의 사용 단계를 설명하는 튜토리얼에는 설치, 데이터셋 준비, 모델 선택, 파인 튜닝, 평가, 그리고 훈련된 모델과의 상호작용을 위한 대화 인터페이스 등이 포함됩니다. 🚀🎨📊 라마 팩토리 설치 g.. 2024. 3. 15.
728x90
300x250