티스토리

LLM연습장

검색하기

블로그 홈

LLM연습장

hyeong9647.tistory.com/m

쟈유 인공지능 개발자 , 문의) hyeong9647@gmail.com

구독자: 1

방명록 방문하기

728x90

300x250

주요 글 목록

랭체인 VLLMOpenAI를 사용할때 모델에 맞는 형식의 프롬프트 전달 방법 이 깃허브 블로그를 시작한 2023년부터 초기부터 계속 vLLM을 이용해서 많은 프로젝트를 진행하고 있는데 OpenAI의 기능을 사용해서 호출해서 사용하지만, 경우에 따라 랭체인의 VLLMOpenAI를 호출 해서 쓸 때도 있다.vLLM 자체는 Chat Template를 토크나이저로부터 jinja2 탬플릿을 가져와서 [{"role": "","content":""}]에 맞춰서 OpenAI 라이브러리 호출하는 방법으로 편하게 사용할 수 있지만 랭체인을 이용할때 약간 불편해진다.랭체인으로 다른 플랫폼의 모델들을 동시에 사용하거나 같은 코드로 관리하기 쉽게 사용하려고 하는데 VLLMOpenAI는 자동적으로 탬플릿에 적용이 안되는거 같다. (자세히 아는 분은 댓글좀..)ChatPromptTemplate을 이용해서 .. 공감수 0 댓글수 0 2025. 2. 3.
EXAONE 3.0 7.8B 모델의 llamafied과 파인튜닝 EXAONE 3.0 소개: EXAONE 3.0은 LG AI Research에서 개발한 명령 조정 언어 모델로, LLM(대형 언어 모델) 시리즈 중 최초의 개방형 모델로 유명합니다. 78억 개의 매개변수 버전이 연구 및 혁신을 지원하기 위해 공개적으로 출시되었습니다.성능 및 역량: 이 모델은 경쟁력 있는 성능을 보여줍니다. 특히 한국어 작업에서 탁월한 성능을 발휘하는 동시에 일반적인 작업과 복잡한 추론에서도 우수한 성능을 발휘합니다. 언어 기술과 도메인 전문성을 향상하기 위해 대규모 데이터 세트(8조 토큰)에 대한 교육을 받았습니다.모델 아키텍처 및 기능: EXAONE 3.0은 RoPE(Rotary Position Embeddings) 및 GQA(Grouped Query Attention)와 같은 고급 기.. 공감수 1 댓글수 0 2024. 8. 8.
LLM2Vec 디코더 전용 LLM을 텍스트 인코더로 변환하는 방법 LLM2Vec: 디코더 전용 LLM을 텍스트 인코더로 변환하는 방법LLM2Vec은 강력한 텍스트 임베딩을 위해 디코더 전용 대규모 언어 모델(LLM)을 활용하는 새로운 접근 방식을 도입하여 BERT와 같은 기존 인코더 기반 방법과 대조됩니다. 이 백서에서는 텍스트 임베딩 작업에 디코더 전용 모델을 사용하는 방법, 실험 및 그 효과를 입증하는 결과에 대해 설명합니다.기존의 텍스트 임베딩 방법론:인코더 모델(예: BERT)은 입력의 모든 토큰을 동시에 고려하여 양방향 주의를 사용합니다.디코더 모델(예: GPT)은 인과주의를 사용하여 현재 위치까지의 과거 토큰에만 초점을 맞춥니다.디코더 모델 관련 문제: 자동 회귀 특성은 향후 토큰에 주의를 기울일 수 없기 때문에 차선책 임베딩으로 이어집니다.LLM2Vec은 .. 공감수 0 댓글수 0 2024. 8. 8.
LLM 병합 Mergekit을 사용해보자 간단히 툴킷 소개 및 목적:MergeKit은 매개변수를 결합하고 전이 학습의 발전을 활용하여 대규모 언어 모델(LLM)을 병합하도록 설계된 툴킷입니다.이는 광범위한 재교육 없이 오픈 소스 LLM의 기능을 향상하여 치명적인 할루시네이션과 같은 문제를 해결하는 것을 목표로 합니다.병합 기술:Linear Mode Connectivity (LMC):모델 가중치의 선형 평균을 활용합니다.Task Arithmetic: 작업 벡터에 대한 산술 연산을 포함합니다.Permutation Symmetry: 다양한 변환을 사용하여 손실 환경의 공통 영역에 대한 가중치를 조정합니다.고급 기술: Fisher information 매트릭스, RegMean 및 OTFusion(Optimal Transport Fusion)과 같은 방법을 포.. 공감수 0 댓글수 0 2024. 6. 3.
멀티모달 리뷰 qresearch의 llama3-vision-alpha 콜랩 구동 LLM RnD 자료를 찾으러 Note에서 일본 LLM 동향을 검색하고 있었는데 qresearch라는 곳에서 llama3로 vision모델을 만들었다는 글을 보았습니다. 그냥 자기 것이 성능이 우수하다 이런 내용이 아닌 만들어서 코드 리뷰하는 문서 였습니다. 생각보다 유익한 내용인거 같아서 따라 구동 해봤습니다.간단히 코드 구동이 가능합니다. 이 경우에 허깅페이스 레포지토리에서 lama-3-vision-alpha/mm_projector.bin만 들어있는데 그 이외에 파일은 튜닝을 따로 시키지 않은 llama3와 siglip 모델을 사용해서 중간의 projection층을 만들어서 그것만으로 vision 모델을 구현 했다는 것이 놀라웠습니다.import torchfrom PIL import Imagefrom .. 공감수 0 댓글수 0 2024. 5. 9.
Paper 리뷰 Chat Vector 학습된 가중치 매개변수를 더하고 빼는 것으로 사전 학습된 모델에 대화 능력을 부여함. LLM 관련 논문중에 재밌는 것을 발견 했습니다. Llama-3-Open-Ko-8B-Instruct-preview의 README를 보던 중 Chat Vector라는 것을 알게 되었습니다. Chat Vector 학습된 가중치 매개변수를 더하고 빼는 것으로 사전 학습된 모델에 대화 능력을 부여해준다는게 흥미로웠습니다."With applying the idea from Chat Vector paper, I released Instruction model named Llama-3-Open-Ko-8B-Instruct-preview." (https://huggingface.co/beomi/Llama-3-Open-Ko-8B-Instruct-preview) 발췌Chat Vector: A Simple Approach t.. 공감수 0 댓글수 0 2024. 5. 3.
모델 리뷰 Llama 3을 colab에서 실행해보자 Llama 3이란?Llama 3가 공개된지 몇주가 지났지만 드디어 소개드립니다. 그동안 정말 많이 Llama3 가지고 여러 테스트와 파인튜닝 작업을 진행하느라 좀 늦게 가져왔습니다. Llama 3은 현재까지 공개적으로 사용 가능한 가장 능력 있는 LLM(Large Language Model) 중 하나입니다. 이 모델은 현재 8B와 70B의 Base모델과 Instruct 모델이 각각 공개 되어있으며, 추후에 400B 크기의 모델도 공개 예정이라고 합니다. Llama3는 대체로 언어의 다양한 뉘앙스를 이해하며, 번역, 대화 생성 등의 작업에서 뛰어난 성능을 발휘합니다.성능 향상Llama 3은 llama2 이용해서 데이타셋 정제와 생성을 일부 이용해서 확장 가능성과 성능을 더욱 향상시켰습니다. 이제 다단계 작.. 공감수 0 댓글수 0 2024. 5. 3.
모델 리뷰 믹스트랄 8x22B 4bit 구동 해보자 미스트랄 AI가 최신 오픈소스 LLM인 '믹스트랄 8x22B'를 공개했습니다! 😊 이 모델은 메타의 '라마 2 70B'와 오픈AI의 'GPT-3.5'와 비슷한 성능을 자랑해하고 있습니다. 또한, 이 모델은 6만5000개의 토큰 컨텍스트 창과 최대 1760억 개의 매개변수를 가지고 있어서, 이를 위해 '희소 전문가 혼합(SMoE)' 접근 방식을 사용하여 실행 비용과 시간을 크게 줄였습니다. 믹스트랄 8x22B는 220억 개의 매개변수를 가진 8개의 전문 모델로 구성되어 있고, 각 토큰당 2개의 전문 모델을 할당하여 입력을 처리하고 출력을 생성한다고 합니다. 🤖✨ 허깅페이스에 들어가서 모델을 다운 받아 실행할 수 있습니다. H100을 사용할 수 있어서 4bit로 구동 해봤습니다. 4bit지만 속도가 괜찮게 .. 공감수 0 댓글수 0 2024. 4. 16.
모델 리뷰 OLMo Bitnet 1B을 colab에서 실행해보자 요즘 화두에 있는 Bitnet 양자화를 직접 구현했다는 NousResearch의 OLMo-Bitnet-1B을 리뷰해볼 예정입니다. NousResearch에서 제시한 방식으로 실행을 하려고 합니다. 모델 및 실행에 필요한 코드는 레포지토리에 모델과 같이 trust_remote_code=True을 하면 실행 할 수 있습니다. NousResearch에서에서 구현한 BitLinear158 클래스 먼저 살펴 볼 예정입니다. NousResearch에서에서 구현한 BitLinear158 클래스 해당 코드는 PyTorch를 사용하여 비트 정밀도(1.58 비트)로 선형 레이어를 구현하는 것으로 보입니다. 코드의 구성 요소를 살펴보겠습니다: weight_quant 함수: 이 함수는 가중치 텐서를 1.58 비트로 양자화합니.. 공감수 0 댓글수 0 2024. 4. 3.
LLM기반 임베딩 모델, bge 리랭커 모델 'bge-reranker-v2-gemma' 리랭커 모델 소개 이 포스트에서는 'bge-m3'를 기반으로 한 '리랭커' 모델을 살펴보겠습니다. 기존의 '임베딩' 모델과는 달리 '리랭커' 모델은 질문과 문서를 입력으로 받아들이고 유사도를 출력합니다. 다른 임베딩 모델과는 달리, 리랭커는 질문과 문서를 입력으로 사용하며, 임베딩 대신 유사도를 직접 출력합니다. 리랭커는 쿼리와 메시지를 입력으로 받으면 관련성 점수를 계산하며, 이 점수는 시그모이드 함수를 사용하여 [0,1] 범위의 부동 소수점 값으로 매핑될 수 있습니다. 또한, 다국어를 지원하기 위해 BAAI/bge-reranker-v2-m3와 BAAI/bge-reranker-v2-gemma 두 가지 버전이 존재합니다. gemma 버전은 LLM(Large Language Model) 기반의 리랭커 LL.. 공감수 0 댓글수 0 2024. 4. 2.
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits" 논문에서 소개된 방법론이 소개되었습니다. 1비트 LLM(1-bit LLM)은 자연어 처리(NLP) 모델의 성능을 개선하려는 시도 중 하나로, 기존의 32비트나 16비트 LLM과는 다른 접근 방식을 취합니다. 이 모델은 모든 파라미터나 가중치를 -1, 0, 1 중 하나의 값으로 양자화하여 구성됩니다. 이렇게 함으로써, 각 파라미터가 더 적은 비트로 표현되어 전체적인 모델 크기를 줄이고 메모리 사용량을 최적화할 수 있습니다. 1비트 LLM은 절대평균 양자화(absolute mean quantization)라는 특정한 양자화 기법을 사용하여 수치를 양자화합니다. 이 양자화 기법은 평균 값과.. 공감수 0 댓글수 0 2024. 4. 1.
라마 팩토리(LLaMA-Factory)를 통해 LLM 파인 튜닝을 쉽게 LLaMA Factory는 대규모 언어 모델(Large Language Models, LLMs)을 손쉽게 파인 튜닝할 수 있는 프레임워크로 소개됩니다. 이것은 기술적인 이해가 있는 사람이든 없든, 누구에게나 적합합니다. 💡 이 튜토리얼은 어느 정도의 컴퓨팅 파워만 있다면 누구나 LLM 파인 튜닝에 참여할 수 있다는 점을 강조합니다. 💻 이 프레임워크는 다양한 기법인 PPO, DPO, SFT, 리워드 모델링 등을 지원하며, LoRA와 QLoRA 같은 다양한 훈련 방법론도 함께 제공합니다. 📚 LLaMA Factory의 사용 단계를 설명하는 튜토리얼에는 설치, 데이터셋 준비, 모델 선택, 파인 튜닝, 평가, 그리고 훈련된 모델과의 상호작용을 위한 대화 인터페이스 등이 포함됩니다. 🚀🎨📊 라마 팩토리 설치 g.. 공감수 0 댓글수 1 2024. 3. 15.
깃허브 프로젝트 Langchain Prompt Ranking 만들었습니다. GitHub - hypro2/Langchain_Ranking: This project to rank prompts and models using LangChain. 랭체인을 이용한 프롬프트 This project to rank prompts and models using LangChain. 랭체인을 이용한 프롬프트 및 모델의 랭킹을 매기는 프로젝트입니다. - GitHub - hypro2/Langchain_Ranking: This project to rank prompts and models using LangChain. 랭체인을 github.com 이번에는 개인 프로젝트를 만들어 보았습니다. 랭체인을 통해서 LLM의 프롬프트를 평가하는 프로젝트입니다. 이것은 gpt-prompt-engineer의 클론 프.. 공감수 0 댓글수 0 2024. 3. 12.
모델 리뷰 anthropic의 Claude 3 사용 및 API 사용법 모델 리뷰 anthropic의 Claude 3 사용 및 API 사용법 이번에 새로나온 "클로드 3"은 Anthropıc이 개발한 대규모 언어 모델입니다. Anthropic은 인공지능 연구 기업으로 활동 중입니다. OpenAI보다 덜 유명하지만 충분히 강력한 AI를 만들어내는 대단한 기업입니다. 계정 생성 API 키 획득 절차는 다음과 같습니다. "Anthropic" 웹사이트에서 API의 "Get API Access"를 클릭하여 로그인합니다. 처음 사용하는 경우, 계정을 새로 생성합니다. 새로 가입하게 되면 US 5$만큼의 사용량을 무료로 테스트 해볼 수 있습니다. 오늘 저는 새롭게 가입해서 5달러를 무료로 받았습니다. API 키 획득 API키를 얻기위해 Get API keys에 들어가 create key.. 공감수 0 댓글수 0 2024. 3. 6.
모델 리뷰 야놀자 이브이 콜랩구동 후기 야놀자에서 이브이라는 한글 모델을 출시 했습니다. 해당 모델은 라마2를 기반으로 만들어 진 모델이며 한글이 잘되도록 튜닝을 한 모델로 보입니다. 2.8B 모델과 10.8B 모델 두가지고 존재합니다. Solar를 기반으로 튜닝 했는지 10.8이라는 숫자가 눈의 띄네요. 실제적으로 사용 을 해봤습니다. 2.8B 2.8B 정도는 콜랩에서 그냥 돌아 갈 줄 알았습니다. 상당히 15gb에서 아슬아슬하게 돌아가는 모습을 볼 수 있었습니다. from transformers import AutoTokenizer from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("yanolja/EEVE-Korean-Instr.. 공감수 0 댓글수 0 2024. 3. 4.
Ollama windows로 langchain함께 쉽게 Local LLM 실행하기 Ollama는 로컬 LLM을 실행하기 복잡한 과정을 쉽게 줄여주는 프로그램입니다. 이제 Ollama가 Windows에서 미리보기로 제공되며, 이를 통해 최신 모델을 간편하게 테스트할 수 있습니다. Windows용 Ollama는 내장 GPU 가속화, 전체 모델 라이브러리 액세스, 그리고 OpenAI 호환성을 갖추고 있습니다. 이제 사용자들은 최신 모델을 손쉽게 활용할 수 있습니다. Ollama를 사용하기 위해서는 윈도우의 wsl2 설치가 되어있어야됩니다. 간단히 이전에 포스트한 wsl docker 문서를 참조해서 wsl을 설치 하실수 있으실 겁니다. 동시에 docker도 설치해두면 편하겠죠. 윈도우11환경에서 wsl ubuntu에 Nvidia Docker 설치하기 (설치하고 기억나는 대로 기록한거라서 그대.. 공감수 2 댓글수 1 2024. 2. 29.
랭체인 CacheBackedEmbeddings으로 캐시 임베딩 만들기 임베딩은 재계산을 피하기 위해 저장되거나 임시로 캐시될 수 있습니다. 임베딩 캐싱은 CacheBackedEmbeddings를 사용하여 수행할 수 있습니다. 캐시 백드 임베더는 임베딩을 키-값 저장소에 캐시하는 래퍼입니다. 텍스트는 해싱되고 해시가 캐시에서 키로 사용됩니다. CacheBackedEmbeddings를 초기화하는 주요한 방법은 from_bytes_store입니다. 매개변수 underlying_embedder : 임베딩에 사용할 임베더입니다. OpenAIEmbeddings나 HuggingFaceEmbeddings를 사용합니다. document_embedding_cache: 문서 임베딩을 캐싱하기 위한 ByteStore입니다. namespace: (옵션, 기본값은 "") 문서 캐시에 사용할 네임스.. 공감수 0 댓글수 0 2024. 2. 26.
자주쓰지만 기억하지 않는 아나콘다 명령어 기억하기 귀찬아서 매번 검색하는거 레게노 요즘은 도커 써서 콘다를 잘 안쓰게 되네 conda env list conda activate env_name conda deactivate conda create -n env_name python=3.10 conda remove --name env_name --all conda rename -n old_name new_name 공감수 0 댓글수 0 2024. 2. 21.
VmmemWSL 메모리 부족과 초기화 하는 방법 WSL로 프로그램을 실행하다보면 메모리가 가끔 부족할 때가 있고, 쓰지 않을 때도 메모리를 점유하고 있을 때가 있다. 작업관리자에 들어가면 VmmemWSL이라는 프로세스가 많은 메모리를 사용하고 있고, 이것 조차 가끔 부족할 때가 있다. PC의 메모리를 어느 정도까지 쓸건지 .wslconfig를 생성 해주는 것으로 직접 어느 정도의 메모리를 사용할 지 알려줄 수 있다. 그리고 사용하지 않을 때는 wsl를 shutdown 시켜주므로써 메모리를 반환 받을 수 있는 방법에 대해서 기록 할려고한다. WSL의 점유 상태 .wslconfig 파일 생성 %USERPROFILE% 위치에 .wslconfig를 메모장 아래 내용을 입력해주고 만들어주면된다. wslconfig 예시 [wsl2] memory=10GB proc.. 공감수 0 댓글수 0 2024. 2. 21.
랭체인을 이용한 리트리버 검색기 활용 리트리버 검색기를 통해서 쿼리에 참조 하기위한 문서를 빠르면서 정확하게 찾기위한 전략을 여러가지 짤 수 있습니다. LangChain이 제공하는 Retrieval Augmented Generation RAG는 외부 데이터를 검색하고 LLM으로 전달하여 사용자 특정 데이터를 활용하는 방법을 설명합니다. LangChain은 다양한 모듈로 이 과정을 지원하는데, 문서 로더로 다양한 소스에서 문서를 불러오고, 문서 변환기로 문서를 적절히 가공합니다. 또한 텍스트 임베딩 모델을 사용해 문서에 임베딩을 생성하고, 벡터 저장소를 통해 효율적으로 저장하고 검색합니다.검색 알고리즘 또한 다양한 방식으로 구현되어 있어, 쉬운 의미적 검색부터 부모 문서 검색, 셀프 쿼리 검색, 앙상블 검색 등 다양한 방법을 사용할 수 있습니.. 공감수 0 댓글수 1 2024. 2. 16.
랭체인의 LCEL 문법 https://python.langchain.com/docs/expression_language/get_started langChain Expression Language (LCEL)는 체인을 쉽게 구성 할 수있는 선언적인 방법입니다 기본 : 일자식 구성 프롬프트 + 모델 + 출력 파서 chain = prompt | model | output_parser 분기 : RunnableParallel과 RunnablePassThrough를 이용 심화 : 사용자 함수와 함께, Runable하게 구성하기 def format\_docs(docs): backgrounds = \[\] max\_token = 3000 count\_token = 0 for doc in docs: count\_token += len(toke.. 공감수 0 댓글수 0 2024. 2. 15.
Pydantic 데이터 클래스 란? https://docs.pydantic.dev/latest/ pydantic은 이제 안사용하는 곳이 없을 정도로 필수 라이브러리가 되었습니다.데이터 클래스와 자료구조 관리에 필수템이 되어 모든 개발자들이 사용하고 있습니다.랭체인에서는 pydantic한 구조 사용은 적극적으로 권장(거의 필수)하며 거의 모든 부분에서 사용되고 있습니다. pydantic을 사용하는 주요 기업 OpenAI (https://github.com/pydantic/pydantic/discussions/6372) "OpenAI는 ChatCompletions API의 새로운 펑션 콜링 기능에 JSON Schema를 사용하므로, Pydantic 2.0과 함께 작동하도록 JSON Schema 문서를 업데이트 할 예정이 있습니다." 마이크로 .. 공감수 0 댓글수 1 2024. 2. 14.
OpenAI의 Function Calling의 원리를 알아보자 한 3달전에 캐글에 랭체인을 이용한 라마와 펑션콜링에 대한 주제로 글을 쓴게 있는데 1110뷰를 돌파 했습니다. ㅎㅎ OpenAI의 function calling은 출시 됬을 때 chatgpt를 이용한 개발자들에게 혁신적인 인기가 있었습니다. 이번 포스트는 Jsonformer를 통해서 OpenAI의 function calling이 무엇인가? 어떻게 구현 됬는지 알아보려고 합니다. 모델이 구조화된 JSON을 출력하는 것은 문법적으로 올바르고 JSON 구조를 명시하는 스키마를 준수해야 합니다. 이 문제를 해결하는 것은 매우 어려운 작업입니다. 현재 이 문제에 대한 접근 방식은 부서지기 쉽고 오류가 발생하기 쉽습니다. 이는 프롬프트 엔지니어링, 세세한 조정 및 후처리에 의존하지만 여전히 많은 경우에 문법적으로.. 공감수 0 댓글수 1 2024. 2. 13.
멀티모달 리뷰 moondream1 콜랩(colab)으로 실행하기 이번에 가져온 멀티모달은 moondream1 입니다. 이것도 phi와 SigLIP를 사용해서 파라미터를 줄이고, llava dataset으로 튜닝 완료된 데이터 입니다. 지난번의 리뷰한 imp와 유사한 모델입니다. 하지만 사용하는 방법에서 차이가 있고 phi 모델이 1.5인 것과 2의 차이가 존재합니다. 당연히 튜닝 된 정도의 차이가 존재합니다. 1.6B 매개변수 모델은 @vikhyatk가 SigLIP, Phi-1.5 및 LLaVa 훈련 데이터 세트를 사용하여 구축했습니다. 이 모델은 연구 목적으로만 공개되며, 해당 모델은 상업적 사용은 허용되지 않습니다. moondream1은 콜랩에서 사용할때 GPU를 8.5기가 정도 사용하고 있습니다. imp의 8기가보다 조금더 많은 GPU 연산량을 보여줍니다. 해당.. 공감수 0 댓글수 0 2024. 1. 31.
모델 리뷰 멀티모달 MILVLG의 imp-v1-3b 콜랩(colab)에서 실행하기 오늘 모델 리뷰는 멀티 모달 중의 MILVG의 imp입니다. 3b 크기로 상당히 좋은 퀄리티의 멀티 모달 성능을 내고 있습니다. 라바와 비슷한 방식으로 만들어진 거 같고, 이미지 인코더로는 구글의 siglip과 sLLM으로 ms의 phi2가 사용되서 두개 합쳐서 3b 밖에 안되는 크기를 자랑합니다. 양자화가 되지 않은채로 GPU 사용량이 8기가를 넘지 않습니다. 시스템 램 또한 2기가 정도 밖에 되지 않아 가볍게 사용 할 수 있습니다. 개발자의 소개글 https://huggingface.co/MILVLG/imp-v1-3b https://github.com/MILVLG/imp The Imp 프로젝트는 강력한 멀티모달 소형 언어 모델(MSLMs) 패밀리를 제공하는 것을 목표로 합니다. 우리의 imp-v1-3.. 공감수 0 댓글수 0 2024. 1. 30.
모델 리뷰 멀티모달 LLaVA1.5 Colab으 실행하기 오늘은 예전에 llava 1.5에 대해서 잠깐 언급했었던 적이 있는 모델입니다.LLaVA 1.5는 비전 기능을 갖춘 오픈 소스 모델로서 LLaVA는 대규모 언어 모델과 비전 어시스턴트를 결합하는 것을 목표로 하는 오픈 소스 프로젝트입니다.언어와 이미지를 모두 이해할 수 있는 엔드 투 엔드 멀티모달 모델을 만드는 것이 목표입니다. 모델 아키텍처: LLaVA는 사전 훈련된 CLIP 모델을 기반으로 하는 비전 인코더와 대규모 언어 모델(vicuna 13B)을 사용하여 GPT-4의 비전 기능을 모방합니다. 성능 지표: 이 모델은 합성 다중 모드 명령 따르기 데이터세트에서 GPT-4에 비해 85% 점수를 달성하며, 130억 개의 매개변수를 고려할 때 인상적인 성능을 보여줍니다. 설명: LLaVA 프로젝트는 비전 .. 공감수 0 댓글수 1 2024. 1. 26.
모델리뷰 : 일본어 한국어 잘하는 OrionStarAI의 Orion-14B https://github.com/OrionStarAI/Orion 'Orion-14B'는 'OrionStarAI'가 개발한 공개된 소스의 다국어 대규모 언어 모델입니다. 이 모델은 중국어, 영어, 일본어, 한국어를 비롯한 2.5T 다국어 코퍼스에서 학습되었으며, 이 언어들에서 우수한 성능을 보여주고 있습니다. 이 모델은 OrionStarAI 의해 개발되었으며, 베이스 모델은 20B 모델 내에서 종합적인 평가에서 뛰어난 성능을 보입니다. 특히, 일본어와 한국어 테스트에서 탁월한 성과를 거두고 있습니다. 롱채팅 버전은 200k 토큰 길이에서 매우 효과적인 성능을 보여주며, 최대 320k까지 지원 가능합니다. 또한, 양자화 버전은 모델 크기가 70% 감소하고 추론 속도가 30% 향상되었으며, 성능 손실은 1%.. 공감수 1 댓글수 1 2024. 1. 25.
DPO LLM 강화학습법에 대해서 DPO는 RLHF(Reinforcement Learning from Human Feedback)에 의존하지 않고 사용자 선호도 데이터를 직접 사용하여 언어 모델(LM)을 최적화하는 방법입니다. 주요 목표는 고품질 출력을 생성하기 위해 사용자 선호도를 기반으로 언어 모델을 훈련하는 것입니다. DPO는 강화학습 정책(PPO와 같은 것)을 사용하지 않으면서도(reward 모델링 없이) reward 함수와 기존 정책을 연결하여 인간의 선호 데이터에 최적화할 수 있다고 논문에서 설명합니다. 논문에 따르면 RLHF로 finetuning한 모델과 비교했을 때, DPO는 요약, single-turn 문제에서 더 우수한 성능을 보였습니다. DPO의 동기: DPO는 RLHF에 의존하지 않고 코드 생성과 같은 작업을 위한 .. 공감수 0 댓글수 0 2024. 1. 24.
윈도우11환경에서 wsl ubuntu에 Nvidia Docker 설치하기 (설치하고 기억나는 대로 기록한거라서 그대로 따라한다고 될 보장없음) WSL Ubuntu 상에서 도커 설치하기 windows 기능 켜기/끄기 Windows Subsystem for Linux(WSL) 기능을 활성화 Microsoft Store에서 Ubuntu 설치 WSL 전용 NVIDIA 그래픽 드라이버 설치하기 https://developer.nvidia.com/cuda/wsl Ubuntu C드라이브에서 D드라이브로 옮기기 윈도우파워셀 실행 TAR 압축으로 Export 하기 wsl --export Ubuntu-22.04 D:\ubuntu-22-04.tar 기존 Ubuntu 버전 삭제 wsl --unregister Ubuntu-22.04 압축된 TAR Import wsl --import Ubuntu-22.. 공감수 0 댓글수 0 2024. 1. 18.
Efficient Training of Language Models to Fill in the Middle 언어 모델 효과적인 훈련을 위한 중간 부분 채우기 | 논문 리뷰 영상 감상 https://youtu.be/eHrUKmeQEAA?si=TaXBky4q_1uQypJs 요약: 대형 언어 모델 소개: 본 논문에서는 2017년에 소개된 transformer 아키텍처를 기반으로 한 대형 언어 모델의 성공에 대해 논의합니다. 이러한 모델들은 다양한 작업에서 최첨단 성능을 달성하며 읽기 이해, 질문 응답, 논리 추론 및 상식적 추론과 같은 여러 벤치마크에서 우수한 성과를 보입니다. Transformer 기반 언어 모델의 종류: 논문은 언어 모델을 인코더 전용 모델 (예: BERT), 인코더-디코더 모델 (예: T5) 및 인과 디코더 기반 모델 (예: GPT-3)로 세 가지 넓은 범주로 분류합니다. 각 클래스는 대량 언어 모델링, 스팬 예측 또는 왼쪽에서 오른쪽으로 다음 토큰 예측과 같은 다양.. 공감수 0 댓글수 0 2024. 1. 18.

728x90

300x250

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.