본문 바로가기
728x90
300x250

코딩46

라마 팩토리(LLaMA-Factory)를 통해 LLM 파인 튜닝을 쉽게 LLaMA Factory는 대규모 언어 모델(Large Language Models, LLMs)을 손쉽게 파인 튜닝할 수 있는 프레임워크로 소개됩니다. 이것은 기술적인 이해가 있는 사람이든 없든, 누구에게나 적합합니다. 💡 이 튜토리얼은 어느 정도의 컴퓨팅 파워만 있다면 누구나 LLM 파인 튜닝에 참여할 수 있다는 점을 강조합니다. 💻 이 프레임워크는 다양한 기법인 PPO, DPO, SFT, 리워드 모델링 등을 지원하며, LoRA와 QLoRA 같은 다양한 훈련 방법론도 함께 제공합니다. 📚 LLaMA Factory의 사용 단계를 설명하는 튜토리얼에는 설치, 데이터셋 준비, 모델 선택, 파인 튜닝, 평가, 그리고 훈련된 모델과의 상호작용을 위한 대화 인터페이스 등이 포함됩니다. 🚀🎨📊 라마 팩토리 설치 g.. 2024. 3. 15.
깃허브 프로젝트 Langchain Prompt Ranking 만들었습니다. GitHub - hypro2/Langchain_Ranking: This project to rank prompts and models using LangChain. 랭체인을 이용한 프롬프트 This project to rank prompts and models using LangChain. 랭체인을 이용한 프롬프트 및 모델의 랭킹을 매기는 프로젝트입니다. - GitHub - hypro2/Langchain_Ranking: This project to rank prompts and models using LangChain. 랭체인을 github.com 이번에는 개인 프로젝트를 만들어 보았습니다. 랭체인을 통해서 LLM의 프롬프트를 평가하는 프로젝트입니다. 이것은 gpt-prompt-engineer의 클론 프.. 2024. 3. 12.
모델 리뷰 anthropic의 Claude 3 사용 및 API 사용법 모델 리뷰 anthropic의 Claude 3 사용 및 API 사용법 이번에 새로나온 "클로드 3"은 Anthropıc이 개발한 대규모 언어 모델입니다. Anthropic은 인공지능 연구 기업으로 활동 중입니다. OpenAI보다 덜 유명하지만 충분히 강력한 AI를 만들어내는 대단한 기업입니다. 계정 생성 API 키 획득 절차는 다음과 같습니다. "Anthropic" 웹사이트에서 API의 "Get API Access"를 클릭하여 로그인합니다. 처음 사용하는 경우, 계정을 새로 생성합니다. 새로 가입하게 되면 US 5$만큼의 사용량을 무료로 테스트 해볼 수 있습니다. 오늘 저는 새롭게 가입해서 5달러를 무료로 받았습니다. API 키 획득 API키를 얻기위해 Get API keys에 들어가 create key.. 2024. 3. 6.
모델 리뷰 야놀자 이브이 콜랩구동 후기 야놀자에서 이브이라는 한글 모델을 출시 했습니다. 해당 모델은 라마2를 기반으로 만들어 진 모델이며 한글이 잘되도록 튜닝을 한 모델로 보입니다. 2.8B 모델과 10.8B 모델 두가지고 존재합니다. Solar를 기반으로 튜닝 했는지 10.8이라는 숫자가 눈의 띄네요. 실제적으로 사용 을 해봤습니다. 2.8B 2.8B 정도는 콜랩에서 그냥 돌아 갈 줄 알았습니다. 상당히 15gb에서 아슬아슬하게 돌아가는 모습을 볼 수 있었습니다. from transformers import AutoTokenizer from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("yanolja/EEVE-Korean-Instr.. 2024. 3. 4.
728x90
300x250