728x90 300x250 분류 전체보기49 모델 리뷰 anthropic의 Claude 3 사용 및 API 사용법 모델 리뷰 anthropic의 Claude 3 사용 및 API 사용법 이번에 새로나온 "클로드 3"은 Anthropıc이 개발한 대규모 언어 모델입니다. Anthropic은 인공지능 연구 기업으로 활동 중입니다. OpenAI보다 덜 유명하지만 충분히 강력한 AI를 만들어내는 대단한 기업입니다. 계정 생성 API 키 획득 절차는 다음과 같습니다. "Anthropic" 웹사이트에서 API의 "Get API Access"를 클릭하여 로그인합니다. 처음 사용하는 경우, 계정을 새로 생성합니다. 새로 가입하게 되면 US 5$만큼의 사용량을 무료로 테스트 해볼 수 있습니다. 오늘 저는 새롭게 가입해서 5달러를 무료로 받았습니다. API 키 획득 API키를 얻기위해 Get API keys에 들어가 create key.. 2024. 3. 6. 모델 리뷰 야놀자 이브이 콜랩구동 후기 야놀자에서 이브이라는 한글 모델을 출시 했습니다. 해당 모델은 라마2를 기반으로 만들어 진 모델이며 한글이 잘되도록 튜닝을 한 모델로 보입니다. 2.8B 모델과 10.8B 모델 두가지고 존재합니다. Solar를 기반으로 튜닝 했는지 10.8이라는 숫자가 눈의 띄네요. 실제적으로 사용 을 해봤습니다. 2.8B 2.8B 정도는 콜랩에서 그냥 돌아 갈 줄 알았습니다. 상당히 15gb에서 아슬아슬하게 돌아가는 모습을 볼 수 있었습니다. from transformers import AutoTokenizer from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("yanolja/EEVE-Korean-Instr.. 2024. 3. 4. Ollama windows로 langchain함께 쉽게 Local LLM 실행하기 Ollama는 로컬 LLM을 실행하기 복잡한 과정을 쉽게 줄여주는 프로그램입니다. 이제 Ollama가 Windows에서 미리보기로 제공되며, 이를 통해 최신 모델을 간편하게 테스트할 수 있습니다. Windows용 Ollama는 내장 GPU 가속화, 전체 모델 라이브러리 액세스, 그리고 OpenAI 호환성을 갖추고 있습니다. 이제 사용자들은 최신 모델을 손쉽게 활용할 수 있습니다. Ollama를 사용하기 위해서는 윈도우의 wsl2 설치가 되어있어야됩니다. 간단히 이전에 포스트한 wsl docker 문서를 참조해서 wsl을 설치 하실수 있으실 겁니다. 동시에 docker도 설치해두면 편하겠죠. 윈도우11환경에서 wsl ubuntu에 Nvidia Docker 설치하기 (설치하고 기억나는 대로 기록한거라서 그대.. 2024. 2. 29. 랭체인 CacheBackedEmbeddings으로 캐시 임베딩 만들기 임베딩은 재계산을 피하기 위해 저장되거나 임시로 캐시될 수 있습니다. 임베딩 캐싱은 CacheBackedEmbeddings를 사용하여 수행할 수 있습니다. 캐시 백드 임베더는 임베딩을 키-값 저장소에 캐시하는 래퍼입니다. 텍스트는 해싱되고 해시가 캐시에서 키로 사용됩니다. CacheBackedEmbeddings를 초기화하는 주요한 방법은 from_bytes_store입니다. 매개변수 underlying_embedder : 임베딩에 사용할 임베더입니다. OpenAIEmbeddings나 HuggingFaceEmbeddings를 사용합니다. document_embedding_cache: 문서 임베딩을 캐싱하기 위한 ByteStore입니다. namespace: (옵션, 기본값은 "") 문서 캐시에 사용할 네임스.. 2024. 2. 26. 이전 1 2 3 4 5 6 7 ··· 13 다음 728x90 300x250
