728x90 300x250 전체 글47 Ollama windows로 langchain함께 쉽게 Local LLM 실행하기 Ollama는 로컬 LLM을 실행하기 복잡한 과정을 쉽게 줄여주는 프로그램입니다. 이제 Ollama가 Windows에서 미리보기로 제공되며, 이를 통해 최신 모델을 간편하게 테스트할 수 있습니다. Windows용 Ollama는 내장 GPU 가속화, 전체 모델 라이브러리 액세스, 그리고 OpenAI 호환성을 갖추고 있습니다. 이제 사용자들은 최신 모델을 손쉽게 활용할 수 있습니다. Ollama를 사용하기 위해서는 윈도우의 wsl2 설치가 되어있어야됩니다. 간단히 이전에 포스트한 wsl docker 문서를 참조해서 wsl을 설치 하실수 있으실 겁니다. 동시에 docker도 설치해두면 편하겠죠. 윈도우11환경에서 wsl ubuntu에 Nvidia Docker 설치하기 (설치하고 기억나는 대로 기록한거라서 그대.. 2024. 2. 29. 랭체인 CacheBackedEmbeddings으로 캐시 임베딩 만들기 임베딩은 재계산을 피하기 위해 저장되거나 임시로 캐시될 수 있습니다. 임베딩 캐싱은 CacheBackedEmbeddings를 사용하여 수행할 수 있습니다. 캐시 백드 임베더는 임베딩을 키-값 저장소에 캐시하는 래퍼입니다. 텍스트는 해싱되고 해시가 캐시에서 키로 사용됩니다. CacheBackedEmbeddings를 초기화하는 주요한 방법은 from_bytes_store입니다. 매개변수 underlying_embedder : 임베딩에 사용할 임베더입니다. OpenAIEmbeddings나 HuggingFaceEmbeddings를 사용합니다. document_embedding_cache: 문서 임베딩을 캐싱하기 위한 ByteStore입니다. namespace: (옵션, 기본값은 "") 문서 캐시에 사용할 네임스.. 2024. 2. 26. 자주쓰지만 기억하지 않는 아나콘다 명령어 기억하기 귀찬아서 매번 검색하는거 레게노 요즘은 도커 써서 콘다를 잘 안쓰게 되네 conda env list conda activate env_name conda deactivate conda create -n env_name python=3.10 conda remove --name env_name --all conda rename -n old_name new_name 2024. 2. 21. VmmemWSL 메모리 부족과 초기화 하는 방법 WSL로 프로그램을 실행하다보면 메모리가 가끔 부족할 때가 있고, 쓰지 않을 때도 메모리를 점유하고 있을 때가 있다. 작업관리자에 들어가면 VmmemWSL이라는 프로세스가 많은 메모리를 사용하고 있고, 이것 조차 가끔 부족할 때가 있다. PC의 메모리를 어느 정도까지 쓸건지 .wslconfig를 생성 해주는 것으로 직접 어느 정도의 메모리를 사용할 지 알려줄 수 있다. 그리고 사용하지 않을 때는 wsl를 shutdown 시켜주므로써 메모리를 반환 받을 수 있는 방법에 대해서 기록 할려고한다. WSL의 점유 상태 .wslconfig 파일 생성 %USERPROFILE% 위치에 .wslconfig를 메모장 아래 내용을 입력해주고 만들어주면된다. wslconfig 예시 [wsl2] memory=10GB proc.. 2024. 2. 21. 이전 1 2 3 4 5 6 7 ··· 12 다음 728x90 300x250
