728x90 300x250 코딩55 VmmemWSL 메모리 부족과 초기화 하는 방법 WSL로 프로그램을 실행하다보면 메모리가 가끔 부족할 때가 있고, 쓰지 않을 때도 메모리를 점유하고 있을 때가 있다. 작업관리자에 들어가면 VmmemWSL이라는 프로세스가 많은 메모리를 사용하고 있고, 이것 조차 가끔 부족할 때가 있다. PC의 메모리를 어느 정도까지 쓸건지 .wslconfig를 생성 해주는 것으로 직접 어느 정도의 메모리를 사용할 지 알려줄 수 있다. 그리고 사용하지 않을 때는 wsl를 shutdown 시켜주므로써 메모리를 반환 받을 수 있는 방법에 대해서 기록 할려고한다. WSL의 점유 상태 .wslconfig 파일 생성 %USERPROFILE% 위치에 .wslconfig를 메모장 아래 내용을 입력해주고 만들어주면된다. wslconfig 예시 [wsl2] memory=10GB proc.. 2024. 2. 21. 랭체인을 이용한 리트리버 검색기 활용 리트리버 검색기를 통해서 쿼리에 참조 하기위한 문서를 빠르면서 정확하게 찾기위한 전략을 여러가지 짤 수 있습니다. LangChain이 제공하는 Retrieval Augmented Generation RAG는 외부 데이터를 검색하고 LLM으로 전달하여 사용자 특정 데이터를 활용하는 방법을 설명합니다. LangChain은 다양한 모듈로 이 과정을 지원하는데, 문서 로더로 다양한 소스에서 문서를 불러오고, 문서 변환기로 문서를 적절히 가공합니다. 또한 텍스트 임베딩 모델을 사용해 문서에 임베딩을 생성하고, 벡터 저장소를 통해 효율적으로 저장하고 검색합니다.검색 알고리즘 또한 다양한 방식으로 구현되어 있어, 쉬운 의미적 검색부터 부모 문서 검색, 셀프 쿼리 검색, 앙상블 검색 등 다양한 방법을 사용할 수 있습니.. 2024. 2. 16. 랭체인의 LCEL 문법 https://python.langchain.com/docs/expression_language/get_started langChain Expression Language (LCEL)는 체인을 쉽게 구성 할 수있는 선언적인 방법입니다 기본 : 일자식 구성 프롬프트 + 모델 + 출력 파서 chain = prompt | model | output_parser 분기 : RunnableParallel과 RunnablePassThrough를 이용 심화 : 사용자 함수와 함께, Runable하게 구성하기 def format\_docs(docs): backgrounds = \[\] max\_token = 3000 count\_token = 0 for doc in docs: count\_token += len(toke.. 2024. 2. 15. OpenAI의 Function Calling의 원리를 알아보자 한 3달전에 캐글에 랭체인을 이용한 라마와 펑션콜링에 대한 주제로 글을 쓴게 있는데 1110뷰를 돌파 했습니다. ㅎㅎ OpenAI의 function calling은 출시 됬을 때 chatgpt를 이용한 개발자들에게 혁신적인 인기가 있었습니다. 이번 포스트는 Jsonformer를 통해서 OpenAI의 function calling이 무엇인가? 어떻게 구현 됬는지 알아보려고 합니다. 모델이 구조화된 JSON을 출력하는 것은 문법적으로 올바르고 JSON 구조를 명시하는 스키마를 준수해야 합니다. 이 문제를 해결하는 것은 매우 어려운 작업입니다. 현재 이 문제에 대한 접근 방식은 부서지기 쉽고 오류가 발생하기 쉽습니다. 이는 프롬프트 엔지니어링, 세세한 조정 및 후처리에 의존하지만 여전히 많은 경우에 문법적으로.. 2024. 2. 13. 이전 1 ··· 4 5 6 7 8 9 10 ··· 14 다음 728x90 300x250
