728x90 300x250 OpenAI2 랭체인 CacheBackedEmbeddings으로 캐시 임베딩 만들기 임베딩은 재계산을 피하기 위해 저장되거나 임시로 캐시될 수 있습니다. 임베딩 캐싱은 CacheBackedEmbeddings를 사용하여 수행할 수 있습니다. 캐시 백드 임베더는 임베딩을 키-값 저장소에 캐시하는 래퍼입니다. 텍스트는 해싱되고 해시가 캐시에서 키로 사용됩니다. CacheBackedEmbeddings를 초기화하는 주요한 방법은 from_bytes_store입니다. 매개변수 underlying_embedder : 임베딩에 사용할 임베더입니다. OpenAIEmbeddings나 HuggingFaceEmbeddings를 사용합니다. document_embedding_cache: 문서 임베딩을 캐싱하기 위한 ByteStore입니다. namespace: (옵션, 기본값은 "") 문서 캐시에 사용할 네임스.. 2024. 2. 26. SSE(서버-사이드 이벤트)를 이용한 Flask 스트리밍 실시간 챗봇을 위한 연습 연습용 자료 첫번째는 오늘 하던 것 간단히 구현해서 업무에 적용시킬 프로젝트에 넣기위해 테스트 겸 만든 코드 SSE(서버-사이드 이벤트)는 클라이언트와 서버 간의 실시간 통신을 위한 웹 기술 중 하나다. SSE는 단방향 통신을 제공하며, 서버에서 클라이언트로 실시간 업데이트를 보낼 수 있는 간단한 방법을 제공함. 주로 웹 애플리케이션에서 서버로부터 실시간 이벤트나 업데이트를 받아와서 사용자에게 동적인 콘텐츠를 표시하는 데 사용함. from threading import Thread import openai from flask import Flask, Response, render_template from transformers import AutoTokenizer, AutoModelForCausalLM,.. 2023. 8. 14. 이전 1 다음 728x90 300x250