728x90 300x250 코딩54 LLM이 만든 망가진 JSON, 어떻게 고치지? - json_repair로 해결하기 Prompt Engineering www.kaggle.com 프롬프트 엔지니어링 백서를 보면 마지막쯤에 JSON Repair 파트가 나온다. 대형 언어 모델(LLM)을 활용하다 보면 이런 경험 한 번쯤 해보셨을 겁니다.“JSON 포맷으로 결과를 반환해줘” 라고 요청했는데, 결과는...{ "name": "ChatGPT", "skills": ["NLP", "reasoning" "code writing"] } // 쉼표 어디 갔니?이처럼 괄호가 빠졌거나, 따옴표가 없거나, 아예 사람 말이 들어가 있는 JSON을 마주할 때마다, 하나하나 수작업으로 고치고 계셨다면 이 글이 큰 도움이 될 거예요.🎯 json_repair란?json_repair는 LLM이 만들어낸 유효하지 않은 JSON 문자열을 자동으로 복구해주.. 2025. 4. 14. MCP Langgraph AI 에이전트 아키텍처와 LangChain MCP Adapters의 FastMCP SSE 예제 최근 AI 에이전트를 구축할 때, 다양한 외부 도구를 손쉽게 연결하고 확장할 수 있는 MCP (Model Context Protocol) 아키텍처가 주목받고 있습니다.🧩 MCP란?**MCP(Model Context Protocol)**는 LLM 기반 AI 에이전트가 다양한 외부 도구를 유연하게 호출할 수 있도록 설계된 개방형 프로토콜이며, 여러 기업 및 개발자들이 이를 활용한 프로젝트를 진행 중이다.✔️ MCP의 주요 특징유연한 통신: 다양한 클라이언트/서버 구성에서 사용 가능빠른 도구 연동: 도구를 데코레이터 한 줄로 노출 가능빠른 개발 및 프로토타이핑에 최적낮은 진입 장벽: LangChain Adapter + FastMCP로 바로 시작 가능🧱 아키텍처 구성 개요MCP 시스템은 크게 3가지 요소로 .. 2025. 4. 5. MCP SSE Remote사용하기 최근 AI 업계에서는 모델 컨텍스트 프로토콜(MCP) 이 주요 이슈로 떠오르고 있다. MCP는 애플리케이션이 대형 언어 모델(LLM)에 컨텍스트를 제공하는 방식을 표준화하는 개방형 프로토콜이며, 여러 기업 및 개발자들이 이를 활용한 프로젝트를 진행 중이다.앤트로픽 페이지에서는 MCP를 다음과 같이 정의하고 있다:"모델 컨텍스트 프로토콜 (MCP)는 애플리케이션이 LLM에 컨텍스트를 제공하는 방법을 표준화하는 개방형 프로토콜입니다."MCP는 다양한 방식으로 구현할 수 있으며, uv를 사용하여 STDIO 방식으로 운영할 수도 있지만, 확장성과 유지보수를 고려하면 클라이언트-서버 구조를 구성하는 것이 보다 효율적이다.본 문서에서는 MCP를 리모트 서버에서 실행하고, SSE(Server-Sent Events) .. 2025. 4. 3. gemma3 vllm에서 dtype bfloat16과 float16 빈칸 문제 현재 젬마3가 나와서 구동을 돌려보는데 제대로 안되는 경우가 발생한다. vllm에서 dtype을 float16으로 돌릴때 문제가 나온다.기본적으로 젬마3가 bfloat16으로 학습이 진행됬는데, 콜랩 무료환경에서는 bfloat16이 T4 GPU의 Capability가 7.5이기 때문에 지원을 하지 않는다.vllm에서 최신 버전을 깃허브로 precompied된 버전을 다운받고 transformers를 @v4.49.0-gemma-3을 설치해도 제대로 작동하지 않을 것이다.Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Tesla T4 GPU has compute capability 7.5. You can use .. 2025. 4. 3. 이전 1 2 3 4 ··· 14 다음 728x90 300x250
