본문 바로가기
728x90
300x250

코딩46

윈도우11환경에서 wsl ubuntu에 Nvidia Docker 설치하기 (설치하고 기억나는 대로 기록한거라서 그대로 따라한다고 될 보장없음) WSL Ubuntu 상에서 도커 설치하기 windows 기능 켜기/끄기 Windows Subsystem for Linux(WSL) 기능을 활성화 Microsoft Store에서 Ubuntu 설치 WSL 전용 NVIDIA 그래픽 드라이버 설치하기 https://developer.nvidia.com/cuda/wsl Ubuntu C드라이브에서 D드라이브로 옮기기 윈도우파워셀 실행 TAR 압축으로 Export 하기 wsl --export Ubuntu-22.04 D:\ubuntu-22-04.tar 기존 Ubuntu 버전 삭제 wsl --unregister Ubuntu-22.04 압축된 TAR Import wsl --import Ubuntu-22.. 2024. 1. 18.
Efficient Training of Language Models to Fill in the Middle 언어 모델 효과적인 훈련을 위한 중간 부분 채우기 | 논문 리뷰 영상 감상 https://youtu.be/eHrUKmeQEAA?si=TaXBky4q_1uQypJs 요약: 대형 언어 모델 소개: 본 논문에서는 2017년에 소개된 transformer 아키텍처를 기반으로 한 대형 언어 모델의 성공에 대해 논의합니다. 이러한 모델들은 다양한 작업에서 최첨단 성능을 달성하며 읽기 이해, 질문 응답, 논리 추론 및 상식적 추론과 같은 여러 벤치마크에서 우수한 성과를 보입니다. Transformer 기반 언어 모델의 종류: 논문은 언어 모델을 인코더 전용 모델 (예: BERT), 인코더-디코더 모델 (예: T5) 및 인과 디코더 기반 모델 (예: GPT-3)로 세 가지 넓은 범주로 분류합니다. 각 클래스는 대량 언어 모델링, 스팬 예측 또는 왼쪽에서 오른쪽으로 다음 토큰 예측과 같은 다양.. 2024. 1. 18.
모델 리뷰 : 고퀄리티 애니 이미지 모델 'animagine-xl-3.0' ANIMAGINE XL 3.0 개요: 모델 설명: Animagine XL 3.0은 Animagine XL 2.0을 계승하는 고급 오픈 소스 애니메이션 텍스트-이미지 모델입니다. Cagliostro Research Lab에서 개발한 확산 기반의 텍스트-이미지 생성 모델입니다. Stable Diffusion XL을 사용하여 Cagliostro Research Lab에서 개발했습니다. 🧨 디퓨저 설치: 사용자는 애니매진 XL 3.0을 활용하기 위해 필수 라이브러리(디퓨저, 트랜스포머, 가속, 세이프텐서)를 설치해야 합니다. 사용 지침: 훈련 및 하이퍼파라미터: 2x A100 GPU에서 21일 동안 3단계 훈련을 통해 훈련되었습니다. 학습 중 다양한 하이퍼파라미터 및 구성이 자세히 설명되어 있습니다. 개선 사항.. 2024. 1. 15.
tiktoken 및 cl100k_base을 오프라인에서 사용후기 가끔 프로젝트를 하다보면 tiktoken을 오프라인으로 사용해야될 경우가 필요하다. 주로 캐시파일에 저장되기 때문에 시간이 지난다면 tiktoken이 알아서 새롭게 다운 받으려고 하는데... 이 경우 오프라인 PC에서 사용하게 되거나 제한된 인터넷 환경에서는 좀 귀찬게 된다. 첫번째. tiktoken 파일 다운로드 import tiktoken_ext.openai_public import inspect print(dir(tiktoken_ext.openai_public)) print(inspect.getsource(tiktoken_ext.openai_public.cl100k_base)) # >>> # 이하 생략 def cl100k_base(): mergeable_ranks = load_tiktoken_bpe.. 2024. 1. 15.
728x90
300x250