전체 글67 파이썬 로깅을 (놀랍도록) 단순하게 만드는 Loguru 가이드 Loguru는 파이썬의 기본 logging 모듈이 가진 복잡한 설정을 피하고, 오직 하나의 logger 객체만으로 강력하고 직관적인 로깅을 제공하는 라이브러리입니다.기존 파이썬 로깅의 Handler, Formatter, Filter 설정으로 피곤하셨다면, Loguru 하나로 모든 것을 깔끔하게 해결할 수 있어 많은 개발자들에게 사랑받고 있습니다.초기 설정 및 기본 형태Loguru의 핵심 철학은 불필요한 보일러플레이트 코드를 없애는 것입니다. 복잡한 초기 설정 없이도 곧바로 예쁘게 색상이 입혀진 로그를 터미널에서 확인할 수 있습니다.패키지 설치 및 기본 활용간단하게 pip install loguru를 통해 설치한 뒤, 복잡한 인스턴스화 없이 logger를 가져와 바로 사용할 수 있습니다.from logur.. 2026. 3. 24. Docker를 활용한 Ollama 모델 서빙 가이드 (feat. Qwen3.5) Ollama는 Docker 컨테이너 환경에서도 구동 가능하며, 이를 통해 운영체제에 종속되지 않고 일관된 로컬 LLM 환경을 구축할 수 있습니다.호스트 시스템 환경을 깔끔하게 유지하면서도 손쉽게 대규모 언어 모델을 서빙하고 관리할 수 있어 많은 개발 환경에서 선호되는 방식입니다.Docker Compose 환경 설정Ollama를 컨테이너로 실행할 때, 로컬에 저장되는 모델 데이터의 영속성을 유지하고 호스트의 GPU를 활용하여 추론 속도를 높일 수 있습니다. 아래의 docker-compose.yml 파일을 작성하여 컨테이너를 쉽게 구성할 수 있습니다.docker-compose.yml 파일 구성공식 도커 이미지(ollama/ollama:latest)를 사용하며, NVIDIA GPU의 가속을 활용할 수 있도록 .. 2026. 3. 22. 로컬 LLM 실행 및 관리를 위한 Ollama 가이드 Ollama는 복잡한 설정 없이 로컬 환경에서 대규모 언어 모델(LLM)을 손쉽게 실행하고 관리할 수 있도록 도와주는 오픈소스 도구입니다.다양한 오픈소스 모델을 지원하며, 사용자의 시스템 리소스에 맞게 최적화된 실행 환경을 제공합니다.운영체제별 설치 방법Ollama는 macOS, Windows, Linux 등 다양한 운영체제를 폭넓게 지원합니다. 각 시스템 환경에 맞는 방법을 통해 설치할 수 있습니다.macOS 환경macOS 11 Big Sur 이상의 환경에서 실행 가능하며, Apple Silicon(M1/M2/M3) 및 Intel 프로세서를 모두 지원합니다.공식 홈페이지에서 Ollama-darwin.zip 파일을 다운로드하여 압축을 풀고 애플리케이션에 추가한 후 실행합니다.또는 Homebrewbrew .. 2026. 3. 21. vLLM 기반 Qwen3.5 서빙 가이드 Qwen3.5 모델을 강력한 LLM 추론 엔진인 vLLM을 이용해 효율적으로 서빙(Serving)하는 방법을 정리합니다.최적의 메모리 효율성과 성능을 위해 공식 FP8 체크포인트(Qwen/Qwen3.5-397B-A17B-FP8) 사용을 권장합니다.Docker를 이용한 vLLM 실행가장 보편적인 방법은 vLLM에서 공식적으로 제공하는 Docker 이미지를 사용하는 것입니다.NVIDIA GPU 환경# vllm-openai:0.17.1docker run --gpus all \\\\ -p 8000:8000 \\\\ --ipc=host \\\\ -v ~/.cache/huggingface:/root/.cache/huggingface \\\\ vllm/vllm-openai Qwen/Qwen3.5-397B-A1.. 2026. 3. 20. mkcert: 로컬 개발 환경에서 신뢰할 수 있는 인증서 설정 mkcert는 로컬 개발 환경에서 신뢰할 수 있는 인증서를 설정 없이(zero-config) 간단하게 생성해 주는 도구입니다.주로 로컬에서 https 환경을 테스트하거나, localhost와 같은 로컬 주소에 대해 브라우저 경고 없이 안전하게 통신하기 위해 사용됩니다.왜 mkcert가 필요한가로컬 환경(예: localhost, 127.0.0.1 등)에서 개발할 때, 실제 인증 기관(CA)에서 발급한 인증서를 사용하는 것은 불가능하거나 보안상 위험할 수 있습니다. 기존에 많이 쓰던 자체 서명 인증서(Self-signed certificate)를 사용하면 브라우저에서 '신뢰할 수 없는 인증서' 경고(보안 오류)를 필연적으로 마주치게 됩니다.이 문제를 근본적으로 해결하려면 개발자 스스로 로컬 CA(인증 기관).. 2026. 3. 19. mac에서 qwen3.5 vllm-metal로 서빙하기 Mac에서도 vLLM을 돌린다: vllm-metal대형 언어 모델(LLM)을 로컬에서 고성능으로 서빙하려고 할 때, 대부분의 개발자는 자연스럽게 NVIDIA GPU와 CUDA 환경을 떠올립니다. 실제로 지금까지의 생태계는 그쪽에 강하게 최적화되어 있었기 때문입니다.하지만 Apple Silicon 기반 Mac을 사용하는 개발자라면 한 번쯤 고민을 해봤을 겁니다.“내 Mac으로는 제대로 된 LLM 서버를 못 돌리는 걸까?”이 질문에 대한 가장 현실적인 해답 중 하나가 바로 vllm-metal입니다.왜 vllm-metal이 필요했나먼저 배경을 이해해야 합니다.vLLM은 고성능 LLM 추론 엔진으로, 다음과 같은 특징을 갖습니다:높은 처리량 (throughput)효율적인 KV 캐시 관리 (PagedAttenti.. 2026. 3. 18. 이전 1 2 3 4 ··· 12 다음
