로컬 LLM 완전 입문 - Ollama 설치부터 PC·서버 사양, 모델별 비교까지 (내 컴퓨터에서 AI 돌리기)

2026-10-20 06:45 · IT기술 · 조회 20

로컬 LLM 입문

ChatGPT나 Claude 같은 AI는 편하지만 내 질문이 전부 남의 서버로 전송되고, 사용량이 많으면 요금이 나옵니다. 그런데 요즘은 내 PC나 서버에 AI 모델을 직접 설치해서 인터넷 없이, 무료로 돌릴 수 있습니다. 이것이 로컬 LLM입니다.

이 글은 "로컬 LLM이 뭔지, 어떤 사양이 필요한지, Ollama로 어떻게 설치하고, 어떤 모델을 골라야 하는지"를 처음부터 끝까지 정리한 입문 가이드입니다. 모델 용량·사양은 대략적인 기준값이며, 모델과 Ollama 버전은 빠르게 바뀌므로 최종 확인은 Ollama 모델 라이브러리에서 해 주세요(2026년 10월 기준으로 작성).

로컬 LLM이란? 장단점
LLM 용어 쉽게 정리 (파라미터, 양자화, VRAM, 컨텍스트)
필요한 사양 - 핵심은 '메모리'
사양별 추천 구성 한눈에 보기
Ollama 설치하기 (Windows / Mac / Linux / Docker)
첫 모델 실행과 필수 명령어
모델별 비교 - 뭘 받아야 할까
웹 화면(Open WebUI) 붙이기
API로 내 프로그램에서 쓰기
서버에서 24시간 돌리기 (외부 접속 설정과 보안)
속도·메모리 튜닝
자주 막히는 문제
용도별 추천 & 마무리 체크리스트

1. 로컬 LLM이란? 장단점

LLM(대규모 언어모델)을 클라우드가 아니라 내 기기에서 직접 실행하는 것입니다. 모델 파일(수 GB~수십 GB)을 내려받아 두면 인터넷이 끊겨도 동작합니다.

장점

프라이버시 - 회사 문서, 개인 일기, 소스코드가 밖으로 나가지 않습니다.
비용 - 모델도 Ollama도 무료. 전기료와 하드웨어 비용만 듭니다.
횟수 제한 없음 - 자동화 스크립트로 수천 번 호출해도 과금이 없습니다.
자유도 - 모델 교체, 시스템 프롬프트 고정, 내 데이터로 RAG 구성 등 마음대로.
오프라인 사용 가능.

단점 (솔직하게)

성능 격차 - 일반 PC에서 돌리는 모델(~30B)은 최신 클라우드 대형 모델보다 복잡한 추론·긴 코딩 작업에서 확실히 약합니다.
하드웨어 부담 - 큰 모델일수록 메모리가 많이 필요하고, GPU가 없으면 느립니다.
직접 관리 - 업데이트, 모델 선택, 설정을 스스로 해야 합니다.
한국어 품질 편차 - 작은 모델은 한국어가 어색하거나 틀린 정보를 자신 있게 말합니다(환각).

결론부터: "클라우드 AI를 완전히 대체"가 아니라 "민감한 내용 처리, 대량 자동화, 학습·실험"에 쓰는 보조 도구로 생각하면 만족도가 높습니다.

2. LLM 용어 쉽게 정리

파라미터(B) - 모델의 크기. 8B = 80억 개. 보통 클수록 똑똑하지만 무겁습니다. 모델 이름의 8b, 14b, 70b가 이 숫자입니다.
양자화(Quantization) - 모델의 숫자 정밀도를 낮춰 용량을 줄이는 기술. 원본(16비트)을 4비트로 줄이면 용량이 약 1/4이 되고 품질 손실은 비교적 작습니다. Ollama 기본 모델은 대부분 Q4_K_M(4비트급)입니다. Q8은 정확하지만 2배 무겁고, Q2~Q3는 가볍지만 품질이 눈에 띄게 떨어집니다.
VRAM - 그래픽카드(GPU) 전용 메모리. 모델이 VRAM에 다 들어가면 매우 빠르고, 넘치면 일부가 일반 RAM으로 넘어가 속도가 급락합니다.
토큰/초 (tok/s) - 답변 생성 속도. 사람이 읽는 속도가 대략 5~10 tok/s라 10 tok/s 이상이면 쾌적, 3~5면 답답합니다.
컨텍스트 길이 - 한 번에 기억하는 대화·문서의 길이(토큰). 길게 잡을수록 KV 캐시라는 추가 메모리를 더 씁니다.
MoE(전문가 혼합) - 전체 파라미터는 큰데 실제로 쓰는(활성) 파라미터는 일부인 구조. 예: qwen3:30b는 총 30B이지만 토큰당 약 3B만 계산해서 30B급 지식을 작은 모델 속도로 냅니다. 대신 메모리에는 전체가 올라가야 합니다.
Dense(밀집) 모델 - 모든 파라미터를 매번 계산. 같은 크기면 MoE보다 느립니다.

3. 필요한 사양 - 핵심은 '메모리'

로컬 LLM 사양의 90%는 이 한 문장으로 정리됩니다. "모델이 통째로 들어갈 메모리가 있는가, 그리고 그 메모리가 얼마나 빠른가."

메모리 용량 계산 공식 (어림값)

필요 메모리 ≈ 파라미터(B) × 0.6 GB  (Q4 기준)  + 컨텍스트용 1~4GB

예)  8B  → 약 5GB  + 여유  = 6~8GB
    14B → 약 9GB  + 여유  = 10~12GB
    32B → 약 20GB + 여유  = 22~24GB
    70B → 약 42GB + 여유  = 45~48GB

GPU(그래픽카드) - 가장 중요

LLM 속도는 계산 능력보다 메모리 대역폭에 좌우됩니다. 토큰 하나를 만들 때마다 모델 전체를 메모리에서 읽기 때문입니다. 그래서 대역폭이 높은 GPU의 VRAM에 모델이 올라가면 CPU보다 5~20배 빠릅니다.

NVIDIA - 가장 호환성이 좋고 무난합니다(CUDA). 첫 선택지.
AMD - Ollama가 ROCm으로 지원하지만 지원 모델 GPU 목록을 먼저 확인해야 합니다.
Apple Silicon (M1~M4) - CPU와 GPU가 메모리를 공유(통합 메모리)해서 64GB·128GB 맥이면 큰 모델도 올라갑니다. 가성비 좋은 입문·중급 선택지로 인기입니다.
VRAM이 곧 한계 - RTX 3060 12GB, 4060 Ti 16GB, 3090/4090 24GB, 5090 32GB(데스크톱). 참고로 노트북용 5090은 VRAM이 24GB급이라 데스크톱과 다릅니다. 같은 이름이라도 꼭 VRAM을 확인하세요.

CPU만으로도 가능한가?

가능합니다. 다만 속도는 RAM 대역폭이 결정합니다. 대략 "대역폭(GB/s) ÷ 모델 크기(GB) ≈ 최대 tok/s"로 어림할 수 있습니다. 일반 데스크톱의 듀얼채널 DDR4는 약 40~50GB/s, DDR5는 약 70~90GB/s이므로 5GB짜리 8B 모델이 DDR4에서 대략 5~8 tok/s 정도 나옵니다. 쓸 만하지만 빠르진 않습니다. 이때 MoE 모델(활성 파라미터가 작은 모델)이 CPU에서 특히 유리합니다.

RAM / 저장공간 / 기타

RAM - GPU가 있어도 최소 16GB, 큰 모델을 CPU로 넘겨 돌릴 거면 32~64GB 이상.
저장공간 - 모델 하나가 5~40GB. 여러 개 받으면 금방 100GB를 넘으니 SSD 여유 100GB 이상 권장. 첫 로딩도 SSD가 훨씬 빠릅니다.
전원/발열 - 생성 중에는 GPU가 풀로드로 돌아 전력과 소음이 큽니다. 서버로 24시간 켜 둘 땐 대기 전력(유휴)도 확인하세요.
CPU 코어 - GPU 구동 시엔 크게 중요하지 않습니다.

4. 사양별 추천 구성 한눈에 보기

아래는 "이 정도 사양이면 이 정도 모델이 쾌적하다"는 어림 기준입니다(Q4 양자화, 짧은~중간 컨텍스트 기준).

① 노트북 / 저사양 (GPU 없음, RAM 8~16GB) - 1B~4B 모델. 간단한 요약·번역·질문. 예: qwen3:4b, gemma3:4b, llama3.2:3b. 속도는 CPU 의존이라 3~10 tok/s.
② 보급형 GPU (VRAM 8GB, 예: RTX 3060 Ti/4060) - 7~8B 모델이 쾌적. 예: qwen3:8b, llama3.1:8b. 가장 입문하기 좋은 구간.
③ 중급 GPU (VRAM 12~16GB, 예: RTX 3060 12GB, 4060 Ti 16GB) - 12~14B 모델. gemma3:12b, qwen3:14b, phi4. 16GB면 gpt-oss:20b도 노려볼 만합니다.
④ 고급 GPU (VRAM 24GB, 예: RTX 3090/4090, 노트북 5090) - 27~32B 모델. qwen3:32b, gemma3:27b, qwen3:30b(MoE). 개인이 로컬로 쓸 수 있는 '품질 체감이 확 오르는' 구간.
⑤ 최상급 (VRAM 32GB 이상 또는 메모리 64~128GB 맥/서버) - 70B급 및 gpt-oss:120b 같은 대형. GPU 여러 장이나 통합 메모리 대용량 맥이 필요.
⑥ GPU 없는 서버 (RAM 32~64GB) - 속도는 느려도 MoE 모델(qwen3:30b 등)을 돌릴 수 있어 '24시간 켜 두는 배치 처리용'으로 쓸 만합니다.

5. Ollama 설치하기

Ollama는 로컬 LLM 실행을 명령 한 줄로 만들어 주는 도구입니다. 모델 다운로드, GPU 감지, 실행, API 서버(포트 11434)까지 알아서 해 줍니다. 처음 시작한다면 가장 쉬운 선택입니다.

Windows

ollama.com/download에서 Windows용 설치 파일(OllamaSetup.exe)을 받습니다.
실행해서 설치하면 백그라운드로 자동 실행됩니다(작업표시줄 트레이에 아이콘).
PowerShell 또는 명령 프롬프트를 열어 ollama --version으로 확인합니다.
NVIDIA 드라이버가 최신인지 확인하세요. 오래된 드라이버가 GPU 인식 실패의 흔한 원인입니다.

macOS

같은 다운로드 페이지에서 앱을 받아 Applications로 옮겨 실행합니다. Apple Silicon은 별도 설정 없이 GPU(Metal)를 자동 사용합니다.

Linux

curl -fsSL https://ollama.com/install.sh | sh

# 설치 확인 / 서비스 상태
ollama --version
systemctl status ollama

설치 스크립트가 systemd 서비스로 등록해 부팅 시 자동 실행됩니다. 외부 스크립트를 바로 실행(| sh)하는 방식이 꺼려지면 스크립트를 먼저 받아서 내용을 읽어본 뒤 실행하세요.

curl -fsSL https://ollama.com/install.sh -o install.sh
less install.sh      # 내용 확인
sh install.sh

Docker

# CPU만
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# NVIDIA GPU (NVIDIA Container Toolkit 설치 필요)
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# 컨테이너 안에서 모델 실행
docker exec -it ollama ollama run qwen3:8b

모델은 ollama 볼륨에 저장되므로 컨테이너를 지워도 유지됩니다. 쿠버네티스(k3s)에서는 같은 이미지를 Deployment로 올리고 모델 경로에 PVC를 붙이면 됩니다.

6. 첫 모델 실행과 필수 명령어

ollama run qwen3:8b

처음 실행하면 모델(약 5GB)을 내려받은 뒤 바로 대화 프롬프트(>>>)가 뜹니다. 한국어로 질문해 보세요. 종료는 /bye입니다.

자주 쓰는 명령어

ollama pull gemma3:12b     # 모델 내려받기만 (실행은 안 함)
ollama run gemma3:12b      # 실행 (없으면 자동 다운로드)
ollama list                # 설치된 모델 목록과 용량
ollama ps                  # 지금 메모리에 올라가 있는 모델, GPU/CPU 사용 비율
ollama show qwen3:8b       # 모델 정보 (파라미터, 양자화, 컨텍스트 길이)
ollama stop qwen3:8b       # 메모리에서 내리기
ollama rm gemma3:12b       # 모델 삭제
ollama cp qwen3:8b my-qwen # 복사 (이름 변경용)

가장 중요한 확인: ollama ps의 PROCESSOR 열입니다. 100% GPU면 정상, 40%/60% CPU/GPU처럼 나뉘어 있으면 모델이 VRAM을 넘쳐 일부가 CPU로 돌고 있다는 뜻이라 느린 이유가 됩니다. 이때는 더 작은 모델이나 더 낮은 양자화를 선택하세요.

채팅 중 유용한 슬래시 명령

>>> /set parameter num_ctx 8192      컨텍스트 길이 변경
>>> /set system 너는 친절한 한국어 선생님이다.   시스템 프롬프트 지정
>>> /show info                       현재 모델 정보
>>> /clear                           대화 기록 지우기
>>> /bye                             종료
>>> """여러 줄 입력"""         따옴표 세 개로 여러 줄 붙여넣기

태그(크기·양자화) 고르는 법

ollama run qwen3           # 태그 생략 = 기본(보통 중간 크기, Q4)
ollama run qwen3:4b        # 크기 지정
ollama run qwen3:8b-q8_0   # 양자화 지정 (정밀도 높음, 용량 2배)

사용 가능한 태그는 각 모델 페이지(ollama.com/library/모델명)의 Tags에서 확인합니다. 가능하면 크기를 명시하는 습관을 들이세요. 기본값이 생각보다 클 수 있습니다.

7. 모델별 비교 - 뭘 받아야 할까

모델은 계속 새로 나옵니다. 아래는 Ollama 라이브러리에서 널리 쓰이는 계열의 특징 비교이며, 용량은 Q4 기준 어림값입니다. 실제 수치는 모델 페이지에서 확인하세요.

Qwen3 (알리바바) - 한국어·다용도 1순위 후보

크기: 0.6b / 1.7b / 4b / 8b / 14b / 32b / 30b(MoE, 활성 약 3B) / 235b(MoE)
용량 어림: 4b ≈ 2.5GB, 8b ≈ 5GB, 14b ≈ 9GB, 32b ≈ 20GB, 30b ≈ 19GB
특징: 다국어(한국어 포함), 도구 호출(에이전트), 추론 모드 지원. 생각(thinking) 모드를 켜면 더 정확하지만 답이 느려집니다.
추천: 한국어를 주로 쓴다면 가장 먼저 시도할 계열. 메모리가 넉넉하면 qwen3:30b가 속도 대비 품질이 좋습니다.

Gemma 3 (구글)

크기: 1b / 4b / 12b / 27b
용량 어림: 4b ≈ 3.3GB, 12b ≈ 8GB, 27b ≈ 17GB
특징: 다국어 품질이 좋고 글쓰기 문체가 자연스러운 편. 4b 이상은 이미지 입력(멀티모달)도 지원.
추천: 번역·글 다듬기·이미지 설명. 작은 사양에서 4b/12b가 가성비 좋음.

Llama 3.x (메타)

크기: 3.2의 1b·3b, 3.1의 8b, 3.3의 70b 등
특징: 가장 널리 쓰이는 영어 중심 범용 모델, 자료와 예제가 많음. 한국어는 Qwen·Gemma보다 약한 편.
추천: 영어 작업, 튜토리얼 따라하기, 파인튜닝 실험.

gpt-oss (OpenAI 공개 가중치 모델)

크기: 20b(약 14GB, 16GB 메모리급) / 120b(약 65GB, 80GB급)
특징: 추론·도구 호출에 강점. 둘 다 MoE라 크기 대비 빠릅니다.
추천: 16GB VRAM(또는 통합 메모리)이 있을 때 코딩·추론용 후보.

DeepSeek-R1 (추론 특화)

크기: 1.5b / 7b / 8b / 14b / 32b / 70b (증류 모델) 및 671b 원본
특징: 답하기 전에 길게 '생각'하는 추론형. 수학·논리 문제에 강하지만 단순 질문엔 느리고 장황합니다.
주의: 작은 크기 버전은 원본 R1이 아니라 다른 모델에 R1의 추론 방식을 증류한 것입니다. 원본급 성능을 기대하면 실망할 수 있습니다.

Phi-4 (마이크로소프트), Mistral, 코딩 전용 모델

phi4 14b - 추론·수학에 강한 소형. 영어 위주.
mistral 7b - 가볍고 빠른 고전 강자.
코딩 전용(qwen2.5-coder, qwen3-coder 등) - 자동완성·코드 설명·리팩터링에 특화. 에디터 확장과 연결해 쓰기 좋음.
임베딩(nomic-embed-text, bge-m3 등) - 대화용이 아니라 문서 검색(RAG)용 벡터 변환 모델. 몇백 MB로 가볍습니다.

한눈에 비교 표 대신 요약

한국어 대화·문서 → Qwen3 8b/14b/30b, Gemma3 12b/27b
번역·글 다듬기 → Gemma3
코딩 → 코딩 전용 모델, gpt-oss, Qwen3 32b
수학·논리·복잡한 추론 → DeepSeek-R1 증류, Qwen3(thinking), gpt-oss
이미지 보고 설명 → Gemma3(4b 이상), Llama 3.2 Vision, Qwen-VL 계열
저사양 / 라즈베리파이급 → Qwen3 1.7b~4b, Gemma3 1b~4b, Llama 3.2 1b~3b
내 문서 검색(RAG) → 임베딩 모델 + 대화 모델 조합

모델 크기 vs 체감 품질 (현실적인 기대치)

1~4B - 요약·분류·간단한 번역은 OK. 사실 질문은 자주 틀림.
7~14B - 일상 질문, 글쓰기, 간단한 코드는 충분히 실용적.
27~32B - 눈에 띄게 똑똑해지는 구간. 개인용 로컬의 '스위트 스팟'.
70B 이상 - 클라우드 중급 모델에 근접하지만 하드웨어 비용이 급증.

8. 웹 화면(Open WebUI) 붙이기

터미널 대화는 불편합니다. Open WebUI를 붙이면 ChatGPT와 비슷한 웹 화면, 대화 기록, 문서 업로드, 모델 전환을 쓸 수 있습니다.

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui ghcr.io/open-webui/open-webui:main

브라우저에서 http://서버IP:3000 접속
첫 가입 계정이 관리자 계정이 됩니다
상단 모델 선택에서 Ollama에 받아 둔 모델을 고르면 바로 대화

여러 명이 쓰거나 외부에 열 거라면 반드시 계정 로그인을 유지하고 공개 가입을 끄세요(관리자 설정에서 변경).

9. API로 내 프로그램에서 쓰기

Ollama는 설치하면 http://localhost:11434에서 API 서버가 같이 돕니다. 자동화·봇·앱 개발에 이 API를 쓰는 것이 로컬 LLM의 진짜 활용처입니다.

curl로 호출

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "쿠버네티스를 초등학생에게 설명해줘"}],
  "stream": false
}'

OpenAI 호환 주소

Ollama는 OpenAI API와 호환되는 /v1 경로를 제공해서, OpenAI SDK를 쓰는 기존 코드를 주소만 바꿔 그대로 연결할 수 있습니다.

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")  # 키는 아무 값이나
res = client.chat.completions.create(
    model="qwen3:8b",
    messages=[{"role": "user", "content": "한 줄로 자기소개 해줘"}],
)
print(res.choices[0].message.content)

나만의 모델 만들기 (Modelfile)

시스템 프롬프트와 파라미터를 고정한 '커스텀 모델'을 만들 수 있습니다.

# Modelfile
FROM qwen3:8b
PARAMETER temperature 0.3
PARAMETER num_ctx 8192
SYSTEM """너는 IT 블로그 편집자다. 항상 한국어로, 짧고 명확하게 답한다."""

ollama create editor -f Modelfile
ollama run editor

10. 서버에서 24시간 돌리기 (외부 접속과 보안)

기본 설정은 내 PC(127.0.0.1)에서만 접속됩니다. 다른 기기에서 쓰려면 바인딩 주소를 바꿔야 합니다. Linux systemd 기준입니다.

sudo systemctl edit ollama
# 열린 편집기에 아래 내용 입력 후 저장
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_KEEP_ALIVE=30m"

sudo systemctl daemon-reload
sudo systemctl restart ollama

Windows는 시스템 환경 변수에 OLLAMA_HOST를 추가하고 Ollama를 재시작합니다.

보안 주의: Ollama API에는 인증이 없습니다. 0.0.0.0으로 열고 공유기 포트포워딩까지 해 버리면 누구나 내 GPU를 공짜로 쓰거나 모델을 삭제할 수 있습니다. 반드시 다음 중 하나로 지키세요.

집/사무실 내부망(LAN)에서만 열고 방화벽으로 11434 포트를 내부 대역만 허용
외부에서 쓸 땐 포트를 직접 열지 말고 WireGuard·Tailscale 같은 VPN으로 접속
리버스 프록시(Traefik, Nginx)에 인증을 붙여서 노출 (Open WebUI 로그인 뒤에 두는 방식이 간단)

저장 위치와 용량 관리

모델은 기본적으로 Linux 서비스는 /usr/share/ollama/.ollama/models, Windows는 사용자 폴더 아래 .ollama\models에 저장됩니다. 루트 디스크가 작다면 OLLAMA_MODELS 환경 변수로 큰 디스크 경로를 지정하세요(서비스 사용자가 쓰기 권한을 가져야 함).

11. 속도·메모리 튜닝

OLLAMA_KEEP_ALIVE - 모델을 메모리에 유지하는 시간(기본 5분). 길게 잡으면 매번 다시 로딩하는 지연이 사라지고, 짧게 잡으면 메모리를 빨리 반납합니다.
OLLAMA_MAX_LOADED_MODELS - 동시에 올려 둘 모델 수. VRAM이 작으면 1로.
OLLAMA_NUM_PARALLEL - 동시에 처리할 요청 수. 늘리면 그만큼 컨텍스트 메모리를 더 씁니다.
컨텍스트 길이(num_ctx) - 길수록 메모리 증가. 긴 문서를 안 다루면 기본~8192 정도로 충분합니다. 불필요하게 키우면 VRAM을 넘쳐 속도가 급락합니다.
OLLAMA_FLASH_ATTENTION=1, OLLAMA_KV_CACHE_TYPE=q8_0 - 지원되는 환경에서 KV 캐시 메모리를 줄이는 옵션. 효과와 지원 여부는 버전에 따라 다르니 공식 FAQ를 확인하세요.
더 작은 양자화/모델 - 가장 확실한 해결책. VRAM을 살짝 넘는다면 한 단계 작은 모델이 훨씬 빠릅니다.

12. 자주 막히는 문제

답변이 너무 느리다

ollama ps로 PROCESSOR를 확인하세요. CPU 비율이 높으면 VRAM 부족입니다. 모델을 줄이거나 컨텍스트를 줄이세요. 그래도 GPU가 안 쓰인다면 NVIDIA 드라이버 설치 상태(nvidia-smi)를 확인하고 Ollama를 재시작합니다.

GPU를 인식하지 못한다

nvidia-smi가 동작하는지 확인 (안 되면 드라이버 문제)
Docker는 NVIDIA Container Toolkit과 --gpus=all 필수
Linux 서비스 로그 확인: journalctl -u ollama -e
지원하지 않는 오래된 GPU는 자동으로 CPU로 폴백됩니다

다른 PC에서 접속이 안 된다

OLLAMA_HOST 설정 후 재시작했는지, 방화벽에서 11434 포트가 허용인지 확인합니다. 접속 테스트: curl http://서버IP:11434 → Ollama is running이 나와야 정상입니다.

한국어가 어색하거나 중국어가 섞여 나온다

작은 모델에서 흔합니다. 시스템 프롬프트에 "항상 한국어로 답하라"를 고정하거나(Modelfile), Qwen3/Gemma3의 더 큰 크기를 쓰세요.

디스크가 가득 찬다

ollama list로 확인하고 쓰지 않는 모델은 ollama rm으로 지웁니다. 모델 저장 경로를 큰 디스크로 옮기는 것도 방법입니다.

모델이 엉뚱한 사실을 말한다

로컬 소형 모델의 한계입니다. 사실 확인이 중요한 작업은 문서를 함께 넣어 주는 RAG나, 검색 도구 연결 방식으로 보완하세요.

13. 용도별 추천 & 마무리 체크리스트

상황별 추천

일단 체험해 보고 싶다 → 지금 쓰는 PC에 Ollama 설치 + qwen3:4b 또는 gemma3:4b. 몇 분이면 끝납니다.
GPU 구매를 고민 중이다 → 목표 모델 크기를 먼저 정하고, 그 모델이 들어가는 VRAM부터 역산하세요. 같은 가격이면 연산 성능보다 VRAM 큰 쪽이 로컬 LLM에는 유리합니다. 중고 24GB(3090급)가 가성비로 자주 거론됩니다.
큰 모델을 돌려 보고 싶다 → 통합 메모리가 큰 맥, 또는 RAM 64GB 이상 + MoE 모델 조합.
집 서버에 24시간 올리고 싶다 → GPU 서버가 아니라면 MoE 모델 + 배치/자동화 용도로 기대치를 낮추고, 외부 노출은 VPN으로.
제일 똑똑한 답이 필요하다 → 솔직히 아직은 클라우드 모델이 낫습니다. 로컬은 '민감한 데이터·대량 처리'에, 클라우드는 '어려운 문제'에 나눠 쓰는 하이브리드가 현실적입니다.

체크리스트

내 GPU의 VRAM(또는 통합 메모리) 용량을 확인했다
목표 모델의 크기를 '파라미터 × 0.6GB'로 계산해 봤다
Ollama를 설치하고 ollama run으로 첫 대화를 했다
ollama ps에서 100% GPU인지 확인했다
디스크 여유(100GB+)와 모델 저장 경로를 점검했다
외부에서 접속한다면 포트를 직접 열지 않고 VPN/인증을 붙였다

로컬 LLM은 "설치만 하면 끝"이 아니라 내 하드웨어에 맞는 모델을 고르는 것이 전부라고 해도 과언이 아닙니다. 작은 모델로 시작해서 한계를 느끼면 한 단계씩 올려 보세요. 다음 글에서는 Ollama에 내 문서를 연결하는 RAG 구성이나 실제 속도 측정 결과를 다뤄 보겠습니다.

※ 이 글의 모델 용량·사양·속도는 공개된 일반 기준을 바탕으로 한 어림값이며 직접 측정한 벤치마크가 아닙니다. 모델 목록과 옵션은 수시로 바뀌므로 Ollama 공식 문서와 모델 페이지를 함께 확인하세요.

글에 대한 질문이나 오류 제보는 문의하기로 보내 주세요.