요즘 AI로 그림이나 영상을 만들어 주는 서비스는 많습니다. 그런데 대부분 월 구독료가 들고, 생성 횟수 제한이 있고, 내가 만든 결과물에 대한 통제권도 약합니다. ComfyUI는 이걸 내 컴퓨터에서, 무료로, 횟수 제한 없이 돌릴 수 있게 해 주는 오픈소스 도구입니다.

이 글은 "ComfyUI가 뭔지, 어떻게 설치하는지, 화면은 어떻게 생겼는지, 첫 이미지를 어떻게 뽑는지, 동영상은 어떻게 만드는지"를 처음 보는 사람 기준으로 순서대로 정리한 입문 가이드입니다.

미리 알려드립니다. 이 글은 제가 이 글을 쓰면서 새로 설치해 캡처한 것이 아니라, 공식 문서와 기존 지식을 바탕으로 정리한 내용입니다. 글 속 화면 그림은 이해를 돕기 위해 직접 그린 일러스트이며, 실제 화면과 색·배치·메뉴 이름이 조금 다를 수 있습니다. ComfyUI와 모델은 업데이트가 매우 빠르므로(2026년 10월 기준 작성), 버튼 이름이나 최신 모델명이 다르면 공식 문서를 우선으로 해 주세요.

목차

1. ComfyUI란? 어떤 점이 다른가
2. 이것만 알면 된다 - 핵심 용어 12개
3. 필요한 PC 사양
4. 설치하기 (Desktop 앱 / Portable 두 가지 방법)
5. 화면 구성과 기본 조작법
6. 모델(체크포인트) 받아서 넣기
7. 첫 이미지 만들기 - 기본 워크플로우 따라 하기
8. KSampler 설정값 이해하기
9. 기본 설정(Settings)과 실행 옵션
10. 이미지 실력 올리기 - 이미지→이미지, LoRA, 업스케일
11. 확장 노드 설치 (ComfyUI-Manager)
12. 동영상 만들기 - 개념부터 따라 하기까지
13. 자주 막히는 문제와 해결법
14. 마무리 체크리스트와 참고 링크

1. ComfyUI란? 어떤 점이 다른가

ComfyUI는 노드(Node) 기반의 AI 이미지·영상·오디오 생성 도구입니다. 보통의 AI 그림 프로그램이 "프롬프트 입력창 + 생성 버튼"이라면, ComfyUI는 기능 상자(노드)들을 선으로 연결해서 "그림 만드는 공정"을 직접 조립합니다. 레고나 블록코딩과 비슷하다고 보면 됩니다.

장점

• 무료·오픈소스 - 프로그램도, 대부분의 모델도 무료입니다. 들어가는 비용은 내 PC의 전기료와 하드웨어뿐입니다.
• 횟수 제한·검열 없음 - 내 컴퓨터에서 도니까 몇 장을 만들든 자유입니다(물론 법과 모델 라이선스는 지켜야 합니다).
• 최신 모델을 빨리 지원 - 새로운 이미지·영상 모델이 나오면 ComfyUI가 가장 먼저 지원하는 편입니다.
• 재현과 공유가 쉬움 - 만든 이미지 파일에 "만든 과정(워크플로우)"이 같이 저장됩니다. 남이 올린 이미지를 화면에 끌어다 놓으면 그 사람의 설정이 그대로 열립니다.
• 이미지·영상·업스케일·편집을 한 도구에서 처리할 수 있습니다.

단점 (솔직하게)

• 처음엔 낯섭니다. 노드와 선이 가득한 화면이 부담스럽게 느껴집니다. 다만 아래에서 보듯 "기본 구성은 7개 상자"뿐이고, 템플릿을 쓰면 직접 조립할 필요도 거의 없습니다.
• PC 사양을 탑니다. 특히 그래픽카드(VRAM)가 중요합니다. 영상은 더 그렇습니다.
• 모델 파일이 큽니다. 모델 하나가 2~30GB 이상이어서 저장공간이 금방 찹니다.
• "버튼 한 번에 완성"은 아닙니다. 결과 품질은 모델 선택, 프롬프트, 설정에 따라 크게 달라지므로 몇 번 시행착오가 필요합니다.

비슷한 도구와 비교

• Midjourney, 각종 웹 서비스 - 가장 쉽지만 유료/횟수 제한이 있고 세밀한 제어가 어렵습니다.
• Stable Diffusion WebUI(AUTOMATIC1111), Forge - 폼(양식) 입력 방식이라 처음에는 더 쉽지만, 복잡한 작업·최신 모델 대응은 ComfyUI가 유연합니다.
• ComfyUI - 배우는 데 시간이 조금 더 들지만, 한 번 익히면 이미지부터 영상까지 가장 폭넓게 쓸 수 있습니다.

2. 이것만 알면 된다 - 핵심 용어 12개

용어가 낯설어서 어렵게 느껴지는 경우가 많습니다. 아래 12개만 알아두면 튜토리얼을 읽기가 훨씬 편해집니다.

• 모델 / 체크포인트(Checkpoint) - AI의 "두뇌"가 들어 있는 큰 파일(.safetensors). 어떤 모델을 쓰느냐에 따라 그림 스타일과 품질이 정해집니다.
• 프롬프트(Prompt) - 어떤 그림을 원하는지 적는 설명 글. 영어가 가장 잘 먹히는 모델이 많지만, 최신 모델은 한국어를 어느 정도 이해하기도 합니다(모델마다 다름).
• 네거티브 프롬프트 - "이런 건 빼 주세요"를 적는 칸(예: 흐릿함, 글자, 워터마크). 최신 모델 중에는 쓰지 않는 것도 있습니다.
• 시드(Seed) - 랜덤 숫자. 같은 모델·같은 설정·같은 시드면 같은 그림이 나옵니다.
• 스텝(Steps) - 노이즈에서 그림을 다듬는 횟수. 보통 20~30.
• CFG - 프롬프트를 얼마나 충실히 따를지의 강도. 너무 높으면 색이 과해지고 어색해집니다.
• 샘플러(Sampler) - 그림을 그려 나가는 계산 방식의 이름(euler, dpmpp_2m 등). 처음엔 기본값이면 충분합니다.
• 잠재공간(Latent) - AI가 그림을 작게 압축한 숫자 상태로 작업하는 공간. "아직 이미지가 되기 전의 숫자 그림" 정도로 이해하면 됩니다.
• VAE - 압축된 숫자 그림(Latent)을 진짜 이미지로 바꿔 주는 부품.
• LoRA - 특정 화풍·캐릭터·콘셉트를 덧입히는 작은 추가 모델(수십~수백 MB).
• ControlNet - 포즈, 윤곽선, 깊이 같은 "참고 그림"으로 구도를 고정하는 기능.
• 워크플로우(Workflow) - 노드들을 선으로 이어 만든 "그림 만드는 설계도". .json으로 저장하거나 이미지 파일 안에 함께 저장됩니다.

3. 필요한 PC 사양

핵심은 그래픽카드의 VRAM(비디오 메모리) 용량입니다. 아래는 어림 기준이며, 모델 종류와 설정에 따라 달라집니다.

• VRAM 6GB 이하 - 옛 모델(SD 1.5)이나 가벼운 설정 위주. 가능은 하지만 제약이 많습니다.
• VRAM 8GB - SDXL급 이미지를 무난하게 생성. 입문용 최소 권장선.
• VRAM 12~16GB - 최신 대형 이미지 모델(경량화 버전 포함)과 일부 영상 모델을 시도할 수 있는 구간.
• VRAM 24GB 이상 - 대부분의 모델·영상 생성이 쾌적. 영상을 진지하게 할 거라면 이 구간이 편합니다.
• RAM - 최소 16GB, 영상까지 하려면 32GB 이상 권장.
• 저장공간 - SSD 여유 100GB 이상 권장(모델이 계속 쌓입니다).
• GPU 종류 - NVIDIA(RTX 계열)가 가장 호환성이 좋고 자료도 많습니다. AMD와 Apple Silicon(M1~M4 맥)도 지원하지만 설치 방식이나 속도가 다를 수 있습니다.
• GPU가 없다면 - CPU만으로도 돌아가긴 하지만 한 장에 수십 분이 걸려 현실적이지 않습니다. 이 경우 클라우드 GPU 서비스(ComfyUI 클라우드, RunPod 등)를 시간 단위로 빌려 쓰는 방법이 있습니다.

내 GPU가 뭔지 모르겠다면: Windows에서 Ctrl+Shift+Esc로 작업 관리자를 열고 [성능] 탭 → [GPU]를 보면 이름과 "전용 GPU 메모리"(= VRAM)가 나옵니다.

4. 설치하기

설치 방법은 크게 세 가지입니다. 초보라면 ① Desktop 앱 또는 ② Portable을 추천합니다.

• ① Desktop 앱 - 설치 파일을 받아 실행하면 끝나는 가장 쉬운 방법. 파이썬·GPU 라이브러리를 알아서 구성해 줍니다. Windows(NVIDIA GPU)와 macOS(Apple Silicon)용이 제공됩니다.
• ② Windows Portable - 압축만 풀면 되는 "설치 없는" 방식. 파이썬이 포함되어 있어 PC를 어지럽히지 않습니다. NVIDIA용과 AMD용 등이 따로 있습니다.
• ③ 수동 설치 - git, 파이썬 가상환경, PyTorch를 직접 설치. Linux나 개발자에게 적합하며 초보에게는 권하지 않습니다.

방법 ① Desktop 앱으로 설치 (가장 쉬움)

1. 공식 사이트 comfy.org/download에서 내 운영체제용 설치 파일을 받습니다.
2. 설치 파일을 실행합니다. (Windows는 설치 마법사가 나옵니다)
3. 처음 실행하면 GPU 종류를 고르는 화면이 나옵니다. NVIDIA 그래픽카드면 NVIDIA를 선택합니다.
4. 설치 위치를 묻습니다. 모델이 수십~수백 GB가 될 수 있으니 용량 넉넉한 SSD 드라이브를 고르세요. (C: 드라이브가 부족하면 D: 등)
5. 기존 ComfyUI 설정이나 모델 폴더를 가져올지 묻는 화면이 나올 수 있습니다. 처음이면 건너뛰어도 됩니다.
6. 설치가 끝나면 프로그램이 자동으로 열리고, 화면에 ComfyUI 작업판이 나타납니다. 처음 한 번은 환경 구성 때문에 몇 분 걸릴 수 있습니다.

방법 ② Windows Portable로 설치

1. GitHub의 ComfyUI Releases 페이지(또는 공식 README의 Windows Portable 링크)에서 ComfyUI_windows_portable_nvidia.7z 파일을 받습니다. (AMD면 AMD용)
2. 7-Zip으로 압축을 풉니다. 풀 위치는 한글·공백이 없는 짧은 경로(예: D:\ComfyUI)를 추천합니다. 경로 문제로 오류가 나는 일이 흔합니다.
3. 폴더 안의 run_nvidia_gpu.bat을 더블클릭합니다. (GPU가 없거나 테스트용이면 run_cpu.bat, 느립니다)
4. 검은 콘솔 창이 뜨고 로그가 흐르다가 잠시 후 브라우저가 자동으로 열립니다. 열리지 않으면 주소창에 http://127.0.0.1:8188을 입력하세요.
5. 사용 중에는 콘솔 창을 닫으면 안 됩니다. 그게 ComfyUI 본체입니다. 끝낼 때는 콘솔 창을 닫으면 됩니다.

업데이트는 Portable 폴더 안의 update 폴더에 있는 update_comfyui.bat을 실행하면 됩니다. (Desktop 앱은 앱 안에서 업데이트 안내가 뜹니다.)

설치 직후 확인: 콘솔(또는 로그)에 내 GPU 이름과 cuda가 보이면 GPU를 잘 잡은 것입니다. "cpu"로 나오면 GPU 드라이버나 설치 버전(NVIDIA/AMD)을 다시 확인하세요.

5. 화면 구성과 기본 조작법

화면은 크게 메뉴, Run(실행) 버튼, 사이드바, 캔버스로 나뉩니다. 버전에 따라 위치와 이름이 조금 다를 수 있으니 "이런 기능이 어딘가에 있다" 정도로 봐 주세요.

• 메뉴 - 워크플로우 열기/저장, 보기 설정, 도움말 등.
• Run(실행) - 지금 캔버스의 설계도대로 생성을 시작합니다. 키보드로는 Ctrl+Enter.
• 사이드바 - 대기열(큐)·생성 기록, 노드 라이브러리, 모델 라이브러리, 저장된 워크플로우, 템플릿 등을 엽니다.
• 캔버스 - 노드를 놓고 선으로 연결하는 작업판. 무한히 넓습니다.
• 설정(톱니바퀴) - 언어, 연결선 모양, 단축키 등을 바꿉니다.

노드 읽는 법

• 노드 왼쪽의 점은 입력, 오른쪽의 점은 출력입니다.
• 같은 색 점끼리만 연결됩니다. 노란색(CLIP)은 노란색 입력에, 보라색(MODEL)은 보라색 입력에 꽂습니다. 색만 맞추면 되니 실수하기 어렵습니다.
• 노드 안의 회색 막대는 직접 값을 입력하는 칸(위젯)입니다.
• 노드 위쪽의 색 띠(제목줄)는 종류를 구분하려는 것일 뿐 기능에는 영향이 없습니다.

꼭 외워둘 조작

• 마우스 휠 - 확대/축소
• 빈 곳을 드래그 (또는 Space 누른 채 드래그) - 화면 이동
• 빈 곳 더블클릭 - 노드 검색창. 이름 일부만 쳐도 찾아집니다. 노드를 추가하는 가장 빠른 방법.
• 점을 끌어서 다른 점에 놓기 - 연결. 빈 곳에 놓으면 연결 가능한 노드 목록이 뜹니다.
• Ctrl+Enter - 실행 / Ctrl+Z - 되돌리기 / Ctrl+S - 워크플로우 저장
• Ctrl+C, Ctrl+V - 노드 복사·붙여넣기 (Ctrl+Shift+V는 입력 연결까지 유지해서 붙여넣기)
• Ctrl+B - 노드 우회(Bypass): 그 노드를 건너뛰고 통과시킵니다. Ctrl+M - 음소거(Mute).
• R - 노드/모델 목록 새로고침 (모델 파일을 새로 넣은 뒤 유용)

단축키는 설정의 Keybinding 항목에서 확인하고 바꿀 수 있습니다. 버전에 따라 일부 다를 수 있습니다.

6. 모델(체크포인트) 받아서 넣기

ComfyUI는 껍데기이고, 실제로 그림을 그리는 건 모델 파일입니다. 모델이 없으면 아무것도 만들어지지 않습니다.

가장 쉬운 방법: 템플릿 사용

1. 메뉴(또는 사이드바)에서 템플릿(Templates)을 엽니다. (Workflow → Browse Templates와 같은 이름일 수 있습니다)
2. 이미지, 영상 등 분류에서 마음에 드는 템플릿을 고릅니다.
3. 모델이 아직 없으면 "누락된 모델" 안내창이 뜨며 다운로드 버튼이 나옵니다. 누르면 알맞은 폴더에 자동으로 받아집니다.

입문자에게는 이 방법을 가장 추천합니다. 어떤 파일을 어느 폴더에 넣어야 하는지 고민할 필요가 없습니다.

직접 받아서 넣는 방법

• Hugging Face(huggingface.co)와 Civitai(civitai.com)에서 모델을 받을 수 있습니다.
• 받은 파일은 종류에 따라 ComfyUI/models/checkpoints(기본 모델), loras, vae 등에 넣습니다. 최신 모델은 diffusion_models, text_encoders, vae에 부품별로 나눠 넣는 경우가 많으니 모델 페이지의 안내(또는 템플릿 설명)를 꼭 따르세요.
• 파일을 넣은 뒤 ComfyUI 화면에서 R 키로 새로고침하면 목록에 나타납니다.

모델 고를 때 주의

• 확장자는 .safetensors를 고르세요. 옛 .ckpt 형식은 악성 코드가 숨을 수 있어 가급적 피합니다.
• 라이선스를 확인하세요. 모델마다 "개인 사용만 가능", "상업적 이용 가능" 등이 다릅니다. 블로그·판매용으로 쓸 거라면 특히 중요합니다.
• 처음에는 내 VRAM에 맞는 크기를 고르세요. 큰 모델을 받았다가 메모리 부족으로 실행이 안 되는 경우가 가장 흔한 실패입니다. 이름에 fp8, GGUF, turbo, lite가 붙은 것은 보통 가볍게 만든 버전입니다.
• 입문용으로는 SDXL 계열(8GB급에서 무난)이나 템플릿에서 "추천"으로 제시하는 모델이 가장 안전합니다. 최신 모델은 빠르게 바뀌니 템플릿 목록을 확인하세요.

7. 첫 이미지 만들기 - 기본 워크플로우 따라 하기

ComfyUI를 처음 열면 보통 기본 워크플로우가 올라와 있거나, 템플릿에서 가장 기본적인 "Image Generation" 계열을 열 수 있습니다. 아래 그림이 그 구조를 풀어 그린 것입니다. 노드는 딱 7개입니다.

노드 7개, 이렇게 이해하세요

1. Load Checkpoint - 모델 파일을 읽어 옵니다. ckpt_name에서 내가 받은 모델을 고릅니다. 이 노드가 MODEL(그림 두뇌), CLIP(글 이해), VAE(복원) 세 가지를 내보냅니다.
2. CLIP Text Encode (위쪽, 긍정) - 원하는 그림을 적는 곳. 예: a cozy wooden cabin in a snowy forest, warm window light, detailed, cinematic
3. CLIP Text Encode (아래쪽, 부정) - 원하지 않는 것. 예: blurry, low quality, watermark, text
4. Empty Latent Image - "빈 캔버스"를 만듭니다. 가로·세로 크기가 곧 결과 해상도입니다. batch_size는 한 번에 몇 장 만들지입니다.
5. KSampler - 진짜로 그림을 그리는 핵심. 잡음에서 시작해 프롬프트에 맞게 조금씩 다듬습니다. (다음 장에서 자세히)
6. VAE Decode - 압축된 숫자 그림을 우리가 보는 이미지로 바꿉니다.
7. Save Image - 화면에 보여 주고 output 폴더에 파일로 저장합니다.

따라 하기 7단계

1. Load Checkpoint의 ckpt_name을 클릭해 받아 둔 모델을 선택합니다. 목록이 비어 있으면 모델 폴더에 파일이 없다는 뜻입니다(6장 참고).
2. 긍정 프롬프트 칸에 원하는 장면을 영어로 적습니다. 처음엔 "대상 + 장소 + 분위기 + 스타일" 순서로 쓰면 무난합니다.
3. 부정 프롬프트 칸에 blurry, low quality, watermark, text 정도를 적습니다.
4. Empty Latent Image의 크기를 모델에 맞게 정합니다. SD 1.5는 512×512, SDXL은 1024×1024가 기준입니다. 모델이 학습한 크기에서 크게 벗어나면 그림이 이상해집니다.
5. KSampler는 처음엔 건드리지 말고 기본값(steps 20, cfg 7 안팎)으로 둡니다.
6. 오른쪽 위 Run(또는 Ctrl+Enter)을 누릅니다.
7. 노드가 차례로 초록 테두리로 켜지며 진행되고, 잠시 후 Save Image 노드 안에 완성 이미지가 나타납니다. 첫 실행은 모델을 메모리에 올리느라 오래 걸리고, 이후는 훨씬 빠릅니다.

결과물 활용 팁

• 이미지는 ComfyUI/output 폴더에 저장됩니다. 우클릭 메뉴로 바로 저장·열기도 가능합니다.
• PNG 안에 워크플로우가 같이 저장됩니다. 나중에 그 PNG를 ComfyUI 화면으로 끌어다 놓으면 그때의 설정이 그대로 복원됩니다. 마음에 든 결과를 다시 만들 때 아주 유용합니다. (다른 사람에게 공유할 때는 내 프롬프트/설정이 같이 들어 있다는 점도 기억하세요.)
• 시드가 randomize면 실행할 때마다 다른 그림이 나옵니다. 마음에 드는 그림이 나오면 fixed로 바꾸고 프롬프트 일부만 고쳐 가며 비교해 보세요.

프롬프트 잘 쓰는 법

• 구조: [주제], [장소/배경], [조명/분위기], [스타일/화질]
• 예: a small fox sitting on a mossy rock, misty forest, soft morning light, watercolor illustration
• 한꺼번에 너무 많은 요구를 넣으면 서로 부딪힙니다. 짧게 시작해서 하나씩 추가하세요.
• 특정 단어를 강조하려면 (단어:1.2)처럼 괄호와 숫자를 쓰는 방식이 많이 쓰입니다(모델·노드에 따라 동작이 다를 수 있음).
• 최신 모델은 "자연스러운 문장형 설명"을 더 잘 이해하는 경향이 있습니다. 모델 소개 페이지의 예시 프롬프트를 흉내 내 보는 것이 가장 빠른 학습법입니다.

8. KSampler 설정값 이해하기

기본값에서 시작해 한 번에 하나씩만 바꿔 보세요. 여러 개를 동시에 바꾸면 무엇이 효과를 냈는지 알 수 없습니다.

• 그림이 흐릿하거나 덜 다듬어졌다 → steps를 25~30으로 올려 보기
• 프롬프트를 잘 안 따른다 → cfg를 조금 올리기(예: 7 → 8)
• 색이 너무 진하고 부자연스럽다 → cfg를 낮추기
• 같은 구도에서 디테일만 바꾸고 싶다 → 시드를 fixed로 두고 프롬프트만 수정

중요: 최신 모델 중에는 권장 steps·cfg·샘플러가 위와 많이 다른 것(예: turbo·distilled 계열은 steps 4~8, cfg 1 안팎)이 있습니다. 모델 소개 페이지나 템플릿의 기본값을 항상 우선하세요. 위 수치는 SD 1.5/SDXL 계열 기준의 어림값입니다.

9. 기본 설정(Settings)과 실행 옵션

화면 안의 설정 (톱니바퀴 아이콘)

메뉴 이름은 버전마다 조금씩 다르니, 설정 창 위쪽 검색창에 키워드를 입력해 찾는 것이 가장 빠릅니다.

• 언어(Language / Locale) - 한국어를 고르면 메뉴가 한글로 바뀝니다. 다만 노드 이름은 영어 그대로인 것이 많고, 영어 이름으로 검색하는 편이 튜토리얼과 맞추기 쉽습니다.
• 연결선 모양(Link render mode) - 곡선(Spline), 직선, 꺾은선, 숨김 중에서 선택. 노드가 많아지면 직선·꺾은선이 보기 편할 수 있습니다.
• 자동 저장(Auto Save) - 켜 두면 작업 중이던 워크플로우가 날아가는 사고를 막아 줍니다.
• 격자 맞춤(Snap to grid) - 노드를 격자에 맞춰 정렬하고 싶을 때.
• 생성 중 미리보기 - 그림이 만들어지는 중간 모습을 보는 옵션. 아래 실행 옵션과 함께 설명합니다.
• Keybinding - 단축키 확인·변경.

실행 옵션 (컴퓨터 사양에 맞추는 설정)

Portable은 run_nvidia_gpu.bat을 메모장으로 열어 명령 줄 끝에 옵션을 붙여서, Desktop 앱은 설정의 서버 구성(Server-Config) 항목에서 비슷한 옵션을 바꿉니다. 대표적인 옵션입니다.

• --lowvram / --novram - VRAM이 부족할 때 메모리를 아껴 쓰게 합니다(대신 느려짐). 메모리 부족 오류가 난다면 가장 먼저 시도.
• --preview-method auto - 생성 중 미리보기를 켭니다.
• --port 8189 - 접속 포트 변경(ComfyUI를 여러 개 띄울 때).
• --listen - 같은 네트워크의 다른 기기(폰, 노트북)에서도 접속 가능하게 합니다. 보안상 신뢰할 수 있는 내부망에서만 쓰세요. 인터넷에 그대로 노출하면 위험합니다.
• --output-directory D:\AI\output - 결과물 저장 위치 변경.

예) Portable의 run_nvidia_gpu.bat 수정:

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --lowvram --preview-method auto
pause

옵션은 버전에 따라 추가·변경되므로, 정확한 목록은 python main.py --help 또는 공식 문서에서 확인하세요.

모델 폴더를 여러 프로그램이 같이 쓰기

이미 다른 AI 그림 프로그램(WebUI 등)에서 받아 둔 모델이 있다면 다시 받을 필요가 없습니다. ComfyUI 폴더에 있는 extra_model_paths.yaml.example 파일을 extra_model_paths.yaml로 이름을 바꾸고 기존 모델 폴더 경로를 적어 주면 같이 사용할 수 있습니다. 수십 GB를 아끼는 방법입니다.

10. 이미지 실력 올리기

기본 흐름에 익숙해졌다면 아래 기능을 하나씩 추가해 보세요. 가장 쉬운 길은 템플릿에서 해당 기능 예제를 열어 보고 구조를 따라 해 보는 것입니다.

• 이미지→이미지(Image to Image) - Empty Latent Image 대신 Load Image → VAE Encode를 KSampler의 latent_image에 연결하고, denoise를 0.4~0.7로 낮춥니다. 낮을수록 원본을 많이 유지하고, 1.0에 가까울수록 완전히 새로 그립니다. 스케치를 그럴듯한 그림으로, 사진을 일러스트로 바꿀 때 씁니다.
• LoRA 추가 - Load Checkpoint 뒤에 Load LoRA 노드를 끼워 넣습니다. LoRA 파일은 models/loras에 넣고, strength(강도)는 0.6~1.0 사이에서 조절합니다. 반드시 베이스 모델과 호환되는 LoRA(SDXL용은 SDXL 모델에)를 쓰세요.
• 업스케일(해상도 높이기) - 처음부터 큰 크기로 만들기보다, 작게 만든 뒤 Upscale Image (using Model) 같은 업스케일 노드로 키우는 것이 메모리와 품질 면에서 유리합니다.
• ControlNet - 포즈·윤곽선 이미지를 참고로 구도를 고정합니다. 설정이 한 단계 복잡하니 템플릿 예제부터 따라 하세요.
• 인페인팅(Inpaint) - 이미지의 일부분만 마스크로 칠해서 그 부분만 다시 그립니다. 손이나 얼굴처럼 어색한 부분 수정에 좋습니다.
• 한 번에 여러 장 - batch_size를 올리거나 Run 옆의 실행 횟수를 늘리면 시드가 다른 여러 장을 연달아 만들어 마음에 드는 것을 고를 수 있습니다.

11. 확장 노드 설치 (ComfyUI-Manager)

ComfyUI의 큰 장점이 커뮤니티가 만든 확장 노드(Custom Nodes)입니다. 남이 공유한 워크플로우를 열었는데 노드가 빨간색 테두리로 표시되고 "누락된 노드" 경고가 뜨면, 그 확장이 설치되지 않았다는 뜻입니다.

• ComfyUI-Manager는 확장 노드를 검색·설치·업데이트해 주는 관리 도구입니다. 최근 버전의 ComfyUI/Desktop 앱에는 기본으로 통합되어 있는 경우가 많고, Portable에서는 따로 설치해야 할 수 있습니다(공식 안내 확인).
• Manager 메뉴에서 Install Missing Custom Nodes(누락된 노드 설치)를 누르면 필요한 확장을 자동으로 찾아 줍니다. 설치 후에는 ComfyUI를 재시작해야 적용됩니다.

보안 주의: 확장 노드는 내 PC에서 코드를 실행합니다. 출처가 불분명한 확장이나 갑자기 유행하는 이름 모를 확장은 설치하지 마세요. 다운로드 수·별점·마지막 업데이트·GitHub 이슈를 확인하고, 꼭 필요한 것만 설치하는 것이 좋습니다.

12. 동영상 만들기

이미지를 만들 수 있다면 동영상도 원리는 같습니다. 영상은 사진(프레임) 수십~수백 장을 이어 붙인 것이고, AI 영상 모델은 "앞뒤가 자연스럽게 이어지는 여러 장의 프레임"을 한꺼번에 만들어 냅니다. 그래서 이미지보다 메모리와 시간이 훨씬 많이 듭니다.

영상 만드는 방식 3가지

• 텍스트→영상 (T2V) - 글만 쓰면 영상을 만듭니다. 가장 자유롭지만 결과 예측이 어렵습니다.
• 이미지→영상 (I2V) - 사진 한 장을 시작 장면으로 넣고, "어떻게 움직일지"를 글로 적습니다. 초보에게 가장 추천하는 방식입니다. 시작 모습이 정해져 있어 결과가 안정적입니다.
• 영상→영상 / 첫·끝 프레임 지정 - 기존 영상을 바꾸거나, 시작과 끝 장면을 지정해 중간을 채웁니다. 익숙해진 뒤에 시도하세요.

대표적인 영상 모델 (ComfyUI에서 쓸 수 있는 것들)

• Wan 2.x (Wan 2.1 / 2.2) - 알리바바가 공개한 오픈소스 영상 모델로, 텍스트→영상·이미지→영상을 지원하며 ComfyUI 템플릿으로 제공되는 대표 모델입니다. 14B(대형)와 5B(경량) 등 크기가 나뉘며, 가벼운 버전이 입문에 적합합니다.
• LTX-Video - 상대적으로 가볍고 빠른 것이 장점인 영상 모델 계열.
• HunyuanVideo - 텐센트의 영상 모델. 품질이 좋지만 무거운 편입니다.
• AnimateDiff - 이미지 모델(SD 1.5 등)에 움직임을 더하는 방식. 짧은 루프 애니메이션에 쓰이는 비교적 오래된 방법입니다.

영상 모델은 매우 빠르게 바뀝니다. 어떤 모델이 지금 최선인지는 템플릿 목록과 공식 블로그에서 확인하는 것이 정확합니다. 아래는 어느 모델이든 거의 공통인 흐름입니다.

필요한 사양 (어림 기준)

• VRAM 8GB급 - 가장 가벼운 모델·경량화(fp8/GGUF) 버전, 낮은 해상도·짧은 길이로 시도 가능(매우 느릴 수 있음).
• VRAM 12~16GB - 경량화한 중형 모델을 낮은 해상도로 현실적으로 사용.
• VRAM 24GB 이상 - 대부분의 모델을 비교적 여유 있게 사용.
• 시간 - 몇 초짜리 영상 하나에 수 분~수십 분이 걸릴 수 있습니다. 첫 시도는 반드시 작게 하세요.

따라 하기 - 이미지→영상 (템플릿 이용)

1. 메뉴/사이드바에서 템플릿(Templates)을 열고 Video(비디오) 분류를 찾습니다.
2. 이미지→영상(Image to Video) 템플릿(예: Wan 2.2 이미지→영상, 가볍게 시작하려면 5B급)을 선택합니다.
3. 모델이 없다면 누락된 모델 안내창이 뜹니다. 안내에 따라 받습니다. 영상 모델은 수십 GB일 수 있으니 저장공간과 다운로드 시간을 확인하세요.
4. Load Image 노드에서 시작 이미지를 올립니다. 선명하고 주인공이 크게 나온 사진이 좋습니다. (7장에서 만든 이미지를 그대로 써도 됩니다)
5. 프롬프트에 움직임을 적습니다. 예: snow falls gently, smoke rises from the chimney, slow camera push-in (눈이 부드럽게 내리고, 굴뚝 연기가 오르며, 카메라가 천천히 다가감)
6. 영상 노드에서 width/height(해상도)와 length(프레임 수)를 확인합니다. 첫 시도는 작게(예: 640×640 안팎, 3~5초분 프레임) 두세요.
7. Run을 누르고 기다립니다. KSampler가 오래 걸리는 구간입니다. 콘솔에 진행률이 표시됩니다.
8. 끝나면 마지막 Save Video 계열 노드에 영상이 나타나고, output 폴더에 mp4(또는 webp 등) 파일로 저장됩니다.

위 그림은 구조를 이해하기 쉽도록 단순화한 모식도입니다. 실제 템플릿은 노드가 더 많고 버전마다 다르지만, 핵심은 같습니다. 시작 이미지 + 움직임 설명 → 프레임 여러 장 생성 → 이어 붙여 영상으로 저장.

영상 품질을 높이는 요령

• 움직임은 한두 가지만 요청하세요. "달리면서 돌고 점프하며 폭발" 같은 과한 요구는 형체가 무너집니다.
• 카메라 움직임을 명시하면 결과가 안정됩니다. (slow zoom in, pan left, static camera 등)
• 같은 이미지·같은 프롬프트라도 시드에 따라 결과가 크게 달라집니다. 시드를 바꿔 여러 번 뽑아 가장 좋은 것을 고르세요.
• 영상 모델은 보통 한 번에 5초 안팎까지만 안정적입니다. 더 길게 만들려면 마지막 프레임을 다음 영상의 시작 이미지로 넣어 이어 붙이는 방식을 씁니다.
• 프레임 보간(RIFE 등 확장 노드)으로 부드럽게 만들거나, 업스케일로 해상도를 올리는 후처리도 가능합니다.
• 최종 편집(자막, 음악, 컷 연결)은 일반 영상 편집 프로그램(DaVinci Resolve, CapCut, 곰믹스 등)에서 하는 것이 편합니다.

AnimateDiff - 가벼운 대안

VRAM이 부족하다면 SD 1.5 기반의 AnimateDiff로 짧은 GIF/애니메이션을 만드는 방법이 있습니다. 확장 노드(AnimateDiff Evolved 등)를 설치해야 하고, 최신 영상 모델에 비해 품질·일관성은 떨어지지만 낮은 사양에서도 시도해 볼 수 있습니다.

저작권·초상권 주의: 타인의 얼굴 사진이나 저작권 있는 캐릭터를 영상으로 만들어 공개하거나 판매하는 것은 문제가 될 수 있습니다. AI로 만든 영상은 가능하면 AI 생성물임을 밝히는 것이 좋습니다.

13. 자주 막히는 문제와 해결법

"Out of memory(메모리 부족)" 오류가 난다

• 해상도와 영상 길이를 낮춥니다. (영상은 길이를 절반으로 줄여도 효과가 큽니다)
• batch_size를 1로 둡니다.
• 더 가벼운 모델(fp8, GGUF, 5B처럼 작은 버전)을 씁니다.
• --lowvram 옵션을 붙여 실행합니다.
• 브라우저·게임·다른 AI 프로그램 등 GPU를 쓰는 프로그램을 끕니다.

모델 선택 목록이 비어 있다 / 새로 넣은 모델이 안 보인다

• 파일이 올바른 폴더(models/checkpoints 등)에 있는지, 확장자가 .safetensors인지 확인.
• 화면에서 R 키로 새로고침하거나 ComfyUI를 재시작.

노드가 빨간색이다 / "Missing Node" 경고

• ComfyUI-Manager의 Install Missing Custom Nodes를 실행하고 재시작.
• ComfyUI 본체가 오래돼서 새 노드를 모르는 경우도 있으니 ComfyUI를 최신으로 업데이트해 보세요. 영상 모델 템플릿은 특히 최신 버전을 요구하는 일이 많습니다.

결과가 새까맣거나 이상한 색의 이미지가 나온다

• 모델과 VAE가 맞지 않는 경우가 많습니다. 모델에 VAE가 내장되어 있지 않다면 모델 안내에 맞는 VAE를 지정하세요.
• 해상도가 모델 기준과 너무 다르지 않은지(SD 1.5는 512, SDXL은 1024 기준) 확인.

너무 느리다

• 콘솔에서 GPU(cuda)를 쓰고 있는지 확인. CPU로 돌고 있으면 매우 느립니다.
• 첫 실행은 모델을 읽어 올리느라 오래 걸리고 두 번째부터 빨라지는 것이 정상입니다.
• 모델이 SSD가 아닌 HDD에 있으면 로딩이 매우 느립니다.
• 해상도·스텝·길이를 줄여 보세요.

브라우저 화면이 안 열린다

• 콘솔 창이 아직 로딩 중이거나 오류로 멈춘 것은 아닌지 먼저 확인.
• 주소창에 http://127.0.0.1:8188을 직접 입력. 포트를 바꿨다면 그 번호로.
• 보안 프로그램이나 방화벽이 막고 있지 않은지 확인.

설치/업데이트 후 갑자기 이상하다

• 확장 노드(custom_nodes)와 충돌하는 경우가 많습니다. 최근 설치한 확장을 하나씩 비활성화해 보세요.
• 잘 동작하던 환경이 있다면 업데이트 전에 폴더를 통째로 백업해 두는 습관이 안전합니다. (Portable은 폴더 복사로 끝)

14. 마무리 체크리스트와 참고 링크

이 순서대로만 하면 됩니다

1. 내 GPU와 VRAM 확인하기
2. Desktop 앱 또는 Portable로 ComfyUI 설치하기 (설치 위치는 용량 넉넉한 SSD)
3. 템플릿에서 기본 이미지 생성 열고, 누락된 모델 받기
4. 프롬프트를 쓰고 Run으로 첫 이미지 만들기
5. 시드·steps·cfg를 하나씩 바꾸며 감 잡기
6. 마음에 든 PNG를 화면에 끌어다 놓아 설정 복원해 보기
7. 이미지→이미지, LoRA, 업스케일 등 한 가지씩 추가하기
8. 템플릿의 이미지→영상으로 작게(낮은 해상도·짧은 길이) 첫 영상 만들기
9. 안정되면 해상도·길이·모델을 키우기

참고 링크

• ComfyUI 공식 문서 - 설치, 사용법, 노드 설명
• ComfyUI GitHub - 소스, 릴리스, Portable 다운로드
• ComfyUI Examples - 이미지→이미지, LoRA, ControlNet, 영상 등 예제 워크플로우 모음(이미지를 끌어다 놓으면 열림)
• Comfy 공식 블로그 - 새 모델 지원·업데이트 소식

정리하면, ComfyUI는 처음 30분만 넘기면 "노드 7개 + 템플릿"으로 충분히 쓸 수 있고, 그 뒤부터는 필요한 기능을 하나씩 얹어 가는 도구입니다. 처음부터 복잡한 워크플로우를 이해하려 하지 말고, 템플릿을 열어 돌려 보고, 값을 하나씩 바꿔 보는 것이 가장 빠른 길입니다.

이 글의 모델명·메뉴·수치는 작성 시점의 일반적인 정보를 정리한 것이어서 실제와 다를 수 있습니다. 따라 하다가 달라진 부분이 있으면 댓글로 알려 주세요. 확인해서 글을 고치겠습니다.