tiny-sd CUDA AssertionError, CPU 전용 PyTorch로 PNG 저장

이미지 생성 예제가 GPU 없는 일반 Linux 서버에서 처음 막힌 곳은, 이번 실행에서 모델이 아니라 장치 설정이었습니다. 서버 운영에 이미지 생성 도구를 들이려면 그 지점부터 짚어 둬야 해서, Debian 13에서 CUDA 오류를 일부러 재현하는 스크립트부터 CPU만으로 이미지 파일을 저장하는 스크립트까지 차례로 실행했습니다. 첫 점검 항목은 예제 코드가 가정한 실행 장치와 서버에 실제로 깔린 라이브러리 구성이 맞는지입니다. 그래서 출발점은 CPU 전용 torch에서 실패하는 장치 전송으로 잡았고, 도착점은 로컬 tiny-sd 가중치를 읽어 PNG로 저장하는 경로입니다.

순서는 이렇습니다. 모델 카드의 license, gated, pipeline으로 접근 조건과 실행 조건을 먼저 갈라 놓고, 그다음 CPU를 명시하는 방식과 장치를 자동으로 고르는 방식을 차례로 적용합니다. 실행 시각은 출력의 date 줄에 남아 있습니다. 성공 여부는 말로 판단하지 않고, 각 실행의 saved 줄이 찍혔는지로 봅니다. 범위는 diffusers 파이프라인을 스크립트에서 직접 부를 때 to(“cuda”)에서 나는 오류와 그 뒤의 PNG 저장까지입니다. 같은 CPU 전용 torch라도 ComfyUI 서버가 --cpu 없이 기동하다 멈추는 경우는 기동 옵션의 문제라서, ComfyUI Torch not compiled with CUDA enabled, CPU 모드로 기동에서 따로 정리했습니다.

CPU 전용 torch에서 CUDA AssertionError가 나기까지

환경부터 보겠습니다. 인터프리터는 /tmp/sdv/bin/python이고, torch는 2.14.1+cpu로 나옵니다. 버전 끝의 +cpu 한 단어가 이 글 전체의 원인을 이미 말해 주고 있는 셈입니다. 운영 서버에서도 실제 작업을 돌릴 인터프리터로 장치 상태를 한 번 출력해 두면, 엉뚱한 가상환경을 의심하느라 시간을 쓰는 일이 줄어듭니다.

항목	값
OS	Debian GNU/Linux 13 (trixie)
Python	3.12.15
torch	2.14.1+cpu
cuda	False
diffusers	0.41.0
실행일	아래 재현 스크립트 출력의 date 줄을 참고합니다.

모델 카드는 공개 모델 API 응답에서 모델 식별자와 license, gated, pipeline만 꺼내 봅니다. FLUX.1-schnell, SDXL base 1.0, sd-turbo, tiny-sd를 같은 함수로 조회하니 필드를 나란히 놓고 비교하기 좋습니다. 다만 응답에 값이 비어 있으면 None으로 찍히므로, 그것만 보고 사용 조건을 넘겨짚으면 안 됩니다. 그리고 카드 조회가 성공했다는 사실과 서버에서 추론이 된다는 사실은 전혀 별개의 문제입니다.

api_one() {
  mid="$1"
  echo "+ curl -s --max-time 20 https://huggingface.co/api/models/$mid"
  curl -s --max-time 20 "https://huggingface.co/api/models/$mid" | "$PY" -c 'import json,sys
d=json.load(sys.stdin)
c=d.get("cardData") or {}
print("model", d.get("id"))
print("license", c.get("license"))
print("gated", d.get("gated"))
print("pipeline", d.get("pipeline_tag"))'
}

api_one black-forest-labs/FLUX.1-schnell
api_one stabilityai/stable-diffusion-xl-base-1.0
api_one stabilityai/sd-turbo
api_one segmind/tiny-sd

본격적으로 가중치를 읽기 전에, 길이 1인 영 텐서 하나를 cuda로 옮겨 봅니다. torch 버전과 CUDA 사용 가능 여부를 먼저 찍어 두면 실패 지점이 장치 초기화라는 것이 바로 드러납니다. 이 환경의 cuda는 False이므로 전송 호출에서 AssertionError가 납니다. 큰 가중치를 다 읽고 나서 같은 오류를 만나는 것보다, 이렇게 작은 점검을 앞에 두는 편이 원인을 더 빨리 가릅니다.

import torch
print("torch", torch.__version__)
print("cuda", torch.cuda.is_available())
torch.zeros(1).to("cuda")

실행 기록 하나에 환경 조회, 모델 카드 응답, CUDA 오류가 모두 담겨 있습니다. Python 3.12.15와 diffusers 0.41.0이 보이고, 장치 점검에서는 cuda False가 나옵니다. 마지막 줄의 Torch not compiled with CUDA enabled는 CPU 전용 빌드에서 CUDA로 전송하려다 난 오류입니다. 앞의 모델 조회가 멀쩡히 성공했다는 점이 오히려 중요합니다. 네트워크나 모델 저장소가 아니라 로컬 실행 환경에서 풀어야 할 문제라는 뜻이기 때문입니다.

+ . /etc/os-release && printf '%s\n' "$PRETTY_NAME"
Debian GNU/Linux 13 (trixie)
+ uname -srm
Linux 6.12.94+ x86_64
+ date -Iseconds
2026-10-14T14:38:17+09:00
+ /tmp/sdv/bin/python -c <version probe>
import platform, torch, importlib.metadata as m
print("python", platform.python_version())
print("torch", torch.__version__)
print("cuda", torch.cuda.is_available())
print("diffusers", m.version("diffusers"))
print("os", platform.freedesktop_os_release()["PRETTY_NAME"])
python 3.12.15
torch 2.14.1+cpu
cuda False
diffusers 0.41.0
os Debian GNU/Linux 13 (trixie)
+ curl -s --max-time 20 https://huggingface.co/api/models/black-forest-labs/FLUX.1-schnell
model black-forest-labs/FLUX.1-schnell
license apache-2.0
gated auto
pipeline text-to-image
+ curl -s --max-time 20 https://huggingface.co/api/models/stabilityai/stable-diffusion-xl-base-1.0
model stabilityai/stable-diffusion-xl-base-1.0
license openrail++
gated False
pipeline text-to-image
+ curl -s --max-time 20 https://huggingface.co/api/models/stabilityai/sd-turbo
model stabilityai/sd-turbo
license None
gated False
pipeline text-to-image
+ curl -s --max-time 20 https://huggingface.co/api/models/segmind/tiny-sd
model segmind/tiny-sd
license creativeml-openrail-m
gated False
pipeline text-to-image
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://huggingface.co/segmind/tiny-sd
200 https://huggingface.co/segmind/tiny-sd
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://huggingface.co/stabilityai/sd-turbo
200 https://huggingface.co/stabilityai/sd-turbo
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
200 https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://huggingface.co/black-forest-labs/FLUX.1-schnell
200 https://huggingface.co/black-forest-labs/FLUX.1-schnell
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://huggingface.co/docs/diffusers/index
200 https://huggingface.co/docs/diffusers/index
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://pytorch.org/
200 https://pytorch.org/
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://pytorch.org/get-started/locally/
200 https://pytorch.org/get-started/locally/
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://github.com/huggingface/diffusers
200 https://github.com/huggingface/diffusers
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://docs.ideogram.ai/
200 https://docs.ideogram.ai/
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://arxiv.org/abs/2305.15798
200 https://arxiv.org/abs/2305.15798
+ curl -sI --max-time 20 --output /dev/null --write-out '%{http_code} %{url_effective}' https://pypi.org/project/diffusers/
200 https://pypi.org/project/diffusers/
+ /tmp/sdv/bin/python -c <cuda repro>
import torch
print("torch", torch.__version__)
print("cuda", torch.cuda.is_available())
torch.zeros(1).to("cuda")
torch 2.14.1+cpu
cuda False
Traceback (most recent call last):
  File "<string>", line 4, in <module>
  File "/tmp/sdv/lib/python3.12/site-packages/torch/cuda/__init__.py", line 584, in _lazy_init
    raise AssertionError("Torch not compiled with CUDA enabled")
AssertionError: Torch not compiled with CUDA enabled

화면에서는 환경 조회와 모델 카드 조회를 지나 CUDA 전송 오류에 닿는 흐름이 한눈에 보입니다. torch 2.14.1+cpu와 cuda False가 같은 화면에 있으니 장치 오류의 근거로 충분합니다. 아래 표를 보면 네 모델의 pipeline은 모두 text-to-image인데 license와 gated 값은 제각각입니다. 같은 일을 하는 모델이라도 사용 조건과 접근 절차는 하나씩 따로 읽어야 합니다.

모델	license	gated	pipeline
black-forest-labs/FLUX.1-schnell	apache-2.0	auto	text-to-image
stabilityai/stable-diffusion-xl-base-1.0	openrail++	False	text-to-image
stabilityai/sd-turbo	None	False	text-to-image
segmind/tiny-sd	creativeml-openrail-m	False	text-to-image

CPU 빌드가 CUDA 장치를 찾을 때 벌어지는 일

원인 자체는 단순합니다. torch는 2.14.1+cpu, cuda는 False입니다. CUDA가 빠진 빌드이니 to(“cuda”)는 장치를 만들기도 전에 AssertionError를 내고, 오류 문장은 Torch not compiled with CUDA enabled입니다. GPU 예제처럼 파이프라인을 cuda로 옮기는 구조라면 이 환경에서는 이미지 저장 줄까지 가지 못합니다.

그래서 저장은 로컬 tiny-sd 파이프라인을 CPU에 묶어서 해결했습니다.

bin 가중치를 CPU에 묶어 두고 tiny-sd 이미지 저장하기

가중치는 models/tiny-sd 로컬 스냅샷을 썼습니다. StableDiffusionPipeline은 local_files_only=True, use_safetensors=False, dtype=torch.float32로 읽고, 장치는 cpu 문자열로 못 박습니다. 프롬프트는 a red apple on a wooden table, 높이와 너비는 256, 스텝은 1, guidance는 1.0, 시드는 0입니다. 품질보다 경로가 끝까지 통하는지를 보는 최소 설정입니다.

pipe = StableDiffusionPipeline.from_pretrained(
    str(model),
    dtype=torch.float32,
    local_files_only=True,
    use_safetensors=False,
)
pipe.set_progress_bar_config(disable=True)
pipe = pipe.to("cpu")
generator = torch.Generator(device="cpu").manual_seed(0)
image = pipe(
    "a red apple on a wooden table",
    num_inference_steps=1,
    guidance_scale=1.0,
    height=256,
    width=256,
    generator=generator,
).images[0]
out = root / "run" / "cpu-explicit.png"
image.save(out)

출력은 로컬 가중치 파일 조회로 시작해 CPU 저장으로 끝납니다. 장치는 cpu, 스텝은 1, guidance는 1.0, 시드는 0으로 그대로 남았고, 마지막 saved 줄은 cpu-explicit.png가 256×256 RGB로 저장됐음을 보여 줍니다. 운영 로그에도 이렇게 실행 조건과 결과 경로를 같이 남겨 두면, 나중에 다시 돌릴 때 무엇이 달라졌는지 대조하기가 수월합니다.

+ /tmp/sdv/bin/python b_cmd.py
+ --- b_cmd.py ---
import importlib.metadata as metadata
import platform
from pathlib import Path

import torch
from diffusers import StableDiffusionPipeline
from diffusers.utils.logging import disable_progress_bar

disable_progress_bar()
root = Path(".").resolve()
model = root / "run" / "models" / "tiny-sd"
print("python", platform.python_version())
print("torch", torch.__version__)
print("cuda", torch.cuda.is_available())
print("diffusers", metadata.version("diffusers"))
print("os", platform.freedesktop_os_release()["PRETTY_NAME"])
for name in (
    "unet/diffusion_pytorch_model.bin",
    "vae/diffusion_pytorch_model.bin",
    "text_encoder/pytorch_model.bin",
):
    path = model / name
    print("weight", name, path.stat().st_size)

pipe = StableDiffusionPipeline.from_pretrained(
    str(model),
    dtype=torch.float32,
    local_files_only=True,
    use_safetensors=False,
)
pipe.set_progress_bar_config(disable=True)
pipe = pipe.to("cpu")
generator = torch.Generator(device="cpu").manual_seed(0)
image = pipe(
    "a red apple on a wooden table",
    num_inference_steps=1,
    guidance_scale=1.0,
    height=256,
    width=256,
    generator=generator,
).images[0]
out = root / "run" / "cpu-explicit.png"
image.save(out)
print("device", "cpu")
print("steps", 1)
print("guidance", 1.0)
print("seed", 0)
print("saved", "cpu-explicit.png", image.size[0], image.size[1], image.mode)
python 3.12.15
torch 2.14.1+cpu
cuda False
diffusers 0.41.0
os Debian GNU/Linux 13 (trixie)
weight unet/diffusion_pytorch_model.bin 646923637
weight vae/diffusion_pytorch_model.bin 167407857
weight text_encoder/pytorch_model.bin 246187869
device cpu
steps 1
guidance 1.0
seed 0
saved cpu-explicit.png 256 256 RGB

이 화면에서 확인할 것은 saved 줄 하나입니다. 256 256 RGB가 찍혀 있으니 파일 크기와 색상 모드를 함께 맞춰 볼 수 있습니다. 아래 표의 가중치 바이트는 같은 실행에서 로컬 파일을 조회한 값일 뿐, 실행 중 메모리 사용량이 아닙니다. 서버 자원을 산정할 때 이 파일 크기를 메모리 요구량으로 그대로 옮겨 적으면 계산이 틀어집니다.

파일	바이트
unet/diffusion_pytorch_model.bin	646923637
vae/diffusion_pytorch_model.bin	167407857
text_encoder/pytorch_model.bin	246187869

결과는 saved cpu-explicit.png 256 256 RGB입니다. RGB 모드의 256×256 파일이 실제로 디스크에 남았습니다.

장치 이름이 cpu로 고정되니 앞의 to(“cuda”) AssertionError 경로를 타지 않고, bin 가중치를 읽어 저장 줄까지 출력합니다. 그 대가로 실행 장치도 cpu에 묶입니다. 가중치 형식은 다음 절의 OSError와 use_safetensors 설정에서 이어집니다.

safetensors OSError와 장치 자동 선택이 엇갈릴 때

CPU로 돌리는 데 성공했다고 끝은 아니었습니다. 같은 로컬 스냅샷을 diffusers 0.41.0에서 use_safetensors=True로 읽으면 safetensors 파일을 찾다가 오류가 납니다. 점검 스크립트는 VAE를 AutoencoderKL.from_pretrained로 읽으면서 subfolder는 vae, use_safetensors는 True로 둡니다. 이 호출은 OSError로 끝나고, 메시지에는 diffusion_pytorch_model.safetensors가 없다는 내용이 들어 있습니다. 정확한 문장은 아래 점검 스크립트 출력 블록에 있습니다.

이어서 장치를 자동으로 고르게 바꿉니다. cuda가 가능하면 cuda, 아니면 cpu입니다. 길이 1인 영 텐서를 고른 장치로 옮겨 probe_device를 찍은 다음, 같은 스냅샷을 use_safetensors=False로 읽어 저장합니다. 이번 출력의 auto_device와 probe_device는 둘 다 cpu입니다. 스텝 1, guidance 1.0, 시드 0, 높이와 너비 256은 해결 방법 1과 같습니다.

try:
    AutoencoderKL.from_pretrained(
        str(model),
        subfolder="vae",
        dtype=torch.float32,
        local_files_only=True,
        use_safetensors=True,
    )
    print("safetensors_load", "unexpected_success")
except OSError as exc:
    print("safetensors_load", "OSError")
    print(exc)

device = "cuda" if torch.cuda.is_available() else "cpu"
probe = torch.zeros(1).to(device)
print("auto_device", device)
print("probe_device", str(probe.device))

장치를 확인한 뒤에는 그 장치로 읽은 파이프라인을 호출해 이미지를 저장합니다. 스텝 1, guidance 1.0, 높이와 너비 256은 그대로 두었습니다. 출력 파일은 cpu-auto.png라 CPU 고정 실행의 결과와 섞이지 않습니다. 장치 분기만 바꿔서 비교하려면 프롬프트와 생성 조건은 손대지 않아야 차이의 원인을 하나로 좁힐 수 있습니다.

image = pipe(
    "a red apple on a wooden table",
    num_inference_steps=1,
    guidance_scale=1.0,
    height=256,
    width=256,
    generator=generator,
).images[0]
out = root / "run" / "cpu-auto.png"
image.save(out)

이 출력은 실패와 성공이 한 기록에 섞여 있어서 읽는 순서가 중요합니다. diffusion_pytorch_model.safetensors가 없다는 OSError가 먼저 나오고, 그 뒤에 auto_device와 probe_device가 모두 cpu로 찍힙니다. 이어서 use_safetensors=False로 읽은 파이프라인이 cpu-auto.png를 256×256 RGB로 저장합니다. 앞의 OSError만 보고 로그 전체를 실패로 판단하면 안 됩니다. 실패한 로드와 성공한 로드는 옵션 하나가 다릅니다.

+ /tmp/sdv/bin/python c_cmd.py
+ --- c_cmd.py ---
import importlib.metadata as metadata
import platform
from pathlib import Path

import torch
from diffusers import AutoencoderKL, StableDiffusionPipeline
from diffusers.utils.logging import disable_progress_bar

disable_progress_bar()
root = Path(".").resolve()
model = root / "run" / "models" / "tiny-sd"
print("python", platform.python_version())
print("torch", torch.__version__)
print("cuda", torch.cuda.is_available())
print("diffusers", metadata.version("diffusers"))
print("os", platform.freedesktop_os_release()["PRETTY_NAME"])

try:
    AutoencoderKL.from_pretrained(
        str(model),
        subfolder="vae",
        dtype=torch.float32,
        local_files_only=True,
        use_safetensors=True,
    )
    print("safetensors_load", "unexpected_success")
except OSError as exc:
    print("safetensors_load", "OSError")
    print(exc)

device = "cuda" if torch.cuda.is_available() else "cpu"
probe = torch.zeros(1).to(device)
print("auto_device", device)
print("probe_device", str(probe.device))

pipe = StableDiffusionPipeline.from_pretrained(
    str(model),
    dtype=torch.float32,
    local_files_only=True,
    use_safetensors=False,
)
pipe.set_progress_bar_config(disable=True)
pipe = pipe.to(device)
generator = torch.Generator(device="cpu").manual_seed(0)
image = pipe(
    "a red apple on a wooden table",
    num_inference_steps=1,
    guidance_scale=1.0,
    height=256,
    width=256,
    generator=generator,
).images[0]
out = root / "run" / "cpu-auto.png"
image.save(out)
print("steps", 1)
print("guidance", 1.0)
print("seed", 0)
print("saved", "cpu-auto.png", image.size[0], image.size[1], image.mode)
python 3.12.15
torch 2.14.1+cpu
cuda False
diffusers 0.41.0
os Debian GNU/Linux 13 (trixie)
An error occurred while trying to fetch /home/user/free/run/models/tiny-sd: Error no file named diffusion_pytorch_model.safetensors found in directory /home/user/free/run/models/tiny-sd.
safetensors_load OSError
Error no file named diffusion_pytorch_model.safetensors found in directory /home/user/free/run/models/tiny-sd.
auto_device cpu
probe_device cpu
steps 1
guidance 1.0
seed 0
saved cpu-auto.png 256 256 RGB

캡처 속 모델 폴더 경로와 본문의 /home/user/free 경로가 다른 까닭은 앞쪽 작업 폴더 이름만 바꿨기 때문이고, 누락 파일을 알리는 오류 문장은 같습니다.

캡처에서도 safetensors 누락 오류 다음에 CPU 자동 선택과 저장 결과가 이어집니다. auto_device와 probe_device가 같은 cpu이므로, 고른 장치와 실제 텐서가 놓인 장치가 일치합니다. 마지막 saved 줄까지 읽어야 예외가 난 뒤에도 이미지 생성 경로는 끝까지 갔다는 사실이 보입니다.

자동 선택은 장치를 torch.cuda.is_available()에 맡기므로, cuda가 True인 환경과 False인 환경을 같은 분기로 적을 수 있습니다. 이번 서버에서는 False라서 저장 장치가 cpu 입니다. 그렇다고 장치 자동 선택이 가중치 형식 문제까지 풀어 주지는 않습니다. safetensors를 강제한 VAE 로드는 OSError이고, 저장에 성공한 호출은 use_safetensors=False 입니다. Python 3.12.15, torch 2.14.1+cpu, diffusers 0.41.0, OS Debian GNU/Linux 13 (trixie)는 해결과 점검 출력에 똑같이 남아 있습니다.

가지고 있는 가중치 형식에 따라 달라지는 생성 옵션

여기서 얻은 교훈은 버전보다 파일 형식 쪽에 있습니다. diffusers 0.41.0에서 같은 로컬 스냅샷이라도 use_safetensors=True인 VAE 로드는 파일 누락으로 끝났고, use_safetensors=False인 파이프라인은 저장에 성공했습니다. 이 결과 하나로 버전 간 API 변경이나 폐기를 말하기는 어렵습니다. 그보다는 설치된 버전과 로컬 파일 형식을 늘 같이 기록해 둬야 한다는 근거로 보는 편이 정확합니다. 라이브러리를 올릴 때마다 버전 출력과 가중치 로드 결과를 다시 맞춰 보시기 바랍니다.

배포 설정에서는 models/tiny-sd 경로와 가중치 형식 선택을 한 묶음으로 관리하는 것이 좋습니다. 스냅샷을 바꾸면 VAE를 비롯한 구성 요소가 실제 파일을 가리키는지 확인하고, 형식 옵션도 파일 구성에 맞춰 고쳐야 합니다. 헬스체크 역시 torch.cuda.is_available()만 부르고 끝내면 반쪽짜리입니다. 고른 장치로 텐서를 옮기는 단계와 이미지 저장까지 이어서 검사해야, 장치 선택은 성공했는데 모델 파일 로드에서 멈추는 상황을 따로 잡아낼 수 있습니다.

CPU 고정으로 PNG까지 저장하고, 혼합 배포에는 auto_device 분기

두 경로를 표로 놓고 보면 차이가 생각보다 작습니다. 둘 다 스텝 1과 guidance 1.0을 썼고 결과는 256×256 RGB입니다. 이 서버에서는 자동 선택도 결국 cpu였으니, 표의 차이는 장치 간 성능 차이가 아니라 장치를 정하는 방식의 차이일 뿐입니다.

선택	스크립트	이번 출력
cpu 고정, 스텝 1, guidance 1.0	해결 스크립트	saved cpu-explicit.png 256 256 RGB
장치 자동, 스텝 1, guidance 1.0	점검 스크립트	saved cpu-auto.png 256 256 RGB

이 Debian 13처럼 torch의 cuda가 False인데 예제가 to(“cuda”)를 부르고 있다면, 파일을 바로 남기는 데는 해결 스크립트의 CPU 고정 경로를 권장합니다. 스텝 1과 guidance 1.0으로 256×256 RGB PNG까지 저장되었습니다.

같은 코드를 GPU 서버와 CPU 서버에 함께 배포할 계획이라면 점검 스크립트의 auto_device 분기가 더 맞습니다. 다만 이번 로컬 스냅샷은 use_safetensors=True에서 OSError가 나므로, 저장 호출은 use_safetensors=False로 두어야 합니다. 이번 auto_device는 cpu였고 저장 줄은 saved cpu-auto.png 256 256 RGB입니다.

제 결론은 이렇습니다. 이 서버에서 segmind/tiny-sd는 GPU 없이도 PNG 저장까지 갔습니다. 그러니 운영에 처음 들일 때는 로컬 스냅샷, CPU 고정, 가중치 형식 명시를 하나로 묶어 재현 가능한 점검 구성부터 만드는 편을 권합니다. 배포 단계에서는 가중치 파일과 실행 계정의 출력 경로 접근 권한도 함께 봐야 하고, 헬스체크는 라이브러리 로드가 아니라 장치 점검과 실제 저장 결과로 판정하는 것이 좋습니다. 실시간 서비스가 목표라면 이야기가 달라집니다. CUDA를 쓸 수 있는 GPU 환경이나 별도 추론 서비스를 대안으로 놓고, 목표 응답 시간을 맞추는지 실제 요청으로 재야 합니다. 이번 저장 성공은 처리 속도나 동시 요청 수용 능력을 말해 주지 않습니다. 이 구성은 서버의 실행 경로를 점검하는 출발점으로 쓰는 것이 맞습니다.

더 읽을 문서: PyTorch·Diffusers와 이미지 도구

환경을 맞추면서 열어 본 공식 문서와 모델 카드입니다.

• FLUX.1-schnell 모델 카드
• SDXL base 1.0 모델 카드
• sd-turbo 모델 카드
• tiny-sd 모델 카드
• diffusers 문서와 diffusers 저장소, PyPI diffusers
• PyTorch와 PyTorch 로컬 설치 안내
• Ideogram 공식 문서
• tiny-sd 관련 arXiv 2305.15798

본문은 위 출력을 바탕으로 썼습니다. 글을 만드는 기준은 제작 방식에 적어 두었고, 틀린 곳은 연락처에 남겨 주시면 고칩니다. 이 글에는 제휴 링크가 없습니다.