비교
GGUF와 Safetensors: 추론 배포와 가중치 관리
GGUF는 호환되는 GGML 계열 구현에 추론 모델을 전달합니다. Safetensors는 이름이 있는 텐서를 저장하며 모델 정의와 실행 환경은 별도로 준비합니다.
어떤 형식을 선택해야 할까요?
호환 GGML 계열 환경에서 추론한다면 GGUF를, 호환 모델 구현에서 가중치를 사용한다면 Safetensors를 검토하세요.
적합한 경우 GGUF
호환되는 GGML 런타임용 추론 모델 저장 및 배포 · 모델 정보와 텐서를 한 형식으로 관리
- llama.cpp 등 호환 도구를 이용한 로컬 추론
- 런타임이 지원하는 양자화 또는 비양자화 모델 배포
적합한 경우 Safetensors
머신러닝 텐서 가중치 저장 및 배포 · 지원되는 프레임워크 사이에서 가중치 로드
- 임의의 Python 객체가 아니라 텐서와 기본 메타데이터 교환
- 필요한 텐서만 확인하고 로드하는 작업 흐름
기본 정보
| 항목 | GGUF | Safetensors |
|---|---|---|
| 확장자 | .gguf | .safetensors |
| MIME 유형 | application/octet-stream | application/octet-stream |
| 주요 용도 | 호환되는 GGML 런타임용 추론 모델 저장 및 배포 · 모델 정보와 텐서를 한 형식으로 관리 | 머신러닝 텐서 가중치 저장 및 배포 · 지원되는 프레임워크 사이에서 가중치 로드 |
| 여는 방법 | 모델과 텐서 형식을 지원하는 신뢰할 수 있는 GGUF 로더로 엽니다. 아키텍처, 런타임 버전, 양자화 방식, 분할 파일 또는 보조 파일 필요 여부를 확인하세요. | Safetensors 호환 라이브러리나 모델 도구로 여세요. 지원 도구는 가중치를 장치에 전부 올리기 전에 텐서 이름, dtype, shape를 확인할 수 있습니다. JSON 헤더가 있다고 해서 파일 전체가 JSON 텍스트인 것은 아닙니다. |
| 내보내기 또는 변환 | 원본 모델과 대상 런타임의 변환 절차를 따릅니다. 변환과 양자화는 별도 단계일 수 있습니다. 파일 크기만 보지 말고 대표 입력으로 품질·속도·메모리를 평가하며, 분할 파일과 멀티모달 mmproj 등 필요한 파일을 함께 보관하세요. | 모델 프레임워크가 지원하는 API로 텐서 가중치를 저장하세요. Pickle 기반 입력을 변환할 때 입력을 역직렬화할 수 있으므로 출처를 신뢰할 수 없는 파일을 무심코 로드하지 마세요. 변환 후 텐서 이름, shape, dtype, 요소 수, 모델 출력을 비교하세요. |
용도별 선택
llama.cpp 등 호환 도구를 이용한 로컬 추론
호환되는 GGML 런타임용 추론 모델 저장 및 배포 · 모델 정보와 텐서를 한 형식으로 관리
GGUF런타임이 지원하는 양자화 또는 비양자화 모델 배포
호환되는 GGML 런타임용 추론 모델 저장 및 배포 · 모델 정보와 텐서를 한 형식으로 관리
GGUF임의의 Python 객체가 아니라 텐서와 기본 메타데이터 교환
머신러닝 텐서 가중치 저장 및 배포 · 지원되는 프레임워크 사이에서 가중치 로드
Safetensors필요한 텐서만 확인하고 로드하는 작업 흐름
머신러닝 텐서 가중치 저장 및 배포 · 지원되는 프레임워크 사이에서 가중치 로드
Safetensors핵심 사항 1
GGUF에는 키·값 모델 메타데이터와 텐서 설명이 포함됩니다.
차이 자세히 보기핵심 사항 2
Safetensors는 텐서 이름·dtype·shape·데이터 범위를 기록하며 임의의 추론 코드를 포함하지 않습니다.
차이 자세히 보기차이 자세히 보기
확장자만 바꿔서는 두 형식을 교환할 수 없습니다. 원본을 보관하고 아키텍처와 텐서 유형을 지원하는 변환 도구와 로더를 선택하세요.
- GGUF는 부동소수점과 양자화 텐서 유형을 지원합니다. 양자화는 값을 바꿀 수 있어 단순한 무손실 압축이 아니며 형식 이름만으로 크기나 정밀도를 판단할 수 없습니다.
- 배포 요구에 따라 Safetensors의 설정·토크나이저·분할 색인과 GGUF의 분할·보조 파일을 확인하세요. 같은 입력과 전처리로 출력·메모리·속도를 비교하세요.
자주 묻는 질문
GGUF에서 원래 Safetensors 파일을 완전히 복원할 수 있나요?
보장되지 않습니다. 양자화로 값이 바뀌면 형식 변환만으로 원래 정밀도나 학습 상태를 되찾을 수 없습니다. 원래 가중치와 설정을 보관하세요.