비교
HDF5와 Zarr 비교
HDF5는 범용 컨테이너 안에 그룹과 데이터셋을 계층적으로 구성합니다. Zarr는 다차원 청크 배열과 메타데이터를 저장소의 별도 키로 표현하며 파일 시스템 및 객체 저장소 사용을 고려합니다.
어떤 형식을 선택해야 할까요?
기존 HDF5 파일, 이종 계층 데이터, HDF5 지원 도구가 중요하면 HDF5를 우선하세요. 객체 저장소에서 배열 청크를 독립적으로 읽고 쓸 때는 Zarr를 고려하고 버전과 코덱을 실제 환경에서 시험하세요.
적합한 경우 HDF5
대규모 과학·기술 데이터를 계층적으로 저장 · 다차원 배열과 관련 메타데이터를 하나의 컨테이너에 보관
- 그룹·데이터셋·속성으로 복잡한 데이터를 구성
- 부분 입출력이나 데이터셋별 압축이 필요한 과학 작업
적합한 경우 Zarr
대규모 다차원 배열을 청크 단위로 저장하고 교환 · 클라우드 객체 저장소의 과학 데이터 사용
- 큰 배열의 필요한 영역만 효율적으로 읽기
- 호환 도구 간 분할 데이터 공유
기본 정보
| 항목 | HDF5 | Zarr |
|---|---|---|
| 확장자 | .h5, .hdf5 | .zarr |
| MIME 유형 | ||
| 주요 용도 | 대규모 과학·기술 데이터를 계층적으로 저장 · 다차원 배열과 관련 메타데이터를 하나의 컨테이너에 보관 | 대규모 다차원 배열을 청크 단위로 저장하고 교환 · 클라우드 객체 저장소의 과학 데이터 사용 |
| 여는 방법 | HDF5 지원 시각화·분석 소프트웨어나 라이브러리로 열고 그룹 구조, 데이터셋의 형태와 유형, 속성, 필터를 확인합니다. 응용 프로그램별 규약이 있을 수 있으므로 생성자 문서도 확인하세요. | Zarr 지원 라이브러리나 분석 도구로 엽니다. 버전, 배열 모양, 청크 격자, codec, 속성을 확인하고 로컬 디렉터리 전체나 필요한 객체 키를 보존하세요. |
| 내보내기 또는 변환 | CSV, Parquet, FITS 등으로 변환하기 전에 계층, 배열 차원과 유형, 속성, 단위, 좌표를 어떻게 옮길지 정합니다. 대상 형식이 일부 구조나 메타데이터를 표현하지 못할 수 있으므로 원본을 보관하고 비교하세요. | netCDF나 HDF5에서 변환할 때 차원, 유형, 청크, 속성, 좌표 규약을 확인합니다. 원본을 보존하고 변환 후 값을 검증하세요. |
용도별 선택
그룹·데이터셋·속성으로 복잡한 데이터를 구성
대규모 과학·기술 데이터를 계층적으로 저장 · 다차원 배열과 관련 메타데이터를 하나의 컨테이너에 보관
HDF5부분 입출력이나 데이터셋별 압축이 필요한 과학 작업
대규모 과학·기술 데이터를 계층적으로 저장 · 다차원 배열과 관련 메타데이터를 하나의 컨테이너에 보관
HDF5큰 배열의 필요한 영역만 효율적으로 읽기
대규모 다차원 배열을 청크 단위로 저장하고 교환 · 클라우드 객체 저장소의 과학 데이터 사용
Zarr호환 도구 간 분할 데이터 공유
대규모 다차원 배열을 청크 단위로 저장하고 교환 · 클라우드 객체 저장소의 과학 데이터 사용
Zarr핵심 사항 1
HDF5는 파일 안에 그룹, 데이터셋, 속성을 저장합니다. Zarr는 배열/그룹 메타데이터와 청크 데이터를 저장소 키에 연결합니다.
차이 자세히 보기핵심 사항 2
HDF5는 선택적 청킹·압축을 갖춘 범용 계층 모델입니다. Zarr는 N차원 배열, 청크 그리드, 코덱, 저장 키를 규격화합니다.
차이 자세히 보기차이 자세히 보기
파일 기반 계층 구조와 기존 HDF5 앱이 중요하면 HDF5를 선택하세요. 저장소에서 청크별 읽기·쓰기가 유리한 워크플로에는 Zarr를 고려하고 실제 접근 패턴과 백엔드로 측정하세요.
- HDF5는 그룹, 데이터셋, 속성을 파일에 저장합니다. Zarr는 메타데이터 문서와 인코딩된 청크를 별도 저장 키로 저장합니다.
- HDF5는 범용 데이터 모델과 설정 가능한 레이아웃을 제공합니다. Zarr는 청크 배열, 그리드, 코덱, 키 생성 방식을 명세합니다.
- 부분 읽기 성능은 청크 모양, 접근 패턴, 캐시, 백엔드에 좌우됩니다. 이전 시 자료형, 결측값, 속성, 코덱, 청킹, 병렬 접근을 검증하세요.
자주 묻는 질문
부분 배열 읽기에서 Zarr가 항상 HDF5보다 빠른가요?
아닙니다. 청크 모양, 작업 부하, 캐시, 구현, 저장소에 따라 다르므로 대표적인 접근을 시험하세요.