비교
Parquet와 Zarr의 차이
Apache Parquet는 테이블을 행 그룹과 열 청크로 나눈 파일에 저장합니다. Zarr는 다차원 배열을 청크로 분할하고 메타데이터와 함께 저장소에 보관합니다.
어떤 형식을 선택해야 할까요?
분석 쿼리에서 필요한 열을 선택해 읽는 테이블 데이터에는 Parquet를 선택하세요. 객체 저장소에서 큰 다차원 배열을 청크 단위로 읽으려면 Zarr를 검토하세요.
적합한 경우 Parquet
분석용 구조화된 표 저장
- 선택한 열만 읽는 대규모 데이터
적합한 경우 Zarr
대규모 다차원 배열을 청크 단위로 저장하고 교환 · 클라우드 객체 저장소의 과학 데이터 사용
- 큰 배열의 필요한 영역만 효율적으로 읽기
- 호환 도구 간 분할 데이터 공유
기본 정보
| 항목 | Parquet | Zarr |
|---|---|---|
| 확장자 | .parquet | .zarr |
| MIME 유형 | application/vnd.apache.parquet | |
| 주요 용도 | 분석용 구조화된 표 저장 | 대규모 다차원 배열을 청크 단위로 저장하고 교환 · 클라우드 객체 저장소의 과학 데이터 사용 |
| 여는 방법 | Parquet 지원 도구로 스키마, 열 유형, 행 수 및 값을 확인하세요. | Zarr 지원 라이브러리나 분석 도구로 엽니다. 버전, 배열 모양, 청크 격자, codec, 속성을 확인하고 로컬 디렉터리 전체나 필요한 객체 키를 보존하세요. |
| 내보내기 또는 변환 | CSV 등에서 변환할 때 형식, null, 타임스탬프, 인코딩, 파티션 및 행 수를 확인하세요. | netCDF나 HDF5에서 변환할 때 차원, 유형, 청크, 속성, 좌표 규약을 확인합니다. 원본을 보존하고 변환 후 값을 검증하세요. |
용도별 선택
선택한 열만 읽는 대규모 데이터
분석용 구조화된 표 저장
Parquet큰 배열의 필요한 영역만 효율적으로 읽기
대규모 다차원 배열을 청크 단위로 저장하고 교환 · 클라우드 객체 저장소의 과학 데이터 사용
Zarr호환 도구 간 분할 데이터 공유
대규모 다차원 배열을 청크 단위로 저장하고 교환 · 클라우드 객체 저장소의 과학 데이터 사용
Zarr핵심 사항 1
Parquet 행 그룹에는 파일 메타데이터가 위치를 가리키는 열 청크가 있습니다. Zarr는 배열 형태·자료형·청크 격자·코덱 등의 메타데이터와 인코딩된 청크를 저장합니다.
차이 자세히 보기핵심 사항 2
Parquet는 테이블의 행과 열 중심이고 Zarr는 N차원 배열의 축과 청크 중심입니다.
차이 자세히 보기차이 자세히 보기
선택 열을 읽는 표 분석은 Parquet를 사용하세요. 큰 배열의 청크 접근에는 Zarr를 사용하고, 실제 쿼리와 저장 방식에 맞게 행 그룹이나 청크 크기를 조정하세요.
- Parquet 메타데이터는 행 그룹 안의 열 청크 위치를 기록합니다. Zarr 메타데이터는 배열 모양·형식·청크 격자·코덱을 설명하고 청크는 별도 키로 저장합니다.
- Parquet는 표의 행과 열을, Zarr는 배열 차원과 청크를 나타냅니다. 성능은 레이아웃과 읽기 패턴의 일치에 좌우됩니다.
- 변환 시 행·열·차원의 대응, 자료형, null/결측값, 단위, 시간·좌표 메타데이터, 코덱과 읽기 성능을 확인하세요. Zarr는 모든 메타데이터와 청크 키를 함께 옮겨야 합니다.
자주 묻는 질문
Parquet와 Zarr를 서로 바로 대체할 수 있나요?
아니요. 하나는 테이블, 다른 하나는 다차원 배열을 모델링하므로 차원·형식·결측값·메타데이터를 명시적으로 매핑해야 합니다.