비교
netCDF와 Parquet의 차이
netCDF는 이름 있는 차원·변수·속성으로 좌표와 시간을 연결하는 과학 데이터셋을 설명합니다. Parquet는 행 그룹과 열 청크로 나눈 컬럼형 파일로 분석 쿼리의 열 선택에 적합합니다.
어떤 형식을 선택해야 할까요?
시간, 고도층, 좌표와 여러 관련 변수가 있는 과학 배열은 netCDF를 선택하세요. 특정 열을 조회하는 표 형식 레코드에는 Parquet를 검토하세요.
적합한 경우 netCDF
기후·기상·지구과학의 배열 데이터를 저장하고 교환
- 차원·변수·속성으로 다차원 데이터를 설명
- netCDF 도구를 이용한 이식성 있는 과학 데이터 작업
적합한 경우 Parquet
분석용 구조화된 표 저장
- 선택한 열만 읽는 대규모 데이터
기본 정보
| 항목 | netCDF | Parquet |
|---|---|---|
| 확장자 | .nc, .nc4, .cdf | .parquet |
| MIME 유형 | application/vnd.apache.parquet | |
| 주요 용도 | 기후·기상·지구과학의 배열 데이터를 저장하고 교환 | 분석용 구조화된 표 저장 |
| 여는 방법 | netCDF 지원 시각화·분석 도구나 라이브러리를 사용합니다. 변수, 차원, 속성, 파일 변형을 확인하고 좌표 변수, 단위, 달력, 결측값 및 CF 규약을 점검하세요. | Parquet 지원 도구로 스키마, 열 유형, 행 수 및 값을 확인하세요. |
| 내보내기 또는 변환 | CSV, HDF5, Zarr 등으로 변환할 때 차원, 변수형, 속성, 좌표, 시간 달력이 보존되는지 확인합니다. Classic 모델로 바꾸면 확장 기능이 손실될 수 있고 CSV는 계층·형·속성을 모두 표현하지 못합니다. | CSV 등에서 변환할 때 형식, null, 타임스탬프, 인코딩, 파티션 및 행 수를 확인하세요. |
용도별 선택
차원·변수·속성으로 다차원 데이터를 설명
기후·기상·지구과학의 배열 데이터를 저장하고 교환
netCDFnetCDF 도구를 이용한 이식성 있는 과학 데이터 작업
기후·기상·지구과학의 배열 데이터를 저장하고 교환
netCDF선택한 열만 읽는 대규모 데이터
분석용 구조화된 표 저장
Parquet핵심 사항 1
netCDF 변수는 이름 있는 차원에 연결된 배열이며 좌표 변수와 속성을 가질 수 있습니다. Parquet는 파일 메타데이터로 행 그룹 내 열 청크 위치를 찾습니다.
차이 자세히 보기핵심 사항 2
netCDF에는 Classic과 확장 모델이 있고 netCDF-4는 그룹과 추가 자료형을 지원합니다. Parquet는 페이지와 행 그룹으로 표 열을 인코딩합니다.
차이 자세히 보기차이 자세히 보기
과학적 의미가 배열 차원·좌표·시간·단위에 달리면 netCDF를 사용하세요. 표 분석에는 Parquet가 적합합니다. 변환할 때 구조를 암묵적으로 평탄화하지 말고 명시적으로 매핑하세요.
- netCDF는 N차원 변수를 이름 있는 차원·좌표·속성에 연결합니다. Parquet는 표 데이터를 행 그룹 안의 열 청크로 구성합니다.
- netCDF-4 그룹 및 자료형은 Classic 읽기 도구에서 지원되지 않을 수 있습니다. Parquet 메타데이터를 통해 필요한 열만 읽을 수 있습니다.
- 변환 시 변수와 열의 대응, 차원, 단위, 좌표 및 CRS, 시간, 결측값, 자료형, 그룹과 중첩 자료형을 확인하고 읽기 패턴에 맞게 압축과 행 그룹을 조정하세요.
자주 묻는 질문
매핑 없이 Parquet가 netCDF 과학 데이터셋을 보존할 수 있나요?
아니요. 차원, 좌표, 단위, 시간, 결측값과 변수가 행·열에 어떻게 대응하는지 정의한 뒤 변환 데이터를 검증해야 합니다.