Format Atlas

가이드

과학 배열 데이터 전달 전 확인 절차

netCDF, HDF5, Zarr 배열을 의미, 의존 파일과 읽기 조건까지 맞춰 전달합니다. 표 형식 선택과 달리 차원과 결측값 해석을 검증해야 합니다.

어떤 형식을 선택해야 할까요?

작업 흐름에서 파일이 맡는 역할에 따라 선택하세요.

  • 배열의 의미 기록하기
  • 배포 단위 갖추기
  • 받는 쪽에서 값 대조하기

배열의 의미 기록하기

변수 이름, 유형, 차원 순서, 좌표, 단위와 시간 규칙을 기록합니다. 결측값이나 채움 값을 0과 같게 취급하지 않습니다. scale_factor와 add_offset을 쓰면 저장 값과 디코딩한 값을 구분합니다.

배포 단위 갖추기

netCDF 내부 형식, HDF5 외부 링크 대상과 필터, Zarr 버전과 codec을 확인합니다. 필요한 Zarr 메타데이터와 청크를 포함하고, fill_value로 처리하는 의도적인 미저장 청크와 전송 누락을 구분합니다.

받는 쪽에서 값 대조하기

쓰기가 완료된 버전을 전달하고 받는 쪽 라이브러리로 대표 슬라이스를 읽습니다. 형태, 축 순서, 속성, 결측 마스크와 디코딩한 값을 원본과 비교합니다. 반올림이나 손실 변환의 허용 오차를 기록합니다.

고려할 형식

netCDF

적합한 용도: 호환 과학 도구로 차원·변수·속성 전달

적합하지 않은 용도: 확장자만으로 내부 형식 판단

HDF5

적합한 용도: 그룹과 배열을 계층으로 관리

적합하지 않은 용도: 외부 링크 대상이나 필수 필터 생략

Zarr

적합한 용도: 저장소에서 배열 청크 관리

적합하지 않은 용도: 메타데이터만 복사하고 전달 완료로 판단

내보내기 전 확인

  • 원본과 변환 설정을 보관합니다. 체크섬 일치는 전송을 확인할 뿐 단위나 과학적 해석의 정확성을 보장하지 않습니다.
  • 속성과 좌표에 기밀 정보가 담길 수 있습니다. 공유 파일에 저장소 인증 정보를 넣지 말고 접근 권한을 확인합니다.

관련 비교

HDF5와 netCDF 비교HDF5는 계층형 데이터를 위한 범용 컨테이너이고, netCDF는 과학 데이터 모델과 API를 제공합니다. netCDF-4는 HDF5를 저장 기반으로 사용하지만 모든 HDF5 파일을 netCDF-4로 읽을 수 있는 것은 아닙니다.HDF5와 Zarr 비교HDF5는 범용 컨테이너 안에 그룹과 데이터셋을 계층적으로 구성합니다. Zarr는 다차원 청크 배열과 메타데이터를 저장소의 별도 키로 표현하며 파일 시스템 및 객체 저장소 사용을 고려합니다.netCDF와 Zarr 비교netCDF는 차원·변수·속성을 가진 과학 데이터 모델을 여러 파일 형식으로 제공합니다. Zarr는 키-값 저장소에 저장되는 다차원 청크 배열을 규정합니다. 적합한 형식은 도구, 저장 위치, 접근 방식에 따라 다릅니다.NPZ와 HDF5: 배열 묶음과 부분 읽기NPZ는 이름이 있는 NPY 배열을 ZIP으로 묶습니다. HDF5는 그룹, 데이터셋, 속성을 계층으로 관리합니다.

가이드

데이터 분석 및 교환 형식 선택하기플랫폼과 데이터 유형에 맞춰 열 지향 분석, 스키마 기반 레코드 교환, 사람이 읽기 쉬운 표 데이터를 구분하세요.GIS 데이터 전달 전 확인 절차레이어, 좌표 참조계, 속성과 받는 쪽 소프트웨어를 확인합니다. 형식 선택뿐 아니라 변환 후 위치와 정보 보존도 검증합니다.

참고 자료 및 사양