가이드
데이터 분석 및 교환 형식 선택하기
플랫폼과 데이터 유형에 맞춰 열 지향 분석, 스키마 기반 레코드 교환, 사람이 읽기 쉬운 표 데이터를 구분하세요.
어떤 형식을 선택해야 할까요?
작업 흐름에서 파일이 맡는 역할에 따라 선택하세요.
- 열 지향 분석과 데이터 레이크 → Parquet
- 스키마 기반 레코드 교환 → Avro
- Hadoop 생태계의 열 지향 분석 → ORC
- 확인과 간단한 전달 → CSV
분석용 열 지향 형식 선택
Parquet과 ORC는 필요한 열만 읽는 분석 작업에 쓰입니다. 쿼리 엔진과 기존 데이터 플랫폼에 맞춰 선택하세요.
스키마와 변환 결과 확인
Avro는 스키마 기반 레코드 교환에 쓰입니다. 변환할 때 유형, null, 타임스탬프, 소수, 필드명과 호환성을 확인하세요.
고려할 형식
내보내기 전 확인
- 유형, null, 날짜와 문자 인코딩을 확인하세요.
- 개인정보·기밀 열 공유 전 접근 권한과 범위를 검토하세요.
- 대표성 있는 데이터로 읽기 성능과 호환성을 시험하세요.