비교
Parquet과 ORC
Parquet과 ORC는 대규모 분석 데이터를 위한 열 지향 형식입니다. 쿼리 엔진, 기존 플랫폼, 측정한 작업 부하를 기준으로 선택해야 합니다.
어떤 형식을 선택해야 할까요?
이미 사용하는 엔진과 도구가 더 잘 지원하는 형식을 우선하고, 대표 데이터와 쿼리로 시험하세요.
적합한 경우 Parquet
분석용 구조화된 표 저장
- 선택한 열만 읽는 대규모 데이터
적합한 경우 ORC
대규모 구조화된 표를 분석용으로 저장
- 선택한 열과 인덱스를 활용하는 쿼리
기본 정보
| 항목 | Parquet | ORC |
|---|---|---|
| 확장자 | .parquet | .orc |
| MIME 유형 | application/vnd.apache.parquet | application/vnd.apache.orc |
| 주요 용도 | 분석용 구조화된 표 저장 | 대규모 구조화된 표를 분석용으로 저장 |
| 여는 방법 | Parquet 지원 도구로 스키마, 열 유형, 행 수 및 값을 확인하세요. | ORC 지원 도구로 스키마, 열, 행 수, 압축 및 예시 값을 확인하세요. |
| 내보내기 또는 변환 | CSV 등에서 변환할 때 형식, null, 타임스탬프, 인코딩, 파티션 및 행 수를 확인하세요. | Parquet이나 CSV로 바꿀 때 형식, null, 타임스탬프, 소수, 파티션 및 행 수를 확인하세요. |
용도별 선택
선택한 열만 읽는 대규모 데이터
분석용 구조화된 표 저장
Parquet선택한 열과 인덱스를 활용하는 쿼리
대규모 구조화된 표를 분석용으로 저장
ORC핵심 사항 1
둘 다 분석 읽기를 위해 값을 열 단위로 저장합니다.
차이 자세히 보기핵심 사항 2
ORC는 형식 정보와 파일 내부 인덱스를 포함합니다.
차이 자세히 보기차이 자세히 보기
실제 데이터셋으로 읽기 성능, 압축, 스키마 처리, 상호 운용성을 비교하세요. 확장자만 보고 정하지 말고 운영 파이프라인에 맞는 형식을 유지하세요.
- Parquet은 분석 엔진과 데이터 레이크 흐름에서 널리 사용됩니다.
- ORC는 선택적 읽기에 도움이 될 수 있는 인덱스 포함 열 저장을 제공합니다.
- 엔진 지원, 테이블 형식, 쿼리 패턴이 결과에 영향을 줍니다.
자주 묻는 질문
한 형식이 항상 더 빠른가요?
아닙니다. 성능은 엔진, 데이터 형태, 압축 설정, 쿼리에 따라 달라집니다. 목표 작업 부하를 벤치마크하세요.