비교
Avro와 ORC 비교
Avro는 스키마가 있는 레코드 교환에 자주 쓰입니다. ORC는 분석 읽기를 위해 타입이 있는 데이터를 열 단위로 저장합니다.
어떤 형식을 선택해야 할까요?
레코드 중심 파이프라인에는 Avro를, 필요한 열을 읽는 지원 분석 시스템에는 ORC를 고려하세요.
적합한 경우 Avro
정의된 스키마로 레코드 교환
- 스키마 버전을 관리하는 이벤트와 데이터 파이프라인
적합한 경우 ORC
대규모 구조화된 표를 분석용으로 저장
- 선택한 열과 인덱스를 활용하는 쿼리
기본 정보
| 항목 | Avro | ORC |
|---|---|---|
| 확장자 | .avro | .orc |
| MIME 유형 | application/avro | application/vnd.apache.orc |
| 주요 용도 | 정의된 스키마로 레코드 교환 | 대규모 구조화된 표를 분석용으로 저장 |
| 여는 방법 | Avro 지원 도구로 스키마, 필드, 형식 및 레코드를 확인하세요. | ORC 지원 도구로 스키마, 열, 행 수, 압축 및 예시 값을 확인하세요. |
| 내보내기 또는 변환 | JSON이나 Parquet으로 변환할 때 필드명, 형식, null, 논리 유형, 레코드 수 및 스키마 호환성을 확인하세요. | Parquet이나 CSV로 바꿀 때 형식, null, 타임스탬프, 소수, 파티션 및 행 수를 확인하세요. |
용도별 선택
스키마 버전을 관리하는 이벤트와 데이터 파이프라인
정의된 스키마로 레코드 교환
Avro선택한 열과 인덱스를 활용하는 쿼리
대규모 구조화된 표를 분석용으로 저장
ORC핵심 사항 1
Avro는 레코드와 스키마를 중심으로 합니다.
차이 자세히 보기핵심 사항 2
ORC는 분석용 열 저장과 인덱스를 사용합니다.
차이 자세히 보기차이 자세히 보기
처리 방식과 대상 플랫폼 도구에 따라 선택하세요. 스키마 처리와 대표 쿼리를 시험하세요.
- Avro는 레코드 직렬화와 교환에 맞습니다.
- ORC는 열 중심 분석 읽기를 위해 설계됐습니다.
- 보편적 순위보다 엔진 지원과 작업 부하가 중요합니다.
자주 묻는 질문
이벤트 파이프라인에서 ORC가 Avro를 바로 대신하나요?
그렇지 않습니다. 파이프라인이 레코드 메시지와 열식 분석 파일 중 무엇을 기대하는지 확인하세요.