데이터
Avro 파일이란?
Apache Avro는 JSON으로 표현 가능한 스키마에 따라 레코드를 직렬화합니다. 레코드, 배열, 맵, 유니온을 지원하며 읽기와 쓰기 쪽의 스키마가 호환되어야 합니다.
.avro스키마 기반 레코드 데이터
이 형식을 선택할 때
- 스키마 버전을 관리하는 이벤트와 데이터 파이프라인
이 형식을 피할 때
- 대규모 데이터의 선택 열 분석 읽기
주요 용도
- 정의된 스키마로 레코드 교환
특징
- 스키마 기반 직렬화
- 레코드, 배열, 맵, 유니온 지원
장점과 단점
장점
- 스키마를 관리하는 데이터 교환에 유용
- 레코드 중심 파이프라인에 적합
단점
- 바이너리 데이터를 텍스트로 바로 읽을 수 없음
- 스키마 변경 시 호환성 검사 필요
열기 및 변환
여는 방법
Avro 지원 도구로 스키마, 필드, 형식 및 레코드를 확인하세요.
변환 방법
JSON이나 Parquet으로 변환할 때 필드명, 형식, null, 논리 유형, 레코드 수 및 스키마 호환성을 확인하세요.
주의 사항
- 생산자나 소비자를 변경하기 전에 스키마 발전 규칙을 합의하세요.
- 각 데이터셋에 해당하는 스키마 버전을 기록하세요.
자주 묻는 질문
Avro와 JSON은 어떻게 다른가요?
Avro는 명시적인 스키마로 데이터를 직렬화하고 JSON은 읽기 쉬운 텍스트 표현입니다.