Format Atlas

Guias

Escolha um formato para análise e troca de dados

Diferencie análise colunar, troca de registros com esquema e tabelas legíveis, conforme a plataforma e os tipos de dados.

Qual formato você deve escolher?

Escolha conforme a função de cada arquivo no fluxo de trabalho.

  • Análise colunar e data lakes → Parquet
  • Troca de registros com esquema → Avro
  • Análise colunar em ecossistemas Hadoop → ORC
  • Inspeção e troca simples → CSV

Escolha um formato colunar para análise

Parquet e ORC são usados em análises que leem colunas selecionadas. Combine o formato com o mecanismo de consulta e a plataforma de dados existente.

Confira esquemas e resultados da conversão

Avro é usado para troca de registros com esquema. Ao converter, verifique tipos, nulos, datas, decimais, nomes de campos e compatibilidade.

Formatos a considerar

Parquet

Indicado para: Análise colunar de grandes conjuntos tabulares

Menos indicado para: Ler o conteúdo diretamente como texto

Avro

Indicado para: Troca de registros com esquema

Menos indicado para: Agregações focadas em colunas

ORC

Indicado para: Armazenar dados para plataformas analíticas com tipos e índices

Menos indicado para: Compartilhamento informal como texto legível

CSV

Indicado para: Troca de tabelas fáceis de inspecionar

Menos indicado para: Preservar tipos complexos ou otimizar análises em larga escala

Antes de exportar

  • Verifique tipos, nulos, datas e codificação de caracteres.
  • Revise acesso e escopo ao compartilhar colunas pessoais ou confidenciais.
  • Teste desempenho e compatibilidade com dados representativos.

Comparações relacionadas

Parquet vs ORCParquet e ORC são formatos colunares para dados analíticos em grande escala. A escolha depende do mecanismo de consulta, da plataforma existente e da carga medida.Avro vs ParquetAvro serializa registros regidos por esquema; Parquet armazena dados por colunas para grandes leituras analíticas. Escolha pelo modo de escrita e consulta.Avro vs ORCAvro costuma trocar registros definidos por esquema. ORC armazena dados tipados por colunas para leitura analítica.CSV vs JSONCSV representa registros tabulares; JSON representa valores estruturados, como objetos e arrays. Escolha conforme o formato dos dados e o sistema receptor.

Guias

Escolher um formato de troca de dadosComece pela especificação do sistema receptor. Use JSON para dados estruturados de API, XML quando a integração exigir schema e CSV para uma tabela única.Verificações antes de entregar arrays científicosEntregue arrays netCDF, HDF5 ou Zarr com significado, dependências e requisitos de leitura. Diferentemente da escolha de um formato tabular, é preciso verificar dimensões e valores ausentes.

Referências e especificações