Comparar
Parquet vs ORC
Parquet e ORC são formatos colunares para dados analíticos em grande escala. A escolha depende do mecanismo de consulta, da plataforma existente e da carga medida.
Qual formato você deve escolher?
Prefira o formato com melhor suporte nos mecanismos e ferramentas já usados e teste dados e consultas representativos.
Indicado para Parquet
Guardar tabelas estruturadas para análise
- Grandes conjuntos lidos por colunas escolhidas
Indicado para ORC
Guardar grandes tabelas estruturadas para análise
- Consultas que leem colunas escolhidas e usam índices
Informações básicas
| Campo | Parquet | ORC |
|---|---|---|
| Extensão | .parquet | .orc |
| Tipo MIME | application/vnd.apache.parquet | application/vnd.apache.orc |
| Usos comuns | Guardar tabelas estruturadas para análise | Guardar grandes tabelas estruturadas para análise |
| Como abrir | Use ferramenta Parquet para examinar esquema, tipos de coluna, número de linhas e valores. | Use ferramenta ORC para conferir esquema, colunas, linhas, compressão e valores de exemplo. |
| Exportar ou converter | De CSV ou outros formatos, confira tipos, nulos, datas, codificação, partições e quantidade de linhas. | Ao converter para Parquet ou CSV, confira tipos, nulos, datas, decimais, partições e linhas. |
Escolha por finalidade
Grandes conjuntos lidos por colunas escolhidas
Guardar tabelas estruturadas para análise
ParquetConsultas que leem colunas escolhidas e usam índices
Guardar grandes tabelas estruturadas para análise
ORCPonto principal 1
Ambos armazenam valores por coluna para leituras analíticas.
Mais sobre as diferençasPonto principal 2
ORC inclui informações de tipo e índices no arquivo.
Mais sobre as diferençasMais sobre as diferenças
Compare desempenho de leitura, compressão, tratamento de esquema e interoperabilidade com conjuntos reais. Mantenha o formato que se encaixa no fluxo de produção, não um escolhido apenas pela extensão.
- Parquet é amplamente usado em mecanismos analíticos e fluxos de data lake.
- ORC oferece armazenamento colunar com índices que podem ajudar leituras seletivas.
- Suporte do mecanismo, formato de tabela e padrões de consulta afetam o resultado.
Perguntas frequentes
Um formato é sempre mais rápido?
Não. O desempenho depende do mecanismo, da forma dos dados, da compressão e das consultas. Meça a carga planejada.