Comparar
netCDF vs Parquet
netCDF descreve dados científicos com dimensões, variáveis e atributos nomeados para relacionar coordenadas e tempo. Parquet é um formato colunar com grupos de linhas e blocos de colunas, adequado a consultas analíticas que selecionam colunas.
Qual formato você deve escolher?
Escolha netCDF para arrays científicos com tempo, níveis, coordenadas e variáveis relacionadas. Considere Parquet para registros tabulares consultados por colunas específicas.
Indicado para netCDF
Armazenar e trocar dados em matrizes de clima, meteorologia e ciências da Terra
- Descrever dados multidimensionais com dimensões, variáveis e atributos
- Fluxos científicos portáveis com ferramentas compatíveis com netCDF
Indicado para Parquet
Guardar tabelas estruturadas para análise
- Grandes conjuntos lidos por colunas escolhidas
Informações básicas
| Campo | netCDF | Parquet |
|---|---|---|
| Extensão | .nc, .nc4, .cdf | .parquet |
| Tipo MIME | application/vnd.apache.parquet | |
| Usos comuns | Armazenar e trocar dados em matrizes de clima, meteorologia e ciências da Terra | Guardar tabelas estruturadas para análise |
| Como abrir | Use um programa de visualização ou análise ou uma biblioteca compatível com netCDF. Confira variáveis, dimensões, atributos e variante do arquivo. Verifique coordenadas, unidades, calendário, valores ausentes e convenções CF esperadas pelo leitor. | Use ferramenta Parquet para examinar esquema, tipos de coluna, número de linhas e valores. |
| Exportar ou converter | Ao converter para CSV, HDF5, Zarr ou outro formato, confirme se dimensões, tipos, atributos, coordenadas e calendários são preservados. A conversão para o modelo classic pode perder recursos estendidos; CSV não representa plenamente hierarquia, tipos e atributos. | De CSV ou outros formatos, confira tipos, nulos, datas, codificação, partições e quantidade de linhas. |
Escolha por finalidade
Descrever dados multidimensionais com dimensões, variáveis e atributos
Armazenar e trocar dados em matrizes de clima, meteorologia e ciências da Terra
netCDFFluxos científicos portáveis com ferramentas compatíveis com netCDF
Armazenar e trocar dados em matrizes de clima, meteorologia e ciências da Terra
netCDFGrandes conjuntos lidos por colunas escolhidas
Guardar tabelas estruturadas para análise
ParquetPonto principal 1
Variáveis netCDF são arrays associados a dimensões nomeadas e podem ter variáveis de coordenadas e atributos; Parquet localiza blocos de colunas em grupos de linhas por metadados.
Mais sobre as diferençasPonto principal 2
netCDF tem modelos Classic e enhanced; netCDF-4 acrescenta grupos e tipos. Parquet codifica colunas tabulares em páginas e grupos de linhas.
Mais sobre as diferençasMais sobre as diferenças
Use netCDF quando o significado científico depender de dimensões, coordenadas, tempo e unidades. Use Parquet para análise tabular. Na conversão, mapeie explicitamente os dois modelos.
- netCDF associa variáveis N-dimensionais a dimensões, coordenadas e atributos. Parquet organiza dados tabulares em blocos de colunas dentro de grupos de linhas.
- netCDF-4 pode oferecer grupos e tipos ausentes em leitores Classic. Os metadados Parquet localizam colunas para ignorar as que não serão lidas.
- Valide a correspondência entre variável e coluna, dimensões, unidades, coordenadas/CRS, tempo, valores ausentes, tipos, grupos e tipos aninhados. Ajuste compressão e grupos ao padrão de leitura.
Perguntas frequentes
Parquet preserva um conjunto científico netCDF sem mapeamento?
Não. Defina como dimensões, coordenadas, unidades, tempo, valores ausentes e variáveis correspondem a linhas e colunas; depois valide os dados.