Format Atlas

Guias

Verificações antes de entregar arrays científicos

Entregue arrays netCDF, HDF5 ou Zarr com significado, dependências e requisitos de leitura. Diferentemente da escolha de um formato tabular, é preciso verificar dimensões e valores ausentes.

Qual formato você deve escolher?

Escolha conforme a função de cada arquivo no fluxo de trabalho.

  • Documentar o significado
  • Reunir a unidade de distribuição
  • Comparar no destino

Documentar o significado

Registre variáveis, tipos, ordem das dimensões, coordenadas, unidades e convenções temporais. Não confunda valores ausentes ou de preenchimento com zero. Com scale_factor e add_offset, diferencie valores armazenados e decodificados.

Reunir a unidade de distribuição

Confira variante netCDF, destinos de links externos e filtros HDF5, versão e codecs Zarr. Inclua metadados e chunks necessários; diferencie chunks intencionalmente não armazenados, regidos por fill_value, de omissões na transferência.

Comparar no destino

Entregue uma versão com gravação concluída e leia fatias de amostra com a biblioteca de destino. Compare shape, ordem dos eixos, atributos, máscaras e valores decodificados com a origem. Registre tolerâncias de arredondamento ou perdas.

Formatos a considerar

netCDF

Indicado para: Trocar dimensões, variáveis e atributos com ferramentas compatíveis

Menos indicado para: Deduzir o formato interno apenas pela extensão

HDF5

Indicado para: Organizar grupos e arrays hierarquicamente

Menos indicado para: Omitir destinos externos ou filtros necessários

Zarr

Indicado para: Gerenciar chunks de arrays em um armazenamento

Menos indicado para: Copiar apenas metadados e considerar a transferência completa

Antes de exportar

  • Mantenha originais e parâmetros. Checksums iguais verificam a transferência, não as unidades ou a interpretação científica.
  • Atributos e coordenadas podem conter informações confidenciais. Não inclua credenciais do armazenamento em arquivos compartilhados; confira permissões.

Comparações relacionadas

HDF5 vs netCDFHDF5 é um contêiner geral para dados hierárquicos; netCDF oferece um modelo e APIs para dados científicos. netCDF-4 usa HDF5 como base, mas um arquivo HDF5 qualquer não é necessariamente legível como netCDF-4.HDF5 vs ZarrHDF5 organiza grupos e datasets hierarquicamente em um contêiner geral. Zarr representa arrays multidimensionais em blocos e metadados como chaves separadas em um armazenamento, incluindo sistemas de arquivos e objetos.netCDF vs ZarrnetCDF oferece um modelo científico com dimensões, variáveis e atributos em vários formatos de arquivo. Zarr especifica arrays multidimensionais em blocos armazenados em sistemas chave-valor. A escolha depende das ferramentas, do armazenamento e do acesso.NPZ versus HDF5: conjuntos de arrays e leitura parcialNPZ reúne arrays NPY nomeados em ZIP. HDF5 organiza grupos, conjuntos de dados e atributos em uma hierarquia.

Guias

Escolha um formato para análise e troca de dadosDiferencie análise colunar, troca de registros com esquema e tabelas legíveis, conforme a plataforma e os tipos de dados.Verificações antes de entregar dados GISCombine camadas, sistemas de referência, atributos e software de destino. Além do formato, verifique posições e informações preservadas após a conversão.

Referências e especificações