Comparar
NPZ versus HDF5: conjuntos de arrays e leitura parcial
NPZ reúne arrays NPY nomeados em ZIP. HDF5 organiza grupos, conjuntos de dados e atributos em uma hierarquia.
Qual formato você deve escolher?
Use NPZ para trocar arrays com NumPy; considere HDF5 para leituras parciais repetidas ou organização hierárquica.
Indicado para NPZ
Agrupar vários arrays NumPy em um arquivo ZIP · Passar arrays nomeados entre fluxos científicos baseados em NumPy
- Guardar vários arrays em um arquivo
- Escolher membros ZIP sem compressão ou comprimidos conforme necessário
Indicado para HDF5
Armazenar grandes dados científicos e técnicos de forma hierárquica · Manter matrizes multidimensionais e metadados relacionados em um contêiner
- Organizar dados complexos com grupos, conjuntos de dados e atributos
- Fluxos científicos que precisam de acesso parcial ou compressão por conjunto
Informações básicas
| Campo | NPZ | HDF5 |
|---|---|---|
| Extensão | .npz | .h5, .hdf5 |
| Tipo MIME | application/zip | |
| Usos comuns | Agrupar vários arrays NumPy em um arquivo ZIP · Passar arrays nomeados entre fluxos científicos baseados em NumPy | Armazenar grandes dados científicos e técnicos de forma hierárquica · Manter matrizes multidimensionais e metadados relacionados em um contêiner |
| Como abrir | Abra com NumPy `load` ou uma ferramenta compatível, confira os nomes e carregue os arrays necessários. Feche o `NpzFile` ao terminar e verifique pickle em arquivos desconhecidos que possam conter arrays object. | Use um visualizador ou programa de análise compatível com HDF5, ou uma biblioteca. Examine a hierarquia, dimensões e tipos dos conjuntos, atributos e filtros. Consulte a documentação de origem, pois cada aplicação pode definir convenções próprias. |
| Exportar ou converter | Salve vários arrays com `savez` ou `savez_compressed`. Confirme se os membros estão sem compressão ou usam DEFLATE e verifique nomes, dtype e shape. Compare arrays e valores após converter. | Antes de converter para CSV, Parquet, FITS ou outro formato, planeje como mapear hierarquia, dimensões e tipos, atributos, unidades e coordenadas. Algumas estruturas ou metadados podem não caber no destino; mantenha o original e compare os dados. |
Escolha por finalidade
Guardar vários arrays em um arquivo
Agrupar vários arrays NumPy em um arquivo ZIP · Passar arrays nomeados entre fluxos científicos baseados em NumPy
NPZEscolher membros ZIP sem compressão ou comprimidos conforme necessário
Agrupar vários arrays NumPy em um arquivo ZIP · Passar arrays nomeados entre fluxos científicos baseados em NumPy
NPZOrganizar dados complexos com grupos, conjuntos de dados e atributos
Armazenar grandes dados científicos e técnicos de forma hierárquica · Manter matrizes multidimensionais e metadados relacionados em um contêiner
HDF5Fluxos científicos que precisam de acesso parcial ou compressão por conjunto
Armazenar grandes dados científicos e técnicos de forma hierárquica · Manter matrizes multidimensionais e metadados relacionados em um contêiner
HDF5Ponto principal 1
NPZ seleciona membros nomeados do arquivo, um por array.
Mais sobre as diferençasPonto principal 2
HDF5 permite selecionar regiões dentro de um conjunto de dados.
Mais sobre as diferençasMais sobre as diferenças
NPZ carrega membros sob demanda; numpy.load não lê diretamente trechos arbitrários dentro de membros comprimidos. HDF5 nem sempre é mais rápido: teste as seleções e os formatos de blocos reais.
- savez não comprime; savez_compressed usa DEFLATE. A compressão HDF5 é opcional. Em dados divididos em blocos, solicitar um elemento envolve o bloco inteiro.
- Atributos HDF5 podem registrar unidades, mas seu significado exige acordo. Confira nomes, dtype, shape, ordem dos eixos, valores e filtros necessários na migração. Não habilite pickle para arrays object de NPZ não confiáveis.
Perguntas frequentes
Converter NPZ para HDF5 preserva automaticamente o significado?
Não há garantia. Defina o mapeamento de arrays para grupos e as convenções de unidades e valores ausentes; verifique os valores convertidos.