Comparar
NPZ frente a HDF5: conjuntos de matrices y lectura parcial
NPZ reúne matrices NPY con nombre en ZIP. HDF5 organiza grupos, conjuntos de datos y atributos en una jerarquía.
¿Qué formato deberías elegir?
Use NPZ para intercambiar matrices con NumPy; considere HDF5 para lecturas parciales repetidas o una organización jerárquica.
Adecuado para NPZ
Agrupar varios arreglos NumPy en un archivo ZIP · Pasar arreglos con nombre entre flujos científicos basados en NumPy
- Guardar varios arreglos en un archivo
- Elegir miembros ZIP sin comprimir o comprimidos según convenga
Adecuado para HDF5
Almacenar jerárquicamente grandes conjuntos de datos científicos y técnicos · Mantener matrices multidimensionales y metadatos relacionados en un contenedor
- Organizar datos complejos con grupos, conjuntos de datos y atributos
- Flujos científicos que requieren acceso parcial o compresión por conjunto
Información básica
| Campo | NPZ | HDF5 |
|---|---|---|
| Extensión | .npz | .h5, .hdf5 |
| Tipo MIME | application/zip | |
| Usos habituales | Agrupar varios arreglos NumPy en un archivo ZIP · Pasar arreglos con nombre entre flujos científicos basados en NumPy | Almacenar jerárquicamente grandes conjuntos de datos científicos y técnicos · Mantener matrices multidimensionales y metadatos relacionados en un contenedor |
| Cómo abrir | Ábrelo con NumPy `load` o una herramienta compatible, revisa los nombres y carga los arreglos necesarios. Cierra `NpzFile` al terminar y revisa pickle en archivos desconocidos con posibles arreglos object. | Usa un programa de visualización o análisis, o una biblioteca compatible con HDF5. Examina la jerarquía de grupos, formas y tipos de los conjuntos, atributos y filtros. Consulta la documentación de origen, pues cada aplicación puede definir sus propias convenciones. |
| Exportar o convertir | Guarda varios arreglos con `savez` o `savez_compressed`. Confirma si los miembros están sin comprimir o usan DEFLATE y revisa nombres, dtype y shape. Compara arreglos y valores tras convertir. | Antes de convertir a CSV, Parquet, FITS u otro formato, determina cómo trasladar jerarquía, dimensiones y tipos, atributos, unidades y coordenadas. Algunas estructuras o metadatos podrían no caber en el destino; conserva el original y compara los datos. |
Elegir según el uso
Guardar varios arreglos en un archivo
Agrupar varios arreglos NumPy en un archivo ZIP · Pasar arreglos con nombre entre flujos científicos basados en NumPy
NPZElegir miembros ZIP sin comprimir o comprimidos según convenga
Agrupar varios arreglos NumPy en un archivo ZIP · Pasar arreglos con nombre entre flujos científicos basados en NumPy
NPZOrganizar datos complejos con grupos, conjuntos de datos y atributos
Almacenar jerárquicamente grandes conjuntos de datos científicos y técnicos · Mantener matrices multidimensionales y metadatos relacionados en un contenedor
HDF5Flujos científicos que requieren acceso parcial o compresión por conjunto
Almacenar jerárquicamente grandes conjuntos de datos científicos y técnicos · Mantener matrices multidimensionales y metadatos relacionados en un contenedor
HDF5Punto clave 1
NPZ selecciona miembros del archivo por nombre, uno por matriz.
Más sobre las diferenciasPunto clave 2
HDF5 permite seleccionar regiones dentro de un conjunto de datos.
Más sobre las diferenciasMás sobre las diferencias
NPZ carga miembros bajo demanda; numpy.load no lee directamente regiones arbitrarias dentro de miembros comprimidos. HDF5 no siempre es más rápido: mida las selecciones y formas de los bloques reales.
- savez no comprime; savez_compressed usa DEFLATE. La compresión en HDF5 es opcional. En datos divididos en bloques, pedir un elemento implica procesar su bloque completo.
- Los atributos HDF5 pueden registrar unidades, pero su significado requiere acuerdo. Compruebe nombres, dtype, shape, orden de ejes, valores y filtros necesarios al migrar. No habilite pickle para matrices object de NPZ no fiables.
Preguntas frecuentes
¿Convertir NPZ a HDF5 conserva automáticamente el significado?
No se garantiza. Defina la correspondencia entre matrices y grupos y las convenciones de unidades y valores ausentes; verifique los valores convertidos.