Guías
Elegir un formato para análisis e intercambio de datos
Distingue entre análisis columnar, intercambio de registros con esquema y tablas legibles, según la plataforma y los tipos de datos.
¿Qué formato deberías elegir?
Elige según la función de cada archivo en tu flujo de trabajo.
- Análisis columnar y lagos de datos → Parquet
- Intercambio de registros con esquema → Avro
- Análisis columnar en ecosistemas Hadoop → ORC
- Inspección y transferencia sencilla → CSV
Elige un formato columnar para analizar
Parquet y ORC se usan en análisis que leen columnas seleccionadas. Elige según el motor de consultas y la plataforma de datos existente.
Comprueba esquemas y conversiones
Avro se emplea para intercambiar registros con esquema. Al convertir, verifica tipos, nulos, fechas, decimales, nombres de campos y compatibilidad.
Formatos a considerar
Parquet
Adecuado para: Analizar por columnas grandes conjuntos tabulares
Menos adecuado para: Leer directamente el contenido como texto
Avro
Adecuado para: Intercambiar registros con esquema
Menos adecuado para: Agregaciones centradas en columnas
ORC
Adecuado para: Guardar datos para plataformas analíticas que usan tipos e índices
Menos adecuado para: Compartir casualmente como texto legible
CSV
Adecuado para: Intercambiar tablas que las personas puedan inspeccionar
Menos adecuado para: Conservar tipos complejos u optimizar análisis a gran escala
Antes de exportar
- Comprueba tipos, nulos, fechas y codificación de caracteres.
- Revisa el acceso y el alcance al compartir columnas personales o confidenciales.
- Prueba rendimiento y compatibilidad con datos representativos.