Format Atlas

Comparar

Arrow IPC vs CSV

Ambos intercambian datos tabulares, pero Arrow IPC es un formato binario columnar con tipos, mientras CSV es texto simple con campos delimitados.

¿Qué formato deberías elegir?

Elige Arrow IPC para conservar esquemas tipados entre herramientas compatibles; CSV para texto legible y amplia compatibilidad con hojas de cálculo y aplicaciones.

Adecuado para Apache Arrow IPC

Intercambiar datos tabulares por columnas entre programas y lenguajes compatibles · Transferir conjuntos de datos analíticos entre herramientas compatibles con Arrow

  • Mover datos tipados entre bibliotecas Arrow y motores analíticos
  • Acceder aleatoriamente a lotes de registros en el formato de archivo IPC

Adecuado para CSV

Intercambio de datos tabulares

  • Transferir una tabla simple entre aplicaciones

Información básica

CampoApache Arrow IPCCSV
Extensión.arrow, .feather, .arrows.csv
Tipo MIMEapplication/vnd.apache.arrow.file, application/vnd.apache.arrow.streamtext/csv
Usos habitualesIntercambiar datos tabulares por columnas entre programas y lenguajes compatibles · Transferir conjuntos de datos analíticos entre herramientas compatibles con ArrowIntercambio de datos tabulares
Cómo abrirLéalo con una biblioteca de Apache Arrow o una herramienta analítica compatible con Arrow IPC. La extensión .arrow suele indicar el formato de archivo y .arrows el formato de flujo, pero confirme qué espera la herramienta receptora y qué códecs admite. En archivos Feather, compruebe la compatibilidad con la antigua versión Feather V1.Al importarlo en una hoja de cálculo, indique codificación y delimitador. Compruebe que ceros iniciales, valores similares a fechas y números largos no se conviertan automáticamente.
Exportar o convertirParquet puede servir para almacenar y distribuir datos analíticos; CSV, para intercambiar tablas sencillas. La conversión puede cambiar o descartar tipos propios de Arrow, estructuras anidadas, codificación de diccionario o ajustes de compresión. Compruebe los tipos y la precisión necesarios y conserve los datos de origen.Al exportar XLSX a CSV normalmente se escriben solo los valores de una hoja elegida. Conserve fórmulas, formato, otras hojas y gráficos por separado.

Elegir según el uso

Mover datos tipados entre bibliotecas Arrow y motores analíticos

Intercambiar datos tabulares por columnas entre programas y lenguajes compatibles · Transferir conjuntos de datos analíticos entre herramientas compatibles con Arrow

Apache Arrow IPC

Acceder aleatoriamente a lotes de registros en el formato de archivo IPC

Intercambiar datos tabulares por columnas entre programas y lenguajes compatibles · Transferir conjuntos de datos analíticos entre herramientas compatibles con Arrow

Apache Arrow IPC

Transferir una tabla simple entre aplicaciones

Intercambio de datos tabulares

CSV

Punto clave 1

Arrow define matrices tipadas por columna y serializa lotes de registros mediante IPC; CSV guarda filas y campos como texto.

Más sobre las diferencias

Punto clave 2

Arrow puede representar tipos como números, marcas de tiempo, valores nulos y datos anidados; los lectores CSV suelen inferir tipos del texto o necesitan un esquema aparte.

Más sobre las diferencias

Más sobre las diferencias

Usa Arrow IPC cuando herramientas compatibles deban intercambiar datos columnares conservando tipos, nulabilidad y campos anidados. Usa CSV si las personas necesitan inspeccionar el archivo o compartir tablas sencillas con muchas aplicaciones. En CSV acuerda codificación, delimitador, comillas, encabezados e interpretación de tipos; en Arrow confirma el soporte de archivo o flujo IPC.

  • Arrow usa un esquema columnar independiente del lenguaje y lotes IPC serializados como archivo o flujo. CSV es texto por líneas; RFC 4180 documenta convenciones comunes para comas, comillas y saltos de línea.
  • Arrow representa explícitamente tipos y nulos, incluidas algunas estructuras anidadas. Los valores CSV son texto, por lo que la semántica de tipos y nulos suele inferirse o definirse externamente.
  • CSV se lee y comparte con facilidad, pero el análisis y la inferencia de tipos pueden ser costosos o ambiguos a gran escala. Arrow sirve al intercambio analítico tipado y requiere bibliotecas compatibles.

Preguntas frecuentes

¿CSV conserva los tipos de datos de cada columna?

El texto CSV no incluye por sí mismo un esquema de columnas rico y normalizado. Los lectores suelen inferir tipos o usar información de esquema aparte.

Más información

Referencias y especificaciones