Comparar
JSON Lines versus Parquet
JSON Lines armazena um valor JSON independente por linha de texto UTF-8. Parquet é um arquivo binário colunar com grupos de linhas e blocos de colunas.
Qual formato você deve escolher?
Considere JSONL para emitir e ingerir eventos individualmente; Parquet para ler colunas selecionadas de dados analíticos com tipos consistentes.
Indicado para JSON Lines
Logs e registros processados linha a linha · Troca contínua de registros JSON
- Ler e gravar registros aos poucos
- Acrescentar ou combinar dados de texto com ferramentas comuns
Indicado para Parquet
Guardar tabelas estruturadas para análise
- Grandes conjuntos lidos por colunas escolhidas
Informações básicas
| Campo | JSON Lines | Parquet |
|---|---|---|
| Extensão | .jsonl, .ndjson | .parquet |
| Tipo MIME | application/jsonl | application/vnd.apache.parquet |
| Usos comuns | Logs e registros processados linha a linha · Troca contínua de registros JSON | Guardar tabelas estruturadas para análise |
| Como abrir | Abra em um editor de texto ou ferramenta compatível com JSON Lines. Validar cada linha como JSON facilita encontrar o registro com erro de sintaxe. | Use ferramenta Parquet para examinar esquema, tipos de coluna, número de linhas e valores. |
| Exportar ou converter | Para criar um array JSON, reúna as linhas como elementos do array. Para converter um array em JSON Lines, grave cada valor em uma linha. Em arquivos grandes, considere o uso de memória. | De CSV ou outros formatos, confira tipos, nulos, datas, codificação, partições e quantidade de linhas. |
Escolha por finalidade
Ler e gravar registros aos poucos
Logs e registros processados linha a linha · Troca contínua de registros JSON
JSON LinesAcrescentar ou combinar dados de texto com ferramentas comuns
Logs e registros processados linha a linha · Troca contínua de registros JSON
JSON LinesGrandes conjuntos lidos por colunas escolhidas
Guardar tabelas estruturadas para análise
ParquetPonto principal 1
JSONL pode ser analisado linha por linha. Uma quebra de linha final facilita acrescentar e concatenar registros.
Mais sobre as diferençasPonto principal 2
Leitores de Parquet localizam os blocos de colunas pelos metadados no fim do arquivo; isso não equivale a acrescentar linhas de texto.
Mais sobre as diferençasMais sobre as diferenças
Meça os mesmos dados, compressão e ferramentas; nenhum formato é sempre mais rápido ou menor.
- Defina esquema e tipos na conversão; confira campos ausentes versus null, precisão de inteiros, timestamps e valores aninhados.
- JSONL também aceita valores escalares e arrays como registros completos; defina como registros heterogêneos serão representados como linhas.
Perguntas frequentes
É possível converter JSONL para Parquet sem definir tipos?
O conversor precisa associar valores a um esquema e tipos, configurados ou inferidos. Valide o mapeamento e rejeite valores inesperados.