JSON na Ciência de Dados: Guia de Python e Pandas

# JSON na Ciência de Dados: Guia de Python e Pandas

O JSON é onipresente na ciência de dados, sendo o formato principal para dados de APIs, bancos NoSQL e arquivos de configuração. Dominar seu processamento é essencial para qualquer cientista de dados.

Lendo JSON com Pandas

O Pandas facilita muito a transformação de JSON em tabelas (DataFrames):

import pandas as pd

# Arquivo JSON simples
df = pd.read_json('dados.json')

# Formato JSON Lines (uma linha por objeto)
df = pd.read_json('dados.jsonl', lines=True)

---

Lidando com Dados Aninhados

Dados de APIs costumam ser aninhados (objetos dentro de objetos). Use json_normalize para "achatar" essa estrutura:

from pandas import json_normalize

dados = [
    {"nome": "Alice", "endereco": {"cidade": "SP"}},
    {"nome": "Bob", "endereco": {"cidade": "RJ"}}
]

df = json_normalize(dados)
# As colunas serão: nome, endereco.cidade

---

Análise de Dados

Uma vez no Pandas, você pode realizar análises complexas:

# Contagem por categoria
df['categoria'].value_counts()

# Média de preços por grupo
df.groupby('categoria')['preco'].mean()

Boas Práticas

Validar antes de processar: Use ferramentas como o Big JSON Viewer para entender a estrutura dos dados antes de escrever o código de carregamento.

Tratar valores ausentes: O JSON usa null, que o Pandas converte para NaN. Use fillna() para tratar esses vazios.

Strumieniowanie para arquivos grandes: Se o arquivo tem vários gigabytes, use bibliotecas como ijson para ler o arquivo sem estourar a memória RAM.

Conclusão

O JSON é a ponte entre a web e a análise de dados. Saber navegar por suas estruturas aninhadas usando Python e Pandas permite que você extraia insights valiosos de quase qualquer fonte de dados moderna.