O que é limpeza de dados? Etapas, exemplos e ferramentas

Publicado:

16 min de leitura

Acar Diveroli
Autor: Acar Diveroli
Campo de fichas de produto: duplicatas sobrepostas, duas fichas com marcas vermelhas e uma ficha limpa erguida e azul

Uma compradora junta em uma só planilha as listas de preços de três fornecedores e pede o preço médio por categoria. Para canecas, o resultado é 320. Ninguém vende uma caneca por 320: um fornecedor escreve os decimais com vírgula, e uma etapa de limpeza que removia vírgulas como separador de milhar transformou 12,50 em 1250. A mesma planilha traz uma caneca duas vezes porque uma das cópias tem um espaço no fim do nome. Todas as fórmulas funcionaram. Os dados por baixo delas, não.

Este artigo explica o que é limpeza de dados, as etapas na ordem que funciona, os problemas que ela corrige, um exemplo resolvido que rodamos em uma pequena tabela de produtos, como a limpeza se diferencia de transformação e validação, quando usar planilha e quando usar script, e o que muda no aprendizado de máquina e nos dados coletados da web.

O que é limpeza de dados?

Limpeza de dados é o processo de detectar e corrigir erros em um conjunto de dados (dataset) para que cada valor signifique o que diz significar. Aqui, conjunto de dados é qualquer coleção de registros relacionados, geralmente uma tabela em que cada linha é uma coisa (um produto, um cliente, uma medição) e cada coluna é um atributo dela.

Os erros que ela ataca são comuns: um nome com um espaço a mais, um preço salvo como texto, o mesmo produto em duas linhas, uma data escrita de três jeitos diferentes, um campo vazio. Nada disso impede uma planilha ou um banco de dados de funcionar. Em vez disso, muda o resultado: uma contagem fica alta demais, uma média sai deslocada, um filtro deixa linhas de fora.

Dados limpos também têm uma forma. O artigo de Hadley Wickham sobre dados organizados, "Tidy Data", resume essa forma em três regras: cada variável é uma coluna, cada observação é uma linha e cada tipo de unidade de observação é uma tabela. Uma planilha em que uma coluna guarda tamanho e cor ao mesmo tempo ("M / azul") quebra a primeira regra, e a limpeza a divide.

Por que a limpeza de dados é importante?

A limpeza de dados é importante porque análises, relatórios e modelos só podem ser tão precisos quanto os dados que leem; erros na entrada passam direto para a saída, que é o que significa o velho ditado "lixo entra, lixo sai". O perigo é que a saída continua parecendo normal.

Uma linha duplicada faz um produto contar duas vezes em cada total. Um valor ausente que uma ferramenta trata como zero puxa a média para baixo. Um preço em libras guardado entre preços em euros faz um produto barato parecer caro, e um modelo treinado com esses dados aprende os erros junto com os padrões.

A limpeza é a etapa de conserto; medir a qualidade dos dados depois dela é outro trabalho. O que é qualidade dos dados? explica as seis dimensões e as verificações que dão nota a um conjunto de dados.

Quais são as etapas da limpeza de dados?

A limpeza de dados segue sete etapas, de olhar os dados até registrar o que mudou. A ordem abaixo é proposital: cada etapa torna a seguinte mais fácil e mais confiável.

  1. Faça o perfil dos dados. Antes de mudar qualquer coisa, conte o que existe: valores vazios por coluna, valores distintos, mínimo e máximo, os formatos mais frequentes. Uma coluna de moeda com quatro grafias para as mesmas duas moedas mostra o que precisa ser corrigido.
  2. Corrija os erros estruturais. Ajuste a forma: divida colunas que guardam duas coisas, renomeie cabeçalhos, remova espaços, corrija a codificação de caracteres (um "£" onde deveria haver "£") e converta em números os números salvos como texto.
  3. Padronize os formatos. Escolha uma forma por campo e converta tudo para ela: datas como AAAA-MM-DD, o perfil da ISO 8601 que a maioria dos sistemas lê sem adivinhar; moedas como códigos de três letras, por exemplo EUR ou USD (os códigos ISO 4217); um único separador decimal, uma única unidade e uma única grafia para cada valor de categoria.
  4. Remova as duplicatas. Defina qual campo identifica um registro (um ID de produto, um e-mail, um número de pedido) e mantenha uma linha por chave. Faça isso depois de padronizar: A-100 e a-100 são o mesmo produto, mas uma comparação exata não percebe.
  5. Trate os valores ausentes. Para cada campo vazio, escolha uma de três opções: deixar o registro de fora, preencher o valor a partir de uma fonte confiável ou manter o registro e marcar o valor como ausente. Preencher uma lacuna com uma média ou um palpite é uma decisão de modelagem, não de limpeza, e deve ser registrada como tal.
  6. Valide contra regras. Verifique cada registro contra regras escritas: preços acima de zero, datas que existem, status de estoque vindo de uma lista fixa, preço promocional que não passa do preço normal. Registros reprovados vão para uma lista de revisão em vez de serem apagados.
  7. Documente cada mudança. Anote o que mudou, por qual regra e quantas linhas cada regra alterou. Guarde os dados brutos intactos ao lado da cópia limpa, para que qualquer número de um relatório possa ser rastreado até a origem.

Valores atípicos (outliers), aqueles muito distantes do resto, pertencem à etapa 6. Um preço de 1.250 entre preços de 10 a 30 pode ser um erro de digitação ou um produto premium de verdade, então confira na fonte antes de removê-lo.

Quais problemas a limpeza de dados corrige?

A limpeza de dados corrige um pequeno conjunto de problemas recorrentes, e a maioria dos conjuntos de dados bagunçados combina vários deles. A tabela associa cada problema a um exemplo típico e à correção habitual.

ProblemaExemploCorreção habitual
DuplicatasO mesmo produto em duas linhasDeduplicar por uma chave estável
Formato inconsistente18/11/2026 e Nov 18 2026Converter para um formato
Rótulos inconsistentesin stock, In Stock, instockMapear para uma lista fixa
Tipo erradoPreço salvo como texto "19,90"Converter em número
Espaços sobrandoCeramic Mug Aparar e unificar espaços
Valores ausentesPreço vazioPreencher pela fonte ou marcar
Valores impossíveisPreço -5, data 31 de novembroMarcar para revisão
Unidades misturadasGramas e quilos na mesma colunaConverter para uma unidade
Erros de codificação"£" no lugar de "£"Ler de novo com a codificação certa

Um exemplo resolvido: limpando uma tabela de produtos com 10 linhas

Um exemplo pequeno mostra as etapas funcionando juntas. Montamos uma tabela de produtos fictícia para a "Loja A", com dez linhas e o tipo de erro que exportações reais trazem:

text
sku,name,price,currency,collected,stock
A-100,Ceramic Mug ,12.50,EUR,2026-11-18,in stock
a-100,ceramic  mug,12.50,eur,18/11/2026,In Stock
A-101,Steel Bottle,"19,90",EUR,2026-11-18,in stock
A-102,Desk Lamp,,EUR,2026-11-18,out of stock
A-103,Notebook A5,4.20,GBP,Nov 18 2026,in stock
A-104,Cotton Tote,-5,EUR,2026-11-18,in stock
A-105,Phone Stand,8.99,€,2026-11-18,instock
A-106,Wall Clock,24.00,EUR,2026-11-18,in stock
A-106,Wall Clock,24.00,EUR,2026-11-18,in stock
A-107,Desk Mat,15.00,EUR,2026-11-31,in stock

Na nossa máquina de testes, um script curto em Node.js fez o perfil da tabela, padronizou, validou e removeu duplicatas, nessa ordem. O perfil encontrou um preço vazio e quatro grafias tanto na coluna de moeda quanto na de estoque. A padronização aparou dois nomes, passou um código de produto para maiúsculas, converteu "19,90" no número 19.90, mapeou eur e € para EUR e reescreveu duas datas como 2026-11-18.

A validação marcou três linhas em vez de apagá-las: A-102 está sem preço, A-104 tem preço negativo e A-107 está datada de 31 de novembro, um dia que não existe. A verificação de duplicatas trouxe o resultado mais revelador. Antes da padronização, uma comparação exata viu só uma duplicata (as duas linhas idênticas de A-106). Depois de aparar e passar para maiúsculas, encontrou uma segunda: a-100, ceramic mug é o mesmo produto que A-100, Ceramic Mug .

As dez linhas terminaram como cinco linhas limpas, três linhas para revisão e duas duplicatas removidas. Nada foi adivinhado: o preço da luminária continua ausente até alguém conferir a página da loja. Para ver o mesmo processo escrito em Python com pandas, incluindo erros de codificação e valores atípicos, consulte Como limpar dados de scraping com pandas.

Qual é a diferença entre limpeza, transformação e validação de dados?

A limpeza de dados corrige valores errados; a transformação de dados muda a forma ou o significado de dados corretos para um novo uso; a validação de dados verifica os dados contra regras sem alterá-los. As três costumam rodar no mesmo trabalho, por isso os termos se confundem.

TermoO que fazExemplo
Limpeza de dadosConserta valores errados ou bagunçados"19,90" vira 19.90
Transformação de dadosReorganiza dados corretos para um usoPreços diários viram médias semanais
Validação de dadosTesta os dados contra regrasMarca um preço abaixo de zero
Mapeamento de dadosAssocia campos entre sistemasitem_price vai para price

A validação é o árbitro: diz à limpeza o que corrigir e confirma depois que a correção se manteve. A transformação costuma vir depois da limpeza, porque um agregado construído sobre duplicatas repete o erro delas. Quando os dados passam entre sistemas com nomes de campo diferentes, associar os campos de origem aos de destino é uma etapa própria, explicada em O que é mapeamento de dados?.

É melhor limpar dados em uma planilha ou com um script?

Limpe dados em uma planilha quando a tabela é pequena, o trabalho é pontual e uma pessoa precisa ver cada mudança; use um script ou uma consulta quando os dados chegam de novo e de novo. A escolha depende mais da repetição do que do tamanho.

Planilhas cobrem o básico: funções para remover espaços, localizar e substituir, filtros, um comando para remover duplicatas e a divisão de texto em colunas. O ponto fraco delas é a memória: uma correção feita à mão precisa ser refeita no mês seguinte, e depois ninguém consegue dizer quais células mudaram.

Um script ou uma consulta SQL transforma cada correção em uma regra que roda do mesmo jeito em cada lote e deixa registro. Python com a biblioteca pandas é comum para tabelas, e SQL para dados que já estão em um banco de dados. Entre os dois fica o OpenRefine, uma ferramenta gratuita e de código aberto que roda no seu próprio computador. O recurso de agrupamento (clustering) dele junta valores parecidos, mas não idênticos, como nomes de empresas com espaçamento ou pontuação diferentes, e só os mescla depois que você aprova cada grupo.

Como funciona a limpeza de dados no aprendizado de máquina?

A limpeza de dados para aprendizado de máquina segue as mesmas etapas, mas acrescenta duas preocupações: rótulos errados e vazamento de dados (data leakage) entre os dados de treinamento e de teste. Um modelo não tem como distinguir um erro de um padrão, então os dois entram direto no que ele aprende.

Rótulos são as respostas com que um modelo aprende, como "spam" ou "não spam" em um e-mail. Eles erram com mais frequência do que se imagina: um estudo apresentado na NeurIPS 2021 estimou erros de rótulo de pelo menos 3,3 % em média nos conjuntos de teste de dez conjuntos de dados de referência muito usados, e de pelo menos 6 % no conjunto de validação do ImageNet. Revisar à mão uma amostra de rótulos faz parte do plano de limpeza.

O vazamento de dados acontece quando, na construção do modelo, se usa uma informação que não estaria disponível no momento da previsão, o que faz as notas de teste parecerem melhores do que o uso real. O guia do scikit-learn dá a regra: divida primeiro os dados em conjunto de treinamento e conjunto de teste, antes de qualquer pré-processamento, e calcule valores como a média usada para preencher lacunas só a partir da parte de treinamento. Duplicatas também contam aqui; o mesmo registro nos dois conjuntos faz o modelo ser testado com uma resposta que ele já viu.

Por que dados da web precisam de limpeza extra?

Dados da web precisam de limpeza extra porque as páginas são escritas para pessoas, e dados coletados em muitos países chegam em muitos formatos locais. Um site escreve um preço como 1.299,00 com o símbolo da moeda depois, outro como 1,299.00 com o símbolo antes; uma data 03/04 significa março ou abril dependendo do país.

A solução é manter o contexto junto de cada valor. Guarde em cada linha o código da moeda, o país a partir do qual a página foi lida e o momento da coleta, e converta para uma só moeda e um só formato de data somente depois da limpeza. Nomes de produto em vários idiomas precisam de uma chave comum, como o ID do produto ou o número do código de barras, para que a deduplicação funcione.

O lugar de onde você lê uma página também muda o que ela mostra, porque muitas lojas exibem preço, moeda e estoque conforme a localização do visitante. Os Proxies residenciais com segmentação por país e cidade permitem que uma coleta leia cada mercado como um visitante local leria, e assim a moeda da linha corresponde ao mercado que ela descreve. Isso facilita a limpeza; não a substitui.

Equipes que preferem receber dados estruturados em vez de interpretar as páginas por conta própria podem consultar o nosso time de vendas sobre a extração gerenciada de páginas da nossa Web Scraping API.

Onde a limpeza de dados é usada?

  • Analytics e relatórios: números de vendas e operações antes de chegarem a um painel.
  • E-commerce e preços: catálogos de produtos, listas de preços de fornecedores e preços de concorrentes.
  • CRM e marketing: registros de clientes e empresas antes da segmentação.
  • Pesquisa: respostas de questionários com erros de digitação ou fora da escala.
  • Aprendizado de máquina: dados de treinamento e de teste antes de treinar um modelo.
  • Migrações de sistemas: registros que passam entre sistemas com formatos diferentes.

Erros comuns

  • Limpar a única cópia. Mantenha os dados brutos intactos; sem eles, nenhuma correção pode ser conferida ou desfeita.
  • Deduplicar antes de padronizar. A-100 e a-100 parecem diferentes até que os dois sejam aparados e passados para maiúsculas.
  • Apagar as linhas que falham em uma regra. Marque e conte essas linhas, ou não dá para ver se a qualidade está melhorando.
  • Preencher lacunas com palpites. Uma média escrita em um campo vazio parece dado real em todos os relatórios seguintes.
  • Converter moedas no próprio campo. Mantenha o valor original e o código da moeda; converta em uma coluna separada.
  • Corrigir à mão todo mês. Uma correção que se repete deveria virar uma regra escrita.

Guia de decisão

NecessidadeRecomendação
Uma tabela pequena e pontualPlanilha: remover espaços, localizar e substituir, remover duplicatas
A mesma exportação toda semanaUm script ou uma consulta SQL com regras escritas
Nomes e categorias bagunçadosAgrupamento no OpenRefine, aprovando cada mesclagem
Duplicatas que não aparecemPadronizar primeiro, depois deduplicar por uma chave
Valores vaziosPreencher pela fonte ou marcar; não adivinhar
Dados de treinamento para um modeloDividir primeiro, revisar uma amostra dos rótulos
Preços de vários paísesManter moeda, país e momento em cada linha
Muitas fontes, nomes de campo diferentesMapear os campos primeiro, depois limpar

Perguntas frequentes

Quais são as etapas da limpeza de dados?

Fazer o perfil dos dados, corrigir erros estruturais, padronizar formatos, remover duplicatas, tratar valores ausentes, validar contra regras e documentar as mudanças. Padronize antes de deduplicar: muitas duplicatas só coincidem quando o espaçamento e as maiúsculas e minúsculas são iguais.

Qual é a diferença entre limpeza e higienização de dados?

Na prática, nenhuma: limpeza, higienização e "scrubbing" de dados significam encontrar e corrigir valores errados, duplicados, ausentes ou mal formatados. Algumas equipes chamam de higienização (data cleansing) um processo recorrente embutido em um sistema e de limpeza um trabalho pontual, mas o trabalho é o mesmo.

Como limpar dados no Excel?

No Excel, use a função ARRUMAR para remover espaços extras, "Localizar e Substituir" para padronizar grafias, o Assistente para Conversão de Texto em Colunas para dividir campos, filtros para achar valores estranhos e "Remover Duplicatas" na coluna que identifica cada registro. Trabalhe em uma cópia e mantenha a planilha original sem alterações.

Por que a limpeza de dados é importante na análise de dados?

Uma análise repete qualquer erro da sua entrada: duplicatas inflam totais, valores ausentes distorcem médias e grafias misturadas dividem uma categoria em várias. Os resultados continuam parecendo plausíveis, por isso o erro muitas vezes só aparece depois que uma decisão já se apoiou nele.

O que é limpeza de dados no aprendizado de máquina?

No aprendizado de máquina, limpeza de dados são as etapas habituais mais duas verificações extras: corrigir rótulos errados e impedir o vazamento de dados entre o conjunto de treinamento e o de teste. Divida os dados primeiro e calcule os valores de preenchimento só com o conjunto de treinamento, para que as notas de teste reflitam como o modelo vai se comportar com dados novos.

Limpar dados é o mesmo que limpar os dados de um app no celular?

Não. Limpar os dados de um app no celular apaga os arquivos que o app salvou naquele aparelho, como cache, configurações e login, e o devolve ao estado inicial. A limpeza de dados na análise mantém os dados e os corrige; a ideia é que nada se perca.

Em resumo

A limpeza de dados faz um conjunto de dados significar o que diz: uma linha por coisa real, um formato por campo, nenhuma lacuna silenciosa e nenhum valor impossível. Faça o perfil primeiro, corrija a estrutura, padronize, depois deduplique, decida sobre os valores ausentes, valide contra regras escritas e registre cada mudança mantendo os dados brutos. Em dados coletados da web, mantenha a moeda, o país e o momento da coleta em cada linha, e colete os dados de cada mercado a partir desse mercado; a nossa página de monitoramento de preços explica como isso funciona para preços de concorrentes.