Was ist Datenbereinigung? Schritte, Beispiele und Tools

Veröffentlicht:

15 Min. Lesezeit

Acar Diveroli
Autor: Acar Diveroli
Feld aus Produktkarten: Duplikate überlappen, zwei Karten sind rot markiert, eine bereinigte Karte ist blau und angehoben

Eine Einkäuferin führt drei Preislisten von Lieferanten in einer Tabelle zusammen und lässt sich den Durchschnittspreis pro Kategorie ausgeben. Für Tassen kommt 320 heraus. Niemand verkauft eine Tasse für 320: Ein Lieferant schreibt Dezimalstellen mit Komma, und ein Bereinigungsschritt, der Kommas als Tausendertrennzeichen entfernte, machte aus 12,50 die Zahl 1250. Dieselbe Tabelle führt eine Tasse zweimal, weil in einer Kopie hinter dem Namen ein Leerzeichen steht. Jede Formel hat funktioniert. Die Daten darunter nicht.

Dieser Beitrag erklärt, was Datenbereinigung ist, welche Schritte in welcher Reihenfolge funktionieren, welche Probleme sie behebt, wie ein durchgerechnetes Beispiel an einer kleinen Produkttabelle aussieht, wie sich Bereinigung von Transformation und Validierung unterscheidet, wann Tabellenkalkulation und wann Skript, und was bei maschinellem Lernen und bei Daten aus dem Web hinzukommt.

Was ist Datenbereinigung?

Datenbereinigung ist der Prozess, Fehler in einem Datensatz zu erkennen und zu korrigieren, sodass jeder Wert das bedeutet, was er zu bedeuten vorgibt. Ein Datensatz ist hier jede Sammlung zusammengehöriger Einträge, meist eine Tabelle, in der jede Zeile ein Ding beschreibt (ein Produkt, einen Kunden, einen Messwert) und jede Spalte ein Merkmal davon.

Die Fehler, um die es geht, sind alltäglich: ein Name mit einem überzähligen Leerzeichen, ein Preis, der als Text gespeichert ist, dasselbe Produkt in zwei Zeilen, ein Datum in drei verschiedenen Schreibweisen, ein leeres Feld. Nichts davon hindert eine Tabellenkalkulation oder Datenbank am Arbeiten. Stattdessen verändert es das Ergebnis: Eine Anzahl ist zu hoch, ein Durchschnitt verschoben, ein Filter übersieht Zeilen.

Saubere Daten haben auch eine Form. Hadley Wickhams Aufsatz über aufgeräumte Daten, „Tidy Data“, fasst sie in drei Regeln: Jede Variable ist eine Spalte, jede Beobachtung eine Zeile und jede Art von Beobachtungseinheit eine Tabelle. Eine Tabelle, in der eine Spalte Größe und Farbe zugleich enthält („M / blau“), verletzt die erste Regel, und die Bereinigung teilt sie auf.

Warum ist Datenbereinigung wichtig?

Datenbereinigung ist wichtig, weil Analysen, Berichte und Modelle nur so genau sein können wie die Daten, die sie lesen; Fehler in der Eingabe landen direkt in der Ausgabe, und genau das meint der alte Satz „Müll rein, Müll raus“. Gefährlich ist, dass die Ausgabe trotzdem normal aussieht.

Eine doppelte Zeile lässt ein Produkt in jeder Summe zweimal zählen. Ein fehlender Wert, den ein Werkzeug als null behandelt, drückt einen Durchschnitt nach unten. Ein Preis in Pfund zwischen Preisen in Euro lässt ein günstiges Produkt teuer aussehen, und ein Modell, das mit solchen Daten trainiert wird, lernt die Fehler zusammen mit den Mustern.

Die Bereinigung ist der Reparaturschritt; zu messen, wie gut die Daten danach sind, ist eine eigene Aufgabe. Was ist Datenqualität? erklärt die sechs Dimensionen und die Prüfungen, mit denen man einen Datensatz bewertet.

Welche Schritte hat die Datenbereinigung?

Die Datenbereinigung folgt sieben Schritten, vom Ansehen der Daten bis zum Festhalten der Änderungen. Die Reihenfolge ist Absicht: Jeder Schritt macht den nächsten einfacher und verlässlicher.

  1. Daten profilieren. Bevor Sie etwas ändern, zählen Sie, was vorhanden ist: leere Werte pro Spalte, unterschiedliche Werte, Minimum und Maximum, die häufigsten Formate. Eine Währungsspalte mit vier Schreibweisen für dieselben zwei Währungen zeigt Ihnen, was zu korrigieren ist.
  2. Strukturelle Fehler beheben. Korrigieren Sie die Form: Spalten teilen, die zwei Dinge enthalten, Überschriften umbenennen, Leerzeichen entfernen, die Zeichenkodierung reparieren (ein „£“, wo „£“ stehen sollte) und Zahlen, die als Text gespeichert sind, in Zahlen umwandeln.
  3. Formate vereinheitlichen. Wählen Sie pro Feld eine Form und wandeln Sie alles darin um: Datumsangaben als JJJJ-MM-TT, das ISO-8601-Profil, das die meisten Systeme ohne Raten lesen, Währungen als dreibuchstabige Codes wie EUR oder USD (die Codes nach ISO 4217), ein Dezimaltrennzeichen, eine Einheit, eine Schreibweise für jeden Kategoriewert.
  4. Duplikate entfernen. Legen Sie fest, welches Feld einen Eintrag eindeutig kennzeichnet (eine Produkt-ID, eine E-Mail-Adresse, eine Bestellnummer), und behalten Sie pro Schlüssel eine Zeile. Tun Sie das nach dem Vereinheitlichen: A-100 und a-100 sind dasselbe Produkt, aber ein exakter Vergleich erkennt das nicht.
  5. Fehlende Werte behandeln. Wählen Sie für jedes leere Feld eine von drei Möglichkeiten: den Eintrag weglassen, den Wert aus einer verlässlichen Quelle ergänzen oder den Eintrag behalten und den Wert als fehlend markieren. Eine Lücke mit einem Durchschnitt oder einer Schätzung zu füllen, ist eine Modellierungsentscheidung, keine Bereinigung, und sollte auch so dokumentiert werden.
  6. Gegen Regeln validieren. Prüfen Sie jeden Eintrag gegen schriftliche Regeln: Preise über null, Daten, die es gibt, Lagerstatus aus einer festen Liste, ein Aktionspreis nicht höher als der reguläre Preis. Einträge, die durchfallen, kommen auf eine Prüfliste, statt gelöscht zu werden.
  7. Jede Änderung dokumentieren. Halten Sie fest, was geändert wurde, nach welcher Regel und wie viele Zeilen jede Regel betroffen hat. Lassen Sie die Rohdaten unverändert neben der bereinigten Kopie liegen, damit sich jede Zahl in einem Bericht zurückverfolgen lässt.

Ausreißer, also Werte weit weg vom Rest, gehören in Schritt 6. Ein Preis von 1.250 zwischen Preisen von 10 bis 30 kann ein Tippfehler oder ein echtes Premiumprodukt sein; prüfen Sie ihn deshalb an der Quelle, bevor Sie ihn entfernen.

Welche Probleme behebt die Datenbereinigung?

Die Datenbereinigung behebt eine kleine Zahl wiederkehrender Probleme, und die meisten unordentlichen Datensätze vereinen mehrere davon. Die Tabelle ordnet jedem Problem ein typisches Beispiel und die übliche Lösung zu.

ProblemBeispielÜbliche Lösung
DuplikateDasselbe Produkt in zwei ZeilenÜber einen stabilen Schlüssel deduplizieren
Uneinheitliches Format18/11/2026 und Nov 18 2026In ein Format umwandeln
Uneinheitliche Bezeichnungenin stock, In Stock, instockAuf eine feste Liste abbilden
Falscher DatentypPreis als Text „19,90“In eine Zahl umwandeln
Überzählige LeerzeichenCeramic Mug Kürzen und doppelte Leerzeichen zusammenfassen
Fehlende WerteLeerer PreisAus der Quelle ergänzen oder markieren
Unmögliche WertePreis -5, Datum 31. NovemberZur Prüfung markieren
Gemischte EinheitenGramm und Kilogramm in einer SpalteIn eine Einheit umrechnen
Kodierungsfehler„£“ statt „£“Mit der richtigen Kodierung neu einlesen

Ein Praxisbeispiel: eine Produkttabelle mit 10 Zeilen bereinigen

Ein kleines Beispiel zeigt, wie die Schritte zusammenwirken. Wir haben für „Shop A“ eine fiktive Produkttabelle mit zehn Zeilen angelegt, die die typischen Fehler echter Exporte enthält:

text
sku,name,price,currency,collected,stock
A-100,Ceramic Mug ,12.50,EUR,2026-11-18,in stock
a-100,ceramic  mug,12.50,eur,18/11/2026,In Stock
A-101,Steel Bottle,"19,90",EUR,2026-11-18,in stock
A-102,Desk Lamp,,EUR,2026-11-18,out of stock
A-103,Notebook A5,4.20,GBP,Nov 18 2026,in stock
A-104,Cotton Tote,-5,EUR,2026-11-18,in stock
A-105,Phone Stand,8.99,€,2026-11-18,instock
A-106,Wall Clock,24.00,EUR,2026-11-18,in stock
A-106,Wall Clock,24.00,EUR,2026-11-18,in stock
A-107,Desk Mat,15.00,EUR,2026-11-31,in stock

Auf unserem Testrechner hat ein kurzes Node.js-Skript die Tabelle in dieser Reihenfolge profiliert, vereinheitlicht, validiert und dedupliziert. Das Profiling fand einen leeren Preis und je vier Schreibweisen in der Währungs- und in der Lagerspalte. Beim Vereinheitlichen wurden zwei Namen gekürzt, ein Produktcode in Großbuchstaben gesetzt, „19,90“ in die Zahl 19.90 umgewandelt, eur und € auf EUR abgebildet und zwei Datumsangaben als 2026-11-18 neu geschrieben.

Die Validierung markierte drei Zeilen, statt sie zu löschen: A-102 hat keinen Preis, A-104 einen negativen Preis, und A-107 ist auf den 31. November datiert, einen Tag, den es nicht gibt. Das aufschlussreichste Ergebnis lieferte die Duplikatprüfung. Vor dem Vereinheitlichen sah ein exakter Vergleich nur ein Duplikat (die beiden identischen A-106-Zeilen). Nach dem Kürzen und der Großschreibung fand er ein zweites: a-100, ceramic mug ist dasselbe Produkt wie A-100, Ceramic Mug .

Am Ende standen aus zehn Zeilen fünf saubere Zeilen, drei Zeilen zur Prüfung und zwei entfernte Duplikate. Nichts wurde geschätzt: Der fehlende Preis der Lampe bleibt leer, bis jemand die Seite des Shops prüft. Denselben Ablauf in Python mit pandas, einschließlich Kodierungsfehlern und Ausreißern, finden Sie in Gescrapte Daten mit pandas bereinigen.

Worin unterscheidet sich Datenbereinigung von Transformation und Validierung?

Die Datenbereinigung korrigiert falsche Werte; die Datentransformation verändert Form oder Bedeutung korrekter Daten für einen neuen Zweck; die Datenvalidierung prüft Daten gegen Regeln, ohne sie zu verändern. Alle drei laufen oft im selben Job, deshalb werden die Begriffe leicht verwechselt.

BegriffWas er tutBeispiel
DatenbereinigungRepariert falsche oder unordentliche WerteAus „19,90“ wird 19.90
DatentransformationFormt korrekte Daten für einen Zweck umTagespreise werden Wochendurchschnitte
DatenvalidierungPrüft Daten gegen RegelnMarkiert einen Preis unter null
Data MappingOrdnet Felder zwischen Systemen zuitem_price wird zu price

Die Validierung ist der Schiedsrichter: Sie sagt der Bereinigung, was zu korrigieren ist, und bestätigt danach, dass die Korrektur hält. Die Transformation folgt meist auf die Bereinigung, denn ein Aggregat, das auf Duplikaten aufbaut, wiederholt deren Fehler. Wenn Daten zwischen Systemen mit unterschiedlichen Feldnamen wandern, ist die Zuordnung von Quell- zu Zielfeldern ein eigener Schritt, den Was ist Data Mapping? erklärt.

Sollten Sie Daten in einer Tabellenkalkulation oder mit einem Skript bereinigen?

Bereinigen Sie Daten in einer Tabellenkalkulation, wenn die Tabelle klein ist, die Aufgabe einmalig und ein Mensch jede Änderung sehen muss; nutzen Sie ein Skript oder eine Abfrage, wenn die Daten immer wieder ankommen. Die Entscheidung hängt mehr von der Wiederholung ab als von der Größe.

Tabellenkalkulationen decken die Grundlagen ab: Funktionen zum Entfernen von Leerzeichen, Suchen und Ersetzen, Filter, einen Befehl zum Entfernen von Duplikaten und das Aufteilen von Text in Spalten. Ihre Schwäche ist das Gedächtnis: Eine Korrektur von Hand muss nächsten Monat erneut gemacht werden, und hinterher kann niemand sagen, welche Zellen sich geändert haben.

Ein Skript oder eine SQL-Abfrage macht aus jeder Korrektur eine Regel, die bei jedem Batch gleich läuft und eine Spur hinterlässt. Python mit der Bibliothek pandas ist für Tabellen verbreitet, SQL für Daten, die schon in einer Datenbank liegen. Dazwischen steht OpenRefine, ein kostenloses Open-Source-Werkzeug, das auf Ihrem eigenen Rechner läuft. Seine Clustering-Funktion gruppiert Werte, die ähnlich, aber nicht identisch sind, etwa Firmennamen mit abweichenden Leerzeichen oder Satzzeichen, und führt sie erst zusammen, nachdem Sie jede Gruppe bestätigt haben.

Wie funktioniert Datenbereinigung beim maschinellen Lernen?

Datenbereinigung für maschinelles Lernen folgt denselben Schritten, bringt aber zwei zusätzliche Sorgen mit: falsche Labels und Data Leakage zwischen Trainings- und Testdaten. Ein Modell kann einen Fehler nicht von einem Muster unterscheiden, also fließt beides direkt in das ein, was es lernt.

Labels sind die Antworten, aus denen ein Modell lernt, etwa „Spam“ oder „kein Spam“ bei einer E-Mail. Sie sind öfter falsch, als man annimmt: Eine Studie auf der NeurIPS 2021 schätzte die Labelfehler in den Testdatensätzen von zehn verbreiteten Benchmark-Datensätzen auf durchschnittlich mindestens 3,3 % und im Validierungsdatensatz von ImageNet auf mindestens 6 %. Eine Stichprobe von Labels von Hand zu prüfen, gehört in den Bereinigungsplan.

Data Leakage (nicht zu verwechseln mit einem Datenleck) entsteht, wenn beim Aufbau des Modells Informationen genutzt werden, die zum Zeitpunkt der Vorhersage nicht verfügbar wären; dadurch sehen Testergebnisse besser aus als der echte Einsatz. Der Leitfaden von scikit-learn nennt die Regel: Teilen Sie die Daten zuerst in Trainings- und Testdatensatz auf, vor jeder Vorverarbeitung, und lernen Sie Werte wie einen Durchschnitt zum Füllen von Lücken nur aus dem Trainingsteil. Auch Duplikate spielen hier eine Rolle; steht derselbe Eintrag in beiden Teilen, wird ein Modell an einer Antwort getestet, die es schon kennt.

Warum brauchen Webdaten eine zusätzliche Bereinigung?

Webdaten brauchen eine zusätzliche Bereinigung, weil Seiten für Menschen geschrieben sind und Daten aus vielen Ländern in vielen lokalen Formaten ankommen. Eine Website schreibt einen Preis als 1.299,00 mit dem Eurozeichen dahinter, eine andere als 1,299.00 mit dem Zeichen davor; ein Datum 03/04 bedeutet je nach Land März oder April.

Die Lösung ist, den Kontext bei jedem Wert zu behalten. Speichern Sie in jeder Zeile den Währungscode, das Land, aus dem die Seite gelesen wurde, und den Erhebungszeitpunkt, und rechnen Sie erst nach der Bereinigung in eine Währung und ein Datumsformat um. Produktnamen in mehreren Sprachen brauchen einen gemeinsamen Schlüssel wie die Produkt-ID oder die Barcode-Nummer, bevor die Deduplizierung funktionieren kann.

Auch der Ort, von dem aus Sie eine Seite lesen, verändert, was sie zeigt, denn viele Shops zeigen Preise, Währung und Bestand passend zum Standort des Besuchers. Ein Residential-Proxy mit Targeting nach Land und Stadt lässt einen Erhebungsjob jeden Markt so lesen, wie ein lokaler Besucher ihn sieht, sodass die Währung in der Zeile zum beschriebenen Markt passt. Das erleichtert die Bereinigung; es ersetzt sie nicht.

Teams, die lieber strukturierte Daten erhalten, als Seiten selbst auszuwerten, können sich über unser Vertriebsteam nach der verwalteten Seitenextraktion unserer Web Scraping API erkundigen.

Wo wird Datenbereinigung eingesetzt?

  • Analytics und Reporting: Umsatz- und Betriebszahlen, bevor sie ein Dashboard erreichen.
  • E-Commerce und Preisgestaltung: Produktkataloge, Preislisten von Lieferanten und Preise von Wettbewerbern.
  • CRM und Marketing: Kunden- und Firmeneinträge vor der Segmentierung.
  • Forschung: Umfrageantworten mit Tippfehlern oder Antworten außerhalb der Skala.
  • Maschinelles Lernen: Trainings- und Testdaten, bevor ein Modell trainiert wird.
  • Systemmigrationen: Einträge, die zwischen Systemen mit unterschiedlichen Formaten wandern.

Häufige Fehler

  • Die einzige Kopie bereinigen. Lassen Sie die Rohdaten unverändert; ohne sie lässt sich keine Korrektur prüfen oder rückgängig machen.
  • Deduplizieren vor dem Vereinheitlichen. A-100 und a-100 sehen verschieden aus, bis beide gekürzt und in Großbuchstaben gesetzt sind.
  • Zeilen löschen, die eine Regel verletzen. Markieren und zählen Sie sie, sonst sehen Sie nicht, ob die Qualität besser wird.
  • Lücken mit Schätzungen füllen. Ein Durchschnitt in einem leeren Feld sieht in jedem späteren Bericht wie echte Daten aus.
  • Währungen an Ort und Stelle umrechnen. Behalten Sie den ursprünglichen Betrag und den Währungscode; rechnen Sie in einer eigenen Spalte um.
  • Jeden Monat von Hand korrigieren. Eine Korrektur, die Sie wiederholen, sollte eine schriftliche Regel werden.

Entscheidungshilfe

BedarfEmpfehlung
Eine kleine, einmalige TabelleTabellenkalkulation: Leerzeichen entfernen, Suchen und Ersetzen, Duplikate entfernen
Jede Woche derselbe ExportEin Skript oder eine SQL-Abfrage mit schriftlichen Regeln
Unordentliche Namen und KategorienClustering in OpenRefine, jede Zusammenführung bestätigen
Duplikate, die Sie nicht sehenErst vereinheitlichen, dann über einen Schlüssel deduplizieren
Leere WerteAus der Quelle ergänzen oder markieren; nicht schätzen
Trainingsdaten für ein ModellZuerst aufteilen, eine Stichprobe der Labels prüfen
Preise aus mehreren LändernWährung, Land und Zeitpunkt in jeder Zeile behalten
Viele Quellen, unterschiedliche FeldnamenErst Felder zuordnen, dann bereinigen

Häufige Fragen

Welche Schritte hat die Datenbereinigung?

Daten profilieren, strukturelle Fehler beheben, Formate vereinheitlichen, Duplikate entfernen, fehlende Werte behandeln, gegen Regeln validieren und die Änderungen dokumentieren. Vereinheitlichen Sie vor dem Deduplizieren: Viele Duplikate stimmen erst überein, wenn Leerzeichen sowie Groß- und Kleinschreibung gleich sind.

Was ist der Unterschied zwischen Datenbereinigung und „Data Cleansing“?

Praktisch gibt es keinen: „Data Cleaning“, „Data Cleansing“ und „Data Scrubbing“ bedeuten alle, falsche, doppelte, fehlende oder schlecht formatierte Werte zu finden und zu korrigieren. Manche Teams sprechen von „Cleansing“ bei einem wiederkehrenden, in ein System eingebauten Prozess und von „Cleaning“ bei einer einmaligen Aufgabe, aber die Arbeit ist dieselbe.

Wie bereinigt man Daten in Excel?

Nutzen Sie in Excel die Funktion GLÄTTEN, um überzählige Leerzeichen zu entfernen, „Suchen und Ersetzen“ für einheitliche Schreibweisen, den Assistenten zum Konvertieren von Text in Spalten, um Felder aufzuteilen, Filter, um auffällige Werte zu finden, und „Duplikate entfernen“ für die Spalte, die jeden Eintrag kennzeichnet. Arbeiten Sie an einer Kopie und lassen Sie das Originalblatt unverändert.

Warum ist Datenbereinigung in der Datenanalyse wichtig?

Eine Analyse wiederholt jeden Fehler ihrer Eingabe: Duplikate blähen Summen auf, fehlende Werte verzerren Durchschnitte, und unterschiedliche Schreibweisen zerlegen eine Kategorie in mehrere. Die Ergebnisse wirken trotzdem plausibel, deshalb fällt der Fehler oft erst auf, wenn schon eine Entscheidung darauf beruht.

Was bedeutet Datenbereinigung beim maschinellen Lernen?

Beim maschinellen Lernen umfasst Datenbereinigung die üblichen Schritte plus zwei zusätzliche Prüfungen: falsche Labels korrigieren und Data Leakage zwischen Trainings- und Testdaten verhindern. Teilen Sie die Daten zuerst auf und lernen Sie Füllwerte nur aus dem Trainingsdatensatz, damit die Testergebnisse zeigen, wie sich das Modell bei neuen Daten verhält.

Ist Datenbereinigung dasselbe wie das Löschen von App-Daten auf dem Handy?

Nein. Wer auf dem Handy die App-Daten löscht, entfernt die Dateien, die eine App auf diesem Gerät gespeichert hat, etwa Cache, Einstellungen und Anmeldung, und setzt sie auf den Ausgangszustand zurück. Datenbereinigung in der Analyse behält die Daten und korrigiert sie; dabei soll nichts verloren gehen.

Fazit

Datenbereinigung sorgt dafür, dass ein Datensatz bedeutet, was er aussagt: eine Zeile pro realem Ding, ein Format pro Feld, keine stillen Lücken und keine unmöglichen Werte. Zuerst profilieren, dann die Struktur reparieren, vereinheitlichen, deduplizieren, über fehlende Werte entscheiden, gegen schriftliche Regeln validieren und jede Änderung protokollieren, während die Rohdaten erhalten bleiben. Behalten Sie bei Daten aus dem Web in jeder Zeile Währung, Land und Erhebungszeitpunkt, und erheben Sie die Daten jedes Marktes aus diesem Markt; unsere Seite zur Preisüberwachung erklärt, wie das bei Preisen von Wettbewerbern funktioniert.

ChatGPT fragenClaude fragen