Was ist Daten-Labeling? Datenannotation für KI erklärt

Veröffentlicht:

16 Min. Lesezeit

Acar Diveroli
Autor: Acar Diveroli
Eine lose Wolke weißer Punkte ohne Label; rechts tragen Punkte Tags wie car und spam, ein blauer Punkt das Tag billing

Ein Support-Team möchte ein Modell, das jedes neue Ticket in die richtige Warteschlange schickt: Abrechnung, Lieferung oder Retouren. Es hat 60.000 alte Tickets, doch bei keinem ist vermerkt, wohin es ging, also hat ein Modell noch nichts, woraus es lernen könnte. Jemand muss eine Stichprobe lesen und neben jedes Ticket die Antwort schreiben. Ein Autohersteller steht mit Kamerabildern vor demselben Problem, das Team eines Sprachassistenten mit aufgezeichneter Sprache. Diese Arbeit heißt Daten-Labeling.

Dieser Beitrag erklärt, was Daten-Labeling (auch Datenannotation genannt) ist, warum KI-Modelle es brauchen, welche Label-Arten es gibt, wie ein Labeling-Projekt abläuft, wie man die Qualität misst, wie Modelle bei der Arbeit helfen und welche Datenschutzregeln gelten.

Was ist Daten-Labeling?

Daten-Labeling bedeutet, jedem Rohbeispiel die richtige Antwort hinzuzufügen, damit ein Modell den Zusammenhang zwischen Eingabe und Antwort lernen kann. Die Eingabe kann ein Foto, ein Satz oder ein Tonausschnitt sein; das Label ist das, was ein sorgfältiger Mensch dazu sagen würde: „Katze“, „negative Bewertung“, „Paris ist ein Ortsname“. Eine Eingabe zusammen mit ihrem Label ergibt ein annotiertes Beispiel.

Annotierte Beispiele sind der Rohstoff des überwachten Lernens (Supervised Learning). So heißt das Teilgebiet des maschinellen Lernens, in dem ein Modell aus Eingaben mit bekannten Antworten lernt und danach Antworten für neue Eingaben vorhersagt. Die Labels, an denen ein Modell gemessen wird, nennt man Ground Truth, also die als richtig geltenden Antworten; sie sind allerdings nur so richtig wie die Menschen und Regeln dahinter.

Manche Labels entstehen nebenbei: Wenn Sie eine E-Mail als Spam markieren, annotieren Sie Daten für Ihren Maildienst, wie Burr Settles in seiner Übersichtsarbeit zum aktiven Lernen anmerkt. Bei Unternehmensdaten ist das selten so; niemand ordnet einem Ticket seine Warteschlange zu, wenn das nicht ausdrücklich jemandes Aufgabe ist. Dieselbe Arbeit heißt auch Annotation, Tagging oder in den Sozialwissenschaften Kodierung.

Warum brauchen KI-Modelle annotierte Daten?

KI-Modelle brauchen annotierte Daten für dreierlei: um eine Aufgabe zu lernen, um darin getestet zu werden und, bei Chat-Assistenten, um zu lernen, welche Antworten Menschen bevorzugen.

Training. Ein Modell, das Tickets weiterleitet oder Bauteile mit Rissen erkennt, lernt nur aus Beispielen, deren Antwort bekannt ist. Die Labels legen die Aufgabe fest: Gibt es kein Label „Retoure“, lernt das Modell nie, eine Retoure zu erkennen.

Evaluierung. Selbst ein Modell, das ohne Labels trainiert wurde, etwa ein großes Sprachmodell mit Vortraining auf Rohtext, wird an Beispielen mit bekannten Antworten getestet. Ein kleiner, sorgfältig annotierter Testdatensatz ist oft der wertvollste Datenbestand eines Teams, weil jede spätere Änderung daran gemessen wird.

Abstimmung von Sprachmodellen. Chat-Assistenten werden mit Antworten abgestimmt, die Menschen geschrieben haben, und mit Rangfolgen mehrerer Modellantworten von der besten bis zur schlechtesten. Im InstructGPT-Paper schrieb ein Team aus rund 40 Auftragnehmern, ausgewählt über einen Eignungstest, Beispielantworten und brachte pro Prompt zwischen vier und neun Modellausgaben in eine Rangfolge.

Auch diese Rangfolgen sind Labels: Ein Mensch entscheidet nach schriftlichen Anweisungen, welche Antwort besser ist. Wie solche Labels ein trainiertes Modell anpassen, erklärt Was ist Fine-Tuning?.

Welche Arten von Daten-Labeling gibt es?

Die Art des Labels ergibt sich aus der Art der Daten und aus der Frage, die das Modell beantworten soll:

DatenÜbliche Label-ArtenBeispielaufgabe
BilderKlasse, Bounding Box, Umriss, KeypointsBeschädigte Pakete auf Fotos finden
TextKategorie, Sentiment, Entitäten, AbsichtTickets weiterleiten, beleidigende Kommentare markieren
AudioTranskript, Sprecherwechsel, GeräuschereignisseSpracherkennung für ein Callcenter trainieren
VideoÜber Frames verfolgte Objekte, HandlungenEinen Gabelstapler durch einen Clip verfolgen
DokumenteFeldnamen und Positionen, SeitentypSummen und Datumsangaben aus Rechnungen auslesen

Bilder. Bei der Klassifikation erhält das ganze Bild ein einziges Label („enthält einen Riss“). Eine Bounding Box ist ein Rechteck, das um ein Objekt gezogen und als Koordinaten gespeichert wird. Die Segmentierung zeichnet den genauen Umriss nach, als Polygon oder Pixel für Pixel, und Keypoints markieren einzelne Punkte wie die Gelenke eines Körpers. Der öffentliche COCO-Datensatz zeigt, welche Größenordnung das erreichen kann: 328.000 Bilder mit 2,5 Millionen annotierten Objekten, jedes einzeln umrissen.

Text. Ein Text-Label kann ein ganzes Dokument betreffen (Thema, Sentiment, eine Absicht wie „Abo kündigen“) oder einen Abschnitt darin. Die Erkennung benannter Entitäten (Named Entity Recognition), eine klassische Annotationsaufgabe der Verarbeitung natürlicher Sprache, markiert die Wörter, die Personen, Organisationen, Orte, Produkte oder Datumsangaben benennen. Das Sentiment ist oft das erste Label, das ein Team ausprobiert; Sentiment-Analyse in Python zeigt, warum eine kleine Menge von Hand annotierter Bewertungen der Maßstab für jede Bewertungsmethode ist.

Audio und Video. Audio-Labels reichen vom vollständigen Transkript bis zur Angabe, wer wann spricht. Die Arbeit ist langsam: Settles' Übersichtsarbeit zitiert einen Bericht, nach dem eine Transkription auf Wortebene zehnmal so lange dauern kann wie die Aufnahme selbst. In Videos muss dasselbe Objekt von Frame zu Frame seine Identität behalten; das nennt man Tracking.

Wie läuft ein Daten-Labeling-Projekt ab?

Ein Labeling-Projekt läuft als Schleife: jedes Label definieren, die Definitionen an einer kleinen Charge testen, messen, wo Menschen uneins sind, die Definitionen korrigieren und erst dann in großem Umfang annotieren. Ein typisches Projekt hat acht Schritte:

  1. Aufgabe und Label-Set festlegen. Schreiben Sie die Frage auf, die das Modell beantworten soll, dazu die zulässigen Labels, jedes mit einer klaren Grenze zu seinen Nachbarn. Eine Option „unklar“ verhindert, dass geraten wird.
  2. Richtlinien mit Beispielen schreiben. Geben Sie jedem Label eine Definition, typische Beispiele und die schwierigen Fälle, etwa ein Ticket, das eine Erstattung verlangt und sich zugleich über eine verspätete Lieferung beschwert.
  3. Einen Pilotlauf machen. Mehrere Personen annotieren unabhängig voneinander dieselbe kleine Charge. Messen Sie die Zeit, damit Kostenschätzungen auf Messungen beruhen.
  4. Annotieren. Arbeiten Sie in Chargen, mischen Sie Goldstandard-Beispiele unter, deren richtiges Label bereits feststeht, und sorgen Sie dafür, dass alle mit derselben Version der Richtlinie arbeiten.
  5. Prüfen. Eine zweite Person prüft eine Stichprobe jeder Charge und jedes als „unklar“ markierte Element.
  6. Übereinstimmung messen. Vergleichen Sie die Labels von Personen, die dieselben Elemente annotiert haben, ohne die Antworten der anderen zu sehen.
  7. Richtlinien korrigieren. Uneinigkeit deutet meist auf eine mehrdeutige Regel hin, nicht auf nachlässige Menschen. Präzisieren Sie die Regel und annotieren Sie die betroffenen Elemente neu.
  8. Mit Dokumentation übergeben. Liefern Sie die Labels mit der Version der Richtlinie und den Übereinstimmungswerten aus, und halten Sie einen Testdatensatz zurück, der nie fürs Training verwendet wird.

Das InstructGPT-Team beschreibt dieselben Gewohnheiten in großem Maßstab: eine Einarbeitung, ausführliche Anweisungen für jede Aufgabe und einen gemeinsamen Chatraum für die Fragen der Annotatoren.

Wie wird die Qualität des Labelings gemessen?

Die Qualität des Labelings wird an Goldstandard-Beispielen gemessen, deren Antwort bereits feststeht, und daran, wie weit unabhängige Annotatoren über das Maß hinaus übereinstimmen, das der Zufall allein ergeben würde.

Goldstandard-Beispiele sind Beispiele mit geprüftem Label, die ohne Kennzeichnung unter die Arbeit gemischt werden. Wer viele davon verfehlt, braucht Rückmeldung; ein Goldstandard-Beispiel, das viele verfehlen, kann selbst falsch sein.

Die Übereinstimmung zwischen Annotatoren (Inter-Annotator Agreement) misst, wie einheitlich verschiedene Menschen dieselben Elemente annotieren. Die reine prozentuale Übereinstimmung täuscht, weil ein Teil davon zufällig entsteht. Cohens Kappa, 1960 von Jacob Cohen eingeführt, rechnet diesen Anteil heraus: Kappa = (beobachtete Übereinstimmung - zufällige Übereinstimmung) / (1 - zufällige Übereinstimmung). Ein Kappa von 1 bedeutet vollständige Übereinstimmung, 0 bedeutet nicht besser als der Zufall.

Zwei Personen ordnen 200 Tickets als „Abrechnung“ oder „keine Abrechnung“ ein und stimmen bei 85 % überein. Legt jede die Hälfte der Tickets in jede Klasse, ergibt der Zufall allein 50 % Übereinstimmung, Kappa ist also (0,85 - 0,50) / (1 - 0,50) = 0,70. Legen beide 90 % der Tickets in „keine Abrechnung“, ergibt der Zufall allein 0,9 × 0,9 + 0,1 × 0,1 = 82 %, und dieselben 85 % sind nur noch ein Kappa von 0,17 wert.

Fleiss' Kappa und Krippendorffs Alpha übertragen die Idee auf mehr als zwei Annotatoren. In der Computerlinguistik gilt 0,8 als übliches Ziel, doch die Übersichtsarbeit von Artstein und Poesio argumentiert, dass kein einzelner Schwellenwert zu jeder Aufgabe passt. Sie empfiehlt, eine Konfusionsmatrix anzugeben, also eine Tabelle, die zeigt, welche Labels mit welchen verwechselt werden.

Subjektive Aufgaben erreichen weniger Übereinstimmung: Im InstructGPT-Projekt stimmten Annotatoren, die Modellantworten verglichen, in 72,6 ± 1,5 % der Fälle miteinander überein. Bleibt die Übereinstimmung auch nach der Korrektur der Richtlinie niedrig, wird die Schlichtung (Adjudication) Teil des Prozesses: Eine erfahrene Prüfperson oder eine Mehrheitsentscheidung klärt jeden Streitfall.

Wie helfen Modelle beim Labeling?

Modelle helfen auf vier Arten: Sie schlagen Labels vor, die Menschen prüfen, wählen aus, welche Beispiele die Zeit eines Menschen wert sind, machen aus groben Regeln Labels und annotieren manchmal ganz ohne Menschen. Je mehr das Modell übernimmt, desto sorgfältiger muss seine Ausgabe geprüft werden.

AnsatzSo funktioniert erWorauf achten
ManuellMenschen annotieren jedes Element nach der RichtlinieLangsam und teuer bei großen Mengen
VorannotationEin Modell schlägt vor, Menschen übernehmen oder korrigierenMenschen übernehmen falsche Vorschläge
Aktives LernenDas Modell fragt nach Elementen, bei denen es unsicher istDie annotierte Menge ist nicht mehr zufällig
Schwache ÜberwachungRegeln stimmen ab, ein Modell kombiniert die StimmenRegeln teilen dieselben blinden Flecken
VollautomatischEin Modell oder Simulator liefert das LabelFehler, die niemand prüft

Vorannotation ist die einfachste Form: Ein früheres Modell oder ein großes Sprachmodell, dem die Richtlinie als Anweisung mitgegeben wird, entwirft ein Label, und ein Mensch bestätigt oder korrigiert es. Menschen neigen dazu, einen plausiblen Vorschlag zu übernehmen, deshalb brauchen vorannotierte Chargen dieselben Kontrollen mit Goldstandard-Beispielen. Diese Schleife ist gemeint, wenn beim Labeling von „Human in the Loop“ (der Mensch bleibt im Prozess) die Rede ist.

Aktives Lernen beruht auf der Idee, dass ein Modell nach Settles' Worten „mit weniger Trainingslabels eine höhere Genauigkeit“ erreichen kann, wenn es die Daten, aus denen es lernt, selbst auswählen darf. Seine übliche Strategie, die Unsicherheitsstichprobe (Uncertainty Sampling), schickt Menschen die Beispiele, bei denen sich das Modell am wenigsten sicher ist; zum Testen braucht es deshalb weiterhin eine separate Zufallsstichprobe.

Schwache Überwachung (Weak Supervision) ersetzt einen Teil der Labels von Hand durch Regeln. In dem System, das Ratner und Kollegen 2017 beschrieben haben, schreiben Fachleute Labeling-Funktionen, kleine Heuristiken wie „enthält das Ticket eine Rechnungsnummer, für Abrechnung stimmen“. Das System schätzt, wie zuverlässig jede Regel ist, und kombiniert ihre Stimmen zu Trainingslabels.

Vollautomatische Labels stammen aus einem Modell oder einer Simulation, ohne dass ein Mensch jedes einzelne prüft. Ein 3D-Simulator weiß, wo sich jedes Objekt in seiner Szene befindet, deshalb kommen seine Bilder bereits annotiert an; die Grenzen erzeugter Daten behandelt Was sind synthetische Daten?. Der Testdatensatz braucht trotzdem Labels, die ein Mensch geprüft hat.

Was gilt für personenbezogene Daten beim Labeling?

Enthalten die Beispiele personenbezogene Daten, ist ihr Labeling eine Verarbeitung personenbezogener Daten, und es gelten die Datenschutz-Grundverordnung (DSGVO) in der EU, das Gesetz Nr. 6698 über den Schutz personenbezogener Daten (KVKK) in Türkiye und ähnliche Gesetze. Tickets enthalten Namen, Fotos zeigen Gesichter und Kennzeichen, Aufnahmen enthalten Stimmen.

Entfernen Sie, was die Aufgabe nicht braucht, bevor die Daten bei den Annotatoren ankommen: Maskieren Sie Namen, E-Mail-Adressen und Telefonnummern, machen Sie Gesichter unkenntlich, um die es nicht geht, und kürzen Sie Audio auf den relevanten Teil. Maskierung ist nicht automatisch Anonymisierung: Nach Erwägungsgrund 26 der DSGVO bleiben pseudonymisierte Daten, bei denen Namen durch Codes ersetzt sind, der Schlüssel aber noch existiert, personenbezogene Daten.

Annotatoren, die über ein anderes Unternehmen für Sie arbeiten, verarbeiten die Daten in Ihrem Auftrag. Die DSGVO verlangt einen Vertrag mit einem solchen Auftragsverarbeiter, und das KVKK macht den Verantwortlichen gemeinsam mit dem Auftragsverarbeiter für die Sicherheitsmaßnahmen verantwortlich. In der Praxis heißt das: Zugriff nur auf die Chargen, an denen jemand gerade arbeitet, keine Kopien auf privaten Geräten und Löschung am Projektende.

Die Regulierung beginnt, das Labeling direkt zu nennen. Nach der EU-Verordnung über künstliche Intelligenz (AI Act) gelten für Trainings-, Validierungs- und Testdatensätze von Hochrisiko-KI-Systemen Daten-Governance- und Datenverwaltungsverfahren, die unter anderem „relevante Datenaufbereitungsvorgänge wie Annotation, Kennzeichnung, Bereinigung, Aktualisierung, Anreicherung und Aggregierung“ betreffen.

Woher kommen die noch nicht annotierten Beispiele?

Nicht annotierte Beispiele stammen zuerst aus Ihren eigenen Systemen, dann aus lizenzierten Datensätzen und, bei Aufgaben rund um öffentliche Inhalte, aus öffentlichen Webseiten; was Sie sammeln, entscheidet darüber, womit das Modell umgehen kann. Ein Ticket-Router, der nur mit englischen Tickets trainiert wurde, stolpert über spanische.

Ihre eigenen Tickets, Fotos und Aufnahmen nutzen Sie im Rahmen der Datenschutzhinweise und Einwilligungen, die diesen Zweck abdecken. Um Produktangebote, Bewertungen oder Stellenanzeigen in vielen Sprachen zu klassifizieren, sammeln Teams außerdem öffentliche Webseiten aus den Ländern, in denen sie tätig sind.

An diesem Sammelschritt kommen Proxys ins Spiel. Viele Websites ändern Sprache, Währung und Sortiment je nach dem Land der IP-Adresse des Besuchers, und mit einem Residential-Proxy mit Länder- und Städte-Targeting sammeln Sie die Version, die lokale Besucher sehen. Sammeln Sie nur öffentliche Seiten, beachten Sie robots.txt und die Nutzungsbedingungen der Website, nutzen Sie eine offizielle API, wo es eine gibt, und lassen Sie personenbezogene Daten weg, die Sie nicht annotieren werden.

Unsere Seite zu Proxys für die Datenerfassung erklärt, welcher Proxy-Typ und welcher Sitzungsmodus zu welcher Sammelaufgabe passt.

Wo wird Daten-Labeling eingesetzt?

Daten-Labeling steckt hinter den meisten KI-Funktionen, die etwas über eine bestimmte Eingabe entscheiden. Support-Teams annotieren Tickets, um sie weiterzuleiten. Onlineshops versehen Produkte mit Kategorien und bewerten Suchergebnisse nach Relevanz. Moderationsteams ordnen Beiträge anhand einer schriftlichen Richtlinie ein. Fabriken kennzeichnen Bilder von Bauteilen als gut oder fehlerhaft, Banken Transaktionen als Betrug oder unauffällig. Krankenhäuser annotieren medizinische Bilder, was qualifiziertes klinisches Personal und strengen Datenschutz erfordert. Teams, die auf einem großen Sprachmodell aufbauen, versehen Testfragen mit akzeptablen Antworten, damit sie erkennen, ob ein neuer Prompt oder eine neue Modellversion besser ist.

Häufige Fehler

  • Annotieren, bevor es eine Richtlinie gibt. Jeder erfindet eigene Regeln, und die Uneinigkeit zeigt sich erst nach Tausenden Elementen.
  • Keine Option „unklar“. Erzwungenes Raten sieht genauso aus wie ein sicheres Label.
  • Nur die prozentuale Übereinstimmung angeben. Bei einer dominanten Klasse kann hohe Übereinstimmung Zufall sein; geben Sie Kappa oder Alpha an.
  • Die Richtlinie ändern, ohne neu zu annotieren. Die Daten mischen dann zwei Regelwerke.
  • Vorannotationen blind vertrauen. Prüfen Sie Modellvorschläge mit Goldstandard-Beispielen so streng wie manuelle Labels.
  • Testelemente ins Training gelangen lassen. Ein Modell, das an seinen eigenen Trainingsdaten getestet wird, wirkt besser, als es ist.
  • Rohe personenbezogene Daten an Annotatoren schicken. Maskieren oder entfernen Sie zuerst, was die Aufgabe nicht braucht.

Entscheidungshilfe

BedarfAnsatz
Ein erstes Modell für eine neue AufgabeRichtlinie, kleiner Pilotlauf, manuelle Labels
Viele Elemente, wenige FachleuteAktives Lernen bei den unsicheren Elementen
Fachleute können klare Regeln formulierenSchwache Überwachung, an einer von Hand annotierten Stichprobe geprüft
Große Mengen, geringes RisikoVorannotation durch ein Modell mit Goldstandard-Prüfung
Ein Testdatensatz, dem Sie vertrauen könnenZwei unabhängige Annotatoren plus Schlichtung
Subjektive Labels wie TonfallMehrere Annotatoren pro Element, Übereinstimmung angegeben
Daten mit persönlichen AngabenZuerst maskieren, Auftragsverarbeitungsvertrag, eingeschränkter Zugriff

Häufige Fragen

Was ist der Unterschied zwischen Daten-Labeling und Datenannotation?

In den meisten Teams gibt es keinen. Wo man beides trennt, ist Annotation der weitere Begriff für jede Information, die Rohdaten hinzugefügt wird, etwa Rahmen, Umrisse oder markierte Textabschnitte, während ein Label die Antwort selbst ist, etwa ein Klassenname.

Was ist eine Bounding Box?

Eine Bounding Box ist ein Rechteck, das um ein Objekt in einem Bild gezogen und als Koordinaten gespeichert wird, meist als zwei Ecken oder als eine Ecke plus Breite und Höhe. Sie ist schneller gezeichnet als ein nachgezogener Umriss, bei unregelmäßigen Formen aber weniger genau.

Kann KI Daten selbst annotieren?

Teilweise. Ein großes Sprachmodell kann Text anhand einer schriftlichen Richtlinie annotieren, doch maschinelle Labels übernehmen die Fehler und Verzerrungen des Modells. Nutzen Sie sie als Entwürfe oder für große Mengen mit geringem Risiko, und überlassen Sie Menschen die Goldstandard-Beispiele, die Streitfälle und den Testdatensatz.

Wie viele annotierte Daten brauche ich?

Das hängt von der Aufgabe, der Zahl der Labels und davon ab, wie ähnlich sich die Klassen sind; messen Sie es also. Trainieren Sie auf wachsenden Teilen einer ersten annotierten Charge (einem Viertel, der Hälfte, dem Ganzen) und prüfen Sie jedes Mal das Ergebnis auf einem festen Testdatensatz. Steigt der Wert noch, helfen mehr Labels; hat er sich abgeflacht, helfen klarere Labels meist mehr.

Was ist die Übereinstimmung zwischen Annotatoren?

Die Übereinstimmung zwischen Annotatoren misst, wie oft verschiedene Menschen demselben Element dasselbe Label geben, bereinigt um den Zufall. Cohens Kappa ist das übliche Maß für zwei Personen, Fleiss' Kappa und Krippendorffs Alpha für mehr. Geringe Übereinstimmung deutet meist auf eine unklare Richtlinie hin, nicht auf nachlässige Annotatoren.

Ist Daten-Labeling ein Beruf?

Ja. Das Labeling übernehmen interne Teams, Auftragnehmer und Fachleute wie Linguisten oder medizinische und juristische Fachkräfte, wenn eine Aufgabe ihr Urteil braucht. Eine Fachkraft für Daten-Labeling annotiert und prüft Elemente, markiert unklare Fälle und hilft, die Richtlinie zu verbessern. Wenn Sie ein Angebot in Betracht ziehen, lesen Sie die Bedingungen sorgfältig.

Fazit

Daten-Labeling fügt Rohbeispielen die Antwort hinzu, die ein Modell lernen soll: eine Klasse, einen Rahmen, einen markierten Namen oder ein Transkript. Modelle brauchen es, um überwachte Aufgaben zu lernen, um getestet zu werden und, bei Chat-Assistenten, um zu lernen, welche Antworten Menschen bevorzugen. Gute Labels entstehen aus einer klaren Richtlinie, einem Pilotlauf, einer über den Zufall hinaus gemessenen Übereinstimmung und einer Schleife, die die Richtlinie dort korrigiert, wo Menschen uneins sind. Modelle entwerfen inzwischen Labels und wählen die Beispiele aus, die die Zeit eines Menschen wert sind, doch was zählt, prüfen weiterhin Menschen. Entfernen Sie personenbezogene Daten, die die Aufgabe nicht braucht, und sammeln Sie Rohbeispiele aus den Sprachen und Ländern, denen Ihr Modell begegnen wird.

ChatGPT fragenClaude fragen