Von rohem HTML zu KI-fertigen Daten: Die unsichtbare Arbeit der Normalisierung

Wie entsteht ein KI-fertiger Datensatz? Wie Senkrondata verstreute Produktseiten in einen konsistenten, strukturierten Datensatz normalisiert.

Ein Produkt steht auf Seite A als „500 ML Shampoo", auf Seite B als „0,5 L Shampoo" und auf Seite C als „500ml — Shampoo (Familiengröße)". Die eine Seite schreibt ihren Preis als „149,90 EUR", die andere als „€149,90". Ein Mensch liest darin dasselbe; für eine Datenbank, ein BI-Werkzeug oder ein Sprachmodell sind diese drei Zeichenketten drei verschiedene Dinge — bis sie normalisiert sind.

Ein KI-fertiger Datensatz ist kein direktes Produkt von rohem HTML. Dazwischen liegt eine unsichtbare, aber entscheidende Schicht: die Normalisierung.

Warum Rohdaten nicht „fertig" sind

Jede Seite hat ihr eigenes Design und ihre eigenen Schreibkonventionen: andere Einheitenschreibweisen (ml/l, g/kg), andere Währungsformate, andere Dezimaltrenner, andere Kategoriebenennungen, im HTML festgebackene Leerzeichen und Sonderzeichen. Dazu kommt, dass dieselbe Information mal in einem strukturierten Feld steht (ein „Marke"-Kasten) und mal im Fließtext vergraben ist.

Wer diese Rohform direkt in ein Analysewerkzeug oder ein Sprachmodell gibt, lässt es die meiste Zeit mit der Frage ringen „Sagen diese beiden Zeichenketten dasselbe?", statt die eigentliche Arbeit zu tun.

Normalisierung: Konsistenz herstellen

Die Normalisierungsschicht führt die verschiedenen Darstellungen jeder Quelle auf ein gemeinsames Schema zurück:

• Einheiten- und Währungsstandardisierung: „0,5 L" und „500 ML" werden in denselben Zahlenwert und dieselbe Einheit überführt.
• Feldextraktion: Im Fließtext vergrabene Informationen — Marke, Farbe, Größe — werden in eigene Felder gezogen (so weit möglich; in manchen Kategorien bleibt das lückenhaft).
• Kategorie-Mapping: Der eigene Kategoriebaum jeder Seite wird auf eine gemeinsame Taxonomie abgebildet.
• Bereinigung: überflüssige Leerzeichen, HTML-Reste und Kodierungsfehler werden entfernt.

Das Ergebnis sind Datensätze derselben Form, unabhängig davon, aus welcher Quelle sie stammen — und damit bereit für den nächsten Schritt: von einer Maschine verarbeitet zu werden.

Was „KI-fertig" tatsächlich heißt

Damit ein Datensatz für KI- und BI-Werkzeuge „fertig" ist, braucht es dreierlei:

1. Ein konsistentes Schema: Jeder Datensatz hat dieselben Felder desselben Typs — ein Sprachmodell oder eine Abfrage-Engine weiß Feld für Feld, was sie erwartet.
2. Kein Kontextverlust: Normalisierung vereinfacht, ohne die Ursprungsinformation zu löschen; „500 ML" wird in eine Standardeinheit überführt, während die ursprüngliche Formulierung der Quelle erhalten bleibt.
3. Nachvollziehbarkeit: Aus welcher Quelle und wann jedes normalisierte Feld stammt, ist bekannt — nötig für Audit wie Fehlersuche.

Sind alle drei erfüllt, ist der Datensatz nicht bloß eine für Menschen lesbare Tabelle, sondern ein Fundament, auf dem ein Modell oder eine Reporting-Engine mit Zuversicht aufbauen kann.

Die Prinzipien, die das Ganze verlässlich halten

• Normalisierung standardisiert die Form, sie verliert keine Information. Der Originaltext bleibt immer zugänglich; darüber kommt lediglich eine konsistente Schicht.
• Fehlende Daten werden als fehlend markiert, nicht geraten. Ließ sich ein Feld nicht extrahieren, bleibt es leer, statt still mit einem Standardwert gefüllt zu werden — das Füllen erzeugte eine falsche Sicherheit.
• Das Schema wächst mit den Quellen, bricht aber nicht rückwärts. Ein neues Feld kann dazukommen; Felder, die bestehende Verbraucher (Berichte, Modelle) erwarten, verschwinden nicht plötzlich.

Das Wesentliche

Der Unterschied zwischen rohem HTML und einem KI-fertigen Datensatz ist größtenteils eine unsichtbare Normalisierungsschicht — die Arbeit, Einheiten, Währungen, Kategorien und Attribute in eine gemeinsame Sprache zu übersetzen und Konsistenz herzustellen, ohne Information zu verlieren. Je stärker diese Schicht ist, desto verlässlicher wird jede Analyse, jeder Bericht und jedes Modell, das darauf aufbaut.

Wenn aus Ihren Rohdaten ein verlässlicher, KI-fertiger Datensatz werden soll, sprechen Sie mit dem Senkrondata-Team.