Was ist Semantic Product Matching? Wie der Zuordnungsalgorithmus wirklich arbeitet

Von lexikalischer Zuordnung über Embeddings und Retrieval-Rerank bis zu Hard Negative Sampling — wie Senkrondata Produkttitel Schritt für Schritt zuordnet.

Jedes Team, das mit E-Commerce-, Quick-Commerce- oder Marktplatzdaten arbeitet, stößt früher oder später auf dasselbe Problem: Sie haben einen Produkttitel, vor Ihnen liegt eine Menge aus Tausenden — manchmal Millionen — anderer Produkttitel, und Sie müssen herausfinden, welcher davon dasselbe Produkt ist. Ein Barcode hilft nicht immer; oft haben Sie nur Text.

In diesem Beitrag teilen wir die Methode, mit der wir bei Senkrondata Produkttitel allein anhand von Text zuordnen: zuerst, warum die einfachen Ansätze zu kurz greifen, dann, welche Techniken wir zur Lösung kombiniert haben.

Unser Ziel ist dieses: Finde zu einem Produkttitel p den entsprechenden Titel (falls es einen gibt) in einer ungeordneten Menge S = {t₁, t₂, …, tₙ}. Diese Menge kann unser eigener Katalog sein (um Duplikate zu finden) oder der Katalog eines Wettbewerbers (für Sortiments- und Preisvergleich).

Methode 1 — Lexikalische Zuordnung

Die erste, günstigste Idee ist, beide Titel in eine Wortmenge zu zerlegen und die Zahl der gemeinsamen Wörter durch die Gesamtzahl zu teilen — das heißt Intersection over Union (IoU). Verfeinern lässt sich das mit TF-IDF-Gewichtung und einem BM25-Ähnlichkeitswert.

Diese Methode hat zwei große Vorteile:

• Tempo durch einen invertierten Index: Ein invertierter Index findet übereinstimmende Wörter sehr schnell, auch in einer großen Menge S.
• Fertige Werkzeuge: Bibliotheken wie Lucene machen die Umsetzung einfach.

Lexikalische Zuordnung ruht aber auf einer Kernannahme: Damit Wörter in p und t übereinstimmen, müssen sie identisch sein. Diese Annahme bricht in der Praxis ständig:

Die Tabelle zeigt, warum lexikalische Zuordnung allein nicht genügt: Es braucht eine Methode, die näher an der Sprache selbst arbeitet und unterschiedliche Formulierungen desselben Produkts erkennt.

Methode 2 — Semantischer Encoder (Embeddings)

Ein semantischer Encoder verwandelt Text in einen Vektor (Embedding), der dessen Bedeutung erfasst und über die reine Wortüberschneidung hinausgeht. Tragen zwei Texte dieselbe oder eine sehr ähnliche Bedeutung, sollte der Abstand (Kosinus oder euklidisch) zwischen ihren Embeddings klein sein.

Dafür nutzen wir einen Encoder im Stil von SBERT (Sentence-BERT), aufgebaut auf einem transformerbasierten Sprachmodell und mit einer Siamese-Network-Architektur nachtrainiert. Das Fine-Tuning läuft auf unserem eigenen internen Datensatz: Paare von Produkttiteln, die entweder als „zugeordnet" oder „nicht zugeordnet" gelabelt sind.

Die Stärke eines semantischen Encoders liegt darin, dieselbe Bedeutung in anderen Worten zu erkennen — „schnelles USB-Ladegerät" und „USB-Adapter mit Schnellladefunktion" teilen fast kein Wort, tragen aber eine sehr nahe Bedeutung, und ein guter Encoder sieht das.

Auch diese Methode hat zwei Grenzen:

• Kontextuelle Begrenzung: Weil jeder Titel unabhängig kodiert wird, kann dem Modell eine feine wechselseitige Beziehung zwischen zwei Texten entgehen — etwa ein Unterschied in Einheit oder Packungsanzahl.
• Verlust von Schlüsselwörtern: Weil Embeddings begrenzt groß sind, konzentriert sich der Encoder auf die übergeordnete Bedeutung — für die Zuordnung entscheidende Schlüsselwörter wie Markennamen können in dieser Repräsentation untergehen.

Methode 3 — Retrieval-Rerank

Retrieval-Rerank, eine etablierte Methode aus dem Information Retrieval, balanciert Tempo und Präzision über zwei getrennte Stufen: zuerst eine schnelle, weniger präzise Retrieval-Stufe, danach eine langsamere, deutlich genauere Reranking-Stufe. Die erste Stufe soll das Feld möglicher Treffer eingrenzen, weil die zweite teurer ist.

Erste Stufe: Retrieval

Aufgabe der Retrieval-Stufe ist es, schnell eine Liste von k Kandidaten zu erzeugen. Dafür lässt sich Methode 1 oder Methode 2 verwenden. Wir lassen lexikalisches und semantisches Retrieval auf dieser Stufe gemeinsam laufen: Die lexikalische Methode fängt exakte Wortüberschneidungen günstig und schnell ab, während die semantische auch Titel einsammelt, die anders geschrieben sind, aber dasselbe meinen — jede deckt ab, was der anderen entgeht.

Zweite Stufe: Reranking

Fürs Reranking nutzen wir einen transformerbasierten Cross-Encoder. Anders als ein reines Encoder-Modell, das Eingaben unabhängig verarbeitet und je ein eigenes Embedding erzeugt, betrachtet ein Cross-Encoder das Eingabepaar gemeinsam. Diese gemeinsame Verarbeitung erfasst die Wechselwirkung zwischen beiden Texten und liefert spürbar höhere Genauigkeit.

Das ist besonders wertvoll für Aufgaben, die feine Nuancen oder kontextuelle Ähnlichkeit auflösen müssen. Genau wegen der hohen Rechenkosten des Cross-Encoders heben wir ihn uns aber für die zweite Stufe auf — wir setzen ihn auf die kleine Kandidatenmenge an, die die erste Stufe bereits eingegrenzt hat, nicht auf Millionen von Paaren.

Zusammen findet der Retrieval-Rerank-Ansatz die Balance aus betrieblicher Effizienz und Genauigkeit: Die erste Stufe filtert effizient eine riesige Datenmenge, die zweite legt eine weit strengere Analyse auf die eingegrenzte Menge — hochwertige Endergebnisse, ohne den Cross-Encoder unbezahlbar über den gesamten Datenbestand laufen zu lassen.

Hard Negative Sampling

Bei Hard Negative Sampling geht es darum, negative Beispiele auszuwählen, die das Modell nur schwer korrekt einordnet — daher „hard". Die Technik verbessert die Modellleistung, indem sie es zwingt, Ähnliches von Unähnlichem wirklich unterscheiden zu lernen.

Um Hard Negatives zu finden, stützen wir uns vor allem auf einen encoderbasierten Ansatz: Wir suchen Paare, die als Nicht-Treffer gelabelt sind, deren Embeddings sich aber überraschend nahe kommen und eine gesetzte Ähnlichkeitsschwelle überschreiten. Solche Paare gelten als „Hard Negatives", weil ihre Embeddings trotz fehlender echter Übereinstimmung hohe Ähnlichkeit nahelegen und dem Modell die korrekte Einordnung schwer machen. Sind sie identifiziert, trainieren wir unsere Cross-Encoder-Modelle auf diesen Hard Negatives nach.

Das Wesentliche

Unsere Methode zur Zuordnung von Produkttiteln beginnt in der ersten Stufe mit lexikalischer Zuordnung und wendet dann einen Retrieval-Rerank-Ansatz für effiziente, genaue Treffer an. Diese umfassende Strategie, verstärkt durch Hard Negative Sampling, erlaubt es uns, ähnliche Produkte zuverlässig zu erkennen, Sortimentslücken zu steuern und für unsere Kunden einen vielfältigen, korrekten Produktkatalog zu pflegen.

Wenn Ihre Produktzuordnung nach diesem Ansatz gebaut sein soll, sprechen Sie mit dem Senkrondata-Team.