Customer Matching with Oracle AI Vector Search

Aufgabenstellung

Zur Umsetzung von Customer Matching werden in der Regel komplexe Transformationsalgorithmen und -prozesse auf Basis vorhandener Kundendaten wie Vorname, Nachname, Telefonnummer oder Wohnadresse entwickelt. Diese versuchen, menschliche Fehler und Datenqualitätsprobleme zu kompensieren. Allerdings führen solche regelbasierten Ansätze häufig zu vielen False Positives, wenn die Transformationsregeln zu großzügig definiert sind, oder zu nicht erkannten Übereinstimmungen, wenn sie zu restriktiv ausgestaltet werden, um False Positives zu vermeiden.

Wie könnte AI dieses Problem deutlich einfacher lösen? In den verschiedenen betroffenen Systemen liegen häufig Kopien von Ausweisen, Pässen oder anderen Identifikationsdokumenten vor – möglicherweise in unterschiedlicher Form, jedoch derselben Person zugehörig. Mit Oracle AI Vector Search können numerische Repräsentationen (Vektoren) aus Texten und Bildern dieser Dokumente erzeugt werden. Anschließend wird die Distanz zwischen den Vektoren berechnet, wobei nur jene, die sehr nahe beieinanderliegen, als potenzielle Treffer gekennzeichnet werden.

Vorgehensweise

Ab der Oracle Database Version 23.4 steht eine ONNX-Engine (Open Neural Network eXchange) direkt innerhalb der Datenbank zur Verfügung. Diese Engine ermöglicht es, Vector Embeddings – also numerische Repräsentationen beispielsweise von Ausweisdokumenten – direkt in der Datenbank zu erzeugen. Da wir mit sensiblen Kundendaten arbeiten, ist dies ein besonders interessantes Feature: Die Daten verlassen zu keinem Zeitpunkt die Datenbank, wodurch die Sicherheit und Vertraulichkeit dieser Informationen gewährleistet bleibt.

In unserem Fall haben wir das CLIP-Multimodal-Embedding-Modell von OpenAI gewählt, da es erlaubt, sowohl für Text als auch für Bilder separate Embedding-Pipelines zu nutzen. Das Modell wird mit einem einfachen Aufruf der Prozedur DBMS_VECTOR.LOAD_ONNX_MODEL in die Datenbank importiert. Anschließend werden alle Ausweisbilder aus dem Source- und Target-System mithilfe dieses Modells in Vektoren transformiert.

sumIT unterstützt Sie dabei, das passende LLM für Ihren AI-Use-Case auszuwählen, das Chunking und Embedding Ihrer Daten umzusetzen sowie eine benutzerfreundliche Schnittstelle oder Anwendung für die Ähnlichkeitssuche bereitzustellen.

Im Fall des Customer Matchings haben wir den Anwendern die Möglichkeit gegeben, Kundensuchen entweder auf Basis eines bestimmten Textes (z. B. Vor- und Nachname) oder anhand eines anderen Bildes (z. B. einer Ausweiskopie aus dem Quellsystem) durchzuführen. Die Suche erfolgt dabei visuell und auf Knopfdruck, sodass potenzielle Übereinstimmungen schnell und intuitiv identifiziert werden können.