Cloud-optimierte Suchplattform mit fortgeschrittenem Sprachverständnis

Suche ist ein Schlüssel-Feature vieler Anwendungen. Für diesen Kunden galt das in besonderem Maße: Ein elektronisches Ausschreibungs- und Beschaffungssystem ist ohne ausgezeichnete Suchfunktion zum Scheitern verurteilt.

Die Suche muss eine ideale Passung zwischen Einkäufern und Lieferanten in professionellen Märkten herstellen. Nur so können Anbieter alle Ausschreibungen finden, die für sie infrage kommen und nur so können Einkäufer eine optimal repräsentative Menge von Angeboten erhalten.

Unser Kunde war gerade dabei, eine neue integrierte Ausschreibungsplattform, die eine Reihe von angekauften Produkten vereinheitlichen sollte, zu programmieren. Dabei stieß das Entwicklerteam bei einer der wichtigsten Funktionen - der Ausschreibungssuche - auf gravierende Probleme mit der Relevanz und der Leistung.

Ziel

Schnell, verlässlich, redundant und auf europäische Sprachen optimiert – so sollte die zukünftige Suchkomponente aussehen.

Als Deployment-Ziel wurde die AWS-Cloud gewählt: Das System sollte dort automatisch bedarfsgerecht skalieren und auch flexibel automatisiert in Test- und Staging-Umgebungen deployed werden können.

Außerdem sollten die spezifischen sprachlichen Phänomene von Norwegisch, Dänisch, Schwedisch, Niederländisch und Englisch berücksichtigt werden – in einem Maße, das weit über die Standardfähigkeiten von Solr und Elasticsearch hinausging.

Deployment und Skalierung

AWS und Terraform waren seitens des Kunden gesetzt. Ebenso war gewünscht, dass Elasticsearch zum Einsatz kommt.
Wir erweiterten das Deployment so an, dass es AWS' Autoskalierungstools benutzte: So passte es sich automatisch an Hochlastphasen an, in Zeiten mit niedrigem Abfragevolumen und im Testsystem wurde es aber mit minimaler Knotenzahl betrieben.
Mittels ausgiebiger Lasttests bewiesen wir uns selbst und dem Kunden, dass dieser Ansatz fehlerfrei funktionierte und tatsächlich die beste Balance aus Kosten und Performanz ermöglichte.
Das fertige System integrierten wir in den sogenannten "Daten-Highway" des Kunden, so dass alle Updates sich in Realzeit auch in den Suchergebnissen wiederfanden.

Performance-Optimierungen

In fast jedem Suchszenario erwarten Nutzer Antwortzeiten von unter einer Sekunde. In vielen Fällen sieht die reale Antwortzeit deutlich schlechter aus.
In Applikationen wie dieser, in der viele programmatische, komplexe Abfragen ausgeführt werden, ist die Performanz meistens noch unbefriedigender.
Auf Basis der skalierbaren Architektur optimierten wir die Elastic-Indexstruktur, sowie die Abfragen und die Alerts so weit bis die durchschnittlichen und maximalen Antwortzeiten zur Erwartung der Nutzer passten.
Durch automatische Regressionstests stellten wir sicher, dass die Latenz auch bei zukünftigen Erweiterungen im Rahmen bleiben würde.

Sprachunterstützung

Suche ist immer auch "Übersetzung". Die Sprache, in der der Nutzer die Anfrage formuliert, ist immer etwas anders als die Sprache der Dokumente, nach denen er sucht.
Der Kunde wollte im ersten Schritt auf jeden Fall optimales Matching für alle skandinavischen Sprachen und Englisch gewährleisten.
Elasticsearch ist zwar eine tolle Suchmaschine, aber die standardmäßig enthaltenen Module zum Umgang mit natürlicher Sprache sind nicht gerade großartig.

Um dies zu beheben, rollten wir eine Reihe maßgeschneiderter Sprachmodule aus, die unter anderem folgende Funktionen abbildeten:

Vorverarbeitung der Ausschreibungsunterlagen
Extraktion relevanter Schlüsseldaten aus den Unterlagen
Unterstützung für Sprachphänomene wie Beugung, Komposita etc.
Fehlertoleranz in der Sucheingabe

Hierdurch wurden die Sprache von Nutzeranfragen einerseits und Ausschreibungsunterlagen andererseits besser aneinander angenähert.

Ergebnis

Wir überarbeiteten die Suchplattform von der Bodenplatte aufwärts und erzielten eine Leistungssteigerung um mehrere Größenordnungen, während gleichzeitig die Relevanz der Ergebnisse deutlich gesteigert wurde – die Suchfunktion wurde also schneller, besser und durch die Skalierungsänderungen auch billiger.

Im Laufe des Projekts erneuerten wir das gesamte Such-Backend sowie die Integration in den Datenfluss. Unser eigenes cross-funktionales Team bettete sich dabei nahtlos in den agilen Entwicklungsprozess des Kunden ein. So erreichten wir kurze Kommunikationswege und effizienten Ideenaustausch.

Haavard Melby, Group Product Director, Mercell International

"NEOMO hat uns geholfen, unsere Suche von einer Datenbankabfrage zu einer hochmodernen Suchmaschine zu machen. Sie haben komplexe Benutzerprobleme gelöst und unsere Kundenzufriedenheit erhöht. Ihr Wissen und ihre Kommunikation waren bei der Entwicklung unserer Produktvision und deren Umsetzung im Unternehmen von entscheidender Bedeutung."

Beginnen Sie ein Gespräch mit uns.

Wir sind immer an einem guten Gespräch interessiert, ob mit konkretem Anlass oder um sich einfach auszutauschen.

Sie erreichen uns per Kontaktformular oder Sie können direkt ein Gespräch buchen.