In welchem Kontext oder in welcher Situation entstand der Bedarf für das Projekt?
Der Kunde MCH Group betreibt mehrere physische Veranstaltungen in der Schweiz, und jede Veranstaltung hat eine Website, die für diese Veranstaltungen wirbt, informiert und den Benutzern bei der Anmeldung hilft. Jede Veranstaltung beherbergt mehrere Aussteller, die über mehrere Tage hinweg mit vielen Besuchern interagieren werden. Jede Veranstaltung konzentriert sich auf einen anderen Bereich und eine andere Branche, vom Gartenbau bis zur Schweizer Elektrizitätswirtschaft. (z.B. Powertage).
Sie wollten einen virtuellen Assistenten auf ihren Veranstaltungswebsites haben, damit Besucher und Aussteller gleichermaßen Fragen stellen und schnell Antworten erhalten können, ohne mehrere Seiten durchsuchen zu müssen. Nachdem sie bereits Erfahrungen mit anderen Anbietern virtueller Agenten gemacht hatten, die von teuren Lösungen, die 99 Cent pro Antwort/Sitzung kosteten, bis hin zu solchen mit einer sehr geringen Genauigkeit reichten, wollten sie etwas Besseres und Kostengünstigeres. Gemeinsam mit unserem Partner Eclipsai einigten wir uns auf eine Reihe von Funktionen für die CWYD-Lösung (Chat with your data).
Was waren die wichtigsten Herausforderungen oder Probleme, die mit dem Projekt angegangen werden sollten?
Web Scraping des Inhalts von der Website und Chunking/Strukturierung des Inhalts in einer Weise, die für den Abruf optimal ist.
Masking PII information when storing the conversation history to be GDPR compliant – using AI Text Analitics to identify PII entities and replace them with **** when stored.
Erreichen einer Genauigkeit von 80 % anhand von 40 Frage-Antwort-Paaren der „Goldenen Wahrheit“, die vom Kunden bereitgestellt wurden (die am häufigsten gestellten Fragen werden erwartet)
Beantwortung von Fragen, die mehr als 5-10 Teile erfordern (Inhalte, die über die gesamte Website verstreut sind, wie z. B. die Liste aller Aussteller, für die es eine eigene Seite geben könnte und die am Ende mehr als 50 verschiedene Seiten beanspruchen würde).
Was waren die spezifischen Ziele, die mit dem Projekt erreicht werden sollten?
Erstellen Sie einen virtuellen Agenten, der einfach zu bedienen, schnell, genau und kostengünstig ist.
Wie wurden diese Ziele gemessen oder bewertet?
Wir haben einen analytischen Power BI-Bericht, der misst, was gefragt wurde, und das Feedback der Nutzer (Daumen hoch/runter) für jede Antwort.
Wir messen die Genauigkeit/Präzision mit Hilfe eines automatisierten Bewertungsrahmens, der Fragen an ein LLM stellt, die Antwort erhält, die Antwort mit der goldenen Wahrheit vergleicht (für bestimmte Metriken) und eine Punktzahl von 1 bis 5 vergibt (1 schlechteste, 5 beste)
Was war die wichtigste Lösung oder der wichtigste Ansatz, der entwickelt oder umgesetzt wurde?
Unser virtueller Assistent stützt sich auf die neuesten Funktionen der Retrieval Augmented Generation (RAG) und nutzt modernste Tools wie Azure Cognitive Services und Azure Open AI. Die modulare Architektur sorgt für Flexibilität und Kosteneffizienz und ermöglicht es Ihnen, das LLM-Kernmodell nach Bedarf auszutauschen. Die Benutzeroberfläche ist vollständig anpassbar, was eine nahtlose Integration in das Erscheinungsbild Ihrer Veranstaltungswebsites gewährleistet, und kann mit einem einfachen „Ein-Code-Schnipsel“-Prozess installiert werden.
Was waren die wichtigsten Merkmale oder Komponenten der Lösung?
Sicherheit und Compliance haben für uns oberste Priorität. Unsere Lösung ist GDPR-konform und wir bieten sichere Hosting-Optionen, entweder innerhalb Ihrer bestehenden Azure-Infrastruktur oder bei uns gehostet. Private Daten und Gespräche mit dem virtuellen Agenten werden hinter einem Virtual Private Network und einer Firewall geschützt, sodass sensible Informationen sicher bleiben.
Um Ihnen zu helfen, Einblicke zu gewinnen und die Leistung der Lösung zu verbessern, bieten wir Gesprächsprotokollierung für statistische Zwecke. Auf diese Weise können Sie die häufigsten Fragen ermitteln und Feedback von den Benutzern über die Effektivität ihrer Interaktionen mit dem virtuellen Agenten einholen.
Unsere Lösung zielt darauf ab, eine Trefferquote von mindestens 80 % zu erreichen, um sicherzustellen, dass Ihre Veranstaltungsteilnehmer und Aussteller zufriedenstellende Antworten auf ihre Fragen erhalten. Durch die Investition in einen maßgeschneiderten virtuellen Assistenten mit einer höheren Anfangsgebühr und einer lebenslangen Lizenz können Sie die laufenden Kosten vermeiden, die mit jährlichen Abonnements oder nutzungsabhängigen Gebühren anderer SAAS-Anbieter verbunden sind.
Wie hat die Lösung die festgestellten Herausforderungen oder Probleme gelöst?
Web-Scraping wurde mit fortschrittlichen Frameworks angegangen, die Web-Inhalte scrapen und dann den Inhalt bereinigen und HTML-Tags, Menüpunkte und andere nicht relevante Dinge verwerfen.
Maskierung von PII mithilfe des Microsoft Azure Text Analytics Frameworks, das eine Vielzahl von Entitäten genau identifizieren kann.
Anpassung von Chunking und Retrieval mit einem iterativen Ansatz, bei dem die Genauigkeit mit dem Evaluierungs-Framework gemessen, die RAG-Pipeline angepasst und erneut versucht wurde, bis wir am Ende eine Genauigkeit von 78-79 % erreichten.
Wie hat die Lösung die festgestellten Herausforderungen oder Probleme gelöst?
Das Projekt wurde pünktlich geliefert und erwies sich als Erfolg für den Endkunden.
Welche Technologien oder Methoden wurden bei dem Projekt eingesetzt?
Die Lösung wurde für die Arbeit mit einer Azure-Cloud-Infrastruktur entwickelt, kann aber an jede Cloud-Umgebung angepasst werden, LLM kann ersetzt werden, Vector Database, Orchestrator App Server usw.
Die Lösung in Aktion
Nächster Schritt?
Wir von mindit.io sind bereit, den Kunden bei der technologiegetriebenen Transformation zu unterstützen.
Lassen Sie uns gemeinsam die Zukunft mit technologiegetriebenem Erfolg gestalten!
