Sichere, transparente und vom Menschen gesteuerte Umwandlung schlichter Sprache in nützliche Aktionen auf realen Websites und Applikationen.

Warum das wichtig ist

Bei Wondersys lieben wir es, neue Ideen frühzeitig, mit Sorgfalt und stets mit einem klaren Geschäftsnutzen im Blick auszuprobieren. Momentan experimentieren wir mit etwas besonders Spannendem: einem KI-Assistenten, der Ziele versteht, die in Alltagssprache formuliert sind – und sie direkt im Webbrowser umsetzen kann.

Das ist der nächste Schritt vom „Erklären, was zu tun ist“ hin zum „Erledigen“. Die Idee ist einfach, aber wirkungsvoll. Anstatt nur Fragen zu beantworten, kann die KI in einem Webbrowser selbst aktiv werden, um ein in natürlicher Sprache beschriebenes Ziel zu erreichen.

Stellen Sie sich vor, Sie fragen: „Finde die Kontaktseite auf Beispiel.de und nenne mir die Telefonnummer.“

Unser Prototyp-Agent kann:

  • Das in natürlicher Sprache ausgedrückte Ziel verstehen.
  • Die notwendigen Schritte planen (Seite besuchen → Menü öffnen → auf „Kontakt“ klicken).
  • Diese Schritte in einem Webbrowser ausführen.
  • Beobachten, was passiert, und sich bei Bedarf anpassen.
  • Das Endergebnis – inklusive Screenshots – melden.

Dieses Projekt ist ein entscheidender Schritt, um die Lücke zwischen konversationeller KI und konkreten digitalen Handlungen zu schließen.

Die Technologie hinter dem Experiment

Dieses Forschungs- und Entwicklungsprojekt (F&E-Projekt) kombiniert mehrere moderne Tools, um natürliche Sprache in sichere, nachvollziehbare Aktionen in einem Webbrowser zu übersetzen.

Wir nutzen Google Vertex AI und greifen auf Gemini 2.5 Computer Use (Preview) zu. Dieses Modell ist in der Lage, einen Bildschirm zu „sehen“ und Schritt-für-Schritt-Aktionen vorzuschlagen.

Wir orchestrieren den Agenten mit dem Google Agent Development Kit (ADK) und führen Aktionen in einem kontrollierten Browser mittels Playwright aus.

Ein schlanker FastAPI-Dienst fungiert als sichere Brücke zwischen dem Agenten („was zu tun ist“) und dem Browser („wie es zu tun ist“) und sorgt dafür, dass alles überprüfbar (auditable) und in einem “Sandkasten” (sandboxed) ausgeführt wird.

Das Kerndesign: Zwei Teile, ein Ziel

Um das System modular und sicher zu gestalten, haben wir ein zweiteiliges System entworfen, das die Entscheidungsfindung von der Ausführung trennt.

  • Das Gehirn (Agenten-Anwendung) – versteht das Ziel des Benutzers, erstellt einen Plan und entscheidet, was geschehen muss.
  • Die Hände (Runner-Dienst) – führt diese Aktionen sicher und unter strenger Kontrolle im Browser aus.

Diese Trennung ermöglicht es dem System, prüfbar (auditable), leichter wartbar und für verschiedene Anwendungsfälle anpassbar zu sein. Das „Gehirn“ konzentriert sich darauf, was zu tun ist; die „Hände“ kümmern sich darum, wie es getan wird.

Dieses Projekt ist Teil der kontinuierlichen Bemühungen von Wondersys, zu erforschen, wie KI digitale Abläufe menschlicher, effizienter und transparenter gestalten kann. Indem wir KI-Systeme lehren, zu planen, zu handeln und sich selbst zu erklären, legen wir den Grundstein für die nächste Generation intelligenter Automatisierung.

Praktische Anwendungsfälle, die wir testen

Obwohl dies noch experimentell ist, zeigen diese Anwendungen bereits großes Potenzial in realen Kontexten.

1. Intelligentere automatisierte Tests

Herkömmliche End-to-End-Tests schlagen oft aufgrund kleiner UI-Änderungen oder starrer Skripte fehl. Unser KI-gesteuerter Ansatz führt Flexibilität und Ausfallsicherheit ein:

  • Tests werden in natürlicher Sprache verfasst („Legen Sie ein Produkt in den Warenkorb und gehen Sie zur Checkout-Seite“).
  • Der Agent plant und führt diese Schritte intelligent aus und passt sich an Änderungen im Layout oder Inhalt an.
  • Das System liefert nach jedem Durchlauf Screenshots und Berichte.

Dies führt zu weniger Fehlalarmen (false failures), einer schnelleren Erstellung neuer Tests und größerer Zuverlässigkeit bei jeder Software-Veröffentlichung.

2. Eingebetteter Nutzer-Support innerhalb von Anwendungen

Wir untersuchen auch den direkten Nutzer-Support im Browser. Damit erhalten Nutzer Live-Hilfe innerhalb einer Anwendung durch einen eingebetteten KI-Assistenten.

  • Der Nutzer bittet um Hilfe („Zeigen Sie mir meine Rechnungen für Juni“).
  • Der Agent, der nur innerhalb der Unternehmenswebsite agiert, führt die notwendigen Schritte zur Beantwortung der Frage aus.
  • Das Ergebnis wird sofort zusammen mit begleitenden Screenshots zur Veranschaulichung angezeigt.

Dieser Ansatz könnte Support-Interaktionen transformieren, indem er schnellere Lösungen, kontextbezogene Unterstützung und eine transparente Prüfspur (Audit Trail) für jede durchgeführte Aktion bietet.

In unserem eigenen Ökosystem passt dieses Konzept perfekt zu AlveApp, der SaaS-Management-Plattform von Wondersys für Expresskuriere. Die Umgebung von AlveApp ermöglicht es Administratoren, wichtige Workflows wie Benutzerverwaltung, Benachrichtigungen, Schichtplanung, Fahrzeugzuweisungen und Dokumentenzustellung direkt über eine einzige Schnittstelle abzuwickeln. Die Integration eines KI-Browser-Agenten in die Support-Ebene von AlveApp würde bedeuten, dass Administratoren oder neue Benutzer einfach fragen könnten: „Wie erstelle ich einen neuen Fahrer?“ oder „Wo kann ich die Fahrzeugzuweisungsliste einsehen?“, und der eingebettete Assistent würde die genaue Schrittfolge in der App nicht nur erklären, sondern auch zeigen.

Dieser Ansatz verwandelt traditionelle Dokumentationen wie das AlveApp-Handbuch in ein interaktives Leitsystem. Anstatt ein statisches PDF zu lesen oder den technischen Support anzurufen, können Benutzer zusehen, wie die KI den Workflow live durchführt, oder ihn mit Hinweisen auf dem Bildschirm selbst nachvollziehen (mirror it).

3. Echtzeit-Anleitung in der App und kontinuierliche Dokumentation: Ausführen, Lernen, Aktualisieren

Wir erweitern die Anleitung von „sag es mir“ auf „zeig es mir und halte es aktuell“.

Innerhalb von AlveApp kann ein Nutzer fragen: „Erstelle einen neuen Fahrer und weise ihm ein Fahrzeug zu.“ Der Agent ruft die aktuellsten, richtlinienkonformen Schritte aus unserem RAG-Korpus (Handbuch abgelegt als Google Docs) ab, führt sie in einem Sandbox-Browser aus und liefert ein klares Ergebnis mit Screenshots zurück.

Sollte die Live-Benutzeroberfläche abweichen, z.B. durch Umbenennung von Bezeichnungen, Verschiebung eines Menüpunkts oder einem neueem Pflichtfeld, protokolliert der Agent die Diskrepanz, schlägt einen präzisen Dokumentations-Patch mit Vorher-/Nachher-Kontext vor und aktualisiert nach menschlicher Genehmigung die Quelle und neu indiziert den RAG-Korpus. Der nächste Durchlauf folgt automatisch der “neuen Wahrheit“.

 

Nutzerfrage → Aktuelle Schritte aus RAG abrufen → Planen (Zulassungsliste, menschliche Genehmigung) → In Sandbox-Browser ausführen → Beweismittel erfassen (Screenshots, Kontext) → Diskrepanzen erkennen → Dokumentations-Patches vorschlagen → Menschliche Überprüfung/Genehmigung → Quelldokument aktualisieren → RAG neu indizieren → Nächste Durchläufe folgen der aktualisierten Anleitung

Klare, aktuelle Anleitungen sind entscheidend, da sie den Schulungsaufwand reduzieren, die Einarbeitungszeit verkürzen und es dem Support sowie der Qualitätssicherung ermöglichen, sich auf echte Probleme zu konzentrieren, anstatt löchrige Tests zu korrigieren oder veralteten Screenshots nachzujagen.

  • Operationale Ausrichtung: Die Hilfe innerhalb der App und die Dokumentation synchronisieren sich automatisch mit der Live-Benutzeroberfläche. Dies senkt den Wartungsaufwand und beschleunigt das Onboarding durch Schritt-für-Schritt-Anleitungen, die prüfbereit (audit-ready) sind.
  • Skalierbare Governance: Etablieren Sie Docs-as-Code (versionskontrollierte, überprüfbare, ausführbare SOPs), stellen Sie rollen- oder mandantenspezifische Varianten aus einem einzigen Korpus bereit und erkennen Sie die Abweichung (Drift) zwischen UI und Dokumentation durch Golden-Path-Checks am Veröffentlichungstag.

Mit diesem geschlossenen Kreislauf, der Workflows ausführt, aus dem tatsächlich Geschehenen lernt und die Dokumentation aktualisiert, bleibt AlveApp mit der Produktion in Einklang, während gleichzeitig eine Prüfspur (Audit Trail) darüber erhalten bleibt, wer was und warum geändert hat.

Sicherheit und Transparenz bei jedem Schritt

Da diese Technologie mit realen Websites interagiert, sind Sicherheit und Nachverfolgbarkeit (Traceability) grundlegende Designprinzipien. Der Agent handelt niemals blind oder ohne Genehmigung.

  • Genehmigung vor der Aktion: Das System zeigt immer einen klaren Plan, bevor es diesen ausführt.
  • Domain-Kontrolle: Aktionen sind auf eine vordefinierte Liste sicherer Websites (eine sogenannte „Allowlist“) beschränkt.
  • Volle Transparenz: Jeder Durchlauf generiert Screenshots, Protokolle und Zusammenfassungen, damit der Benutzer genau überprüfen kann, was geschehen ist.

Dies schafft Vertrauen zwischen Mensch und KI, wobei jeder Klick und jedes Ergebnis sichtbar, überprüfbar und unter der Kontrolle des Benutzers ist.

Die nächsten Schritte unserer Forschung

Unsere Forschungs- und Entwicklungsreise (F&E-Reise) entwickelt sich stetig weiter. Die nächsten Meilensteine umfassen:

  • Visuelles Verständnis: Dem Agenten ermöglichen, Schaltflächen und Layouts direkt aus Bildern zu erkennen und nicht nur aus dem Code.
  • Selbstkorrektur: Ihm erlauben, seinen Plan automatisch anzupassen, falls etwas schiefgeht.
  • Parallelbetrieb: Das System skalieren, um mehrere Browser-Sitzungen für Test- und Support-Teams zu unterstützen.

Diese Verbesserungen machen autonome Browser-Agenten noch leistungsfähiger und zuverlässiger und werden dadurch den hohen Anforderungen von Unternehmen gerecht.

Die Wahl zwischen Workflows und Agenten

Nicht jeder Prozess benötigt einen Agenten. Traditionelle Workflows bleiben die richtige Wahl für stabile, repetitive Vorgänge, bei denen sich die Aufgaben niemals ändern. Agenten hingegen zeichnen sich in dynamischen und mehrstufigen Szenarien aus, in denen Anpassungsfähigkeit, Beobachtung und Feedbackschleifen unerlässlich sind.

Unser Ansatz bei Wondersys besteht darin, beides zu kombinieren: Workflows dort einzusetzen, wo sie sinnvoll sind, und Agenten dort einzuführen, wo Intelligenz einen messbaren Mehrwert bietet.

Ob beim Testen, im Support oder bei völlig neuen Geschäftsanwendungsfällen – autonome Agenten könnten die Brücke zwischen menschlicher Absicht und digitaler Ausführung werden. Und wie immer werden wir weiter experimentieren, verfeinern und unsere Erkenntnisse auf diesem Weg teilen.

Wir werden weiterhin transparent und mit Blick auf reale Ergebnisse über unsere praktischen Experimente berichten.