Come stiamo trasformando il linguaggio naturale in azioni utili su siti web e applicazioni reali in modo sicuro, visibile e controllato dall’essere umano.

Perché è importante

In Wondersys, amiamo sperimentare subito nuove, con la giusta attenzione e un occhio al valore commerciale reale. In questo momento, stiamo sperimentando qualcosa di veramente interessante: un assistente AI che può comprendere un obiettivo dato in linguaggio comune per realizzarlo all’interno di un browser web. Pensiamo di passare da “spiegami cosa fare” a “fallo”. L’idea è semplice ma potente: invece di limitarsi a rispondere a delle domande, l’AI può agire all’interno di un browser web per ottenere un risultato che hai descritto in linguaggio naturale.

Immagina di chiedere: “Trova la pagina dei contatti su Example.com e dimmi il numero di telefono.” Il nostro agente prototipo può:

  • comprendere l’incarico espresso in linguaggio naturale
  • pianificare i passaggi necessari (visita il sito → apri il menu → clicca su “Contatti”)
  • eseguire questi passaggi in un browser reale
  • osservare cosa succede e adattarsi se necessario
  • fornire il risultato finale, completo di screenshot

Questo progetto rappresenta un passo significativo verso il superamento della distanza tra l’AI conversazionale e le azioni digitali nel mondo reale.

Le tecnologie dietro l’esperimento

Questo progetto di R&S combina diversi strumenti moderni per trasformare il linguaggio naturale in azioni sicure e visibili in un browser reale. Utilizziamo Google Vertex AI per accedere al modello Gemini 2.5 Computer Use (in Anteprima), che può “vedere” uno schermo e proporre azioni passo-passo. Orchestriamo l’agente con il Google Agent Development Kit (ADK) ed eseguiamo le azioni in un browser controllato utilizzando Playwright. Un servizio FastAPI leggero serve da ponte sicuro tra l’agente (“cosa fare”) e il browser (“come farlo”), mantenendo tutto verificabile e in un ambiente isolato.

Progettato per la sicurezza: due parti, uno scopo

Per mantenere il tutto modulare e sicuro, abbiamo progettato un sistema in due sezioni che separa il processo decisionale dall’esecuzione.

  • Il cervello (App Agente) – comprende la richiesta dell’utente, crea un piano e decide cosa deve succedere.
  • Le mani (Servizio Runner) – esegue in sicurezza tali azioni all’interno di un browser, sotto stretto controllo.

Questa separazione consente al sistema di essere ispezionabile, più facile da mantenere e adattabile a diversi casi d’uso. Il “cervello” si concentra su cosa fare; le “mani” gestiscono come farlo.

Questo progetto fa parte di un esercizio continuo da parte di Wondersys per esplorare come l’AI possa rendere le operazioni digitali più umane, più efficienti, più trasparenti e, non da ultimo, più accessibili. Insegnando ai sistemi di AI a pianificare, agire e spiegarsi, stiamo gettando le basi per la prossima generazione di automazione intelligente.

Use case pratici che stiamo testando

Sebbene questo lavoro sia ancora sperimentale, le sue applicazioni mostrano un forte potenziale in contesti reali.

1. Test automatizzati più intelligenti

I test end-to-end tradizionali spesso falliscono a causa di piccole modifiche all’interfaccia utente (UI) o script rigidi. Il nostro approccio basato sull’AI introduce flessibilità e resilienza:

  • I test sono scritti in linguaggio naturale (“Aggiungi un prodotto al carrello e raggiungi la pagina di checkout”).
  • L’agente pianifica ed esegue questi passaggi in modo intelligente, adattandosi alle modifiche di layout o contenuto.
  • Il sistema fornisce screenshot e report dopo ogni esecuzione.

Questo porta a meno falsi fallimenti, una creazione più rapida di nuovi test e una maggiore fiducia in ogni rilascio software.

2. Supporto utente integrato all’interno delle applicazioni

Stiamo esplorando inoltre un supporto utente direttamente nel browser. Gli utenti possono ricevere aiuto in tempo reale all’interno di un’applicazione tramite una guida AI integrata.

  • L’utente chiede assistenza (“Mostrami le mie fatture di giugno”).
  • L’agente, operando solo all’interno del sito web dell’azienda o di un’applicazione, segue i passaggi necessari per trovare la risposta.
  • Il risultato viene visualizzato istantaneamente, accompagnato da screenshot per maggiore chiarezza.

Questo approccio potrebbe trasformare le comunicazioni di supporto offrendo una risoluzione più rapida, un’assistenza allineata al contesto e un processo di verifica trasparente per ogni azione eseguita.

Questo concetto si allinea perfettamente con AlveApp, il nostro software gestionale SaaS per i corrieri espressi. AlveApp consente agli amministratori di gestire i principali flussi di lavoro come la gestione degli utenti, le notifiche, la pianificazione dei turni, le assegnazioni dei veicoli e la consegna dei documenti, direttamente da un’unica interfaccia. L’integrazione di un agente browser AI nel supporto di AlveApp significherebbe che amministratori o nuovi utenti potrebbero semplicemente chiedere, “Come si crea un nuovo autista?” o “Dove posso controllare l’elenco delle assegnazioni dei veicoli?”, e l’assistente integrato non solo spiegherebbe ma mostrerebbe l’esatta sequenza di passaggi all’interno dell’app.

Questo approccio trasforma la documentazione tradizionale come il Manuale AlveApp in un sistema di guida interattivo. Invece di leggere un PDF statico o contattare il supporto tecnico, gli utenti potrebbero guardare l’AI eseguire il flusso di lavoro in tempo reale o ricopiarlo da soli con suggerimenti sullo schermo.

3. Guida in-app live basata su RAG con documentazione continua: Esegui, Impara, Aggiorna

L’assistenza passa da “dimmi” a “mostrami e mantieni le informazioni aggiornate”. All’interno di AlveApp, un utente può chiedere, “Crea un nuovo autista e assegna un veicolo”. L’agente recupera i passaggi più recenti e allineati alle policy dal nostro corpus RAG (Manuale, Google Docs), li esegue in un browser isolato e restituisce un risultato chiaro con screenshot. Se l’interfaccia utente live è differente – l’etichetta viene rinominata, il menu spostato, un nuovo campo richiesto – l’agente registra la discrepanza, propone una correzione della documentazione precisa contestualizzata al prima e dopo e, in seguito all’approvazione umana, aggiorna la fonte e reindicizza il sistema RAG. La prossima esecuzione seguirà automaticamente i nuovi passaggi.

L’utente chiede → Recupera la versione aggiornata della documentazione da RAG → Pianifica (richiede approvazione dell’utente) → Esegue in un browser isolato → Acquisisce il contesto (screenshot) → Identifica le discrepanze → Propone correzioni di documentazione → Revisione/approvazione umana → Aggiorna il documento sorgente → Reindicizza RAG → Le prossime esecuzioni seguono la guida aggiornata

Una guida chiara e attuale è importante perché riduce la necessità di assistenza manuale, abbrevia il tempo di apprendimento e mantiene il supporto e il QA concentrati su problemi reali, non sulla correzione di test deboli o sulla caccia a screenshot obsoleti.

  • Allineamento operativo: L’assistenza in-app e la documentazione si sincronizzano automaticamente con l’interfaccia utente in tempo reale, riducendo la manutenzione e accelerando l’onboarding con una guida passo-passo e pronta per un audit.
  • Governance scalabile: Adotta la documentazione come codice (SOP versionate, revisionabili, eseguibili), serve varianti specifiche per ruolo/tenant da un unico corpus e rileva cambiamenti di UI/documentazione con controlli “golden-path” il giorno del rilascio.

Con un ciclo chiuso che esegue flussi di lavoro, impara da ciò che è realmente accaduto e aggiorna la documentazione, il gestionale AlveApp si mantiene allineato alla produzione conservando un elenco revisionabile di chi ha cambiato cosa e perché.

Sicurezza e trasparenza in ogni passo

Poiché questa tecnologia interagisce con siti web reali, la sicurezza e la tracciabilità sono principi di progettazione fondamentali. L’agente non agisce mai alla cieca o senza approvazione.

  1. Approvazione prima dell’azione – Il sistema mostra sempre un piano chiaro prima di eseguirlo.
  2. Controllo del dominio – Le azioni sono limitate a un elenco predefinito di siti web sicuri (una “allowlist”).
  3. Piena visibilità – Ogni esecuzione genera screenshot, log e riepiloghi in modo che l’utente possa verificare esattamente cosa è successo.

Questo crea fiducia tra gli esseri umani e l’AI, dove ogni clic e ogni risultato sono visibili, revisionabili e sotto il controllo dell’utente.

Il futuro della nostra ricerca

Il nostro percorso di R&S è ancora in evoluzione. Le prossime tappe includono:

  • Comprensione visiva – Consentire all’agente di riconoscere pulsanti e layout direttamente dalle immagini, non solo dal codice.
  • Autocorrezione – Consentire all’agente di adattare automaticamente il suo piano se qualcosa non va a buon fine.
  • Funzionamento parallelo – Scalare il sistema per supportare più sessioni del browser per i team di test e supporto.

Questi miglioramenti renderanno gli agenti browser autonomi ancora più capaci, affidabili e pronti per l’uso aziendale.

Scegliere tra flussi di lavoro e agenti

Non tutti i processi necessitano di un agente. I workflow tradizionali rimangono la scelta giusta per operazioni stabili e ripetitive in cui le attività non cambiano mai, ma queste potrebbero essere automatizzate con gli agenti, proprio perché sono ripetitive. Gli agenti, tuttavia, eccellono in scenari dinamici e con più passaggi in cui adattabilità, osservazione e feedback continuo sono essenziali.

Il nostro approccio in Wondersys è combinare entrambe le scelte, utilizzando i flussi di lavoro dove hanno senso e introducendo gli agenti dove l’AI aggiunge un valore misurabile.

Che sia per i test, in scenari di supporto o casi d’uso aziendali completamente nuovi, gli agenti autonomi potrebbero diventare il ponte tra l’intento umano e l’esecuzione digitale. Come sempre, continueremo a sperimentare, perfezionare e condividere ciò che impariamo lungo il percorso.