Il 22 ottobre Anthropic ha annunciato una funzione che, lo ammetto, mi ha fatto fermare a metà di una call. Il nuovo Claude 3.5 Sonnet non si limita più a scrivere testo o codice: può guardare lo schermo, muovere il cursore, cliccare pulsanti e digitare. La chiamano “computer use”, ed è disponibile in beta via API. In pratica il modello riceve uno screenshot, decide dove puntare il mouse, esegue l’azione, riceve un nuovo screenshot e ripete. Un loop percezione-azione, esattamente come farebbe una persona davanti a un pannello.
Lavoro da anni con soluzioni e-commerce su Adobe Commerce, e la prima cosa che mi è venuta in mente non è stata la demo spettacolare. È stata una domanda molto più prosaica: quante ore della mia settimana, e di quella dei team con cui lavoro, se ne vanno in click ripetitivi dentro un pannello admin? La risposta, se siete onesti, è “troppe”. Ed è lì che questa tecnologia diventa interessante — e allo stesso tempo, secondo me, ancora acerba.
Cosa cambia davvero rispetto a prima
Fino a ieri, per automatizzare un’operazione su un’interfaccia web servivano due strade. O esisteva una API pulita per quel compito, e allora scrivevi codice contro l’API. Oppure non esisteva, e ti arrangiavi con script di automazione fragili (penso a chi ha usato Selenium o strumenti di RPA) che si rompevano al primo cambio di layout. In mezzo restava una terra di nessuno enorme: tutti quei task che si fanno solo cliccando, su pannelli che nessuno esporrà mai via API.
Computer use aggredisce proprio quella terra di nessuno. Non serve un’integrazione dedicata: al modello basta lo schermo. Se un essere umano riesce a fare un’operazione guardando l’interfaccia, in linea di principio adesso può provarci anche il modello. È un cambio di paradigma: si passa dall’automazione che richiede un “gancio” tecnico (l’API) all’automazione che si adatta a ciò che vede, come faremmo noi.
Detto questo, “in linea di principio” fa un lavoro pesante in quella frase. Perché tra la demo e la produzione, oggi, c’è di mezzo un fosso.
Dove lo userei nel back-office e-commerce
Provo a essere concreto, perché è il taglio che preferisco. Nel back-office di un merchant ci sono decine di operazioni ripetitive, poco creative e ad alto attrito. Alcune candidano naturalmente a questo tipo di automazione:
- Bonifica dati di catalogo. Correggere attributi, sistemare associazioni categoria-prodotto, uniformare campi lasciati vuoti da un import sporco. Chi gestisce un catalogo da migliaia di SKU sa quanto costa a mano.
- Controlli incrociati tra pannelli. Verificare che una promozione impostata nel CMS corrisponda a quella attiva nel motore prezzi, o che un ordine bloccato risulti coerente tra gestionale e front-end.
- Operazioni di routine sul pannello admin. Aggiornare stati, generare un export ricorrente, spuntare configurazioni che oggi richiedono venti click sempre uguali.
Ho in mente un caso reale, che tengo volutamente anonimo: un merchant fashion di taglia media, con un team che ogni lunedì mattina passava ore a riallineare a mano dati tra il pannello prodotti e un tool esterno di reporting. Nessuna API disponibile lato tool, layout che cambia ogni tanto. Il classico lavoro che nessun fornitore vuole preventivare perché è troppo “sporco”. Ecco, è esattamente lo scenario dove un agente che clicca potrebbe togliere lavoro noioso dalle spalle di una persona — a patto di tenerlo sotto controllo.
I limiti reali, oggi. E non sono dettagli
Qui cambio tono, perché la parte onesta di questo articolo è questa. Anthropic stessa, nell’annuncio, è stata insolitamente franca: la funzione è ancora sperimentale, a tratti goffa e soggetta a errori. E i miei tre motivi di cautela sono molto pratici.
Primo, la fragilità. Il modello ragiona su screenshot. Se un pop-up copre il pulsante giusto, se un menu si apre più lentamente del previsto, se l’interfaccia ha uno stato che lui non ha mai “visto”, può cliccare la cosa sbagliata con la stessa sicurezza con cui clicca quella giusta. Non è affidabilità da produzione non presidiata: è un tirocinante bravo ma distratto, che ogni tanto preme il pulsante rosso.
Secondo, la supervisione. Proprio perché sbaglia, va guardato. E il valore economico dell’automazione crolla se devo mettere una persona a controllare ogni passo. Il punto d’equilibrio, secondo me, oggi sta nei task a basso rischio e facilmente reversibili: se un’operazione sbagliata cancella ordini o modifica prezzi in produzione, non la affido a un agente in beta. Se al massimo produce un export storto che ricontrollo, il discorso cambia.
Terzo, e per me il più serio, la sicurezza. Un modello che clicca autonomamente su un’interfaccia con le credenziali di un amministratore è una superficie d’attacco nuova. Cosa succede se una pagina contiene istruzioni nascoste pensate per dirottare l’agente — quella famiglia di attacchi chiamata prompt injection? Un pannello admin ha accesso a dati clienti, ordini, configurazioni di pagamento. Anthropic ha introdotto misure e classificatori dedicati, ma il principio di far agire un modello dentro sistemi sensibili va trattato con la stessa serietà con cui tratteremmo un accesso privilegiato dato a chiunque. Ambiente isolato, permessi minimi, log di tutto. Non è pignoleria: è igiene di base.
La mia opinione, senza giri di parole
Penso che computer use sia una delle direzioni più importanti degli ultimi mesi, e insieme una funzione che oggi non metterei a gestire nulla di critico da sola. Le due cose non sono in contraddizione.
È promettente perché attacca il problema giusto — l’oceano di lavoro manuale che vive fuori dalle API — e lo fa in un modo che scala meglio degli script rigidi del passato. È acerba perché la differenza tra “funziona nella demo” e “funziona il lunedì mattina su un catalogo vero, con un pop-up imprevisto” è ancora tutta da colmare. Chi vi racconta che da domani il back-office si gestisce da solo, secondo me, non ha mai visto un import di catalogo andare storto.
Il mio consiglio operativo, se lavorate nell’e-commerce: cominciate a sperimentare adesso, ma su compiti circoscritti, reversibili e in ambienti isolati. Trattatelo come un giovane collaboratore promettente da affiancare, non come un sistema da lasciare solo con le chiavi del negozio. La direzione è chiara. La maturità arriverà. Ma arriva prima a chi si sporca le mani per tempo, con la testa lucida sui rischi.
Mini-FAQ
Cos’è “computer use” di Claude?
È una funzione, annunciata da Anthropic il 22 ottobre 2024 con il nuovo Claude 3.5 Sonnet e disponibile in beta via API, che permette al modello di guardare lo schermo tramite screenshot, muovere il cursore, cliccare e digitare su un’interfaccia, come farebbe una persona.
A cosa serve nell’e-commerce?
Al potenziale automazione di operazioni ripetitive di back-office che non hanno un’API dedicata: bonifica dati di catalogo, controlli incrociati tra pannelli, operazioni di routine sull’admin.
È pronto per la produzione?
Secondo me no, non per compiti critici e non presidiati. Oggi è sperimentale e soggetto a errori: adatto a task a basso rischio, reversibili, in ambienti isolati e con supervisione umana.
Quali sono i rischi principali?
Fragilità di fronte a interfacce impreviste, costo della supervisione umana necessaria, e soprattutto sicurezza — un modello che agisce con permessi da amministratore è una nuova superficie d’attacco, ad esempio via prompt injection.
Fabio Canovi è consulente Adobe presso il gruppo Lutech, certificato Adobe Commerce, Adobe Experience Manager, Adobe Analytics e Adobe Target. Approfondisce l’AI agentica e il suo impatto sull’e-commerce.