Nel corso degli anni, progettando e gestendo campagne di sperimentazione su storefront Adobe Commerce, mi sono fatto un’idea abbastanza precisa: la maggior parte dei team che conosco usa Adobe Target come se fosse un tool per A/B test e basta. Due varianti, il 50/50 del traffico, si aspetta la significatività statistica, si dichiara un vincente. Fine. È un uso legittimo, ma è come comprare una macchina fotografica reflex per usarla solo in automatico.
Il punto che voglio fare qui è semplice: da quando Target ha integrato il machine learning nella sperimentazione, con Auto-Allocate e Auto-Target, l’A/B test manuale è diventato un caso particolare, non la regola. E secondo me continuare a testare a mano quando avresti gli strumenti per non farlo è, la dico chiara, uno spreco di traffico.
Il problema dell’A/B test classico: il costo del “regret”
Facciamo un passo indietro. In un A/B test tradizionale tu decidi a priori come dividere il traffico, di solito equamente, e lo tieni fisso fino alla fine del test. Questo significa che per tutta la durata dell’esperimento continui a mandare metà dei tuoi utenti verso l’esperienza che, magari già dopo tre giorni, mostra segnali chiari di essere quella perdente.
C’è un termine per questo: regret, il costo di opportunità di aver mostrato l’esperienza sbagliata a utenti che avrebbero convertito con quella giusta. Su un merchant piccolo il regret è trascurabile. Su un merchant fashion che ho seguito, con volumi importanti in campagna stagionale, due settimane di traffico buttato sulla variante perdente valevano una cifra che nessuno vuole mettere per iscritto in un report.
Auto-Allocate: spostare il traffico sul vincente in corsa
Auto-Allocate risolve esattamente questo. È un’attività A/B, con le stesse esperienze che avresti definito a mano, ma il motore di Target usa un approccio multi-armed bandit per riallocare dinamicamente il traffico verso le esperienze che stanno performando meglio, mentre l’esperimento è ancora in corso.
Nel concreto: parti equamente distribuito, ma man mano che i dati si accumulano, la quota di traffico verso la variante vincente cresce. Le varianti perdenti non vengono mai spente del tutto, e questo è il dettaglio che apprezzo: continua a mandare una piccola percentuale su tutte le esperienze, così se il vincente cambia nel tempo, ad esempio perché cambia la composizione del traffico tra settimana e weekend, il sistema se ne accorge e corregge.
- Cosa risolve: minimizza il regret, riduci il traffico sprecato sulle varianti deboli.
- Quando lo uso: quando l’obiettivo è arrivare al vincente perdendo meno conversioni possibile, e non mi serve una lettura pulitissima dell’uplift di ogni singola variante.
- Il trade-off: il calcolo dell’intervallo di confidenza su ciascuna esperienza è meno lineare rispetto a un A/B fisso, perché i campioni non sono più bilanciati. Lo dico perché va spiegato agli stakeholder, non è un difetto.
Auto-Target: personalizzazione automatica per profili
Auto-Allocate trova una esperienza migliore per tutti. Auto-Target fa un salto concettuale: parte dal presupposto che non esista un’unica variante migliore, ma che varianti diverse funzionino meglio per profili di utenti diversi.
Qui il machine learning, tramite l’algoritmo random forest, costruisce dei modelli che, sulla base degli attributi disponibili sul visitatore (geolocalizzazione, comportamento sul sito, provenienza, dati di profilo che gli passi), decide in tempo reale quale esperienza mostrare a chi. Non definisci tu i segmenti a priori: è il modello che scopre quali combinazioni di attributi rispondono meglio a quale contenuto.
L’esempio che porto sempre: su una home page avevo tre versioni dell’hero, una spinta sul prezzo, una sull’esclusività del brand, una sulla spedizione gratuita. In un A/B test avrei eletto un vincente unico e amen. Con Auto-Target è emerso che l’utente da traffico paid rispondeva al prezzo, quello di ritorno diretto all’esclusività, quello mobile da nuova sessione alla spedizione. Nessuno di questi segmenti l’avevo scritto io: li ha trovati il modello.
La differenza pratica tra i due
- Auto-Allocate ottimizza verso il vincente globale. Una sola esperienza vince per tutti.
- Auto-Target ottimizza verso il vincente per profilo. Esperienze diverse per utenti diversi, decise dal modello.
La mia regola pratica: uso Auto-Allocate quando ho un’ipotesi forte e voglio solo confermarla velocemente sprecando poco; passo ad Auto-Target quando sospetto che la mia audience sia eterogenea e che “il vincente per tutti” sia una media che non accontenta nessuno.
Come si integra con Analytics e con lo storefront
Un pezzo che spesso si sottovaluta: nulla di tutto questo ha senso senza dati di conversione affidabili. L’integrazione con Adobe Analytics, tramite A4T (Analytics for Target), ti permette di usare le metriche di Analytics come success metric dell’attività Target. Il vantaggio è che ottimizzi e allo stesso tempo hai in Analytics tutta la ricchezza di segmentazione post-hoc: puoi andare a vedere perché una variante ha vinto, non solo che ha vinto.
Sul fronte storefront, su Adobe Commerce il punto critico è la delivery. Se usi la modalità di consegna sincrona rischi il famoso flicker, il lampeggìo del contenuto originale prima che Target sostituisca l’esperienza. Su un e-commerce è fastidioso e ti falsa i dati. La mia posizione è netta: cura l’implementazione del pre-hiding e valuta la delivery on-device quando la latenza è un problema, prima ancora di disegnare la prima campagna. Il modello migliore del mondo non recupera un’implementazione fatta male.
Quando smetti di “testare a mano”
Arrivo alla presa di posizione, perché è il motivo per cui scrivo. Non sto dicendo che l’A/B test manuale sia morto. Lo tengo, e lo consiglio, in un caso preciso: quando l’obiettivo primario è imparare, cioè misurare con pulizia l’effetto di una singola modifica, per portarmi a casa un insight che userò altrove. Lì mi serve un traffico bilanciato e una lettura statistica limpida, e me la tengo.
In tutti gli altri casi, quando l’obiettivo è ottimizzare, cioè fare più conversioni possibile da qui in avanti, testare a mano è una scelta che devi giustificare, non un default. Se hai il traffico per far girare gli algoritmi, e sei su volumi mid-market o superiori di solito ce l’hai, lasciare il 50% degli utenti su una variante che perde per due settimane è denaro che regali. Auto-Allocate ti fa arrivare al vincente prima e con meno spreco; Auto-Target ti fa scoprire che forse “il vincente” non esiste.
La sintesi che mi sono costruito sul campo: testi a mano per capire, lasci decidere al machine learning per guadagnare. Confondere le due cose è l’errore più comune che vedo.
Mini-FAQ
Qual è la differenza tra Auto-Allocate e Auto-Target in Adobe Target?
Auto-Allocate individua un’unica esperienza vincente per tutto il traffico, riallocando dinamicamente gli utenti verso di essa durante l’esperimento. Auto-Target usa il machine learning per mostrare esperienze diverse a profili di utenti diversi, personalizzando in base agli attributi del visitatore.
Auto-Allocate sostituisce l’A/B test classico?
No. Auto-Allocate è ideale quando l’obiettivo è ottimizzare le conversioni riducendo il traffico sprecato. L’A/B test manuale resta preferibile quando l’obiettivo è misurare con pulizia statistica l’effetto di una singola modifica per imparare.
Serve Adobe Analytics per usare Auto-Allocate e Auto-Target?
Non è obbligatorio, ma l’integrazione A4T (Analytics for Target) permette di usare le metriche di Adobe Analytics come obiettivo di ottimizzazione e di analizzare a posteriori perché una variante ha vinto, non solo quale.
Che rischi ci sono nell’integrazione con lo storefront Adobe Commerce?
Il rischio principale è il flicker, il lampeggìo del contenuto originale prima della sostituzione. Va prevenuto con una corretta implementazione del pre-hiding e valutando la delivery on-device quando la latenza incide.
In sintesi
- Adobe Target non è solo A/B testing: Auto-Allocate e Auto-Target portano il machine learning dentro la sperimentazione.
- Auto-Allocate riduce il regret spostando il traffico sul vincente in corsa; Auto-Target personalizza mostrando esperienze diverse per profili diversi.
- L’A/B test manuale ha senso per imparare; per ottimizzare, lasciar decidere agli algoritmi spreca meno traffico.
- L’integrazione con Adobe Analytics via A4T e una delivery pulita sullo storefront sono precondizioni, non dettagli.
Chi sono — Mi occupo di e-commerce enterprise da oltre un decennio, con focus su Magento / Adobe Commerce, Adobe Experience Manager, Adobe Analytics e Adobe Target. Sono stato tra i primi in Italia a certificarmi su Adobe Commerce e a lavorare su progetti di sperimentazione e personalizzazione data-driven su storefront ad alto traffico. Su questo blog condivido quello che vedo dal campo, con opinioni esplicite e casi resi anonimi.