La terza via tra ricerca qualitativa e quantitativa con l'AI

In un mercato sempre più competitivo e in continua evoluzione, capire cosa pensano i clienti e rispondere alle loro esigenze è essenziale per il successo di un'azienda. Come fare per ascoltare la voce dei clienti? 

Esistono più strade: una strada è sicuramente la ricerca qualitativa, con interviste e focus group, oppure la ricerca quantitativa, ad esempio con i questionari. La user research è un ottimo strumento per raccogliere dati preziosi, ma non è sempre fattibile. 

Esiste una terza strada, a metà tra l'analisi qualitativa e quella quantitativa: l’utilizzo dei modelli di linguaggio di grandi dimensioni (LLM), come ChatGPT, per analizzare grandi quantità di dati qualitativi, come le recensioni dei clienti su un prodotto o servizio.

I Large Language Model nella User Research

Le recensioni dei clienti su piattaforme come Trustpilot costituiscono  una miniera di informazioni. Rappresentano la voce diretta degli utenti e forniscono informazioni importanti sugli aspetti che ritengono prioritari, sui punti di forza, le criticità e i disservizi di un’azienda o della sua offerta. Il vantaggio di un’analisi di questo tipo deriva dalla grande quantità di dati che si possono raccogliere, avendo a disposizione centinaia o addirittura migliaia di opinioni e potendo confrontare in parallelo più player. Tuttavia, analizzare manualmente migliaia di recensioni è un compito arduo e soggetto a bias interpretativi. I LLM, come ChatGPT, offrono una soluzione potente per estrarre insight da grandi volumi di dati in modo rapido ed efficiente. 

Vediamo come, in concreto.

Leggi anche: User research + AI: una nuova frontiera della ricerca di mercato?

Un caso concreto: l’analisi delle recensioni su Trustpilot nell’ambito dei fornitori di energia elettrica

Negli ultimi anni il contesto energetico ha subito cambiamenti importanti, dalla crisi energetica al passaggio al mercato libero. In una situazione così mutevole è importante conoscere cosa pensano i clienti del fornitore, del servizio offerto, dell’assistenza, per far emergere gli aspetti positivi da rafforzare e le criticità da risolvere. Allo stesso tempo, è utile capire il percepito delle persone anche in relazione agli altri fornitori, vista la dinamicità del mercato per cui cambiare fornitore è più semplice e relativamente veloce, e se il sentiment è variato nel corso del tempo. Trustpilot è uno strumento ideale per raccogliere questo tipo di valutazioni, permettendo di analizzare in parallelo più fornitori.

Una schermata di Truspilot che mostra i TrustScore di alcune aziende fornitrici di energia elettrica

Gli obiettivi della ricerca

Per l’analisi abbiamo quindi confrontato il sentiment del nostro cliente, AGSM AIM Energia, con sei competitor, sia grandi player sia fornitori locali, analizzando le recensioni negli ultimi 12 mesi (complessivamente stiamo parlando di più di 10.300 recensioni). Dall’analisi si voleva quindi far emergere: 

• Il sentiment generale verso ciascun fornitore;
• L’andamento del trend delle recensioni nel tempo per identificare variazioni significative nel volume e nel sentiment, su un periodo di 4 anni (per il nostro cliente) e 12 mesi per il confronto con tutti i player;
• Le tematiche più ricorrenti, in positivo e in negativo. 

Il numero di recensioni presenti nella piattaforma a marzo 2024

La "lettura" dei dati, dal prompt all'analisi

Abbiamo quindi definito e affinato i prompt per l’IA, delimitato l’arco temporale di analisi raccogliendo i link delle rispettive pagine su Trustpilot.

Per ogni fornitore abbiamo suddiviso l’analisi con ChatGPT in tre fasi:

1. L’analisi delle recensioni positive (4-5 stelle), per far emergere gli aspetti più ricorrenti e più apprezzati;
2. L’analisi delle recensioni negative (1-2-3 stelle), per far emergere le problematiche, le frustrazioni e insoddisfazioni;
3. Un’analisi complessiva delle macro tematiche più ricorrenti, ordinandole per priorità.

Il confronto tra tematiche e la revisione umana

Una volta ricavati i dati abbiamo quindi confrontato le tematiche emerse più spesso nei profili di tutti e 7 i fornitori, andando poi a ordinare i temi per priorità. Abbiamo quindi analizzato gli elementi positivi differenzianti di ciascun fornitore, evidenziando le discrepanze con AGSM AIM Energia.

Il lavoro prodotto da ChatGPT è stato quindi revisionato dal team e confrontato con precedenti analisi qualitative (interviste con clienti e prospect e benchmark dei portali web e social) per verificarne l’accuratezza complessiva e la presenza di bias nella lettura.

Cosa è emerso dalla ricerca

Complessivamente i temi emersi dall’analisi si sovrappongono notevolmente tra i fornitori, sia per quanto riguarda gli aspetti positivi sia le criticità. Se gli argomenti sono simili, non lo è invece il sentiment complessivo: per alcuni molto positivo, per altri prevalentemente negativo.

Molto variabile anche il numero di recensioni per ciascun fornitore, che non dipende dalla grandezza e diffusione del player. Anche fornitori meno diffusi a livello nazionale possono raccogliere un buon numero di recensioni, tendenzialmente o molto positive se il servizio è ottimo, o molto negative se il servizio è carente. Le recensioni a tre stelle sono infatti una percentuale molto ridotta, per questo le abbiamo inglobate tra le negative.

Di cosa parlano le recensioni sul tema energia?

Sia per AGSM AIM Energia sia per gli altri sei player, il servizio clienti è il tema cardine. In negativo, le criticità riguardano i tempi di attesa lunghi, il personale poco preparato o scortese, i problemi non risolti o la mancanza di feedback e follow-up. Dall’altro lato, in positivo, i clienti elogiano il servizio clienti soprattutto in riferimento all’interazione con gli operatori del call center (anche per nome), molto gentili e professionali, disponibili, veloci nel risolvere i problemi. La percezione di ricevere un’assistenza personalizzata è uno degli elementi più apprezzati. 

Marianna ha lasciato il segno e ha regalato un'esperienza positiva al cliente generando riconoscenza

Il tema delle offerte, delle tariffe e delle forniture in generale segue il servizio clienti, per quanto si potesse immaginare che il contesto degli ultimi mesi avesse potuto incidere notevolmente sul percepito dei clienti. 

Una lode alla "trasparenza in ogni fase del contratto". 

Emergono poi il tema della comunicazione e della trasparenza e dei servizi digitali, soprattutto per quanto riguarda la gestione della fornitura con app e aree riservate. Entrambi gli argomenti vengono citati sia in positivo, per i fornitori che dispongono di buoni servizi e garantiscono all’utente di poter gestire in autonomia la sua fornitura, con informazioni chiare e coerenti, sia in negativo, per i fornitori dove i sistemi non esistono o presentano criticità significative o le informazioni in fase di offerta si rivelano poi incoerenti con la bolletta o il servizio stesso.

Potremmo quindi riassumere i tre ambiti chiave in:

• Affidabilità e competenza nel servizio clienti;
• Trasparenza nelle tariffe e nelle condizioni contrattuali;
• Facilità di accesso e uso degli strumenti digitali.

Lezioni apprese da mettere in pratica

Nell’ottica quindi di sviluppare una strategia, orientare la comunicazione o potenziare i servizi, i tre ambiti centrali possono costituire il punto di partenza. Diventa quindi primario gestire il servizio clienti, rafforzando ad esempio la formazione del personale e riducendo per quanto possibile i tempi di attesa.

Vanno potenziati i canali di comunicazione, con l’obiettivo di fornire informazioni chiare e trasparenti rispetto a tariffe e condizioni contrattuali e tempestive sulla fornitura e il servizio (ad esempio, interruzioni di fornitura), considerando più canali in base alle esigenze e preferenze dei clienti.

I sistemi digitali vanno ottimizzati per renderli più facilmente fruibili dai clienti, assicurandosi di aggiornare costantemente le informazioni e renderle accessibili.

Alcune note metodologiche per ricerche intelligenti

Strumenti come ChatGPT sono molto utili per analizzare grandi quantità di dati e ottimizzare i tempi.
Vanno però considerati alcuni aspetti:

1. Non sottovalutare chi fa la ricerca 

La competenza del ricercatore è fondamentale per guidare l'analisi. Sapere quali domande porre (come strutturare i prompt) e come interpretare i risultati è essenziale per ottenere insight rilevanti. I LLM possono identificare pattern e tendenze, ma la comprensione profonda e l'interpretazione delle sfumature linguistiche restano prerogative umane. I ricercatori devono essere in grado di collegare i risultati dell'AI alla conoscenza del settore e del cliente, fornendo insight azionabili.

2. “Correggere il tiro” e attenzione ai bias dell'AI

L'uso dei LLM ha permesso di analizzare rapidamente grandi quantità di dati, rendendo possibile identificare tendenze e sentiment che avrebbero richiesto mesi di lavoro manuale. Tuttavia, l'efficienza non deve mai compromettere la qualità. È spesso necessario correggere e reindirizzare ripetutamente l'analisi, a causa di bias dell'AI o dell'analisi incompleta. L'intervento umano è indispensabile per garantire l'accuratezza dei dati.

3. Integrare l’analisi per capire "perché?"

Pur analizzando grandi quantità di dati e ottenendo quindi una lettura del contesto tra il quantitativo e il qualitativo, non si ha una chiara visione sulle cause di quanto si osserva. Si possono solo ipotizzare, non avendo un contatto diretto e più approfondito con le persone. Diventa quindi fondamentale integrare questo tipo di analisi con altre fonti e altre ricerche, per completare la panoramica e ampliare la prospettiva sul contesto (nella user research si parla di triangulation).

Del passaggio dai trend ai "perché" abbiamo parlato anche in questo post dedicato a user research, AI e ricerche di mercato.

Conclusioni 

L'integrazione di LLM nella user research rappresenta una svolta significativa, offrendo la possibilità di analizzare dati su larga scala con una profondità senza precedenti. Tuttavia, il successo di tali analisi dipende dalla combinazione di intelligenza artificiale e competenza umana. I LLM possono fornire insight preziosi, ma è la capacità dei ricercatori di interpretare e contestualizzare questi risultati che fa la differenza.

L'uso di LLM nella user research non solo migliora l'efficienza, ma arricchisce anche la qualità dell'analisi, permettendo alle aziende di comprendere meglio i propri clienti e di migliorare continuamente il proprio servizio.