Torna al blog
Analisi della Sopravvivenza: Stimare il Churn dei Clienti con i Dati Giusti

Analisi della Sopravvivenza: Stimare il Churn dei Clienti con i Dati Giusti

9 min di lettura1 visualizzazioni
di Marco Salmaso
Molti calcolano il churn con una finestra arbitraria: chi non compra da 90 giorni è perso. L'analisi della sopravvivenza mette il tempo al centro, gestisce i clienti ancora attivi e stima quando se ne vanno davvero. Kaplan-Meier, log-rank e modello di Cox con esempi dal retail.

Nella maggior parte dei progetti dati nel retail, prima o poi arriva la domanda: quanti clienti stiamo perdendo? La risposta tipica è un numero calcolato su una finestra fissa: chi non compra da 90 giorni è considerato perso, il churn è la percentuale di clienti in quella condizione. È una risposta rapida, ma nasconde un problema serio: il churn non è uno stato, è un evento nel tempo, e la finestra di 90 giorni è una scelta arbitraria che influenza tutto il risultato.

L'analisi della sopravvivenza è la famiglia di strumenti statistici che affronta esattamente questo problema. Nasce in ambito medico (quanto sopravvive un paziente dopo una terapia?) e in ambito ingegneristico (quanto dura un componente prima di rompersi?), ma si applica benissimo ai clienti: quanto dura un cliente prima di andarsene?

Il problema della finestra arbitraria

Prendiamo due clienti. Il primo compra ogni mese da due anni. Il secondo si è iscritto tre settimane fa e non ha ancora comprato. Con la regola dei 90 giorni, entrambi sono "attivi". Con una finestra di 30 giorni, il primo diventerebbe "perso" pur essendo un cliente storicamente fedelissimo, mentre il secondo sarebbe ancora attivo pur non avendo mai comprato.

Questo mostra due difetti:

  • la finestra non tiene conto della frequenza naturale di acquisto, che cambia per categoria e per cliente;
  • i clienti recenti vengono trattati come quelli con lunga storia, anche se l'informazione disponibile è molta meno.

Il risultato è che il tasso di churn cambia a seconda della finestra scelta, e questo lo rende difficile da confrontare nel tempo e da usare per prendere decisioni.

Censoring: il dato incompleto che quasi tutti buttano via

Il concetto chiave dell'analisi della sopravvivenza è la censura (censoring). Immaginiamo di osservare i clienti per 12 mesi e di voler misurare il tempo fino al loro abbandono.

  • Alcuni clienti se ne sono andati durante l'osservazione: sappiamo esattamente quando. Questi sono eventi osservati.
  • Altri sono ancora attivi alla fine dell'osservazione: sappiamo solo che il loro abbandono, se avverrà, sarà dopo quel momento. Questi sono dati censurati a destra.

La tentazione è escludere i censurati ("non ho il dato completo") oppure trattarli come eventi ("non ha comprato negli ultimi mesi, quindi è churn"). Entrambe le scelte introducono un bias:

  • escluderli elimina i clienti più fedeli e sovrastima il churn;
  • trattarli come eventi li conta come abbandoni che non sono ancora avvenuti e sottostima la sopravvivenza.

L'analisi della sopravvivenza usa tutta l'informazione disponibile: per ogni cliente sa che è sopravvissuto almeno fino a un certo tempo, e questo basta.

La curva di sopravvivenza e il rischio

Due funzioni descrivono il fenomeno:

S(t) = P(T > t)          # probabilità di essere ancora cliente al tempo t
h(t) = lim  P(t <= T < t+dt | T >= t) / dt   # rischio istantaneo al tempo t

In parole: S(t) dice quanta parte della coorte è ancora attiva dopo t giorni; h(t) dice quanto è alto il rischio di abbandono nell'istante t, condizionato al fatto di essere ancora cliente fino a quel momento.

Il legame tra le due è diretto: il rischio è la velocità con cui la curva di sopravvivenza scende. Una curva piatta significa rischio basso; una discesa ripida significa che in quel periodo i clienti se ne stanno andando.

Kaplan-Meier in pratica

Lo stimatore di Kaplan-Meier costruisce la curva di sopravvivenza senza assumere una forma particolare. Il meccanismo è semplice: si ordinano tutti i tempi in cui avviene almeno un evento e, a ogni passo, si moltiplica la sopravvivenza per il rapporto tra chi non ha avuto l'evento e chi era ancora "a rischio" in quel momento.

S(t) = prodotto su tutti i tempi ti <= t di (1 - di / ni)

dove di è il numero di eventi al tempo ti e ni è il numero di soggetti ancora a rischio (non ancora usciti per evento o censura) subito prima di ti.

Un esempio con numeri inventati, solo per illustrare il calcolo:

GiornoA rischioEventiCensuratiS(t)
0100001,000
30100820,920
6090640,859
9080550,805
12070460,759

Dopo 120 giorni, la stima è che circa il 76% dei clienti sia ancora attivo. Il valore mediano di sopravvivenza è il tempo in cui la curva scende sotto 0,5: in questo esempio, se la discesa continua con lo stesso ritmo, accade oltre i 200 giorni.

Nota importante: la tabella è un esempio didattico, non un risultato reale. Con dati veri i numeri dipendono da settore, canale e definizione dell'evento.

Kaplan-Meier in Python

Con la libreria lifelines il calcolo è immediato.

import pandas as pd
from lifelines import KaplanMeierFitter

# esempio di dataset: id_cliente, durata in giorni, evento (1 = churn, 0 = censurato)
df = pd.read_csv('clienti.csv')

kmf = KaplanMeierFitter()
kmf.fit(df['durata'], event_observed=df['evento'], label='Tutti i clienti')

print(kmf.median_survival_time_)
print(kmf.survival_function_at_times([30, 90, 180]))

Le ultime righe rispondono a domande molto concrete: qual è la sopravvivenza mediana, e qual è la probabilità di essere ancora cliente dopo 30, 90 e 180 giorni. È un modo più informativo di dire "il churn è il 20%": la curva mostra quando il churn accade, non solo quanto.

Confrontare gruppi: log-rank test

Spesso la domanda vera è: i clienti che ricevono una certa comunicazione durano di più? Si dividono i clienti in due gruppi, si stimano due curve e si confrontano con il log-rank test, che verifica l'ipotesi nulla di curve uguali.

from lifelines.statistics import logrank_test

gruppo_a = df[df['gruppo'] == 'controllo']
gruppo_b = df[df['gruppo'] == 'trattamento']

risultato = logrank_test(
    gruppo_a['durata'], gruppo_b['durata'],
    event_observed_A=gruppo_a['evento'],
    event_observed_B=gruppo_b['evento'],
)
print(risultato.p_value)

Due avvertenze. Primo: il p-value dice se le curve sono diverse, non quanto e non dove nel tempo. Due curve possono incrociarsi e il test resta cieco a quella dinamica. Secondo: il log-rank dà lo stesso peso a tutti i momenti, quindi se la differenza si concentra nei primi 30 giorni conviene usare versioni pesate (ad esempio il test di Wilcoxon-Gehan).

Modello di Cox: cosa influenza il rischio

Per capire quali fattori alzano o abbassano il rischio di abbandono si usa il modello a rischi proporzionali di Cox:

h(t | x) = h0(t) * exp(beta1*x1 + beta2*x2 + ...)

dove h0(t) è il rischio di base, comune a tutti, e i termini exp(beta) sono gli hazard ratio: quanto cambia il rischio per ogni unità di una variabile, a parità delle altre.

from lifelines import CoxPHFitter

cph = CoxPHFitter()
cph.fit(df[['durata', 'evento', 'n_ordini', 'scontrino_medio', 'canale_online']],
        duration_col='durata', event_col='evento')
cph.print_summary()

Un hazard ratio di 0,75 per una variabile binaria (esempio) significa che quel gruppo ha un rischio di abbandono inferiore del 25% a parità delle altre variabili. Un valore sopra 1 indica rischio maggiore. Il modello va comunque verificato: l'assunzione di rischi proporzionali (l'effetto di una variabile è costante nel tempo) spesso non regge, e si controlla con i residui di Schoenfeld.

Nel retail e nel fashion: attenzione al calendario

Applicare questi strumenti al retail richiede qualche accortezza.

  • Definizione dell'evento. "Churn" non è un fatto biologico come la morte: è una convenzione. Conviene definirlo come assenza di acquisto per un periodo derivato dai dati (ad esempio il 90° percentile dell'intervallo tra acquisti per quella categoria) e non scelto a tavolino.
  • Stagionalità. Nel fashion il tempo non scorre in modo uniforme: saldi, cambio stagione e campagne spostano gli acquisti. Un cliente che non compra per sei mesi a marzo non è uguale a uno che non compra per sei mesi a settembre. Si può stratificare per stagione o usare covariate che dipendono dal tempo.
  • Coorti diverse. Chi si è iscritto nel 2022 e chi nel 2024 hanno vissuto condizioni diverse. Conviene stimare curve separate per coorte, oppure usare la coorte come covariata.
  • Clienti a bassa frequenza. Chi compra due volte l'anno ha una sopravvivenza naturalmente lunga. Il modello aiuta proprio a distinguere un cliente fisiologicamente lento da uno che si sta allontanando.

Errori comuni

  • Trattare i censurati come eventi. È l'errore più frequente: chi non ha comprato nell'ultimo periodo viene marcato come churn anche se l'osservazione è appena iniziata.
  • Usare una regressione logistica su un'etichetta "churn sì/no". Funziona, ma butta via il tempo: un cliente perso dopo 10 giorni e uno dopo 500 ricevono la stessa etichetta.
  • Scegliere la finestra dopo aver visto i risultati. Cambia la finestra, cambia il churn: è una forma di overfitting interpretativo.
  • Ignorare l'eterogeneità. Un unico modello per tutti i clienti mescola comportamenti molto diversi.
  • Confondere la sopravvivenza con la probabilità di riacquisto. S(t) stima la permanenza, non la probabilità che il prossimo acquisto avvenga in una data precisa. Per quello servono modelli dedicati (BTYD, Pareto/NBD).

Dal modello alla decisione

Il valore pratico arriva quando la curva diventa un input operativo. Alcuni esempi di utilizzo:

  • Priorità. Ordinare i clienti per rischio stimato a 90 giorni e concentrare le azioni su chi ha probabilità alta di abbandono ma valore storico interessante.
  • Soglie derivate dai dati. Invece di "90 giorni", usare il tempo in cui la curva scende sotto una soglia scelta consapevolmente.
  • Valore atteso. Un calcolo semplificato combina scontrino medio, frequenza attesa e probabilità di essere ancora cliente: valore = scontrino * frequenza * S(t). È una stima, non una previsione esatta, e va aggiornata man mano che arrivano nuovi dati.
  • Misurare gli interventi. Se si invia una comunicazione, le curve dei due gruppi vanno confrontate nel tempo, non solo con un numero finale.

Conclusione

  • Il churn è un evento nel tempo, non uno stato: la finestra fissa è comoda ma arbitraria.
  • La censura non è un problema da eliminare, è informazione da usare.
  • Kaplan-Meier stima la curva di sopravvivenza senza assumere forme, il log-rank test confronta gruppi e il modello di Cox quantifica l'effetto delle variabili.
  • Nel retail servono definizioni di evento derivate dai dati e attenzione a stagionalità e coorti.
  • Il risultato utile non è una percentuale, ma una curva: dice quando i clienti se ne vanno e permette di intervenire prima.

Foto di copertina di Korie Cull su Unsplash.