LLM Locali con Ollama: Quando Conviene Davvero Rispetto al Cloud

L'AI che Gira sul Tuo Computer

Fino a pochi anni fa usare un modello linguistico significava, quasi sempre, inviare il proprio testo ai server di qualcun altro. Oggi esistono modelli open-weight (i cui pesi sono scaricabili liberamente) abbastanza piccoli da girare su un laptop e abbastanza capaci da essere utili davvero: famiglie come Llama, Gemma, Qwen, Mistral e Phi.

Lo strumento che ha reso tutto questo accessibile è Ollama: un programma che scarica, gestisce ed esegue modelli locali con un'esperienza simile a quella di Docker.

# scaricare ed eseguire un modello
ollama run gemma3

# elencare i modelli installati
ollama list

Ollama espone anche un'API locale su http://localhost:11434, compatibile con il formato delle API OpenAI. Questo significa che molte applicazioni e librerie pensate per il cloud possono usare un modello locale cambiando solo l'indirizzo.

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

risposta = client.chat.completions.create(
    model="gemma3",
    messages=[{"role": "user", "content": "Riassumi in tre punti cos'è un Data Warehouse."}],
)
print(risposta.choices[0].message.content)

La domanda interessante, però, non è se si può fare, ma quando conviene.

I Vantaggi dei Modelli Locali

Privacy totale

È il motivo principale. Con un modello locale nessun dato lascia la macchina. Per documenti riservati, dati personali di clienti o dipendenti, informazioni commerciali sensibili, è spesso l'unico modo per usare un LLM senza dover gestire valutazioni complesse su contratti e trattamento dei dati.

Nessun costo per richiesta

Una volta che si ha l'hardware, ogni richiesta è gratuita. Per attività ad alto volume e bassa complessità, come classificare migliaia di testi, estrarre campi da documenti o generare riassunti in batch, il risparmio rispetto alle API può essere notevole.

Funziona offline

Nessuna dipendenza dalla connessione, dai limiti di richiesta o dalla disponibilità del servizio. Il modello c'è sempre e si comporta sempre allo stesso modo: non cambia versione da un giorno all'altro.

Controllo e sperimentazione

Si può scegliere esattamente quale modello usare, provarne diversi, personalizzarli con un Modelfile (prompt di sistema, parametri) e integrarli in pipeline locali senza vincoli.

I Limiti (da Non Sottovalutare)

La qualità

È il punto su cui bisogna essere onesti. I modelli che girano su un computer normale, tipicamente tra 3 e 30 miliardi di parametri, sono molto migliorati, ma non sono al livello dei modelli di frontiera disponibili in cloud. La differenza si sente soprattutto in:

• ragionamenti lunghi e articolati;
• scrittura di codice complesso;
• uso affidabile di strumenti e agenti;
• conoscenza di argomenti di nicchia;
• qualità della scrittura in lingue diverse dall'inglese, italiano incluso, soprattutto nei modelli più piccoli.

L'hardware

La memoria è il vincolo principale: il modello deve stare nella RAM della scheda video (o nella memoria unificata, sui Mac con Apple Silicon). Come ordine di grandezza, con la quantizzazione a 4 bit che Ollama usa di default:

A questo si aggiunge la memoria per il contesto: conversazioni e documenti lunghi richiedono spazio in più. Senza GPU i modelli funzionano lo stesso, ma la generazione diventa lenta per i modelli medi e grandi.

Il costo nascosto

"Gratis per richiesta" non significa gratis. Una GPU con molta memoria ha un costo significativo, consuma energia e va mantenuta. Per un uso occasionale, qualche euro al mese di API cloud costa molto meno dell'hardware necessario per avere una qualità paragonabile.

Un Criterio Pratico per Scegliere

Dopo aver usato entrambi gli approcci, il mio criterio è questo.

Scegli un modello locale quando:

• i dati sono sensibili e non devono uscire dalla rete;
• il compito è ben definito e ripetitivo (classificazione, estrazione, riassunto, riformulazione);
• il volume è alto e i costi API diventerebbero rilevanti;
• vuoi sperimentare, imparare e capire come funzionano i modelli;
• ti serve funzionare offline o in ambienti isolati.

Scegli un modello cloud quando:

• serve la massima qualità di ragionamento, scrittura o codice;
• usi agenti che devono pianificare e chiamare strumenti in modo affidabile;
• l'uso è occasionale o variabile;
• non vuoi gestire hardware.

L'Approccio Ibrido

Nella pratica, la soluzione migliore è spesso ibrida. Alcuni esempi:

• Embedding in locale, generazione in cloud: i documenti vengono indicizzati con un modello di embedding locale, mentre le domande più complesse vanno a un modello cloud insieme ai soli passaggi pertinenti.
• Pre-elaborazione locale: un modello locale anonimizza o riassume i documenti sensibili prima di passarli a un modello più potente.
• Instradamento per complessità: le richieste semplici e frequenti vanno al modello locale, quelle complesse al cloud.
• Sviluppo locale, produzione in cloud (o viceversa): si prototipa con un modello locale gratuito e si passa a un modello più capace quando il flusso è definito.

Grazie all'API compatibile di Ollama, passare da un modello all'altro richiede spesso di cambiare solo un indirizzo e un nome.

Consigli per Iniziare

1. Parti da un modello piccolo: scarica un modello da 3–4 miliardi di parametri per capire le prestazioni della tua macchina.
2. Testa sui tuoi casi reali: prepara una decina di richieste tipiche e confronta le risposte di due o tre modelli, anche con un modello cloud come riferimento.
3. Usa un'interfaccia comoda: strumenti come Open WebUI offrono un'esperienza simile a quella dei chatbot cloud sopra Ollama.
4. Pensa al server di casa: un NAS o un mini PC sempre acceso può ospitare Ollama e renderlo disponibile a tutta la rete domestica o dell'ufficio.

Conclusioni

Gli LLM locali con Ollama non sono un sostituto dei modelli cloud di frontiera, ma uno strumento complementare molto potente. Sono imbattibili per privacy, controllo e costi su compiti ripetitivi; restano indietro su qualità e capacità di ragionamento nei compiti complessi. La scelta giusta non è "locale o cloud", ma capire quale parte del lavoro affidare a ciascuno. E per chi vuole davvero capire come funzionano questi modelli, averne uno che gira sul proprio computer resta il modo migliore per imparare.