La prossima fase dell’AI enterprise si giocherà sul costo ricorrente dei modelli in produzione.
L’addestramento resta un’attività ad alta intensità di capitale, ma l’inferenza è il punto in cui la spesa diventa continua: ogni richiesta, ogni risposta generata, ogni agente che richiama strumenti, basi dati e altri modelli produce consumo di calcolo, memoria, rete ed energia.
Secondo un’analisi di McKinsey, l’88% delle organizzazioni usa regolarmente l’AI in almeno una funzione, ma circa due terzi non hanno ancora iniziato a scalarla a livello enterprise. Il problema è certamente organizzativo, ma non solo: quando uno use case passa dal pilota a migliaia o milioni di chiamate, il costo per token diventa una metrica industriale, vicina ai tradizionali indicatori di capacità, latenza e disponibilità.
Perché i costi di inferenza AI diventano una questione infrastrutturale
Nel report Frontiers of compute: The technologies to reduce AI inference costs, pubblicato recentemente da McKinsey, si sottolinea che la competitività dell’infrastruttura AI dipende sempre meno dai “flop” e sempre più dall’efficienza con cui sistemi, memoria, rete, software e silicio trasformano energia e capacità hardware in token utili.
La società di analisi stima che nel 2026 Amazon, Google, Meta e Microsoft stiano impegnando oltre 700 miliardi di dollari complessivi in capex, con una quota prevalente destinata a infrastrutture AI.
Il punto, per le imprese, è che questa mobilitazione non elimina automaticamente il problema del costo unitario. Lo sposta lungo la filiera: dai provider cloud ai team IT, dai modelli scelti dagli sviluppatori alle policy di procurement, fino alla progettazione delle applicazioni.
Un chatbot interno con poche centinaia di utenti può essere assorbito come spesa “sperimentale”; un assistente operativo integrato in service desk, sviluppo software, customer operation o gestione documentale cambia natura economica.
I dati dello Stanford AI Index 2025 mostrano che l’intelligenza artificiale sta diventando sia più economica sia più efficiente. Tra il 2022 e il 2024 il costo di utilizzo di modelli con prestazioni comparabili a GPT-3.5 è crollato da 20 dollari a 7 centesimi per milione di token (circa 750.000 parole).
Parallelamente, i progressi nella progettazione dei modelli hanno aumentato drasticamente l’efficienza dell’AI. Se nel 2022 era necessario un modello gigantesco come PaLM, con 540 miliardi di parametri, per superare il 60% nel benchmark MMLU (il Massive Multitask Language Understanding è un benchmark che misura le capacità di ragionamento e conoscenza generale di un modello AI attraverso domande su molte discipline), nel 2024 lo stesso traguardo può essere raggiunto da Phi-3-mini, che ne utilizza appena 3,8 miliardi. In altre parole, oggi modelli oltre 100 volte più piccoli riescono a ottenere risultati che pochi anni fa richiedevano infrastrutture molto più costose e complesse.
Questi progressi abbassano la barriera d’ingresso, ma non chiudono il tema. La diffusione di workload agentici, interrogazioni lunghe, ragionamento a più passaggi, generazione multimodale e ricerca aumentata può far crescere il numero di token per attività più rapidamente del calo del costo unitario.
Le tecnologie che riducono il costo per token
La riduzione dei costi di inferenza AI non dipende da un unico parametro. McKinsey individua 13 leve tecnologiche e ne mette quattro in evidenza per impatto: ottimizzazione del modello, packaging avanzato 3D (dove i componenti computazionali vengono impilati verticalmente), silicio specializzato (i vari Google TPU, Microsoft Maia, gli acceleratori ASIC, ecc.) e co-packaged optics (che integrano connessioni ottiche vicino ai processori). A queste si aggiunge una leva software già molto concreta per le imprese: l’efficienza del runtime di serving (per sfruttare al meglio le risorse di calcolo disponibili).
La tabella sintetizza le aree dove si formano i risparmi più rilevanti.
| Leva tecnologica | Evidenza principale | Implicazione per l’IT enterprise |
|---|---|---|
| Ottimizzazione del modello | McKinsey stima riduzioni del costo per token dell’85-95% con combinazioni di quantizzazione e pruning | Prima di acquistare nuova capacità, serve valutare precisione, qualità e modello minimo adatto al caso d’uso |
| Packaging avanzato 3D | Riduzioni potenziali dell’80-90% con integrazione memoria-logica più efficiente | Il collo di bottiglia si sposta sulla memoria: avvicinare dati e calcolo diventa decisivo |
| Chip specializzati per inferenza | Riduzioni potenziali del 70-80% sui workload per cui sono progettati | La scelta dell’acceleratore va legata a pattern di traffico, modello, latenza e lock-in software |
| Co-packaged optics | Riduzione stimata del 50-65% dell’energia per bit trasmesso rispetto a ottiche pluggable convenzionali | Nei cluster su larga scala il costo dello spostamento dati pesa quanto il calcolo |
| Runtime di serving e gestione kv cache | Il paper vLLM/PagedAttention riporta throughput 2-4 volte superiore a parità di latenza rispetto a FasterTransformer e Orca | Scheduling, batching continuo e gestione memoria incidono direttamente sul costo operativo |
Quantizzazione, pruning e distillazione: il primo fronte
La leva più vicina alle imprese è l’ottimizzazione del modello. La quantizzazione, in particolare, riduce la quantità di memoria necessaria per eseguire un modello AI rappresentando i parametri con meno bit. In pratica, il modello diventa più compatto e può essere eseguito in modo più efficiente sulle stesse risorse hardware. Secondo McKinsey, il passaggio da precisione FP16 (floating point a 16 bit) a INT4 (numeri interi rappresentati in 4 bit) può raddoppiare o addirittura quadruplicare il numero di richieste gestite a parità di infrastruttura, soprattutto nelle applicazioni generative dove il modello produce la risposta un token alla volta e l’accesso alla memoria rappresenta uno dei principali vincoli prestazionali..
Il pruning elimina pesi o componenti del modello che contribuiscono poco all’output. La tecnica è efficace quando il caso d’uso non richiede tutta la capacità rappresentativa di un modello molto grande.
La distillazione, invece, trasferisce comportamento e conoscenza da un modello più ampio a uno più piccolo. Il paper DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter, pubblicato su arXiv, mostrava già una riduzione del 40% delle dimensioni, il mantenimento del 97% delle capacità linguistiche misurate e un’inferenza più veloce del 60% rispetto a Bert.
Nel contesto enterprise, il principio resta attuale: non ogni processo richiede il modello più grande disponibile. Classificazione, estrazione dati, routing documentale, ricerca semantica, sintesi vincolata e molte funzioni di back office possono funzionare con modelli più piccoli, specializzati o distillati, lasciando i modelli frontier alle attività ad alta ambiguità o valore.
Il runtime conta quanto il modello
Una parte rilevante dei costi dell’inferenza non dipende dalla potenza del modello, ma dall’efficienza con cui viene gestita la memoria della GPU. I sistemi moderni conservano nella KV Cache i risultati già calcolati per evitare elaborazioni ripetitive. Se però questa cache viene allocata in modo inefficiente, la memoria si frammenta, il numero di richieste gestibili contemporaneamente diminuisce e le GPU lavorano al di sotto delle loro capacità, aumentando il costo per ogni risposta generata.
Il lavoro Efficient Memory Management for Large Language Model Serving with PagedAttention, ha introdotto PagedAttention e vLLM proprio per trattare la KV cache con logiche simili alla memoria virtuale dei sistemi operativi. Nei test riportati dagli autori, vLLM migliora il throughput di 2-4 volte rispetto a sistemi come FasterTransformer e Orca mantenendo livelli di latenza comparabili, con benefici maggiori su sequenze lunghe, modelli grandi e decodifiche complesse.
La conseguenza pratica? Due deployment dello stesso modello sulla stessa classe hardware possono produrre costi molto diversi. Continuous batching, prefix caching, speculative decoding, gestione delle code, limiti di contesto e scelta dei profili di latenza incidono quanto il prezzo dell’istanza cloud.
Chip specializzati e memoria: dove si decide il TCO
Il secondo livello è hardware. Le GPU restano centrali per flessibilità, ecosistema software e capacità di gestire workload diversi, ma l’inferenza spinge verso acceleratori più specializzati. McKinsey cita, tra gli esempi, i chip Aws Trainium e Inferentia, le TPU di Google e una nuova generazione di acceleratori progettati per fasi specifiche del workload.
La ragione è economica. Nella fase di prefill, quando il modello legge il prompt, il calcolo pesa di più. Nella fase di decode, quando la risposta viene generata token dopo token, la memoria e lo spostamento dei dati diventano più vincolanti. Un’architettura efficiente per un workload batch di classificazione può non esserlo per un agente conversazionale con contesti lunghi e tool call ripetute.
Il packaging avanzato e l’evoluzione della memoria ad alta banda rispondono allo stesso problema: portare più memoria vicino al calcolo, aumentare la banda, ridurre energia e latenza del movimento dati. La corsa non riguarda solo il chip più potente, ma la capacità del sistema di evitare colli di bottiglia tra acceleratori, memoria, rete e storage.
Rete ottica e cluster: il costo dello spostamento dati
Quando i modelli crescono o vengono distribuiti su più nodi, la rete entra nel costo per token. McKinsey indica le co-packaged optics come una delle leve di lungo periodo più promettenti: integrando motori ottici più vicino al package di switch o acceleratori, questa tecnologia può aumentare densità di banda e ridurre l’energia per bit trasmesso.
Per le imprese, questo segnala che la valutazione dell’infrastruttura AI non può fermarsi al singolo server. Con agenti e applicazioni multimodali, diventano centrali topologia di rete, isolamento dei workload, prossimità dei dati, capacità di autoscaling e scelta tra deployment centralizzato, edge o ibrido.
Energia per token: il vincolo che entra nei budget
Il costo dell’inferenza non è solo cloud bill. Energia, raffreddamento e disponibilità elettrica influenzano direttamente capacità e margini. L’International Energy Agency, nel report Energy and AI, stima che il consumo elettrico globale dei data center possa più che raddoppiare fino a circa 945 TWh nel 2030, con l’AI come principale driver insieme alla domanda digitale generale.
Una analisi pubblicata da Microsoft Research, ridimensiona alcune stime pubbliche troppo pessimistiche sull’energia per singola query, ma conferma il problema di scala. Lo studio stima per modelli frontier ottimizzati una mediana di 0,31 Wh per query, con intervallo interquartile 0,16-0,60 Wh, e indica che stime basate su configurazioni non produttive possono sovrastimare i consumi di 4-20 volte. Le query lunghe di reasoning e agentic workflow possono però aumentare l’energia di oltre un ordine di grandezza: nello scenario con 15 volte più token, la mediana sale a 3,91 Wh.
Costo ed efficienza energetica stanno diventando due facce della stessa medaglia. Ogni miglioramento che aumenta il numero di token generati per unità di calcolo — dall’ottimizzazione dei modelli al migliore utilizzo degli acceleratori — tende infatti a ridurre sia la spesa operativa sia i consumi energetici.
La governance del costo entra nell’architettura AI
La riduzione dei costi di inferenza AI richiede una disciplina simile al FinOps cloud, ma più vicina al ciclo applicativo. La metrica non può essere solo costo mensile: servono costo per token, costo per task completato, latenza per classe di servizio, qualità dell’output, quota di richieste instradate a modelli grandi e utilizzo effettivo degli acceleratori.
Il routing intelligente tra modelli è una delle pratiche più promettenti. Un’architettura enterprise può usare modelli piccoli per richieste semplici, modelli specializzati per funzioni note, retrieval per ridurre contesto inutile e modelli più capaci solo quando il task lo giustifica. Anche il prompt design diventa una leva economica: contesti troppo lunghi, documenti duplicati, catene agentiche non controllate e output prolissi aumentano la spesa senza migliorare necessariamente il risultato.
Il passaggio fondamentale è portare queste scelte nella progettazione, non nella sola ottimizzazione successiva. Ogni applicazione AI dovrebbe nascere con profili di servizio differenziati: bassa latenza, basso costo, alta accuratezza, reasoning esteso, elaborazione batch. La piattaforma deve poi applicare policy, misurare gli scostamenti e offrire ai team dati leggibili sul trade-off tra qualità e spesa.
Dalla sperimentazione alla produzione sostenibile
La riduzione dei costi di inferenza sta già ampliando il numero di applicazioni economicamente sostenibili. I dati dello Stanford HAI evidenziano un crollo dei costi per ottenere prestazioni comparabili, mentre McKinsey stima ulteriori margini di riduzione grazie a modelli più efficienti, nuove tecnologie per i semiconduttori e infrastrutture di interconnessione più avanzate. Allo stesso tempo, la ricerca dimostra che software di serving e architetture di sistema possono incidere sulle prestazioni e sui consumi quanto l’hardware stesso.
Il punto per l’IT enterprise è trasformare queste leve in una roadmap. Prima si sceglie il modello minimo adeguato, poi si ottimizza il serving, quindi si valuta l’acceleratore più coerente con il carico. Solo a quel punto l’aumento di capacità diventa una scelta informata. L’AI in produzione non scala perché i token diventano gratuiti, ma perché lo stack viene progettato per consumarne meno, servirli meglio e pagarli con maggiore controllo.
#Adessonews seleziona nella rete articoli di particolare interesse.
Se vuoi leggere l’articolo completo clicca sul seguente link
Gianluca Ferrari
Source link
