Vendiamo anche soluzioni AI on-premise. Quindi quello che state per leggere gioca contro di noi, e vale la pena dirlo subito invece di far finta di essere neutrali.
Ma abbiamo visto abbastanza progetti fermarsi al sesto mese da preferire una conversazione onesta all'inizio a una discussione imbarazzante dopo. Questo articolo raccoglie i numeri che di solito non arrivano in sala riunioni.
Il dato che va contro la narrativa
Se leggete la stampa specializzata, il racconto è che i modelli aperti hanno recuperato terreno, che l'AI privata è il futuro e che le aziende stanno portando tutto in casa.
I numeri di mercato dicono un'altra cosa. Secondo le rilevazioni di Menlo Ventures sull'adozione dell'AI generativa nelle imprese, la quota di carichi di lavoro aziendali che gira su modelli open-weight è scesa dal 19% all'11% in un anno.
Il dettaglio interessante è il perché. Non è che i modelli aperti siano peggiorati: sui benchmark hanno recuperato eccome. Le cause indicate sono altre tre, e sono tutte noiose: vincoli delle licenze commerciali, costo totale reale una volta contati tutti i pezzi, e difficoltà di verificare la provenienza del modello.
Sono esattamente le tre cose che non compaiono in una demo.
Il break-even, tradotto in cose che si possono immaginare
La soglia economica oltre la quale il self-hosting batte le API dei fornitori cloud si colloca, nelle analisi disponibili, intorno al miliardo di token al mese, con un ammortamento sui trenta mesi. A dieci miliardi al mese l'ammortamento scende a due mesi.
Un miliardo di token al mese quanto è?
Un token vale circa tre quarti di una parola. Quindi parliamo di circa 750 milioni di parole al mese, cioè 25 milioni di parole al giorno. A cinquecento parole per pagina, sono cinquantamila pagine di testo elaborate ogni giorno, festivi compresi.
Se avete un'azienda da 50, 100 o 300 persone, non ci arrivate. Non ci arrivate nemmeno lontanamente, nemmeno mettendo tutti a fare solo quello.
Il che porta alla conclusione scomoda: se il vostro argomento per portare l'AI in casa è il risparmio, l'argomento non regge. Ci sono ottime ragioni per farlo, ma quella non è fra queste, e costruirci sopra un business case significa dover spiegare al consiglio, fra un anno, perché i conti non tornano.
I costi che compaiono dopo la macchina
Il preventivo hardware è la parte facile, perché è un numero solo e si vede. Il resto arriva dopo, a rate.
Qualcuno che la gestisca. Un server AI non è un elettrodomestico. Qualcuno deve aggiornare i driver, gestire lo stack di inferenza, monitorare la memoria, capire perché stamattina risponde più lentamente. Se in azienda quella persona non c'è, il costo è un contratto di gestione; se c'è, il costo è il tempo che smette di dedicare ad altro. In entrambi i casi è una voce ricorrente e non è piccola rispetto all'hardware.
L'aggiornamento dei modelli. I modelli aperti escono in versioni nuove ogni pochi mesi. Restare indietro significa lavorare con uno strumento peggiore di quello che i vostri concorrenti usano via API pagando a consumo. Aggiornare significa riprovare, riverificare, a volte riaddestrare le personalizzazioni. È lavoro ricorrente, non un'installazione.
La valutazione della qualità. Questa è la voce che manca praticamente sempre. Come fate a sapere che il modello risponde bene? Serve un insieme di casi di prova costruito sui vostri documenti reali, con le risposte corrette, e serve rieseguirlo a ogni cambiamento. Costruirlo richiede giorni di lavoro di qualcuno che il mestiere lo conosce — non dell'informatico, del capo ufficio acquisti. Senza quello state andando a sensazione, e la sensazione dopo tre mesi diventa "secondo me sbaglia spesso" e il progetto muore.
La sicurezza e i backup. Quella macchina contiene, in forma indicizzata, una parte consistente della vostra conoscenza aziendale. Va protetta, segmentata, salvata e ripristinabile come qualsiasi altro sistema critico. Se l'avete messa sotto una scrivania, non lo è.
L'obsolescenza. L'hardware per l'AI si deprezza in fretta e i requisiti dei modelli crescono. Una macchina comprata oggi regge bene tre anni, poi è una decisione nuova.
Nessuna di queste voci è un ostacolo insormontabile. Ma sommate cambiano il totale in modo sostanziale, e un confronto con le API fatto solo sull'hardware è un confronto truccato — anche quando chi lo fa è in buona fede.
L'opzione intermedia che quasi nessuno propone
La discussione viene di solito impostata come una scelta binaria: tutto in cloud o tutto in casa. È una falsa alternativa, e in molti casi la risposta giusta sta nel mezzo.
Il ragionamento è semplice: non tutti i vostri dati hanno lo stesso livello di riservatezza. Il capitolato del cliente, il progetto meccanico, la cartella del paziente, la strategia commerciale sono una cosa. Riassumere un articolo pubblico, tradurre un testo di marketing o scrivere una bozza di email ne sono un'altra.
Un modello piccolo in casa per i dati che non devono uscire, le API per tutto il resto. Un modello da 8-14 miliardi di parametri gira su una scheda da poche migliaia di euro, ed è più che sufficiente per classificare, estrarre e cercare dentro i documenti riservati. Per il resto usate lo strumento migliore disponibile, pagandolo a consumo, senza immobilizzare capitale.
Questo approccio riduce l'investimento iniziale di un ordine di grandezza, elimina il rischio di comprare la macchina sbagliata prima di aver capito il caso d'uso, e mantiene il controllo esattamente dove serve. Costa meno anche a noi che ve lo vendiamo, e forse è per questo che si sente proporre di rado.
Le domande da farsi prima di firmare
Cinque domande. Se non avete la risposta a tutte e cinque, non è ancora il momento di comprare.
Qual è il compito, in una frase, e quante volte al giorno succede. Se non riuscite a scriverlo in una riga, il progetto non è maturo. "Vogliamo usare l'AI" non è un compito.
Chi se ne accorge se smette di funzionare, e quanto è grave. Definisce se serve ridondanza, e la ridondanza raddoppia il conto.
Chi decide se le risposte sono buone. Con nome e cognome. Se la risposta è "vediamo", il progetto non ha un proprietario e finirà nel cassetto.
Cosa succede quando il modello sbaglia in modo plausibile. Non quando si blocca: quando dà una risposta credibile e sbagliata. Se il processo a valle non ha un controllo umano, avete costruito un generatore di errori veloce.
Cosa fareste se fra un anno la stessa cosa costasse un decimo via API. È lo scenario più probabile, e va messo in conto adesso.
Il costo di non fare nulla
Detto tutto questo, c'è un errore opposto e altrettanto costoso: rimandare all'infinito perché il caso perfetto non arriva mai.
Le rilevazioni sull'Italia dicono che l'adozione dell'AI nelle PMI resta bassa — l'ISTAT la colloca intorno al 16% delle imprese con almeno dieci addetti, con le grandi imprese al 53% — e che circa tre quarti delle PMI italiane non ha investito e non ha piani per farlo.
Ma intanto le persone la usano lo stesso. Le stime che circolano parlano di quasi un lavoratore italiano su due che usa strumenti di AI nell'attività quotidiana, e della grande maggioranza di questi che lo fa con strumenti non approvati dall'azienda. Questi ultimi numeri li abbiamo trovati solo in fonti secondarie e li riportiamo come indicativi, non come dati consolidati — ma l'ordine di grandezza corrisponde a quello che vediamo entrando nelle aziende.
Il che significa che la domanda vera, per molte imprese, non è "conviene portare l'AI in casa". È: i vostri preventivi, i vostri listini e le vostre email ai clienti stanno già passando per strumenti che non avete scelto, e voi non lo sapete.
Rispondere a quella domanda costa molto meno di una workstation. Serve sapere quali strumenti sono in uso, decidere quali sono accettabili, offrire un'alternativa aziendale utilizzabile e renderla la strada più comoda. È governance, non hardware. E quasi sempre viene prima.
Le domande che ci fanno
Il fornitore dice che con l'AI in casa risparmio sulle licenze. È vero?
Sotto una certa soglia di volume, no. Il pareggio economico si colloca intorno al miliardo di token al mese e nessuna PMI ci arriva. Il risparmio esiste in casi molto specifici; il motivo per farlo, di solito, è un altro.
Un miliardo di token al mese, in pratica, quanto è?
Circa cinquantamila pagine di testo elaborate ogni giorno, festivi compresi. Se questa cifra vi sembra assurda per la vostra azienda, è perché lo è: significa che il risparmio non è il vostro argomento.
Se compro adesso, fra un anno la macchina è da buttare?
Da buttare no, sorpassata sì. L'hardware per l'AI regge bene circa tre anni, poi diventa una decisione nuova. Vale la pena metterlo nel piano di ammortamento invece di scoprirlo dopo.
Posso tenere una parte in casa e una parte in cloud?
Sì, ed è quasi sempre la risposta giusta. Un modello piccolo in azienda per i documenti che non devono uscire, le API per tutto il resto: riduce l'investimento iniziale di un ordine di grandezza e mantiene il controllo dove serve davvero.
Chi se ne occupa dopo che l'avete installata?
Qualcuno deve, ed è la voce che manca in quasi tutti i preventivi. Driver, aggiornamenti del modello, verifica della qualità delle risposte, backup. Se non c'è in azienda, è un contratto di gestione; se c'è, è tempo sottratto ad altro. In entrambi i casi va messo a bilancio prima.
In sintesi
Il self-hosting non si giustifica sul costo per token per un'azienda sotto il miliardo di token al mese, e nessuna PMI ci arriva. La quota di carichi aziendali su modelli aperti sta scendendo, per ragioni pratiche e non tecniche. I costi ricorrenti — gestione, aggiornamenti, valutazione della qualità, sicurezza — pesano quanto e più dell'hardware. L'opzione ibrida risolve la maggior parte dei casi con un decimo dell'investimento. E il problema più urgente, in moltissime aziende, non è l'infrastruttura: è che l'AI la stanno già usando tutti, senza regole.
Se volete una valutazione che possa anche concludere "non fatelo", scriveteci. È una risposta che diamo con una certa regolarità.
Articoli correlati: