Abbiamo annunciato Granite 4.0, l’ultima generazione di modelli linguistici di IBM. Granite 4.0 presenta una nuova architettura ibrida Mamba/transformer che riduce drasticamente i requisiti di memoria senza compromettere le prestazioni. Possono essere eseguiti su GPU molto più economiche e a costi significativamente ridotti rispetto ai modelli LLM tradizionali.

I nuovi modelli Granite 4.0, open source con una licenza Apache 2.0 standard, sono tra i primi modelli open a ricevere la certificazione ISO 42001 e sono firmati crittograficamente, confermando il loro rispetto delle migliori pratiche internazionalmente riconosciute per sicurezza, governance e trasparenza.

I modelli Granite 4.0 sono disponibili su IBM watsonx.ai, così come attraverso i partner infrastrutturali tra cui (in ordine alfabetico) Dell Technologies su Dell Pro AI Studio e Dell Enterprise Hub, Docker Hub, Hugging Face, Kaggle, LM Studio, NVIDIA NIM, Ollama, OPAQUE e Replicate. L'accesso tramite AWS Sagemaker JumpStart e Microsoft Azure AI Foundry sarà disponibile a breve.

L'annuncio di Granite 4.0 segna l’inizio di una nuova era per la famiglia di modelli linguistici di livello enterprise di IBM, grazie all’introduzione di innovazioni architetturali che rafforzano l’impegno verso modelli linguistici di dimensioni contenute, efficienti e in grado di offrire prestazioni competitive con costi e latenze ridotti. I modelli Granite 4.0 sono stati progettati con un’attenzione particolare alle attività fondamentali nei flussi di lavoro agentici, sia in implementazioni autonome sia come componenti efficienti dal punto di vista dei costi all’interno di sistemi complessi insieme a modelli di ragionamento di maggiori dimensioni.

La famiglia di modelli Granite 4.0 comprende modelli di diverse dimensioni e stili architetturali per ottimizzare il loro utilizzo in funzione di diversi vincoli hardware, tra cui i modelli ad architettura ibrida contraddistinti dalla lettera H presente nel nome:

- Granite-4.0-H-Small, un modello ibrido Mixture of Experts (MoE) con 32 miliardi di parametri totali (9 miliardi attivi)

- Granite-4.0-H-Tiny, un modello ibrido MoE con 7 miliardi di parametri totali (1 miliardo attivi)

- Granite-4.0-H-Micro, un modello ibrido denso con 3 miliardi di parametri.

Questa release include anche Granite-4.0-Micro, un modello denso da 3 miliardi con un'architettura transformer di tipo tradizionale, per accogliere piattaforme che non supportano ancora architetture ibride.

Granite 4.0-H Small è un modello economicamente conveniente che assicura performance solide nei flussi di lavoro enterprise, come agenti multifunzionali e automazione del servizio clienti. I modelli Tiny e Micro sono progettati per applicazioni a bassa latenza, applicazioni edge e applicazioni su server locali; possono anche servire come “mattoni” per flussi di lavoro agentici con modelli più grandi per l'esecuzione rapida di compiti come chiamate a funzioni.

Le prestazioni di benchmark di Granite 4.0 mostrano miglioramenti significativi rispetto alle generazioni precedenti: anche i modelli più piccoli Granite 4.0 superano significativamente Granite 3.3 8B, nonostante abbiano meno della metà delle dimensioni. Tuttavia, il loro punto di forza più rilevante è un aumento straordinario dell'efficienza in termini di inferenza. Rispetto agli LLM convenzionali, i nostri modelli ibridi Granite 4.0 richiedono significativamente meno RAM per funzionare, specialmente per compiti che coinvolgono informazioni di contesto consistenti (come l'analisi di un ampio codice sorgente o documentazione estesa) e sessioni multiple contemporaneamente (ad esempio, un agente di servizio clienti che gestisce numerose e dettagliate richieste degli utenti). 

La riduzione drastica dei requisiti di memoria di Granite 4.0 comporta, soprattutto, una riduzione altrettanto drastica dei costi dell'hardware necessario per eseguire carichi di lavoro pesanti ad alte velocità di inferenza. Il nostro obiettivo è abbattere le barriere di accesso fornendo a imprese e sviluppatori open source un accesso conveniente a LLM altamente competitivi. 

La priorità di IBM per l'efficienza del modello in termini di inferenza e su qualsiasi hardware è accompagnata dall’attenzione agli aspetti di sicurezza, protezione e trasparenza dell’ecosistema di modelli. Dopo un lungo processo di verifica di compliance esterna del processo di sviluppo di AI di IBM, IBM Granite è recentemente diventata una delle prime famiglie di modelli linguistici open a ottenere la certificazione ISO 42001, soddisfacendo il primo standard internazionale per responsabilità, spiegabilità, privacy dei dati e affidabilità nei sistemi di gestione AI (AIMS). Questo risultato, che avvalora la fiducia verso la famiglia di modelli di IBM, è ulteriormente rafforzato dalla nostra recente partnership con HackerOne su un programma di bug bounty per Granite, oltre alla nostra nuova pratica di firma crittografica di tutti i checkpoint dei modelli 4.0 disponibili su Hugging Face (consentendo a sviluppatori e imprese di garantire la provenienza e l'autenticità dei modelli).

Partner aziendali selezionati, tra cui EY e Lockheed Martin, hanno ottenuto la possibilità di  testare le capacità di Granite 4.0 su larga scala per casi d'uso specifici. Il feedback di questi partner insieme a quello della comunità open source, sarà utilizzato per migliorare e ottimizzare i modelli per futuri aggiornamenti. 

Questo rilascio include varianti Base e Instruct di Micro, Tiny e Small. Sono previsti altri formati di modelli (sia più grandi che più piccoli), nonché varianti con supporto esplicito al reasoning per il prossimo rilascio previsto entro la fine del 2025.

Scopri tutti i dettagli di IBM Granite 4.0