intelligenza artificiale

Dopo il “training” a Lugano
ecco Apertus, modello svizzero di AI
per sviluppare futuri ChatGPT

 

Progettato dai Politecnici federali di Zurigo e Losanna, è stato addestrato per mesi su Alps, il supercomputer del CSCS. Dal 2 settembre è attivo e sarà a disposizione di tutti, in modo trasparente e libero

di Simone Pengue

L’intelligenza artificiale (AI) è ormai parte integrante delle nostre vite ed è generalmente “made in” USA o Cina. Da oggi, però, c’è un’alternativa svizzera, creata dai ricercatori universitari per tutta la popolazione. Si tratta di Apertus, il nuovo modello di linguaggio di grandi dimensioni (Large Language Model, o LLM: la “categoria” a cui appartiene anche ChatGPT),  costruito attraverso uno sforzo congiunto dei Politecnici federali di Losanna (EPFL) e Zurigo (ETH). Il suo cuore, si noti, è ticinese, perché è stato addestrato per mesi sul supercomputer Alps del Centro Svizzero di Calcolo Scientifico (CSCS) di Lugano. L’infrastruttura, proprietà dell’ETH, ha così analizzato e letto un’enorme massa di dati (15 trilioni di token, cioè di quantità minime di testo) al fine di dar vita, per così dire, ad Apertus. Il sistema era stato preannunciato a luglio, ma solo dal 2 settembre è disponibile su piattaforme dedicate come Hugging Face.

Il nome viene dal latino e significa, come è facile intuire, aperto. Si tratta infatti di un sistema che non è pensato per essere fruito direttamente dagli utenti, ma per essere la base di applicazioni ulteriori. A loro volta, queste applicazioni potrebbero servire direttamente il pubblico in modo semplice e immediato. Apertus funge quindi da fondamenta a sistemi ulteriori. Ad esempio, durante le Swiss{AI}weeks, un’iniziativa sull’intelligenza artificiale che racchiude molti eventi dedicati a questi temi, sarà possibile per tutti provare un chatbot (cioè un programma informatico capace di conversare con le persone simulando il linguaggio umano) basato su Apertus e sviluppato da  Swisscom: un’applicazione molto simile a ChatGPT. 

La caratteristica che contraddistingue Apertus dalle alternative commerciali è la trasparenza. Chiunque può non solo usarlo gratuitamente, ma anche studiarne la composizione e comprendere il suo modo di funzionare. Nel settore si dice che è open weights, un termine complicato che indica l’accessibilità diretta ai risultati matematici del processo di addestramento. «Apertus non è un classico esempio di trasferimento tecnologico dalla ricerca al prodotto - spiega Thomas Schulthess, direttore del CSCS e professore al Politecnico federale di Zurigo. - Lo consideriamo piuttosto un motore di innovazione e uno strumento per rafforzare le competenze dell’intelligenza artificiale in ambito scientifico, sociale e industriale». Si tratta della prima volta al mondo che i ricercatori universitari di un Paese rilasciano uno strumento di intelligenza artificiale di queste dimensioni con un tale livello di trasparenza. Il sistema si presta, ad esempio, anche per applicazioni mediche o giuridiche, grazie proprio alla sua affidabilità e possibilità di controllo.

Ingrandisci la foto Maria Grazia Giuffreda Ingrandisci la foto

NON SOLO INGLESE - A livello di prestazioni, il suo punto forte è il plurilinguismo, come se gli sviluppatori avessero preso spunto dal DNA della Confederazione. Apertus è stato infatti addestrato con solamente il 40% del materiale in inglese e include, tra le oltre mille lingue che destreggia, anche quelle poco rappresentate a livello internazionale, come lo svizzero tedesco o il romancio. Tecnicamente, il sistema è disponibile in una modalità più leggera, con 8 miliardi di parametri, che può “girare” anche sui laptop comuni, e una completa, con 70 miliardi di parametri (i parametri, semplificando molto, sono i “mattoni matematici” fondamentali che determinano l’intelligenza del modello). Si tratta di numeri piccoli rispetto a ChatGPT (il prodotto dell’azienda statunitense OpenAI), Deepseek (realizzato dalla cinese High-Flyer) e Gemini (creato da Google), che contano un numero di parametri da 10 a 20 volte superiore, ma «Apertus è un foundation model (modello di fondamento) e non è la risposta svizzera a ChatGPT o Deepseek - dice Maria Grazia Giuffreda, direttrice associata del CSCS. - Se poi su questo Foundation model ci sarà qualcuno che svilupperà un’applicazione e un chatbot che vorranno far concorrenza a ChatGPT, va benissimo. Come foundation model, in ogni caso, non è tra i più piccoli».

RISPETTO DEL COPYRIGHT - Apertus è trasparente non solo nei propri meccanismi di funzionamento, ma anche nell’addestramento (che, come dicevamo, è stato eseguito a Lugano). I ricercatori hanno fatto in modo di escludere dal materiale fornito alla macchina tutti i testi protetti da copyright, con attenzione particolare verso le disposizioni dell’”AI Act” europeo, la legge pioniera in tutto il mondo che anche la Svizzera ha adottato per regolamentare l’intelligenza artificiale. Il materiale di addestramento proviene solo da fonti pubbliche e viene accuratamente filtrato per escludere dati personali o contenuti indesiderati, rispettando persino le richieste retroattive di “opt-out” espresse dai siti web. In altre parole, chi ha chiesto che i propri testi fossero esclusi dall’addestramento ha visto accolta la propria domanda, anche quando il processo era già cominciato. Questo processo ha portato a rimuovere circa il 10% dei dati in inglese e il 5% dei dati in altre lingue, con effetti marginali sulle prestazioni di Apertus. Una dimostrazione che è possibile sviluppare potenti LLM in modo etico e rispettoso.

"INDIPENDENZA" DA FORNITORI ESTERI - C’è, naturalmente, anche un fine legato alla sicurezza. Quando utilizziamo un LLM commerciale, non abbiamo molte garanzie sull’utilizzo che la società farà dei dati che stiamo fornendo. Ad esempio, potrebbero essere impiegati nell’addestramento di ulteriori modelli, oppure incrociati con altri dati per fare un ritratto degli utenti a fini commerciali. Apertus si prefigge non solo lo scopo di proteggere gli utenti in tal senso, ma cerca anche di muovere un primo passo nei confronti della sicurezza nazionale e dell’indipendenza più ad ampio spettro. Infatti, permette alla Svizzera di dotarsi di uno strumento potente costruito entro i propri confini senza dover dipendere dalle volontà, prive di certezze, di fornitori di Paesi terzi. Dal punto di vista della ricerca, questo si traduce anche nella garanzia che i risultati prodotti da Apertus siano riproducibili per un minimo di dieci anni.

PROGETTO AVVIATO NEL 2021 - Il supercomputer Alps, su cui è stato allenato Apertus, ha cominciato le proprie operazioni nel 2024, dopo un primo annuncio nel 2021. «Un aspetto fondamentale di questa iniziativa - spiega Joost Vande Vondele, direttore deputato del CSCS - è che si basa sulla più grande e al tempo stesso più efficiente infrastruttura europea per la scienza aperta e il machine learning (Alps, appunto: ndr), già pronta a sostenere la Swiss AI Initiative (un insieme di progetti di ricerca in ambito AI, ndr) e la creazione del modello Apertus. È interessante notare che abbiamo annunciato questo sistema prima che ChatGPT fosse disponibile al pubblico (nel 2023), quindi abbiamo avuto l’idea di investire nelle infrastrutture per l’AI prima dell’attuale ondata di interesse». 

Alps ha addestrato Apertus per circa tre mesi su oltre quattromila schede grafiche, richiedendo la metà della potenza di una locomotiva e con un consumo energetico pari a circa quello di quattro persone trentenni. Il raffreddamento del sistema, come è noto, nel Centro Svizzero di Calcolo Scientifico (in via Trevano a Lugano), avviene grazie all’acqua del Ceresio, pompata attraverso un sistema idraulico direttamente dalle rive del lago. Non va inoltre dimenticato che, nello sviluppo di questo sistema, centinaia di studenti e dottorandi in Ticino e nei Politecnici federali hanno potuto cimentarsi in ricerca computazionale di altissimo profilo, preparando così la prossima generazione di ricercatori e professionisti sul nostro territorio. «La prima grande sfida - conclude Maria Grazia Giuffreda - è stata lavorare con un’infrastruttura estremamente nuova, che richiedeva ancora ottimizzazione e rifinitura. Nonostante questo, siamo riusciti a mantenerla stabile e a permettere l’addestramento del modello. Gli ingegneri del CSCS hanno avuto un ruolo fondamentale, supportando gli sviluppatori nell’adattamento e nell’ottimizzazione del modello stesso sul nostro sistema, e ottenendo le massime prestazioni. Mi dispiace quando si pensa che il CSCS offra solo risorse di calcolo: in realtà mettiamo a disposizione anche le competenze dei nostri ingegneri, che sono altrettanto decisive».