Tag: Llm

Categorie
Economia Tecnologia

I large language model fatti in Italia

Author: Wired

Modello Italia dovrebbe diventare realtà – stando alle dichiarazioni dell’azienda – entro l’estate. Maggiori dettagli su questo modello si conosceranno quindi più avanti. In un’intervista condotta sempre da Wired il fondatore e amministratore delegato di iGenius, Uljan Sharka, ha fornito interessanti spiegazioni sul perché ritiene importante sviluppare sistemi italiani in un contesto globale come quello dell’intelligenza artificiale.

“Tutti i principali modelli oggi sul mercato sono addestrati su dataset che parlano in inglese. Questo genera un bias culturale estremamente pericoloso se pensiamo che, in futuro, molti servizi e prodotti saranno gestiti con un’interfaccia utente basata sul linguaggio naturale. Quando andiamo su modelli di larga scala si inserisce un bias culturale non indifferente e non accettabile. Stiamo sottovalutando l’effetto che la lingua ha sull’addestramento dei modelli” (una tesi simile è stata sostenuta anche dal fondatore della francese MistralAI, Arthur Mensch).

Magiq

L’importanza di possedere un large language model che rifletta le peculiarità della lingua italiana è al centro di un altro sistema del nostro paese: Magiq, sviluppato dalla statunitense My Maia e dalla società italiana di ricerca e sviluppo Synapsia. Magiq è un large language model base pensato per addestrare altri sistemi di intelligenza artificiale specializzati nella lingua italiana, partendo dal progetto Maia Life Copilot.

A differenza di ChatGPT e altri, Maia non ha l’ambizione di essere un’intelligenza artificiale di uso generale, ma di diventare uno strumento specializzato nell’assistenza quotidiana, sfruttando a questo scopo – come ha spiegato Stefano Mancuso, direttore operativo di Synapsia – “una rete neurale dedicata all’autoprofilazione (Neural Id) che le permette di fornire risposte e suggerimenti basati sul contesto specifico e sulle caratteristiche individuali dell’utente”.

Ospitato anch’esso su HuggingFace e open source, la creazione di Magiq ha richiesto la raccolta di milioni di esempi di testo da diverse fonti, la pulizia e la preparazione dei dati, l’addestramento del modello e la sua valutazione. Un team multidisciplinare di esperti in linguistica, cultura italiana e intelligenza artificiale ha lavorato al progetto.

Le questioni aperte

Anche altri progetti – come Llamantino dell’università di Bari (che sfrutta come base Llama di Meta) o quello appena annunciato da Fastweb (basato invece su Mistral) – hanno messo al centro l’importanza di uno strumento addestrato tramite la lingua italiana e non invece attraverso l’inglese, la lingua dominante del web e dell’intelligenza artificiale.

“Gli attuali modelli di intelligenza artificiale si affidano principalmente a dati in lingua inglese, ma una maggiore comprensione delle sfumature della lingua italiana può essere ottenuta dall’addestramento su set di dati in italiano accuratamente selezionati e di alta qualità”, si legge per esempio nel comunicato di Fastweb.

Si tratta di una questione importante, soprattutto perché l’addestramento nella nostra lingua permette di affinare la stesura dei testi, le traduzioni o la conoscenza di questioni nazionali. E anche per sfruttare al meglio questi modelli nel campo della pubblica amministrazione. Allo stesso tempo, l’enfasi costante sulla lingua italiana mostra come – prevedibilmente – tutti i modelli sviluppati in Italia abbiano una dimensione nazionale, senza neanche l’ambizione di competere a livello internazionale. Probabilmente, per alcuni usi specifici, degli Llm specializzati nella nostra lingua possono essere utili. Allo stesso tempo viene da porsi una domanda: se vogliamo competere – o almeno provare a competere – con i colossi del settore o sviluppare sistemi senza affidarci a sistemi terzi (sempre statunitensi, con l’eccezione di Mistral), non sarebbe il caso di operare a livello europeo?

Categorie
Economia Tecnologia

Assalto al trono dell’intelligenza artificiale: chi sfida il primato di Nvidia

Author: Wired

E così, le Gpu iniziano a farsi largo anche in settori diversi dal gaming. Per esempio, i processori di Nvidia iniziano ad andare a ruba anche in concomitanza con il primo boom dei bitcoin – quello avvenuto tra il 2007 e il 2008 – avendo dimostrato di essere estremamente utili per il mining (ovvero l’attività di “estrazione” dei bitcoin e non solo).

Addestrare l’AI

Soprattutto, le Gpu e Cuda si dimostrano degli strumenti perfetti per l’addestramento dei sistemi di deep learning, che a partire dal 2013 iniziano a diffondersi sempre di più, dando vita alla rivoluzione dell’intelligenza artificiale e venendo rapidamente integrati nei social network, nelle piattaforme di streaming, nei software per la creazione di immagini e in una miriade di altri ambiti.

Il vero salto di qualità si è però verificato a partire dal 2022, con l’avvento di ChatGPT e l’esplosione degli altri large language model, che hanno reso Nvidia l’indiscusso leader per la fornitura di processori a chiunque sia attivo nel settore dell’intelligenza artificiale. Oggi Nvidia detiene in questo campo una quota di mercato pari al 70-90%, mentre i suoi profitti sono aumentati nel 2023 del 400% rispetto all’anno precedente. Inevitabilmente, il settore dell’intelligenza artificiale è diventato il principale per Nvidia, surclassando anche quello dei videogiochi.

È per questo che il suo valore è aumentato a dismisura negli ultimi anni. Ed è per questo che – nonostante il fatturato sia ancora una frazione di quello degli altri colossi tech (27 miliardi contro i 380 di Apple) – alcuni analisti continuano a considerarlo il cavallo giusto su cui puntare a livello finanziario.

Gli sfidanti

Allo stesso tempo, però, Nvidia deve iniziare a guardarsi alle spalle. Come detto, le sue Gpu sono state originariamente progettate per il gaming, scoprendo poi che erano perfettamente funzionali anche per il carico di lavoro richiesto per l’addestramento delle intelligenze artificiali. E se invece dei processori progettati da zero specificamente per i large language model, e più in generale i sistemi di deep learning, fossero ancora più efficienti?

È ciò su cui sta scommettendo Cerebras, startup californiana guidata da Andrew Feldman che progetta processori creati esclusivamente per l’intelligenza artificiale. Processori, tra l’altro, dalle dimensioni inusuali: “Il nostro chip è grande quanto un piatto da tavola, mentre una Gpu ha le dimensioni di un francobollo”, ha spiegato Feldman parlando con l’Economist. Potrebbe sembrare una mossa controintuitiva, visto che il progresso tecnologico è sempre stato anche una corsa alla miniaturizzazione. Eppure, Cerebras permette di usare un solo, enorme chip laddove con le GPU di Nvidia bisogna collegarne un gran numero tra loro. Questo permette alle connessioni tra i vari core presenti nel chip di operare migliaia di volte più rapidamente di quanto avviene con le connessioni tra GPU separate.

Categorie
Tecnologia

È ancora troppo facile ingannare l’intelligenza artificiale e farla andare in crisi

Author: Wired

“Impieghiamo molte strategie per assicurare la sicurezza dei nostri sistemi e non possiamo rivelarle tutte” prosegue Anil. Si procede per strati, “e se ognuno ha una sicurezza del 90%, il sistema alla fine raggiunge il 99,99% di efficacia”. In pratica, tra le altre modalità, “controlliamo gli input prima che raggiungano il modello per accertarci che una richiesta sia sicura, insegnandogli al contempo a riconoscere quelle che non lo sono. Ma esaminiamo anche gli output a parte, isolandoli dal resto, per verificare che non siano presenti contenuti non sicuri”.

Rischi di lungo periodo

Il manager va oltre. “Siamo interessati anche ai rischi che derivano dalle capacità dei sistemi di intelligenza artificiale del futuro. In questo caso, l’obiettivo è cercare di comprendere in anticipo le possibilità dei prossimi modelli linguistici in modo tale da produrre dei rapporti che ci possano allertare quando alcune soglie accuratamente identificate vengono superate”.

Parlarne apertamente non rischia di danneggiare la vostra reputazione? “In realtà, no” spiega Anil. “Più i sistemi di intelligenza artificiale diventano potenti, più diventa essenziale che chi li sviluppa garantisca la sicurezza dei propri prodotti. Pensiamo che danneggerebbe molto di più l’immagine della società il fatto che, modelli così potenti sviluppati da noi possano essere usati per danneggiare seriamente il mondo in cui viviamo”.

Al di là del tecno ottimismo, il futuro spaventa anche la società di Amodei. “Una volta che i sistemi avranno superato una certa soglia di capacità, diventerà molto più difficile parlare apertamente e risolvere le vulnerabilità. Significa che dobbiamo fare ricerca sulla sicurezza ora, su modelli che non pongono rischi catastrofici”.

Sul tema, afferma Anil, Anthropic si confronta con governi e altre realtà di settore, oltre che con le università. Alla fine, “crediamo che la AI possa apportare grandi benefici alla società, migliorando la medicine, le scienze, la comunicazione e moltissimi altri campi. Ma sappiamo poco di come i sistemi di AI funzionano davvero, spesso si comportano in maniera sorprendente e non prevista e non abbiamo il controllo che ci piacerebbe sul loro comportamento. Ciò significa che c’è un rischio futuro che sistemi di AI ad alto potenziale siano usati da umani malintenzionati per scopi malevoli. Per questo facciamo così tanta ricerca sulla sicurezza: vogliamo che la AI sia un bene per la società e pensiamo che risolvere i problemi oggi pagherà dividendi in futuro proprio sotto questo aspetto”.

Chi stabilisce i limiti dell’AI

Resta una domanda fondamentale: chi deve stabilire i limiti dell’AI? “Crediamo che sia la società nel suo complesso a doverlo fare, in maniera democratica” replica Anil. “Uno dei modi che impieghiamo è intervistare un campione rappresentativo della popolazione statunitense e chiedere loro di aiutarci a scrivere la ‘carta costituzionale’ del nostro modello, i principi lo dovrebbero guidare e come comportarsi in vari scenari. Alla fine, una delle ragioni per cui siamo così tanto interessati a parlare coi decisori politici sull’AI è perché vogliamo che siano il più informati possibili sui possibili benefici e rischi, così come sulle ultime caratteristiche, in modo che possano legiferare nella maniera più consapevole e informata possibile”. La battaglia è agli inizi. L’intelligenza artificiale è nata negli anni Cinquanta del secolo scorso. Ma stiamo uscendo solo ora, quasi un secolo dopo, dalla preistoria.

Categorie
Tecnologia

Le ricerche su Google stanno per cambiare per sempre

Author: Wired

“Le soluzioni di AI generativa stanno diventando motori di ricerca sostitutivi, rimpiazzando le query degli utenti che in passato potevano essere eseguite nei motori di ricerca tradizionali – ha spiegato l’analista di Gartner Alan Antin in una dichiarazione allegata al rapporto –. Questo costringerà le aziende a ripensare la loro strategia di marketing“.

Cosa significa tutto questo per il web? “È un cambiamento dell’ordine mondiale – afferma Yu di BrightEdge –. Siamo in un momento in cui tutto nella ricerca sta iniziando a cambiare con l’intelligenza artificiale“.

Otto mesi fa BrightEdge ha sviluppato un sistema che ha ribattezzato parser generativo, in grado di monitorare cosa succede quando gli utenti interagiscono con i risultati online generati dall’AI. L’azienda riferisce che nell’ultimo mese il parser ha rilevato che Google chiede meno frequentemente alle persone se vogliono una risposta generata dall’AI – come accadeva nella fase sperimentale delle ricerche basate sull’intelligenza artificiale generativa – ipotizzando più spesso che sia così .

Le modifiche a Google Search hanno anche importanti implicazioni per l’attività pubblicitaria dell’azienda, che rappresenta la maggior parte delle sue entrate. In una recente riunione con gli investitori sui risultati trimestrali della società, Pichai non ha voluto divulgare le entrate derivanti dagli esperimenti di Google con l’AI generativa. Ma come ha sottolineato Paresh Dave su Wired US, “Google potrebbe ritrovarsi con meno opportunità di mostrare annunci di ricerca se le persone passano meno tempo a fare ricerche aggiuntive e più raffinate”. Di conseguenza, le tipologie degli annunci mostrati da Google potrebbero vedersi costrette a evolvere insieme agli strumenti di AI generativa dell’azienda.

Google ha dichiarato che darà priorità al traffico verso i siti web, i creatori di contenuti e i commercianti anche durante la fase di implementazione delle novità, senza però spiegare come intende farlo.

Durante un incontro con la stampa prima dell’I/O è stato chiesto a Reid se Google ritiene che gli utenti continueranno a cliccare sui link anche in presenza dei riepiloghi AI. Nella sua risposta, la responsabile delle ricerche ha evidenziato che finora l’azienda ha osservato come con le novità le persone tendano “scavare più a fondo, iniziando con l’AI Overview per poi cliccare su altri siti web“. In passato, ha proseguito Reid, chi effettuava una ricerca doveva curiosare in giro prima di approdare a un sito che gli fornisse le informazioni desiderate, mentre ora Google assembla una risposta estrapolata da vari portali. Secondo la logica del colosso, questo favorirà l’esplorazione: “Le persone useranno la ricerca più spesso, e questo rappresenta un’ulteriore opportunità di incanalare traffico prezioso“, ha detto Reid.

È una visione rosea del futuro delle ricerche online, che presuppone che le risposte generate dall’intelligenza artificiale spingano le persone a dedicare più tempo all’approfondimento. Google Search, insomma, promette ancora di farci trovare le informazioni dal mondo a portata di mano. Ora però è meno chiaro chi davvero ci sia dietro.

Questo articolo è apparso originariamente su Wired US.

Categorie
Economia Tecnologia

Cosa sappiamo su Mai-1, il nuovo modello di AI di Microsoft

Author: Wired

Non solo gli investimenti in OpenAI: Microsoft starebbe lavorando a un proprio modello di intelligenza artificiale generativa, strutturato abbastanza per competere con quelli di Alphabet e della stessa società di San Francisco. La notizia, lanciata da The Information e rilanciata dall’agenzia Reuters, indica anche che a superivsionare il progetto, internamente denominato Mai-1, sarebbe il cofondatore di Google DeepMind ed ex amministratore delegato della startup Inflection AI Mustafa Suleyman, che il colosso di Redmond ha assunto recentemente.

Pur non essendo ancora noto lo scopo per il quale la società amministrata da Satya Nadella stia lavorando a un modello interno (e qualcosa in questo senso si potrebbe scoprire alla conferenza degli sviluppatori Build di fine maggio), secondo l’agenzia stampa britannica la certezza è che il nuovo modello sarà “molto più grande” dei precedenti open source a cui Microsoft aveva dato vita e quindi costerà di più, per esempio, del più piccolo Phi-3-mini lanciato ad aprile con l’obiettivo di attirare una base di clienti più ampia con opzioni convenienti.

Nella nuova tecnologia, il colosso di Redmond ha già investito finora miliardi di dollari. L’apporto dato a OpenAI ha per esempio permesso a quest’ultima di implementare il proprio prodotto di punta ChatGPT e di fargli assumere un ruolo di primo piano nel panorama globale del settore che riguarda la tecnologia del momento.

Per quanto riguarda i dettagli tecnici, Microsoft avrebbe dedicato al progetto Mai-1 un ampio cluster di server equipaggiato con le unità di elaborazione grafica di Nvidia, oltre a una grande quantità di dati utili a migliorare il modello. Quest’ultimo avrà circa 500 miliardi di parametri. Un numero decisamente inferiore al miliardo di miliardi di parametri di Gpt-4 di OpenAI, ma superiore ai 3,8 miliardi di parametri di Phi-3-mini. Oltre a Suleyman, scelto a marzo scorso, al progetto dovrebbero lavorare diversi ex dipendenti di Inflection AI. Ciononostante, il modello di Microsoft non sarà ripreso dal chatbot Pi o da altri realizzati dalla startup.