Il modello di IA dell’università di Stanford è come ChatGPT ma open-source e con training da 600 dollari

Molte aziende come Google, Apple, Meta, Baidu e Amazon stanno investendo milioni di dollari per poter stare al passo di OpenAI e del suo partner Microsoft che con ChatGPT e l’integrazione in Bing puntano a rivoluzionare il modo con cui l’utente si interfaccia con le risorse informatiche. Ma, secondo i ricercatori dell’università di Stanford, un esborso così consistente non è strettamente necessario.

Hanno, infatti, strutturato un nuovo modello che si prefigge di raggiungere un’accuratezza paragonabile a quella di ChatGPT minimizzando, però, i costi. Per poter rendere funzionante un sistema di intelligenza artificiale come questo, infatti, bisogna spendere risorse e denaro per il suo addestramento: quest’ultimo, infatti, costituisce il loro principale vantaggio competitivo.

I modelli GPT sono riusciti a sbalordire tutti grazie all’enorme quantità di tempo che OpenAI ha dedicato al post-addestramento. Una cosa è aver letto un miliardo di libri, ma un’altra è aver analizzato grandi quantità di coppie formate da domande e risposte. Questo tipo di dati, infatti, permette all’IA di comprendere cosa le si sta chiedendo e di fornire risposte esaurienti.

L’università di Stanford ha cercato di individuare un modo per snellire il lavoro di training, utilizzando GPT-3.5 per fornire a LLaMA 7B i dati che servono per poter svolgere il proprio lavoro, ovvero la sufficiente quantità di coppie di domande e risposte. LLaMA 7B è il modello di linguaggio open source di Meta, il più piccolo ed economico tra i diversi modelli LLaMA disponibili che l’azienda di Facebook mette gratuitamente a disposizione per i progetti accademici.

Il team di Stanford è partito da GPT, chiedendo di prendere 175 coppie di input/output scritte dall’uomo e iniziare a generarne altre nello stesso stile e formato. Questo procedimento è stato automatizzato tramite una delle utily API fornite da OpenAI e, in breve tempo, il team ha così ottenuto circa 52.000 conversazioni. Quindi, questo set di conversazioni è stato dato in pasto a LLaMA 7B, un processo che ha richiesto circa tre ore di elaborazione tramite otto computer messi a disposizione via cloud. Si tratta di sistemi di tipo NVIDIA A100 con l’elaborazione che costa circa 100 dollari (mentre il lavoro di addestramento con le API di OpenAI è costato circa 500 dollari).

Infine, i ricercatori hanno testato il modello che hanno così ottenuto, che hanno chiamato Alpaca, in una varietà di attività tra cui la scrittura di e-mail, i social media e gli strumenti di produttività, e hanno confrontato i risultati con quelli ottenuti da GPT. Alpaca ha superato 90 di questi test, GPT ne ha superati 89.

Inoltre, vale la pena notare che chiunque desideri replicare un’intelligenza artificiale ora ha accesso a modelli ancora più complessi, come GPT-4, oltre che alla dotazione software e hardware per creare dei veri e propri rivali dei modelli di riferimento senza spendere molto. Gli stessi ricercatori dell’università di Stanford, infatti, sottolineano come sia possibile eliminare altre voci di costo, come quello per l’elaborazione tramite cloud computing. Il processo di formazione, secondo alcuni, potrebbe essere completato entro cinque ore utilizzando una singola scheda grafica NVIDIA GeForce RTX 4090.

La disponibilità di strumenti così potenti nelle mani di tutti potrebbe cambiare molte cose nella società rispetto a come la conosciamo oggi. Potrebbe dare ancora più spazio alla disinformazione, portando a un mondo ancora più confuso e difficile da interpretare.

Fonte: http://feeds.hwupgrade.it/