Benvenuti a DeAI Summer

Nel novembre 2024, ho riunito cinque fondatori del portafoglio di CoinFund per un discussione a tavola rotonda sull'adozione di un approccio decentralizzato per l'implementazione dello stack tecnologico dell'AI. Questo stack non è banale: inizia con una base di aggregazione della potenza di calcolo GPU, affronta le complesse problematiche dell'addestramento AI decentralizzato e dell'inferenza a basso costo, e solleva interrogativi riguardo all'acquisizione decentralizzata dei dati e allo sviluppo di prodotti di consumo AI.

Ciò che è emerso chiaramente da questa discussione è che i nostri fondatori di AI decentralizzata (deAI) non stanno semplicemente vendendo l’AI al Web3; stanno spingendo avanti lo stato dell’arte dell’AI stessa. Inoltre, mi è venuto in mente che, nel prossimo futuro, la migliore opzione per gli investitori al dettaglio per ottenere un’esposizione finanziaria all’AI di frontiera non sarà tramite azioni pubbliche o collocamenti privati, bensì attraverso asset digitali. Uscendo dalla conversazione con un senso di ispirazione per l’innovazione e l’opportunità finanziaria in crescita, ho detto al gruppo che assisteremo a un’esplosione di crescita nei mesi a venire, chiamandola “deAI Summer 2025.”

Otto mesi dopo, è finalmente arrivato.

Ci troviamo ora in un mondo in cui i modelli proof-of-concept sono già stati pre-addestrati e post-addestrati su reti decentralizzate. È molto probabile che 100 miliardi di parametri pre-addestramento sulle reti decentralizzate sarà dimostrato quest'anno. Alcune aziende ritengono che si possa arrivare a un modello di intelligenza di frontiera su reti decentralizzate utilizzando il post-addestramento e l'apprendimento per rinforzo. Perfino Jack Clark, co-fondatore di Anthropic, ha scritto riguardo all'addestramento decentralizzato nel suo blog personale.

Lo sviluppo dell'IA è a un punto di svolta. Mentre grandi aziende come OpenAI, Microsoft e Google puntano a conquistare il consumatore come obiettivo principale di fatturato, un numero sempre maggiore di utenti utilizza strumenti di IA nei propri flussi di lavoro e nella vita personale. Tuttavia, con società centralizzate al comando, vi è un rischio maggiore che mai per i dati privati. Questo è uno dei motivi per cui la deAI è emersa come categoria chiave per il Web3 e ha il potenziale di cambiare radicalmente il modo in cui i modelli vengono sviluppati e posseduti.

Secondo ai dati dalla piattaforma di analisi Kaito, negli ultimi 12 mesi, deAI ha catturato oltre il 30% della quota di attenzione nel settore crypto. Le aziende che sviluppano protocolli di calcolo distribuito, framework per agenti e mercati decentralizzati stanno dominando questa intersezione. Poiché ci sono poche azioni pubbliche focalizzate sull’esposizione diretta alla tecnologia IA all’avanguardia – e la maggior parte degli investitori retail non ha accesso ai round privati di laboratori all’avanguardia come OpenAI o Anthropic – gli asset crypto deAI stanno emergendo come una classe di asset altamente ricercata per gli investimenti nelle aziende di IA.

Sebbene ci sia molto clamore attorno a deAI, presso CoinFund abbiamo lavorato per fare chiarezza e chiederci quali team stiano risolvendo i problemi più impattanti e difficili. Tra questi vi è la questione se sia possibile addestrare modelli grandi e competitivi su reti decentralizzate.

L’addestramento di modelli di grandi dimensioni sembra richiedere GPU di fascia alta, con grande capacità di memoria e una banda di comunicazione veloce, poiché i nodi di addestramento elaborano continuamente un flusso di dati che supera molteplici volte la dimensione dell’intera internet. Storicamente, gli sviluppatori in questo campo hanno compiuto sforzi considerevoli per ridurre questi requisiti di banda, ma non hanno ancora trovato un approccio efficace.

Ad esempio, tentativi precedenti di comprimere questa larghezza di banda hanno compromesso i processi di addestramento, poiché la compressione lossy ha causato il mancato convergere dei modelli. Tutti presumevano che non esistesse una soluzione praticabile per ridurre i requisiti di larghezza di banda al punto da consentire un processo di addestramento su hardware GPU standard e connessioni internet lente. Di conseguenza, la maggior parte degli esperti concordava sul fatto che l'addestramento decentralizzato fosse una strada senza uscita.

Non eravamo d'accordo.

La nostra tesi

CoinFund’s tesi sull'AI decentralizzata è che le reti Web3 consentiranno ai modelli di intelligenza artificiale di essere crowd-sourced, addestrati, posseduti e mantenuti come beni pubblici aperti e di valore. Queste reti aggregano quantità record di capacità computazionale, competono all'avanguardia dell'IA e creano un'innovazione massiccia nell'IA in senso ampio risolvendo problemi come l'ottimizzazione della larghezza di banda, il rilevamento degli errori, la tolleranza ai guasti, la distribuzione, l'open source sostenibile e lo sharding dei modelli.

Inoltre, queste reti – pur essendo aperte – avranno anche modelli di business. Ad esempio, i modelli di intelligenza artificiale decentralizzati vivranno in la rete e gli utenti pagheranno la rete per l'inferenza su di essi. Queste reti incentiveranno e allineeranno gli utenti compensandoli per il finanziamento e l'addestramento dei modelli, offrendo loro una quota nella rete.

Nel portafoglio di CoinFund, abbiamo supportato aziende di formazione decentralizzata come GenSyn, Prime Intellect e Pluralis. Queste aziende hanno fatto progressi straordinari nel pre-addestramento e post-addestramento decentralizzato. GenSyn ha aggregato oltre 85.000 partecipanti al suo Testnet Swarm RL. Prime Intellect ha addestrato un modello con 32 miliardi di parametri e calcolo distribuito. Pluralis ha recentemente lanciato un documento fondamentale, dimostrando che la compressione senza perdita può consentire il pre-addestramento di modelli su larga scala su reti decentralizzate su larga scala.

Abbiamo anche supportato la piattaforma di gestione dei dati Perle, che ha recentemente pubblicato un documento sull'annotazione umana nel machine learning, e la piattaforma di affinamento dei modelli Bagel ha recentemente pubblicato il suo framework per il fine-tuning a conoscenza zero. La società in portafoglio di CoinFund Giza ha debuttato recentemente ARMA, un agente AI che ha catturato l’attenzione del DeFi, aiutando gli utenti a ottimizzare il rendimento delle loro stablecoin attraverso diversi protocolli.

C'è un'abbondanza di attività all'incrocio tra Web3 e AI, e mentre i fondatori considerano come scalare i loro prodotti nei prossimi mesi, l'obiettivo principale dovrebbe essere l'inserimento di clienti reali e il raggiungimento del product-market fit. Le aziende che si concentrano sull'inferenza dovrebbero vendere l'inferenza in modo competitivo nel Web 2.0 e generare ricavi. Le reti di addestramento AI early mover aggregano e aggiungono più clienti.

Entro la fine del 2025, prevediamo modelli con parametri di diverse centinaia di miliardi in modo decentralizzato. Questo sarebbe stato impossibile appena 18 mesi fa! Se continueremo su questa strada, un giorno le aziende di intelligenza artificiale open-source potrebbero superare i protagonisti dominanti nel machine learning di oggi. In caso contrario, le nostre esperienze digitali quotidiane potrebbero esistere nelle mani di poche corporazioni della Costa Ovest degli Stati Uniti.