Welkom bij DeAI Summer

In november 2024 bracht ik vijf oprichters uit de portefeuille van CoinFund samen voor een rondetafelgesprek over het nemen van een gedecentraliseerde benadering voor het implementeren van de technologische stack van AI. Deze stack is niet eenvoudig: het begint met een fundament van GPU-computaggregatie, loopt tegen de moeilijke problemen van gedecentraliseerde AI-training en kosteneffectieve inferentie aan, en roept vragen op over gedecentraliseerde data-acquisitie en de ontwikkeling van AI-consumentenproducten.

Wat uit deze discussie duidelijk naar voren kwam, is dat onze gedecentraliseerde AI (deAI) oprichters niet alleen AI aan Web3 verkopen; zij drijven de technologie van AI zelf vooruit. Bovendien realiseerde ik me dat, in de nabije toekomst, de beste optie voor particuliere beleggers om financiële blootstelling aan grensverleggende AI te krijgen, niet via publieke aandelen of private plaatsingen zal verlopen – maar via digitale activa. Geïnspireerd door de innovatie en de groeiende financiële kansen verliet ik het gesprek met de mededeling aan de groep dat we in de komende maanden een explosie van groei zullen zien, die ik benoemde als “deAI Summer 2025.”

Acht maanden later is het eindelijk hier.

We bevinden ons nu in een wereld waarin proof-of-concept modellen al zijn voorgetraind en natraining hebben ondergaan op gedecentraliseerde netwerken. Het is zeer waarschijnlijk dat 100 miljard parameters voortraining op gedecentraliseerde netwerken zal dit jaar worden gedemonstreerd. Sommige bedrijven zijn van mening dat we een grensintelligentiemodel op gedecentraliseerde netwerken kunnen bereiken met behulp van post-training en versterkend leren. Zelfs Jack Clark, mede-oprichter van Anthropic, schreef over gedecentraliseerde training op zijn persoonlijke blog.

De ontwikkeling van AI bevindt zich op een keerpunt. Terwijl grote bedrijven zoals OpenAI, Microsoft en Google erop gericht zijn de consument als belangrijkste doel te bereiken, gebruiken steeds meer gebruikers AI-tools in hun workflows en persoonlijke leven. Maar met gecentraliseerde bedrijven aan het roer, staat er meer privégegevens op het spel dan ooit tevoren. Dit is een van de redenen waarom deAI is opgezet als een belangrijke categorie voor Web3, met het potentieel om de manier waarop modellen worden gebouwd en beheerd fundamenteel te veranderen.

Volgens naar gegevens van het analyseplatform Kaito heeft de afgelopen 12 maanden de deAI meer dan 30% van de mindshare binnen crypto doen opeisen. Bedrijven die gedistribueerde compute-protocollen, agent-frameworks en gedecentraliseerde marktplaatsen bouwen, domineren deze kruising. Omdat er weinig beursgenoteerde aandelen zijn die zich richten op directe blootstelling aan grensverleggende AI-technologie – en de meeste particuliere beleggers geen toegang hebben tot de private rondes van frontier labs zoals OpenAI of Anthropic – komen deAI crypto-activa naar voren als een zeer gewilde activaklasse voor investeringen in AI-bedrijven.

Hoewel er veel hype is rondom deAI, hebben wij bij CoinFund geprobeerd door de ruis heen te breken en onszelf af te vragen welke teams de meest impactvolle en meest complexe problemen oplossen. Een van die kwesties is de vraag of het mogelijk is om grote, concurrerende modellen te trainen op gedecentraliseerde netwerken.

Het trainen van zeer grote modellen lijkt hoge kwaliteits-GPU's met veel geheugen en een snelle communicatiefrequentie te vereisen, aangezien trainingsknopen voortdurend een doorvoersnelheid verwerken die vele malen groter is dan de omvang van het gehele internet. Historisch gezien hebben ontwikkelaars op dit gebied enorme inspanningen geleverd om deze bandbreedtevereisten te verlagen, maar hebben zij geen effectieve aanpak gevonden.

Bijvoorbeeld, eerdere pogingen om deze bandbreedte te comprimeren hebben trainingsprocessen verstoord, aangezien verliesgevende compressie ertoe leidde dat modellen niet convergeren. Iedereen ging ervan uit dat er geen haalbare oplossing bestond om de bandbreedtevereisten te verlagen tot een punt waarop een trainingsproces kon plaatsvinden op reguliere GPU-hardware bij trage internetverbindingen. Dienovereenkomstig waren de meeste experts het erover eens dat gedecentraliseerde training een doodlopende weg was.

We waren het oneens.

Onze these

CoinFund’s these over gedecentraliseerde AI is dat Web3-netwerken AI-modellen in staat zullen stellen om via crowdfunding te worden ontwikkeld, getraind, beheerd en als open en waardevolle publieke goederen te worden eigendom. Deze netwerken zullen enorme hoeveelheden rekenkracht bundelen, concurreren aan de voorhoede van AI, en aanzienlijke innovatie in AI in het algemeen creëren door problemen op te lossen zoals bandbreedte-optimalisatie, foutdetectie, fouttolerantie, distributie, duurzame open source en het sharden van modellen.

Daarnaast zullen deze netwerken – hoewel open – ook bedrijfsmodellen hebben. Bijvoorbeeld, gedecentraliseerde AI-modellen zullen bestaan in het netwerk en gebruikers zullen het netwerk betalen voor inferentie daarop. Deze netwerken zullen gebruikers stimuleren en afstemmen door hen te compenseren voor het financieren en trainen van modellen en hen een aandeel in het netwerk te geven.

In het portfolio van CoinFund hebben we gedecentraliseerde trainingsbedrijven zoals gesteundGenSyn, Prime Intellect en Pluralis. Deze bedrijven hebben verbluffende vooruitgang geboekt in gedecentraliseerde pre-training en post-training. GenSyn heeft meer dan 85.000 deelnemers verzameld voor zijn Swarm RL testnet. Prime Intellect heeft een getraind32 miljard parameter model met gedistribueerde computing. Pluralis heeft recentelijk gelanceerdeen baanbrekend artikel, blijkt dat verliesvrije compressie grootschalige modelvoortraining op gedecentraliseerde netwerken op schaal mogelijk kan maken.

We hebben ook het datamanagementplatform gesteundPerle, dat onlangs een paper publiceerde over menselijke annotatie in machine learning, en model fine-tuning platform Bagel heeft recentelijk haar raamwerk voor zero knowledge fine-tuning gepubliceerd. CoinFund’s portefeuillebedrijf Giza heeft onlangs zijn debuut gemaakt ARMA, een AI-agent die DeFi heeft geboeid door gebruikers te helpen hun stablecoin-rendement te optimaliseren over verschillende protocollen.

Er is een overvloed aan activiteit op het snijvlak van Web3 en AI, en terwijl oprichters overwegen hoe zij hun producten in de komende maanden opschalen, moet het belangrijkste doel het onboarden van echte klanten en het bereiken van product-market fit zijn. Bedrijven die zich richten op inferentie, zouden inferentie concurrerend moeten verkopen binnen Web 2.0 en omzet genereren. Vroege AI-trainingsnetwerken zullen meer klanten aantrekken en verzamelen.

Aan het einde van 2025 verwachten we modellen met meerdere honderden miljarden parameters op een gedecentraliseerde wijze. Dat zou nog maar 18 maanden geleden onmogelijk zijn geweest! Als we deze weg blijven volgen, kunnen open-source AI-bedrijven op een dag de dominante spelers in machine learning van vandaag voorbijstreven. Zo niet, dan kunnen onze alledaagse digitale ervaringen zich in de handen bevinden van slechts enkele bedrijven aan de westkust van de Verenigde Staten.