Maligayang pagdating sa DeAI Summer

Noong Nobyembre ng 2024, pinagsama-sama ko ang limang tagapagtatag mula sa portfolio ng CoinFund para sa isang talakayan sa roundtable sa pagkuha ng isang desentralisadong diskarte sa pagpapatupad ng stack ng Technology ng AI. Ang stack na ito ay hindi mahalaga: nagsisimula ito sa isang pundasyon ng GPU compute aggregation, tumatakbo sa mahihirap na problema ng desentralisadong AI na pagsasanay at cost effective inference, at naglalabas ng mga tanong tungkol sa desentralisadong data acquisition at AI consumer product development.

Ang naging malinaw sa talakayang ito ay ang aming mga desentralisadong AI (deAI) founder ay hindi lamang nagbebenta ng AI sa Web3; isinusulong nila ang state-of-art ng AI mismo. Bukod dito, napagtanto ko na, sa NEAR hinaharap, ang pinakamahusay na mapagpipilian para sa mga retail investor na makakuha ng pinansiyal na pagkakalantad sa frontier AI ay hindi sa pamamagitan ng mga pampublikong stock o pribadong pagkakalagay – ngunit sa pamamagitan ng mga digital na asset. Iniwan ang pag-uusap na parang inspirasyon tungkol sa pagbabago at lumalaking pagkakataon sa pananalapi, sinabi ko sa grupo na makikita natin ang isang pagsabog ng paglago sa mga darating na buwan, na tinatawag itong "deAI Summer 2025."

Pagkalipas ng walong buwan, sa wakas ay narito na.

Nasa mundo na tayo ngayon kung saan ang mga proof-of-concept na modelo ay na-pre-trained na at post-trained sa mga desentralisadong network. Malamang na 100 bilyon ang parameter pre-training sa mga desentralisadong network ay ipapakita sa taong ito. Naniniwala ang ilang kumpanya na makakarating tayo sa isang frontier intelligence model sa mga desentralisadong network gamit ang post-training at reinforcement learning. Maging si Jack Clark, ang co-founder ng Anthropic, ay sumulat tungkol sa desentralisadong pagsasanay sa kanyang personal na blog.

Ang pagbuo ng AI ay nasa isang inflection point. Dahil ang mga malalaking kumpanya tulad ng OpenAI, Microsoft at Google ay naghahanap upang makuha ang consumer bilang isang nangungunang layunin sa linya, mas maraming mga gumagamit ang gumagamit ng mga tool ng AI sa kanilang mga daloy ng trabaho at personal na buhay. Ngunit sa mga sentralisadong korporasyon sa timon, mas maraming pribadong data ang nasa panganib kaysa dati. ONE ito sa mga dahilan kung bakit lumitaw ang deAI bilang pangunahing kategorya para sa Web3, at may potensyal na baguhin ang paraan ng pagbuo at pagmamay-ari ng mga modelo.

Ayon sa datos mula sa analytics platform na Kaito, sa nakalipas na 12 buwan, nakuha ng deAI ang mahigit 30% ng mindshare sa buong Crypto. Ang mga kumpanyang nagtatayo ng mga distributed compute protocol, agent framework, at desentralisadong marketplace ang nangingibabaw sa intersection na ito. Dahil kakaunti ang pampublikong equities na nakatuon sa direktang pagkakalantad sa Technology ng frontier AI – at karamihan sa mga retail investor ay walang access sa mga pribadong round ng frontier labs tulad ng OpenAI o Anthropic – ang mga deAI cryptoasset ay umuusbong bilang isang mataas na hinahangad na klase ng asset para sa mga pamumuhunan sa mga kumpanya ng AI.

Bagama't maraming hype ang nakapaligid sa deAI, sa CoinFund, nagtrabaho kami upang mabawasan ang ingay at tanungin ang aming sarili kung aling mga koponan ang nilulutas ang mga pinaka-epekto at pinakamahirap na problema. Kabilang sa mga iyon ay ang isyu kung posible bang magsanay ng malalaking, mapagkumpitensyang modelo sa mga desentralisadong network.

Ang pagsasanay sa napakalaking modelo ay tila nangangailangan ng mga high-end, mayaman sa memorya na mga GPU na may mabilis na bandwidth ng komunikasyon, dahil ang mga training node ay patuloy na nagpoproseso ng throughput na lumalampas sa maraming multiple ng laki ng buong internet. Sa kasaysayan, ang mga developer sa larangang ito ay gumawa ng napakalaking pagsisikap na babaan ang mga kinakailangan sa bandwidth na ito, ngunit hindi nakahanap ng isang epektibong diskarte.

Halimbawa, ang mga nakaraang pagtatangka sa pag-compress ng bandwidth na ito ay nadiskaril ang mga proseso ng pagsasanay, dahil ang pagkawala ng compression ay nagdulot ng mga modelo na hindi magtagpo. Ipinagpalagay ng lahat na walang praktikal na solusyon sa pagpapababa ng mga kinakailangan sa bandwidth hanggang sa puntong maaaring maganap ang isang proseso ng pagsasanay sa regular na hardware ng GPU sa mabagal na koneksyon sa internet. Alinsunod dito, karamihan sa mga eksperto ay sumang-ayon na ang desentralisadong pagsasanay ay isang dead end.

Hindi kami nagkasundo.

Ang thesis namin

ng CoinFund thesis sa desentralisadong AI ay na ang mga network ng Web3 ay magbibigay-daan sa mga modelo ng AI na maging mapagkukunan ng karamihan, sinanay, pagmamay-ari, at pinapanatili bilang bukas at mahalagang mga pampublikong kalakal. Ang mga network na ito ay magsasama-sama ng mga record na halaga ng compute, makikipagkumpitensya sa hangganan ng AI, at lilikha ng napakalaking innovation sa AI sa malawakang paglutas ng mga problema tulad ng bandwidth optimization, error detection, fault tolerance, distribution, sustainable open source at sharding ng mga modelo.

Bukod pa rito, ang mga network na ito - habang bukas - ay magkakaroon din ng mga modelo ng negosyo. Halimbawa, mabubuhay ang mga desentralisadong modelo ng AI sa babayaran ng network at mga user ang network para sa inference sa kanila. Ang mga network na ito ay magbibigay-insentibo at ihanay ang mga user sa pamamagitan ng pagbibigay ng bayad sa kanila para sa pagpopondo at mga modelo ng pagsasanay at pagbibigay sa kanila ng bahagi sa network.

Sa portfolio ng CoinFund, sinuportahan namin ang mga desentralisadong kumpanya ng pagsasanay tulad ng GenSyn, PRIME Intellect at Pluralis. Ang mga kumpanyang ito ay gumawa ng kamangha-manghang pag-unlad sa desentralisadong pre-training at post-training. Pinagsama-sama ng GenSyn ang mahigit 85,000 kalahok dito Swarm RL testnet. Sinanay ni PRIME Intellect a 32 bilyong modelo ng parameter na may distributed compute. Inilunsad kamakailan ang Pluralis isang landmark paper, na nagpapakita na ang lossless compression ay maaaring paganahin ang malakihang modelo ng pre-training sa mga desentralisadong network sa sukat.

Sinuportahan din namin ang platform ng pamamahala ng data Perle, na nag-publish kamakailan ng isang papel sa annotation ng tao sa machine learning, at modelo ng fine-tuning na platform Bagel kamakailang inilathala ang balangkas nito para sa zero knowledge fine-tuning. Ang portfolio ng kumpanya ng CoinFund Giza nag-debut kamakailan ARMA, isang ahente ng AI na nakakuha ng DeFi, sa pamamagitan ng pagtulong sa mga user na i-optimize ang kanilang stablecoin yield sa iba't ibang protocol.

Maraming aktibidad sa intersection ng Web3 at AI, at habang isinasaalang-alang ng mga founder kung paano nila pinalalaki ang kanilang mga produkto sa mga darating na buwan, ang pangunahing layunin ay dapat na mag-onboard ng mga tunay na customer at maabot ang product-market fit. Ang mga kumpanyang tumutuon sa hinuha ay dapat na nagbebenta ng hinuha nang mapagkumpitensya sa Web 2.0 at bumubuo ng kita. Ang mga early mover AI training network ay magsasama-sama at magdaragdag ng higit pang mga customer.

Sa pagtatapos ng 2025, inaasahan namin ang multi-daang bilyong modelo ng parameter sa isang desentralisadong paraan. Imposible iyan 18 buwan lang ang nakalipas! Kung magpapatuloy tayo sa landas na ito, ONE maabutan ng mga open-source na kumpanya ng AI ang mga nangingibabaw na manlalaro sa machine learning ngayon. Kung hindi, ang aming mga pang-araw-araw na digital na karanasan ay maaaring umiiral sa mga kamay ng ilang mga korporasyon sa West Coast ng United States.