Bienvenue à DeAI Summer

En novembre 2024, j’ai réuni cinq fondateurs issus du portefeuille de CoinFund pour un table ronde sur l’adoption d’une approche décentralisée pour la mise en œuvre de la pile technologique de l’IA. Cette pile n’est pas triviale : elle commence par une base d’agrégation de calcul GPU, rencontre les problèmes complexes de l'entraînement décentralisé de l’IA et de l'inférence rentable, et soulève des questions concernant l’acquisition décentralisée des données ainsi que le développement de produits grand public d’IA.

Ce qui était clair lors de cette discussion, c’est que nos fondateurs de l’IA décentralisée (deAI) ne se contentent pas de vendre l’IA au Web3 ; ils font progresser l’état de l’art de l’IA elle-même. De plus, il m’est apparu que, dans un avenir proche, le meilleur pari pour les investisseurs particuliers souhaitant une exposition financière à l’IA de pointe ne sera pas à travers des actions cotées en bourse ou des placements privés – mais via des actifs numériques. Sortant de cette conversation inspiré par l’innovation et l’opportunité financière croissante, j’ai annoncé au groupe que nous assisterions à une explosion de croissance dans les mois à venir, qualifiant cette période de « deAI Summer 2025. »

Huit mois plus tard, il est enfin arrivé.

Nous sommes désormais dans un monde où les modèles de preuve de concept ont déjà été pré-entraînés et post-entraînés sur des réseaux décentralisés. Il est très probable que des modèles à 100 milliards de paramètres pré-entraînement sur les réseaux décentralisés sera démontré cette année. Certaines entreprises estiment que nous pouvons atteindre un modèle d'intelligence de pointe sur les réseaux décentralisés en utilisant l'apprentissage post-entraînement et par renforcement. Même Jack Clark, co-fondateur d'Anthropic, a écrit à propos de la formation décentralisée sur son blog personnel.

Le développement de l’IA est à un point d’inflexion. Alors que de grandes entreprises telles qu’OpenAI, Microsoft et Google cherchent à capter le consommateur comme objectif principal, de plus en plus d’utilisateurs intègrent des outils d’IA dans leurs flux de travail et leur vie personnelle. Mais avec des entreprises centralisées aux commandes, les données privées sont plus que jamais en danger. C’est l’une des raisons pour lesquelles la déAI a émergé comme une catégorie clé pour le Web3, avec le potentiel de transformer fondamentalement la manière dont les modèles sont créés et possédés.

Selon aux données selon la plateforme d'analyse Kaito, au cours des 12 derniers mois, le deAI a capté plus de 30 % de l'attention dans l'univers de la cryptomonnaie. Les entreprises développant des protocoles de calcul distribué, des cadres d'agents et des places de marché décentralisées dominent cette intersection. Étant donné qu'il existe peu d'actions publiques offrant une exposition directe aux technologies de l'IA de pointe – et que la plupart des investisseurs particuliers n'ont pas accès aux tours privés des laboratoires de pointe tels qu'OpenAI ou Anthropic – les cryptoactifs de deAI émergent comme une classe d'actifs très recherchée pour les investissements dans les entreprises d'IA.

Alors que l’engouement autour de la deAI est important, chez CoinFund, nous nous sommes efforcés de faire le tri dans le bruit ambiant et de nous demander quelles équipes résolvent les problèmes les plus impactants et les plus difficiles. Parmi ceux-ci, figure la question de savoir s’il est possible de former des modèles volumineux et compétitifs sur des réseaux décentralisés.

La formation de très grands modèles semble nécessiter des GPU haut de gamme, riches en mémoire et dotés d’une bande passante de communication rapide, car les nœuds de formation traitent continuellement un débit qui dépasse de plusieurs fois la taille de l’ensemble d’Internet. Historiquement, les développeurs de ce domaine ont déployé d’immenses efforts pour réduire ces exigences en bande passante, sans toutefois trouver d’approche efficace.

Par exemple, les tentatives précédentes de compression de cette bande passante ont fait dérailler les processus d'entraînement, car la compression avec perte empêchait les modèles de converger. Tout le monde supposait qu'il n'existait pas de solution viable pour réduire les exigences en bande passante à un point tel qu'un processus d'entraînement puisse avoir lieu sur du matériel GPU classique avec des connexions Internet lentes. En conséquence, la plupart des experts convenaient que l'entraînement décentralisé était une impasse.

Nous étions en désaccord.

Notre thèse

CoinFund’s thèse sur l'IA décentralisée est que les réseaux Web3 permettront aux modèles d'IA d'être développés par la foule, entraînés, détenus et maintenus en tant que biens publics ouverts et précieux. Ces réseaux agrégeront des quantités record de puissance de calcul, rivaliseront à la pointe de l'IA et créeront une innovation massive dans le domaine de l'IA en général en résolvant des problèmes tels que l'optimisation de la bande passante, la détection d'erreurs, la tolérance aux pannes, la distribution, l'open source durable et le sharding des modèles.

De plus, ces réseaux – bien que ouverts – auront également des modèles commerciaux. Par exemple, les modèles d'IA décentralisés existeront dans le réseau et les utilisateurs paieront le réseau pour l'inférence sur ceux-ci. Ces réseaux inciteront et aligneront les utilisateurs en les compensant pour le financement et la formation des modèles et en leur donnant une part dans le réseau.

Dans le portefeuille de CoinFund, nous avons soutenu des entreprises de formation décentralisée telles que GenSyn, Prime Intellect et Pluralis. Ces entreprises ont réalisé des progrès remarquables dans la pré-formation et la post-formation décentralisées. GenSyn a rassemblé plus de 85 000 participants à son Testnet Swarm RL. Prime Intellect a formé un modèle à 32 milliards de paramètres avec calcul distribué. Pluralis a récemment lancé un article historique, démontrant que la compression sans perte peut permettre la pré-formation de modèles à grande échelle sur des réseaux décentralisés à grande échelle.

Nous avons également soutenu la plateforme de gestion des données Perle, qui a récemment publié un article sur l'annotation humaine dans l'apprentissage automatique, et la plateforme d'ajustement de modèles Bagel a récemment publié son cadre pour l'ajustement fin à connaissance zéro. La société du portefeuille de CoinFund Giza a récemment fait ses débuts ARMA, un agent IA qui a captivé la DeFi en aidant les utilisateurs à optimiser le rendement de leurs stablecoins à travers différents protocoles.

Il y a une abondance d’activité à l’intersection du Web3 et de l’IA, et alors que les fondateurs envisagent comment ils vont développer leurs produits dans les mois à venir, l’objectif principal devrait être d’intégrer de véritables clients et d’atteindre l’adéquation produit-marché. Les entreprises axées sur l’inférence devraient vendre l’inférence de manière compétitive dans le Web 2.0 et générer des revenus. Les réseaux de formation IA pionniers regrouperont et ajouteront davantage de clients.

D'ici la fin de 2025, nous prévoyons des modèles à plusieurs centaines de milliards de paramètres de manière décentralisée. Cela aurait été impossible il y a seulement 18 mois ! Si nous poursuivons sur cette voie, les entreprises d'IA open source pourraient un jour dépasser les acteurs dominants de l'apprentissage automatique d'aujourd'hui. Sinon, nos expériences numériques quotidiennes pourraient n'exister qu'entre les mains de quelques sociétés situées sur la côte Ouest des États-Unis.