Bem-vindo ao Verão DeAI

Em novembro de 2024, reuni cinco fundadores do portfólio da CoinFund para um discussão em mesa-redonda sobre a adoção de uma abordagem descentralizada para a implementação da pilha tecnológica da IA. Essa pilha não é trivial: começa com uma base de agregação de GPU para computação, enfrenta os difíceis desafios do treinamento descentralizado de IA e da inferência custo-efetiva, e levanta questões sobre a aquisição descentralizada de dados e o desenvolvimento de produtos de consumo de IA.

O que ficou claro a partir dessa discussão foi que nossos fundadores de IA descentralizada (deAI) não estão apenas vendendo IA para o Web3; eles estão impulsionando o estado da arte da própria IA. Além disso, percebi que, num futuro próximo, a melhor aposta para investidores de varejo obterem exposição financeira à IA de ponta não será por meio de ações públicas ou participações privadas – mas através de ativos digitais. Saindo da conversa inspirado pela inovação e pela crescente oportunidade financeira, disse ao grupo que veremos uma explosão de crescimento nos próximos meses, chamando isso de “Verão de deAI 2025.”

Oito meses depois, finalmente chegou.

Estamos agora em um mundo onde modelos de prova de conceito já foram pré-treinados e pós-treinados em redes descentralizadas. É muito provável que 100 bilhões de parâmetros pré-treinamento em redes descentralizadas será demonstrado este ano. Algumas empresas acreditam que podemos alcançar um modelo de inteligência de fronteira em redes descentralizadas utilizando pós-treinamento e aprendizado por reforço. Até Jack Clark, cofundador da Anthropic, escreveu sobre treinamento descentralizado em seu blog pessoal.

O desenvolvimento de IA está em um ponto de inflexão. À medida que grandes empresas como OpenAI, Microsoft e Google buscam capturar o consumidor como objetivo principal de receita, mais usuários estão empregando ferramentas de IA em seus fluxos de trabalho e vidas pessoais. Mas, com corporações centralizadas no comando, há mais dados privados em risco do que nunca. Essa é uma das razões pelas quais a deIA emergiu como uma categoria-chave para o Web3, com potencial para mudar fundamentalmente a forma como os modelos são construídos e possuídos.

De acordo até o momento da plataforma de análise Kaito, nos últimos 12 meses, a deAI conquistou mais de 30% da atenção no mercado cripto. Empresas que desenvolvem protocolos de computação distribuída, frameworks de agentes e marketplaces descentralizados estão dominando essa interseção. Como existem poucas ações públicas focadas em exposição direta à tecnologia de IA de ponta – e a maioria dos investidores de varejo não tem acesso às rodadas privadas de laboratórios de ponta como OpenAI ou Anthropic – os criptoativos de deAI estão emergindo como uma classe de ativos altamente buscada para investimentos em empresas de IA.

Embora haja muito hype em torno da deAI, na CoinFund, temos trabalhado para filtrar o ruído e nos perguntamos quais equipes estão resolvendo os problemas mais impactantes e difíceis. Entre eles está a questão de saber se é possível treinar modelos grandes e competitivos em redes descentralizadas.

O treinamento de modelos muito grandes parece exigir GPUs de alta performance e com grande capacidade de memória, além de largura de banda de comunicação rápida, pois os nós de treinamento processam continuamente uma taxa de transferência que excede muitas vezes o tamanho de toda a internet. Historicamente, desenvolvedores nesse campo têm feito esforços significativos para reduzir esses requisitos de largura de banda, mas ainda não encontraram uma abordagem eficaz.

Por exemplo, tentativas anteriores de compressão dessa largura de banda prejudicaram os processos de treinamento, pois a compressão com perda fez com que os modelos não convergissem. Todos presumiam que não existia uma solução viável para reduzir os requisitos de largura de banda a ponto de um processo de treinamento poder ocorrer em hardware GPU comum com conexões de internet lentas. Consequentemente, a maioria dos especialistas concordava que o treinamento descentralizado era um beco sem saída.

Nós discordamos.

Nossa tese

CoinFund’s tese sobre IA descentralizada é que as redes Web3 permitirão que modelos de IA sejam desenvolvidos por meio de colaboração coletiva, treinados, possuídos e mantidos como bens públicos abertos e valiosos. Essas redes irão agregar quantidades recordes de capacidade computacional, competir na vanguarda da IA e gerar uma inovação massiva em IA de forma ampla, resolvendo problemas como otimização de largura de banda, detecção de erros, tolerância a falhas, distribuição, código aberto sustentável e fragmentação de modelos.

Além disso, essas redes – embora sejam abertas – também terão modelos de negócios. Por exemplo, os modelos de IA descentralizada existirão em a rede e os usuários pagarão à rede pela inferência sobre eles. Essas redes irão incentivar e alinhar os usuários compensando-os pelo financiamento e treinamento dos modelos, além de conceder-lhes uma participação na rede.

No portfólio da CoinFund, apoiamos empresas de treinamento descentralizado como GenSyn, Prime Intellect e Pluralis. Essas empresas alcançaram progressos notáveis no pré-treinamento e pós-treinamento descentralizados. A GenSyn agregou mais de 85.000 participantes ao seu testnet Swarm RL. Prime Intellect treinou um Modelo de 32 bilhões de parâmetros com computação distribuída. A Pluralis lançou recentemente um artigo histórico, demonstrando que a compressão sem perdas pode viabilizar o pré-treinamento de modelos em grande escala em redes descentralizadas.

Também apoiamos a plataforma de gestão de dados Perle, que recentemente publicou um artigo sobre anotação humana em aprendizado de máquina, e plataforma de ajuste fino de modelos Bagel publicou recentemente seu framework para fine-tuning de conhecimento zero. A empresa do portfólio da CoinFund Giza recentemente estreou ARMA, um agente de IA que conquistou o DeFi, ajudando os usuários a otimizar seu rendimento em stablecoins através de diferentes protocolos.

Há uma abundância de atividade na interseção entre Web3 e IA, e à medida que os fundadores consideram como escalar seus produtos nos próximos meses, o principal objetivo deve ser a aquisição de clientes reais e a conquista do ajuste do produto ao mercado. Empresas focadas em inferência devem vender inferência de forma competitiva no Web 2.0 e gerar receita. Redes de treinamento de IA pioneiras agregarão e conquistarão mais clientes.

Até o final de 2025, esperamos modelos de múltiplos bilhões de parâmetros de forma descentralizada. Isso teria sido impossível há apenas 18 meses! Se continuarmos nesse caminho, empresas de IA de código aberto podem um dia ultrapassar os players dominantes em aprendizado de máquina atualmente. Caso contrário, nossas experiências digitais cotidianas podem estar nas mãos de apenas algumas corporações na Costa Oeste dos Estados Unidos.