Bienvenido a DeAI Summer

En noviembre de 2024, reuní a cinco fundadores del portafolio de CoinFund para un mesa redonda sobre la adopción de un enfoque descentralizado para implementar la pila tecnológica de la IA. Esta pila no es trivial: comienza con una base de agregación de cómputo GPU, aborda los complejos problemas del entrenamiento descentralizado de IA y la inferencia rentable, y plantea preguntas sobre la adquisición descentralizada de datos y el desarrollo de productos de consumo de IA.

Lo que quedó claro en esta discusión fue que nuestros fundadores de IA descentralizada (deAI) no solo están vendiendo IA a Web3; están impulsando el estado del arte de la IA en sí misma. Además, se me ocurrió que, en un futuro cercano, la mejor apuesta para los inversores minoristas para obtener exposición financiera a la IA de vanguardia no será a través de acciones públicas ni colocaciones privadas, sino a través de activos digitales. Saliendo de la conversación sintiéndome inspirado por la innovación y la creciente oportunidad financiera, les dije al grupo que veríamos una explosión de crecimiento en los próximos meses, denominándolo “Verano de deAI 2025.”

Ocho meses después, finalmente ha llegado.

Ahora nos encontramos en un mundo donde los modelos de prueba de concepto ya han sido preentrenados y postentrenados en redes descentralizadas. Es muy probable que los 100 mil millones de parámetros pre-entrenamiento en redes descentralizadas se demostrará este año. Algunas empresas creen que podemos llegar a un modelo de inteligencia fronteriza en redes descentralizadas utilizando aprendizaje post-entrenamiento y aprendizaje por refuerzo. Incluso Jack Clark, cofundador de Anthropic, escribió sobre el entrenamiento descentralizado en su blog personal.

El desarrollo de la IA está en un punto de inflexión. A medida que grandes empresas como OpenAI, Microsoft y Google buscan captar al consumidor como objetivo principal, más usuarios están empleando herramientas de IA en sus flujos de trabajo y vidas personales. Pero con corporaciones centralizadas al mando, hay más datos privados en riesgo que nunca. Esta es una de las razones por las que el deAI ha surgido como una categoría clave para Web3, y tiene el potencial de cambiar fundamentalmente la forma en que se construyen y poseen los modelos.

Según a datos según la plataforma de análisis Kaito, en los últimos 12 meses, deAI ha capturado más del 30 % de la atención en el ámbito criptográfico. Las empresas que desarrollan protocolos de computación distribuida, marcos de agentes y mercados descentralizados están dominando esta intersección. Dado que existen pocas acciones públicas centradas en la exposición directa a tecnologías avanzadas de IA, y la mayoría de los inversores minoristas no tienen acceso a las rondas privadas de laboratorios de frontera como OpenAI o Anthropic, los criptoactivos de deAI están emergiendo como una clase de activo altamente demandada para inversiones en empresas de inteligencia artificial.

Aunque existe mucho entusiasmo en torno a deAI, en CoinFund hemos trabajado para filtrar el ruido y preguntarnos cuáles equipos están resolviendo los problemas más impactantes y difíciles. Entre ellos se encuentra la cuestión de si es posible entrenar modelos grandes y competitivos en redes descentralizadas.

El entrenamiento de modelos muy grandes parece requerir GPU de alta gama, con gran capacidad de memoria y un ancho de banda de comunicación rápido, ya que los nodos de entrenamiento procesan continuamente un rendimiento que supera muchas veces el tamaño de toda la internet. Históricamente, los desarrolladores en este campo han realizado esfuerzos tremendo para reducir estos requerimientos de ancho de banda, pero no han encontrado un enfoque efectivo.

Por ejemplo, los intentos anteriores de comprimir este ancho de banda han descarrilado los procesos de entrenamiento, ya que la compresión con pérdida hizo que los modelos no lograran converger. Todos asumieron que no existía una solución viable para reducir los requisitos de ancho de banda hasta el punto de que un proceso de entrenamiento pudiera llevarse a cabo en hardware GPU regular con conexiones a internet lentas. En consecuencia, la mayoría de los expertos coincidieron en que el entrenamiento descentralizado era un callejón sin salida.

No estuvimos de acuerdo.

Nuestra tesis

CoinFund’s tesis sobre IA descentralizada es que las redes Web3 permitirán que los modelos de IA sean desarrollados colaborativamente, entrenados, propiedad de la comunidad y mantenidos como bienes públicos abiertos y valiosos. Estas redes agruparán cantidades récord de capacidad de cómputo, competirán en la vanguardia de la IA y generarán una innovación masiva en IA de manera general al resolver problemas como la optimización del ancho de banda, la detección de errores, la tolerancia a fallos, la distribución, el código abierto sostenible y el fragmentado (sharding) de modelos.

Además, estas redes – aunque abiertas – también contarán con modelos de negocio. Por ejemplo, los modelos de IA descentralizada vivirán en la red y los usuarios pagarán a la red por la inferencia sobre ellos. Estas redes incentivarán y alinearán a los usuarios compensándolos por financiar y entrenar modelos y otorgándoles una participación en la red.

En la cartera de CoinFund, hemos respaldado empresas descentralizadas de capacitación como GenSyn, Prime Intellect y Pluralis. Estas empresas han logrado un progreso asombroso en el preentrenamiento y el postentrenamiento descentralizados. GenSyn ha reunido a más de 85,000 participantes en su Testnet Swarm RL. Prime Intellect ha entrenado a un Modelo de 32 mil millones de parámetros con computación distribuida. Pluralis lanzó recientemente un documento histórico, demostrando que la compresión sin pérdida puede permitir el preentrenamiento de modelos a gran escala en redes descentralizadas a gran escala.

También hemos respaldado la plataforma de gestión de datos Perle, que recientemente publicó un artículo sobre la anotación humana en el aprendizaje automático, y la plataforma de ajuste fino de modelos Bagel publicó recientemente su marco para el ajuste fino con conocimiento cero. La empresa del portafolio de CoinFund, Giza debutó recientemente ARMA, un agente de IA que ha cautivado a DeFi, ayudando a los usuarios a optimizar el rendimiento de sus stablecoins a través de diferentes protocolos.

Hay una abundancia de actividad en la intersección de Web3 y la IA, y a medida que los fundadores consideran cómo escalar sus productos en los próximos meses, el objetivo principal debería ser incorporar clientes reales y alcanzar el encaje producto-mercado. Las empresas que se enfocan en la inferencia deberían venderla de manera competitiva en Web 2.0 y generar ingresos. Las redes de entrenamiento de IA pioneras agregarán y sumarán más clientes.

Para finales de 2025, esperamos modelos con varios cientos de miles de millones de parámetros de manera descentralizada. ¡Eso habría sido imposible hace solo 18 meses! Si continuamos por este camino, las empresas de IA de código abierto podrían algún día superar a los actores dominantes en el aprendizaje automático de hoy. De lo contrario, nuestras experiencias digitales cotidianas podrían estar en manos de solo unas pocas corporaciones en la Costa Oeste de los Estados Unidos.