Willkommen zum DeAI Summer

Im November 2024 habe ich fünf Gründer aus dem Portfolio von CoinFund für eine Rundtischgespräch zur Verfolgung eines dezentralisierten Ansatzes bei der Implementierung des Technologie-Stacks von KI. Dieser Stack ist nicht trivial: Er beginnt mit einer Grundlage der GPU-Compute-Aggregation, stößt auf die schwierigen Probleme dezentralisierter KI-Schulung und kosteneffektiver Inferenz und wirft Fragen zur dezentralisierten Datenerfassung sowie zur Entwicklung von KI-Verbraucherprodukten auf.

Was aus dieser Diskussion klar wurde, war, dass unsere Gründer im Bereich der dezentralen KI (deAI) nicht nur KI an Web3 verkaufen; sie treiben den Stand der Technik der KI selbst voran. Außerdem wurde mir bewusst, dass für Kleinanleger in naher Zukunft der beste Weg, um eine finanzielle Beteiligung an der Spitzentechnologie der KI zu erhalten, weder über öffentliche Aktien noch über Privatplatzierungen führen wird – sondern über digitale Vermögenswerte. Inspiriert von der Innovation und der wachsenden finanziellen Chance sagte ich der Gruppe, dass wir in den kommenden Monaten eine explosionsartige Wachstumsphase erleben werden, die ich „deAI Sommer 2025“ nannte.

Acht Monate später ist es endlich da.

Wir befinden uns nun in einer Welt, in der Proof-of-Concept-Modelle bereits auf dezentralen Netzwerken vortrainiert und nachtrainiert wurden. Es ist sehr wahrscheinlich, dass 100 Milliarden Parameter Vortraining auf dezentralen Netzwerken wird in diesem Jahr demonstriert werden. Einige Unternehmen sind der Ansicht, dass wir durch Nachtraining und Verstärkungslernen ein Frontier-Intelligenzmodell auf dezentralen Netzwerken erreichen können. Selbst Jack Clark, der Mitbegründer von Anthropic, schrieb über dezentrales Training auf seinem persönlichen Blog.

Die Entwicklung der KI befindet sich an einem Wendepunkt. Während große Unternehmen wie OpenAI, Microsoft und Google darauf abzielen, den Endverbraucher als Hauptziel zu gewinnen, setzen immer mehr Nutzer KI-Tools in ihren Arbeitsabläufen und im Privatleben ein. Doch mit zentralisierten Konzernen am Steuer sind mehr private Daten als je zuvor gefährdet. Dies ist einer der Gründe, warum deAI als Schlüsselbereich für Web3 entstanden ist und das Potenzial besitzt, die Art und Weise, wie Modelle entwickelt und besessen werden, grundlegend zu verändern.

Gemäß zu Daten Laut der Analyseplattform Kaito hat deAI in den vergangenen 12 Monaten über 30 % der Aufmerksamkeit im Kryptobereich auf sich gezogen. Unternehmen, die verteilte Rechenprotokolle, Agentenframeworks und dezentrale Marktplätze entwickeln, dominieren diese Schnittstelle. Da es nur wenige börsennotierte Aktien mit direktem Fokus auf Spitzentechnologien der KI gibt – und die meisten Privatanleger keinen Zugang zu den privaten Finanzierungsrunden von führenden Labors wie OpenAI oder Anthropic haben – entwickeln sich deAI-Kryptoassets zu einer stark gefragten Anlageklasse für Investitionen in KI-Unternehmen.

Während rund um deAI viel Hype herrscht, haben wir bei CoinFund versucht, den Lärm zu durchdringen und uns zu fragen, welche Teams die bedeutendsten und schwierigsten Probleme lösen. Dazu gehört auch die Frage, ob es möglich ist, große, wettbewerbsfähige Modelle auf dezentralen Netzwerken zu trainieren.

Das Training sehr großer Modelle scheint den Einsatz von High-End-GPUs mit großem Speicher und schneller Kommunikationsbandbreite zu erfordern, da die Trainingsknoten kontinuierlich einen Durchsatz verarbeiten, der ein Vielfaches der Größe des gesamten Internets übersteigt. Historisch gesehen haben Entwickler in diesem Bereich enorme Anstrengungen unternommen, um diese Bandbreitenanforderungen zu senken, jedoch ohne einen effektiven Ansatz zu finden.

Zum Beispiel haben frühere Versuche, diese Bandbreite zu komprimieren, Trainingsprozesse zum Scheitern gebracht, da verlustbehaftete Kompression dazu führte, dass Modelle nicht konvergierten. Jeder ging davon aus, dass es keine gangbare Lösung gibt, die Bandbreitenanforderungen so weit zu senken, dass ein Trainingsprozess auf herkömmlicher GPU-Hardware bei langsamen Internetverbindungen durchgeführt werden kann. Dementsprechend waren sich die meisten Experten einig, dass dezentralisiertes Training ein Sackgasse ist.

Wir waren anderer Meinung.

Unsere These

CoinFund’s These zur dezentralisierten KI besteht darin, dass Web3-Netzwerke es ermöglichen werden, KI-Modelle durch die Gemeinschaft zu erstellen, zu trainieren, zu besitzen und als offene sowie wertvolle öffentliche Güter zu pflegen. Diese Netzwerke werden enorme Rechenkapazitäten bündeln, an der Spitze der KI-Forschung konkurrieren und durch die Lösung von Problemen wie Bandbreitenoptimierung, Fehlererkennung, Fehlertoleranz, Verteilung, nachhaltigem Open Source und Sharding von Modellen weitreichende Innovationen im Bereich der KI schaffen.

Zusätzlich werden diese Netzwerke – obwohl offen – auch Geschäftsmodelle besitzen. Zum Beispiel werden dezentrale KI-Modelle leben.in Das Netzwerk und die Nutzer werden für die Inferenz auf ihnen an das Netzwerk zahlen. Diese Netzwerke werden die Nutzer durch Vergütung für Finanzierung und Training von Modellen sowie durch die Beteiligung am Netzwerk incentivieren und ausrichten.

Im Portfolio von CoinFund haben wir dezentrale Schulungsunternehmen wie unterstütztGenSyn, Prime Intellect und Pluralis. Diese Unternehmen haben bemerkenswerte Fortschritte im Bereich des dezentralen Pre-Trainings und Post-Trainings erzielt. GenSyn hat über 85.000 Teilnehmer auf seiner versammelt.Swarm RL Testnetz. Prime Intellect hat einen trainiert32-Milliarden-Parameter-Modell mit verteiltem Computing. Pluralis wurde kürzlich gestartet ein wegweisendes Papier, was zeigt, dass verlustfreie Kompression ein groß angelegtes Modellvortraining in dezentralen Netzwerken im großen Maßstab ermöglichen kann.

Wir haben auch die Datenverwaltungsplattform unterstütztPerle, das kürzlich eine Studie zur menschlichen Annotation im maschinellen Lernen veröffentlicht hat, und die Plattform zur Modell-Feinabstimmung Bagel„ hat kürzlich seinen Rahmen für Zero-Knowledge-Feinabstimmung veröffentlicht. Das Portfoliounternehmen von CoinFund, “Giza hat kürzlich debütiertARMA, ein KI-Agent, der die DeFi-Welt begeistert, indem er Nutzern hilft, ihre Stablecoin-Rendite über verschiedene Protokolle hinweg zu optimieren.

An der Schnittstelle von Web3 und KI herrscht eine Fülle an Aktivitäten, und da Gründer berücksichtigen, wie sie ihre Produkte in den kommenden Monaten skalieren, sollte das Hauptziel darin bestehen, echte Kunden zu gewinnen und die Produkt-Markt-Passung zu erreichen. Unternehmen, die sich auf Inferenz konzentrieren, sollten Inferenz wettbewerbsfähig im Web 2.0 verkaufen und Einnahmen generieren. Frühere KI-Trainingsnetzwerke werden sich bündeln und mehr Kunden hinzufügen.

Bis Ende 2025 erwarten wir mehr als mehrere hundert Milliarden Parameter umfassende Modelle in dezentraler Form. Das wäre vor nur 18 Monaten noch unmöglich gewesen! Wenn wir diesen Weg weiterverfolgen, könnten Open-Source-KI-Unternehmen eines Tages die heute dominierenden Akteure im Bereich des maschinellen Lernens überholen. Andernfalls könnten unsere alltäglichen digitalen Erlebnisse in den Händen von nur wenigen Unternehmen an der Westküste der Vereinigten Staaten liegen.