Ласкаво просимо на DeAI Summer

У листопаді 2024 року я зібрав п’ять засновників із портфелю CoinFund для круглий стіл щодо застосування децентралізованого підходу до реалізації технологічного стеку ШІ. Цей стек не є тривіальним: він починається з основи агрегації GPU обчислень, стикається з складними проблемами децентралізованого навчання ШІ та ефективного за вартістю висновку, а також порушує питання про децентралізоване отримання даних і розробку споживчих продуктів на основі ШІ.

Було ясно з цієї дискусії, що наші засновники децентралізованого штучного інтелекту (deAI) не просто продають ШІ для Web3; вони просувають самий передовий рівень розвитку ШІ. Більше того, мені стало зрозуміло, що в найближчому майбутньому найкращим вибором для роздрібних інвесторів, які прагнуть отримати фінансовий доступ до передового ШІ, будуть не публічні акції чи приватні розміщення, а цифрові активи. Покидаючи розмову натхненним інноваціями та зростаючими фінансовими можливостями, я сказав групі, що в найближчі місяці ми станемо свідками вибухового зростання, назвавши це «deAI Summer 2025».

Вісім місяців потому, це нарешті сталося.

Ми тепер живемо у світі, де моделі доказу концепції вже були попередньо натреновані та донавчені на децентралізованих мережах. Існує висока ймовірність, що моделям з 100 мільярдами параметрів попереднє навчання на децентралізованих мережах буде продемонстровано цього року. Деякі компанії вірять, що ми можемо досягти моделі прикордонного інтелекту на децентралізованих мережах за допомогою посттренування та підкріплювального навчання. Навіть Джек Кларк, співзасновник Anthropic, писав про децентралізоване тренування на його особистому блозі.

Розвиток штучного інтелекту перебуває на переломному етапі. У той час як великі компанії, такі як OpenAI, Microsoft та Google, прагнуть залучити споживачів як основну мету, дедалі більше користувачів використовують інструменти ШІ у своїх робочих процесах та особистому житті. Однак із централізованими корпораціями за кермом приватних даних під загрозою більше, ніж будь-коли раніше. Саме з цієї причини deAI стала ключовою категорією для Web3 і має потенціал фундаментально змінити спосіб створення та володіння моделями.

Відповідно до даних за даними аналітичної платформи Kaito, за останні 12 місяців deAI зайняв понад 30% уваги в криптоспільноті. Компанії, що розробляють протоколи розподілених обчислень, агентські платформи та децентралізовані маркетплейси, домінують на цьому перетині. Оскільки існує небагато публічних акцій, орієнтованих на прямий вплив передових технологій ШІ – і більшість роздрібних інвесторів не мають доступу до приватних раундів інвестицій у передові лабораторії, такі як OpenAI або Anthropic – криптоактиви deAI стають високо затребуваним класом активів для інвестицій у компанії, що займаються ШІ.

Хоча навколо deAI панує багато галасу, у CoinFund ми намагаємося відокремити головне від шуму та ставимо собі запитання, які команди розв’язують найважливіші та найскладніші проблеми. Однією з таких є питання, чи можливо навчати великі конкурентоспроможні моделі в децентралізованих мережах.

Навчання дуже великих моделей, схоже, вимагає висококласних, пам’яттєвоємних графічних процесорів із швидкою пропускною здатністю комунікацій, оскільки навчальні вузли постійно обробляють пропускну здатність, що перевищує у багато разів розмір усього інтернету. Історично в цій галузі розробники докладали значних зусиль для зменшення цих вимог до пропускної здатності, але не знайшли ефективного підходу.

Наприклад, попередні спроби стиснення цієї пропускної здатності призводили до зриву процесів навчання, оскільки втратне стиснення спричиняло неспроможність моделей до збіжності. Усі вважали, що не існує життєздатного рішення для зниження вимог до пропускної здатності настільки, щоб процес навчання міг відбуватися на звичайному GPU-обладнанні при повільних інтернет-з’єднаннях. Відповідно, більшість експертів погоджувалися, що децентралізоване навчання є безперспективним напрямком.

Ми не погоджувалися.

Наша теза

CoinFund’s теза про децентралізований штучний інтелект полягає в тому, що мережі Web3 дозволять AI-моделям створюватися шляхом колективного співробітництва, навчатися, належати та підтримуватися як відкриті та цінні громадські блага. Ці мережі агрегуватимуть рекордні обсяги обчислювальних ресурсів, конкуруватимуть на передовій штучного інтелекту та сприятимуть масштабним інноваціям у сфері AI загалом, вирішуючи такі проблеми, як оптимізація пропускної здатності, виявлення помилок, стійкість до збоїв, розподіл, сталий відкритий код та шардінг моделей.

Крім того, ці мережі – хоча й відкриті – також матимуть бізнес-моделі. Наприклад, децентралізовані AI-моделі існуватимуть в мережа та користувачі оплачуватимуть inference у мережі. Ці мережі стимулюватимуть та узгоджуватимуть інтереси користувачів, компенсуючи їм фінансування та навчання моделей, а також надаючи їм частку в мережі.

У портфелі CoinFund ми підтримали децентралізовані компанії з навчання, такі як GenSyn, Prime Intellect та Pluralis. Ці компанії досягли вражаючих успіхів у децентралізованому передтренуванні та післятренуванні. GenSyn залучила понад 85 000 учасників до свого Тестова мережа Swarm RL. Prime Intellect навчив 32-мільярдна модель параметрів із розподіленими обчисленнями. Pluralis нещодавно запустив важлива наукова праця, що демонструє, що безвтратне стиснення може забезпечити масштабне передтренування моделей у масштабі на децентралізованих мережах.

Ми також підтримали платформу управління даними Perle, яка нещодавно опублікувала статтю про людську анотацію у машинному навчанні, та платформа для доопрацювання моделей Бейґл нещодавно оприлюднила свою рамкову структуру для тонкого налаштування з нульовим розкриттям інформації. Портфельна компанія CoinFund Гіза нещодавно дебютував ARMA, агент штучного інтелекту, який захопив DeFi, допомагаючи користувачам оптимізувати прибутковість їх стабільних монет у різних протоколах.

Спостерігається велика активність на перетині Web3 та AI, і, коли засновники розглядають, як масштабувати свої продукти у найближчі місяці, головною метою має бути залучення реальних клієнтів та досягнення відповідності продукту й ринку. Компанії, що зосереджуються на інференції, повинні конкурентоспроможно продавати інференцію у Web 2.0 та генерувати доходи. Ранні мережі навчання AI нададуть додаткову цінність, збираючи та додаючи більше клієнтів.

До кінця 2025 року ми очікуємо моделі з параметрами у сотні мільярдів, що працюватимуть у децентралізований спосіб. Це було б неможливо ще 18 місяців тому! Якщо ми продовжимо цим шляхом, компанії з відкритим вихідним кодом у сфері штучного інтелекту можуть одного дня перевершити нинішніх домінуючих гравців у машинному навчанні. Якщо ж ні, наші повсякденні цифрові досвіди можуть опинитися у руках лише кількох корпорацій на Західному узбережжі Сполучених Штатів.