DeAI 여름에 오신 것을 환영합니다

2024년 11월, 저는 CoinFund 포트폴리오에 속한 다섯 명의 창립자들을 한자리에 모았습니다 라운드테이블 토론 AI 기술 스택 구현에 있어 탈중앙화 접근 방식을 취하는 것에 대해 논의합니다. 이 스택은 단순하지 않습니다: GPU 컴퓨팅 집합을 기반으로 시작하여, 탈중앙화 AI 학습 및 비용 효율적인 추론이라는 어려운 문제에 직면하며, 탈중앙화된 데이터 수집과 AI 소비자 제품 개발에 관한 질문을 제기합니다.

이번 논의에서 분명했던 점은 탈중앙화 AI(deAI) 창업자들이 단순히 AI를 Web3에 판매하는 것이 아니라, AI 자체의 첨단 기술을 발전시키고 있다는 사실입니다. 더욱이, 가까운 미래에 소매 투자자들이 최첨단 AI에 금융적으로 노출될 수 있는 최상의 방법은 공모주나 사모투자가 아니라 디지털 자산을 통해서일 것이라는 깨달음이 있었습니다. 혁신과 커져가는 금융 기회에 대해 영감을 받은 채 대화를 마치며, 저는 이 그룹에게 향후 몇 달간 엄청난 성장이 폭발할 것이며, 이를 ‘deAI 서머 2025’라고 부를 것이라고 전했습니다.

8개월 만에 마침내 도래했습니다.

우리는 이제 개념 검증 모델이 분산 네트워크 상에서 이미 사전 학습(pre-trained) 및 사후 학습(post-trained)된 세상에 살고 있습니다. 1,000억 개 매개변수 사전 학습 분산 네트워크에서의 훈련이 올해 시연될 예정입니다. 일부 기업들은 사후 학습(post-training)과 강화 학습을 활용하여 분산 네트워크에서 프론티어 인텔리전스 모델에 도달할 수 있다고 믿고 있습니다. Anthropic의 공동 창립자인 잭 클락(Jack Clark)조차도 분산 학습에 관한 글을 작성한 바 있습니다 그의 개인 블로그에서.

AI 개발은 변곡점에 도달해 있습니다. OpenAI, 마이크로소프트, 구글과 같은 대기업들이 소비자를 최우선 목표로 삼으면서, 더 많은 사용자들이 업무 흐름과 개인 생활에서 AI 도구를 활용하고 있습니다. 그러나 중앙 집중화된 기업들이 주도하는 만큼, 그 어느 때보다 더 많은 개인정보가 위험에 노출되고 있습니다. 이것이 바로 deAI가 Web3의 핵심 카테고리로 부상한 이유 중 하나이며, 모델이 구축되고 소유되는 방식을 근본적으로 변화시킬 잠재력을 지니고 있는 이유입니다.

에 따르면 데이터로 분석 플랫폼 Kaito에 따르면, 지난 12개월 동안 deAI는 암호화폐 전반에서 30% 이상의 관심을 차지해왔습니다. 분산 컴퓨팅 프로토콜, 에이전트 프레임워크, 분산형 마켓플레이스를 구축하는 기업들이 이 교차점에서 주도적인 역할을 하고 있습니다. 최첨단 AI 기술에 직접적으로 노출된 상장 주식이 거의 없고, 대부분의 개인 투자자들이 OpenAI나 Anthropic과 같은 최첨단 연구소의 비공개 투자 라운드에 접근할 수 없기 때문에, deAI 암호화폐 자산은 AI 기업에 대한 투자로서 매우 주목받는 자산군으로 부상하고 있습니다.

deAI를 둘러싼 많은 과대광고 속에서, CoinFund에서는 소음을 걸러내고 가장 영향력 있고 어려운 문제를 해결하는 팀이 누구인지 스스로 질문하는 데 주력해 왔습니다. 그 중 하나는 대규모 경쟁력 있는 모델을 분산 네트워크에서 훈련시키는 것이 가능한지에 관한 문제입니다.

매우 큰 모델의 학습은 고급 메모리 집약형 GPU와 빠른 통신 대역폭을 필요로 하는 것으로 보입니다. 학습 노드들은 지속적으로 전체 인터넷 크기의 여러 배에 이르는 처리량을 처리하고 있기 때문입니다. 역사적으로 이 분야의 개발자들은 이러한 대역폭 요구 사항을 낮추기 위해 엄청난 노력을 기울여 왔으나, 효과적인 접근 방식을 찾지 못했습니다.

예를 들어, 이전의 대역폭 압축 시도는 손실 압축으로 인해 모델이 수렴하지 못하면서 학습 과정을 중단시켰습니다. 모두가 학습 과정이 느린 인터넷 연결에서 일반 GPU 하드웨어로 수행될 수 있을 만큼 대역폭 요구량을 낮출 수 있는 실질적인 해결책이 없다고 생각했습니다. 따라서 대부분의 전문가들은 분산 학습이 실패한 길이라고 동의했습니다.

저희는 의견이 달랐습니다.

우리의 논제

CoinFund의 분산형 AI에 관한 논문 Web3 네트워크는 AI 모델이 크라우드소싱되어 훈련되고, 소유되며, 개방적이고 가치 있는 공공재로서 유지될 수 있도록 할 것입니다. 이러한 네트워크는 기록적인 컴퓨팅 자원을 집결시키고, AI의 최첨단 분야에서 경쟁하며, 대역폭 최적화, 오류 감지, 장애 허용, 분산, 지속 가능한 오픈소스 및 모델 샤딩과 같은 문제를 해결함으로써 AI 전반에 걸쳐 거대한 혁신을 창출할 것입니다.

또한, 이러한 네트워크들은 개방적이면서도 비즈니스 모델을 갖추게 될 것입니다. 예를 들어, 분산형 AI 모델은 안 네트워크와 사용자는 네트워크에 대한 추론 비용을 지불할 것입니다. 이러한 네트워크는 모델의 자금 조달 및 교육에 대해 보상하고 네트워크의 지분을 제공함으로써 사용자들을 인센티브화하고 정렬할 것입니다.

코인펀드(CoinFund)의 포트폴리오에는 와 같은 분산형 교육 기업들을 지원해왔습니다.젠신, 프라임 인텔리전트 및 플루랄리스. 이들 기업은 분산형 사전 학습 및 사후 학습 분야에서 놀라운 진전을 이루었습니다. GenSyn은 85,000명 이상의 참여자를 에 집계했습니다.Swarm RL 테스트넷. Prime Intellect는 를 훈련시켰습니다분산 컴퓨팅을 활용한 320억 매개변수 모델. 플루랄리스는 최근 를 출시했습니다획기적인 논문, 손실 없는 압축이 분산 네트워크에서 대규모 모델 사전 학습을 대규모로 가능하게 할 수 있음을 보여줍니다.

저희는 또한 데이터 관리 플랫폼을 지원했습니다 퍼를, 최근 기계학습에서의 인간 주석에 관한 논문을 발표한 바 있으며, 모델 미세 조정 플랫폼 베이글는 최근 제로 지식 파인튜닝에 관한 프레임워크를 발표했습니다. CoinFund의 포트폴리오 기업 Giza 최근에 데뷔했습니다 ARMA, 다양한 프로토콜에서 스테이블코인 수익률을 최적화하는 데 도움을 주며 DeFi 분야를 사로잡은 AI 에이전트입니다.

Web3와 AI가 교차하는 지점에는 풍부한 활동이 펼쳐지고 있으며, 창업자들이 향후 몇 개월간 제품 확장 방안을 모색함에 따라 주요 목표는 실제 고객을 유치하고 제품-시장 적합성을 달성하는 데 있어야 합니다. 추론(Inference)에 집중하는 기업들은 Web 2.0 시장에 경쟁력 있게 추론 서비스를 판매하며 수익을 창출해야 합니다. 초기 선도 AI 학습 네트워크는 고객을 집약하고 늘려나갈 것입니다.

2025년 말까지, 우리는 분산 방식으로 수천억 개 매개변수 모델이 등장할 것으로 예상합니다. 18개월 전만 해도 이는 불가능했을 것입니다! 이 길을 계속 걷는다면, 오픈 소스 AI 기업들이 언젠가 오늘날 기계 학습 분야를 주도하는 강자들을 뛰어넘을 수도 있습니다. 그렇지 않으면, 우리의 일상적인 디지털 경험은 미국 서해안에 위치한 소수의 기업 손에만 존재하게 될 것입니다.