Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У всій ціннісній ланці ШІ навчання моделей є найбільш ресурсомістким і має найвищий технічний поріг, що безпосередньо визначає межу можливостей моделі та реальний ефект її застосування. На відміну від легковагових викликів на етапі інференції, процес навчання вимагає постійних інвестицій у великомасштабні обчислення, складні процеси обробки даних та підтримки інтенсивних алгоритмів оптимізації, що є справжньою "важкою промисловістю" для побудови систем ШІ. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою на локальному високопродуктивному кластері, де весь процес навчання охоплює від апаратного забезпечення до базового програмного забезпечення, системи управління кластером, до всіх компонентів навчального фреймворку, які координуються єдиною системою контролю. Така глибоко скоординована архітектура забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми з монополією на дані, бар'єрами для ресурсів, споживанням енергії та ризиком єдиного пункту відмови.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одній машині. Незважаючи на те, що фізично він має "дистрибутивні" риси, загалом він все ще контролюється централізованими організаціями для управління та синхронізації, часто працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмашинної взаємодії NVLink, де головний вузол координує виконання підзавдань. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри спільні, потрібно узгодити ваги моделі
Модельне паралельне виконання: розміщення різних частин моделі на різних вузлах для досягнення високої масштабованості
Паралельне виконання: поетапне послідовне виконання, підвищення пропускної здатності
Тензорна паралельність: тонка сегментація матричних обчислень, підвищення паралельної гранулярності
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник віддалено керує співробітниками з кількох "офісів" для спільного виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізація навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання навчання без центрального координатора, зазвичай за допомогою протоколу для розподілу завдань і співпраці, а також за рахунок механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Складність гетерогенності пристроїв та розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, очевидне вузьке місце в синхронізації градієнтів
Відсутність надійного виконання: брак надійного середовища виконання, важко перевірити, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань, механізм відкату помилок є складними
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносить обчислювальну потужність для спільного тренування моделі, але "дійсно життєздатне великомасштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделі та інші аспекти, але питання "співпраці ефективно + стимулювання чесності + правильність результатів" все ще перебуває на етапі ранніх прототипів.
Федеративне навчання як перехідна форма між дистрибуцією та децентралізацією підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, що підходить для сцен, які акцентують увагу на дотриманні конфіденційності, таких як медицина, фінанси (. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, одночасно володіючи перевагами дистрибутивного навчання з точки зору розподілу даних, але все ще залежить від надійних координуючих сторін і не має повністю відкритих та антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" у сценах дотримання конфіденційності, у яких завдання навчання, структура довіри та комунікаційні механізми є відносно м'якими, що робить його більш придатним як перехідну архітектуру для промислового впровадження.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій досліджень])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких випадках, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або значні труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої пам'яті, невеликої затримки та високошвидкісної пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних і обмеженнями суверенітету підпадають під юридичні норми та етичні обмеження, тому їх не можна відкрито ділити; а завдання, що позбавлені основи для співпраці, відчувають брак зовнішніх мотиваторів для участі. Ці межі разом утворюють реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань з легким структурою, легким паралелізмом та можливістю стимулювання, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: LoRA доопрацювання, завдання після навчання з вирівнюванням поведінки ), такі як RLHF, DPO (, навчання та маркування даних за допомогою краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання, як правило, мають високу паралельність, низьку зв'язаність та здатність витримувати гетерогенну обчислювальну потужність, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
![Святий Грааль Crypto AI: Децентралізація тренування на передньому краї досліджень])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентралізація тренування класичних проектів аналіз
Наразі на передовій у сфері Децентралізації навчання та федеративного навчання, представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрямки теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io відносно ясні, вже можна побачити початкові інженерні досягнення. У цій статті буде послідовно проаналізовано основні технології та інженерні архітектури цих п'яти проектів, а також додатково розглянуто їх різниці та взаємодоповнювальні стосунки в системі децентралізованого AI навчання.
) Prime Intellect: перевіряється траєкторія навчання посиленого навчання в співпраці з мережами-попередниками
Prime Intellect прагне створити мережу навчання ШІ без необхідності довіри, яка дозволяє будь-кому брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити систему децентралізованого навчання ШІ з трьома основними модулями: PRIME-RL + TOPLOC + SHARDCAST, яка має верифікацію, відкритість та повноцінний механізм стимулювання.
01、Структура та ключова цінність модуля протоколу Prime Intellect
![Святий Грааль Crypto AI: Децентралізація тренувань на передовій досліджень]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02, Детальний аналіз ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура завдань розділеного асинхронного підкріплювального навчання
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний адаптаційний об'єкт, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань на місці та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового планування, що знижує складність системи та закладає основу для підтримки паралельного виконання багатьох завдань та еволюції стратегій.
#TOPLOC:Легка верифікація поведінки тренування
TOPLOC###Довірене спостереження та перевірка локальності(— це основний механізм перевірки навчання, запропонований Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання політики на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на перерахунок всієї моделі, а здійснює верифікацію легкоструктурованих даних, аналізуючи локальні послідовності узгодженості між "послідовністю спостережень ↔ оновленням політики". Вперше він перетворює поведінкові траєкторії верифікації під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу нагород за навчання без довіри, і надає здійсненний шлях для створення аудитованої, стимульованої децентралізованої мережі співпраці в навчанні.
#SHARDCAST: Асинхронна вагова агрегація та поширення протоколу
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим спеціально для реальних мережевих умов з асинхронною, обмеженою пропускною здатністю та змінним станом вузлів. Він поєднує механізм розповсюдження gossip та локальну синхронізацію, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах асинхронності, досягаючи прогресивної конвергенції ваг та еволюції декількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно покращує масштабованість та стійкість до помилок децентралізованого навчання, ставши основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є комунікаційним оптимізаційним фреймворком, незалежно реалізованим та відкритим від команди Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленим для вирішення таких викликів, як обмежена пропускна спроможність, гетерогенність пристроїв та нестабільність вузлів, що часто зустрічаються при децентралізованому навчанні. Його архітектура базується на паралелізмі даних, шляхом побудови розріджених топологічних структур, таких як Ring, Expander, Small-World, що дозволяє уникнути великих витрат на комунікацію, пов'язаних із глобальною синхронізацією, і для кооперативного навчання моделі достатньо покладатися лише на сусідні вузли. Поєднуючи асинхронні оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що суттєво підвищує можливість участі у глобальному кооперативному навчанні та є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
#PCCL:Бібліотека спільного зв'язку
PCCL)Prime Collective Communication Library( є легким комунікаційним бібліотекою, розробленою Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішення проблем адаптації традиційних комунікаційних бібліотек ), таких як NCCL та Gloo(, у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності тренувальної мережі та сумісність пристроїв, прокладаючи "останній крок" комунікаційної основи для створення справжньої відкритої, бездоверчої мережі спільного навчання.
)# 03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, що не потребує дозволу, є перевірною та має економічні стимули, що дозволяє кожному брати участь у завданнях та отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Тренувальний вузол: виконання локального навчання, подання оновлень ваг та спостережуваних траєкторій
Вузли верифікації: використання механізму TOPLOC для перевірки справжності навчальної поведінки та участь у розрахунку винагороди та агрегації стратегій
Ядро процесу угоди включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегування ваг ###SHARDCAST( та розподіл винагород, що складає інвестиційний замкнений цикл навколо "реальних навчальних дій".
![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
Prime Intellect випустив INTELLECT-2 у травні 2025 року, це перша у світі модель великого навчання з посилення, створена за допомогою асинхронних, бездоверчих децентралізованих вузлів. Розмір параметрів досягає 32B. Модель INTELLECT-2 складається з
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
16 лайків
Нагородити
16
3
Поділіться
Прокоментувати
0/400
NotFinancialAdvice
· 3год тому
Коли можна буде запустити установку для майнінгу в розподіленій мережі?
Переглянути оригіналвідповісти на0
NftPhilanthropist
· 16год тому
гм, насправді створення децентралізованого навчання - це просто proof-of-charity 2.0, якщо чесно
Переглянути оригіналвідповісти на0
SellTheBounce
· 16год тому
Знову бачимо бульбашку, стоячи на варті, обов'язково зазнаєш збитків
Децентралізація AI навчання: Prime Intellect створює асинхронну кооперативну мережу
Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У всій ціннісній ланці ШІ навчання моделей є найбільш ресурсомістким і має найвищий технічний поріг, що безпосередньо визначає межу можливостей моделі та реальний ефект її застосування. На відміну від легковагових викликів на етапі інференції, процес навчання вимагає постійних інвестицій у великомасштабні обчислення, складні процеси обробки даних та підтримки інтенсивних алгоритмів оптимізації, що є справжньою "важкою промисловістю" для побудови систем ШІ. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою на локальному високопродуктивному кластері, де весь процес навчання охоплює від апаратного забезпечення до базового програмного забезпечення, системи управління кластером, до всіх компонентів навчального фреймворку, які координуються єдиною системою контролю. Така глибоко скоординована архітектура забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми з монополією на дані, бар'єрами для ресурсів, споживанням енергії та ризиком єдиного пункту відмови.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одній машині. Незважаючи на те, що фізично він має "дистрибутивні" риси, загалом він все ще контролюється централізованими організаціями для управління та синхронізації, часто працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмашинної взаємодії NVLink, де головний вузол координує виконання підзавдань. Основні методи включають:
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник віддалено керує співробітниками з кількох "офісів" для спільного виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізація навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання навчання без центрального координатора, зазвичай за допомогою протоколу для розподілу завдань і співпраці, а також за рахунок механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносить обчислювальну потужність для спільного тренування моделі, але "дійсно життєздатне великомасштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделі та інші аспекти, але питання "співпраці ефективно + стимулювання чесності + правильність результатів" все ще перебуває на етапі ранніх прототипів.
Федеративне навчання як перехідна форма між дистрибуцією та децентралізацією підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, що підходить для сцен, які акцентують увагу на дотриманні конфіденційності, таких як медицина, фінанси (. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, одночасно володіючи перевагами дистрибутивного навчання з точки зору розподілу даних, але все ще залежить від надійних координуючих сторін і не має повністю відкритих та антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" у сценах дотримання конфіденційності, у яких завдання навчання, структура довіри та комунікаційні механізми є відносно м'якими, що робить його більш придатним як перехідну архітектуру для промислового впровадження.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій досліджень])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких випадках, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або значні труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої пам'яті, невеликої затримки та високошвидкісної пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних і обмеженнями суверенітету підпадають під юридичні норми та етичні обмеження, тому їх не можна відкрито ділити; а завдання, що позбавлені основи для співпраці, відчувають брак зовнішніх мотиваторів для участі. Ці межі разом утворюють реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань з легким структурою, легким паралелізмом та можливістю стимулювання, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: LoRA доопрацювання, завдання після навчання з вирівнюванням поведінки ), такі як RLHF, DPO (, навчання та маркування даних за допомогою краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання, як правило, мають високу паралельність, низьку зв'язаність та здатність витримувати гетерогенну обчислювальну потужність, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
![Святий Грааль Crypto AI: Децентралізація тренування на передньому краї досліджень])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентралізація тренування класичних проектів аналіз
Наразі на передовій у сфері Децентралізації навчання та федеративного навчання, представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрямки теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io відносно ясні, вже можна побачити початкові інженерні досягнення. У цій статті буде послідовно проаналізовано основні технології та інженерні архітектури цих п'яти проектів, а також додатково розглянуто їх різниці та взаємодоповнювальні стосунки в системі децентралізованого AI навчання.
) Prime Intellect: перевіряється траєкторія навчання посиленого навчання в співпраці з мережами-попередниками
Prime Intellect прагне створити мережу навчання ШІ без необхідності довіри, яка дозволяє будь-кому брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити систему децентралізованого навчання ШІ з трьома основними модулями: PRIME-RL + TOPLOC + SHARDCAST, яка має верифікацію, відкритість та повноцінний механізм стимулювання.
01、Структура та ключова цінність модуля протоколу Prime Intellect
![Святий Грааль Crypto AI: Децентралізація тренувань на передовій досліджень]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02, Детальний аналіз ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура завдань розділеного асинхронного підкріплювального навчання
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний адаптаційний об'єкт, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань на місці та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового планування, що знижує складність системи та закладає основу для підтримки паралельного виконання багатьох завдань та еволюції стратегій.
#TOPLOC:Легка верифікація поведінки тренування
TOPLOC###Довірене спостереження та перевірка локальності(— це основний механізм перевірки навчання, запропонований Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання політики на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на перерахунок всієї моделі, а здійснює верифікацію легкоструктурованих даних, аналізуючи локальні послідовності узгодженості між "послідовністю спостережень ↔ оновленням політики". Вперше він перетворює поведінкові траєкторії верифікації під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу нагород за навчання без довіри, і надає здійсненний шлях для створення аудитованої, стимульованої децентралізованої мережі співпраці в навчанні.
#SHARDCAST: Асинхронна вагова агрегація та поширення протоколу
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим спеціально для реальних мережевих умов з асинхронною, обмеженою пропускною здатністю та змінним станом вузлів. Він поєднує механізм розповсюдження gossip та локальну синхронізацію, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах асинхронності, досягаючи прогресивної конвергенції ваг та еволюції декількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно покращує масштабованість та стійкість до помилок децентралізованого навчання, ставши основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є комунікаційним оптимізаційним фреймворком, незалежно реалізованим та відкритим від команди Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленим для вирішення таких викликів, як обмежена пропускна спроможність, гетерогенність пристроїв та нестабільність вузлів, що часто зустрічаються при децентралізованому навчанні. Його архітектура базується на паралелізмі даних, шляхом побудови розріджених топологічних структур, таких як Ring, Expander, Small-World, що дозволяє уникнути великих витрат на комунікацію, пов'язаних із глобальною синхронізацією, і для кооперативного навчання моделі достатньо покладатися лише на сусідні вузли. Поєднуючи асинхронні оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що суттєво підвищує можливість участі у глобальному кооперативному навчанні та є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
#PCCL:Бібліотека спільного зв'язку
PCCL)Prime Collective Communication Library( є легким комунікаційним бібліотекою, розробленою Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішення проблем адаптації традиційних комунікаційних бібліотек ), таких як NCCL та Gloo(, у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності тренувальної мережі та сумісність пристроїв, прокладаючи "останній крок" комунікаційної основи для створення справжньої відкритої, бездоверчої мережі спільного навчання.
)# 03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, що не потребує дозволу, є перевірною та має економічні стимули, що дозволяє кожному брати участь у завданнях та отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегування ваг ###SHARDCAST( та розподіл винагород, що складає інвестиційний замкнений цикл навколо "реальних навчальних дій".
![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 04、INTELLECT-2:Перше перевірене децентралізоване навчальне моделювання.
Prime Intellect випустив INTELLECT-2 у травні 2025 року, це перша у світі модель великого навчання з посилення, створена за допомогою асинхронних, бездоверчих децентралізованих вузлів. Розмір параметрів досягає 32B. Модель INTELLECT-2 складається з