Microsoft протестировала запуск ИИ на нескольких ПК через USB4
Microsoft выпустила предварительную версию технологии RDMA поверх USB4. Она объединяет несколько компьютеров на Windows в одну систему для запуска локальных моделей ИИ, которые не помещаются в память одного устройства.
Технология складывает оперативную память и вычислительные ресурсы GPU всех подключённых компьютеров, а соединить их можно обычными кабелями USB4. RDMA даёт компьютерам прямой доступ к памяти друг друга в обход центрального процессора, что снижает задержки и избавляет от дорогого сетевого оборудования. Для работы используется давно встроенный в Windows интерфейс NetworkDirect.
По данным Microsoft, при обмене данными между двумя ПК задержка для небольших сообщений снизилась до 28–50 микросекунд — примерно вчетверо меньше, чем у Ethernet через то же USB4-соединение. Низкая задержка сохраняется при пропускной способности и 40, и 80 Гбит/с.
AMD испытала кластер из трёх мини-ПК на процессорах Ryzen AI Max с графикой Radeon 8060S и 128 ГБ объединённой памяти. Через USB4 на 40 Гбит/с они запустили модель Qwen3-235B-A22B со скоростью около 18,5 токена в секунду при 4-битном квантовании; отдельные замеры показали 21,98 токена в секунду при декодировании и 117,98 токена в секунду при обработке промптов.
Intel проверила модель GPT-OSS-120B на кластерах из трёх и четырёх ПК с процессорами Core Ultra Series 3 и по 64 ГБ памяти. Три компьютера выдали около 49 токенов в секунду, четыре — примерно 54, хотя модель со 120 млрд параметров не помещается в память одной такой системы. Microsoft рекомендует соединять устройства по топологии «полносвязная сеть», а не последовательно, поскольку последовательное соединение заметно снижает производительность.
Функция появится в канале Windows Insider Experimental Channel в разделе Future Platforms. По умолчанию она отключена: для активации нужно изменить реестр и включить режим тестовой подписи, что требует временно отключить Secure Boot. Microsoft работает с AMD, Intel и сообществом открытого ПО, чтобы расширить поддержку технологии на большем числе ПК.