Открытый анлокер ускорил ИИ-вычисления на видеокартах Nvidia до 60%
Представлены открытые проекты GPU-unlock и GPU-unlock-ADA — анлокеры, снимающие ограничение производителя на выполнение матричных вычислений на видеокартах Nvidia серий RTX30xx и RTX40xx. Решение работает без изменения драйверов или прошивки и запускается до драйвера видеокарты.
Nvidia программно ограничивает скорость части матричных вычислений, которые используют нейросети. По мнению экспертов отрасли, в компании это делают намеренно, чтобы на игровых видеокартах нельзя было эффективно запускать и тренировать ИИ. Анлокеры снимают эти искусственные ограничения производительности.
Решение увеличивает мощность GPU в терафлопсах при тренировке и дообучении нейросетей, помогает тензорным ядрам в задачах вроде вычислений FP32 и BF16 и позволяет почти на 60% ускорить генерацию картинок и видео на локальных моделях. В генерации текстов с помощью LLM проекты почти не помогают, поскольку там большой упор идёт на пропускную способность памяти видеокарты, ОЗУ и процессора.
GPU-unlock основан на исследованиях по разблокировке прошивки видеокарт CMP, используемых в майнинге криптовалют. Тесты показывают прирост производительности до 60% в зависимости от модели видеокарты и типа нагрузки. Команда также работает над экспериментальной версией для Windows, которая использует UEFI вместо Linux-модуля.
Анлокеры не увеличивают пропускную способность видеопамяти и не разблокируют дополнительные CUDA-ядра, а доказательств влияния на игровые показатели нет. В текущей реализации проекты интересны пользователям RTX 30 и RTX 40, работающим с локальными ИИ-задачами и высокими вычислительными нагрузками.