Энтузиаст выложил патчи к llama.cpp, которые ускоряют генерацию текста моделью Qwen3.8-Flash-Next Gyro GGUF на одном процессоре и оперативной памяти, без видеокарты. Изменения опубликованы в виде запроса на слияние в GitLab.
Ускорение достигается не дообучением модели, а правками кода: в большинстве других проектов для этого применяют тюнинг модели или внешнюю видеокарту. Автор также опубликовал график, показывающий, как скорость генерации падает с ростом контекста.
Тесты и отладку на своём оборудовании проводила модель Opus: она несколько суток прогоняла замеры и пыталась оптимизировать код llama. По словам автора, его учётную запись в итоге заблокировали окончательно, даже после верификации и апелляции.
Автор просит читателей сообщать в комментариях характеристики своего железа и прирост скорости после применения патчей, а также назвать модели и инструменты, способные так же долго заниматься низкоуровневой работой на личном компьютере.