Языковая модель TINY 2.1 заработала под DOS на Pentium и 486DX
Разработчик WollyMonjac представил открытый проект TINY 2.1 — a transformer for DOS. Это маленькая языковая модель на Turbo C 2.0, которая работает под DOS на старом Pentium или 486DX и умещается на одну дискету.
Модель содержит 367 000 параметров: 4 слоя и размерность 96. Ввод и вывод идут посимвольно, веса 8-битные с одним коэффициентом масштабирования для каждой строки, общий объём — 380 КБ. Для работы требуется около 540 КБ свободной основной памяти.
Модель обучена примерно на 3500 фактах, каждый из которых был представлен в различных формулировках. При выходе за рамки этих данных она уверенно «выдумывает» ответы.
Интерфейс полноэкранный, в стиле «неон», с динамическим отображением работы нейросети и «роботизированным» голосом через системный динамик (PC-speaker).