Разработчик под ником WollyMonjac создал компактную нейросеть Tiny 2.1, работающую на компьютерах эпохи DOS — вплоть до систем с процессорами Intel 486DX и Pentium. Модель вместе с необходимыми файлами помещается на обычную дискету объёмом 1,44 МБ, а для запуска ей требуется около 540 КБ свободной оперативной памяти.
Tiny 2.1 — не полноценная большая языковая модель, а небольшой трансформер для ответов на вопросы, написанный на Turbo C 2.0. Он насчитывает около 367 тысяч параметров, использует четыре слоя и хранит веса в 8-битном формате; сам набор весов занимает примерно 380 КБ.
Модель обучили примерно на 3500 фактах, каждый из которых включали в выборку в нескольких вариантах формулировки. Интерфейс выполнен в стиле старых DOS-приложений: окно для вопросов, история диалога и панель мониторинга нейросети, а ответы она может зачитывать синтезированным роботизированным голосом через встроенный динамик компьютера.
Разработчик предупреждает, что за пределами заложенных знаний Tiny 2.1 способна уверенно выдумывать ответы. В проект добавлена папка для дополнительного обучения, поэтому базу знаний можно расширять, а сама программа распространяется по лицензии MIT, разрешающей использовать, изменять и распространять код, в том числе в коммерческих целях.