Доцент ТГУ выложил в открытый доступ восемь лекций по NLP
Доцент кафедры теоретических основ информатики ТГУ Михаил Пожидаев выложил в открытый доступ записи восьми лекций по обработке естественного языка (NLP), суммарно идущих около десяти часов. Курс пять лет строился вокруг трансформера — механизма, лежащего в основе современных языковых моделей.
Программа охватывает классические основы токенизации, стемминга и TF-IDF, векторные представления слов (Word2vec, FastText, ELMo, GloVe), рекуррентные сети, включая LSTM и GRU, механизм внимания и устройство трансформера с его разновидностями BERT и T5. Отдельные лекции посвящены GPT, агентным фреймворкам (harness) и оценке качества моделей — от теста Тьюринга и перплексии до проблемы галлюцинаций и бенчмарка Humanity’s Last Exam.
Записи можно слушать на сайте marigostra.ru или скачивать, они распространяются по лицензии CC BY-NC 4.0. Публикация согласована с директором Института прикладной математики и компьютерных наук ТГУ Дианой Даммер и проректором по науке, заведующим кафедрой теоретических основ информатики Александром Замятиным.
Автор рассчитывает улучшить курс с помощью обратной связи: замечания и предложения можно отправить по контактам, указанным на финальном слайде.
Акцент в курсе сделан на фундаментальных основах вычислительных процессов, а не на прикладных инструментах: harness разобран только на одном занятии.