Городская лента

Для русской TTS-озвучки в игре собрали проверку ударений до синтеза

· 5

Разработчик «Канала 15» — рации-компаньона для Euro Truck Simulator 2 с восемнадцатью выдуманными дальнобойщиками — описал, как борется с ошибками русских ударений в TTS-озвучке. Проект использует три движка: ElevenLabs (eleven_v3), gpt-audio через OpenRouter и локальный клон на XTTS; пул текстов — около четырёх тысяч реплик.

Все три движка, по его словам, уверенно ставят русские ударения не туда: ночное приветствие «гудни» читалось как «гУдни», ломались «йогУрты», «кОзел» и позывные вроде «михалЫч». Поэтому проверка ударений встроена перед синтезом: библиотека ruaccent 1.5.8.3 с моделью omograph turbo2 расставляет ударения по контексту и помечает ударную гласную знаком плюс.

Поверх библиотеки работает проектный словарь stress_dict.json на 41 слово: эталонное ударение, IPA-транскрипция, источник и отдельная форма для клона XTTS. Половина слов — клички, позывные и жаргон, которых нет в обычных словарях. Неподтверждённое срабатывание останавливает генерацию до траты символов, обойти проверку можно только явным флагом —stress-ok, и обход попадает в лог.

Словари произношения ElevenLabs на тарифе creator недоступны: endpoint отвечает HTTP 401. Модели Eleven v3 и v4 не поддерживают SSML, а упоминание IPA-транскрипции для v3 сопровождается оговоркой «not 100% consistent».

Рабочий обход для всех трёх движков — фонетическая подмена только в тексте, который уходит в синтез: ударную гласную удваивают, «гудни» превращается в «гуднии», «километр» — в «киломеетр». Отображаемые тексты, субтитры и хэши-сигнатуры не меняются, поэтому правка словаря не пересобирает весь эфир. Минус в том, что подмена меняет акустику слова, и у XTTS на длинных словах иногда слышно лёгкое «завывание» на удвоенной гласной.

Благодаря разделению текстов и сигнатур переозвучка стала точечной: пересинтезируются только нужные реплики, а расход символов считают до запуска. Качество проверяют через faster-whisper (small, CPU, int8) и сравнение с эталоном через difflib.SequenceMatcher: порог приёмки — 0.95, всё ниже 0.85 отправляют «послушать ухом». Слепая зона — реплики на других языках и ветки без Whisper: их проверяют только на слух.

Разработчик просит сообщество поделиться опытом: как заставить eleven_v3 стабильно произносить нетривиальные ударения, работает ли морфологическая разметка через pymorphy3 со словарём ударений, существует ли открытый словарь русских «ударенческих исключений» и масштабируется ли подмена для всех слов, где модель ошибается.