В голосовом чате БОЛТУН появилось шумоподавление на нейросети DPDFNet — оно включено в версии 0.0.67 для Windows и веба. Модель очищает звук на компьютере говорящего до кодирования в Opus: голос слышно на фоне гула, тихие начала фраз сохраняются лучше, а громкость каждого собеседника можно поправить отдельно.
Цепочка начинается с микрофона: браузерное эхоподавление настраивается отдельно, а встроенный шумодав браузера отключён, чтобы звук шёл только через DPDFNet. AudioWorklet приводит сигнал к моно на 16 кГц и нарезает его блоками по 20 мс, каждый блок обрабатывается в отдельном Worker на CPU моделью DPDFNet Baseline от Ceva через ONNX Runtime Web и WebAssembly. Код один и тот же для браузера и WebView2 в Windows.
При активации голосом система держит последние 240 мс обработанного звука: пока детектор ждёт усиления голоса, человек уже может начать слово, и этот кусок отправляется первым при открытии передачи. Обработанную речь кодируют в Opus через WebCodecs — моно, 16 кГц, целевые 32 кбит/с, — а Go-координатор раздаёт пакеты участникам комнаты по WebSocket.
У слушателя на каждый голос есть свой буфер и AudioWorklet: на старте накапливается 200 мс звука, при задержке пакета есть что проиграть, а при опустошении буфера звук плавно уводится в тишину и так же возвращается. На общем выходе компрессор прижимает пики, когда несколько собеседников говорят одновременно.
При проверке на речи с искусственным гулом вентилятора остаточный шум в паузе с DPDFNet оказался заметно тише, чем со штатной обработкой браузера; с разговорами за спиной результат зависел от примера. По пути нашли баг: в 35-секундном тесте с искусственной задержкой пропало около 215 мс звука, потому что таймер захвата подставлял тишину вместо опоздавших блоков; после отказа от таймера все отсчёты оказались на месте.
Перед выпуском в веб-клиенте и Windows EXE подали вместо микрофона один и тот же WAV и проверили по десять тихих начал в каждой сборке: ни один блок не потерялся и не продублировался. В вебе PTT удерживали полторы минуты, первые 30 секунд дополнительно грузили CPU — опустошений и переполнений буфера не прибавилось. На трёхминутном стенде задержка от захвата до выхода у слушателя составила около 297 мс, а с искусственными задержками доставки — 337 мс.
Шумоподавление уже можно включить в настройках звука в комнате БОЛТУНа с Windows или из браузера.