Проверка калибровки показала: predict_proba не равен вероятности
Метод predict_proba в scikit-learn возвращает числа от 0 до 1, которые суммируются в единицу, но они не обязаны совпадать с реальной частотой событий. ROC AUC оценивает только порядок объектов и не проверяет, насколько предсказанные значения похожи на фактические доли.
Для проверки использовали синтетический датасет на 60 000 строк с долей положительного класса около 11% и пять моделей из scikit-learn 1.9. Все они ранжировали прилично, но расхождение чисел с реальностью оказалось разным: у одной из моделей «вероятность 0,43» соответствовала событию в 6% случаев.
Простой тест калибровки занимает одну строку: среднее предсказанных вероятностей на тесте должно совпадать с долей положительного класса. Логистическая регрессия без весов дала среднее 0,109 при реальной доле 0,109, а с class_weight=»balanced» — 0,347.
Веса классов меняют задачу обучения: каждый положительный объект весит примерно в 8 раз больше отрицательного, и вероятности описывают воображаемый датасет. На взвешенной модели порог 0,3 отобрал 47% тестовой выборки, 9306 клиентов, с реальным оттоком 20%; ожидаемое число уходов по сумме вероятностей составило 6867 при реальных 2150.
Сдвиг можно убрать аналитически, умножив шансы модели на отношение реальных шансов к тем, под которые её обучали. После такой поправки среднее стало 0,103, оценка Бриера упала с 0,136 до 0,060, а порог 0,3 отобрал 1638 клиентов с реальным оттоком 71%.
Без весов модели ошибаются по-разному: у логистической регрессии, случайного леса и градиентного бустинга среди объектов с вероятностью 0,85–0,95 положительных было 98–99%, а у наивного Байеса — только 72%. Лес занижает уверенность, Байес завышает из-за учёта коррелированных признаков по нескольку раз.
Калибровка на отдельной выборке помогает и при завышении, и при занижении, при этом AUC почти не меняется. Для изотонической калибровки документация scikit-learn не советует использовать менее тысячи строк, на малых данных надёжнее method=»sigmoid». Для модели, которая используется только для ранжирования, калибровка ничего не даст.