ROC-AUC, ROC-CURVE, ROC-КРИВАЯ | МЕТРИКИ КЛАССИФИКАЦИИ

Поддержать канал можно по ссылке https://www.donationalerts.com/r/machine_learrrning или можно оформить подписку на https://boosty.to/machine_learrrning Курсы на платформе Stepik: 1. Библиотеки Python для Data Science https://stepik.org/a/129105 2. Введение в нейронные сети (Keras/Tensorflow) https://stepik.org/a/127274 Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео посмотрим, что из себя представляет ROC-кривая и метрика ROC-auc. Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео https://youtu.be/m7P7bnLxIc4 Ноутбук из видео: https://colab.research.google.com/drive/1pHRY9-c33maErxUby3U5dqBciVEnUhaB Остальные метрики классификации: 1. Accuracy - https://youtu.be/CCH-1gJo_z0 2. Precision. Recall. Confusion Matrix - https://youtu.be/AfnBHL832Eg 3. F-score - https://youtu.be/PeE3Fkt5W3Q 4. Micro, Macro, Weighted усреднения - https://youtu.be/i1G5F2jOspE 5. PR-AUC, PR-curve - https://youtu.be/QW-09jHQH-w 0:00 Ранее пройденные метрики 0:21 Датасет на сегодня 1:05 Обучение модели 1:10 Предсказания модели классификации 1:13 Метод predict для предсказания метки класса 1:21 Метод predict_proba для предсказания вероятностей по классам 2:13 Отсечка для вероятности (threshold) 3:01 Визуализация предсказанной вероятности быть первым классом 3:28 Визуализация отсечки 0.5 4:09 Матрица ошибок для отсечки 0.5 4:18 Расчет метрики ROC-curve (ROC-AUC) 4:42 TPR (True Positive Rate) 5:03 FPR (False Positive Rate) 5:27 Подсчет TPR и FPR через матрицу ошибок 5:43 Изменения отсечки по вероятности до 0.6 для уменьшения FPR 6:09 Матрица ошибок для отсечки 0.6 6:20 Изменения отсечки по вероятности до 0 для увеличения TPR 6:44 Матрица ошибок для отсечки 0 6:52 Резюме изменения отсечки по вероятности 6:59 Общие сведения о ROC-кривой (ROC-curve) 7:49 Подсчет ROC-кривой 8:03 Идеальная отсечка для бинарной классификации 8:28 Первая точка ROC-кривой. Отсечка по вероятности равна 1 8:50 Визуализация предсказаний с отсечкой 1 9:13 Первая точка на ROC-кривой 9:25 Вторая точка ROC-кривой. Отсечка по вероятности равна 0.84 9:59 Визуализация предсказаний с отсечкой 0.84 10:12 Вторая точка на ROC-кривой 10:18 Третья точка ROC-кривой. Отсечка по вероятности равна 0.54 10:32 Визуализация предсказаний с отсечкой 0.54 11:11 Третья точка на ROC-кривой 11:19 Четвертая точка ROC-кривой. Отсечка по вероятности равна 0 11:35 Визуализация предсказаний с отсечкой 0 12:04 Четвертая точка на ROC-кривой 12:12 Построение ROC-кривой через sklearn 12:26 Метрика ROC-AUC (Area Under Curve) 12:44 Резюме 12:53 ROC-кривая (ROC-curve) 13:20 ROC-AUC 13:59 Поддержать канал можно здесь https://www.donationalerts.com/r/machine_learrrning