Подготовка данных: балансировка | 12/39 | UPV

Название: Подготовка данных и балансировка Автоматическое описание: В этом видео докладчик обсуждает важность балансировки данных в контексте задач классификации в машинном обучении. Докладчик объясняет, что наборы данных часто могут быть несбалансированными, что означает несоответствие в частоте классов в данных, заставляющее модели отдавать предпочтение мажоритарному классу и приводящее к неправильной классификации миноритарного класса. Приводятся примеры обнаружения мошенничества и диагностики заболеваний. В видео рассматриваются два основных метода решения проблемы дисбаланса данных: перевзвешивание и перевыборка. При перевзвешивании большее значение придается записям из миноритарного класса для балансировки взвешенной суммы записей по классам. Перевыборка включает в себя изменение распределения данных для достижения равномерности путем либо недовыборки мажоритарного класса, либо перевыборки миноритарного класса. Также обсуждается смешанный подход или использование SMOTE (Synthetic Minority Oversampling Technique), который создает синтетические выборки. Рассматриваются проблемы и особенности каждого подхода, такие как обеспечение репрезентативности при недовыборке и риск ошибок, возникающий при генерации синтетических выборок с помощью SMOTE. Докладчик подчеркивает, что, хотя эти методы могут сбалансировать данные, они также вносят смещение в сторону миноритарного класса, что требует тщательной оценки результатов. В заключение презентации выражается надежда, что зрители смогут эффективно применять эти методы преобразования данных в своей работе. Автор/ы: Пикерас Салазар Игнасио Хайме Курс: Это видео является 12/39 курсом MOOC Educational Data Science. https://www.youtube.com/playlist?list=PL6kQim6ljTJtFu3VPMIdMdFVIACznj6vQ Запишитесь на: https://upvx.es/courses/course-v1:Educacion+FWM201+2022-01/about Политехнический университет Валенсии UPV: https://www.upv.es Больше видео: https://www.youtube.com/valenciaupv Примите участие в новом MOOC: https://upvx.es #