Модель всё выучила и всё равно провалилась 😱 Курс «Анализ данных и ИИ», урок 5

Почему модель показывает прекрасный результат во время обучения, а на новых данных внезапно беспомощно разводит алгоритмическими руками? В пятом уроке курса «Анализ данных и ИИ» разбираемся с разделением данных на train и test. На train модель учится: ищет закономерности, подбирает параметры и старается уменьшить ошибку. А test становится честной проверкой: сможет ли модель работать с данными, которых она раньше не видела? Из песни вы узнаете: — зачем разделять данные на обучающую и тестовую выборки; — почему нельзя оценивать модель на тех же данных, на которых она училась; — как обнаружить переобучение; — почему высокая точность на train ещё не означает хорошую модель; — как test помогает оценить способность модели обобщать. Главная мысль проста: модель должна не запоминать ответы, а находить закономерности. А ваша модель действительно умеет работать с новыми данными или просто хорошо подготовилась к знакомому экзамену? Напишите в комментариях. И помните: 100 процентов на train — это ещё не гениальность. Возможно, модель просто заранее увидела шпаргалку. Ключевые слова