Статистика в Python 2. Проверка распределения на нормальность // Александр Вихорев, НГУ

В этом видео мы углубляемся в анализ данных и переходим к важнейшей теме — проверке распределения на нормальность. Почему это так важно? Потому что множество статистических методов, таких как t-тест, ANOVA, регрессионный анализ, предполагают, что данные распределены нормально или близко к нормальному закону. Нарушение этого предположения может привести к неверным выводам. Суть видео в том, чтобы научиться проверять, подчиняются ли наши данные нормальному распределению. Мы разберем два ключевых подхода: графический и формальный статистический тест. Это позволит комплексно оценить данные и принять обоснованное решение о применении тех или иных методов анализа. В этом видео мы детально разберем ключевые термины и методы. Нормальное распределение, или распределение Гаусса, — это симметричное колоколообразное распределение, которое полностью описывается двумя параметрами: средним значением и стандартным отклонением. Проверка на нормальность — это процедура оценки того, насколько эмпирическое распределение наших данных соответствует идеальной нормальной кривой. Мы изучим два основных инструмента для этой проверки. Первый — это графический метод, Q-Q plot (график квантиль-квантиль). Его принцип заключается в визуальном сравнении квантилей ваших данных с квантилями теоретического нормального распределения. Если точки на графике лежат приблизительно на прямой диагональной линии, это сильный аргумент в пользу нормальности распределения. Систематические отклонения точек от прямой указывают на нарушение нормальности, например, на скошенность или тяжелые хвосты. Второй инструмент — это формальный статистический тест, тест Шапиро-Уилка. Он вычисляет специальную статистику (W), которая измеряет степень отклонения эмпирического распределения от нормального. На основе этой статистики рассчитывается p-value. Если p-value окажется меньше выбранного уровня значимости (обычно 0.05), мы отклоняем нулевую гипотезу о нормальности распределения данных. Если p-value больше 0.05, у нас нет достаточных оснований отвергнуть предположение о нормальности. Мы подробно разберем, как корректно интерпретировать результаты этого теста. В практической части мы напишем код на Python. Мы сгенерируем данные, как из нормального, так и из ненормального распределения, чтобы наглядно увидеть разницу. Вы научитесь строить Q-Q plot с помощью библиотеки statsmodels или SciPy и выполнять тест Шапиро-Уилка с использованием функции scipy.stats.shapiro. В конце мы подведем итоги и сформулируем практические рекомендации: как совмещать выводы из графика и статистического теста для принятия окончательного решения. Для работы с этим уроком вам понадобятся те же библиотеки, что и ранее. Убедитесь, что у вас установлены: pandas, numpy, matplotlib, seaborn и scipy. Для построения Q-Q plot нам также может понадобиться библиотека statsmodels, которую можно установить командой: pip install statsmodels.