Почему сумма остатков всегда равна нулю: простыми словами об алгебраических свойствах МНК

Добро пожаловать в подробное погружение в алгебраическую «магию», лежащую в основе метода наименьших квадратов (МНК). Когда мы строим прямую линию по данным, всегда проявляются два свойства: сумма остатков равна нулю, и остатки некоррелированы с нашими независимыми переменными. Это не просто совпадения; это фундаментальные следствия того, как математически построен МНК. Мы начнем с определения линейной модели и функции суммы квадратов остатков (SSR). Мы объясним, как мы используем дифференциальное исчисление для минимизации этой функции, беря частные производные по нашим коэффициентам ($\beta_0$ и $\beta_1$) для вывода нормальных уравнений. Затем мы докажем первое свойство: почему $\sum \hat{u}_i = 0$? Мы показываем, как производная по свободному члену заставляет положительные и отрицательные ошибки взаимно компенсироваться, гарантируя, что линия регрессии всегда проходит через среднее значение данных $(\bar{x}, \bar{y})$. Далее мы доказываем второе свойство: почему $\sum x_i \hat{u}_i = 0$? Мы демонстрируем, как производная по наклону гарантирует, что вся линейная информация «выжимается» из остатков. Наконец, мы визуализируем это геометрически с помощью линейной алгебры, показывая, как вектор остатков ортогонален (перпендикулярен) пространству предикторов — концепция, использованная Карлом Фридрихом Гауссом для обоснования устойчивости метода. 📚 Библиография и научные публикации: Данное выведение основано на фундаментальных доказательствах, найденных в: «Основы эконометрики» — Дамодар Н. Гуджарати; «Элементарная статистика» — Джон Э. Фройнд