رگریشن د متوسط په نسبت (ریاضی)

تعریف

خطی رگریشن

تصور کوو چی د y تر x پوری د عدم خپلواکی رابطه د یوی لمړی مرتبي په شکل کی وگورو : کينډۍ:Ltr

$y=\beta _{0}+\beta _{1}x+\varepsilon .\!$

کينډۍ:پای Будем считать, что значения x определяются без ошибки, β₀ и β₁ — параметры модели, а ε — ошибка, распределение которой подчиняется нормальному закону с нулевым средним значением и постоянным отклонением σ². Значения параметров β заранее не известны и их нужно определить из набора экспериментальных значений (x_i, y_i), i=1, …, n. Таким образом мы можем записать:

${\widehat {y_{i}}}=b_{0}+b_{1}x_{i}+e_{i},i=1,\dots ,n$

где ${\widehat {y}}$ означает предсказанное моделью значение y при данном x, b₀ и b₁ — выборочные оценки параметров модели, а $e_{i}=y_{i}-{\widehat {y_{i}}}$ — значения ошибок аппроксимации.

Для вычисления параметров модели по экспериментальным данным зачастую используют различные программы, предназначенные для статистической обработки данных. Однако для этого простого случая не сложно выписать подробные формулы.

Метод наименьших квадратов даёт следующие формулы для вычисления параметров данной модели и их отклонений: کينډۍ:Ltr

$b_{1}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}};$

$b_{0}={\bar {y}}-b_{1}{\bar {x}};$

$s_{e}^{2}={\frac {\sum _{i=1}^{n}(y_{i}-{\widehat {y}})^{2}}{n-2}};$

$s_{b_{0}}=s_{e}{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}};$

$s_{b_{1}}=s_{e}{\sqrt {\frac {1}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}},$

کينډۍ:پای دلته متوسط مقدار یا اندازه تعریفیږی لکه د معمول په شان: ${\bar {x}}={\frac {\sum _{i=1}^{n}x_{i}}{n}}$, ${\bar {y}}={\frac {\sum _{i=1}^{n}y_{i}}{n}}$ یا s_e² دا د ریگریشن د انحراف د پاتی برخی ښکارندوی ده , کوم چی د واریانس د اټکل ویاندوی دی σ²د په هغه صورت کی چی موډل صحیح وی.

Стандартные ошибки коэффициентов регрессии используются аналогично стандартной ошибке среднего — для нахождения доверительных интервалов и проверки гипотез. Используем, например, критерий Стьюдента для проверки гипотезы о равенстве коэффициента регрессии нулю, то есть о его незначимости для модели. Статистика Стьюдента: t=b/s_b. Если вероятность для полученного значения и n−2 степеней свободы достаточно мала, например, <0,05 — гипотеза отвергается. Напротив, если нет оснований отвергнуть гипотезу о равенстве нулю, скажем b₁ — есть основание задуматься о существовании искомой регрессии, хотя бы в данной форме, или о сборе дополнительных наблюдений. Если же нулю равен свободный член b₀, то прямая проходит через начало координат и оценка углового коэффициента равна

$b={\frac {\sum _{i=1}^{n}x_{i}y_{i}}{\sum _{i=1}^{n}x_{i}^{2}}}$,

а её стандартной ошибки

$s_{b}=s_{e}{\sqrt {\frac {1}{\sum _{i=1}^{n}x_{i}^{2}}}}.$

thumb|right|400px|Линия регрессии и 95%-е доверительные области для линии регрессии (пунктиром) и для значений (сплошные границы)

Обычно истинные величины коэффициентов регрессии β₀ и β₁ не известны. Известны только их оценки b₀ и b₁. Иначе говоря истинная прямая регрессии может пройти иначе, чем построенная по выборочным данным. Можно вычислить доверительную область для линии регрессии. При любом значении x соответствующие значения y распределены нормально. Средним является значение уравнения регрессии ${\widehat {y}}$. Неопределённость его оценки характеризуется стандартной ошибкой регрессии:

$s_{\widehat {y}}=s_{e}{\sqrt {{\frac {1}{n}}+{\frac {(x-{\bar {x}})^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}};$

Теперь можно вычислить 100(1−α/2)-процентный доверительный интервал для значения уравнения регрессии в точке x:

${\widehat {y}}-t_{(1-\alpha /2,n-2)}s_{\widehat {y}}<y<{\widehat {y}}+t_{(1-\alpha /2,n-2)}s_{\widehat {y}}$,

где t_{(1−α/2, n−2)} — t-значение распределения Стьюдента. На рисунке показана линия регрессии, построенная по 10 точкам (сплошные точки), а также 95%-я доверительная область линии регрессии, которая ограничена пунктирными линиями. С 95%-й вероятностью можно утверждать, что истинная линия находится где-то внутри этой области. Или иначе, если мы соберём аналогичные наборы данных (обозначены кружками) и построим по ним линии регрессии (обозначены голубым цветом), то в 95 случаях из 100 эти прямые не покинут пределов доверительной области. (Для визуализации кликните по картинке) Обратите внимание, что некоторые точки оказались вне доверительной области. Это совершенно естественно, поскольку речь идёт о доверительной области линии регрессии, а не самих значений. Разброс значений складывается из разброса значений вокруг линии регрессии и неопределённости положения самой этой линии, а именно:

$s_{Y}=s_{e}{\sqrt {{\frac {1}{m}}+{\frac {1}{n}}+{\frac {(x-{\bar {x}})^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}};$

Здесь m — кратность измерения y при данном x. И 100(1−α/2)-процентный доверительный интервал (интервал прогноза) для среднего из m значений y будет:

${\widehat {y}}-t_{(1-\alpha /2,n-2)}s_{Y}<y<{\widehat {y}}+t_{(1-\alpha /2,n-2)}s_{Y}$.

На рисунке эта 95%-я доверительная область при m=1 ограничена сплошными линиями. В эту область попадает 95 % всех возможных значений величины y в исследованном диапазоне значений x.