4章．最小2乗法の説明

1次式への近似

n組のデータ (x_i,y_i)を回帰式 y=ax+bに近似する。このとき、誤差はy_i-(ax_i+b)で表される。最も確からしい回帰式を与える定数a,bは誤差の平方の総和
$z = sum{i = 0}{n} ( y - ( a x_i + b ) )^2$
が最小になるように選ばれる。

zをa,bでそれぞれ編微分し、0とおく。
$Lbrace { matrix left 2 1 { a sum{i=1}{n} x_i^2 - sum{i=1}{n} x_i y_i + b sum{i=1}{n} x_i = 0 }{ b n - sum{i=1}{n} y_i + a sum{i=1}{n} x_i = 0 } } }$

これらを連立して解けば、zを最小とする,aおよびbを得ることができる。行列の表現とすると次のように計算できる。
$LRparen {matrix center 2 2 {sum{i=1}{n} x_i^{2}}{sum{i=1}{n}x_i}{sum{i=1}{n}x_i}{n}} LRparen {matrix center 2 1 {a}{b}} = } LRparen {matrix center 2 1 {sum{i=1}{n} x_i y_i}{sum{i=1}{n} y_i}}$
$LRparen {matrix center 2 1 {a}{b}} = } LRparen {matrix center 2 2 {sum{i=1}{n} x_i^{2}}{sum{i=1}{n}x_i}{sum{i=1}{n}x_i}{n}}^{-1} LRparen {matrix center 2 1 {sum{i=1}{n} x_i y_i}{sum{i=1}{n} y_i}}$
これを解けばaおよびbを得ることができる。