自由度（degrees of freedom）は、
回帰の自由度と残差の自由度の２つある。

回帰の自由度は、回帰式における係数の数。
ただし、定数項は除く。

一方で、残差の自由度は、データの行数から
回帰の自由度と１（定数項の分）を引いた数。
１を引くのは定数項の分である。

回帰分析を行うときに、データ数が
パラメータ数より大きい必要があるが、
これは残差の自由度を確保するため。

残差変動を小さくすることが回帰分析における
１つのモチベーションであるが、その残差の
自由度（残差の個数）が無かったり、
少ないと問題として成り立たない。

個人的に自由度のイメージがなかなか湧かなかったが、
連立方程式における式の数と未知数の数を
念頭に考えると良い。
回帰分析において、データ数は式の数であり、
未知数は係数パラメータ、定数項、誤差項の数であるが、
誤差項がデータ数だけあり、係数パラメータと定数項の分だけ自由に定められない。
よって、
残差の自由度　＝　データ数　ー　回帰の自由度　ー　１（定数項の分）
となる。

自由度は自由度調整済み決定係数の算出に関係してくるが、
その他にもF検定、t検定、RMSEといった
適合度指標にも関係してくる。