Dropout

データサイエンスについて勉強したことを書いていきます。機械学習、解釈性、因果推論など。

正則化

多重共線性と回帰係数の信頼性の話。あとリッジ回帰。

はじめに 多重共線性とOLS推定量の信頼度 線形回帰モデルの導入 OLS推定量 Annihilator Matrix OLS推定量の別表現 補助回帰 OLS推定量の分散を解釈する シミュレーションによる信頼度の確認 シミュレーションの設定 多重共線性とOLS推定量の信頼度 サンプル…

Ridge回帰の使い所を考える

はじめに 本記事では回帰係数の推定方法としてのRidge回帰(L2正則化)の使い所について考えたいと思います。 結論から言うと、サンプルサイズが不十分な状況下でRidge回帰を用いてより真の値に近い回帰係数を得る確率を高めるという使い方ができそうです。 …