リッジ回帰、ラッソ回帰について | 西園寺総合商社 +6σ【SGT＆BDジャパン】in 東京

正則化（例えばリッジ回帰やラッソ回帰）を使うことで、非常に大きな数や非常に小さな数の影響を緩和します。例えば、モデルの学習過程で、非常に大きなパラメータにペナルティをかけることで、計算を安定化させることができます。

例：線形回帰における正則化

もし線形回帰を行うとき、特定のパラメータが非常に大きくなることがあります。この場合、その大きなパラメータを小さくするために、**L2正則化（リッジ回帰）**を用います。これによって、計算の過程でパラメータが暴走しないように抑制されます。

1. リッジ回帰（L2正則化）

リッジ回帰は、L2正則化を用いた回帰手法です。通常の線形回帰では、最小二乗法（誤差の二乗和）でパラメータを求めますが、リッジ回帰ではこれにペナルティ項を追加します。このペナルティ項は、パラメータの大きさを制限することで過剰適合を防ぎます。

リッジ回帰の特徴

パラメータを小さくすることにより、モデルの複雑さを減少させます。
ただし、すべてのパラメータがゼロにはならないという特徴があります。

効果

モデルの複雑さが制御され、過剰適合を防ぎます。
パラメータが適切に小さくなるため、予測のばらつきが減少します。

2. ラッソ回帰（L1正則化）

ラッソ回帰は、L1正則化を用いた回帰手法です。リッジ回帰と似ていますが、ペナルティ項がL1ノルム（パラメータの絶対値の和）になります。このペナルティ項は、パラメータをゼロに近づける働きがあり、場合によっては不要な特徴量を完全にゼロにすることがあります。

$λ$ は正則化パラメータで、ペナルティの強さを調整します。
$θ_{j}$ はモデルのパラメータです。

ラッソ回帰の特徴

L1ノルムにより、一部のパラメータがゼロになることがあります。これは、重要でない特徴量が自動的に選択されない（つまり、削除される）ことを意味します。
特徴量選択ができるため、モデルが自動的に単純化されます。

効果

特徴量選択が行われるため、モデルが簡潔になり、過剰適合を防ぎます。
一部のパラメータがゼロになるため、計算の効率も上がる可能性があります。

1. 正則化の目的とその仕組み

正則化の主な目的は、モデルが訓練データに過剰に適合（過学習）するのを防ぐことです。過学習を防ぐために、パラメータの大きさ（過度に大きい重みが学習されないように）に対してペナルティを課すわけです。しかし、ペナルティ項が最小化したい目的関数に対して独立に加算されるという点が重要です。

2. ペナルティ項の独立性

正則化で加えるペナルティ項は、通常、損失関数に独立に追加されます。このため、損失関数は次のように表現されます。

ここで、損失関数はモデルの誤差を表しており、ペナルティ項はパラメータの大きさに関連しています。この数式で示される通り、ペナルティ項は目的関数の改善と連動していません。ペナルティ項はあくまで「パラメータの大きさを抑制するための追加的な制約」や「モデルの複雑さを抑えるための制約」にすぎません。

この「独立性」が気になる理由は、正則化項が直接的に最小化したい誤差（損失）に影響を与えていないという点です。正則化が何らかの形で損失関数に対して連動しているわけではなく、単にパラメータの大きさを抑制するという役割を果たしているからです。

3. なぜペナルティ項が必要なのか

ペナルティ項が独立に追加される理由は、次のような背景にあります。

過学習を防ぐため: 損失関数だけを最小化していくと、モデルは訓練データに過剰に適合し、テストデータに対する汎化性能が低くなります。ペナルティ項を追加することによって、モデルのパラメータのサイズを小さく抑制し、モデルが過度に複雑になることを防ぐのです。
複雑さの制御: パラメータが大きくなると、モデルが訓練データに対して過剰に適応してしまいます。ペナルティ項は、モデルの複雑さを制御する役割を果たします。これは「バイアス-分散のトレードオフ」に関連しており、ペナルティによって分散を抑えつつバイアスを適切に保つことを目指します。

4. 正則化が「連動していない」問題の解決策

正則化が目的関数と独立しているという点が気になるのは理解できます。実際、正則化の効果がどのようにデータに連動するかという点は、少し掘り下げるべき部分です。

正則化の適応的調整:
- 正則化が目的関数と完全に独立しているわけではなく、調整次第で損失関数に対して間接的に影響を与えることができます。例えば、モデルのパラメータが過剰に大きくなると、ペナルティが強く働き、結果的に最小化される損失が変化します。こうした調整が、モデルが過学習するのを防ぐ方向に作用します。
問題設定に応じたペナルティの選定:
- 例えば、リッジ回帰（L2正則化）やラッソ回帰（L1正則化）では、パラメータの大きさを抑制する形で制約をかけますが、問題の性質に応じてペナルティ項を調整することができます。その際、ペナルティ項が直接的に最小化したい損失に影響を与えるわけではありませんが、モデルの適応度を最適化するための調整手段として働きます。
ペナルティ項の選択とバランス:
- ペナルティ項は、あくまで「バランスを取るための道具」であり、訓練データに対する適応度（誤差）とモデルの複雑さ（パラメータの大きさ）とのトレードオフを最適化するために使用されます。これを調整することによって、誤差を最小化しながらも過学習を防ぐことができます。

まとめ

正則化のペナルティ項は、目的関数と直接的に連動しているわけではなく、パラメータの大きさを制限するための制約として作用します。ですが、この制約が間接的にモデルの誤差に影響を与え、過学習を防ぐために役立つという仕組みになっています。ペナルティ項を適切に調整することによって、最小化したい誤差とモデルの複雑さのバランスを取ることが可能になります。

＝＝＝

＠西園寺貴文（憧れはゴルゴ13）#+6σの男

"make you feel, make you think."

SGT&BD
(Saionji General Trading & Business Development)

新たなるハイクラスエリート層はここから生まれる

Lose Yourself , Change Yourself.（変えることのできるものについて、それを変えるだけの勇気を我らに与えたまえ。変えることのできないものについては、それを受け入れられる冷静さを与えたまえ。そして、変えることのできるものと、変えることのできないものとを、見分ける知恵を与えたまえ。）

説明しよう！西園寺貴文とは、常識と大衆に反逆する「社会不適合者」である！平日の昼間っからスタバでゴロゴロするかと思えば、そのまま軽いノリでソー◯をお風呂代わりに利用。挙句の果てには気分で空港に向かい、当日券でそのままどこかへ飛んでしまうという自由を履き違えたピーターパンである！「働かざること山の如し」。彼がただのニートと違う点はたった１つだけ！そう。それは「圧倒的な書く力」である。ペンは剣よりも強し。ペンを握った男の「逆転」ヒップホッパー的反逆人生。そして「ここ」は、そんな西園寺貴文の生き方を後続の者たちへと伝承する、極めてアンダーグラウンドな世界である。 U-18、厳禁。低脳、厳禁。情弱、厳禁。