ワイエルシュトラスの近似定理があるのに、普遍近似定理(ユニバーサル)でいちいち、『二層にすれば近似できる』となってる理由は?違いは?

違いの本質(端的に)

• ワイエルシュトラス: 「多項式(次数をどんどん上げれば)でどんな連続関数も近似できる」という定理。
• 普遍近似定理 (UAT): 「隠れ層1つ(2層NN) + sigmoidなどの固定活性化関数で、ニューロン数を増やせばどんな連続関数も近似できる」という定理。

一番の核心

• Weierstrassは「道具(多項式)」が強力だから近似できる。
• UATは「NNという特定の形(隠れ層1つだけで)でも道具として十分強い」ということを保証している。
つまり、UATは「NN特有のアーキテクチャでも普遍的に近似可能」と主張している点がポイントです。Weierstrassは一般的な古典結果で、UATはその結果をNNに応用・特化させたもの(証明でもWeierstrass/Stonesを援用することが多い)。

要するに:
• 多項式 vs. 「sigmoidの重ね合わせ(隠れ層1つ)」
• どっちも「幅(次数 or ニューロン数)を増やせばOK」だが、使う関数の形と主張の対象が違う。

 

 

 


===

西園寺貴文(憧れはゴルゴ13)#+6σの男

   




"make you feel, make you think."

 

SGT&BD
(Saionji General Trading & Business Development)

新たなるハイクラスエリート層はここから生まれる
         




Lose Yourself , Change Yourself.
(変えることのできるものについて、それを変えるだけの勇気を我らに与えたまえ。変えることのできないものについては、それを受け入れられる冷静さを与えたまえ。そして、変えることのできるものと、変えることのできないものとを、見分ける知恵を与えたまえ。)
 
説明しよう!西園寺貴文とは、常識と大衆に反逆する「社会不適合者」である!平日の昼間っからスタバでゴロゴロするかと思えば、そのまま軽いノリでソー◯をお風呂代わりに利用。挙句の果てには気分で空港に向かい、当日券でそのままどこかへ飛んでしまうという自由を履き違えたピーターパンである!「働かざること山の如し」。彼がただのニートと違う点はたった1つだけ!そう。それは「圧倒的な書く力」である。ペンは剣よりも強し。ペンを握った男の「逆転」ヒップホッパー的反逆人生。そして「ここ」は、そんな西園寺貴文の生き方を後続の者たちへと伝承する、極めてアンダーグラウンドな世界である。 U-18、厳禁。低脳、厳禁。情弱、厳禁。