【深層学習理論チームセミナー】ハイパーパラメータの高速転移メカニズムの解明（Nikhil Ghosh氏、Flatiron Institute）

Flatiron InstituteのNikhil Ghosh氏が、スケールを考慮したハイパーパラメータに関する研究を紹介します。これは、小規模モデルでの安価なグリッドサーチで見つけた最適な設定を、性能をほとんど損なうことなく大規模モデルへ引き継ぐための手法です。モデルの大規模化に伴い、従来のハイパーパラメータ最適化は費用面で現実的ではなくなっており、この転移がいつ、なぜ機能するのかを理解することは、大規模学習に取り組む人にとって実務上の課題となっています。 本講演では、スケールをまたいだハイパーパラメータ転移を考えるための概念的枠組みを示します。人工的な設定において、Ghosh氏は両面からの定量的な例を提示します。転移が計算上の優位性を証明できる場合と、μPの下でさえ転移が失敗する場合です。実際に観測される高速な転移を説明するため、最適化の軌跡を、最適なハイパーパラメータを決定する幅に安定な成分と、幅の増加とともに改善しつつ最適点をわずかにしか乱さない幅に敏感な成分に分解する仮説を提案します。 この仮説を支持する実証的な証拠は、大規模言語モデルの事前学習から得られたものです。セッションは1時間で、ハイブリッド開催です。東京大学本郷キャンパスでの現地参加が可能なほか、オンラインでの参加もできます。