【不完全情報学習チームセミナー】Micah Goldblum 教授: 易しい問題から難しい問題への汎化と LLM の小バッチ学習

コロンビア大学電気工学科の助教である Micah Goldblum 氏が、ニューラルネットワークに関する自身の研究から2つのテーマを取り上げ、1時間の講演を行う。1つ目は「易しい問題から難しい問題への汎化」で、推論時により長く「考える」ことによって、学習時よりもはるかに複雑な問題を解けるモデルをどう構築するかという話である。2つ目は言語モデルの最適化の安定性で、LLM の事前学習における小バッチ領域では、モーメンタムなしの素朴な SGD が Adam とほぼ同等の速さになるという最近の結果を紹介する。 Goldblum 氏は現職の前、ニューヨーク大学で Yann LeCun 氏および Andrew Gordon Wilson 氏とともにポスドク研究員を務めていた。研究対象は応用と基礎の両面にわたり、大規模モデルの学習・アーキテクチャ・推論手法、AI 安全性、エージェント、そして複雑な AI システムがなぜ機能するのかを数理的かつ科学的に理解することなどを含む。 セミナーは Zoom で開催され、登録者であれば誰でも参加できる。接続用 URL は登録した参加者にのみ案内される。理化学研究所日本橋事務所のオープンスペースでの現地参加も用意されているが、こちらは理研関係者に限られる。