[AIP Distinguished Lecture] Haim Sompolinsky教授（ハーバード大学・ヘブライ大学）講演「大規模言語モデルにおける生涯記憶」

理化学研究所 革新知能統合研究センター（AIP）のDistinguished Lectureとして、Haim Sompolinsky教授（ハーバード大学・ヘブライ大学）が大規模言語モデル（LLM）における生涯記憶について講演します。LLMは主にコンテキストウィンドウや検索拡張生成（RAG）を通じて新しい情報を取り込みますが、逐次的なファインチューニングで経験を重みに直接書き込む方法は破滅的忘却に悩まされがちです。 講演では、認知神経科学の相補的学習システム理論に基づくアプローチを紹介します。海馬に相当する高速なシステムではGated LoRAが各経験を個別の疎な低ランクアダプタに記憶し、大脳皮質に相当する低速なシステムではリプレイによって記憶をベースの重みに統合します。さらに、低ランクファインチューニングによる記憶の統計力学的理論を紹介し、記憶容量が学習可能なパラメータ数とともにどう増えるか、事前学習済みの知識が想起をどう改善するかを論じます。 講演はハイブリッド形式でオンライン配信されます。理研日本橋オフィスでの対面参加はAIPの研究者に限られます。