[第104回 TrustML Young Scientist Seminar] John Robertson氏(テキサス大学オースティン校)による講演「言語モデルの制御と信頼性: ステアリングベクトルとエージェントの経年変化を理解する」

理化学研究所AIPのTrustML Young Scientist Seminarシリーズが、テキサス大学オースティン校の博士課程学生John Robertson氏を招き、大規模言語モデルの制御と信頼性に関する講演を行います。Robertson氏はまず、再学習なしにモデルの振る舞いを調整できる軽量な手法であるアクティベーションステアリングを取り上げ、その有効性のばらつきは本質的な限界ではなく探索の難しさを反映していると論じます。プロンプト境界における対照的アクティベーションの方向的整合性が、有効な介入が現れる箇所を予測し、幾何学に基づく最適化により3つのモデルファミリーでおよそ40%少ない評価回数でそれを見つけられることを示します。 続いて、入力文脈に応じてステアリング方向がどれだけ回転するかを測る「概念粒度(concept granularity)」を紹介します。これはステアリングを実行する前にキャッシュされたアクティベーションから計算でき、概念の最適化の難しさと最終的に達成可能な品質の両方を予測します。最後にRobertson氏は制御から時間的信頼性へと話題を移し、重みを固定したエージェントが履歴を圧縮し、増大するメモリから検索し、事実を改訂する過程でどのように劣化するかを追跡する縦断的ベンチマークAgingBenchを紹介します。 セミナーはオンラインと日本橋オフィスの会議室Bで開催され、物理会場はAIP研究者のみ参加可能です。講演は英語で行われます。