LLMの中心への旅

Tokyo Tech Talks #8では、大規模言語モデルの「入力と出力」という見慣れた表面の下を探ります。独立研究者のLarry Richardsさんが、モデル内部の実験を通して、LLMの中で何が起きているのか、その振る舞いから何がわかるのかを解説します。 Larryさんは、メカニスティック・インタープリタビリティ、スパース表現、活性化介入、言語モデル内部の幾何学を研究しています。また、オプション価格、インプライド・ボラティリティ、グリークスを計算するPython・TypeScript対応のオープンソースライブラリvollibの開発・メンテナンスも行っています。 本セッションはTransformerの基礎知識（レイヤー、アクティベーション、次トークン予測）を前提とし、アーキテクチャの入門ではなく実験的な探究に重点を置きます。事前準備には3Blue1BrownのTransformer入門がおすすめです。会場は渋谷、9月29日19:00–21:00開催です。