[ロボット学習チームセミナー] Matteo Papini教授（ミラノ大学）とGianmarco Genalti博士（ミラノ工科大学）による講演

RIKEN AIPロボット学習チームによる本セミナーでは、強化学習とオンライン学習を専門とする2名の研究者が7月23日に連続して技術講演を行います。全登録参加者にZoomで配信され、RIKEN日本橋オフィスにはメンバー限定の視聴スペースが用意されます。 前半はMatteo Papini教授（ミラノ大学）が「Reusing Data in Policy Gradients to Improve Sample Efficiency」を発表します。方策勾配法はオンポリシーデータに依存するためサンプル効率が低いという課題があります。教授は、直近k個の方策から収集した軌跡データを再利用する、新しい多重重要度サンプリング推定量に基づくactor-only方策勾配アルゴリズムを提示し、サンプル効率向上の理論的保証とPPOにおけるデータ再利用の予備的結果を紹介します。 後半はGianmarco Genalti博士（ミラノ工科大学）が「Bridging Rested and Restless Bandits with Graph-Triggering」を発表します。各アームの期待報酬の変化をアーム上のグラフで支配するGraph-Triggered Banditsという枠組みを導入し、rested banditとrestless banditを特殊ケースとして統一します。講演では単調バンディット（rising、rotting）を扱い、最適方策の特徴付け、アルゴリズム、インスタンス依存の理論的保証について議論します。