制約下の自律性: エッジにおけるAIモデル、メモリ、検索

制約の厳しい物理システムやエッジデバイス上でAIを動かす際の、実務的なエンジニアリング課題を扱う3本の技術講演です。オンデバイスのスタックをモデル、メモリ、検索の3層に分け、ローカルでLLMを動かすコスト、長時間稼働するエージェントが自らの状態をどう保持するか、データセンターではなくハードウェア内部でベクトル検索をどう実行するかを順に掘り下げます。 1本目はPaul Willot氏 (Liquid AI、シニアMLE) による推論の経済性の話です。メモリ帯域、モデルサイズ、ハードウェア使用率、並列度がトークン生成のコストと速度をどう決めるのか、また量子化、スパース化、ハイブリッドアーキテクチャ、キャッシュ、投機的デコーディングがそのトレードオフをどう変えるのかを扱います。2本目はStefania Druga氏 (Sakana AI RSI Lab、スタッフリサーチサイエンティスト) によるエージェント的メモリの話で、数百ターン稼働する研究エージェントの実験をもとに、メモリなし、再現的な想起、ゲーティング、現在のサブゴールによる過去状態のランキングを比較し、メモリは保存ではなく方針であると論じます。3本目はEwa Szyszka氏 (Qdrant、DevRelエンジニア) によるQdrant Edgeの紹介です。インストールサイズ約11MBの組み込み型ベクトル検索ライブラリで、密な視覚ベクトルとBM25キャプションのハイブリッド検索が1ミリ秒未満で返るロボットのライブデモを行います。 18:00開場、18:30から20:00まで講演、その後21:00まで交流の時間が設けられています。クラウド接続なしでも安定して動くエージェント的な挙動を必要とする、ロボティクス、応用機械学習、組み込みシステムのエンジニア向けの内容です。