vLLM徹底解説:分散推論、KVキャッシュの進化、モデル圧縮

vLLM Community Night — Tokyoは、vLLMのコアコントリビューターと本番運用エンジニアが集まり、高スループット・低レイテンシのLLM推論について深く議論する技術夜会です。会場は六本木一丁目。vLLMの最新アップデート、分散コンポーネントへと進化するKVキャッシュ、富士通のOneCompによる実践的なモデル圧縮、AWS上での分散推論(SageMaker HyperPod、ParallelCluster、EFA/SRDネットワーキング、Prefill-Decode Disaggregation)、そしてShisa.AIによる本番運用のポストモーテムなど、5本のトークを予定しています。 登壇者はTun Jian Tan氏(vLLMコミッター、Embedded LLM)、市川勇馬氏(富士通)、赤澤俊信氏(AWS)、Tony Valderrama氏(Momento)、Leonard Lin氏(Shisa.AI)。低レベルな最適化からシステムレベルのスケーリング、ベンチマーク・評価・ハードウェア別チューニングといった現場の知見までを幅広くカバーします。 軽食とネットワーキング付き。AI/MLエンジニア、LLM研究者、インフラ・プラットフォーム構築者、AIプロダクト関係者、OSSコントリビューターなど、LLMサービングの未来に関心を持つ方にお勧めです。