PagedAttention：KVキャッシュのための仮想メモリ

KVキャッシュはシーケンス長に比例して増加し、長いコンテキストではモデルの重み自体よりも多くのGPUメモリを消費することがあり、デフォルトで希少な資源となっている。PagedAttentionは仮想メモリのページング手法をアテンションカーネルに導入し、この無駄を減らす。