Xwriter / 注目トピック
← すべての注目トピックAI2026/8/22
SGLangがWeight Cache Daemonを発表、エンジン再起動を1秒未満に短縮
SGLangのWeight Cache Daemonは、CUDA IPCゼロコピーマッピングによりモデル重みの読み込み時間を約495秒から約0.63秒(約785倍高速化)に短縮し、エンドツーエンドの起動時間を93.9%削減した。これはFast Engine Recovery Frameworkの第一段階で、推論基盤における1秒未満のプライマリ/バックアップ切り替えを実現する。
元の情報源を開く ↗この視点から投稿を生成執筆調査用の情報です。公開前に一次情報を確認してください。市場データは投資助言ではありません。