Xwriter

Xwriter / 注目トピック

すべての注目トピック
AI2026/8/22

SGLangがWeight Cache Daemonを発表、エンジン再起動を1秒未満に短縮

SGLangのWeight Cache Daemonは、CUDA IPCゼロコピーマッピングによりモデル重みの読み込み時間を約495秒から約0.63秒(約785倍高速化)に短縮し、エンドツーエンドの起動時間を93.9%削減した。これはFast Engine Recovery Frameworkの第一段階で、推論基盤における1秒未満のプライマリ/バックアップ切り替えを実現する。

元の情報源を開くこの視点から投稿を生成

執筆調査用の情報です。公開前に一次情報を確認してください。市場データは投資助言ではありません。