OpenAIの推論アクセラレータ「Jalapeño」、導入へ前進

OpenAIは低遅延のエージェント向けワークロード用に設計された推論アクセラレータ「Jalapeño」の初期結果を発表し、年末までに自社インフラへの導入を目指している。回路設計とカーネルのプログラミングにはAIが活用され、プロンプト処理とトークン生成を密結合させる設計になっている。これはトレーニング計算力だけでなく、推論のコストとレイテンシが次のインフラ競争の焦点になりつつあることを示す。