SupermicroがIBMおよびNVIDIAと共同でKVキャッシュソリューションを発表し、推論性能の大幅な向上を実証

2026-11-05 23:05
  • KV(キーバリュー)キャッシュソリューションは、Supermicro Petascaleストレージサーバー、IBM Storage Scaleソフトウェア、NVIDIA Dynamo推論ソフトウェア、およびNVIDIA Spectrum-X Ethernetスイッチを統合している
  • パフォーマンステストの結果、KVキャッシュソリューションは、KVキャッシュのないシステムと比較して、ロングコンテキストウィンドウにおける最初のトークンまでの時間 (TTFT) を短縮することが示された
  • 顧客は、GPU利用率、スループット、インフラストラクチャのスケーラビリティの向上により、推論効率を劇的に改善できる

カリフォルニア州サンノゼ, 2026年11月5日 /PRNewswire/ -- データセンタービルディングブロックソリューション®(DCBBS)を特徴とする、AI、エンタープライズ、ストレージ、5G/エッジ分野のトータルITソリューションプロバイダーであるSupermicro, Inc.(NASDAQ::SMCI)は、IBMおよびNVIDIAと共同で、新たなKVキャッシュストレージソリューションを発表しました。この共同ソリューションは、AMD EPYC 9005シリーズプロセッサ(「Turin」)を搭載したSupermicro Petascaleオールフラッシュストレージサーバー、IBM Storage Scaleソフトウェア、NVIDIA Dynamo推論フレームワークソフトウェア、およびSpectrum-X Ethernetネットワークを統合したものです。

KV Cache high-performance platform for large-scale AI inference
KV Cache high-performance platform for large-scale AI inference

これらの技術を組み合わせることで、AIモデルが応答を生成するまでの時間を劇的に短縮することができ、企業がエージェント型AIワークフローや長期コンテキストAIワークフローを採用するうえで重要な利点となります。KVキャッシュの容量をローカルGPUメモリを超えて拡張することで、GPUの利用率と推論スループットを向上させると同時に、KVキャッシュコンテンツの高い可用性と、KVキャッシュ容量の非破壊的なスケーリングを実現できます。その結果、より拡張性と回復力に優れた推論アーキテクチャが実現し、より高速で応答性の高いAI体験を提供できるようになります。

「AIワークロードがトレーニングから推論へと拡大するにつれ、エージェント型AIやロングコンテキスト、マルチターン生成型AIに特徴的な高スループット推論ワークロードを展開する企業やネオクラウドは、GPU効率を向上させるためにボトルネックを解消する必要があります」と、Supermicroの社長兼CEOであるCharles Liangは述べています。「IBMおよびNVIDIAとの共同開発による当社のソリューションは、これらのパフォーマンス上の利点を明確に示しています。」

このリリースのビデオ概要をご覧になるには、こちらをクリックしてください。

推論ワークロードは、プリフィルとデコードという2つのフェーズで構成されています。事前入力の際、入力テキストはトークンに変換され、LLMによって処理されて、推論に必要な中間キー値(KV)状態が生成されます。以前に計算されたこれらのKV状態を永続的なKVキャッシュに保存することで、システムは後続のリクエストに対して同じコンテキストを再計算する代わりに、それらを再利用することができます。エージェント型ワークフロー、コーディングアシスタント、ロングコンテキストRAG、マルチモーダルAI、およびマルチターンアプリケーションは、大規模なコードベース、ドキュメント、会話、画像、その他のコンテキストを処理する際に、大量のKV状態を生成する可能性があり、GPUおよびCPUメモリをすぐに超過するため、KVキャッシュを大容量の共有ネットワークストレージにオフロードする必要が生じます。

Supermicro、IBM、NVIDIAが提供するKVキャッシュソリューションは、この永続ストレージ層を提供することで、推論効率、スループット、スケーラビリティを向上させ、冗長な計算を削減します。

KVキャッシュソリューションの主な顧客メリットは以下のとおりです。

  • 共同ソリューション検証– Supermicro、IBM、NVIDIAは、高同時実行性やノイズの多い近隣ネットワークトラフィックのシナリオを含む、パフォーマンスを測定するための広範なクラスタレベルのテストを実施しました。
  • 推論パフォーマンスが劇的に高速化され、一貫性も向上– SupermicroとNVIDIAが共同で行ったテストでは、1,200億パラメータのLLMで、永続的なKVキャッシュにより、130,000トークンのプロンプトでTTFTが最大56倍高速化されました。[1]インプット・レングスが30,000トークンから130,000トークンに増加しても、KVキャッシュを使用した場合のTTFTの増加はわずか0.377秒で、使用しない場合の29.55秒と比較して、ロングコンテキストのワークロードでより一貫性のあるパフォーマンスを実現できます。
  • GPU利用率とスループットの向上– 頻繁に再利用されるコンテキストをGPUメモリの外で利用できるようにすることで、このソリューションはGPUのアイドル時間を短縮し、推論スループットを向上させ、GPUリソースを比例的に増加させることなく、より高い並列処理をサポートします。
  • エンタープライズのレジリエンスと信頼できるAI運用 – 永続的で可用性の高いKVキャッシュは、キャッシュされた推論状態を保護しながら、GPUノードとクラスタ間で共有アクセスを提供し、より回復力が高くストレージ効率の高いAIサービスを大規模にサポートします。
  • 検証済みのターンキーAIインフラストラクチャ – Supermicro、IBM、NVIDIAは、NVIDIA Dynamo、IBM Storage Scaleソフトウェア、Supermicro Petascale、サーバー、NVIDIA Spectrum-Xネットワーキングを組み合わせた統合アーキテクチャを、高同時実行性およびノイズの多い近隣環境シナリオで共同検証しました。
  • 迅速な導入サービス– Supermicroの工場でのラック統合とオンサイト導入サービスにより、このソリューションの導入時間を数週間から数日に短縮できます。

「企業は、AI推論を拡張するための根本的に優れた方法を必要としています。IBM、Supermicro、NVIDIAは協力して、高性能でレジリエントなKVキャッシュソリューションを提供します。これにより、お客様はGPUへの投資を最大限に活用し、コンピューティングとは独立して拡張し、インフラストラクチャの効率を大幅に向上させることができます」と、IBMストレージ担当ゼネラルマネージャーのSam Wernerは述べています。「今回の提携は、企業向けAI推論の拡張性、信頼性、費用対効果を高めるための重要な一歩となります。」

「エージェント型AIやロングコンテキストアプリケーションは、多くのステップにわたってコンテキストを効率的に再利用することに依存しており、NVIDIA Dynamoは分散推論のオーケストレーションを支援することで、企業が各GPUからより多くの実用的なスループットを得られるようにします」と、NVIDIAのAI推論製品リーダーであるShruti Koparkar氏は述べています。「NVIDIA DynamoとSpectrum-X EthernetをSupermicro PetascaleストレージサーバーおよびIBM Storage Scaleと組み合わせることで、このKVキャッシュソリューションは、冗長な計算を削減し、最初のトークン取得までの時間を改善し、顧客がレジリエントなAI推論サービスを拡張できるように支援する、高性能な共有ストレージ層を構築します。」

SupermicroとIBMのソリューションに関する詳細については、こちらをクリックしてください。また、IBM Redbook『Context without Limits:A High-Performance KV Cache Platform for Large-Scale AI Inference』をご覧になるには、こちらをクリックしてください。

Super Micro Computer, Inc.について
Supermicro(NASDAQ:SMCI)は、アプリケーション最適化型トータルITソリューション分野のグローバルリーダーです。カリフォルニア州サンノゼで設立され、現在も同地で事業を展開するSupermicroは、エンタープライズ、クラウド、AI、5G通信事業者/エッジ向けITインフラにおいて、市場に先駆けたイノベーションの提供に注力しています。当社は、サーバー、AI、ストレージ、IoT、スイッチシステム、ソフトウェア、サポートサービスを提供するトータルITソリューションプロバイダーです。Supermicroが有するマザーボード、電源、シャーシの設計ノウハウにより、当社の開発・生産力がさらに高まり、世界中のお客様に向けてクラウドからエッジまでの次世代イノベーションを実現できます。当社製品は、米国、アジア、オランダで自社設計・自社製造されており、グローバルな事業運営を活用して規模と効率性を高めるとともに、TCOの改善と環境負荷の低減(グリーンコンピューティング)に向けて最適化されています。受賞歴のあるServer Building Block Solutions®のポートフォリオにより、お客様は、各種フォームファクター、プロセッサー、メモリー、GPU、ストレージ、ネットワーキング、電源、冷却ソリューション(空調、外気冷却、液冷)に対応する柔軟で再利用可能なビルディングブロックで構成された幅広いシステム群から選択することで、個々のワークロードやアプリケーションに最適な構成を実現できます。

Supermicro、Server Building Block Solutions、およびWe Keep IT Greenは、Super Micro Computer, Inc.の商標および/または登録商標です。

その他すべてのブランド、名称、商標は、それぞれの所有者に帰属します。

1IBM Redbookに詳細が記載されています。https://www.redbooks.ibm.com/docs/MD260021/MD260021.html

  1. 中低所得者への支援金 対象上限は年収450万円超か 29年度からも「勤労者の半数以上」 給付額は「相当大きな規模」片山さつき財務大臣
  2. 【速報】東京・千代田区の内堀通りでクレーン車がバイクに追突か バイクに乗っていた男性が心肺停止 クレーン車の運転手を現行犯逮捕 警視庁
  3. 東京の予想最高気温13℃、日中もコート必要に?あすから再び天気下り坂…夜までに雨の範囲広がる見込み 今週は広く大荒れのおそれ
  4. 東海第二原発 管理区域外の電気ヒーター端子に焦げたような跡確認 火災か 茨城・東海村
  5. 「どれほどむごいことか」横田めぐみさんが北朝鮮に拉致されてから49年 「拉致の事実を知って絶やさず伝えて」弟・拓也さんが中学校で講演会
  6. うちの王様にはどうしても抗えない【第382話】「バンビ闘病記・術後②」
  7. 【東方神起・チャンミン】「汗臭いって感じさせたくない時に...」年齢と共に “香り” への意識変化 “日本ツアー中” ユンホは “ナイトルーティン” 明かす
  8. GDP1年ぶりにマイナス成長 “110円のハイボール”など「外食」では“値上げ・値下げ”組み合わせた価格戦略広がる
  9. 神戸市6歳児虐待死事件 “主犯”とされる叔父が起訴内容を否認 検察側は「家族を支配し暴力」「母親に鉄パイプで殴らせるよう命じた」と指摘
  10. 丁寧にペロペロ。ネコがグルーミングしているのは・・、自分ではなく飼い主さんの髪の毛!!【海外・動画】
  1. 頭など殴り…川端かな子さんを殺害か 逮捕の男が「暴れている」と通報 『egg』の元モデル“アゲぽよ”明るいキャラクターで人気 警視庁
  2. 【速報】JR小岩駅近くの店舗兼住宅2階建てが延焼中 けが人2人 東京・江戸川区
  3. ハンズ渋谷店が48年の歴史に幕 閉店惜しむ人が列 最大の特徴「迷路のような…」地形を逆手に集客 会長語った「変化」
  4. 「強く抵抗できないことを認識していた」元ジャンポケ・斉藤慎二被告に懲役4年の実刑判決 ロケバス内で共演女性に性的暴行加えた罪など 無罪主張の斉藤被告は即日控訴
  5. 【訃報】俳優・中田乃愛さん(23歳)急逝 所属事務所HPや自身の公式SNSで発表(全文) 来月公開の映画にも出演
  6. 【速報】ギャル系ファッション雑誌『egg』の元モデル・川端かな子さんを殺害した疑い 同居していた男(42)を逮捕 警視庁
  7. 【スピッツ】ドラム・﨑山龍男さん交通事故で救急搬送 所属事務所コメント(発表全文)
  8. 【倒産情報】負債総額は約13億2000万円…経営コンサルティング会社が破産開始決定 医療関連から電力用地へ事業シフトも…用地買収めぐるトラブルや裁判敗訴の影響で休眠状態に 東京・港区【東京商工リサーチ】
  9. 大麻所持の疑いで書類送検されていた東京オリンピック・スケートボード日本代表の青木勇貴斗選手を不起訴 東京地検
  10. “応援”が「騒音」と苦情…韓国の学校から運動会が消える?児童が“近隣住民に謝罪”も 修学旅行まで…行事消えゆくワケ
  11. 硫黄島南岸沖の噴火活動で「新たな陸地」 海上保安庁の航空機が確認 噴火活動は3年ぶり
  12. NTTドコモ「5G SA」の通信障害が復旧 原因は交換機への通信の集中 今月3回目