OpenAI、自社チップ「ハラペーニョ」の性能を公表 電力効率やレイテンシ向上

OpenAIは25日(米国時間)、自社開発の推論プラットフォームとして設計した新チップ「Jalapeño」(ハラペーニョ)の実測のベンチマーク結果を公開した。 Jalapeñoは、米Broadcomとの共同開発している、推論(inference)のための、カスタムチップ。Jalapeñoでは、単位電力あたりのAI処理量を増加させるとともに、応答速度の向上も目指している。 GPT‑OSS 120B、DeepSeek R1、Kimi K2.5 1Tの各モデルを使った比較で、Jalapeñoは比較対象システムに対し、1ワットあたりのAI処理量を1.5～1.9倍向上させ、エンドツーエンドのレイテンシを1.7～3.6倍低減。インタラクティブ性の高いワークロードでは、2.1～4.1倍のパフォーマンス向上を実現し、「広範なフルスタックの優位性を示した」という。 Jalapeñoは、「現代・将来の言語モデル、特に対話型エージェントへのサービス提供を主な役割とするなら、どのようなハードウェアを構築すべきか」という問いを基に設計。OpenAIのサービス展開を見据えた強化を予定している。 開発にも「Codex」と次世代モデルの「GPT-Astra」を活用しており、3つのオープンウェイトモデルを、2カ月で高性能化することに成功。また、GPT-OSSのattentionとmixture-of-experts(MOE) blocksでは、AIが生成した実装が、人間の専門家による既存の実装よりも1.5倍から1.8倍高速に動作したという。 OpenAIでは、26年内に自社のコンピューティングインフラ内でのJalapeñoの導入を開始する予定で、これまで「高速モード」でのみ実現可能だった効率性を備えた「超高速モード」推論、「バッチモード」でのみ実現可能だった効率性を備えた「高速モード」推論、バッチモード推論における効率性の向上などを実現する。 また第2世代、第3世代と開発を進めており、各世代の知見を基盤としながら、効率と性能の向上を目指す。なお、トレーニングや推論ワークロードの両方において、NVIDIAやその他のパートナーのアクセラレータ導入も引き続き継続していく。

OpenAIは25日(米国時間)、自社開発の推論プラットフォームとして設計した新チップ「Jalapeño」(ハラペーニョ)の実測のベンチマーク結果を公開した。 Jalapeñoは、米Broadcomとの共同開発している、推論(inference)のための、カスタムチップ。Jalapeñoでは、単位電力あたりのAI処理量を増加させるとともに、応答速度の向上も目指している。 GPT‑OSS 120B、DeepSeek R1、Kimi K2.5 1Tの各モデルを使った比較で、Jalapeñoは比較対象システムに対し、1ワットあたりのAI処理量を1.5～1.9倍向上させ、エンドツーエンドのレイテンシを1.7～3.6倍低減。インタラクティブ性の高いワークロードでは、2.1～4.1倍のパフォーマンス向上を実現し、「広範なフルスタックの優位性を示した」という。 Jalapeñoは、「現代・将来の言語モデル、特に対話型エージェントへのサービス提供を主な役割とするなら、どのようなハードウェアを構築すべきか」という問いを基に設計。OpenAIのサービス展開を見据えた強化を予定している。 開発にも「Codex」と次世代モデルの「GPT-Astra」を活用しており、3つのオープンウェイトモデルを、2カ月で高性能化することに成功。また、GPT-OSSのattentionとmixture-of-experts(MOE) blocksでは、AIが生成した実装が、人間の専門家による既存の実装よりも1.5倍から1.8倍高速に動作したという。 OpenAIでは、26年内に自社のコンピューティングインフラ内でのJalapeñoの導入を開始する予定で、これまで「高速モード」でのみ実現可能だった効率性を備えた「超高速モード」推論、「バッチモード」でのみ実現可能だった効率性を備えた「高速モード」推論、バッチモード推論における効率性の向上などを実現する。 また第2世代、第3世代と開発を進めており、各世代の知見を基盤としながら、効率と性能の向上を目指す。なお、トレーニングや推論ワークロードの両方において、NVIDIAやその他のパートナーのアクセラレータ導入も引き続き継続していく。