DeepSeek、AIを大量に動かす
推論エンジンを公開。

活用の位置づけは本記事の提案です。導入効果は測定していません。

推論とは、学習済みのモデルに入力を渡し、答えを作る処理です。DeepInferは、その計算や分散実行を担います。対応モデルはDeepSeek-V4.1-Flash。公開版には、計算の最適化、分散推論、先読みした候補を検証して生成を進める仕組みなどが含まれます。[1]

上は構成要素を整理した概念図です。DeepInferだけで全層が完成するという意味ではありません。

今回の公開版はオフライン推論が中心です。完全なサービスに必要な以下の仕組みは、公開一式には含まれません。[1]

KVキャッシュ管理

過去に計算した情報を保存・再利用し、繰り返しの計算を減らす管理機能。

Prefill / Decode 分離

入力を読み込む段階と、答えを順に生成する段階を分けて配置する仕組み。エンジン側の関連機能の多くは実装済みでも、サービス全体の構成は別途必要です。

負荷分散

複数の処理先に要求を振り分け、一部だけが混雑しないようにする仕組み。

公式Q&AはDeepSeekの本番運用も説明しています。そこで説明される全機能が、今回の公開コードにそろっているわけではありません。[2]

対応ハードウェアはNVIDIA SM100 GPUとHuawei Ascend 950 NPUです。Linux、Python 3.12などの環境に加え、NVIDIA側はCUDA 13、Ascend側はCANN 9.2が前提です。[1]

両プラットフォームへの対応は、同じ速度や同じ費用で動くことを意味しません。モデル、チップ、接続構成、処理条件ごとに確認します。

開発元の自己申告 READMEの性能測定は、PrefillがSM100を4基、Decodeが64基。それぞれ単一のscale-up domain（高速に接続された範囲）内という条件です。[1]

本稿では性能倍率を転載しません。入力・出力の長さ、同時処理数、キャッシュの効き方が変われば、結果も変わります。実運用コストの低減や、あらゆるモデル・既存エンジンに対する優位は保証されません。当サイトでは速度・品質・費用を実測していません。

本記事の提案 まず対象モデルと対応設備がそろうかを確認し、機密情報を含まない代表的な要求で小さく評価します。

1. 同じ条件をそろえる：モデル、入力・出力長、同時要求数、精度設定、使用チップを記録する。
2. 処理の結果を測る：最初の応答までの時間、生成中の待ち時間、全体の処理量、メモリ使用量、出力品質を比べる。
3. オンライン運用を見積もる：キャッシュ、分離配置、負荷分散、監視・障害対応に必要な開発と設備の費用を加える。

「モデルの次は運用の仕組みへ」は本稿の読み解きです。公開された実装を手掛かりに、自社の負荷で成立する構成を判断することが、このニュースの実務上の意味です。