文章を生成せず
判断を返す
選択・採点・二択の確率を、そのままコードの分岐に使います。
SYSTEM ONE MODELS / TYPESAFE AI
調査・増補:2026.09.17速く、安く、決めた型で返すAI。
何を捨てて、何を得たのか。仕組み・数字・設計・導入判断を、具体例で読み解きます。
日付の読み分け:ご指定の2026.09.14号として作成し、9月17日に詳細を増補しています。投資家DCVCの対外発表は9月15日。一方、今回取得した公式ブログの検索索引にはSep 14, 2026と表示されます。日付表示・対外発表・日本時間の拡散を同一視せず、9月14日時点の情報だけで構成した記事とは扱いません。[1][11]
THE BIG PICTURE
本稿編集による要約図。企業の公式図ではありません。数値は条件付きの公式説明です。料金・速度・保証の範囲は本文の出典と注記を参照。 [1][2][3]
選択・採点・二択の確率を、そのままコードの分岐に使います。
分類や振り分けなど、低遅延・低費用が効く仕事を狙います。
自信の高い誤答を含めて評価し、保留と人の確認を残します。
WHAT IT IS
文章を書く代わりに、コードが使う「選択・採点・確率」を返します。
問い合わせを読んで「担当はサポート」「障害の可能性は低い」と判断する。けれど、丁寧な説明文や返信メールは書かない。Jevは、ソフトウェアの中の小さな判断を担当するモデルです。入力は状況を渡す state と、聞きたいことを定義する questions。 [3]
| 型 | 聞くこと | 返るもの | 使い分け |
|---|---|---|---|
| Choice | 担当はどこ? | 選択結果・候補ごとの確率・confidence | 決めた候補から1つ選ぶ |
| Score | 影響の大きさは? | スコア・尺度ごとの確率・confidence | 順序を持つ尺度で評価する |
| Noul | 障害に関係する? | yesの確率を表す0〜1の値 | 独立した二択の判断 |
Noulはconfidence付きのChoiceではなく、noulという確率値を返します。Choiceの1回の候補数は最大255と公式ブログが説明しています。 [1][3]
以下は説明用に正規化したイメージです。確率は架空で、実APIの完全なリクエスト/レスポンス仕様や実測値ではありません。
state: 「予約の確認メールが届かない。決済の問い合わせではない」
questions:
担当を選ぶ: [予約サポート, 決済サポート, その他]
障害に関係するか: yes / no
判断の例:
担当: 予約サポート
候補の確率: [0.94, 0.01, 0.05]
障害に関係する確率: 0.18
次の処理はコードで決める:
低リスクで十分な根拠あり → 担当キューへ
判断が割れる・情報不足 → 人の確認へ質問の数と、候補の数は別です。「1つのChoiceで255候補まで」と「255問まで」を混同しないようにします。
たとえば問い合わせの受付では、最終成果物が返信メールでも、その前に「請求の相談か」「本人確認が必要か」「人に回すべきか」という小さな判断が挟まります。文章の作成と、処理を分けるための判定は、同じ作業ではありません。Jevの着眼点は、この後者を独立した部品として扱うことです。
この見方では、アプリ全体を自律的なエージェントに置き換える必要はありません。既存の処理の一部に、意味を読む判断関数を追加する設計が考えられます。たとえば、キーワードだけでは区別しにくい相談内容を分類し、その後の記録・通知・承認は従来のコードで進めます。これは本稿の利用イメージであり、導入効果の実測ではありません。
会社側の対外発表では、DCVC主導のシード資金は4,000万ドル。公式Python SDKは、状態と質問を渡して選択結果を受け取る最小例を公開しています。資金や開発者の経歴は製品を調べる入口になりますが、自社の問い合わせを正確に分類できる証拠の代わりにはなりません。[11][18]
THREE PRIMITIVES
「1つだけ選ぶ」「程度を測る」「別々に当てはまるか」を分けます。
型の違いは見た目の問題ではありません。どの型で聞くかによって、表現できる判断が変わります。以下の型名と戻り値の整理はご提示資料の仕様に基づき、例の数値はすべて説明用です。実装時の完全なフィールド定義は公式仕様と使用するSDKの版を確認します。[3][18]
「一次担当を1部署に決める」ならChoiceが自然です。候補を「請求窓口・技術窓口・契約窓口・要確認」と定義し、それぞれの担当範囲を説明します。候補名だけでは、たとえば「決済APIの不具合」が請求と技術のどちらか曖昧になり得るため、選択肢そのものより、境界の定義が重要です。
一方、「請求の相談でもあり、障害の相談でもある」を表したいのに、単一Choiceを使うと情報が失われます。最終担当は1つでも、相談に含まれる要素は複数あります。担当の選択と、含まれる要素の検出を別の質問にすると、業務の意味を保ちやすくなります。
「不満がどの程度強いか」「文章の分かりやすさはどの程度か」のように順序がある判断に使います。採点基準が単に「低・中・高」だけだと、採点する人によって意味が変わります。「操作は完了できるが不便」「一部の利用者が作業できない」「全利用者が作業できない」など、業務上の状態で段階を定義する方が検証しやすくなります。
| 説明用の尺度 | モデルが返したと仮定する確率 | 計算 |
|---|---|---|
| 0:影響なし | 0.10 | 0 × 0.10 |
| 1:軽い影響 | 0.20 | 1 × 0.20 |
| 2:大きな影響 | 0.70 | 2 × 0.70 |
| 加重平均 | 確率の合計は1 | 1.60 |
上の0・1・2は説明のために置いた数値で、APIが常にこのスケールを使うという意味ではありません。また、段階が順序を持つことと、段階間の差が同じ意味を持つことは別です。1.6という平均値だけで判断せず、大きな影響の確率0.70も読む、という点が重要です。
「返金を求めているか」と「操作できないと訴えているか」を別々に聞く、といった使い方です。前者が0.92、後者が0.83でも矛盾しません。両方が成り立つ可能性があるからです。別のNoulの値を足して1にする必要はありません。
「返金を求めている確率」と「返金すべき確率」も別です。前者は文章の意味についての判定、後者は契約・請求実績・権限を含む業務判断です。命題を1行変えただけで、モデルに任せる責任範囲まで広がる点に注意します。
WHAT ZERO MEANS
いいえ。形式が正しいことと、判断が正しいことは別です。
候補が「承認・保留・却下」なら、その外の値を勝手に作らない。モデル出力の型と、許される値の範囲を固定します。
本当は「保留」なのに「承認」を選ぶことは残ります。スキーマに合法でも、業務としては誤りです。
“Our number is not empirical. Schema matching is guaranteed”
公式ブログの留保。0%は誤判断の実測値ではなく、スキーマ一致を根拠とする表現です。 [1]
さらに、候補のリストそのものが間違っていれば、型の保証では救えません。存在しない部署を開発者が候補に入れれば、それは「合法な選択肢」になってしまいます。出力形式・候補の品質・判断の正確さ・実行権限は、別々に管理する必要があります。
本稿では以降、「幻覚ゼロのAI」ではなく「出力を限定した判断モデル」と表現します。これは性能を低く評価するためではなく、保証の範囲を正しく扱うためです。
| 層 | 失敗の例 | 何で対処するか |
|---|---|---|
| 通信・API | タイムアウト、認証失敗、利用制限 | 期限、再試行方針、代替経路 |
| 形式・型 | 未定義の候補、壊れた構造 | 出力制約と受け取り時の検証 |
| 意味・判断 | 本当は請求問題なのに技術問題と分類 | 正解付き評価、保留、人の確認 |
| 業務・実行 | 分類は正しいが、権限のない返金を実行 | 認可、業務規則、承認、実行時チェック |
これは本稿によるシステム設計上の分解です。型の保証が主に取り扱うのは2行目です。2行目の失敗を減らせることは有益ですが、残り3行も解決済みだと解釈すると、運用設計に穴が空きます。
もう1つ重要なのは、「分からない」を合法な値として用意することです。候補が「承認・却下」だけなら、証拠不足でも二者択一になります。「要確認」を加えれば、判断が足りない案件を受け止める場所を設計できます。ただし候補を追加しただけで、適切に保留できる保証が生まれるわけではなく、保留の条件も評価対象です。
FAIR COMPARISON
いいえ。新しさを測る軸は、型の保証だけではありません。
OpenAIは2024年8月に、指定したJSON Schemaに出力を合わせるStructured Outputsを公開しています。同じ資料で、JSON内の値が間違うことは残るとも説明しています。したがって「既存LLMは形式が壊れる/Jevだけは壊れない」という二分法では、公平な比較になりません。 [9]
| 方式 | 主に制約するもの | 残る問題 |
|---|---|---|
| プロンプトでJSONを依頼 | 自然言語の指示 | 形式も内容も確認が必要 |
| JSON mode | 有効なJSONとしての形 | 特定スキーマへの一致とは別 |
| StrictなStructured Outputs | 対応スキーマへの一致 | 値の誤り、拒否・中断などの例外処理 |
| Jev | 限定された判断型と候補 | 誤分類、用途別の較正、業務ルールとの整合 |
Structured Outputsの記述は公式の基礎資料に基づきます。対応モデル・スキーマ・例外条件は利用するAPIの現行仕様で確認します。 [9]
「分類器なのだから価値がない」も言い過ぎです。技術の呼び名が昔からあることと、自然言語で定義した判断を低コストで何度も呼べることの実用価値は、分けて考えられます。一方、その価値は「新しい種類の知能」と名付けただけでは証明されません。
公正な試験では、既存LLMにも対応する厳格なスキーマ制約を設定し、同じ入力・候補・質問・品質基準を与える必要があります。OpenAIの現行ドキュメントでも、JSON modeとスキーマへの準拠を区別し、拒否や内容上の誤りへの対応を説明しています。[19]
さらに、最終的に分類ラベル1つだけが必要な仕事と、すべての候補の確率分布が必要な仕事は、分けて測ります。確率が不要なのに比較LLMだけに長い確率表を書かせると、実際に必要な仕事より重い比較になります。逆に、確率分布を使ってリスクを制御する仕事なら、ラベルだけ返す比較では機能が不足します。
候補が安定していて既存の分類器やルールで十分な品質を出せる業務なら、それも比較対象です。Jevを試す価値は、「分類器」という呼び名の新しさではなく、自社が必要とする判断品質、保留の扱いやすさ、応答時間、運用総費用で判定します。これは本稿の比較設計です。
HOW IT WORKS
長い回答を順番に書く仕事を捨て、狭い判断を並列に返すからです。
公式は、逐次的な文章生成ではなく、複数の判断に対する確率を並列に出す方式と説明しています。また、RLCDという訓練法で、判断と確率の較正を最適化すると主張しています。ただし、モデル規模・詳細な学習式・並列サンプラーの実装は、公開説明だけでは再現できません。 [1]
回答が長くなるほど増える、逐次生成の待ち時間を減らす方向の設計です。
同じ状況への複数の質問を、1回の呼び出しに積みます。公式は追加質問による遅延の増加が小さいと説明します。 [3]
合計・日付・口座番号・状態の処理までAIに考えさせない。公式の請求書フローもこの切り分けです。 [6]
日本から利用するときは、公式の70〜500msをそのまま期待値にしてはいけません。公式評価は、サービス拠点のある米国西海岸から行うことが多い、とブログが明記しています。日本からの通信、長い入力、同時実行、再試行まで含めて測る必要があります。 [1]
Doomのデモは画像を直接見ている例ではなく、構造化されたゲーム状態を入力しています。画素入力や人間と同じ視覚操作の実証としては扱いません。 [1]
| 区分 | 本稿で扱えること | 扱わないこと |
|---|---|---|
| 公開説明 | 判断型に限定した出力、並列に確率を返すという設計 | 外部説明だけで実装全体が分かったとすること |
| 訓練の説明 | RLCDという名称と、確率の較正を重視するという方針 | 未公開の損失関数や学習データを想像で補うこと |
| モデル内部 | 今回の公開資料で再現できる範囲は限られる | パラメータ数、ベースモデル、KVキャッシュの利用法の断定 |
| デモ | 特定入力・設定での動作を観察する材料 | 日本語・長文・高負荷でも同じ結果になるという一般化 |
特に、「文章を出力しない」からといって、入力を読む計算まで不要になるわけではありません。長い文書を理解する処理と、答えを長く生成する処理は別です。出力側の時間を縮めたとき、残る入力処理や通信が全体の大部分になることがあります。これはシステム全体の時間を分解した場合の帰結です。
また、質問を並列に答える設計と、独立した大量リクエストを無制限に受け付けることも別です。利用可能な同時実行数・制限・混雑時の遅延については、個別の契約と実測で確認する必要があります。
DESIGN THE QUESTIONS
解釈をAIに、確定的な計算と組み合わせをコードに戻します。
「この請求書は承認してよいですか」という1つの質問には、別々の仕事が混ざっています。金額計算、発注との対応、説明文の意味、契約の適用、承認権限などです。すべてをモデルに任せるより、何を判断させるかを明示した方が、誤りの位置と修正方法を追いやすくなります。以下は、本稿で組み立てた説明用の請求書確認フローです。
誤答しても、読み違い・計算違い・規程の解釈・権限確認のどこが原因か切り分けにくい。
足し算、登録口座の一致、承認上限はコードで確認。モデルには、説明の食い違いなど意味の判断を任せる。
請求合計が明細の合計と一致するか、発注番号が登録されているか、支払先口座が承認済みかは、構造化された正しいデータがあれば計算・照合で判定できます。この部分を自然言語モデルに再判断させると、決定的に処理できる仕事へ、不要な不確実性を持ち込みます。
次に、「備考の作業内容は発注目的と整合するか」「例外扱いを求める記述はあるか」など、意味の読み取りが必要な問いを用意します。判定基準には、該当例と非該当例を添え、情報不足の扱いも定義します。
同じ請求書について「例外の記載があるか」「目的と整合するか」を聞くなら、両者は入力を共有できます。しかし、「先ほど選んだ発注の契約条項を読み、その上で例外を判断する」なら、発注を特定して条項を取得する段階が先に必要です。業務上の依存関係は、並列出力だけでは消えません。
各質問がそれぞれ正しい型で返っても、「情報不足である」と「自動承認してよい」が同時に返れば、業務上は整合しません。どちらを優先するかは、コード側で規則にします。たとえば情報不足・登録情報の不一致・高額案件が1つでもあれば、他の判定が良好でも自動承認しない、といった設計です。
PRICE & LATENCY
条件付きの自社比較です。料金表、個別デモ、評価全体を分けて読みます。
普遍的なSLAや日本からの実測ではありません。入力・場所・処理条件をそろえて比較します。 [1]
| ご提示資料の個別表示例 | Jev | 比較LLM | この例からの計算 |
|---|---|---|---|
| 処理時間 | 0.114秒 | 8.566秒 | 約75.1倍 |
| 費用 | $0.000081 | $0.013880 | 約171.4倍 |
この個別例から、193.6倍/444.6倍は導けません。大見出しの倍率は別のワークフロー比較に由来する、と公式ブログが説明しています。トップページのデモを、その大見出しの「計算内訳」として示すのは不適切です。 [1][2]
USD・税別相当の単純計算。Jev単価は本稿確認時の$0.042 / MTokで固定。
初期値は計算例であり、Jevの実測自動化率や比較モデルの料金表ではありません。人の確認、誤判定の損失、通信、監視、再試行は含めません。質問・選択肢を含む実際の課金トークンはusage等で確認します。
出力無料でも、質問を増やせば入力は増えます。また、安くなったから毎ステップ呼ぶ設計に変えれば、呼び出し回数も増えます。単価が下がることと、月額や業務全体の費用が下がることは同義ではありません。
長期の価格持続性についても、公式は現段階で証明できないと留保しています。現在の安さを、数年先まで固定された契約条件として扱わないことが重要です。 [1]
1件の課金入力を2,000トークンと仮定すると、1回の入力費用は$0.000084です。同じ条件の10万回で$8.40、100万回で$84、1,000万回で$840。これは上記単価を使う算術例であり、契約料金や実際の請求額ではありません。
ただし、安価な判定のあとに10%を別モデルや人へ回すなら、その費用を加える必要があります。自動化の本当の成果は「単価」ではなく、最終的な処理品質を満たした状態で、1件を完了するまでに必要な費用です。再試行・監視・入力の準備・人の訂正も、別枠で記録します。
共有する本文をSトークン、1つの質問をQトークン、質問数をmとします。入力が単純に加算されるという仮定なら、別々の呼び出しではm×(S+Q)、一括ではS+m×Qです。S=1,800、Q=100、m=20なら、38,000対3,800トークンで10分の1になります。
これは入力共有の意味を説明する計算で、Jevの実測課金やキャッシュ仕様ではありません。実際には質問・候補の表現、上限、サーバー側の課金定義を確認します。「出力無料だから質問は何個でも無料」という解釈にもなりません。
READ THE EVALS
独立した正解ではなく、参照モデルの判断とどれだけ一致するかです。
公式ブログは4つの業務フローを公開し、GPT-6 AstraとFable 5.1の回答の平均を参照にする、と説明しています。参照は独立した人手の正解ではなく、比較用のモデル判断です。下表の具体的な集計値はご提示資料からの掲載であり、この改訂では基礎データを再取得・再集計していません。[1][5]
| 指標 | Jev | Sol | 読むべきこと |
|---|---|---|---|
| 総合の参照一致率 | 67.8% | 74.1% | 効率の優位と、最高一致率は別 |
| 請求書処理の参照一致率 | 61.8% | 79.1% | この領域では17.3ポイント差 |
数値の扱い:この表はご提示の公開評価集計を掲載しています。本調査では公式ブログに記載された評価の考え方を確認しましたが、各フローの詳細・動的グラフの基礎データの再取得と再集計は実施していません。Solは比較表のモデル名です。独立した人手正解に対する精度としては扱いません。 [5][6]
同じフローの中で、費用・時間・参照一致率を比較する材料になる。どの種類の判断で差が出るかを調べる入口になる。
Jevが業務上32.2%間違うとも、参照モデルが全件正しいとも言えない。日本語や自社の規程・例外処理で同じ結果になる保証もない。
モデルAが「保留」、参照モデルが「承認」と答えたとします。参照モデルにも見落としがあり得るなら、不一致だけではどちらが正しいか決まりません。逆に両方が「承認」で一致しても、実際には保留すべきかもしれません。一致率は比較の指標にはなりますが、正解を別に用意した評価とは役割が違います。
さらに、参照を特定系列のモデルで作ると、そのモデルの判断傾向に似た出力が有利になり得ます。公式も参照モデルの選び方による偏りを留保しています。これはJevが実はもっと正しいという証明でも、参照モデルが不適切という断定でもありません。判断が割れた案件を人手や業務上の確定事実で検証する必要がある、という意味です。[1]
モデルごとに自動実行の閾値を調整し、重大な見逃しを同程度に抑えた状態で、自動化できる件数・遅延・費用を比較します。保留を極端に増やせば自動処理だけの正答率は上がりやすいため、正答率だけでなく、全案件の何割を自動処理したかも必ず添えます。
たとえば「自動処理300件の正答率99%」と「自動処理900件の正答率98%」では、件数だけでも品質だけでも結論を出せません。残りを確認する人の負荷と、誤りの種類・損失を一緒に見ます。これは自社評価の設計例であり、公開評価の結果ではありません。
INDEPENDENT TEST
高速・低費用の報告はあります。一方、見逃しも確認されています。
Everyの記事は、速さを印象づける試験と、意図的な不備を検出する試験を別々に報告しています。「777判断・0.7秒」と「7件中6件」は、別の実験です。 [8]
文章の特徴を調べる質問を並列に実行。推定費用は約0.25セント=$0.0025。著者自身が、実運用前には精度の詳しい確認が必要と留保しています。
Fable 5.1は7件すべてを検知。Jevが見逃した同じ不備は、繰り返しでも見逃したと前版は報告しています。今回、その反復回数は再確認していません。
| 不備検出試験の報告 | Jev | Fable 5.1 / high |
|---|---|---|
| 1文章あたりの時間・中央値 | 0.35秒 | 8.83秒 |
| 仕込んだ不備の検知数 | 6件 | 7件 |
上記はいずれもEveryの試験報告。中央値の時間比は約25倍、推定費用比は約580倍と記事が説明しています。条件の異なる公式デモの倍率と混ぜません。 [8]
小規模な試験でも、「複数の文章への判定を短時間で返す設計に実用性がありそうか」を考える材料にはなります。一方、少数の仕込まれた不備だけでは、日本語の問い合わせ、請求書、監視アラートの精度は分かりません。試験の成功と、自社の運用条件での成功をつなぐ追加評価が必要です。
また、評価者が人手で不備を仕込んだ場合、その不備の種類と難しさが結果に影響します。文法上の違和感の検出が苦手でも、部署の振り分けが同じように苦手とは限りません。平均的な賢さより、「どの失敗を見逃したか」を読む方が、用途選びにつながります。
PROBABILITY & RISK
有用な材料ですが、数字に合わせて失敗が起きるかを自社データで確かめます。
確率の較正とは、たとえば「90%と予測した案件」を多数集めると、実際の正答割合もおおむね90%になる、という対応です。1件ごとの正しさを保証する言葉ではありません。較正は分類モデル一般の研究課題であり、Jevの登場で初めて生まれた考え方ではありません。 [10]
どの候補がどれくらい有力か。判断が割れているか、危険な候補に確率が残っているかを見る材料です。
Choice / Scoreが確率分布とは別に返す信号。単純に「最大の候補確率と同じ」「実際の正答率そのもの」と決めつけず、定義と挙動を確認します。 [3][4]
較正だけが良くても、判断能力が高いとは限りません。正負が半々のデータに、常に50%と返すモデルを考えると、集団としては較正していても、どの案件が正しいかを区別できません。これは説明用の反例です。
1〜5の尺度を例にします。「必ず3」と「1が50%、5が50%」は、どちらも平均は3です。しかし後者には最高リスクの5が半分あります。平均が同じでも、分布はまったく違います。
Scoreの分布を利用できるなら、平均値だけでなく「危険側の段階にどれだけ確率があるか」も確認します。以下はJevの実測ではなく、分布を読むための数学的な例です。
| 説明用のケース | 分布 | 平均 |
|---|---|---|
| A:中程度で一致 | 3が100% | 3 |
| B:両極に分かれる | 1が50% / 5が50% | 3 |
また、担当部署を選ぶChoiceには「その他」「情報不足」などの逃げ道を設計します。候補が全部不適切でも、どれかを選ぶしかない設計にしてしまうと、形式の保証がむしろ誤判断を通しやすくします。
説明用に1万件のイベントを考えます。本当の異常が100件、その95%を検知し、正常9,900件の99%を正しく正常と判定するモデルを仮定します。
| 本当に異常 | 本当は正常 | 合計 | |
|---|---|---|---|
| アラートを出す | 95件 | 99件 | 194件 |
| 出さない | 5件 | 9,801件 | 9,806件 |
全体の正答率は(95+9,801)÷10,000=98.96%です。しかしアラートのうち本当の異常は95÷194=約49.0%しかありません。異常がまれなら、正常のごく一部を誤報にするだけで、確認作業が増えます。これはJevの結果ではなく、平均精度と業務上の有用性が異なることを示す算術例です。
独立で同じ条件の試行を仮定すると、真の誤り率pで1,000件連続して誤りが出ない確率は(1−p)1,000です。この確率を5%とするpは約0.30%。つまり1,000件で誤りゼロでも、同じ仮定の下で小さな誤り率を十分に否定できるとは限りません。入力が偏ったり条件が変わったりすれば、さらに別の問題になります。
個別案件では、危険な誤りに厳しい閾値を設定し、集団では確率と実際の結果の対応を追います。較正・分類能力・誤りの損失・自動化率を、1つの数値にまとめないことが基本です。
SYSTEM DESIGN
LLMに計画と生成、Jevに狭い判断、コードに規則と権限を担当させます。
ここからは実装方針の提案です。Jevに業務全体を任せるのではなく、明確な選択肢を持つ判定を部品として使います。公式も、複合的な問いを分解し、結果をコードで組み合わせる設計を推奨しています。 [3]
| 相性のよい候補 | 最初に任せる範囲 | 任せきらないこと |
|---|---|---|
| 問い合わせの振り分け | 担当候補の提示・優先度の参考 | 重要な問い合わせの自動破棄 |
| 監視アラートの整理 | 関連性・要確認の判定 | 重大アラートの完全な見逃し防止 |
| 生成結果の確認 | 参照不足・不整合の検出補助 | 出典と事実の最終保証 |
| モデルの振り分け | 小さなモデルで十分かの判定 | 低確信時に安い経路へ固定すること |
これは設計の説明です。実SDKを呼ぶ実行コードではありません。閾値の数値を決め打ちせず、自社の評価結果から設定します。
if not authenticated or not authorized:
reject_request() # 認可はモデルの外
elif deterministic_rule_can_decide:
apply_business_rule() # 日付・金額・契約条件など
else:
decision = ask_jev(minimized_state, fixed_questions)
if api_failed or critical_action or ambiguous(decision):
send_to_review() # 失敗時に危険な自動実行へ進まない
elif validated_policy_accepts(decision):
execute_allowed_action()
else:
send_to_review()問い合わせの分類という低リスクな用途と、診断・治療・緊急度の判定のような高リスクな用途は、同じ採用テストでは扱いません。
生成結果を確認する役割で使うときは、回答文だけでなく、確認に必要な根拠もstateへ渡す設計が必要です。契約に存在しない条件かどうかは、契約を見ずには確認できません。分類型にしただけで、社内データベースや最新情報を自動参照できることにはなりません。
別モデルで生成し、Jevで確認する構成にも、共通の入力不足という失敗があります。生成側と確認側が同じ誤った資料を見ていれば、同じ結論にそろう可能性があります。二重化の価値は、モデルを2回呼んだ事実ではなく、異なる失敗を検出できた実績で評価します。
A COMPLETE WORKED EXAMPLE
「返金の相談だ」と分かっても、返金の実行条件は別に確認します。
ここでは、次の1件を説明用に使います。モデルの返答、確率、業務ルールは架空です。重要なのは数値そのものではなく、モデルが読む言葉と、システムが確認する事実を分けることです。
「昨日の支払いが2回引き落とされています。早く返金してください。サービス自体は利用できています。」
本稿の説明用に作成した問い合わせ。実在の顧客情報ではありません。
Jevには、相談の主題、返金希望の有無、サービスが使えないという訴えの有無などを聞きます。たとえば「請求窓口」「返金希望0.98」「利用不能の訴え0.03」という結果を受け取ったとします。ここで確認したのは、あくまで顧客が何を訴えているかです。
顧客の言う「2回」が、2回の売上確定なのか、仮押さえと売上確定なのか、別の注文なのかを、システムの記録で確認します。顧客が強く確信していても、文章からの分類確率が高くても、実際に二重請求があった証拠にはなりません。
| 得られた情報 | 分かること | それだけでは分からないこと |
|---|---|---|
| 返金希望の確率が高い | 問い合わせの要求内容 | 返金の妥当性・金額・実行権限 |
| 売上確定が2件ある | 台帳上の取引件数 | 同一注文か、どちらが取消対象か |
| 対象取引・規則・権限が一致 | 決定的な実行条件を確認できた | 別の申請と競合していないかなど、実行直前の状態 |
利用者の権限、処理対象の取引、上限、既存の返金、承認記録を確認します。AIが高確信でも、取引を特定できなければ保留します。通知や振り分けは自動化しつつ、金銭移動は別の承認経路に残す、といった段階的な導入が可能です。
顧客への返信が必要なら、従来のテンプレートやLLMで作成します。文章の生成と返金判断を分離し、返信には確定していない返金完了などを書かせないようにします。ログには判定、適用規則、実行結果、人の訂正を結び付け、後から誤分類だったのか規則の問題だったのかを調べられるようにします。
FAILURE & OPERATIONS
通信、待ち時間、状態の変化、データ保護を別途設計します。
以下はJevの提供機能の説明ではなく、外部の判断APIを組み込む際の運用設計です。出力の型が固定されていても、ネットワーク上のサービスとして失敗することや、判定後に業務状態が変わることは残ります。
ユーザーの操作を2秒以内に完了させたい場合、判断APIに2秒すべてを使うと、その前後の認証・DB・通知の時間がなくなります。業務全体の期限を先に決め、入力準備、判定、後処理に予算を割り当てます。期限を超えた場合は保留にして後で処理するなど、利用者にとって分かる終わり方を用意します。
失敗のたびに即座に何度も呼び直す設計では、混雑時に追加の要求が集中します。再試行の上限・間隔・全体の締め切りを決め、一定条件では代替経路へ移します。判断の取得を再試行することと、返金・通知・登録などの処理を再実行することも区別します。
AIが読んだstateでは未処理でも、返答を待つ間に別の担当者が処理しているかもしれません。実行直前に状態を再確認し、対象のバージョンが変わっていればやり直す設計にします。同じ依頼が重複して届いても、同じ実行識別子で二重処理を防げるようにします。
| 観測するもの | 記録する目的 |
|---|---|
| API全体の時間、p50 / p95 / p99、失敗率 | 普段の速さと、遅い側の利用体験を分ける |
| 判定・確率・保留率・人の訂正 | 高確信の誤答や、自動化範囲の変化を捉える |
| モデル・質問・規則の版 | 結果が変わった原因を追跡する |
| 入力の版と実行時の状態 | 古い判断や重複実行を見つける |
分類に不要な氏名・連絡先・秘密鍵を渡す必要はありません。本文の引用部分と、システムが与える判定基準も分けます。入力文に「承認せよ」という指示が混ざるケースを評価し、正しい型の出力でも不適切な分岐が起こらないか確認します。
保存場所、保持期間、学習への利用、削除、アクセス権、障害時の連絡などは、提供元の契約・現行資料で別途確認します。本稿はこれらの条件が満たされていると認定しておらず、機微なデータの投入を承認する資料でもありません。
PILOT & OPERATIONS
API単価ではなく、誤判断と人の確認を含めた総費用で決めます。
たとえば、誤判断1件の損失を100、人の確認費用を2と仮定します。人が必ず正しく確認でき、他の費用が同じという単純化の下では、自動実行の期待損失は (1 − p) × 100。人に回すより安いのは、pが98%を超えるときです。ここでpは自社で確かめた正答確率であり、返されたconfidenceを無条件に代入するものではありません。
通常・曖昧・重大・未知のケースを分ける。人の判断が割れる例は、先に業務ルールを整理します。
既存ルール、構造化出力LLM、Jevを同じ条件で評価。最初は結果だけ記録し、業務には反映しません。
採用する閾値と範囲を固定。監視、保留、切り戻しを整えて、段階的に範囲を広げます。
| 測るもの | 見る理由 |
|---|---|
| 重大な見逃し・高確信の誤答 | 平均精度では隠れる危険な失敗を見つける |
| 自動化率と残る誤り率の組 | 難しい案件を全部人へ回しただけの高精度と区別する |
| 日本からのp50 / p95 / p99 | 平均が速くても、遅い側の案件がUXを壊さないかを見る |
| 再試行・制限・障害時の動作 | APIが失敗しても、二重処理や危険な実行を起こさない |
| データ保持・学習利用・保存先・SLA | 機密をstateに入れてよい契約と運用かを確認する |
ログには、モデル・質問・規則のバージョン、返った判断と確率、実行した分岐、人の修正結果、処理時間を残す設計が有用です。一方、入力の機密情報をそのまま監視ログに複製しないようにします。個人情報や医療情報を使った試験より先に、合成データや十分に匿名化したデータで評価を始める方針です。
失敗例を見て質問や候補の説明を直すこと自体は有効ですが、同じ問題だけで合格率を測り続けると、その問題に合わせただけなのか区別できません。調整に使うデータと、最後に判定するために残すデータを分けます。普段の案件、境界例、未知の内容、重大な失敗例を、それぞれ含めます。
新しいモデルへの更新も同じです。最新版という名前だけで自動切り替えせず、使用した版や取得できる識別情報を残し、代表データと失敗例で再確認します。質問の文面や候補の追加も、業務の振る舞いを変える変更として記録します。
担当者は、「何件を人へ戻すのか」「重大な見逃しを何で検知するのか」「判定APIが落ちたら誰が何をするのか」「更新後にどのテストで止めるのか」を説明できる状態にします。導入可否は性能表の印象ではなく、その運用を含めた小さな実証で決めます。
TIMELINE & EVIDENCE
話題性は入口。発表日・反応・検証済みの性能を分けます。
@CompleteSkepticの発表投稿を検索で確認。提示資料の18:17 UTCは、日本時間では翌16日03:17です。この時刻・反応数は本調査での直接再確認済みとは扱っていません。 [14]
Hacker Newsの最新スコア・コメント数は、今回の再検索では直接確認できていません。前版やご提示資料のスナップショットを現在値として再掲せず、議論の論点と性能の根拠を分けます。 [15]
分類・振り分け・確認を細かく挟めることへの関心。評価すべきは実際の時間短縮と処理品質です。
形式保証を正しさの保証と受け取らせていないか。分類器であること自体への評価とは分けます。
推論設定、入力長、ネットワーク、参照ラベルをそろえた比較が必要です。
上の3区分は、提示資料と確認した発表・評価から本稿が整理した論点です。X利用者全体の意見分布や合意を測定したものではありません。
ここからは本稿の分析です。チャットの流暢さを競う見出しが多い中で、「文章を生成しない」という制限は、設計の違いを短く伝えられます。そこへ速度・費用の大きな倍率と「0%」という表現が重なると、実際の保証範囲より広い意味で受け取られやすくなります。
ただし、話題になった理由と技術の価値は別です。表示数が多いことは、実用性の否定にも肯定にもなりません。「ただの分類器だ」という反応にも、「分類できれば業務を全面自動化できる」という反応にも、必要な品質・費用・責任範囲を省略する危険があります。
QUESTIONS PEOPLE ASK
「できること」だけでなく、どこまでを意味するかを確認します。
返信そのものの生成と、その前の判定は分けて使えます。たとえば相談の主題や要確認の有無をJevで判定し、返信はテンプレートやLLMに任せる構成です。返信文の出来栄えをJevの文章生成能力として評価する、という比較にはなりません。
候補外の値を作らないことと、未知の内容を見抜くことは別です。「その他」「情報不足」を用意しても、適切に選べるかは評価が必要です。分類体系が古い、候補が重複している、必要な事実がない場合も確認します。
自社条件で、confidenceの高い回答が実際にどれだけ正しいかを確認してから、実行可能な用途と閾値を決めます。確率が高くても、権限不足・金額上限・状態の競合があれば実行しません。confidenceは認可証明ではありません。
並列化によって逐次生成の待ち時間を減らせるという説明と、無制限・無料という保証は別です。質問や候補を増やせば入力が増え、依存した質問は次の呼び出しを必要とする場合があります。実測には質問数・入力長・同時実行数を添えます。
今回の公式Doomデモは、構造化したゲーム状態を渡すものです。画像そのものを入力して画面を理解する実証ではありません。ゲームでの動作と、一般の画面操作に必要な能力は分けて読みます。[1]
同じ入力形式と戻り値を実装できても、同じ判断品質・確率の較正・応答時間になるとは限りません。公式の公開リポジトリにもSDKやLLM互換アダプターがありますが、それをJev本体の重みの公開と読み替えることはできません。[20]
将来の製品投入時期や勝敗は、この公開情報から断定できません。同じ品質での費用・遅延・使いやすさ・提供条件が変わったときに比較を更新します。アプリ側は、モデル名に依存した処理を広げ過ぎず、入出力と採用テストを残す設計が考えられます。
SAVE THE ACCEPTANCE CRITERIA
デモの感想ではなく、採用条件と未確認事項を持ち帰ります。
以下は自分たちの検証準備を記録するための確認欄です。チェックが多いほどJevが安全、という点数ではありません。確認した証拠がどこにあるか、未確認なら誰がいつ調べるかを、別の記録に残してください。
合格したケースだけでなく、採用しなかった理由や保留した条件も残します。モデルが更新されたとき、最初から議論をやり直すのではなく、前の条件と比較できます。特に質問の文面・候補の定義・正解ラベルの作成者を残すと、モデル以外の変更も追いやすくなります。
【Jev / 判断APIの検証メモ】 確認日・評価担当: 対象用途・任せない処理: モデル識別情報・SDK・質問・規則の版: 入力言語・長さ・候補数・質問数: 比較対象と設定・測定場所・負荷: 正解データの作り方・件数・評価対象外: 自動化率・保留率・重大な見逃し・高確信の誤答: p50 / p95 / p99・失敗率・再試行数: API・人の確認・訂正を含めた総費用: データ保持・学習利用・契約の確認状況: 障害時の代替経路・停止条件・切り戻し: 結論:継続検証 / 範囲を限定して採用 / 見送り 未確認事項・次の確認担当・期限:
コピー操作が使えない環境でも、メモ本文を選択してコピーできます。
BOTTOM LINE
「誤らないAI」ではなく、「安く・速く・制約付きで呼べる判断部品」です。
JevをLLMの全面的な置き換えとして見ると、文章を書けないことが制限になります。逆に、既に選択肢が決まっている高頻度の判断では、説明文を作る必要がないことが強みになり得ます。現状は早期アクセスで、PythonとJavaScriptのSDKへの案内が公開されています。 [1][4]
速さが効く場面を選び、自社データで精度と較正を評価する。人へ戻せる、限定された範囲から使います。
大手モデルより判断が常に正しいこと、価格が長期に持続すること、日本からも同じ応答時間になることは、公開情報だけでは確立していません。
次に追うべきは、独立した正解付き評価、日本語・長文・重大案件での挙動、日本からの遅延、価格と運用条件です。インターフェースの模倣が容易でも、同じ判断品質と確率の較正を同じ費用で出せるかは別の問題です。公式の互換アダプターも、Jev本体の公開ではありません。 [16]
この3つを分ければ、Jevの速さと安さを評価しながら、過大な期待も過小評価も避けられます。導入判断の物差しは、派手な倍率ではなく、自社の仕事をどれだけ安全に、少ない総費用で進められるかです。
使いどころを判断するためには、まず「何を出力させたいか」を考えます。新しい文章・コード・計画なら生成モデルが必要です。決めた候補の中の選択なら、判断専用の部品を比較する余地があります。すでに正確なルールで決められるなら、AIを挟まない選択も残ります。
その上で、価格表より先に誤りの扱いを決めます。安い判断を何度も呼べることが利益になるのは、呼ぶ場所と止める条件が明確なときです。低リスクの限定運用で得られた証拠を積み、用途を広げるたびに採用基準を見直す、というのが本稿の実務上の結論です。
SOURCES & METHODOLOGY
一次資料、第三者の試験報告、提示資料の数値、編集上の提案を区別しています。各見出しのリンクから原文を確認できます。
2026-09-17再検索。発表本文、出力の制約、RLCD、価格・遅延、倍率の留保、Doomの入力を検索索引で確認。索引のページ内日付はSep 14, 2026。投資家の対外発表日は9月15日。
今回の直接取得は発表前の旧ページに戻るため、現行トップの数値を再確認した根拠には使用していません。本文の個別表示値はご提示資料のスナップショットとして計算。
公式仕様への参照先。今回、詳細ページの直接再取得は不成功。細かな型仕様はご提示資料と前版の記載を区別して継承し、基本の呼び出し形は[18]で確認。
公式ドキュメント索引への参照先。今回の再取得は不成功。SDKの公開有無は[18][20]で別途確認。
公式評価への参照先。今回、動的グラフと基礎データの再取得・再集計は未実施。67.8%等はご提示資料の値。参照モデルの平均を使う評価思想は公式ブログ[1]で確認。
公式の請求書評価ページへの参照先。今回の直接再取得は不成功。本文の追加の請求書フローは、本稿の説明用設計例です。
公式のセキュリティ評価ページへの参照先。今回の再取得・APIでの再実行は行っていません。提供元の評価対象を確認するためのリンクです。
2026-09-15公開の記事の存在・著者・導入を検索索引で再確認。全文の再取得は不成功。試験の細かな条件と数値は前版・ご提示資料の報告として掲載し、新規実測とは扱っていません。
2024-08-06。JSON modeとスキーマ一致の違い、制約デコード、値の誤りが残ることを説明する基礎資料。2026年のモデル別全仕様を示す資料ではありません。
ICML 2017 / PMLR。確率の較正という概念の背景。JevやRLCDそのものを評価した論文ではありません。
2026-09-15。DCVC主導の4,000万ドルのシード投資を、今回も投資家自身の発表で確認。独立した性能評価ではありません。
経歴の詳細ページは今回再取得していません。会社ホームの取得可能なページに共同創業者の紹介があります。創業者の自己紹介と性能の証拠は別扱いです。
2022年のInstructGPT論文。今回もarXivの著者一覧でDiogo Almeidaの共著を確認。Jevの技術論文ではありません。
発表投稿への参照先。今回、Xの表示数・いいね・リポスト・ブックマーク数は直接再確認できていません。最新の性能・採用実績の根拠には使用していません。
公開議論への参照先。今回の最新スコア・コメント数の直接取得は不成功。前版のスナップショットを現在値として再掲していません。
互換アダプターの用途は公式GitHub組織一覧[20]で確認。LLM APIをTypeSafe風のインターフェースで使うためのもので、Jev本体を公開したという意味ではありません。
今回、検索索引で本文構成を確認。冒頭の1枚ボード、詳細本文、章ごとのSO WHAT、実務の確認欄、出典という読み順を参考に増補。
stateとquestionsを渡し、Choiceの結果を取得する公開例を検索索引で確認。APIへのアクセス権を取得したり実行したりはしていません。
JSON mode、スキーマ準拠、拒否・誤りへの対応を確認。具体的なモデル別の品質・価格を比較した実験ではありません。
Python / TypeScript・JavaScript SDKと、LLMを利用する互換アダプターの公開を確認。Jevのモデル重みの公開を意味しません。