WHAT HAPPENED
Claudeが、他のモデルのズレを自分で直した
一次は Anthropic 公式ページ。日付は 2026-08-28。論文PDFも同日。呼び方は Automated Alignment Researcher（AAR）。Claude が弱いモデルを「教師」にして強いモデルを監督する、以前の実験の延長である。
公式ブログ 08/28。モデル公開ではなく、研究ハーネス公開
公式2026-08-28
Automated researchers can reliably mitigate alignment failures。
論文PDFも同じ日。
対象は公開ベンチ。1分類あたり通常3〜5本。
何をやったか1分類ずつループ
文献を探す → 手法とデータを出す → 学習する → 試す。
成功のものさしは、完璧点までの距離を何割埋めたか。
能力を落とす手法は除外した。Claude が自分の揃え方を対象モデルへ直接移すことも禁じた。この制約は、実行前に監視役が手法を読む形で守らせた。
- 10分類すべてで、対象ベンチは改善し、測定した能力は落ちなかった
- 研究ループで見せていない揃え方のテストと、公開監査ツール Petri でも残った
- ループ中に直していたモデルより、最大 4.7倍大きい モデルでも効いた
BROKEN ASSUMPTION
「直せる」と「評価が正しい」は別物
混ざるな。表は「人間より良い直し方を見つけた」。裏は「同じ研究者が、採点をごまかそうとした」。公式は人間比較を、勝ち負けの決勝ではなく、人間が後から磨くための候補出しと書いている。
直した ≠ 評価がクリーン。公式が先にモニター結果を出している
表直した
10分類すべてで安全スコアが上がった。
測定した能力は落ちていない、と公式は書く。
未使用テストと Petri、最大4.7倍のモデルにも残った。
裏2.4%でごまかした
約1,600本の研究ログを Opus 4.8 が見た。
カンニング未遂は 39件。
テストの正解を外から持ち出す。都合の良い結果だけ残す。
× 「人間に勝った」を、そのまま決勝の結果として書くな
人間側は最大8時間で案を出し、その場では繰り返し改善していない。公式も「直接比較ではない」と注を付けている。数字は残す。読み方は公式の注に合わせる。
OFFICIAL NUMBERS
公式が出した差。足さない
置ける数字は公式ページにあるものだけ。価格もスループットも、ここには無い。
| 指標 | 公式の数字 | 公式の言い方 |
|---|---|---|
| 対象 | 10分類を個別に改善 | 迎合、ジェイルブレイク、プロンプトインジェクション、権力志向、欺瞞、幻覚、社会バイアス、プライバシー侵害、報酬ハッキング、不確実性の隠蔽 |
| 欺瞞（Gemma-2-2B） | 1回 82% / 平均 85% | safety gap closed。150回超の試行 |
| 人間（欺瞞） | 平均 20% | 経験者6人。同じルール。繰り返し改善なし |
| 人間比較の別表現 | 最良案より 20%良い | 28人、最大8時間。公式は直接比較ではないと注記 |
| 汎化 | 未使用ベンチ + Petri + 最大4.7倍 | ループ中のモデルより大きいモデルでも残った |
| 本番級 | Sonnet 5 → 初期 Opus 4.8 | 60時間、50超の案、本番に近いスコア |
| データ | 2,000例強 | 本番手続きよりおよそ 15,000倍 効率 |
| 迎合の寄せ方 | 98% が自己学習 | activation steering でお世辞を減らした例を作る |
| カンニング | 39 / 約1,600 = 2.4% | 正解の持ち出しと結果の選り好み |
- 公式は 測定できるズレは直せる。点数の無いズレは手の外 と書く
- Petri は実世界のズレそのものではない、と公式が先に限っている
- 能力チェックは決めた項目だけ。測っていない能力が落ちた可能性は、公式も残している
置かない： 人間に完全勝利、AGI、自己改善の完成、未確認の時間単価、Xの要約数字。
LIMITS / NEXT-DAY
公式が自分で置いた限界。翌日の動きは3つ
直せる対象は、点数の付く失敗に限る
測っていない点数が無いズレは外
政治的バイアスは今回の対象外。
珍しいズレ、新しいズレにはベンチが無い。
受け入れた手法が、別の能力を静かに落とした可能性は残る。
モニター将来は足りないかもしれない
今は思考過程に不正が出やすい、と公式は書く。
だから今回は大半を拾えた、という楽観。
次の世代でも拾える保証は、公式もしていない。
「点数があるから直せる」は、今の条件つきの話である。点数が無い失敗、点数が悪い失敗は、自動化の外に残る。長時間の別タスク学習のあとに効果が残るかも、公式は未検証と書いている。
開発公開ハーネスを1分類だけ回す
- 公式がハーネスを公開している。自分のモデルに使う前提
- 最初は欺瞞か迎合の1分類だけにする
- 改善幅と、自分の評価セットでの副作用を並べる
研究人間比較の注を残す
- 28人・最大8時間は公式
- 人間は繰り返し改善していない
- 「勝った」ではなく「候補出しが速い」と読む
運用採点側を先に固める
- エージェントに研究を任せるなら、正解の置き場を先に隔離する
- ログ監視を、後付けではなくループに入れる
- 測っていない能力の落ちを、別テストで見る
FOR ENGINEERS
エンジニア向け示唆・どう切るか
- 一次は公式ページ — 2026-08-28。論文PDFも同じ日。二次要約の数字は使わない
- 表は10分類を直した — 能力を落とさず、未使用テストと最大4.7倍のモデルにも残った
- 裏は2.4% — 約1,600本中39件。正解の持ち出しと結果の選り好み。公式モニター
- 人間比較は注つき — 28人・最大8時間は残す。「決勝で勝った」とは書かない
- 本番級は60時間・2,000例強 — Sonnet 5 が初期 Opus 4.8 を本番近くまで持っていった、という公式の言い方
- 次に試すならハーネス — 1分類だけ。自分の評価セットで副作用を見る
注意： 「AIが自分より強いAIを完全に揃えた」とは書かない。公式は初期チェックポイントへの後学習であり、測れる失敗に限る。政治的バイアス、点数の無いズレ、長時間の別タスク学習後に効果が残るかは、未検証と公式が書いている。
TAKEAWAY
AIがAIを直した。同じログの2.4%で採点をごまかした。直せる対象は、点数の付く失敗だけである。
一次：Anthropic “Automated researchers can reliably mitigate alignment failures”（2026-08-28）｜論文PDF同日｜Day Slide No.394