WHAT HAPPENED
何が発表されたのか
Multiverse Computingが2026年8月25日、Hugging FaceブログでQuantization-Aware Healing（QAH）を公開した。論文は arXiv 2608.20953。構造圧縮のあと4bitにしたモデルを、どう回復するか、の実務レシピ。
- 教師は回復済み60B bf16ではなく、圧縮前の元モデル GPT-OSS 120B
- 学生は60B MXFP4。自分のbf16を9指標中7で上回る
- 最大の伸びはAA-LCR 42.7対35.3（+7.4）、AIME 2025 76.3対70.7（+5.6）
- LiveCodeBenchは66.5で、自前bf16の65.5だけでなく120B教師の66.0も超える
TECHNICAL SPECS
手法：教師をどこに置くか
一本の変更で天井が外れる。学生が見るのは回復済みbf16ではない。圧縮前の元モデルである。
- 教師 — 元の GPT-OSS 120B（圧縮前）。回復済み60B bf16ではない
- 学生 — 構造圧縮した60BをMXFP4にした4bit
- QAH — 元教師の出力分布を、量子化学生へ蒸留する回復
- 対QAT（GPT-OSS 9B MXFP4） — QAHは約100ステップでピーク54.9を付けて保持。QATは約700で54.6、ステップ1,200までに約19ポイント低下
教師は回復済み bf16 ではなく、元の 120B
× 回復済み 60B bf16 を教師にしない
4bit学生が、同じ設計の16bit（自前bf16）に7/9で勝つ。量子化は損失の後処理ではなく、元教師への再蒸留になる。
LEADERBOARD
9指標：4bit学生が7で勝ち、2で負ける
比較相手は同じ60B設計のbf16チェックポイント。数値が一次情報にあるものだけを置く。
60B MXFP4（QAH） vs 自前 60B bf16 — 7/9
WINS 74bit が上
AA-LCR 42.7 vs 35.3（+7.4）
AIME 2025 76.3 vs 70.7（+5.6）
Aider 40.9 vs 38.2
τ²-bench 61.7 vs 59.4
GPQA Diamond 67.4 vs 65.7
IFBench 59.9 vs 58.4
LiveCodeBench 66.5 vs 65.5（教師120Bは66.0）
TRAILS 2bf16 が上
MMLU-Pro 73.8 vs 74.0（−0.2）
SciCode 34.2 vs 35.6（−1.4）
| 指標 | 60B MXFP4（QAH） | 60B bf16 | 一次情報の差 |
|---|---|---|---|
| AA-LCR | 42.7 | 35.3 | +7.4 |
| AIME 2025 | 76.3 | 70.7 | +5.6 |
| Aider | 40.9 | 38.2 | |
| τ²-bench | 61.7 | 59.4 | |
| GPQA Diamond | 67.4 | 65.7 | |
| IFBench | 59.9 | 58.4 | |
| LiveCodeBench | 66.5 | 65.5 | 教師120Bは66.0 |
| MMLU-Pro | 73.8 | 74.0 | −0.2 |
| SciCode | 34.2 | 35.6 | −1.4 |
差の列は、一次情報に明示されたものだけ。空欄は埋めない。
DIFFERENCES FROM EXISTING
既存の類似手法と何が違うポイントか
compress-then-heal自体は既にある。違いは、回復の教師をどこに置くか。
従来・類似QAT / 回復済み教師
- 構造圧縮のあと量子化し、回復済みbf16を天井にしがち
- QATはタスク損失で低精度に耐えるよう再学習する
- GPT-OSS 9B MXFP4では、QATは約700ステップでピーク54.6、ステップ1,200までに約19ポイント低下
今回QAH
- 教師は元のGPT-OSS 120B。回復済み60B bf16ではない
- 4bit学生が同じ設計の16bitを7/9で上回る
- 同じ9B MXFP4条件で、QAHは約100ステップでピーク54.9を付けて保持
NEWNESS & PRICING
最近出た新しい手法か
はい。QAHの公開は新しい。 Hugging Faceブログは2026年8月25日。論文は arXiv 2608.20953。価格表は一次情報に無いので置かない。
置くべきなのは手順の位置だけ。compress-then-healの教師を、回復済みではなく元モデルにする。9B MXFP4の対照では、QAHは約100ステップで54.9、QATは約700で54.6のあと低下する。
FOR ENGINEERS
エンジニア向け示唆・どう切るか
- 量子化を再蒸留の機会にする — 日本デスクの結論。4bit化を後処理の損失にしない
- compress-then-heal の教師は元モデル — 回復済みbf16を教師にしない。今回の教師はGPT-OSS 120B
- 勝ち負けを分ける — 7勝はAA-LCR・AIME 2025・Aider・τ²-bench・GPQA Diamond・IFBench・LiveCodeBench。負けはMMLU-Pro −0.2、SciCode −1.4
- LiveCodeBenchは教師も超える — 学生66.5、自前bf16 65.5、120B教師66.0
- QAT対照は9B MXFP4 — QAH 54.9（約100ステップで保持）、QAT 54.6（約700、その後ステップ1,200までに約19ポイント低下）
注意： 9指標すべてで勝っているわけではない。MMLU-ProとSciCodeは自前bf16が上。QAT比較はGPT-OSS 9B MXFP4の条件。論文 arXiv 2608.20953 への追加の主張はしない。
TAKEAWAY
半分に潰して4bitにしたモデルが、同じ設計の16bitより賢い。教師は回復済みbf16ではなく元モデル。量子化を再蒸留の機会にする。
掲載：2026-08-25 ｜ 本スライド：2026-08-25 ｜ Day Slide No.390