⚙️技術仕様
1B
パラメータ
26
層
1024
コンテキスト長
アーキテクチャ: デコーダ専用Transformer、GeGLU活性化、RMSNorm、Multi-Query Attention
訓練環境: TPU v6e × 2048枚で100kステップ
🛡️プライバシー保証
ε ≤ 2.0, δ ≤ 1.1×10⁻¹⁰
1024トークン単位での厳格な差分プライバシー
- ✓訓練データの記憶を完全防止
- ✓DP-SGD + Poissonサンプリング
- ✓50トークン再現テストで記憶検出なし
📊性能評価
- ✗最新SOTA（Llama 3.1、Gemini）より低性能
- ✗非DPのGemma3 1Bより低スコア
- ✓5年前の非DPモデルと同等性能
- ✓実務上十分な精度を提供
⚖️「プライバシー税」による性能低下は避けられないが、機密データ処理では安全性を優先
🏥想定用途
- 電子カルテの安全な要約・QA
- 取引記録のプライベート分析
- 契約書の機密文書生成
- オンプレミスでの規制要件対応