AIコーディング比較 ClaudeとCodexを混ぜると強くなるのか
良いものを2つ混ぜれば、もっと良くなるはずだ。その直感を、同じ物差しで測り直しました。
前回: 同じECデータから売上機会を探すAI — 設計思想はどう分かれるか
「優れた成果物が2つあるなら、良いところを混ぜれば、もっと良いものができるはずだ」——直感的には、誰もがそう考えるのではないでしょうか。
しかし完成品同士の融合は、長所を足すだけの作業ではありません。
一方の設計を採れば、もう一方が守っていた前提が崩れることもあります。
私たちMIFは、Claude Code(モデル: Fable 5)とCodex(モデル: GPT-5.6-Sol、reasoning effort: ultra)に同じ課題を与えて競わせる実験を続けてきました。
第2回はコネクトフォーの対戦ボット、第3回はECの売上機会を探す業務ツール。
今回はその先にある問い——2つのAIの成果物を融合した「Mix」は、単体を超えられるのか——の検証です。
結論を先に言うと、答えは「ほとんどの場合ノー。ただし1回だけ、わずかにイエス」。
そしてこの明暗の分かれ方にこそ、実務のヒントがありました。
AI成果物の融合「Mix」はどう作られるのか
まず工程から。
Mixは2つの成果物を機械的にくっつけたものではなく、2つのAIが相談しながら書く共同執筆でもありません。
次の4段階を踏みます。
- soloを2本完成させる — ClaudeワーカーとCodexワーカーが、互いの途中経過を見ずに同じ課題を最後まで作り切ります
- 司令塔が比較する — レーンを取り仕切るAI(司令塔)が2本の完成品を読み比べ、強み・弱みを分析します
- 融合して第3の成果物を作る — どちらを土台にし、何を移植し、何を守るかを決めてMixを実装します
- 同じ物差しで再評価する — soloと同じ審判・同じ基準でMixを採点し、単体と比較します
実験は2レーン体制で、レーンAはClaude、レーンBはCodexが司令塔を務めます。
各レーンでsolo 2本とMix 1本、計6つの成果物が生まれました。
ここで押さえておきたいのは、Mixもまた一つの新しい変更案だという点です。
機能を増やしても、元の成果物が保っていた一貫性や安全策が崩れれば、全体としては弱くなり得ます。
融合の価値は、長所を見つけることだけでは決まりません。
何を壊してはいけないかを決め、同じ物差しで測り直して初めて判断できるものでした。
Round 1: 決勝の勝者も、最強soloには届かなかった
コネクトフォー対戦(Round 1)の決着は、人間の採点ではなく、共通の審判プログラム上の対戦成績です。
実装後に都合よく調整できないよう、非公開の初期盤面で先手後手を入れ替えながら対戦させました。
結果は明快でした。
どちらのレーンでも、Mixは自レーンの最強soloに勝ち越せませんでした。 ほぼ同格のエンジン同士を融合しても、盤上の強さは底上げされなかったのです。
一方、両レーンのMix同士をぶつけた決勝では、Claude/Fable主導Mixが57勝、Codex主導Mixが35勝、引き分け8と、大きく差が開きました。
この2つの結果は矛盾しません。
決勝が示すのは「2本のMixのどちらが強いか」であり、レーン内比較が示すのは「融合で最強soloより強くなったか」です。
決勝の勝者であっても、融合による上積みがあったとは限らない——Round 1では、Mixの勝敗とMixの有効性を分けて読む必要がありました。
対戦ボットでは、2本のsoloが同じ盤面で同じ勝ち筋を追います。
似た能力を重ねても補完よりも競合が起きやすく、融合の過程でかえって一貫性が崩れる下振れの方が目立ちました。
もっとも、これは今回の結果から立てた仮説であり、原因を証明したものではありません。
Round 2: 実務ツールでは、明暗が分かれた
Round 2の課題は、ECの在庫・注文・顧客データから「今週打つべき施策」を根拠付きで提案するツールです。
勝ち筋が一つに定まるゲームと違い、検出の幅・データ品質・安全性・提案の実行しやすさを同時に扱うため、異なる設計の強みを移す余地がある課題でした。
全6成果物を凍結したうえで、新規生成した非公開データで採点する評価(Eval3)を行ったところ、興味深い分岐が起きます。
- Claude/Fable主導Mixは、同レーンの最良soloをEval3で17.29点下回りました。 土台の片方よりは改善したものの、レーンで最強だったsoloには遠く及びませんでした。
- Codex主導Mixは、同レーンの最良soloをEval3で1.15点上回りました。 2ラウンドを通じて、Mixが自レーンの最強soloを超えたのはこの1件だけです。
念のため、非公開データを新しく生成して採点し直した検証(Eval4)でも、同じ差を計算しました。
Codex主導Mixの増分は1.25点。
方向は変わりませんでした。
ただし、Eval3とEval4は別々の物差しです。
両者の点数を横断した差分計算はしていませんし、Eval4は同じ成果物への再採点なので、独立した課題が一つ増えたわけでもありません。
中身を見ると、Codex主導Mixは、同レーンのどちらのsoloも拾えていなかった検出タイプ(クロスセル提案)を融合の過程で拾えるようになった一方、データ品質まわりの評価を落とし、差し引きでわずかにプラスという内容でした。
しかも、レーン内では最良になったものの、全候補の首位は別レーンのsoloです。
融合しただけで頂点に立ったわけではありません。
Fable主導Mixの大敗にも補足が要ります。
差の一部には、提出形式による減点や安全性採点の仕組み上のペナルティなど、融合の中身以外の要因も含まれます。
とはいえ、それを考慮しても最良soloに届かなかったという結論は変わりません。
そして、融合は無料ではありません。
比較・移植・再検証という工程が丸ごと追加されます。
使用量を計測できたCodex司令塔レーンでは、Mixはそのレーンのsoloに比べて時間もトークンも数倍かかりました(Claude司令塔レーン側は未計測です)。
その対価で得られた上積みは、最大でもEval3で1.15点でした。
MixとsoloのA/B成績対比(Eval3・Eval4)
| ラウンド | 評価名 | レーン(司令塔) | 最強solo vs Mix |
|---|---|---|---|
| Round 1 | referee対戦(非公開盤面) | A(Claude) | Mixは最強soloを超えず |
| Round 1 | referee対戦(同上) | B(Codex) | Mixは最強soloを超えず |
| Round 1 決勝 | referee対戦(Mix同士) | A対B | Claude/Fable主導Mix 57 – 35 Codex主導Mix(引分8) |
| Round 2 | Eval3 | A(Claude) | Mixは最良soloを17.29点下回る |
| Round 2 | Eval3 | B(Codex) | Mixは最良soloを1.15点上回る |
| Round 2 | Eval4(新seed再採点) | B(Codex) | Mixは最良soloを1.25点上回る(Eval3と同方向) |
ClaudeとCodexを混ぜると強くなるのか — 成り立った唯一の条件
2ラウンドを通して見えてきたのは、次の仮説です。
融合が効くのは、2つの成果物の能力が補完関係にあるとき。 Round 2でCodex主導Mixがわずかに上積みできたのは、同レーンのどちらのsoloも拾えていなかった検出タイプ(クロスセル提案)を、融合の過程で拾えるようになったからでした。
足りないピースがはっきりしていれば、融合には意味が生まれます。
逆に、ほぼ同格の能力同士を混ぜても、強さは足し算になりません。 Round 1では2つのエンジンがどちらも十分に強く、混ぜて新たに得られるものがほとんどないまま、融合で一貫性を崩すリスクだけを背負うことになりました。
そして、忘れてはいけない事実がもう一つあります。
Round 2(Eval3)の全6成果物の頂点は、そもそもMixではありませんでした。
最も評価が高かったのは、Fable司令塔の下でCodexワーカーが作ったsoloです(次点がCodex司令塔レーンの成果物)。
「混ぜて強くする」工夫より先に、司令塔とワーカーの相性の良い組み合わせを見つける方が、今回の観測でははるかに効いた——これが順位表の一番大きなメッセージです。
もう一つの教訓は、融合の価値は「足した機能」よりも「守れた条件」で測るべきだということです。
「良いとこ取りをして」という漠然とした依頼では、機能の足し算が別の機能やデータ品質、安全性を後退させるのを防げません。
実務でMixを作るなら、手順はこうなります。
- 評価で最強だったsoloを、土台に据える
- 移植したい欠落を、一つずつ明示する
- 維持すべき検出や安全性に、回帰条件を置く
- 完成後は、同じ評価で測り直す
つまり、アイデアの足し算ではなく変更管理として扱う。
それが堅実なやり方でした。
実務への示唆: 基本は評価で最強だったsoloをそのまま使い、融合は狙いが明確な欠落の補完に限定する。維持すべき機能と回帰させない条件を明記して初めて、Mixは「全交換」ではなく「測定可能な限定改修」になります。
開示すべき条件差
この比較には、正直に書いておくべき非対称があります。
Round 2のレーンA(Fable主導)のMix工程では、司令塔が候補の素性(どちらがどのAIの作か)と、事前評価で指摘された弱点の要約を見たうえで融合しています。
つまり非ブラインドです。
一方、レーンB(Codex主導)のMix工程では、候補は匿名化され、旧評価も渡されていません。
結果だけ見れば「情報の多い側が有利」のはずです。
ところが、最良soloを超えたのは匿名候補を扱った側でした。
だからといって、事前情報が害になるとも、blindなら良くなるとも言えません。
匿名化しても素性の手掛かりは完全には消せませんし、Codex司令塔はレーン開始前にClaude側の結果概要を見ています。
レーン間でワーカーへの指示文も同一ではありません。
つまりこれは、融合担当だけを入れ替えた厳密な比較実験ではありません。
Mix同士の成績差を、そのまま司令塔の能力差と読むことはできないのです。
評価そのものにも境界があります。
Eval3が測ったのはアプリ本体だけでなく、実行・整形用の部品を含む提出一式であり、採点側の分類方法と相性の良い実装が有利になり得ます。
点差は重要な観測ですが、製品価値のすべてを1本の数字に写し取ったものではありません。
観測は各ラウンド1課題ずつ、計2ケースです。
「Mixは無意味」とも「Mixは有効」とも一般化はしません。
今回の観測では、融合はほとんどの場面で最強soloに届かず、能力の隙間を埋められた1件でだけ小さな上積みが出た——ここまでが言えることです。
最後に、今回の成績順も書き残しておきます。
Round 2(Eval3)の全6成果物で最も評価が高かったのは、Fable司令塔レーンのCodexワーカーが作ったsoloでした。
次いでCodex司令塔レーンの成果物(Codex主導Mix、Codex solo)が続きます。
ワーカーが同じでも、どの司令塔の下で作ったかで結果が変わる——この観測が、次の実験につながりました。
次回: 司令塔をOpusに替えたら、何が変わるのか
Fable主導のMixが大きく沈み、Codex主導のMixだけがわずかに浮いた。
では、ワーカーではなく司令塔そのものを別のモデルに替えたら、同じ課題から出てくるものはどう変わるのでしょうか。
実は、この問いには切実な背景があります。
ここまで最良の成果物を引き出してきた Fable 5 が、定額プランの対象から外れる——実験当時「7月19日以降は使えなくなるかもしれない」と報じられていたのです。
もしそうなったら、司令塔を何に替えるのか。
次回は、その代替候補・Claude Code のもう一つのモデル Opus 4.8 を司令塔に迎え、Fable主導レーンとの差を実測します。
この連載(全6回)
- 同じ質問から始めたら、提案がまったく違った
- コネクトフォー100番勝負 — ボット同士が盤上で決着をつける
- 同じECデータから売上機会を探すAI — 設計思想はどう分かれるか
- 融合は単体を超えるか — 2つの成果物を混ぜた「Mix」の実力(本記事)
- Claude Opusは司令塔になれるか — FableとOpusの差を実測
- 司令塔三つ巴のまとめとModelOrcs誕生