Claude Sonnet 5 は Anthropic 史上最悪のモデルか — WorldofAI の辛口検証

WorldofAI はまず好意的な導入で始める。Sonnet シリーズ最大のアップデートであり、最もエージェント性能の高い Sonnet モデル。幻覚が減り、エージェント性、ツール利用能力が向上し、ブラウザやターミナルなど各種ツールを自律的に扱える水準に達したと評価する。

ベンチマークの数字も具体的だ。Sway の Agentic Coding 検証済みスコアで63.2%、これは Sonnet 4.6 から大きく跳ね上がり Opus 4.8 に約6ポイント差まで迫る。Terminal Bench 2.1 では80.4%で Opus 4.8 に肉薄。HLE では81.2%とほぼ同水準、computer use と GDP Evolve では Opus を上回る項目もある。総合ランキングでは第5位に位置づけられ、全 Claude プランで既に利用可能だ。

実演として Mac OS クローンを生成させる検証を行う。ランチパッド、Safari、メッセンジャー、メール、写真、カレンダー、ノート、リマインダー、地図、音楽アプリ、さらに FPS シューティングゲームまで、一通り機能する形で生成された。各アプリが SVG で生成されている点も見た目の良さとして評価される。

ただし懸念点も明確だ。完成まで約40分、max モードで大量のトークンを消費しており、効率の面では全く良くない、と WorldofAI は指摘する。地図アプリのみ Opus モデルの生成結果と比べて見劣りするという細部の評価も添えられる。全体としては『機能はするが手放しで褒められる出来ではない』という評価だ。

後半で評価は一転する。最も驚いたのは新しいトークナイザーの効率だ。より多くのトークンを消費するにもかかわらず、新しいモデルに期待するような結果が得られない。この点が、Opus 4.8 の代わりにこのモデルを使う理由を正当化しづらくする、と WorldofAI は明言する。

SVG などクリエイティブタスクでは GLM のようなモデルにすら劣ると評価し、『GLM 5.2 以下にランクする』とまで言い切る。汎用用途を含め、このモデルを使うべきではないというのが結論だ。Fable 5 が近日中に再開されることへの期待を語りつつ、Sonnet 5 自体への評価は『Opus 4.8 を使い続けたほうが良い結果が得られる』という辛口な着地で締めくくられる。