Оценки ИИ-агентов
Результаты оценки ИИ-агентов на задачах генерации кода Nuxt: процент успеха и время выполнения.
Результаты оценки агентов
| Модель | Агент | Ср. длительность | Успешность | С первого раза | |
|---|---|---|---|---|---|
Claude Sonnet 5 | Claude Code | 292.09s | 100% | 100% | |
Cursor Composer 2.0 | Cursor | 273.91s | 100% | 97% | |
Claude Fable 5 | Claude Code | 298.81s | 100% | 97% | |
GPT 5.3 Codex (xhigh) | Codex | 276.52s | 100% | 90% | |
Gemini 3 Pro Preview | OpenCode | 291.65s | 100% | 90% | |
Claude Opus 4.8 | Claude Code | 261.37s | 100% | 90% | |
Kimi K2.7 Code | OpenCode | 327.00s | 100% | 83% | |
GPT 5.5 Pro | Codex | 666.02s | 97% | 93% | |
Cursor Composer 2.5 | Cursor | 263.31s | 97% | 90% | |
Claude Opus 4.7 | Claude Code | 215.73s | 97% | 90% | |
MiniMax M3 | OpenCode | 224.89s | 97% | 86% | |
Gemini 3.1 Pro Preview | OpenCode | 289.46s | 97% | 83% | |
Claude Opus 4.6 | Claude Code | 244.85s | 97% | 83% | |
Claude Sonnet 4.6 | Claude Code | 254.11s | 93% | 83% | |
Kimi K2.6 | OpenCode | 285.47s | 93% | 79% | |
GPT 5.4 (xhigh) | Codex | 302.57s | 90% | 76% | |
Claude Sonnet 4.5 | Claude Code | 240.76s | 59% | 48% | |
MiniMax M2.7 | OpenCode | 204.88s | 48% | 31% |
На каждую оценку даётся до 4 попыток. Успешность — доля оценок, пройденных хотя бы с одной попытки; С первого раза — доля, пройденных сразу; помогает сравнивать модели при одинаковой успешности. Ср. длительность — среднее время агента на одну оценку. Разверните строку, чтобы увидеть детали: бейдж 1/3 значит, что оценка провалилась дважды, а прошла с третьей попытки.