Лидерборды LLM

Здесь я публикую результаты тестирования локальных LLM на собственных тестах и сравниваю их с облачными. К каждому лидерборду прилагаю полный отчёт: методика, таблицы, протоколы серий, экономика.

Знания PHP-стека

Опубликован 14 октября 2026

Собеседование на роль PHP-бэкендера прошли 16 моделей: 8 локальных на RTX 5090, 5 облачных и 3 российские. Облачные SOTA — эталон для сравнения, среди них Opus 5.5, GPT-6.1 Sol, GPT-6 Luna и Haiku 5.5, плюс DeepSeek V4.1-Flash. GigaChat и YandexGPT — тоже для сравнения, чтобы понимать уровень отечественных моделей. Интервью — 35 открытых вопросов про PHP 8, Symfony, Doctrine, PostgreSQL, DDD и git. Без агентской обвязки и системного промпта, только знания из весов. Среди вопросов три провокации с ложной предпосылкой и два коротких код-ревью. Судья проверяет спорные утверждения запуском кода на PHP 8.5 и запросами к настоящему PostgreSQL в докере, отдельным замером идёт доля галлюцинаций.

Полный отчёт — методика, сводная таблица, протоколы всех серий, экономика
Статья с главными выводами
Вопросники и раннеры в репозитории

Знания PHP-стека: Карта знаний

Опубликован 11 ноября 2026

Недавно наткнулся на интересный тест LLM на знание мира. Работает он так: модели дают координаты точки на планете и просят определить, что находится в этой точке — суша или вода: BenchGecko «World Map». Это натолкнуло меня на мысль: а что, если составить подобную карту знаний PHP и его стека, а затем прогнать по ней разные модели — преимущественно локальные, облачные для сравнения?

Вопросы я составил так, чтобы получить от модели максимально однозначный ответ: да/нет, число или строку. Это упрощает автоматическую проверку результатов. Я подготовил вопросы на русском, английском и китайском языках и выяснил, как язык формулировки запроса влияет на качество ответа и расход токенов.

В отчёте 296 вопросов: 240 в основном вопроснике — 26 тем по 8 уровней сложности, плюс 56 вопросов зоны «Глубина» — по два вопроса «что вернёт этот код» на каждую тему. Прошли 12 моделей. Локальные на ollama: qwen3.8:27b, huihui-ai/Huihui-Qwen3.8-27B-abliterated, ornith-1.5:35b, bonsai-2:27b, плюс негативные контроли gemma4:e2b и medgemma:27b. Облачные SOTA: GPT-6.1 Sol, GPT-6 Luna, Haiku 5.5 и DeepSeek V4.1-Flash. Однозначные ответы позволили протестировать и decision-модели — компактные оценщики clef и clef-flash: им вопрос даётся с вариантами ответа, модель выбирает правильный. По 5 прогонов на каждый язык и уровень мышления — от выключенного до medium. Всего 366 прогонов и 60 карт знаний — 55 часов тестов и 35.9 млн токенов.

Отчёт интерактивный: можно сортировать, фильтровать и уходить в детали вниз до конкретного вопроса и ответа.

Полный отчёт — сортировка, фильтр, детализация до ответов каждого прогона
Вопросники, раннеры и сырые данные в репозитории

Умение писать код на PHP-стеке

Опубликован 30 октября 2026

Тестовое задание для PHP-бэкендера написал GLM-5.3-Flash по моим требованиям. Задача кандидата — написать консольное приложение учёта расходов на LLM-токены на PHP 8 и Symfony. Приложение импортирует тарифы и логи использования, считает стоимость по правилам провайдеров и формирует отчёты. Бонусом идёт команда пересчёта. Мы протестировали 16 моделей: облачные SOTA, российские модели и локальные сборки на ollama. Каждая модель решала задание через pi.dev. Промпт и набор инструментов у всех были одинаковыми. Всего получилось 89 прогонов, по три на каждый уровень размышлений, от выключенного мышления до максимума. Чекер проверяет решение запуском на 13 обязательных сценариях, статанализ меряет размер классов и их связность, ревью и слепой судья разбирают код, отдельный аудит смотрит безопасность.

Лидером среди облачных стал DeepSeek V4.1 Flash. Он получил полный зачёт на уровнях low и max, а на max его код оказался самым чистым среди выполнивших задание. Лучшими из локальных стали три сборки qwen3.8: базовая заняла 6-е место таблицы, huihui 7-е, orca 8-е. Huihui и orca собраны из тех же весов qwen3.8 со снятыми фильтрами безопасности. У qwen3.8 качество падает с ростом уровня размышлений. Лучший результат модель показывает на low.

Полный отчёт — методика, сводная таблица, карта качество-цена и отчёт по каждому из 89 прогонов
Примеры отчётов одного прогона для сравнения: DeepSeek V4.1 Flash на max с полным зачётом, Opus 5.5 на max и локальная qwen3.8 на low, тоже с полным зачётом.
Код, методика и отчёты задания в репозитории

Эмбеддинги

Готовится

Сравнение эмбеддинг-моделей на своей задаче. Формат ещё прорабатываю, лидерборд появится после первого прогона.

Decision-модели

Готовится

Decision-модели — компактные оценщики качества ответов. В собеседовании на PHP-стек роль дешёвого оценщика первого яруса выполняла clef. Лидерборд появится после первого прогона.