Статьи по тегу «бенчмарк»
25 сентября 2026, 06:12
Исследователи представили DrivingBench — тест производительности, в котором популярные LLM управляют настоящей Toyota Corolla
Исследователи из Axiom Math запустили тест производительности DrivingBench, в котором дали современным языковым моделям управлять настоящей Toyota Corolla 2022 года выпуска. Нейросеть получала изображ
5 сентября 2026, 07:00
Семь нейросетей сравнили вслепую на восьми заданиях: победила Fable 5.1, Kimi K3 взяла больше всего заданий
Опубликованы итоги открытого сравнения семи нейросетей от семи разных команд на восьми практических заданиях. Первое место по сумме баллов заняла Fable 5.1 (145), второе — Kimi K3 (133), третье — GPT-
13 июля 2026, 13:25
Google обновила Android Bench — тест производительности для оценки LLM в задачах Android-разработки
Google обновила Android Bench — бенчмарк для оценки LLM в задачах Android-разработки. Инженеры компании полностью переработали методологию тестирования, добавили новые модели и предоставили функция ра
9 июня 2026, 23:49
Выпущен тест производительности FrontierCode для оценки ИИ-моделей по «качеству пулл-реквестов»
Организация Cognition выпустила свежий тест производительности FrontierCode для измерения «способности ИИ-моделей выдерживать стандарты качества реальных кодовых баз». По словам его создателей, обычно
27 мая 2026, 13:49
Свежий тест производительности DeepSWE: GPT-5.5 — 70%, Opus 4.7 — 54%
Новый тест производительности DeepSWE показал, что GPT-5.5 решает 70% задач по разработке ПО, тогда как Claude Opus 4.7 — 54%. На SWE-Bench Pro картина была ровно обратной: там Opus 4.7 занимал первое
5 мая 2026, 22:05
Выпущен тест производительности, проверяющий способность ИИ воссоздать FFmpeg
Свежий бенчмарк ProgramBench использует нестандартный решение к измерению способностей LLM. Схема получает бинарные файлы и документацию ряда приложений (включая FFMpeg), а затем должна самостоятельно
18 апреля 2026, 18:14
Opus 4.7 vs Opus 4.6 на Veai Agent Benchmark
Anthropic выкатили новую версию — мы не стали ждать и прогнали внутренний тест производительности на боевых workflow: миграция, рефакторинг, тесты, документация. Читать далее
7 апреля 2026, 16:09
Милла Йовович выпустила open-source ИИ-инструмент, набравший 100% в бенчмарке
Актриса Милла Йовович наряду с другом, разработчиком Беном Сигманом, выпустила open-source инструмент для долгосрочной памяти ИИ-агентов — MemPalace. Читать далее
23 февраля 2026, 21:24
Модели набирали 80% на бенчмарке OpenAI. Оказалось, они просто запомнили решения
Компания OpenAI перестала применять SWE-bench Verified — один из самых популярных бенчмарков для оценки того, насколько хорошо ИИ справляется с реальными задачами по программированию. Компания сама со