Как проверить модель до агента: семь игр вместо рейтинга

Модель с верхней строки рейтинга может на третьем уточнении забыть условие, а для агента это больнее слабого балла: он живёт в диалоге. Открытый MTGBench Яндекса и Школы анализа данных проверяет это семью текстовыми играми на русском и английском, а не сводным местом в таблице. Прогон 16 моделей показал: рассуждение помогает на буквах и слабее на смысле, балл одной игры не переносится, в русском модели хуже. До пилота нужны тип хода, одна партия, русский прогон и свой стенд с новыми вводными. Статья целиком: https://inteltek.ru/blog/186 Интеллект Технологии — inteltek.ru #MTGBench #ИИ-агент #выбормодели #бенчмарк #Яндекс #русскийязык #пилот #рейтингмоделей #рассуждение