Измерение массивного многозадачного языкового понимания" (MMLU)

Обзор на научную статью «Measuring Massive Multitask Language Understanding» (Измерение массивного многозадачного языкового понимания), в которой предлагается тест из 57 предметных областей (математика, право, история и др.) для оценки широких мировых знаний и способности к решению задач у языковых моделей. Бенчмарк MMLU выявляет, что даже крупные модели (например, GPT-3) превосходят случайный выбор, но заметно уступают уровню человеческих экспертов и демонстрируют несбалансированные результаты по дисциплинам, особенно в социально значимых областях вроде морали и права. Тест служит более устойчивой метрикой общего языкового понимания по сравнению с прежними бенчмарками и помогает диагностировать ключевые ограничения современных моделей. Источник: Статья "Measuring Massive Multitask Language Understanding", arXiv:2009.03300 Авторы: Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, Jacob Steinhardt 00:00 — Введение: как измерить интеллект ИИ? 00:48 — Может ли ИИ сдать экзамен по праву? 01:13 — Обманчивые оценки и иллюзия «сверхчеловечности» 02:02 — MMLU: новый стандарт тестирования ИИ 02:53 — Пример сложной задачи из теста 03:13 — Результаты GPT-3 на MMLU: неожиданный разрыв 04:48 — Умный, но не мудрый: знать ≠ уметь 05:28 — Проблема самооценки ИИ: чрезмерная уверенность 05:52 — Главные уроки теста MMLU 06:24 — Заключение: думать, а не только знать Плейлист: https://www.youtube.com/playlist?list=PLHRH6-SxKFs8HXkVmNEeqPd_-Wh5fC2zF Сайт: https://systems-analysis.ru Wiki: https://systems-analysis.ru/wiki #MMLU #Benchmark #LLM #GPT3 #ОценкаИИ #БенчмаркиИИ #Многозадачность #Reasoning #МашинноеОбучение #ИскусственныйИнтеллект #ТестированиеИИ #Наука #Технологии #Право #История #Мораль