Машинное обучение для математиков | Лекция 3: Чтение нотации, от статьи до кода

Масштаб внутри механизма внимания — это атрибут ничего. В этой лекции он восстанавливается исключительно из поведения библиотеки, до последней цифры. Лекция о переводе: какая греческая буква стала каким идентификатором, какой индекс стал какой осью и куда делись константы. Суммарный индекс становится сжатой осью, а индекс выборки — ведущим, о котором никогда не пишут в научных статьях. Ожидание становится редукцией, а выбор суммы вместо среднего значения умножает каждый градиент на размер пакета, что незаметно масштабирует скорость обучения. Те же три буквы, eps, находятся внутри квадратного корня в LayerNorm и вне его в Adam, в одном и том же коде. Затем следует проверка, которая здесь имеет другой характер: с двумя ключами отношение softmax инвертируется, чтобы получить масштаб в замкнутой форме, и он возвращается как единица, деленная на квадратный корень из размерности ключа, без того, чтобы кто-то говорил скрипту, что он ищет. Завершается рассмотрением первого уравнения Васуани, переписанного символ за символом, проверенного на соответствие объединенному ядру, а также маскирования, стабилизирующего сдвига и изменения формы головки, которые в уравнении нигде не упоминаются. Для тех, кто уже знаком с математикой. Каждый результат выводится на слайде, реализуется в нескольких строках и проверяется на соответствие числу, которое было бы другим, если бы вывод был неверным. Рекомендуемая литература: Васуани и др., «Внимание — это все, что вам нужно», 3.2.1, читать рядом с минимальной реализацией; Принс, «Понимание глубокого обучения», Приложение A, Обозначения. Тексты: Принс, «Понимание глубокого обучения» (бесплатно онлайн, версия 5.0.3); Дейзенрот, Файсал и Онг, «Математика для машинного обучения» (бесплатно онлайн); Бишоп и Бишоп, «Глубокое обучение». Главы 0:00 Введение 0:26 Почему лекция без вывода 1:22 Обозначения не стандартизированы, и никто не собирается их исправлять 2:21 Во что превратились греческие буквы 3:25 Пять имен, которые не говорят о том, что они содержат 4:22 Одни и те же три буквы, дважды, в противоположных местах 5:28 Индексы, которые исчезли в осях 6:38 Пакетный индекс, который никто не пишет 7:35 Ожидание стало редукцией, и оно скрывает множитель 8:28 Редукции, которые не являются ожиданиями 9:26 Куда делись константы 10:39 Та половина, которой нет 11:38 Константы, поглощенные параметризацией 12:38 Восстановление напечатанной константы из библиотеки вслепую 13:49 Статья и ее реализация, бок о бок 14:58 То же уравнение в виде реализации, строка за строкой 15:57 Наша транскрипция относительно объединенного ядра 16:55 Что такое уравнение пропускает и предоставляет код 18:02 Как читать статью рядом с ее кодом 19:02 Краткое содержание лекции 3