Планировщик операций для LLM: ускорение обучения как алгоритмическая задача / Александр Пацация

Современные большие языковые модели обучаются на больших кластерах видеокарт. Эффективная организация параллельных вычислений и коммуникаций позволяет существенно ускорить процесс обучения, тем самым сэкономив огромное количество денег компании. В своём докладе я расскажу, как устроено современное распределенное обучение LLM, с какими проблемами мы сталкиваемся и какие подходы помогают с ними справиться. Поговорим о методах паралеллизации вычислений модели на многие GPU, в особенности — пайплайн паралеллизме, и о том, как мы придумали обобщение этого подхода, рассмотрев его как задачу планирования с ограничениями. Наш подход позволил существенно ускорить обучение больших языковых моделей. Я расскажу, в каких сценариях он оказался наиболее эффективным и какие инженерные трудности пришлось преодолеть при его реализации.