DataFlex: Единая программа обучения по программе LLM, ориентированная на данные.

В этом выпуске обзора исследований в области ИИ Алекс обсуждает статью: «DataFlex: унифицированная платформа для динамического обучения больших языковых моделей на основе данных». DataFlex — это новая унифицированная платформа, построенная на основе LLaMA-Factory, которая смещает акцент в обучении больших языковых моделей с параметров модели на динамическое управление данными. Она объединяет три основные парадигмы: динамический выбор образцов, корректировка смешения доменов и перевзвешивание образцов. Архитектура имеет модульную конструкцию, что позволяет использовать ее в качестве прямой замены стандартных рабочих процессов обучения с помощью простых настроек. Стандартизируя такие операции, как извлечение эмбеддингов и вычисление градиента, она обеспечивает встроенную поддержку крупномасштабных распределенных систем, таких как DeepSpeed ZeRO-3. Эта система эффективно рассматривает данные как первоклассную переменную оптимизации для повышения производительности и воспроизводимости модели в различных архитектурах. Ссылка на статью: https://arxiv.org/abs/2603.26164 #AI #MachineLearning #DeepLearning #LLM #DataCentric #LLaMAFactory #ModelTraining #DeepSpeed Ресурсы: GitHub: https://github.com/OpenDCAI/DataFlex