Prefill и decode: сравнение процессов

Вывод — это не один единственный процесс. В этом уроке мы рассмотрим две его фазы: предварительное заполнение, когда модель считывает весь ваш запрос за один раз, и декодирование, когда она генерирует по одному токену за раз, а также кэш ключ-значение, который их связывает. 🖊️ Цели обучения: Что происходит во время предварительного заполнения и декодирования Что хранит кэш ключ-значение и почему это важно Почему предварительное заполнение ограничено вычислительными ресурсами, а декодирование — памятью По мере того, как кэш ключ-значение растет с каждым токеном, и вы умножаете это на тысячи пользователей, память становится критическим узким местом. Именно эту проблему мы и стремились решить в SambaNova, разработав чип, основанный на самом графе потока данных. Дополнительные ресурсы вы можете найти в нашем блоге здесь, где вы найдете информацию о: Эре декодирования ИИ: почему поток данных важен как никогда Решение проблемы узкого места декодирования: почему агентному выводу требуется гибридное оборудование #AI #Inference #KVCache #LLM #SambaNova