Сквозная модель понимания речи с помощью кросс-модального обучения методом Учитель-Ученик

Павел Денисов, Институт обработки естественного языка, Штутгартский университет, Германия. Докладчик о вебинаре Задача понимания речи (spoken language understanding, SLU) традиционно решается в два этапа: сначала система распознавания речи преобразует речь в текст, затем модель понимания естественного языка (Natural Language Understanding, NLU) выделяет смысл из полученного текста. Замена этих двух этапов единой сквозной (end-to-end) нейросетевой моделью имеет ряд преимуществ, но осложнено относительно малым количеством размеченных данных доступных для тренировки моделей, что решаемо разнообразными методами переноса обучения (transfer learning). В этой презентации я рассказал о нашем методе создания сквозной модели понимания речи, который заключается в копировании параметров моделей распознавания речи и понимания естественного языка с последующим кросс-модальным дообучением методом Учитель-Ученик. Используя модель семантического представления предложений Sentence-BERT в качестве Учителя, мы дообучаем нашу модель понимания речи для вывода аналогичного семантического представления аудио записей, получаемых на входе. Наши эксперименты с классификацией типов высказываний (dialog act) и намерений пользователя (intent) показывают, что без использования соответствующих задаче размеченных аудиозаписей точность сквозной модели близка к точности традиционного двухэтапного подхода, а также что результаты сквозной модели могут быть улучшены дообучением на нескольких размеченных аудио записях на класс. Статья, которую Павел упоминал в ответе на вопрос: https://arxiv.org/pdf/1803.00831.pdf Код, использовавшийся в экспериментах: - модификация ESPnet: https://github.com/akreal/end-to-end-slu-espnet - модификация Hugging Face Transformers: https://github.com/akreal/end-to-end-slu-transformers Сайт организатора: https://www.ntr.ai