Нужна ли лемматизация перед text mining англоязычных текстов? 1 Доклад

The playlist: https://www.youtube.com/playlist?list=PLRpOe1IyOYZKFb0nDnxEzBeQ_HabAOdMq Марья Воробьёва. Предыстория: участница научного коллектива Воробьева Марья поделилась впечатлениями о поездке на международный научный семинар "Rethinking Culture and Creativity in the Technological Era" во Флоренцию https://social.hse.ru/soc/randan/news/353240812.html 0:00 Вступление 0:02 «Мусорные слова» и слова во множественной форме 0:05 Частотность слов БЕЗ и С лемматизацией 0:07 Поему LDA? Критерии качества построенных тематических моделей: перплексия – "отклонение от исходных статистик" (чем ниже, тем лучше), coherence -- согласованность слов в теме (чем выше, тем лучше). Темы более специфичны по составляющим их словам после лемматизации. График по итогам LDA Необсуждённые вопросы: о каких статистиках речь в перплексии? Лучше ниже по модулю или абсолютно? Как получаются оси графика? 0:13 Интерпретация тем, основываясь на весах + исходных текстах. Выводы и планы.