7.6 👜 Мешок слов подробно: как текст превращается в матрицу

👜 В прошлом видео мы познакомились с идеей Bag of Words. Теперь разберёмся, что именно происходит внутри. Допустим, у нас есть несколько текстов: “I love Apple” “I love data” “Apple uses data” Сначала мы собираем общий словарь: Apple, data, I, love, uses Теперь каждое слово становится отдельным признаком — почти как возраст, давление или температура в обычной таблице. А каждый документ превращается в строку чисел. Например, если слово встретилось один раз — ставим 1. Если два раза — 2. Если его в документе вообще нет — 0. 📊 Так из набора текстов появляется **матрица документов и терминов — Document-Term Matrix**. Строки — документы. Столбцы — слова. Ячейки — частоты появления слов. И вот тут происходит важная вещь: текст наконец становится обычной числовой таблицей, которую можно передать алгоритму машинного обучения. Но такие таблицы часто получаются огромными. Если в корпусе 50 000 различных слов, у нас потенциально возникает 50 000 признаков! При этом в конкретном твите используется лишь несколько слов, поэтому большая часть ячеек будет равна нулю. Такую матрицу называют **разреженной**. 🤔 А что мешок слов теряет? Главная жертва простоты — **порядок слов и структура предложения**. “Dog bites man.” и “Man bites dog.” содержат совершенно одинаковый набор слов с одинаковыми частотами. Для человека это две очень разные новости. Для простого Bag of Words — одинаковые векторы 😄 Поэтому мешок слов прекрасно отвечает на вопрос: **«Какие слова здесь есть и сколько раз они встретились?»** Но гораздо хуже отвечает: **«Что именно хотел сказать автор?»** 🔎 Перед построением мешка слов обычно приходится подготовить текст: • привести слова к единому регистру; • выполнить токенизацию; • удалить ненужные символы, URL и HTML; • при необходимости убрать стоп-слова; • иногда применить стемминг или лемматизацию. После этого можно строить Bag of Words и передавать полученные признаки модели. В Orange эта логика превращается в понятную цепочку: **Corpus → Preprocess Text → Bag of Words → модель → Test and Score** 😄 **Шутка** Человек читает: “Man bites dog.” и думает: «Вот это новость!» Bag of Words отвечает: «Не понимаю вашего волнения. Dog, bites, man. Всё как обычно». 🧠 **Мини-задание** Есть три документа: 1. “data is fun” 2. “data is useful” 3. “fun data is useful” Выпишите общий словарь и попробуйте самостоятельно построить для каждого документа вектор частот. А потом задайте себе главный вопрос: **сколько нулей появилось бы в такой таблице, если слов было бы не четыре, а сорок тысяч?** 💡 Bag of Words прост, но именно на нём очень хорошо видно главное превращение анализа текстов: **слова → признаки → матрица → модель.** Видео входит в курс **«Анализ данных в век ИИ»**.