Text By the Bay 2015: Марек Колодзей, Учебное пособие по NLP без учителя с использованием Apache ...

Это видео с докладом является узлом в devreal.ai, графе сообщества разработчиков. Это связано с: Доклад: Учебное пособие по неконтролируемой обработке естественного языка с использованием Apache Spark... — https://devreal.ai/t/150424-unsupervised-nlp-tutorial-using-apache-s-text-by-the-bay Докладчик: Марек Колодзеж — https://devreal.ai/n/marek-kolodziej Проект: Apache Spark — https://devreal.ai/p/apache-spark Проект: Apache Zeppelin — https://devreal.ai/p/apache-zeppelin Проект: word2vec — https://devreal.ai/p/word2vec Мероприятие: Text by the Bay — https://devreal.ai/e/150424-text-by-the-bay-conference Изучите эти связи и связанные видео, фотографии, блоги и подкасты докладчиков, а также другие сети By the Bay. Перефразируя Тима О'Рейли, побеждает тот, у кого больше данных. Это хороший слоган, но чем больше данных, тем выше вероятность того, что они не будут размечены. К сожалению, алгоритмов обучения без учителя не так уж много, как для машинного обучения в целом, так и для обработки естественного языка в частности. Недавние достижения в области глубокого обучения предоставляют новые инструменты для анализа текста в больших наборах данных без учителя. В частности, я расскажу о математике, интуиции и реализации алгоритма word2vec, его вариантах (skipgram и непрерывный мешок слов), примерах использования и расширениях (например, paragraph2vec, doc2vec). В заключение я проведу простую демонстрацию в масштабе с использованием Scala, Apache Spark, MLLib и Apache Zeppelin Notebook. Марек Колодзеев — старший инженер-исследователь в компании Nitro, Inc. Последние 4 года он занимается разнообразными задачами в области машинного обучения, распределенных вычислений и больших данных, а последние 9 лет — статистикой и эконометрикой. Он увлечен функциональным программированием и статической типизацией в целом, и языком Scala в частности. Он одержим наукой о данных производственного качества — полученные результаты полезны только при надежной системе развертывания, поэтому он специализируется на JVM. Марек получил докторскую степень по энергетической и экологической экономике в Бостонском университете.