Анализ «файлов Эпштейна» с помощью JMail — Палак Агарвал и Омар Алхайт, Reducto

Рукописные бортовые журналы и сильно отредактированные PDF-файлы стоят между горой документов и продуктом, пригодным для поиска. Палак Агарвал и Омар Альхаит показывают, как Reducto преобразовал файлы Epstein в структурированные данные для JMail и связанных с ним приложений. Агарвал представляет слой обработки документов; Альхаит описывает конвейер извлечения данных, лежащий в основе JFlights, показывая, как схема превращает сложные страницы в пригодные для использования записи. Рабочий процесс начинается с анализа, тестирования результатов извлечения в Studio и предоставления доступа к настроенному конвейеру через вызов API или фрагмент кода. Демонстрация продукта делает видимым узкое место: порядок чтения, рукописный текст, макет и несогласованные документы должны пройти через этап извлечения, прежде чем интерфейс сможет сделать их полезными. Пример резюме в реальном времени показывает, как сгенерировать схему JSON, загрузить документы и проверить полученные поля. В обсуждении различается быстрая схема и схема, основанная на анализе содержимого документа, затем рассматриваются вложенные поля, цитаты, рисунки и выбор между OCR и метаданными PDF. Альхаит также объясняет, почему наложение черного прямоугольника на текст может привести к раскрытию информации, и как команда обрабатывала материалы, которые должны были оставаться засекреченными. Вопросы переходят от обучения модели и конфигураций, специфичных для документа, к практической оценке: сначала изучите небольшую выборку, затем создайте репрезентативный эталон перед масштабированием. Запись завершается инструкциями для интерактивного упражнения по извлечению данных, связывающего пример использования JMail с собственными рабочими процессами участников с документами. Информация о докладчике: https://palakagarwal.me/ https://www.linkedin.com/in/palak06/ https://www.linkedin.com/in/oalhait https://github.com/oalhait https://docs.reducto.ai/overview Временные метки: 0:00 - Обработка документов и Reducto 2:02 - Пример использования JMail 3:10 - Омар о проблеме парсинга 5:27 - JFlights и рукописные логи 6:35 - Настройка и проверка извлечения 7:41 - Масштабирование конвейера обработки документов 9:07 - Развертывание API-конвейера 10:14 - Генерация схемы резюме 12:38 - Схемы, основанные на содержимом документа 13:48 - Редактирование и метаданные PDF 15:34 - Вложенные схемы и цитирования 17:41 - Рисунки и гибридные OCR 19:23 - Парсинг как основа 21:30 - Эталонные показатели и практическая оценка 23:44 - Проектирование продукта и обучающие данные 26:12 - Настройка параметров документа 27:59 - Инструкции к интерактивному упражнению