Улучшает ли тонкая настройка встраиваемых моделей RAG?

Может ли тонкая настройка моделей встраивания улучшить ваше приложение RAG? Да! И это даже не обязательно должно быть так сложно. В этом видео мы покажем, как обучить линейный адаптер, работающий только с запросами, на ваших собственных данных RAG для повышения точности поиска документов — простой подход, который можно применить к любой модели встраивания без необходимости полной настройки самой модели или повторного встраивания базы знаний. Ресурсы: Репозиторий GitHub — https://github.com/ALucek/linear-adapter-embedding Обученные адаптеры — https://huggingface.co/AdamLucek/all-MiniLM-L6-v2-query-only-linear-adapter-AppleQA Набор данных — https://huggingface.co/datasets/AdamLucek/apple-environmental-report-QA-retrieval Исследование ChromaDB — https://research.trychroma.com/embedding-adapters Эффективная адаптация предметной области для встраивания предложений с помощью адаптеров — https://arxiv.org/pdf/2307.03104 Улучшение встраивания текста с помощью больших языковых моделей — https://arxiv.org/pdf/2401.00368 Главы: 00:00 — Введение 00:39 — Что такое встраиваемый адаптер? 03:04 — Определение нашего приложения RAG 04:30 — Создание синтетического набора данных 09:03 — Настройка векторной базы данных 11:23 — Оценка базовой линии нашей модели 14:16 — Обучение: Контекст 14:40 — Обучение: Триплетная маржа потерь 16:01 — Обучение: Случайная отрицательная выборка 17:01 — Обучение: Линейное объяснение слоя 18:59 — Обучение: Загрузчик триплетных данных 19:44 — Обучение: Скрипт обучения 20:17 — Обучение: Выполнение и гиперпараметры 21:22 — Оценка: Новая функция встраивания 22:04 — Оценка: Оценка адаптера 22:40 — Оценка: Метрическая интерпретация 23:28 — Оценка: Визуализация 24:09 — Оценка: Подгонка обучающих данных 25:35 — Заключительные мысли #ai #наука о данных #программирование