О теоретических ограничениях поиска на основе встраивания

О теоретических ограничениях поиска на основе встраивания Орион Веллер, Майкл Боратко, Ифтехар Наим, Джинхёк Ли Векторные встраивания на протяжении многих лет решают всё более широкий круг задач поиска, при этом наблюдается рост их использования для рассуждений, выполнения инструкций, кодирования и других задач. Эти новые критерии позволяют встраиваниям работать с любыми запросами и любыми представлениями о релевантности. Хотя в предыдущих работах указывалось на теоретические ограничения векторных встраиваний, существует распространённое предположение, что эти трудности обусловлены исключительно нереалистичными запросами, а те, которые не являются таковыми, можно преодолеть с помощью более качественных обучающих данных и более крупных моделей. В данной работе мы демонстрируем, что мы можем столкнуться с этими теоретическими ограничениями в реалистичных условиях при использовании чрезвычайно простых запросов. Мы связываем известные результаты теории обучения, показывая, что количество подмножеств документов, содержащих k лучших элементов, которые могут быть возвращены в результате некоторого запроса, ограничено размерностью встраивания. Мы эмпирически показываем, что это справедливо даже при ограничении k=2 и прямой оптимизации на тестовом наборе со свободными параметризованными вложениями. Затем мы создаём реалистичный набор данных LIMIT для стресс-тестирования моделей на основе этих теоретических результатов и наблюдаем, что даже самые современные модели не справляются с этим набором данных, несмотря на простоту задачи. Наша работа демонстрирует ограничения встраивания моделей в рамках существующей парадигмы одного вектора и призывает к дальнейшим исследованиям для разработки методов, способных устранить это фундаментальное ограничение.