Финальный доклад стажера: Улучшение метрики Frechet Audio Distance для оценки генеративной музыки

Докладчик: Азалия Ги Ведущий: Ханнес Гампер По мере того, как генеративные модели музыки становятся все более мощными и популярными, возрастает потребность в надежных объективных метриках качества музыки, коррелирующих с человеческим восприятием. Для этой цели широко используется метрика расстояния Фреше (FAD). Однако ее эффективность может быть снижена из-за таких проблем, как смещение, вызванное размером выборки, ограничения базовых аудиовстраиваний и использование низкокачественных эталонных наборов данных. Мы предлагаем уменьшить смещение, вызванное размером выборки, путем экстраполяции несмещенных оценок по мере приближения размера выборки к бесконечности. Сравнение различных аудиовстраиваний показывает, что некоторые из них лучше подходят для получения оценок FAD, отражающих аспекты музыкального или акустического качества. Наконец, наши эксперименты подчеркивают важность выбора разнообразного и высококачественного эталонного набора данных для расчета FAD. Результаты тестов на слух показывают, что несмещенные оценки FAD, рассчитанные с использованием подходящих встраиваний и эталонной музыки, улучшают корреляцию с оценками музыкального и акустического качества, данными людьми. Статья: https://arxiv.org/abs/2311.01616 Код: https://github.com/microsoft/fadtk