Тезисы
В настоящий момент технологии синтеза речи — неотъемлемая составляющая современных виртуальных ассистентов.
Разумеется, её нужно уметь тестировать, но, к сожалению, обойтись только программой здесь невозможно, ведь нет алгоритмов, которые могли бы надежно оценить качество сгенерированной речи. Достаточно хорошо это может сделать только человек. Строго говоря — «много человек». Например, можно найти людей, готовых помогать нам в этой задаче на краудсорсинг-платформах.
С их помощью мы получаем репрезентативные метрики качества(MOS, SBS, PSER), которые позволяют надежно оценивать наши модели
Помимо простой оценки качества, результаты замеров могут быть использованы для ускорения и упрощения процесса тестирования сервиса синтеза речи.
Важно, что полностью возложить тестирование такого сервиса на плечи найденных на краудсорсинг-платформах людей невозможно, в силу многих факторов:
Но, тем не менее, они могут значительно ускорить и упростить процесс тестирования, предоставляя дополнительную информацию тестировщикам.
В докладе мы поделимся нашим уникальным опытом работы с краудсорсинг-платформами под нестандартные задачи, что поможет слушателям по-новому взглянуть на процесс тестирования.
Аудитория
QA-engineer, team-lead, analyst, data-scientist, ml-engineer.
Уровень сложности
Any-level.
Презентация (на Я.Диске)
Занимается аналитикой и Data инженерией в группе ML-технологий синтеза речи подразделения SmartSpeech. Автоматизирует процессы обработки, разметки данных для нужд команды. Также на нем аналитика замеров качества моделей.
#codefestru #codefest2023 #CodeFest13