Тестирование системы синтеза речи или crowdsourcing is one love
QA
Analyst
Backend

Тезисы

В настоящий момент технологии синтеза речи — неотъемлемая составляющая современных виртуальных ассистентов.

Разумеется, её нужно уметь тестировать, но, к сожалению, обойтись только программой здесь невозможно, ведь нет алгоритмов, которые могли бы надежно оценить качество сгенерированной речи. Достаточно хорошо это может сделать только человек. Строго говоря — «много человек». Например, можно найти людей, готовых помогать нам в этой задаче на краудсорсинг-платформах.

С их помощью мы получаем репрезентативные метрики качества(MOS, SBS, PSER), которые позволяют надежно оценивать наши модели

Помимо простой оценки качества, результаты замеров могут быть использованы для ускорения и упрощения процесса тестирования сервиса синтеза речи.

Важно, что полностью возложить тестирование такого сервиса на плечи найденных на краудсорсинг-платформах людей невозможно, в силу многих факторов:

  • отсутствие необходимого понимания именно нашей существующей системы;
  • не публичность этой информации;
  • высокая ответственность за результаты тестирования.

Но, тем не менее, они могут значительно ускорить и упростить процесс тестирования, предоставляя дополнительную информацию тестировщикам.

В докладе мы поделимся нашим уникальным опытом работы с краудсорсинг-платформами под нестандартные задачи, что поможет слушателям по-новому взглянуть на процесс тестирования.

Аудитория

QA-engineer, team-lead, analyst, data-scientist, ml-engineer.

Уровень сложности

Any-level.



Оцените доклад

Презентация (на Я.Диске)

Записи выступлений доступны платным участникам CodeFest
В свободном доступе появятся через пол года

Залогиниться

SberDevices

Игорь Щукин

Занимается аналитикой и Data инженерией в группе ML-технологий синтеза речи подразделения SmartSpeech. Автоматизирует процессы обработки, разметки данных для нужд команды. Также на нем аналитика замеров качества моделей.

Занимается аналитикой и Data инженерией в группе ML-технологий синтеза речи подразделения SmartSpeech. Автоматизирует процессы обработки, разметки данных для нужд команды. Также на нем аналитика замеров качества моделей.

Еще на тему QA