Фильтруй фидбек. Как работать с отзывами о продукте

Мир переходит от печатных учебников к цифровым. Но даже в онлайн-школах с электронными системами для выполнения и проверки домашних заданий уроки с преподавателем остаются основой занятий. При этом платформа, на которой взаимодействуют преподаватель и студент, должна быть современной.

Онлайн-школа английского языка EnglishDom развивает не только свой электронный учебник, но и сопутствующие продукты, например, приложения для смартфона ED Class и ED Words и расширение для браузера. Поэтому продакт-менеджер регулярно работает с фидбеком и аналитикой по множеству продуктов и фич. Сооснователь и CEO школы Максим Сундалов рассказывает, как системно работать с отзывами и извлекать из них идеи для развития.

Как получить отзывы

Пассивные источники

Из них мы получаем обратную связь без усилий. Самыми первыми источниками были наши кураторы, которые помогали студентам и знали их проблемы. Но потом мы создали в каждом продукте форму обратной связи, которая позволяет отправить сообщение об идее, проблеме или просто отзыв.

Фидбек клиента попадает в админку, которую курирует контент-отдел. Баги перенаправляются в технический отдел, замечания по продукту — к продакт-менеджерам.

Ежемесячно мы получаем 800–1000 комментариев от клиентов. Чаще всего пишут о проблемах с функциями приложений. Поступают и просьбы по контенту — исправить опечатки, дополнить информацию, подправить аудио или картинку.

В Slack нашей компании есть чат #product_ideas. Сюда все отделы пересылают сообщения для продактов. Чаще всего — от учащихся, иногда кураторы замечают что-то в процессе. Сотрудник продуктового отдела просматривает идеи и отсеивает нерелевантные. Если это не поломка, которую нужно срочно исправлять, то вносим идею в список для соответствующего продукта. Там она ждет своего часа.

Если вопрос технического характера, мы стараемся ответить, почему так происходит. Если предложение по улучшению функций, то отвечаем, что передали идею продактам или разработчикам.

Компания предоставляет 50% скидку для сотрудников на изучение английского в нашей онлайн-школе. Поэтому 15% персонала по совместительству являются еще и студентами, и периодически тоже что-то предлагают.

Нужно понимать, что ждать интересную идею из пассивных источников можно очень долго. Хорошая идея находится на стыке разных секторов информации. Нужно иметь представление о потребностях бизнеса, пользователях, технических возможностях, ресурсах. Поэтому человеку со стороны сложно сразу попасть в цель.

В то же время множество разных идей помогают продуктовому менеджеру в результате найти свою. Когда у нас запланирован спринт по продукту, мы открываем файл с предложениями и выбираем то, что стоит рассмотреть. Когда идеи повторяются из независимых источников — это сигнал к действию.

Активные источники

В этом случае мы проявляем инициативу. Раньше мы принимали решение на основе личной экспертизы. Сейчас обязательно используем опросы и интервью, а также анализ данных поведения пользователей. Эти инструменты основные для Customer Development, тестирования идей на востребованность.

• Опросы нужны для получения фидбека от большой аудитории.
• Глубинные интервью помогут понять опыт и потребности клиентов, узнать мнения, а не статистику.

Мы делаем массовую рассылку по большой базе пользователей, чтоб отобрать студентов под запрос исследования. Участники оставляют ответы в гугл-форме. Иногда мы спрашиваем, не хотят ли они пообщаться индивидуально. Если люди соглашаются, продуктовые менеджеры проводят с ними личное интервью.

Как проводить интервью

В EnglishDom продакты обычно проводят 15–20 личных интервью, когда нужно разобраться в какой-то серьезной теме. Если мы хотим расспросить преподавателей английского об удобстве платформы, мы платим им за опрос, как за урок.

Общение происходит с помощью аудиосвязи. В ходе разговора продакт-менеджер делает тезисные пометки в таблице о мыслях респондента. Список вопросов разбит на четыре блока: вводные вопросы, что нравится в продукте, что не нравится, что бы хотели получить.

Если у интервьюируемого интересный опыт, взгляд, важно остановиться и углубиться в тему, чтобы выяснить, как и почему это происходит. В таком случае можно даже отклониться от списка вопросов.

Общее правило — надо проводить интервью до тех пор, пока ответы на интересующие вас вопросы не начнут повторяться. Во время интервью нужно уметь правильно брать информацию от пользователя. Ведь тот может сам до конца не осознавать своих желаний и импульсов или постесняться о них сказать.

Есть отличная книга, которую я рекомендую всем, интересующимся продуктовой тематикой и проведением интервью в частности, — «Спроси маму». Название отображает идею: нельзя спрашивать свою маму, если хочешь получить объективную оценку. Она всегда скажет: «Всё хорошо, ты молодец». А книга как раз и учит, как получать качественный фидбек, избегая возможных искажений отвечающего.

Как работать с идеями

Рассматривайте с разных сторон

Разные источники информации дополняют друг друга. Например, во время интервью мы узнали, что ни преподаватели, ни клиенты не пользуются функцией «заметки» в цифровом учебнике EnglishDom. Перепроверили в аналитике — так и есть.

Провели новые интервью и поняли причину: пользователь забывает, к какому уроку он делал запись, а перебирать каждый урок, отыскивая свою заметку, неудобно. В результате мы сделали один сквозной чат для заметок. Пользование функцией возросло в разы.

Другой пример. Преподаватели подсказали нам, что хотели бы иметь все правила в одном месте для удобного поиска. Так появился наш грамматический справочник.

Пользуйтесь аналитикой

Идеи, которые реализуются, должны быть подкреплены и фидбеком, и аналитикой. Например, есть задача — увеличить процент тех, кто после пробного урока оплатил обучение. И в ближайший спринт мы хотим доработать главный лендинг, чтобы увеличить конверсию.

Мы смотрим по аналитике, какая конверсия работает, видим всю воронку продаж и на каком этапе уходит больше всего студентов. Далее ищем способы это исправить. Открываем файл с идеями к продукту, смотрим, какие мысли уже звучали. Выдвигаем гипотезы, рисуем дизайн, оформляем ТЗ для разработчиков.

Сбор и анализ данных — это сложно. Всегда есть погрешности. Но, несмотря на риск ошибки, это единственный способ увидеть реальную картину.

На любой вопрос теоретически можно найти ответ в аналитике, главное — задать его правильно.

Алгоритм реализации

Недавно нам нужно было создать модуль, с помощью которого преподаватели могли бы самостоятельно вести расписание уроков. Ранее это делали за них кураторы. Продуктовый отдел решал эту задачу так:

1. Провели личные интервью со всеми заинтересованными — преподавателями и кураторами, которые работают с расписанием.
2. Определили критерии успеха для функций: актуальность расписания, количество открытых слотов в среднем на преподавателя, количество переносов уроков.
3. Задизайнили прототип интерфейса для преподавателя.
4. Написали ТЗ для разработчиков.
5. Провели A/B-тест с частью преподавателей, чтобы сравнить их метрики с контрольной группой.
6. Проанализировали метрики и убедились, что они не просели. Например, открытых слотов не стало меньше.
7. Запустили для всех преподавателей.

Мелочи или крупные проекты?

Я как CEO не продавливаю различные мелкие улучшения. Хотя у меня есть отдельный файл, куда записываю мысли и замечания для продактов после релиза. При доработке продукта мы выбираем те из них, которые принесут большую прибыль при меньших затратах.

В фокусе моего внимания — проверка значимых гипотез и запуск крупных продуктов. Это всегда вопрос бюджета: надо подсчитать, сколько денег требуется на гипотезу, сколько продукт может принести, каково время на разработку.

Опасная продуктовая ошибка

Итак, идеи можно получать из:

• пассивных источников — изучая отзывы клиентов и сотрудников, применяя к этим просьбам и советам свою экспертизу, отсеивая ненужное и записывая мысли с потенциалом.
• активных источников — самим расспрашивая пользователей.
• аналитики — цифры подскажут, где что происходит неправильно.

Дополнительные варианты получения фидбека для гипотез:

• привлечь внешнего эксперта;
• посмотреть, что есть у конкурентов.

Чаще всего, когда есть проблема, мы получаем сигналы о ней из всех источников.

Если бизнес уже есть и приносит деньги, то можно работать и без кастдева — интервью и опросов, но рост будет медленнее. Опасная продуктовая ошибка — запускать продукт и тратить год разработки лишь в надежде, что ты угадал потребности своей целевой аудитории.

Всегда перед тем, как делать что-то новое, нужно пообщаться с потенциальными покупателями. Тогда есть шанс сделать то, что действительно упростит их жизнь.