Полярная звезда: как украинские компании выбирают North Star метрику и работают с данными
Любую статью можно сохранить в закладки на сайте, чтобы прочесть ее позже.
Режим чтения увеличивает текст, убирает всё лишнее со страницы и даёт возможность сосредоточиться на материале. Здесь вы можете отключить его в любой момент.
Кроме самого продукта у IT-компаний есть другая ценность — данные. Вот только данных и метрик много и каждый человек в команде может трактовать их по-разному, и соответственно делать разные выводы. Мы попытались разобраться, как IT-компании выбирают, на какие данные смотреть, как избегают разночтений и определяют для себя North Star.
Как компании формируют dashboard и у кого есть доступ к данным
Сооснователь и Head of Design образовательной онлайн-платформы Preply Сергей Лукьянов говорит, что его компания верит в демократизацию данных. Поэтому любой специалист имеет доступ к полному спектру данных о продукте. Это касается даже финансовых метрик, таких как GMV (общая стоимость проданного за определенный период).
По его словам, в таком подходе есть два ключевых фактора:
- определение метрик, которые отражают успех пользователя на различных этапах customer journey;
- создание удобной инфраструктуры для работы с данными.
Сергей Лукьянов
«Для определения ключевых метрик мы использовали Retention Framework, разработанный Брайаном Белфором из Reforge. С помощью этого подхода мы нашли метрики, которые максимально коррелируют с долгосрочным retention в нашем продукте и сфокусировали на них продуктовые команды.
Также команды используют различные вспомогательные метрики и расчеты в зависимости от задач, с которыми работают», — рассказывает Сергей.
Чтобы снизить порог входа для работы с данными, Preply отказались от сводных таблиц и Power BI в пользу Tableau.
Кроме этого, в стартапе помогают всем желающим приобрести необходимые навыки SQL (structured query language — язык структурированных запросов, — ред.), чтобы копать глубже и самостоятельно отвечать на свои вопросы.
Открытость данных поддерживает и Дмитрий Мазуренко. Он начинал карьеру в ІТ как диджитал-маркетолог, а потом перешел в продакт-менеджмент. Сейчас Дмитрий — Head of R&D в Govitall, продуктовой компании, которая разрабатывает решения для западных студентов.
Дмитрий Мазуренко
«Я за максимальную открытость данных. Наши продуктовые компании очень закрыты, мне кажется, это проблема. Не бывает «серебряных пуль» или идеальных ключевых слов для рекламы. Все упирается в скорость реализации идей. Секретность только вредит этой скорости. Когда вы делитесь с людьми идеями и они дают вам фидбэк, вы можете находить более крутые решения», — говорит Дмитрий.
По его мнению, доступ к чувствительной информации — например, объемам продаж — нужно делить по зонам ответственности: «Возьмем, например, маркетолога в B2B-продукте, мессенджере с платными функциями. Он должен видеть в своем канале все ревенью. Так он будет чувствовать собственное влияние и получать бонусы за то, что будет взращивать свой канал».
Product Manager онлайн тревел-агенства Tickets.ua Руслан Дороничев говорит, что сотрудники его компании могут получить доступ к нужным для работы данным: «У нас нет барьеров к получению информации, каждый может увидеть все интересующие его данные. Исключение составляет только информация, которую защищает закон, а также персональные данные клиента».
Руслан Дороничев
Он утверждает, что в компании поощряют желание специалиста принимать решения, основываясь на конкретных данных: «Если роль сотрудника в компании не предполагает наличие доступа к каким-то данным, но у него есть желание и аргументация на получение доступа для какой-то задачи — он его получит».
Свою специфику имеет выбор метрик в SoftServe. SoftServe — не полностью аутсорс-компания, внутри есть полноценные продуктовые команды. Компания в абсолютном большинстве случаев работает с enterprise-продуктами. По мнению Product Management Office Leader Оксаны Крыкун, этот фактор и определяет выбор метрик.
«Мы не работаем с одним продуктом. Сейчас в моей команде 27 продакт-менеджеров, и каждый работает над своим продуктом, над клиентским или внутренним», — объясняет она.
Оксана Крыкун
Оксана говорит, что пока аналитика не является их сильной стороной, однако они пытаются стандартизировать метрики. В зависимости от типа продукта используют такие:
- для внешних B2B-продуктов, если компания занимается всем продуктом целиком, используют NPS, depth of usage и bounce rate;
- для внутренних продуктов клиентов пользуются NPS, adoption rate и depth of usage;
- для продуктов SoftServe используют usage rate и new users. Также мониторят фидбэк клиентов.
«Пока что это немного тяжелая тема для нас. Мы хотим работать над большим количеством аналитики и учимся этому. У нас есть клиенты со своими метриками, с которыми мы должны считаться, но иногда мы “разворачиваем” свой аналитический набор и даем его клиенту».
Как выбрать North Star
Сергей Лукьянов считает, что успех Preply зависит от того, насколько эффективно платформа помогла клиентам достичь поставленной цели в обучении: «На текущий момент наша North Star — это общее количество часов обучения, проходящих на платформе ежемесячно. Рост этой метрики говорит нам о том, что мы на правильном пути: ученики видят ценность в использовании сервиса для достижения целей, а репетиторы получают больше возможностей зарабатывать на любимом деле».
В Tickets.ua есть много отдельных продуктов: «Отели», «Авиа», «Туры», «ЖД», «Автобусы», «Страховки» и другие. При этом компания старается развивать не только B2C, но и B2B-сегмент, отмечает Руслан Дороничев.
«У каждого продукта есть стратегия развития, которая определяется в том числе и конкретными ключевыми показателями. Например, в нашей команде сервиса “Отели”, показатели делятся на две категории: макроцели и микроцели.
Макроцели — количество продаж, конверсия из поиска в бронирование, количество повторных покупок за определенный период, размер среднего чека. Эти цели мы разбиваем на более мелкие (микроцели).
Успешность определяется по мере достижения поставленных показателей за период времени», — Руслан Дороничев.
По мнению Оксаны Крыкун, North Star продакт-менеджера должен быть NPS — индекс потребительской лояльности, который измеряется с помощью обратной связи. Оксана уточняет, что это справедливо для продуктов, с которыми работает SoftServe, их нельзя сравнивать с Airbnb или Facebook.
Другой позиции придерживается Дмитрий Мазуренко: «По моему мнению, главная метрика, которая определяет product-market fit и говорит, что продукт реально ценный и необходимый для людей, — это retention».
Он считает, что retention более объективно показывает вовлеченность аудитории, чем опросы лояльных пользователей: «Есть продукты, где нет необходимости каждый день заходить и что-то делать. Они работают на фоне, например, секьюрити-софт. Но и здесь влияет retention. Если человек установил продукт, который работает на фоне и не удаляет его, это также говорит о хорошем retention. Но нужно с самого начала знать, что человек установил этот софт сознательно».
Мазуренко уверен, что LTV (Lifetime Value), конверсия и все, что связано с деньгами, это второстепенные метрики: «У многих наших продуктовых компаний retention не проработан. Все построено на импульсивной покупке, чтобы человек сделал проплату как можно быстрее.
Но потом люди могут не видеть никакой ценности в этом продукте. Даже если такая сделка выходит в плюс, вам нужно тратить все больше денег на маркетинг. Ведь для увеличения заработка нужно все больше новых клиентов».
Как избежать разночтения данных
Руслан Дороничев отмечает две причины, по которым данные могут истолковать неправильно. Первая — если одну и ту же метрику считают по-разному. Чтобы этого избежать, специалисты Tickets.ua используют единый подход в расчетах.
«Вторая причина — это уже сама интерпретация данных и выводы, которые из этого следуют. Чтобы избежать двойственности в восприятии данных в этом случае, полученные после анализа выводы обсуждаются внутри команды. Каждый может перепроверить расчет, поддать сомнению какое-то решение», — объясняет Руслан.
Сергей Лукьянов считает, что интерпретация данных во многом зависит от индивидуальных навыков работы с ними. Также роль играют знания о продукте и его пользователях: «Например, разночтения в результатах A/B-теста скорее всего будут свидетельствовать о недостаточном понимании инструментов статистики. Это относительно легко исправить с помощью менторинга и обучающих активностей.
В других случаях, когда логика и текущие знания о пользователях не дают однозначного ответа на вопрос “почему?”, хорошо помогают качественные методы исследований».
