Data is king. Як data-driven підхід допоможе вашому продукту зростати

Що означає — бути Data-Driven 

Бути data-driven означає довіряти цифрам, а не інтуїції та покладатись на дані як на рушійну силу для будь-яких подальших дій на продукті. 

Цей підхід основоположний і для нашого MathMaster — сервісу математичної допомоги. З простенького утиліт-застосунку за три роки ми побудували повноцінний освітній продукт, яким наразі користуються мільйони учнів з усього світу. Все завдяки killer фічі — live-чат з математичними експертами (тьюторами), що під’єднуються на запити користувачів. З цієї функції почалося стрімке зростання продукту та розбудова розгалуженої бізнес-інфраструктури навколо нього.

З самого початку і до сьогодні наскрізна аналітика супроводжує кожен процес та зміну на продукті. Ми не припиняємо тести — вони проходять постійно, майже безперервно. І кожне рішення —завжди data-driven. Це дозволяє тримати високу планку, збільшувати кількість юзерів та покращувати LTV. 

Та як почати впроваджувати data-driven підхід у ваш продукт? Де має бути та перша точка входу аналітики, що запустить процес збільшення LTV? 

Підрахунок LTV 

Точний підрахунок LTV важко переоцінити, адже саме цей показник дає розуміння окупності вашого бізнесу. Це і є та перша точка, у якій вам знадобиться аналітика. Надати максимально точний прогноз наявних даних — задача аналітичної команди.

Коректний підрахунок LTV залежатиме від монетизаційної моделі продукту:

• підписки;
• транзакційної моделі (якщо оплати не мають встановленої періодичності та наперед визначеної суми);
• рекламної;
• комбінованої (якщо декілька моделей поєднуються).

Кожна з цих моделей прогнозується по-своєму, а у випадку комбінованої — спрогнозувати LTV точно буде ще важче, але тим важливіше для успіху бізнесу.

У MathMaster на початку ми мали лише підписки, а без історичних даних прогноз був доволі грубий. Після додавання транзакційної моделі прогнозування стало ще складнішим. 

Проте, почали з простої моделі, наклавши наш досвід з іншими продуктами, а також бенчмарки по ринку, що дозволило уже одразу оцінювати, наскільки ми близько чи далеко до окупності. А трохи згодом, назбиравши дані, команді вдалось побудувати прогноз LTV на 6/12 місяців з точністю >95% за першими днями життя когорти, що дало можливість дуже швидко та впевнено приймати рішення. До речі, про наш підхід до підрахунку LTV можете детально прочитати тут.

Insights Loop: процес тестування гіпотез

Коли у вас вже є базовий прогноз LTV, починається робота над його покращенням — безперервна та циклічна історія генерування гіпотез та їхнє тестування. Так званий insights loop:

Розглянемо, як аналітика може допомогти на кожному з цих етапів.

Генерація гіпотез

Для початку ви маєте зрозуміти, що у вас в продукті працює добре, а що погано. Слабкі точки —перше, що варто дослідити та описати у цифрах. 

Далі, щоб сформувати гіпотезу щодо потенційного покращення продукту, потрібні ідеї. Їх можна отримати з різноманітних джерел: 

• читати відгуки ваших користувачів;
• проводити серед них опитування;
• аналізувати конкурентів; 
• йти за порадами до нетворку тощо. 

Та найпростіший і, що найголовніше, найбільш інформативний метод отримання ідей — дослідити ваші ж дані. 

У них зможете побачити певні закономірності/слабкі точки продукту та покращити його завдяки отриманим інсайтам. Аналітика тут стане у пригоді у двох форматах: BI-дашборди та глибокі аналітичні дослідження.

BI-дашборди 

ВІ-дашборди — це сукупність аналітичних звітів, які дають розуміння роботи продукту на щоденній основі. Наприклад, воронка прохідності онбордингу продукту з конверсіями з етапу в етап; продуктова аналітика з використання фіч користувачами; retention-крива юзерів різних когорт тощо. 

Мета цих дашбордів — надати поверхневі інсайти щодо роботи продукту, на основі яких можна формувати нові гіпотези покращення метрик.

Наші перші BI-дашборди дозволили побачити, що в пікові години (коли юзери роблять домашні завдання) наші математичні експерти не встигали покрити весь потік запитів і через це утворювалися черги, а час на закривання задач зростав у п’ять разів. Щобільше, такі юзери на 30% гірше монетизувались. 

Врешті ми донайняли експертів на пікові години, що допомогло знизити Churn Rate користувачів у цей період, тож у підсумку отриманий інсайт допоміг нам підняти середній LTV на 5-10%.

Глибокі аналітичні дослідження

BI-дашборди — безумовно крутий інструмент на початку розвитку продукту. Та обовʼязково прийде момент, коли всі можливі інсайти з них ви вичерпаєте, а в пошуках нових точок росту знайдуться глибші питання, на які ви не матимете відповіді. Наприклад:

• Чому користувачі відписуються від продукту? 
• Які сегменти користувачів у нас є і чи вони монетизуються по-різному? 
• Хто є нашими китовими юзерами і як вони ними стають? 
• Як впливає та чи є інша взаємодія користувача з продуктом на його retention та монетарні метрики? 

І це лише декілька питань, які можуть бути основоположними для зростання вашого продукту. Тут і настає час аналітичних досліджень.

Їх можна назвати навіть дещо творчими — на відміну від BI-дашбордів тут не завжди очевидно, що саме треба рахувати, що на що ділити чи множити, і як взагалі підійти до виконання задачі. Та результатом ресерчу будуть не просто сухі цифри чи кореляційні показники, а цілий комплекс висновків та інсайтів, підкріплених розрахунками. 

В одному з таких досліджень ми виявили, що маємо 5% користувачів, які генерують близько 50% усього виторгу MathMaster. Мало того, переважна частина з них мають спільні патерни поведінки під час перших сесій користування застосунком, тож далі ми почали працювати над збільшенням відсотка таких юзерів.

Pro tip: Класно, коли ваша аналітична команда проактивна – на базі отриманих в ході досліджень чисел, вони зможуть приходити до вас зі вже сформованими гіпотезами щодо покращення продукту. 

Пріоритезація гіпотез 

Тож ви згенерували низку гіпотез. Але як визначити, чи всі з них варто тестити й в якому порядку? При тому, що ресурс команди та кількість тестів, які ви можете провести за одиницю часу, обмежені. 

Логічно почати з тих, що потенційно найсильніше піднімуть LTV. Тут аналітика допоможе вам: 

• а) розкласти гіпотези на конкретні метрики; 
• б) підрахувати грошовий потенціал (uplift) кожної з гіпотез. 

Таким чином ви зможете спершу взяти найбільш важливі в роботу, а менш пріоритетні відкласти на потім, або й взагалі від них відмовитись, якщо їхній потенціал виявиться надто мізерним.

Наведу приклад MathMaster:

Припустимо, що:

• Trial Users = 10000 — кількість нових тріальних юзерів у місяць;
• CR (Trial —> Rebill) = 20% — конверсія з тріалу в платну підписку;
• Paid Users = Trial Users * CR (Trial —> Rebill) = 2000 — кількість платних юзерів;
• LTV = $50;
• Total Revenue (monthly) = Paid Users & LTV = $100000.

Тоді, якщо збільшити CR (Trial —> Rebill) на 10%, ми матимемо:

• CR (Trial —> Rebill) = 22%, Paid Users = 2200;
• Total Revenue (new) = 2200 * $50 = $110000.

Відповідно, потенційний uplift = $110000 – $100000 = $10000.

Аналогічними розрахунками приходимо до того, що uplift нового онбордингу = $5000, тож задачу з рейтингом експертів беремо у вищий пріоритет. 

Звісно, в пріоритезації варто враховувати й додаткові фактори, такі як, складність реалізації задачі та ймовірність її успіху. Та найголовніше — саме потенційний uplift гіпотези.

Проведення спліт-тестів 

Коли ви визначились з пріоритетами, ви починаєте тестувати. 

Коректні запуск, проведення, завершення та висновки після тесту мають не менше значення, ніж сама гіпотеза.

Для прийняття ефективних рішень після завершення тесту вам необхідні дві речі: дані та їхня достатня кількість. Тож перед початком тестування аналітики мають: 

1. сформувати перелік метрик, які необхідно трекати; 
2. визначити основну з них (покращення якої ми очікуємо на тестовій когорті юзерів);
3. порахувати необхідну кількість даних для набуття статистичної значимості результатів.

Pro tip: У проведенні тестів важлива дисципліна, тож має бути окрема людина, яка за них відповідатиме. Це допоможе уникнути ситуацій, коли через тиждень тестування гіпотези у вас, наприклад, немає необхідних параметрів для глибшого аналізу результатів, або ж запущений тест потребує дуже довгого періоду збору даних, а часу у вас на це немає. 

Висновки та прийняття рішень

Після завершення тесту важливо зробити висновки для прийняття правильного рішення. 

Приклади візуалізації результатів тесту 

Якщо ви як Product Manager згенерували гіпотезу та очікуєте від неї збільшення LTV, часом буває важко залишатися щодо неї неупередженим. Тож краще, аби оунером цього процесу був саме аналітик — з холодною головою та без емоцій приймав правильне рішення, яким би інколи неприємним воно не було.

Та на цьому тест не закінчується. Незалежно від результатів, важливо підкріпити їх висновками. 

Кожен проведений тест має не просто покращувати ваші метрики, а й приносити ідеї для формування нових гіпотез. 

Iterate & Repeat 

Після підведення підсумків і впровадження найпродуктивніших рішень повертайтесь до етапу номер один: проводьте нові дослідження, здобувайте свіжі інсайти, використовуйте досвід раніше проведених тестів для генерування нових гіпотез і корегування прогнозів щодо впливу потенційних змін на фінальну метрику. І головне — не зупиняйтесь.

Памʼятайте: аналітика — неймовірно цінний інструмент, який допоможе перевести роботу вашого продукту в цифри, а цифри відкриють нові точки для його покращення. Тож інвестуйте час і ресурси в аналітику, будьте data-driven у прийнятті рішень, щоб будувати сильні продукти made in Ukraine.

Більше про це

01 FOMO OFF

Секрет від Пола Грема. Як надлінійна віддача допоможе вам досягти успіху 

Додати в закладки

Будь-яку статтю можна зберегти в закладки на сайті, щоб прочитати її пізніше.

Далі

Завершити

Реклама у Vector

Знайшли помилку? Виділіть її і натисніть Ctrl+Enter