10 июня 2024
Тестирование гипотез: процесс и этапы
Почему одни стартапы растут медленно, а другие — быстро? Основатели успешных проектов умеют мыслить гипотезами. Чем больше предположений стартап проверит в единицу времени, тем быстрее рост.
Ринат Шамсиев, трекер, СЕО и совладелец международной компании Zvonobot, объяснил, какими бывают гипотезы, как их генерировать, формулировать, приоритизировать и проверять.
Содержание
Гипотезы могут быть маркетинговые (настроить рекламу на сайт) или продуктовые (запустить новую фичу в продукте).
Самые важные для предпринимателя — это гипотезы ценности и роста.
Гипотеза ценности — это предположение о том, с какой проблемой сталкиваются пользователи и как ее можно решить с помощью вашего продукта.
Гипотезы роста — это предположение о том, как расти быстрее, какие каналы привлечения клиентов использовать, как увеличить конверсию, процент возврата и удержания пользователей, как монетизировать продукт.
Самый простой алгоритм для работы с гипотезами — это HADI-циклы. Этот метод состоит из четырех блоков:
H (Hypothesis) — Выдвижение гипотез и выбор лучших.
A (Action) — Проверка гипотез. Задача — провести тестирование или эксперимент, которые позволят подтвердить или опровергнуть предположение команды.
D (Data) — Сбор данных.
I (Insights) — Анализ полученных данных, извлечение выводов и валидация результатов.
Гипотезы удобно описывать по следующему шаблону:
Анализ текущих проблем и ограничений. Как быстро узнать, где текущее ограничение? Ответ простой — подумать, что нужно сделать, чтобы за месяц продавать в два раза больше.
Мозговой штурм. Команда собирается и генерирует гипотезы.
Проблемные интервью. CustDev-интервью с клиентами позволяют понять, что нужно вашим пользователям и как они думают. Например, у вас сервис аренды электроинструмента. Вы знаете, зачем люди арендуют перфоратор? Спросите у них. Допустим, вы узнали, что их задача — сделать дырку. Значит, можно продавать им такую услугу. В итоге у вас появляются новые клиенты, которые сами не умеют сверлить дырки.
Анализ CJM. Customer Journey Map показывает, как пользователь ведет себя на вашем сайте или в приложении. Проанализируйте путь клиентов и подумайте, почему они совершают те или иные действия. Простой пример. Люди закрывают вклад в банковском приложении. Почему они это делают? Большинству нужны деньги, чтобы что-то купить. Какую гипотезу можно выдвинуть? Например, если раньше при закрытии вклада вы писали клиентам «спасибо, что воспользовались нашими услугами», то теперь предложите им кредит. Мы проверили эту гипотезу и получили 40% конверсию в переход на кредитное предложение.
Общение с экспертами. Экспертизы основателя и команды не всегда бывает достаточно, поэтому стоит обращаться к специалистам.
Продуктовая аналитика. Этот метод подойдет тем стартапам, у которых много данных по продукту.
Количественные исследования.
Например, в вашей форме регистрации написано «Оставьте заявку и получите бесплатную консультацию». А что если предложить пользователю что-то еще? Поменять CTA на «Оставьте заявку и получите в подарок гайд».
Эту гипотезу можно проверить с помощью A/B тестирования. Версия А (как было: «Оставьте заявку и получите бесплатную консультацию») — контрольная. Версия В (с изменениями: «Оставьте заявку и получите в подарок гайд») — тестируемая.
Одной половине участников теста показываем версию А, второй — В. Замеряем конверсию, сколько людей в каждой группе оставили заявку, и делаем выводы.
Для количественных исследований также используют опросы и юзабилити-тестирование, то есть анализ поведения пользователей на сайте — например, мы смотрим, куда чаще всего кликают посетители и делаем вывод, где расположены самые кликабельные разделы.
Качественные исследования.
К таким методам относят фокус-группы и проблемное интервью с клиентами, которые позволяют узнать, что нужно пользователям, определить свойства и фичи продуктов, за которые они готовы платить.
Еще один метод — Jobs To Be Done-интервью, что переводится как «работа, которая должна быть сделана». Смысл этой концепции в том, что клиенты «нанимают» товары либо услуги, чтобы решить свою проблему. То есть, условно говоря, человек покупает не дрель, а дырку в стене.
Jobs To Be Done-интервью позволяют лучше понять мотивацию клиентов и генерировать гипотезы о том, как создать востребованный продукт.
R (Reach) — определяем охват, то есть, на какое количество пользователей повлияет изменение продукта.
I (Impact) — определяем влияние на одного пользователя, используя следующую шкалу:
С (Confidence) — определяем уверенность в своей оценке охвата, влияния и трудозатрат. Ее указывают в процентах. 100% — высокая уверенность, 80% — средняя и 50% — низкая. Уверенность записывается в долях. Например, 100% — это 1.
E (Effort) — трудозатраты. В RICE этот показатель измеряется месяцами. Если на реализацию идеи уйдет 1 месяц, соответственно, указываем 1.
Приоритеты определяются по формуле:
(Reach x Impact x Confidence) / Effort.
Рассчитав итоговый показатель по всем гипотезам, мы понимаем, какие из них принесут больше пользы для бизнеса, и берем их в работу.
→→→
Чтобы расти быстро, команда стартапа должна понять, где основное ограничение, которое мешает масштабировать бизнес. Затем сформулировать 10-20 гипотез, которые могут его снять, сразу удалить из списка слабые гипотезы и быстро проверить сильные. Для эффективной команды из 2-3 человек хорошая скорость — 2-4 гипотезы в неделю.
Важно помнить ключевое правило — в первую очередь нужно делать то, что вы должны, а не то, что вам нравится, то есть проверять гипотезы на основное ограничение в проекте.
Ринат Шамсиев, трекер, СЕО и совладелец международной компании Zvonobot, объяснил, какими бывают гипотезы, как их генерировать, формулировать, приоритизировать и проверять. Содержание
- Что такое гипотеза
- Как работать с гипотезами
- Как формулировать гипотезы
- Как генерировать гипотезы
- Как проверять гипотезы
- Как приоритизировать гипотезы
Что такое гипотеза
Гипотеза — это наше предположение о том, как устроен мир, догадка, которая не имеет достаточных фактических подтверждений, но представляется вероятной и не пока опровергнута.Гипотезы могут быть маркетинговые (настроить рекламу на сайт) или продуктовые (запустить новую фичу в продукте).
Самые важные для предпринимателя — это гипотезы ценности и роста.
Гипотеза ценности — это предположение о том, с какой проблемой сталкиваются пользователи и как ее можно решить с помощью вашего продукта.
Гипотезы роста — это предположение о том, как расти быстрее, какие каналы привлечения клиентов использовать, как увеличить конверсию, процент возврата и удержания пользователей, как монетизировать продукт.
Как работать с гипотезами
Самый простой алгоритм для работы с гипотезами — это HADI-циклы. Этот метод состоит из четырех блоков:
H (Hypothesis) — Выдвижение гипотез и выбор лучших.
A (Action) — Проверка гипотез. Задача — провести тестирование или эксперимент, которые позволят подтвердить или опровергнуть предположение команды.
D (Data) — Сбор данных.
I (Insights) — Анализ полученных данных, извлечение выводов и валидация результатов.
Как формулировать гипотезы
Гипотезы формулируются по принципу «Если … то…». После «если» вы пишите, что именно хотите сделать, после «то» — какой результат получить. Важно также понимать, на какую метрику вы хотите повлиять — например, улучшить конверсию, увеличить количество пользователей и так далее.Гипотезы удобно описывать по следующему шаблону:
Как генерировать гипотезы
Есть несколько источников, которые помогают команде стартапа генерировать гипотезы.Анализ текущих проблем и ограничений. Как быстро узнать, где текущее ограничение? Ответ простой — подумать, что нужно сделать, чтобы за месяц продавать в два раза больше.
Мозговой штурм. Команда собирается и генерирует гипотезы.
Проблемные интервью. CustDev-интервью с клиентами позволяют понять, что нужно вашим пользователям и как они думают. Например, у вас сервис аренды электроинструмента. Вы знаете, зачем люди арендуют перфоратор? Спросите у них. Допустим, вы узнали, что их задача — сделать дырку. Значит, можно продавать им такую услугу. В итоге у вас появляются новые клиенты, которые сами не умеют сверлить дырки.
Анализ CJM. Customer Journey Map показывает, как пользователь ведет себя на вашем сайте или в приложении. Проанализируйте путь клиентов и подумайте, почему они совершают те или иные действия. Простой пример. Люди закрывают вклад в банковском приложении. Почему они это делают? Большинству нужны деньги, чтобы что-то купить. Какую гипотезу можно выдвинуть? Например, если раньше при закрытии вклада вы писали клиентам «спасибо, что воспользовались нашими услугами», то теперь предложите им кредит. Мы проверили эту гипотезу и получили 40% конверсию в переход на кредитное предложение.
Общение с экспертами. Экспертизы основателя и команды не всегда бывает достаточно, поэтому стоит обращаться к специалистам.
Продуктовая аналитика. Этот метод подойдет тем стартапам, у которых много данных по продукту.
Как проверять гипотезы
Гипотезы можно проверять количественными и качественными методами.Количественные исследования.
Например, в вашей форме регистрации написано «Оставьте заявку и получите бесплатную консультацию». А что если предложить пользователю что-то еще? Поменять CTA на «Оставьте заявку и получите в подарок гайд».
Эту гипотезу можно проверить с помощью A/B тестирования. Версия А (как было: «Оставьте заявку и получите бесплатную консультацию») — контрольная. Версия В (с изменениями: «Оставьте заявку и получите в подарок гайд») — тестируемая.
Одной половине участников теста показываем версию А, второй — В. Замеряем конверсию, сколько людей в каждой группе оставили заявку, и делаем выводы.
Для количественных исследований также используют опросы и юзабилити-тестирование, то есть анализ поведения пользователей на сайте — например, мы смотрим, куда чаще всего кликают посетители и делаем вывод, где расположены самые кликабельные разделы.
Качественные исследования.
К таким методам относят фокус-группы и проблемное интервью с клиентами, которые позволяют узнать, что нужно пользователям, определить свойства и фичи продуктов, за которые они готовы платить.
Еще один метод — Jobs To Be Done-интервью, что переводится как «работа, которая должна быть сделана». Смысл этой концепции в том, что клиенты «нанимают» товары либо услуги, чтобы решить свою проблему. То есть, условно говоря, человек покупает не дрель, а дырку в стене.
Jobs To Be Done-интервью позволяют лучше понять мотивацию клиентов и генерировать гипотезы о том, как создать востребованный продукт.
Как приоритизировать гипотезы
В первую очередь следует тестировать гипотезы, которые дадут максимальный результат. Для приоритизации идей и фич продукта есть много способов. Рассмотрим метод RICE. В его основе лежит балльная система, а оценка проводится по четырем факторам:R (Reach) — определяем охват, то есть, на какое количество пользователей повлияет изменение продукта.
I (Impact) — определяем влияние на одного пользователя, используя следующую шкалу:
- 3 — массовое влияние;
- 2 — высокое;
- 1 — среднее;
- 0.5 — низкое;
- 0.25 — минимальное.
С (Confidence) — определяем уверенность в своей оценке охвата, влияния и трудозатрат. Ее указывают в процентах. 100% — высокая уверенность, 80% — средняя и 50% — низкая. Уверенность записывается в долях. Например, 100% — это 1.
E (Effort) — трудозатраты. В RICE этот показатель измеряется месяцами. Если на реализацию идеи уйдет 1 месяц, соответственно, указываем 1.
Приоритеты определяются по формуле:
(Reach x Impact x Confidence) / Effort.
Рассчитав итоговый показатель по всем гипотезам, мы понимаем, какие из них принесут больше пользы для бизнеса, и берем их в работу.
→→→
Чтобы расти быстро, команда стартапа должна понять, где основное ограничение, которое мешает масштабировать бизнес. Затем сформулировать 10-20 гипотез, которые могут его снять, сразу удалить из списка слабые гипотезы и быстро проверить сильные. Для эффективной команды из 2-3 человек хорошая скорость — 2-4 гипотезы в неделю.
Важно помнить ключевое правило — в первую очередь нужно делать то, что вы должны, а не то, что вам нравится, то есть проверять гипотезы на основное ограничение в проекте.
Что еще посмотреть по теме:
1. Мастер-класс Вадима Глазкова: Всё получится, но это гипотеза: как гипотезы снижают неопределённость в работе над продуктом
Участники и выпускники
Отзывы