А б тестирование




А/Б тестирование: от А до Б

Тема тестов, как и тема аналитики, постоянно находит меня в работе. Когда впервые я столкнулась с задачей проведения A/B тестов, то терялась в книгах по анализу данных и статистике. Но нашлись щедрые коллеги, которые посоветовали с чего начать и как окунуться в тему. Оказалось, что многим авторам статей можно писать напрямую, можно общаться в комментариях и, в итоге, найти еще множество ресурсов с полезной информацией. Здесь я хочу собрать материалы, которые, в свое время помогли мне, чтобы для кого-то мой путь оказался немного короче.

Базовые понятия

  1. The Ultimate Guide To A/B Testing. Объемная статья от сооснователя VWO , в ней он описывает основные понятия А/Б тестов и дает множество ссылок на ресурсы с дополнительной информацией и use cases. Если бы эта подборка ссылок попалась мне в начале моего пути, то ответы на многие вопросы были бы получены гораздо быстрее.
  2. Четыре статьи от программиста и предпринимателя Джесси Фармера, который очень доступно объясняет основные понятия и математику А/Б тестов:
  • Data-Driven Development
  • An Introduction to A/B Testing
  • Hypothesis Testing: The Basics
  • Statistical Analysis and A/B Testing
  1. Statistics for Online Experiments. Сервис Optimizely сделал целую брошюру с описанием методов, которые используются в их продукте. Здесь содержится весьма базовая информация, не все стоит использовать в точности, как написано, но что-то можно взять на вооружение.
  2. Расчет размера выборки. Еще раз про основные термины

Подсчет выборок

Проведение сплошного исследования почти в 100% случаев неоправданно, поэтому всем исследователям потребуется иметь дело с выборками. От верно взятой выборки зависит достоверность и успешность теста. Имеющиеся калькуляторы я условно разделяю на те, которые учитывают размер генеральной совокупности, и те, которые не учитывают. На самом деле в обоих случаях формула используется одна, а для маленьких генеральных совокупностей используется коэффициент поправки.

  1. Creative Research Systems — расчет по генеральной совокупности.
  2. Evan’s Awesome A/B Tool — один из самых универсальных и точных калькуляторов расчета выборок.
  3. Optimizely — хороший калькулятор, но очень сложно задавать изменение конверсии в относительных величинах.
  4. VWO — данный калькулятор определяет длительность теста, что не всегда оправданно с точки зрения достоверности.
  5. Определение размера выборки при планировании научного исследования — А/Б тесты для электронных продуктов берут свое начало из медицины, в данной статье описываются принципы подсчета выборок в медицинских исследованиях

Про процесс

  1. Одна из основных статей, обязательная к прочтению, от Эвана Миллера How Not To Run An A/B Test. Основная идея состоит в том, что нельзя “добирать” выборки, чтобы получить значимый результат тестирования.
  2. A/B Testing with Multiple Looks. Как провести тесты и не потерять работу? Как экономить ресурсы и как заранее останавливать тесты, которые не дадут значимого результата? Об этом в двух статьях, где очень много математики.
  3. A Bayesian Approach to A/B Testing. В статье обсуждаются разные методы проведения тестов и критерии их остановки.

Анализ результатов тестирования

Стоит сказать, что разные исследователи по-разному анализируют результаты тестов и пользуются разными статистическими критериями. Для простоты анализа полученных данных было создано несколько калькуляторов, которые проверяют ваши гипотезы.

  1. ABBA A/B Test (Split Test) Calculator — калькулятор, который помогает интерпретировать результаты тестов. Не самый наглядный из продуктов, так как требует детально изучить схему работы калькулятора, чтобы понять, что именно значат результаты расчетов.
  2. G-test Calculator — данный калькулятор считает G-статистику.
  3. ABTestGuide — инструмент с очень красивыми графиками и визуализацией результатов.

А б тестирование

A/Б-тестирование для новичков: что это такое и как его настроить

Маркетологи абэ-тестируют, абэ-тестируют, да не выабэтестируются.

Внимание, эта статья не для маркетологов — она для людей, которые делают классный продукт и с помощью лендинга хотят найти новых клиентов. Мы постарались максимально просто рассказать об А/Б тестировании, избежав нагромождения цифр и терминов.

Что такое А/Б тестирование

Это метод. Тест. С его помощью выясняется, как небольшие изменения в дизайне или подаче коммерческих предложений влияют на поведение людей на сайте.

Допустим, вы делаете лендинг, в котором отличаются некоторые элементы: например, цвет фона. Запускаете рекламу и разделяете входящий трафик на два потока: половина посетителей попадает на лендинг с синим фоном, а вторая половина на лендинг с красным фоном. Через некоторое время анализируете результаты и видите, что красный фон приносит больше заявок, чем синий. Оставляете его.

Маркетологи также называют этот метод сплит-тестирование, от английского слова split — раздельный.

Зачем нужно А/Б тестирование

А/Б тестирование проводят, когда хотят проверить предположение. Например:

  • Люди будут оставлять больше заявок на участие в мастер-классе, если я подробнее расскажу о себе.
  • Больше посетителей подпишется на рассылку, если я перенесу кнопку из середины лендинга на главный экран.
  • Люди дольше задержатся на сайте, если я изменю цвет фона на более нейтральный.
  • Количество покупок увеличится на 5%, если я изменю подачу коммерческого предложения.

Выбираете гипотезу, которую хотите проверить первой, тестируете ее и по результатам определяете — стоит ли вносить изменения на сайт.

А/Б тест на практике помогает определить, насколько ваша идея проверяется реальностью.

Целесообразно проводить эксперимент, если к вам на сайт заходит хотя бы 5000 человек в месяц. Если меньше — придется потратить много времени, чтобы накопить необходимую статистику.

Как часто проводят и сколько времени это занимает

Нет какого-то особенного графика для проведения А/Б тестов — вы запускаете эксперимент, когда появляется интересная гипотеза. Больше гипотез — больше тестов.

Время проведения зависит от идеи. Если вы внесли микро-изменение: поменяли цвет кнопки или загрузили новое изображение — может понадобиться два-три месяца, чтобы понять какой вариант лучше. Если изменения глобальные — уже через пару недель станет понятно, какой лендинг больше зашел.

Время проведения рассчитывают на специальном калькуляторе — он помогает определить период, за который наберется достаточное количество людей для статистики.

Калькулятор определяет, сколько людей должно поучаствовать в тесте, а дальше уже нехитрыми вычислениями можно прикинуть, сколько времени это займет.

А/б тестирование сайта или лендинга — практическое руководство

Примеры а/б тестов

Как настроить Google Experiments

В качестве основного инструмента мы рассматриваем Google Experiments, потому что это очень просто, бесплатно и находится в интерфейсе Google Analytics, которым вы и так регулярно пользуетесь, ведь правда?

Чтобы провести А/В тестирование сайта, вам понадобится аккаунт в Google Analytics. Зайдите Google Analytics > Поведение > Эксперименты. Нажмите «Создать эксперимент».

Вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега .

Если ваш сайт сделан на Tilda, то зайдите Настройки сайта > Еще > html код для вставки в head > Редактировать код. В открывшемся окне вставьте код, сохраните и опубликуйте сайт.

Вернитесь в аккаунт Google Analytics , нажмите «Далее». Включится проверка кода эксперимента. После того, как код будет найден, нажмите «Начать эксперимент». С этого момента весь трафик будет перенаправляться, в процентном соотношении, на исходную или другие варианты страниц.

Первые результаты a/b тестирования появятся через несколько суток после начала эксперимента. Чтобы следить за результатами а/б тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов: Google Analytics > Поведение > Эксперименты.

10 этапов успешного а/б тестирования

Сформулируйте гипотезу. Гипотеза — это ваш фундамент. Просто сравнивать два варианта любопытно, но бессмысленно. Нужна четкая формулировка проблемы, а потом вероятного решения. Например: Количество регистраций можно увеличить, если добавить в заголовок слово «бесплатный». Это предположение может быть и правильным, и ошибочным — определит a/b тестирование.

В идеале гипотеза появляется в результате исследования: поговорите с клиентами — за что они любят ваш продукт, какую проблему он решает, проведите анализ запросов в службу поддержки: найдите болевые точки, посмотрите статистку: у каких страниц высокий процент выходов или аномально низкая конверсия, воспользуйтесь чудесным вебвизором — что люди вообще делают на вашем сайте, как они себя ведут.

Определитесь с целевым показателем — что в итоге будет критерием: показатель отказов (сколько человек зашли на страницу и тут же закрыли), время, проведенное на сайте, количество заявок или регистраций, количество покупок или средний чек.

Тут мы возвращаемся к началу: какую проблему нужно решить. Например, вы продаете онлайн-курс по основам правильного питания. Вы хотите увеличить продажи одной из трех программ и выделяете ее цветом.

Тогда при сравнении двух страниц критерием будут продажи именно этой программы. Неважно сколько времени посетители провели на странице, сколько из них отправило заявку, сколько купили другие программы или как изменилась выручка. Нет, нас интересует именно изменение продаж данного варианта.

Убедитесь, что у вас настроена статистика, которая это зафиксирует.

Определите выборку — заранее посчитайте сколько человек должны пройти через ваши страницы, чтобы результаты a/b тестирования были статистически значимы (то есть они не могли возникнуть случайно), и вы могли бы им доверять. Это число зависит от того, насколько сильные изменения вы ожидаете увидеть.

Посчитать количество посетителей можно с помощью онлайн-калькулятора, например: tools.driveback.ru

Если исходная конверсия была 10%, а минимальный видимый эффект 10%, то есть ожидается, что конверсия вырастет до 11% (10+10*0,10), то минимальное количество посетителей для теста должно быть 14400 человек (на каждой странице). Это число вам нужно для ориентира — когда можно будет остановить тест.

После того, как тест будет закончен, нужно будет проверить значимость результатов:

Если при той же выборке на одной странице, например, зарегистировалось 1000 человек, а на другой 1100, то можно утверждать, что вторая страница действительно имеет более высокую конверсию и результат повторится с высокой вероятностью.

Подумайте будете ли вы показывать экспериментальную страницу всем посетителям или только части. Если показывать всем, то необходимое количество людей наберется быстрее. С другой стороны, если гипотеза окажется неверной, и новая страница будет иметь более низкую конверсию, будут потери.

Также обратите внимание на состав: новые посетители или постоянные. Есть вероятность, что среди постоянных посетителей эксперимент будет не чистый: когда люди уже привыкли к одному интерфейсу, то их реакция на изменения будет не такой, как у тех, кто видит его впервые.

Определите продолжительность a/b тестирования. Минимальное время — неделя, даже если вы набрали статистически значимое количество посетителей за полдня. Это связано с тем, что в разные дни недели поведение может очень сильно различаться.

Если целевой показатель у вас покупка, и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это. В среднем рекомендуемое время тестирования 10-14 дней. В Google Experiments минимальное время тестирования по умолчанию — 14 дней. Определившись со временем, никогда не останавливайте тест раньше, даже если на протяжении первых нескольких дней один вариант уверенно лидирует. Для достоверных результатов нужно время.

Проверьте однородность аудитории. После запуска теста поток посетителей будет распределяться 50/50 и важно, чтобы эти две части были максимально однородными и похожими. То есть на конечный результат должен влиять только ваш эксперимент.

Чтобы проверить однородность, нужно сначала провести а/а тестирование — поделить трафик, но показывать абсолютно одинаковые страницы. Если конверсия одной и той же страницы будет отличаться, значит поток посетителей неоднородный и а/б тестирование делать бессмысленно.

Примеры а/б тестов

Результаты а/б тестирования невозможно тиражировать. Каким бы ни был успешным кейс, воспроизводить его в других условиях не имеет смысла. Тестирование все равно придется проводить свое, исходя из той проблемы, которую вы хотите решить, того исследования, которое вы провели и той гипотезы, которую вы сформулировали.

Но посмотреть примеры a/b тестирований полезно: поискать идеи и проверить интуицию, а заодно убедиться, что результаты могут быть абсолютно непредсказуемыми.

Visual Website Optimizer рассказывает как компания Server Density протестировала изменения цен и увеличила доход на 114%.

Server Density представляет услуги мониторинга серверов. Они решили изменить цены таким образом, чтобы увеличить общую выручку.

Гипотезы было две:

  1. Повышение цены сократит количество бесплатных регистраций
  2. Повышение цены увеличит выручку, несмотря на то, что регистраций станет меньше.

На сайте отслеживались и тестировались две цели:

  1. Бесплатная регистрация
  2. Покупка плана (upgrade)

Исходная страница выглядела так:

Цена на ней менялась, в зависимости от количества серверов и сайтов, которые нужно было мониторить. Было логично, что чем больше объектов обслуживалось, тем выше была общая стоимость.

Несмотря на то, что большинству клиентов требовалось обслуживание в среднем 7 серверов, им показывалась цена обслуживания одного сервера — $11+$2, в надежде, что небольшое число привлечет внимание и это увеличит базу клиентов.

Большинство клиентов жаловалось, что цена слишком высокая.

Несмотря на эти жалобы, Server Density решили протестировать новый пакет, где цена стартовала с $99.

Тут можно заметить, что 10 серверов и 10 сайтов по старым ценам стоили бы $130 в месяц, то есть они на самом деле снизили цену, но увеличили среднюю стоимость заказа.

Результат:

Бесплатные регистрации:
Исходная страница — 1950 посетителей, 135 регистраций, 6.92% конверсия
Тестируемая страница — 1925 посетителей, 100 регистраций, 5.19% конверсия
Результат: конверсия бесплатных регистраций уменьшились на 24.96%

Покупки плана:
Исходная страница — 1950 посетителей, 20 покупок, средний чек $19.70, общая выручка US$394
Тестируемая страница — 1925 посетителей, 15 покупок, средний чек $55.53, общая выручка $833
Результат: 114% увеличение общего дохода.

Ключевые находки теста:
— Цены — важный показатель правильности ваших рассуждений и чтобы в этом убедиться, нужно проводить тестирование на реальных данных.
— Большинству клиентов важнее какую ценность они получают, приобретая продукт, чем то, во сколько вам обходится его обслуживание.
— Вам следует устанавливать цены, исходя из того, какую пользу принесет продукт клиенту, а не какая у него себестоимость или какую прибыль вы хотите получить.
— Тестируйте постоянно — никогда точно не знаешь, где спрятались деньги.

Другие примеры можно также посмотреть на сайте, посвященному результатам а/б тестирования: Which Test Won.

Что такое A/B-тестирование и как его проводить

Время чтения: 11 минут Нет времени читать? Нет времени?

Как известно, в бизнесе не бывает статичных состояний. Предприятие должно постоянно развиваться, чтобы соответствовать текущей рыночной ситуации, потребностям клиентов и собственников. Остановив развитие, проект в ту же секунду начинает деградировать. Например, нельзя создать интернет-магазин, добавить на сайт 200 товаров и ежемесячно получать прибыль в сумме 100 тыс. рублей. Чтобы прибыльность проекта хотя бы не падала, предпринимателю необходимо постоянно расширять ассортимент, увеличивать охват аудитории с помощью рекламы и публикации полезного контента, улучшать поведенческие метрики сайта и коэффициент конверсии.

Одним из инструментов развития веб-проектов является A/B-тестирование. Этот метод позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики. Из этой статьи вы узнаете, как правильно проводить A/B-тестирование.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing — раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию. Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование — это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин. Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование — это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

  • Текст и внешний вид конверсионных кнопок, а также их расположение.
  • Заголовок и описание продукта.
  • Размеры, внешний вид и расположение конверсионных форм.
  • Макет и дизайн страницы.
  • Цену товара и другие элементы бизнес-предложения.
  • Изображения товаров и другие иллюстрации.
  • Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных сервисов. Наиболее востребованным из них является Content Experiments компании Google, доступный пользователям системы Analytics. До середины 2012 года этот инструмент назывался Google Website Optimizer. С его помощью можно протестировать различные элементы страницы, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.п. Сервис Content Experiments остается бесплатным, что относится к его основным преимуществам. К его недостаткам относится необходимость работы с HTML-кодом.

Также вы можете использовать для проведения сплит-тестирования следующие российские и иностранные инструменты:

  • Optimizely — наиболее популярный в буржунете платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США в зависимости от типа подписки. К преимуществам данного сервиса относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
  • ABTest.ru — русскоязычный сервис, функциональность которого повторяет Optimizely. ABTest работает в режиме бета-тестирования, плата за проведение экспериментов не взимается.
  • RealRoi.ru — еще один отечественный сервис, который позволяет проводить А/Б-тестирование. Среди главных плюсов можно выделить то, что он бесплатен и очень прост в использовании. О том, как он работает, можно подробно посмотреть на следующем видео:

Как провести A/B-тестирование с помощью Content Experiments

Сервис «Эксперименты» Google Analytics позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, маркетологи могут выполнять A/B/N-тестирования, отличающиеся от стандартных A/B-экспериментов возможностью следить за эффективностью нескольких новых страниц, каждая из которых может иметь несколько новых элементов.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Специалист может получать данные о результатах тестирования на электронную почту.

Чтобы провести сплит-тестирование с помощью Content Experiments, выполняйте следующие действия:

  1. Войдите в аккаунт Google Analytics, выберите сайт, эффективность которого необходимо проверить. После этого выберите меню «Поведение — эксперименты».

  1. Введите в соответствующую форму URL страницы, которую вы будете тестировать, и нажмите кнопку «Начать эксперимент».

  1. Выберите название и цель тестирования. Определите процент трафика, участвующий в эксперименте. Решите, хотите ли вы получать оповещения о ходе тестирования на электронную почту. Нажмите кнопку «Далее» после выбора необходимых параметров.

  1. Выберите варианты страницы, участвующие в тестировании. Добавьте их в соответствующие формы и нажмите «Далее».

  1. Создайте код эксперимента. Если вы не знаете, как вставить его на страницу, выберите вариант «Отправить код веб-мастеру». Если вас не бросает в пот при упоминании HTML-кода, выберите вариант «Вставить код вручную».

  1. Скопируйте отмеченный на предыдущей иллюстрации код и вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега . После выполнения этого действия нажмите кнопку «Сохранить изменения».

  1. Проверьте наличие кода тестирования на контрольной странице и нажмите кнопку «Начать эксперимент». Обратите внимание, код необходимо добавить только на контрольную страницу.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью сплит-тестирования

Выше неоднократно отмечалось, что A/B-тестирование помогает увеличить эффективность веб-страниц. Чтобы этот маркетинговый метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон страницы с голубого на салатовый.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

  • Используйте конверсионную форму, которая остается перед глазами посетителя при прокрутке страницы. Например, эта форма может быть неподвижно «прикручена» к верхней части экрана, как навигационное меню Facebook.

  • Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
  • Добавьте на конверсионную страницу слова «бесплатно» или free. Конечно, аудитория знает, что подписка на рассылку является бесплатной. Но иногда слово free творит настоящие чудеса, ведь дармовой уксус сладок.
  • Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
  • Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
  • Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
  • Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

Сплит-тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. Оба варианта должны иметь разные URL. После этого следует воспользоваться одним из сервисов для проведения сплит-тестов, например, Content Experiments. Оценку результатов тестирования можно проводить как минимум через две недели после запуска эксперимента.

Как вы считаете, стоит ли проводить A/B-тесты? В каких случаях этот маркетинговый метод остается бесполезной тратой времени?

Как я подсела на А/Б тестирование интерфейса

Какого UX-ера не спроси «Что ты думаешь об А/Б-тестировании?» – все в один голос отвечают, что это самая необходимая в хозяйстве вещь и по-другому вообще нельзя. Но скажите честно, вы А/Б-тестите интерфейсы на постоянной основе?

Я сама прониклась силой А/Б-тестирования только когда пришла работать в Nautal – международный маркетплейс для аренды яхт, где конверсия меняется в зависимости от сезона, страны и даже погоды.

Скажем, в нашем морском секторе самая высокая конверсия летом, а в сентябре она начинает снижаться. Средний чек ведет себя с точностью до наоборот. Время принятия решения разнится на порядок – зимой люди размышляют неделями, тогда как летом им вынь да положь яхту прямо сейчас. Процент мобильного и десктопного траффика тоже зависит от времени года, как и баунс рейт.

Ну и погода, да, погода – это боль.

Самые неистовые рекомендации я слышала об Optimizely – шикарный инструмент для тестирования сайтов с добротной базой знаний. Но он настолько дорогой, что владельцы даже не публикуют цены на сайте 🙂 Порядок цен – тысячи долларов в год.

Поэтому мы выбрали для своих целей Google Optimize – примерно то же самое по функциональности, но бесплатно 🙂 Плюс, он работает в связке с Google Analytics – т.е. использует настроенные в GA цели, а в Аналитиксе можно смотреть отчеты по А/Б тестам.

Подключаем Analytics и Optimize через Google Tag Manager и все работает, как часы.

Итак, давайте посмотрим, что можно делать в Google Optimize.

Когда речь заходит об А/Б-тестировании, все почему-то приводят в пример кнопку, которую можно покрасить в зеленый или красный цвет 🙂 Так вот, теперь это можно легко сделать.

Optimize спрашивает, какую страницу ты хочешь взять за основу для настройки эксперимента, загружает ее в свой редактор. Там ты можешь при должной сноровке выбрать любой блок и интерактивно задать ему цвет, размер, отступы, границы и др. – все что можно сделать с помощью CSS.

Можно менять не только стили элементов, но и сам контент. Надписи на кнопках, заголовки и др.

В связке с настройками таргетинга аудитории, эта фича используется для кастомизации сайта под пользователя. Например, можно показывать персональные заголовки тем, кто пришел по рекламе или жителям определенного региона, повторным посетителям сайта или пользователям с мобильных устройств.

Важный момент! Все это надо тщательно проверять, потому, что можно нечаянно сломать локализацию сайта и показать что-нибудь неадекватное пользователям на других языках. Так же надо быть осторожным, когда имеете дело с динамическим контентом и интерактивными элементами. Скажем, меняя плейсхолдер в поле поиска, можно сломать поиск вообще.

Общее правило такое – сначала загружается оригинальная страница со всем статическим и динамическим контентом, потом применяются изменения Google Optomeze. Надо держать это в голове.