A b тестирование что это




Содержание страницы

A b тестирование что это

A/Б-тестирование для новичков: что это такое и как его настроить

Маркетологи абэ-тестируют, абэ-тестируют, да не выабэтестируются.

Внимание, эта статья не для маркетологов — она для людей, которые делают классный продукт и с помощью лендинга хотят найти новых клиентов. Мы постарались максимально просто рассказать об А/Б тестировании, избежав нагромождения цифр и терминов.

Что такое А/Б тестирование

Это метод. Тест. С его помощью выясняется, как небольшие изменения в дизайне или подаче коммерческих предложений влияют на поведение людей на сайте.

Допустим, вы делаете лендинг, в котором отличаются некоторые элементы: например, цвет фона. Запускаете рекламу и разделяете входящий трафик на два потока: половина посетителей попадает на лендинг с синим фоном, а вторая половина на лендинг с красным фоном. Через некоторое время анализируете результаты и видите, что красный фон приносит больше заявок, чем синий. Оставляете его.

Маркетологи также называют этот метод сплит-тестирование, от английского слова split — раздельный.

Зачем нужно А/Б тестирование

А/Б тестирование проводят, когда хотят проверить предположение. Например:

  • Люди будут оставлять больше заявок на участие в мастер-классе, если я подробнее расскажу о себе.
  • Больше посетителей подпишется на рассылку, если я перенесу кнопку из середины лендинга на главный экран.
  • Люди дольше задержатся на сайте, если я изменю цвет фона на более нейтральный.
  • Количество покупок увеличится на 5%, если я изменю подачу коммерческого предложения.

Выбираете гипотезу, которую хотите проверить первой, тестируете ее и по результатам определяете — стоит ли вносить изменения на сайт.

А/Б тест на практике помогает определить, насколько ваша идея проверяется реальностью.

Целесообразно проводить эксперимент, если к вам на сайт заходит хотя бы 5000 человек в месяц. Если меньше — придется потратить много времени, чтобы накопить необходимую статистику.

Как часто проводят и сколько времени это занимает

Нет какого-то особенного графика для проведения А/Б тестов — вы запускаете эксперимент, когда появляется интересная гипотеза. Больше гипотез — больше тестов.

Время проведения зависит от идеи. Если вы внесли микро-изменение: поменяли цвет кнопки или загрузили новое изображение — может понадобиться два-три месяца, чтобы понять какой вариант лучше. Если изменения глобальные — уже через пару недель станет понятно, какой лендинг больше зашел.

Время проведения рассчитывают на специальном калькуляторе — он помогает определить период, за который наберется достаточное количество людей для статистики.

Калькулятор определяет, сколько людей должно поучаствовать в тесте, а дальше уже нехитрыми вычислениями можно прикинуть, сколько времени это займет.

A/B-тестирование на Facebook: важность и интерпретация результатов

Нет такого арбитражника, который бы не слышал про A/B-тестирование. Однако недостаточно просто слышать. Важно понимать, для чего оно проводится и уметь интерпретировать результаты теста. Что понимается под A/B-тестированием? Обычно это означает сравнение двух практически идентичных объявлений (отличаться может какой-либо из элементов) с целью определить, какой вариант наиболее эффективен. Facebook Ads позволяет проводить A/B-тестирование с помощью одного из своих рекламных инструментов.

Что тестируется?
A/B-тестирование дает возможность рекламодателям выбрать какой-то элемент объявления и узнать, насколько он уместен в рекламной кампании. Например, насколько креатив способствует достижению маркетинговых целей.

Инструмент тестирования автоматически выполнит всю работу — равномерно разделит аудиторию, чтобы исключить любые перехлесты; тестируются только те переменные, на которые вы указали.

A/B-тестирование применяется для следующих целей кампании:

  • Вовлечение;
  • Продажи по каталогу;
  • Конверсии;
  • Установки приложений;
  • Охват;
  • Просмотры видео;
  • Трафик;
  • Лидогенерация.

Лучшие практики A/B-тестирования:

  • Тестируйте только одну переменную за один тест. Так вы будете знать, что только один фактор влияет на результат;
  • Обращайте внимание на такой аспект, как статистическая значимость данных;
  • Выделите достаточный бюджет;
  • Для тестирования необходимо оптимальное время (обычно 4-14 дней);
  • Ориентируйтесь на метрики;
  • Используйте идеальные настройки таргетинга для теста: таргетируйте аудиторию, которой нет ни в одной другой кампании (чтобы избежать перехлеста данных).

Когда A/B-тестирование не нужно?
1. Когда хотите протестировать несколько вариаций в креативах, а самих креативов много.
Если необходимо одновременно протестировать несколько вариаций креативов и дать возможность Facebook определить лучшую комбинацию за счет машинного обучения, тогда больше подойдет инструмент Dynamic Creative.

2. Когда хотите использовать инструменты Brand Lift или Conversion Lift.
Если у вас достаточный бюджет для определенных целей-конверсий, вы можете также использовать инструменты Brand Lift или Conversion Lift вместо A/B-теста. Эти инструменты позволят составить более подробную картину того, как Facebook Ads помогает достичь коммерческих целей.

3. Когда хотите протестировать небольшие вариации, которые не связаны с коммерческими целями.
A/B-тест более уместен в тех случаях, когда нужно протестировать концептуальные отличия, а не какие-то мелкие вариации. Их лучше анализировать в отдельной группе объявлений или же создать несколько групп объявлений в рамках кампании.

Как настроить A/B-тестирование в Ads Manager?
Нельзя проводить тестирование уже существующей кампании; при создании кампании необходимо выбрать соответствующую опцию. После выбора цели кампании появляется такой чекбокс:

Дальше выбираются нужные переменные (аудитория, оптимизация показа, плейсменты, креативы, группа товаров).

  • Если выбираете аудиторию в качестве переменной: в разделе «Аудитории» выберите сохраненную аудиторию или создайте новую для каждой группы объявлений.
  • Если выбираете оптимизацию показа как переменную: в разделе оптимизация показа выберите показ и стратегии назначения ставок для каждой группы объявлений.
  • Если выбираете плейсменты как переменную: в разделе «Плейсменты» выберите автоматические плейсменты или места, где объявления должны показываться.
  • Если выбираете креативы как переменную: выберите аудиторию, плейсменты, метод показа, бюджет и расписание, затем нажмите «Продолжить». Дальше можно будет настроить разные версии объявления.
  • Если выбираете настройки товара как переменную: выберите настройки товара, которые нужно протестировать (до 5) и выберите аудиторию.

Дальше можно устанавливать бюджет (с Even Split или Weighted Split) и график тестирования. После этого группы объявлений и объявления настраиваются как обычно.

Применение результатов тестирования
Есть два способа, чтобы определить выигрышную группу объявлений в A/B-тестировании на Facebook. Во-первых, результаты можно просматривать в Ads Manager, пока тест еще продолжается, или по завершении. К кампании со сплит-тестом добавляется символ «колбы». При выборе кампании на уровне группы объявлений выигрышное объявление будет отмечено звездочкой:

Примечание: в Ads Manager можно применять фильтр, чтобы просматривать только тестирующиеся объявления. Facebook отправляет результат на email-адрес, связанный с аккаунтом. В письме содержится информация об эффективности теста.

В данном случае Facebook сообщает, что результаты групп объявлений были очень похожими, и потому сложно сделать какой-то вывод. Рекомендуется провести еще один, более продолжительный тест, или тест с большим бюджетом, чтобы получить дополнительные данные и определить победителя.

Следующие шаги
Когда у вас есть результаты — в письме или в Ads Manager — можно продолжить тестирование и получить больше информации или же использовать выигрышный вариант в своей кампании.

Психометрические SHL тесты

Психометрические тесты SHL — это инструмент shltools, который широко используется в сфере рекрутинга и позволяет отсеять неподходящих кандидатов на должность еще до собеседования. Методика разработана более 35 лет назад Питером Севилом и Роджером Ходсуортом. Ее использует большинство международных корпораций, таких как Procter&Gamble, Unilever, Johnson & Johnson, Philip Morris, Газпром, IKEA, METRO, Qiwi, ВТБ, ЦБ РФ, KPMG, Deloitte, Пятерочка, Магнит, BAT и огромное количество других компаний из всех сфер бизнеса. Неполный список этих компаний можно посмотреть в нашей статье о компаниях-разработчиках тестов.

SHL тестирование: что это в примерах

SHL тестирование включает в себя две основные части — вербальный и числовой (математический, цифровой) тест. В некоторых компаниях вам могут также предложить пройти задания на внимательность и на логическое мышление. Варианты прохождения тестирования SHL — онлайн по ссылке, которую вам пришлют на почту, или очно в офисе компании.

Обращаем ваше внимание, что этими тестами обычно отбор не ограничивается. В большинстве компаний вам также потребуется пройти психологические тесты. Больше о них вы можете найти в наших статьях.

Вербальный тест SHL

Задания на вербальный анализ предназначены для проверки способности понимать факты, сопоставлять их между собой и манипулировать информацией для решения конкретной проблемы.

Вам предложат прочитать фрагмент текста. Ниже будет ряд утверждений и варианты ответа — соответствует действительности, не соответствует, мало информации. Нужно проанализировать каждое утверждение, сопоставить его с текстом и выбрать один из вариантов. Подробнее читайте в нашей статье «Все о вербальных тестах».

Для проверки критического вербального мышления, вам могут предложить ряд утверждений. Ваша задача определить взаимосвязь между ними и сделать логическое заключение.

Пример вербального теста SHL:

  • В рыбьем жире содержится Омега-3.
  • Омега-3 способствует развитию интеллектуальных способностей.

Какой вывод можно получить из комбинации этих двух утверждений? Варианты ответа:

  1. Омега-3 и рыбий жир — одно и то же.
  2. Рыбий жир — это продукт, который помогает в развитии мозга.
  3. Продукты с Омега-3 полезны для интеллекта.

Постарайтесь сначала решить тест самостоятельно и только потом смотрите ответ.

Это простейший пример, на настоящем тесте все будет гораздо сложнее. Утверждения и тексты вербальных тестов SHL намеренно написаны сложным языком и содержат «ловушки», которые могут подтолкнуть вас к неверному ответу. Поэтому мы настоятельно рекомендуем вам пройти подготовительные тесты на HRLider.Ru.

Ответ на вербальный тест:

В рыбьем жире содержится Омега-3, а значит, он способствует росту интеллектуальных способностей. Вариант 1 — ложный, а вариант 3 основан только на последнем утверждении, но в нем ни слова нет про рыбий жир. Нам подходит только ответ №2.

Ниже мы приведем пример более сложного теста на вербальный анализ от компании SHL:

Постарайтесь сначала решить тест самостоятельно и только потом смотрите ответ.

Во время прохождения вербального теста не применяйте свои знания. В тестах на вербальный анализ проверяют ваше понимание словесной информации. Делайте выводы только на основе тех утверждений, которые даны в тексте. Если в тексте о чем-то не сказано, а вы ответите, исходя из своих знаний и предположений, то полученный результат будет неправильным.

Ответ на вербальный тест:

Тесты на некоторые вакансии включают тесты на понимание точных значений слов, ассоциаций (добавьте недостающее слово), определение синонимов и антонимов.

Числовой тест SHL

Вас не заставят решать сложные числовые уравнения с заданиями из высшей математики. Числовой тест связан с проверкой способности мыслить логически и быстро просчитывать вероятность чего-либо. Вам могут предложить определить какие-то данные по числовому графику или решить задачу.

«Работая вместе, Тому, Дику и Гарри надо 9 часов, чтобы закрасить 400-метровый забор. Работая в одиночку, Том может выполнить задачу через 18 часов. Дик не может работать так быстро и ему нужно 36 часов, чтобы покрасить этот же забор. Если Том и Дик возьмут выходной, сколько времени потребуется, чтобы Гарри сам покрасил забор?»

Варианты ответов:
А) 9;

Постарайтесь сначала решить тест самостоятельно и только потом смотрите ответ.

Том за 9 часов покрасит ½ забора;

Дик за 9 часов покрасит ¼;

Гарри за 9 ч покрасит 1 — ½ — ¼ = 1 — ¾ = ¼.

Значит, Гарри нужно столько же времени, сколько и Дику — 36 часов.

Правильный ответ: D).

Это пример довольно простого числового теста SHL, такие тесты обычно используется для соискателей на начальные должности. Однако если вы претендуете на должности более высокого уровня или в компании, которые известны сложными тестами (Проктер энд Гембл, Юнилевер, Марс, ВТБ, Внешэкономбанк, ЦБ РФ, PWC и другие из этих сфер бизнеса и управления), то числовые тесты будут сложнее. Например:

Клиент приобрел тариф «Продвинутый» с мобильной компанией Call.org. Как только срок его договора подошел к концу, он переключился на тариф «Первый класс» Red. Он решил отключить пакет за 9 месяцев до срока его окончания, заплатив штраф в размере 25% от оставшейся стоимости тарифа. Сколько всего клиент заплатил за все мобильные услуги за этот период?

A). 170.1
B). 204.3
C). 174.9
D). 139.1
E.) 211.9

Постарайтесь сначала решить тест самостоятельно и только потом смотрите ответ.

Решим эту задачу поэтапно:
Стоимость тарифного плана «Продвинутого» с Call.org: 6,5 * 6 (месяцев) = 39 $
Стоимость тарифа «Первый класс» Red в течение 15 месяцев: 7,6 * 15 = 114 $
Стоимость штрафа: 0,25 * 7,6 * 9 (оставшиеся месяцы) = 17,1 $
Общая стоимость для клиента: 39 + 114 + 17,1 = 170,1 $
Ответ: 170.1.

Правильный ответ: А).

Как вы видите, решение задачи не является сложным — требуется 4-5 действий умножения и сложения. Однако на решение такого теста SHL дается 1 минута. Спешка, волнение и трудность в анализе таблиц или графиков может сделать такой тест очень непростым.

HRLider рекомендует пройти ВСЕ доступные тесты SHL онлайн если вам предстоят числовые тесты в одну из компаний, которые используют методы оценки SHL. На HRLider.ru вы найдете около 200 числовых тестов SHL, который вы можете пройти онлайн с любого устройства в любое удобное вам время.

Тесты на внимательность

Существует специальные методы для оценки концентрации в рабочей ситуации. Тесты на разделенное и выборочное внимание, бдительность, фильтрацию и время восприятия реакции используют для водителей, служб охраны, авиадиспетчеров, дилеров казино и других позиций.

Во время этого теста вас могут попросить что-либо определить по фото, выбрать из нескольких картинок зеркальные изображения друг друга и т. п. Существуют визуальные и звуковые варианты. Например, задание может заключаться в том, чтобы нажимать enter каждый раз, когда вы слышите определенный звук.

Как происходит оценка результатов SHL тестов

Сначала определяют, какое количество верных ответов вы дали. Допустим, вы ответили на 65% вопросов числового теста SHL правильно. Далее этот результат сравнивают с результатами других кандидатов на должность. Если большинство ответило на этот числовой тест в пределах 60-70%, то вы проходите дальше. В случае, если остальные тестируемые показали результат в 75% и выше процентов, вы потерпели неудачу. Также есть порог отсечения (например, 30-45%), результат ниже которого сдать нельзя.

Точка отсечения рассчитывается исходя из минимальных способностей, необходимых для успешной работы на этой должности. Естественно, что тестирование для младшего специалиста будет проще и порог отсечения будет ниже по сравнению с претендентами на место руководителя отдела.

Как пройти тесты SHL

Это касается числового теста. Вам могут понадобиться знания преобразования дробей в десятичные числа, работы с графиками функций и уравнениями. Убедитесь, что вы помните, как это делается.

Можно считать и в столбик, но калькулятор ускорит вычисления и поможет избежать ошибок в расчетах из-за волнения.

На прохождение теста вам выделят определенное количество времени — обычно 60-90 секунд. Поэтому работайте по такому принципу — сначала выполняйте простые задания, которые не вызывают затруднений. Сложные разберете в самом конце. Иначе, вы рискуете «застрять» на трудной для восприятия задаче и «завалить» весь тест. SHL тесты позволяют пропускать вопросы и переходить по тесту с вопроса на вопрос.

  1. Убедитесь, что вы все правильно поняли ДО прохождения теста.

Некоторые тесты заканчиваются при выборе неправильного ответа. В других перейти к следующему вопросу можно, только ответив на предыдущий. Иногда вопросов дают больше, чем реально пройти за указанное время. Стандартный вариант включает в себя определенное количество заданий, которые можно решать в произвольном порядке. Убедитесь, что вы правильно поняли условия прохождения теста до его начала.

В обстановке чужого офиса и регламента по времени сложно сохранять спокойствие. Но сильное беспокойство помешает вам сконцентрироваться и снизит способность быстро соображать. Поэтому пройдите максимальное количество пробных тестов до дня X, выспитесь, поднимите себе настроение с утра — и, как говорится: «Ни пуха, ни пера!”

Совет от HRLider: не пожалейте пару вечеров и несколько сотен рублей — начните подготовку не откладывая. Если вам предстоят тесты SHL, пройдите подготовку прямо сейчас. Лучше подготовиться сейчас и успешно пройти тесты, чем потом жалеть об упущенном шансе.

А и Б сидели на трубе: как сделать A/B-тестирование сайта

О пользе A/B-тестирования говорят многие, но делают его лишь единицы. А зря. С помощью этого инструмента можно определить, как улучшить элементы на сайте, чтобы вызвать положительный отклик у посетителей и увеличить конверсию. Причем таким элементом может быть совершенно любая составляющая веб-страницы, от заголовков и лид-форм до цветовой палитры и изображений.

В принципе, через A/B-тесты можно прогнать хоть весь сайт целиком. Главное — не весь сразу, а отдельными частями.

Разбираемся, что к чему и как проводить A/B-тестирование.

Что это

A/B или сплит-тестирование — метод исследования сайта, когда сравниваются два варианта реализации одного элемента. Тест проводится, чтобы выявить наиболее удачный.

По сути, это эксперимент или серия экспериментов, когда проверяется реакция пользователей на элемент «до» и на элемент «после». То есть когда вы решили что-то изменить на сайте, например, поменять цвет кнопок или разместить всплывающий виджет для подписки на новости.

В результате экспериментов мы получаем цифры. Никаких интуитивных предположений и умозрительных заключений, только статистические данные, основанные на действиях посетителей. Они говорят сами за себя и направляют вас на путь истинный. Так вы уже можете делать выводы и решать, стоит ли что-то менять или нет.

В этой статье мы рассматриваем A/B-тестирование на примерах сайтов, но держите в голове, что с помощью него можно проверять эффективность практически всех маркетинговые активностей: email-рассылок, скриптов колл-центра, текстов смс, рекламных объявлений в Яндексе и Google. Воистину универсальный инструмент.

Что можно тестировать на сайте

Возьмите любой элемент:

  • Заголовок (название сайта).
  • Логотип.
  • Дескриптор.
  • Навигация (меню — главное и второстепенное).
  • Лид-формы (форма регистрации, заявка на подписку и так далее).
  • Призыв к действию (CTA, Call-to-action).
  • Разнообразные виджеты (рубрики сайта, популярные и последние посты, комментарии, погода, соцсети).
  • Рекламные ссылки и баннеры.
  • Изображения, видео.
  • Анимированные элементы.
  • Контакты.

Все это можно и нужно тестировать. Каждый перечисленный элемент имеет важное значение в воронке продаж и может повлиять на показатель конверсии.

И у сайта, и у посадочной страницы протестировать можно практически все: цвета, шаблоны, тексты, формы кнопок, дизайн, баннеры, источники трафика. Перечень безграничен.

Чем больше переменных вы сравните, тем лучшего результата вы можете достичь.

Кто пользуется A/B-тестами

Регулярно A/B-тестирование проводят такие известные IT-гиганты как Amazon, Uber, Spotify, Airbnb, Netflix, Pinterest.

Вам тоже уже давно пора начать, ну.

Из чего состоит A/B-тестирование

Пройдем по матчасти.

Принцип

Главный принцип А/B-тестирования: каждому новому посетителю сайта поочередно демонстрируют два варианта целевой страницы. Страница А — оригинальная версия, страница Б — тестовый вариант, который отличается от страницы А по одному параметру.

При этом посетитель не догадывается, что есть второй вариант. Когда число показов достигает предварительно установленной величины (к примеру, 1000), сравнивают полученные показатели конверсии и выбирают более эффективный вариант.

Основные правила

Идея А/B-тестирования выглядит довольно соблазнительно. Больше не нужно спорить о вкусах и взывать к авторитетам. Но чтобы получить от тестов корректные данные, нужно следовать правилам. Таковы правила игры.

Для начала вам нужно:

1) Правильная гипотеза

Гипотеза — то, что отличает A/B-тестирование от проверки на «авось». Типа: «Давайте сделаем так, если не полетит — сделаем этак».

Гипотеза — это утверждение или догадка, которую мы проверяем опытным путем. Тестировать без нее, просто ради любопытства — пустая трата времени, так как даже при положительном результате никаких выводов о целевой аудитории сделать не получится.

Правильно сформулированная гипотеза — половина успеха тестирования.

Откуда их брать?

Конечно, можно из головы, но намного лучше — из проблемной ситуации. Допустим, мало переходов по кнопке заказа, или пользователи не листают страницу до конца. Гипотеза в первом случае звучит так: «Если разместить кнопку в другом месте, конверсия увеличится».

Очевидно: вопрос не в самой формулировке гипотез, а в том, как найти проблему или идею, которая станет ее фундаментом.

Какие гипотезы стоит проверять?

  • Основанные на анализе тепловой карты кликов.
  • Основанные на карте скроллинга.
  • О кнопках.
  • О заголовках
  • О изображениях
  • О формах.

Опираясь на эти гипотезы, вы значительно увеличите вероятность того, что тестирование принесет пользу.

Тепловая карта кликов в Яндекс.Метрике

A/A — «младший брат» A/B. По сути, это такой предварительный тест, который делают заранее перед основным исследованием. A/B-тест пригоняет трафик на первоначальный и контрольный вариант и показывает, какой работает лучше.

A/A — то же самое, только для двух одинаковых страниц. Цель — не увидеть различий в показателях. Разделив трафик пополам, убедитесь, что у страниц приблизительно одинаковая конверсия. Если разница будет высокой, то проводить A/B-тестирование вообще нет смысла.

Потому что если уже на этом этапе у вас разные результаты, то при самом исследовании они окажутся еще более непредсказуемыми.

Что может повлиять на показатели A/A-теста? Много всего: и разные браузеры, и типы устройств, и интеграция инструментов аналитики.

Другими словами, A/A-тест — это проверка предварительных настроек и однородности аудитории, чтобы получить данные, наиболее приближенные к реальности.

Как видите, A/A и A/B дополняют друг друга.

Только 20% экспериментов дают достоверные результаты. Статистической значимости и большой репрезентативной выборки уже недостаточно. Поэтому не поленитесь и используйте эту технику до A/B-тестирования.

3) Формулы с доверительными интервалами

Тут уже начинается сплошная математика, напрягите извилины.

Доверительный интервал — показатель точности измерений. Он демонстрирует, насколько стабильна полученная величина, то есть насколько близкую величину (к первоначальной величине) вы получите, если повторите эксперимент.

По сути, это интервал в котором «скорее всего» лежит истинное значение. Фраза «скорее всего» весьма интуитивна, а мы здесь наоборот пытаемся избавиться от танцев с бубнами и предсказаний погоды по мху. Поэтому чтобы его формализовать, на помощь приходит понятие уровня значимости α. Уровень значимости связан с доверительным интервалом и отражает степень нашей уверенности, что истинное значение находится внутри данного доверительного интервала. Чем меньше уровень значимости, тем мы более уверены.

Формула для расчета доверительного интервала громоздкая и пользуются ей только аналитики. Но если вкратце: размер доверительного интервала зависит от количества участвующих в тестировании пользователей, полученного результата и уровня статистической значимости. Если увеличивается количество пользователей, которые участвуют в тесте, и количество кликов на сайте, доверительный интервал уменьшится.

В некоторых сервисах статистическая значимость и доверительный интервал определяются автоматически. Это значит, что формулы и аналитики не понадобятся. Наиболее часто используемые доверительные уровни: 90%, 95% и 99%.

В основном для A/B-тестов берут интервал 95%. То есть с вероятность 95% мы можем утверждать, что разница между конверсиями есть.

Правила строгие и с первого взгляда кажутся сложными, но их вполне реально выполнить.

Этапы

Итак, действуем поэтапно.

Этап № 1. Сформулируйте гипотезу

О том, зачем это нужно, мы уже сказали выше. Найдите свою боль и тестируйте ее.

Этап № 2. Определитесь с целевым показателем

Как правило, отслеживаются:

  • Доход.
  • Транзакции.
  • Цели.
  • Длительность сеанса.
  • Отказы.
  • Просмотры страниц.

Убедитесь, что у вас подключена и настроена система аналитики, которая все зафиксирует.

Этап № 3. Рассчитайте размер выборки

Выборка — это количество пользователей, которые должны пройти через страницы, чтобы результаты тестирования были статистически значимы (то есть они не могли возникнуть случайно), и вы могли бы им доверять.

Это число зависит от того, насколько сильные изменения вы ожидаете увидеть.

Например, текущая конверсия сайта составляет 4%. Следовательно, минимальное количество пользователей, при котором можно будет определить 25-процентную разницу в конверсии — 6238.

Рассчитать выборку можно с помощью специальных онлайн-калькуляторов

Этап № 4. Определите продолжительность тестирования

Минимальная продолжительность — неделя.

Даже если вы набрали статистически значимое количество посетителей за полдня, все равно надо держать тест до недели. Это связано с тем, что в разные дни недели поведение может очень сильно различаться.

Если покупка у вас — целевой показатель, и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это.

В среднем рекомендуемое время тестирования — 10-14 дней.

Определившись со временем, никогда не останавливайте тест раньше, даже если в первые несколько дней один вариант уверенно лидирует. Для достоверных результатов нужно время.

Этап № 5. Проверьте однородность аудитории

После запуска теста поток посетителей будет распределяться 50/50 и важно, чтобы эти две части были максимально однородными и похожими. То есть на конечный результат должен влиять только ваш эксперимент.

Однородность можно проверить посредством A/A-теста, о котором мы уже рассказали выше.

Этап № 6. Запустите тест

Во время самого теста тоже не стоит расслабляться и курить бамбук.

Он может начать показывать аномально резкие отличия. Например, на исходной странице конверсия 5%, а на тестируемой — 0%. Если у вас произошло что-то подобное, проверьте, все ли кнопки и ссылки на странице рабочие.

Но, повторимся, ни в коем случае не прекращайте тест, пока не пройдет время, которое вы определили ранее, и пока не наберется достаточное количество человек.

Этап № 7. Анализ результатов

Когда наберется нужный размер выборки и завершится отведенное время, тестирование следует закончить. Людей недостаточно? Продолжайте тест. Не обнаружили разницы в конце эксперимента? Нажимайте на стоп и анализируйте, что получилось.

После окончания теста нужно проверить значимость полученных результатов. Если результат статистически не значим, изменения не влияют на оцениваемый показатель.

Этап № 8. Повторное тестирование

Даже если данные достоверны, эксперимент продолжался достаточное количество времени и один из вариантов точно победил, провести тестирование еще раз — обычная и хорошая практика.

Так вы точно будете уверены в результатах.

  • От 1 000 посетителей нужно, чтобы получить данные в ходе А/В-тестирования.
  • От одной недели обычно длиться сплит-тест.
  • От двух периодов, достаточных для совершения покупки, должен продолжаться А/В-тест.

Инструменты

Инструменты для A/B-тестирования в основном бесплатны, легкодоступны и чаще всего представляют собой часть более крупных сервисов аналитики.

Например, у сайтов это — Google Analytics и Яндекс. Метрика, у email-рассылок — специальные сервисы MailChimp, Rejoiner, Abandon Aid.

Все они имеют встроенные инструменты для A/B-тестирования.

Но можно пользоваться и совсем специализированными, например, REES46 для тестирования блоков товарных рекомендаций в интернет-магазинах.

Типичные ошибки

Если А/B-тест провести с ошибкой, то вы не только потратите время зря, но и можете принять неправильные решения и понести убытки.

Конечно, от ошибок никто не застрахован, на самых распространенных вполне можно избежать.

1. Не проводить A/B-тесты вообще. Ошибка номер один — люди или вообще ничего не тестируют, или делают это интуитивно.

Сайт всегда можно сделать лучше. Если раньше сравнивали откровенно плохие и хорошие страницы и удивлялись, как взлетела конверсия после тестов и изменений, то сейчас — хорошие и еще более хорошие. Поэтому и результаты не так заметны.

Но тестировать, определенно, стоит — затем, чтобы получить еще одно конкурентное преимущество.

2. Тестировать все и сразу. Тестируйте только один элемент на одной странице или группе страниц, иначе вы не сможете определить, что именно дало результат.

Например, если вы тестируете варианты кнопки «Купить» и при этом меняете текст, то как определить, что в какой пропорции сработало? Если же вы будете тестировать только один элемент — вопросов не возникнет.

Так что не больше одного теста за раз, не разгоняйтесь.

3. Тестировать первую попавшуюся идею. Тестировать первую пришедшую в голову идею — не гут. Разница между идеей и гипотезой в том, что вторая содержит точное обоснование, почему целевой параметр изменится.

Намучившись с тестами, основанными на просто идеях, руководство и вся команда может полностью разочаровываться в оптимизации и забить на сплит-тесты. Не надо так.

4. Забывать о сезонности. Не стоит запускать A/B тестирование во время высокого и низкого сезона, это может значительно исказить результаты теста.

5. Воспринимать чужой опыт как единственно верный. Все хотят блог как Т—Ж, но не у всех получается. При А/В-тестировании важно не слепо копировать чужие решения, а учитывать особенности своей компании.

6. Тестировать незначительные изменения. Замена фразы «команда профессионалов» на «инженера Иванова Ивана Ивановича с дипломом по специальности «Машиностроение» и опытом 12 лет» ни на что не повлияет. Если просто поменять одну витиеватую (но бессмысленную) фразу на другую, эффект не изменится. Поэтому и тестирование тут смысла не имеет.

7. Не тестировать влияние разных элементов страницы. Попапы, онлайн-консультанты и другие элементы страницы могут как стимулировать покупателя, так и раздражать его.

8. Проводить сплит-тестирование на нерелевантных фокус-группах. Часто изменения на сайте тестируются на коллегах, знакомых, родственниках, сторонних экспертах.

Но получить достоверные результаты можно только если участниками тестирования будут именно представители целевой аудитории, никак иначе.

9. Неправильно интерпретировать данные. Увеличение конверсии в два раза может свидетельствовать о том, что оформили заказ не 500, а 1000 пользователей. Но в то же время это может означать, что просто оформили подписку на рассылку два человека, а не один.

При работе с цифрами уже можно подключить аналитика, чтобы правильно интерпретировать результаты.

10. Переоценивать А/В тестирование. Качество контента — важный, но не единственный фактор эффективности страницы. Улучшая текст, можно продать больше, быстрее, чаще, дороже.

В то же время на эффективность страницы влияют и скорость загрузки, и устройство, и источники трафика. Поэтому не забываем о бэкенде, господа.

Что в итоге

Конечная цель A/B-тестирования — повысить показатели прибыли, регистраций, скачиваний и так далее. Достигается она за счет полноценного изучения своей аудитории.

И вот мы получили результаты тестирования. Что дальше?

Если результаты теста удачные:

  1. Внедряем изменения на сайте.
  2. Если есть возможность применить аналогичные изменения на других страницах, создаем новый эксперимент и тестим уже эти гипотезы.
  3. Переходим к следующему A/B-тесту.

Если результаты теста неудачные:

  1. Анализируем данные, которые использовали при составлении гипотезы на основе полученного опыта, и пытаемся улучшить ее.
  2. Формулируем новую гипотезу.
  3. Проводим новый эксперимент.

А/B-тесты сами по себе не гарантируют успеха. Нужен системный подход, понимание конечной цели и метрики для оценки результатов. Поэтому закономерный следующий шаг — аналитика и работа над сайтом.

Что такое A/B-тестирование и как его правильно провести

Октябрь 12, 2018

Всецело доверять интуиции нужно, когда выбираете пирожок в киоске автобусного вокзала. А если зарабатываете на сайте, то подтверждайте гипотезы цифрами. Это касается не только заработка вместе с Travelpayouts, но и любой работы с туристическими сайтами. На этой странице вы узнаете, как правильно проводить A/B тесты, что можно протестировать на туристических сайтах, а также, что делать с результатами тестирования.

Что такое A/B-тестирование

A/B-тестирование или сплит-тестирование (от англ. split testing — раздельное тестирование) — метод исследования, при котором контрольный вариант сравнивается с тестовым.

Например, сейчас у вас на сайте стоит форма поиска горящих туров (вариант А), и есть гипотеза, что форма кричащего цвета (вариант B) привлечет больше продаж. Чтобы выявить, какой из вариантов работает лучше, нужно на практике реализовать оба варианта, а затем сравнить полученные результаты на статистически значимом объеме трафика. Это и есть A/B-тестирование.

Как правило, в тестировании участвует два варианта. Но вам никто не запрещает провести и десятки тестов – например, проверить форму авиабилетов в разных цветах. В каждом A/B тесте участвует два варианта, где в каждом последующем участвует выигрывавший вариант + один дополнительный.

Помните, что маркетинг не приемлет «золотых стандартов» и даже если вы читали и много раз слышали о том, что работает у многих, это может совсем не подходить для вашей аудитории. Поэтому в работе лучше опираться на результаты собственных тестов, а не на теоретическую информацию, которая «работает у других».

Зачем тестировать разные варианты

Возможно, сейчас с 1000 посетителей сайта вы получаете 5 долларов, а можете получать 10, но пока не догадываетесь об этом. Чтобы узнать, какая стратегия может зарабатывать больше, как именно этого добиться и где потолок – проводятся тесты.

Перед началом тестирования нужно определить цель. Допустим, вы ваша цель: увеличить конверсию посетителей в продажи авиабилетов. Для этого вы пробуете разместить виджет календаря вместо классической поисковой формы.

Не все тесты связаны с ростом дохода. Вы можете тестировать расположение партнёрских инструментов и смотреть, как меняются поведенческие факторы – время на сайте, процент «дочитываний» и доля отказов. Что в конечном итоге может сказаться на количестве посетителей, которые возвращаются на ваш проект в течение месяца и т.д.

Какая бы цель у вас ни была в рамках A/B теста – всегда чётко определяйтесь с ней до начала теста.

Что тестировать на странице

Вы тестируете ваши гипотезы и предположения, как могло бы быть лучше, чем есть сейчас. Для этого в проект вносятся различные изменения в:

  • Дизайн сайта;
  • Оформление конкретной страницы;
  • Оформление отдельных элементов форм, виджетов, баннеров и т.д.
  • Размещение элементов на странице: форм, баннеров, кнопок.
  • Изображения товаров, картинки в статьях.
  • Текст: заголовки, описания продуктов, акций и специальных предложений, призывы на кнопках. Важно тестировать все параметры текста: содержание, количество, шрифт, размер, расположение текстовых блоков.
  • Функционал.

Всё это – большой плацдарм для гипотез, изменений и тестов. Например, вы можете проверить, как изменится поведение посетителей, если вы откажетесь от боковой колонки на сайте. Можно добавить обводку к рекламным блокам AdSense и проверить, к чему это приведёт и т.д.

Можно проводить и более глобальные тесты, например, сравнить – на какой домен лучше реагирует аудитория из контекстной рекламы: в национальной зоне .KZ или международной .COM. Это актуально, например, для работы на рынке Казахстана, где до конца 2018 мы платим удвоенную комиссию. Всё это, безусловно, расходует финансы и время, но позволяет выявить лучший вариант.

В рамках Travelpayouts вы можете протестировать:

  1. Партнёрские программы в одной нише. Например, у нас есть несколько автобусных партнёрок – попробуйте каждую и найдите ту, которая лучше работает именно у вас.
  2. Партнёрские программы в разных нишах. Определите, например, что предпочитают ваши посетители для путешествий по Европе: аренду машины или автобус.
  3. Партнёрские инструменты. Например, вы можете использовать различные форматы виджетов. Не останавливайтесь только на тесте формата рекламы, работайте с её расположением и тем, что её окружает. Интересный факт: Махо Кевлишвили – автор проекта aviabiletebi.org, менял поисковую форму более 10 раз, перед тем, как нашел лучший вариант. Узнайте больше про его опыт работы из нашего интервью.

Проводите эксперименты и за пределами Travelpayouts. Например, проверьте, где охотнее покупают авиабилеты: на Aviasales или Skyscanner, и какая партнёрская программа приносит вам больший доход.

Как проводить A/B тесты сайтов: 10 шагов

В A/B-тестировании важен системный подход. Прежде чем начинать срочно всё менять на странице, составьте план тестов, ориентируясь на показатели Яндекс.Метрики и Google Analytics, а также на цели, которые вы планируете достичь. В проведении тестов вам могут помочь специальные сервисы, о которых мы рассказали далее.

Пошаговый план, как провести простое A/B тестирование страницы:

  1. Посмотрите, на каких страницах высокий процент отказов, подумайте, почему так происходит, что нужно изменить. В Яндекс.Метрике это можно увидеть во вкладке Отчёты -> Стандартные отчёты -> Содержание -> Страницы входа:
  2. Понаблюдайте за поведением пользователей с помощью Вебвизора. Возможно, они не видят кнопку партнёрские инструменты.
  3. На основании изучения аналитики, предположите, что можно изменить. Сделайте гипотезы.
  4. Составьте план тестов для этих изменений.
  5. Внесите изменения.
  6. Сравнивайте только два варианта страницы. Мультивариантное тестирование, когда сравнивается от 3 вариантов страниц, не даст качественных результатов. Тестируйте только один параметр за раз. Если вы одновременно измените цвет отельного виджета и его расположение, вы не сможете понять, что именно привело к повышению конверсии.
  7. Сравнивайте варианты одновременно, используя для этого сервисы, о которых мы рассказали ниже. Если вы на неделю повесите один баннер, а на следующей неделе замените его на другой, результаты такого теста нельзя будет считать однозначно верными. Ведь за эти недели на сайт приходил разный трафик, могли наложиться праздники, распродажи и другие события, влияющие на продажи.
  8. Определите достаточный процент выборки. Может так получиться, что в первые дни теста будет выигрывать контрольный вариант, но затем победит тестовый. Чтобы понять, когда уже можно анализировать результаты, воспользуйтесь калькулятором размера выборки.
  9. Если в вашей гипотезе было 3 и более вариантов, поэтапно протестируйте каждый.
  10. Выберите лучший результат и используйте его в работе.

Инструменты для тестирования страниц

В этом пункте 4 сервиса, с помощью которых можно проводить A/B-тесты, даже не зная программирования.

Ручные тесты

Протестировать сайт можно даже без использования специальных сервисов. Пробуйте вставлять различные варианты баннеров, форм и виджетов, располагать их по-разному странице. В личном кабинете Travelpayouts следите, как меняется конверсия.

Минус ручного тестирования в том, что желательно всё-таки запускать одновременно два варианта одной страницы, когда 50% пользователей показывается вариант А, а другой половине, вариант B.

Но если нет возможности воспользоваться инструментами, то лучше попробовать хотя бы это, чем не делать ничего. Такой способ не является полноценным A/B тестам, так как не позволяет провести чистого сравнения, но и из его результатов можно сделать выводы.

Google Analytics Content Experiments

В привычной Google Analytics спрятан инструмент Content Experiments, предназначенный для A/B-тестирования. В аккаунте Google Analytics выберите пункт меню «Поведение» → «Эксперименты»:

Подробнее о том, как пользоваться Google Analytics Content Experiments, читайте в официальной справке или смотрите подробную инструкцию в блоге Convertmonster.

AB Tasty

AB Tasty — простой и функциональный сервис для проведения A/B тестов различного уровня. Ключевые преимущества сервиса:

  • Гибкий: вы можете создать любые сценарии тестирования.
  • Точный: вы можете таргетировать проведение теста на конкретную группу людей.
  • Информативный: вы получите подробный отчёт о событиях.

Для владельцев сайтов на WordPress доступно отдельное расширение, которое упрощает проведение тестов. Подробней о сервисе вы узнаете из промо-ролика:

Единственный минус сервиса — он дорогой. Самый дешевый план стоит 29 евро в месяц при годовой подписке (32 евро при ежемесячной оплате). При этом, вам может не хватить дешевого тарифа, так как в него включено всего лишь 5 000 посетителей.

Optimizely

Optimizely — это профессиональный продукт для полноценных исследований и больших экспериментов.

Сервис позволяет обработать различные сценарии теста, но при этом остаётся очень простым в использовании. Самое сложное, что предстоит сделать: встроить строчку кода в элемент на странице. А далее при помощи удобной панели управления, вы сможете менять цвета кнопок на тестовой странице, текст, фотографии. Это чем-то похоже на редактирование страницы в графическом редакторе: нужно мышкой перетащить элемент на другое место или одним кликом изменить его цвет.

Optimizely также умеет сегментировать аудиторию сайта по используемому браузеру, источнику перехода, рекламной кампании, типу устройства и другим характеристикам. Результаты тестов оформляются в подробные отчёты.

Для блогов на WordPress скачайте бесплатный плагин Optimizely при помощи которого можно проводить даже A/B-тестирование заголовков статей.

Стоимость решения устанавливается индивидуально, исходя из задачи. Для приобретения необходимо оставить заявку и дождаться ответа менеджера.

Clickmeter.com

При помощи сервиса Clickmeter можно разделить трафик по ссылке в любом соотношении и направлять его на различные страницы. При этом, всё, что делаете вы — вставляете ссылки, а остальное сделает Clickmeter. Сервис специализируется на A/B тестировании распределения трафика, также он может использоваться для подробной и глубокой аналитики редиректов ссылок.

Например, сравните, на какой странице посетители охотнее покупают туры: на сайте Level.Travel или Onlinetours.

A/B-тестирование разных вариантов страниц — не главная задача Clickmeter. Изначально он предназначен для сравнения эффективности различных рекламных кампаний. С его помощью вы сможете сравнить партнёрские программы из одной ниши, распределяя трафик в заданной пропорции.

Для полноценного использоваться потребуется дополнительный домен. Clickmeter не предоставляет доменов для распределения трафика.

Realroi.ru

Бесплатный русскоязычный сервис, созданный людьми, которые сами нуждались в удобном инструменте для тестирования страниц. Сейчас сервис предлагает три варианта тестирования:

Realroi работает со страницей, так же, как и Optimizely, по принципу графического редактора: в код сайта потребуется заглянуть только один раз, чтобы встроить скрипт сервиса в элемент . Правда, при тестировании структуры страницы элементы можно только удалить, но не передвинуть на другое место.

Понятная статистика подскажет, когда уже проверено достаточное количество трафика, чтобы получить результаты. Сервис специализируется на продающих страницах и лендингах.

В видео подробно рассказано, как работать с Realroi.ru:

Что делать с результатами

Фиксировать

Это муторно и лениво, но необходимо. Если поленились однажды занести результаты в табличку, непременно их забудете, и тестирование пройдёт даром.

Если вы используете сервисы для A/B тестирования, то результаты сохраняются автоматически. Это удобно, но не решает всех проблем. Как правило, вам все равно придется фиксировать какие-то данные и синхронизировать их между собой.

Например, сервис тестирования покажет данные, кто именно посещал ваш проект, сколько кликов сделано и т.д., но финансовую информацию предстоит выгружать из AdSense, Travelpayouts и других источников.

Определить статистическую значимость

Статистическая значимость покажет, какова вероятность того, что такой же результат появился бы при проведении A/A-теста: сравнении страницы с самой собой. Если такая вероятность велика, значит результаты теста случайны и не показательны.

Для расчёта статистической значимости на основе результатов теста уже тоже придумали калькулятор.

После определения статистической значимости нужно либо выбрать вариант-победитель и запустить в работу, либо оставить без изменений и задуматься, допущена ли ошибка в тестировании или изменение на странице ни на что не влияет. Следующий шаг — придумать новый тест. Пробуй, ошибайся, учись и снова пробуй — только такой подход в итоге приводит к результатам.

Использовать

Выбирайте вариант, который выиграл по результатам статистически значимого теста. Например, вы выявили, что поисковая форма с логотипом Aviasales конвертирует в продажи лучше, чем форма без опознавательных знаков – используйте первую.

Может оказаться, что исходный вариант A – лучше, чем тестовый вариант B. Это нормальная практика. Вы протестировали оба и нашли лучший. В этом случае, оставляйте исходный вариант и думайте над тем, что можно улучшить, а затем проводите следующий A/B тест.