Когда использовать тестирование с разбивкой на первый-второй и многомерное тестирование

Первый важный вопрос, который вам нужно задать, — это какой вид теста использовать: тест с разбивкой на первый-второй или многомерный тест? Ответ будет зависеть от того, какие изменения нужны странице по вашему мнению.

Если вы тестируете два или более совершенно разных подхода, тест с разбивкой будет наиболее подходящим. Например, если вы хотите протестировать одну версию вашей домашней страницы, которая привлекает бюджетными преимуществами по сравнению с версией, которая привлекает новыми свойствами, у каждой — разные заголовок, панель загрузки и другой контент.

Так как на самом деле есть всего два варианта, и тестирование комбинаций разного контента вместе было бы бессмысленно (то есть у вас нет причин полагать, что бюджетный заголовок с загрузочной панелью обеспечит лучшую конверсию), тест с разбивкой на первый-второй будет правильным подходом.

Другая причина выбора теста с разбивкой — это небольшое количество вариантов. Если вы хотите попробовать три варианта заставки, быстрее просто создать три версии страницы (тест первый-второй-третий), чем создавать тот же тест в многомерном формате.

Если вы хотите проверить несколько различных изменений, в которых варианты сильно отличаются друг от друга, многомерный тест будет правильным выбором.

Рисунок 11.6 показывает две комбинации страницы продукта с веб-сайта Towels Direct, результаты идеального многомерного теста. (Это тот же эксперимент, чьи результаты показаны на рис. 11.3.)

Мы тестируем пять различных разделов страницы, которые независимы друг от друга. Три значительных изменения, которые составляют лидирующую комбинацию: расположение и цвет ссылки «более крупное изображение», центрирование «предыдущая/позиция/следующая» в меню продуктов и удаление рамки вокруг описания продукта. Вместе эти три простых изменения дали в результате 60% увеличения конверсии (добавить в корзину).

 

Рис. 11.6. Страница продукта TowelsDirect.co.uk была идеальным кандидатом для многомерного теста

Мы обнаружили, что иногда требуется компромисс. Он нужен, если у вас есть смешанные варианты, но тогда были бы неуместны комбинации, которые вы не хотели бы видеть. В этом случае используйте многомерный тест и отключите неуместные комбинации сразу после начала теста.

Другая ситуация, в которой сработает только многомерный тест — это когда технические причины делают тест с разбивкой нецелесообразным. Если ваши страницы создаются системой управления контентом или платформой электронной торговли (возможно, используя параметры в URL), очень сложно создать целые альтернативные страницы. В этом случае вы все еще можете использовать многомерный метод и даже воссоздать что-то вроде теста с разбивкой на первый-второй, отключив все ненужные вам комбинации, как показано на рис. 11.7.

 

Рис. 11.7. Использование многомерного метода, чтобы создать тест с разбивкой на первый-второй

Риск этого подхода — и с тестированием с разбивкой на первый-второй — в том, что вы можете оказаться без положительных результатов и без информации о том, как сработали индивидуальные изменения. Рисунок 11.8 показывает две домашние страницы, которые мы тестировали, используя многомерный метод, и результат — несущественное, но убедительное уменьшение коэффициента конверсии на 2,6% (просмотр страницы продукта).

Здесь я сделал четыре изменения: два разных заголовка, демонстрирование или отсутствие заголовка «Просто самый низкий…», замена фотографии четырьмя блоками, показывающими ключевые преимущества, плюс некоторые изменения в CSS (включая размер шрифта в боковом меню). Возможно, что два или три из этих изменений принесли значительные улучшения, тогда как остальные были убыточными, но, так как я не проверил их на многомерном тесте, я не могу узнать это. Рассматривая результаты каждого раздела на рис. 11.8, невозможно сказать, имели ли значение изменения и в каком разделе страницы, потому что они тестировались только как комбинация и казалось, что все давало одинаковый эффект.

 

Рис. 11.8. Два варианта домашней страницы Fastlec достигли схожих результатов

 

Цели

Решите, что вы будете использовать в качестве вашей цели. Выбор обычно стоит между следующей ступенью и итоговой целью. Например, тестируете ли вы эффективность страницы услуг, подсчитывая количество людей, которые посещают страницу контактов, или количество тех, кто действительно делает запрос на связь? Существуют аргументы в пользу обоих подходов.

В идеале вам всегда следовало бы тестировать цель, у которой есть реальная деловая ценность, такую как действительный запрос на связь или реальная продажа. Это наиболее значимый подход, потому что он рассматривает всю последовательность, опыт посетителя как гармонию. Нет смысла заставлять людей переходить на следующий шаг, если они не продолжают двигаться к итоговой цели.

С другой стороны, так как на каждой ступени последовательности есть «утечки», люди будут уходить с каждого шага последовательности, в результате чего будет достигнуто меньше целей. Чем меньше целей вы получите, тем дольше вы будете ждать полезных результатов. Чем большее время занимают тесты, тем дольше вы будете реагировать и оптимизировать страницу. В случае домашней страницы Fastlec на рис. 11.8 мы использовали в качестве цели «просмотр любой страницы о свойствах продукта», что является не конверсией, но промежуточным шагом к конверсии. Результатом этого были очень высокие уровни переходов по ссылкам — больше 80%, — которые, в сочетании с большим трафиком, дали убедительный результат всего за 10 дней. Можно возразить, что, хотя мои варианты дали более низкий уровень переходов по ссылкам к страницам продуктов, они могли все равно дать больше реальных продаж. В этом примере имеет смысл измерять конверсии как продажи.

Нет верного ответа на вопрос, что использовать в качестве цели. Я бы сделал три рекомендации:

1. Чем выше ваш трафик, тем более оправданно использование более отдаленных целей. Если у вас низкий трафик, вы можете получить лучшие результаты, проводя короткие тесты, нежели ожидая, пока завершится продолжительный эксперимент.

2. Можете ли вы оценить вклад одной страницы в итоговые результаты конверсии? Во многих случаях можно рационально рассматривать как хороший результат то, что вы заставили больше людей сделать один шаг вперед.

3. Как быстро вам нужно увидеть результаты? Вели у вас есть возможность проводить новый тест каждые две недели, нет смысла создавать тест, чтобы завершить его за неделю.