Andrey Gayvoronsky

Тестирование. Часть 2: “Когда можно делать выводы?!”

Месяц выдался достаточно загруженным оффлайном, все никак не было времени взяться за ум и написать здесь что-то полезное Но, тем не менее, я обещал в прошлой заметке про тестирование (Тестирование. Часть 1: “Что, зачем и почему?!”) рассказать про то, когда же делать выводы при тестировании.

Одно из самых сложных в тестировании  – понять когда вы получили достаточно данных, для того чтобы делать какие-либо выводы и переходить к следующему шагу. Так есть ли у вас уже достаточно данных или еще нет, чтобы делать какие-то статистические выводы?! В конце заметки, я напишу свое видение.

SplitTester.com

Этот сайт для выводов использует комбинацию кликов и CTR. Хотя это может быть очень полезным, для определения  наиболее высокого CTR, но все  же  большинство из нас заинтересовано в прибыли. Но если ваш интерес трафик, то CTR вполне подходящее “мерило”.

После пары часов запущенной кампании, Adwords обновляет данные. Я, например, взял эти начальные данные и внес на сайте splittester.com:

Всего 13 кликов и уже есть статистические выводы. “Мало кликов!” – скажете вы.  И будете правы!

На следующий день, результаты были прямо противоположные. Объявление Но.2 было статистически более релевантно:

На самом деле у меня было больше, чем 2 варианта объявлений (и я рекомендую делать их в районе 5-10 на начальном этапе), но на этом сайте нельзя сравнивать больше чем 2 объявления. К тому же, здесь никак не используется конверсия (например, сколько же было совершено покупок). Если трафик – ваша цель, и вам нужно минимум данных, то это вполне может быть даже полезным.

SEO Book’s Calculator

Далее я потестировал на одном из бесплатных инструментов SEObook, а именно на PPC G-test calculator. Самое главное отличие, что здесь можно тестировать больше чем 2 варианта одновременно.

Первое, что бросилось в глаза, что меня предупредили, что данных недостаточно. Спасибо! Но, объявление которое с вероятностью 97.64% должно быть “выкинуто” в конце-концов победило.

Удобно, что этот калькулятор основывается на понятии “успех” (т.е. была ли достигнута цель). Поэтому его можно использовать для подсчета как объявлений, так и целевых страниц или даже комбинации обоих. Очень удобно, если у вас есть достаточно данных.

Чтобы не занудствовать, я протестировал разные калькуляторы и все они давали примерно одинаковую картину.

Так когда же у вас достаточно данных для использования тест-калькуляторов?!

Это не инструменты плохие. Если их использовать правильно, то эти тест-калькуляторы очень даже полезны. Суть в том, что нужно понимать когда у вас есть достаточно данных, чтобы верить результатам. Ниже мои выводы на этот счет.

Время

Минимум: 1 неделя. У каждого дня свои характеристики (в субботу днем, результаты наверняка будут отличными от понедельника утром, и скорее всего будут отличаться от среды днем). Так что недельный “срез” данных это необходимый минимум.

Оптимально: 1 месяц. У каждой недели в месяце свои характеристики (особенно “зарплатные” недели). Так что месяц сгладит все эти отличия (особенно если речь про дорогие товары).

Супер: 3 покупательских цикла (с минимум 1 месяцем)

Трафик

Минимум: 300 кликов на объявление (и я все еще уверен, что этого слишком мало)

Оптимально: 500 кликов на объявление

Супер: 1000 кликов на объявление

Конверсия

Минимум: 7 конверсий(покупок и т.п.) на объявление

Супер: 15+ конверсий на объявление

Скорость

Если у вас 10 000 кликов в день, то наверняка вам нужно больше данных, т.к. результаты могут меняться во время покупательского цикла.

Если у вас 1 000 кликов в месяц, то возможно вам нужно взвесить когда можно будет принять решение на основе тех данных, что у вас есть.

В любом случае вам нужно будет взвешивать как много данных вы получили и когда принимать решение.

В  идеале было бы проходить все “отправные” точки (1000 кликов, 15 конверсий и 3 покупательских цикла минимум за 1 месяц) перед тем как делать какие-либо выводы и принимать решение.

Конечно же, никогда не забываем про здравый смысл. Если вы тестируете уже месяц и одно объявление дало 30 конверсий, а другие всего 4 (предположим у них примерно одинаковое количество кликов), вы уже можете вполне делать выводы.

Золотое правило оптимизации?

Важнее доверять данным, чем закончить тестирование.

Не делайте выводы при недостатке данных – все чего вы добьетесь – лишь навредите своему бизнесу.

Выводы

Онлайн и Excel калькуляторы не плохо работающие инструменты. Они просто решают определенные математические задачи.

Ваша задача как предпринимателя – не только запускать тесты, но также удостовериться, что у вас достаточно данных для использования таких инструментов, чтобы закончить тесты. Основная цель – запустить тест, чтобы понять какое “маркетинговое сообщение”  лучше всего промотирует ваши бизнес-цели.

Вы не сможете это сделать при недостатке данных.

Иногда нужно быть терпеливым!