Andrey Gayvoronsky

Тестирование. Часть 2: “Когда можно делать выводы?!”

Месяц выдался достаточно загруженным оффлайном, все никак не было времени взяться за ум и написать здесь что-то полезное Но, тем не менее, я обещал в прошлой заметке про тестирование (Тестирование. Часть 1: “Что, зачем и почему?!”) рассказать про то, когда же делать выводы при тестировании.

Одно из самых сложных в тестировании  – понять когда вы получили достаточно данных, для того чтобы делать какие-либо выводы и переходить к следующему шагу. Так есть ли у вас уже достаточно данных или еще нет, чтобы делать какие-то статистические выводы?! В конце заметки, я напишу свое видение.

SplitTester.com

Этот сайт для выводов использует комбинацию кликов и CTR. Хотя это может быть очень полезным, для определения  наиболее высокого CTR, но все  же  большинство из нас заинтересовано в прибыли. Но если ваш интерес трафик, то CTR вполне подходящее “мерило”.

После пары часов запущенной кампании, Adwords обновляет данные. Я, например, взял эти начальные данные и внес на сайте splittester.com:

Всего 13 кликов и уже есть статистические выводы. “Мало кликов!” – скажете вы.  И будете правы!

На следующий день, результаты были прямо противоположные. Объявление Но.2 было статистически более релевантно:

На самом деле у меня было больше, чем 2 варианта объявлений (и я рекомендую делать их в районе 5-10 на начальном этапе), но на этом сайте нельзя сравнивать больше чем 2 объявления. К тому же, здесь никак не используется конверсия (например, сколько же было совершено покупок). Если трафик – ваша цель, и вам нужно минимум данных, то это вполне может быть даже полезным.

SEO Book’s Calculator

Далее я потестировал на одном из бесплатных инструментов SEObook, а именно на PPC G-test calculator. Самое главное отличие, что здесь можно тестировать больше чем 2 варианта одновременно.

Первое, что бросилось в глаза, что меня предупредили, что данных недостаточно. Спасибо! Но, объявление которое с вероятностью 97.64% должно быть “выкинуто” в конце-концов победило.

Удобно, что этот калькулятор основывается на понятии “успех” (т.е. была ли достигнута цель). Поэтому его можно использовать для подсчета как объявлений, так и целевых страниц или даже комбинации обоих. Очень удобно, если у вас есть достаточно данных.

Чтобы не занудствовать, я протестировал разные калькуляторы и все они давали примерно одинаковую картину.

Так когда же у вас достаточно данных для использования тест-калькуляторов?!

Это не инструменты плохие. Если их использовать правильно, то эти тест-калькуляторы очень даже полезны. Суть в том, что нужно понимать когда у вас есть достаточно данных, чтобы верить результатам. Ниже мои выводы на этот счет.

Время

Минимум: 1 неделя. У каждого дня свои характеристики (в субботу днем, результаты наверняка будут отличными от понедельника утром, и скорее всего будут отличаться от среды днем). Так что недельный “срез” данных это необходимый минимум.

Оптимально: 1 месяц. У каждой недели в месяце свои характеристики (особенно “зарплатные” недели). Так что месяц сгладит все эти отличия (особенно если речь про дорогие товары).

Супер: 3 покупательских цикла (с минимум 1 месяцем)

Трафик

Минимум: 300 кликов на объявление (и я все еще уверен, что этого слишком мало)

Оптимально: 500 кликов на объявление

Супер: 1000 кликов на объявление

Конверсия

Минимум: 7 конверсий(покупок и т.п.) на объявление

Супер: 15+ конверсий на объявление

Скорость

Если у вас 10 000 кликов в день, то наверняка вам нужно больше данных, т.к. результаты могут меняться во время покупательского цикла.

Если у вас 1 000 кликов в месяц, то возможно вам нужно взвесить когда можно будет принять решение на основе тех данных, что у вас есть.

В любом случае вам нужно будет взвешивать как много данных вы получили и когда принимать решение.

В  идеале было бы проходить все “отправные” точки (1000 кликов, 15 конверсий и 3 покупательских цикла минимум за 1 месяц) перед тем как делать какие-либо выводы и принимать решение.

Конечно же, никогда не забываем про здравый смысл. Если вы тестируете уже месяц и одно объявление дало 30 конверсий, а другие всего 4 (предположим у них примерно одинаковое количество кликов), вы уже можете вполне делать выводы.

Золотое правило оптимизации?

Важнее доверять данным, чем закончить тестирование.

Не делайте выводы при недостатке данных – все чего вы добьетесь – лишь навредите своему бизнесу.

Выводы

Онлайн и Excel калькуляторы не плохо работающие инструменты. Они просто решают определенные математические задачи.

Ваша задача как предпринимателя – не только запускать тесты, но также удостовериться, что у вас достаточно данных для использования таких инструментов, чтобы закончить тесты. Основная цель – запустить тест, чтобы понять какое “маркетинговое сообщение”  лучше всего промотирует ваши бизнес-цели.

Вы не сможете это сделать при недостатке данных.

Иногда нужно быть терпеливым!

VideoBoss – видеомаркетинг. Просто о сложном.

Очень качественные видео по созданию классных видео роликов и использованию их в видео-маркетинге от Andy Jenkins (запускал StomperNet, участвовал в проекте “Ведьма из Блэр” да и вообще достаточно известный человек). Он доступным языком рассказывает как делать убойные ролики без всяких дорогих камер, микрофонов, программ и т.п., а используя обычные PowerPoint (Windows) или Keynote (Mac). Единственный минус – видео на английском  и достаточно быстро говорит.

Да, уроки бесплатные !

Урок 1 – Video Marketing. Видеомаркетинг в настоящее время”дает” больше денег, чем что-либо еще.

Урок 2 - Little Boss.  Как делать ролики, которые цепляют.

Урок 3 – Traffic Boss. Почему про некоторые видеоролики никто не знает, а другие снимают сливки.

P.S.: Очень рекомендую к просмотру эти ролики, даже с трудом верится, что они бесплатные – уровень материала на очень высоком уровне. Урок1 “собрал” почти 1000 комментариев за первую неделю, Урок2 – собрал почти 2000 комментариев меньше чем за неделю!

P.P.S: Спасибо скажите потом

Update (22.02.2010): К сожалению, по этим ссылкам уже нет уроков, их почему-то убрали

Тестирование. Часть 1: “Что, зачем и почему?!”

Есть 3 основных “навыка” которые жизненно необходимы  для зарабатывания в интернете (хотя это имеет отношения к любому рекламному бизнесу):  целевая аудитория(умение определять ее, понимать желания/проблемы и т.д.), тестирование и анализ. Если с целевой аудиторией определяемся 1 раз, то тестирование и анализ делается постоянно на протяжении всей рекламной кампании. И совсем не важно – успешная у вас кампания и вы хотите ее еще улучшить и получить еще больше отдачи или же только начали.

Тестирование (split test, A/B тесты – я все это буду называть одним словом – “тестирование”) – это создание 2 и более вариантов чего-либо в вашей рекламной кампании (не важно объявления это, “продающая” страница или партнерское предложение) и распределение трафика между ними, чтобы понять что работает лучше.

Тестирование рекламного объявления

Тестирование объявлений делается достаточно просто в Adwords. Основная идея в том,  чтобы было запущено 2 группы объявлений, периодически удалять худшие и создавать новые. Как часто это делать – выбирает каждый сам, кто-то делает это по несколько раз в день, кто-то раз в неделю или даже еще реже. Скорее всего, в следующей заметке про тестирование я как раз и затрону этот вопрос – когда  можно делать выводы

Когда вы только запускаете кампанию, имеет смысл создать несколько различных (только действительно различных) версий объявления – 5 или даже еще больше. Через какое-то время оставляете лучшее объявление и начинаете тестирование, делая небольшие  изменения. Повторю еще раз – небольшие изменения – ОДНО изменение за раз. И не важно что это будет:  заглавные буквы, структура предложения, отображаемая ссылка, без заглавных букв и т.п. Но делайте, только одно изменение за раз.

Когда можно делать выводы и принимать решение (оставить лучшее и удалить плохо работающее)?! Для начала можно воспользоваться одним из тест-калькуляторов:

SplitTester

MySplitTester

A/B Split Test Calculator

Все что вам нужно – это ввести текущие данные CTR/клики/просмотры в соответствующих полях и калькулятор рассчитает вероятность  какое из объявлений будет работать лучше в долгосрочной перспективе. Например, лучшее объявление на 20% или даже больше впереди, и калькулятор вам говорит, что с 80% вероятностью это “победитель”. Вы можете быть вполне  уверены, что и дальше это объявление будет показывать лучшие результаты. Соответственно оставляем лучшее, запускаем  новый тест и так до тех пор пока не получим нужный результат.

P.S.: Но более детально про тест-калькуляторы – в следующей заметке.

Тестирование “продающих” страниц

Для теста страничек, нужно сделать больше, чем просто скопировать объявление, но принцип схожий – создаем версию с небольшими отличиями и направляем часть трафика на нее и смотрим, какой вариант дает лучший результат. Цели могут быть разные  - уменьшить количество отказов(зашли и ушли), увеличить CTR, увеличить продажи и т.п. Возможно для каких-то задач потребуется дополнительная информация для анализа (например, Google Analytics не дает информацию в реальном времени):

ClickTale – не бесплатна, но зато собирает все, что возможно о поведении человека на вашей страничке – где нажимали, сколько времени потребовалось на ввод информации в регистрационную форму и т.п.

CrazyEgg – более бюджетный вариант, но и менее функциональный.

ClickHeat – бесплатный, но показывает только области где были клики.

Google Analytics – есть все необходимое и к тому же бесплатно, но не в реальном времени. Если вам достаточно анализа раз в день и не нужна полная статистика по поведению человека на сайте, то это самое то.

Google Website Optimizer – наверное, лучший инструмент для обычного (A/B) и мультивариантного  тестирования “продающих” страниц.  Скорее всего, я напишу заметку про этот инструмент.

P.S.: В следующей заметке про тестирование, я более детально остановлюсь на тест-калькуляторах. Но, надеюсь, уже сейчас понятно, что тестирование это тот навык который нужно осваивать и, в принципе, от него многое зависит принесет вам денег ваша рекламная кампания или нет.

“Вирусная” реклама – реклама будущего?!

В последнее время все чаще и чаще встречается вирусная реклама и не просто так! Во-первых, сам интернет способствует такому типу рекламы, во-вторых это что-то до сих пор новое и потому эффект лучше, т.к. чаще всего вирусная реклама вещь заразная. А грамотно запущенный вирусный маркетинг – реально золотая жила! Лучше, наверное, Сета Година (Seth Godin) никто про вирусный маркетинг не расскажет (его книга про вирусный маркетинг в свое время была ярким примером вирусного маркетинга

Почему такая реклама интересна нам – “потребителям”?! Это забавно – чаще всего вовлечен сам потребитель. Это необычно – здесь не сработает долго метод клонирования, поэтому такая реклама почти всегда отличается друг от друга.

Осталось только придумать, как нам обычным предпринимателям в интернете, использовать такой тип рекламы. Из последних мне больше всего запомнилась реклама тарифа МТС (когда не просто смотришь ролик про себя, но еще тренер “Зенита” тебе звонит на телефон) и реклама “новой” музыки (надо отдать должное – очень интересный способ использования Facebook Connect). Вся фишка такой рекламы, что таким оригинальным способом можно разыграть друзей или даже оригинально поздравить (как в случае с рекламой музыки).

Есть стойкое ощущение, что это новый виток – креативно, оригинально, “вирус”, любопытно, интересно!

Как оседлать волну в интернет-маркетинге?!

Начну из далека. Первый свой сайт я сделал в далеком 1997 году и слава богу этот позор вы не найдете даже через Архив Интернета (если знать где искать, то только название что был такой-то мой сайт и не более того).  Свой первый опыт продвижения через инет я получил в 1998 году, когда написал небольшую программку для учета затрат на интернет (Incounter). Было около 500 зарегистрированных пользователей (для этого нужно было выслать мне настоящую открытку) и ни одного русскоговорящего.  Вообще про СНГ смешно – много кто собирался выслать, но никто не выслал. Хотя были и обзоры в печатных журналах и отзывов много положительных было и нравилось вроде всем, но никто из русских не прислал открытку. Хотя надо отдать должное, только в русскоязычном интернете сейчас и есть упоминание об этой программе до сих пор

Но тот первый опыт в маркетинге – он был больше случайный, да и интернет был другой. Более осознанно изучать интернет-маркетинг я начал где-то в 2005 году. Изучал и изучаю на западе, т.к. США уделывает всех по этой части только так. Особенно запомнилось, что тогда я купил книгу GoogleProfit по работе с партнерками в ClickBank (но только когда уже начал делать все по этой книге, я понял, что ClickBank не работает с СНГ), да и вообще как потом стало понятно в книге давались уже практически не работающие техники к тому времени (например, давать партнерские ссылки в Google Adwords  сейчас вообще опасно для скоринга, могут даже забанить).

Когда я стал больше во всем разбираться, я уже понял, что далеко не все стоит покупать, что рекламируют – часто бывает, что уже поздно и “авторы” просто пытаются по максимуму выжать из “уходящего” инфо-продукта(кстати, та книга GoogleProfit до сих пор продается!)

Как понять, что уже поздно? Однозначного ответа нет, но как вариант можно попробовать изучить тренды, например, через Google Trends (если там информация уже есть, то значит “движуха началась”) и, конечно, по активности Вот только некоторые инфо-продукты “живут” очень мало.

Вот, например, Income System еще очень даже живой инфо-продукт для СНГ, но активность уже началась. В общем изучайте тренды, включайте голову и только потом покупайте тот или иной продукт, чтобы не отдавать деньги за то, что уже не работает.

Анализ рекламных кампаний для новичка. Часть 1.

Иногда общаясь с людьми насчет эффективности рекламных кампаний, я прихожу к выводу, что новички  порой не понимают  с чего начинать анализ и вообще что это такое и как следствие вбухивают много денег в свою первую рекламу, через какое-то время плюют на все и уходят с огромным разочарованием. Постараюсь очень простым языком разложить все по полочкам.

Итак, вы решили что-то получить от рекламной кампании – продать продукт/услугу, расширить свой подписной лист и т.д. Т.е. а) а вы четко понимаете что вам надо в результате и б) вы готовы потратить на это дело какую-то сумму.

Допустим, вы создали одностраничник с предложением товара, запустили объявление на этот одностраничник, например, в Google Adwords (про создание сейчас речи не будет) и ждете счастья…

Во-первых, я бы рекомендовал вам разделить все это на этапы. Этап 1 - работа объявления. Этап 2 – работа вашего сайта (в нашем примере одностраничника с предложением товара).

Так вот, нужно стараться воспринимать картинку в целом. Например, у вас много показов, но мало кликов. О чем это говорит? Объявление плохо работает, т.е. либо непорядок с целевой аудиторией, либо текст объявления или заголовок не цепляют и поэтому не кликают на ваше объявление.  Если мало показов, то все более-менее понятно – что-то с ценой клика(слишком большая конкуренция по вашим ключевым словам  и вы просто в “конце очереди”) или, опять же, что-то с объявлением (очень редкие ключевые слова). Популярность ключевых слов проверять, я уверен, умеет каждый, но на всякий случай пара ссылок:

• http://adwords.google.com/select/KeywordToolExternal
• http://wordstat.yandex.ru/
• http://www.keyworddiscovery.com/ – только англоязычный интернет

В общем с первым этапом разобрались – “подняли” цену клика или отредактировали объявление(кстати, на первом этапе не удаляйте плохо работающие объявления. В идеале вам нужно постараться понять, какая часть “плохого объявления”  была паршивой овцой

В общем, теперь у вас все ок – объявление в порядке, ключевые слова в порядке, показы иду, клики кликаются, т.е. люди посещают ваш сайт, но продаж/регистраций нет! О чем это говорит? Плохо работает вторая часть вашей рекламной кампании – сайт куда люди приходят после клика по вашему объявлению. Здесь может быть на самом деле масса причин – орфографические ошибки, сложный текст на сайте и т.д., Но самое первое на что стоит обратить внимание – а сочетается ли текст на вашем одностраничнике с вашим объявлением.  Если еще проще – воспринимайте объявление, сайт как набор слов и смотрите насколько, слова из объявления сочетаются со словами с сайта. Если все отлично сочетается – суть объявления и суть сайта говорят об одном, то возможно причина в самом тексте. Плохо цепляет текст на сайте, нечеловеческий язык (искусственность – в жизни так не говорят), не та целевая аудитория, затянутые и тяжелые для восприятия предложения, нет призыва к действию, сложная форма регистрации/покупки(человек запутывается и уходит) – в общем меняйте содержимое сайта.

И напоследок,  сравнивайте не только показы, клики и продажи, но так же и цены кликов. Если одно объявление у вас показывается редко, кликов соответственно тоже мало, но многие клики завершаются продажей, то все в порядке.

Не бойтесь экспериментировать, пробовать, НО всегда анализируйте и делайте выводы. В конце-концов, секрет успеха прост – тестирование, анализ, тестирование, анализ, тестирование, анализ, тестирование, анализ  и т .д.

Тайм-менеджмент или как не провести всю жизнь в интернете?!

Т.к. хоть это и мой персональный блог (да-да, я периодически буду писать совсем не про интернет маркетинг и все что с ним связано), но тем не менее, основная тематика – интернет маркетинг, мой опыт в нем, мое видение всего этого  ”безобразия”.

Так вот, хочу затронуть такую важную тему как тайм-менеджмент – особенно  для всех кто уже развивает  или только  хочет начать свой  бизнес в интернете. Было ли у вас такое, что вы садились за компьютер с грандиозными планами, но в конце дня понимали, что ничего толком не сделали?! Вот ведь парадокс – вроде бы и делом занимаетесь: работаете за компьютером, что-то делаете, читаете – в общем работа “кипит” – время за компьютером проводите, значит работаете!

Время за компьютером пролетает почему-то быстрее, но главное понять куда оно уходит. Не было проблем, когда я занимался чем-то вне компьютера – записал в ежедневник, расставил приоритеты или вообще отсеял кучу мусора (это уже после того как я изучил GTD – Getting Things Done, Дэвида Аллена. Она уже есть на русском).  Но вот когда деятельность тесно связана с компьютером, как-то все это не очень эффективно работало – лично у меня. Много было каких-то отвлекающих факторов – напоминалки, аськи, вконтакте, одноклассники и т.п. Что-то я перестал использовать, что-то я стал горааааздо реже использовать, но время  все равно “утекало” непонятно куда.

Решилось все очень просто – с помощью компьютера.  Какое-то время назад я стал использовать такую замечательную систему как RescueTime (“Сохрани Время”). Здесь 2 составляющих: а) человек устанавливает на компьютер небольшую (1-2 Мб) программку, которая записывает ВСЮ вашу деятельность на компьютере – какие сайты посещали, какие программы запускали, как долго читали тот или иной сайт, как долго общались в аське и т.д.  и б) все это добро (только название и время) она отсылает на сервер, который уже предоставляет подробную статистику.

Но фишка в том, что статистика в себя включает еще и эффективность. Да-да, и для сайтов и  программ там указаны коэффициенты полезности – отвлекающая (distracting) или же полезная (productive) это деательность.

Все это можно посмотреть как и в детальном отчете, так и в общем – например, за прошедшую неделю вы провели 50 часов из них 34 – продуктивно, а 16 – неэффективно. Выставляет вам “балл” и самое интересное еще и сравнивает с другими пользователями системы Вроде бы баллы и сравнение  - баловство, но лично меня это мотивировало, когда смотришь на свои красные графики и отрицательные баллы, а у какого-то “среднего” пользователя рейтинг положительный – непорядок!

Кстати, если какой-то программы нет в шкале оценок или какого-то сайта нет, то вы можете сами указать – эффективно это или нет. Другие пользователи тоже указывают для своих программ, сайтов, в результате есть общая такая база с рейтингами и на основе них уже сервис и оценивает вашу эффективность.

В общем очень рекомендую тем, что хочет наладить тайм-менеджмент, но не знает с чего начать и вообще как понять куда уходит время (локализация проблемы – уже пол дела, есть с чем работать – удалить аську, например). Кстати, ее еще можно настроить, чтобы она показывала вам предупреждение, если вы неэффективно проводите слишком много времени. Например, вы указали, что планируете тратить только пол часа в день на аську, пол часа на новости. Когда вы превысите этот лимит, программа вас предупредит об этом!

В принципе программа используется как персонально (есть бесплатная версия – она ограничена по возможностям, но лично мне этой версии хватило, чтобы локализовать дыры), так и командами – заказчик и исполнитель устанавливают программу и заказчику высылаются отчеты о том, чем занимался фрилансер. Но есть небольшой минус у этого сервиса – он на английском  :(

Сайт RescueTime. Пользуйтесь, определяйте дыры куда уходит время за компьютером, устраняйте их! Проводите время в интернете эффективно! Оставляйте на родных и близких вам людей! Живите не в компьютере, а в реальной жизни!

Мультиаккаунты на Twitter или как с ними ужиться?!

Ни для кого уже не секрет, что на Twitter научились зарабатывать деньги, особенно, что касается англоязычного интернета.  Самая простая схема – создается блог под кампанию/продукт, создается новый аккаунт на Twitter, настраивается автоматический постинг из блога в Twitter (в Wordpress есть масса таких плагинов) и пошло-поехало.

Так вот, когда мне понадобилось несколько аккаунтов на Twitter, я как всегда стал париться насчет нового email (у Twitter жесткая привязка к почте, а у меня и так уже куча почтовых ящиков), а потом вспомнил, что у Gmail есть классная особенность – он понимает почтовые ящики с точкой как один. Т.е., mailbox@gmail.com, mail.box@gmail.com или даже m.a.i.l.b.o.x.@gmail.com будет для Gmail как один аккаунт, а для Twitter – разные!

Кстати, мои основные аккаунты на Twitter (русский и английский) персональные как и этот сайт, для маркетинга я использую совсем другие аккаунты

Тренды 2010

TODO:  через год посмотреть насколько я попал пальцем в небо

Мне кажется в этом году будут такие тренды:

• кризис и все что с ним связано (увольнение, поиск работы и т.п.) –  по-прежнему будет на коне
• недвижимость (особенно в США) – должны же те кто ждали дна, начать уже пробивать – дно или нет еще
• образование (второе, повышение квалификации, самообразование, саморазвитие и т.п.) – это все же скорее как следствие пункта 1
• приложения для Android от Google – это, конечно, не победное шествие как для IPhone от Apple, но платформа перспективная и уже стали появляться аппараты на ней, так что волна может запросто случиться
• фильм Аватар – если будет так же как с Титаником в свое время, то может быть все что угодно. И новые рекорды в продажах сопутствующих товаров в том числе (диски, игры и т.п.)
• Star Craft 2 – если это чудо выйдет в этом все же году, то бум будет определенно. Первая часть – самая продаваемая игра и вторую часть ждут уже очень давно, так что будет как горячие пирожки расходиться. Правда там еще Diablo 3 на горизонте, но это не тоже самое что Star Craft 2 – калибр разный

Интересно будет глянуть через годик, что же будоражило умы людей в этом году

На некоторых трендах можно будет неплохо заработать и не только в интернете.

Даже полный отстой может продавать!

Самый худший продукт/проект когда-либо сделанный и запущенный человеком заработает больше денег в интернете, чем самый лучший и идеальный проект, который так и не был никогда запущен.

Уловили мысль?

Если у вас не стоит вопрос как начать бизнес в интернете и вы уже начали что-то делать, то СТОП! Прекратите вылизывать и просто запустите. Вы всегда сможете  потом его улучшить.

Это было моей самой большой ошибкой, когда я начинал изучать интернет маркетинг. Я тратил кучу времени на элементарные вещи типа написания статьи или создания одностраничника с предложением. Я старался сделать это идеальным ДО запуска или публикации. Я был уверен, что если это будет суперским, то отдача будет лучше.

А самое смешное, что иногда я просто тупо все запарывал, время было упущено и уже не было смысла что-либо запускать – поезд ушел.

Не надо стараться быть идеальным! Перфекционизм так же плох как и постоянное откладывание. И то и другое мешает в достижении целей, т.к. тратит самое ценное – ваше время!

Какая разница, если у вас есть грамматические ошибки в статье или сайт не полностью доделан – как минимум у вас уже это  есть!

Какая разница, если ваш одностраничник как новогодняя елка и выглядит по дилетантски. Вы все равно можете продавать через  него. Даже если ваша конверсия в полной заднице, 1 к 10000 –  как минимум вы уже продаете.

Помните, вы всегда сможете потом отредактировать и улучшить ваш проект.

Не тормозите себя из-за такого рода бездействия.