logo
- 17 May 2018

Как компания Jooble потеряла $150 000 на A/B тестах дизайна рассылки

Основатель и управляющий партнер компании Jooble Роман Прокофьев в интервью Олегу Артишуку на YouTube-канале «Точка G» рассказал, как компания пришла к тому, что дизайн и верстка email-рассылок не имеют никакого смысла с точки зрения бизнеса. Этот опыт обошелся Jooble в $150 000.


Мантра последних нескольких лет: дизайн – основа всего. Во всем, будь это автомобили, телефоны или даже соковыжималки. Вот и мы грешным делом подумали, что верстка наших писем рассылки, которые каждый день получают миллионы людей по всему миру – это очень важно. Верстка нашего письма должна быть идеальна. В любом браузере, в любом почтовике, на любом девайсе. И понеслась.

Роман Прокофьев, «Jooble»

Роман Прокофьев, «Jooble»

Когда у вас более десятка миллионов подписчиков, то даже какая-нибудь маргинальная группа, которая пользуется браузером Edge и читает почту через локальный венгерский почтовый сервис freemail.hu – это несколько тысяч подписчиков. Мы поставили себе задачу: сверстать одно письмо, которое выглядело бы одинаково хорошо в любом почтовом клиенте, в любом браузере и на любом устройстве.

Проект занял более шести месяцев. Каждый релиз письма – это более ста проверок нашими инженерами по качеству, что все выглядит хорошо. А оно конечно так не выглядело. Этот тест мы делали достаточно давно, тогда еще работали в redmine (приложение для управления проектами. – Прим. ред.), 193 комментария только к основной задаче, еще около 250 к «небольшим» подзадачам.

Комментарии к задачам

Комментарии к задачам

Комментарии к задачам

Комментарии к задачам

Комментарии к задачам

Комментарии к задачам

Комментарии к задачам

Комментарии к задачам

Полгода работы, нервов, совещаний каждую неделю. И вот, ура, наше идеальное письмо готово. Можно запускать. Напомню, в самом содержании письма мы ничего не меняли, только визуальное оформление.

Правки к дизайну

Правки к дизайну

Запускаем, с нетерпением проверяем результат. С точки зрения бизнеса, наш основной KPI по рассылке – это количество переходов с письма на сайт. Мы ожидали, что наши письма так понравятся пользователям, что они будут чаще к ним обращаться.

Правки к дизайну

Правки к дизайну

Ииии. Ничего. Совсем ничего. Количество переходов с рассылки никак не поменялось. Все проверяем несколько раз. Ноль. Число переходов стабильно, как и до новой верстки. Мозговые штурмы – кто виноват и что делать. Во время одного из таких мозговых штурмов кто-то шутки ради говорит: а давайте отправим все письма по умолчанию в plain text, без визуальных элементов, чистый текст со ссылками. Даже не стали «причесывать» внешний вид ссылок в письме, огромные страшные url-ы.

Снимаем результат, и получаем -2% в переходах с писем. Обычное текстовое письмо, которое разработчик подготовит за 20 минут, без «рамочек, которые хочется лизнуть», с точки зрения бизнеса хуже всего на 2%. Аминь.

Вывод? Если вы присылаете пользователю то, что ему действительно нужно, не мудрите с оформлением, это может потешить только ваше самолюбие, но вряд ли даст ощутимый эффект с точки зрения бизнеса.

И в конце, конечно, мы посчитали, сколько нам стоил этот эксперимент, время инженеров по качеству, разработчиков, верстка, покупка веера устройств (да, к сожалению, на эмуляторах не все можно проверить), все неотправленные вовремя рассылки из-за обнаруженных в последний момент ошибок верстки: минус $150 000. Остается только надеяться, что благодаря этому эксперименту получилась эта статья, и мы поможем остальным сэкономить куда больше денег и сделать положительным баланс Вселенной.

Полную версию интервью с Романом Прокофьевым можно посмотреть ниже.

Недавно мы писали, как Валерий Яковенко создавал компанию DRONE.ua, которая поставляет дроны и связанные с ними услуги по всей стране и за рубежом. Вам будет интересно прочесть этот текст.

Подписаться на Telegram-канал


Улучшайте себя и бренд: учитесь маркетингу

Наши партнеры из Laba разработали курсы, которые помогут вам стать лучше в маркетинге и управлении брендом:

  • Бренд-менеджмент, 20 июля – 19 августа. Разберете, как проанализировать целевую аудиторию и разработать бренд-стратегию;
  • Маркетинг в медицине, 5 июля – 4 августа. Узнаете, как построить сильный личный бренд врача и клиники, выбрать инструменты продвижения и привлекать пациентов с разными потребностями;
  • Создание бренда на рынке недвижимости, 29 июля – 30 августа. Узнаете, как правильно создать позиционирование для жилого комплекса.

В этом тексте могут быть использованы ссылки на продукты и услуги наших партнеров. Если вы решите что-то заказать, то мы получим вознаграждение. Так вы поможете редакции развиваться. Партнеры не влияют на содержание этой статьи.

По теме:

Вдохновляющие компании

Solvd

Работаем с клиентами с мировым именем: наши приложения учат хирургов в Стэнфорде и помогают заказать кофе в Starbucks. Наша цель на 2021 год – найти еще 70 коллег в Украине.

iLogos Game Studios

Наши игры уже скачала седьмая часть жителей планеты. Чтобы увеличить эту цифру, мы ищем новых специалистов

3 вакансии

Выбор редактора

Спецпроект

Вдохновляющие компании-работодатели

Alfa
«БИОСФЕРА»

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: