Как компания Jooble потеряла $150 000 на A/B тестах дизайна рассылки

Основатель и управляющий партнер компании Jooble Роман Прокофьев в интервью Олегу Артишуку на YouTube-канале «Точка G» рассказал, как компания пришла к тому, что дизайн и верстка email-рассылок не имеют никакого смысла с точки зрения бизнеса. Этот опыт обошелся Jooble в $150 000.

Мантра последних нескольких лет: дизайн – основа всего. Во всем, будь это автомобили, телефоны или даже соковыжималки. Вот и мы грешным делом подумали, что верстка наших писем рассылки, которые каждый день получают миллионы людей по всему миру – это очень важно. Верстка нашего письма должна быть идеальна. В любом браузере, в любом почтовике, на любом девайсе. И понеслась.

Когда у вас более десятка миллионов подписчиков, то даже какая-нибудь маргинальная группа, которая пользуется браузером Edge и читает почту через локальный венгерский почтовый сервис freemail.hu – это несколько тысяч подписчиков. Мы поставили себе задачу: сверстать одно письмо, которое выглядело бы одинаково хорошо в любом почтовом клиенте, в любом браузере и на любом устройстве.

Проект занял более шести месяцев. Каждый релиз письма – это более ста проверок нашими инженерами по качеству, что все выглядит хорошо. А оно конечно так не выглядело. Этот тест мы делали достаточно давно, тогда еще работали в redmine (приложение для управления проектами. – Прим. ред.), 193 комментария только к основной задаче, еще около 250 к «небольшим» подзадачам.

Полгода работы, нервов, совещаний каждую неделю. И вот, ура, наше идеальное письмо готово. Можно запускать. Напомню, в самом содержании письма мы ничего не меняли, только визуальное оформление.

Запускаем, с нетерпением проверяем результат. С точки зрения бизнеса, наш основной KPI по рассылке – это количество переходов с письма на сайт. Мы ожидали, что наши письма так понравятся пользователям, что они будут чаще к ним обращаться.

Ииии. Ничего. Совсем ничего. Количество переходов с рассылки никак не поменялось. Все проверяем несколько раз. Ноль. Число переходов стабильно, как и до новой верстки. Мозговые штурмы – кто виноват и что делать. Во время одного из таких мозговых штурмов кто-то шутки ради говорит: а давайте отправим все письма по умолчанию в plain text, без визуальных элементов, чистый текст со ссылками. Даже не стали «причесывать» внешний вид ссылок в письме, огромные страшные url-ы.

Снимаем результат, и получаем -2% в переходах с писем. Обычное текстовое письмо, которое разработчик подготовит за 20 минут, без «рамочек, которые хочется лизнуть», с точки зрения бизнеса хуже всего на 2%. Аминь.

Вывод? Если вы присылаете пользователю то, что ему действительно нужно, не мудрите с оформлением, это может потешить только ваше самолюбие, но вряд ли даст ощутимый эффект с точки зрения бизнеса.

И в конце, конечно, мы посчитали, сколько нам стоил этот эксперимент, время инженеров по качеству, разработчиков, верстка, покупка веера устройств (да, к сожалению, на эмуляторах не все можно проверить), все неотправленные вовремя рассылки из-за обнаруженных в последний момент ошибок верстки: минус $150 000. Остается только надеяться, что благодаря этому эксперименту получилась эта статья, и мы поможем остальным сэкономить куда больше денег и сделать положительным баланс Вселенной.

Полную версию интервью с Романом Прокофьевым можно посмотреть ниже.

Недавно мы писали, как Валерий Яковенко создавал компанию DRONE.ua, которая поставляет дроны и связанные с ними услуги по всей стране и за рубежом. Вам будет интересно прочесть этот текст.

Подписаться на Telegram-канал