Как 8 различных инструментов A / B-тестирования влияют на скорость сайта (оригинальное исследование)

Фон
2. Как инструмент тестирования стоит нам 12 баллов на скорости Google Page
3. Как инструменты тестирования могут замедлить ваш сайт
Отказ от ответственности и прозрачность
Ответы поставщиков
Краткое изложение методологии
Измерение производительности
Как мы измерили опытное время загрузки в контексте A / B-тестирования
Результаты: Топ 8 самых быстрых A / B инструментов тестирования
Вывод: что делать с этими результатами?
Похожие сообщения

И ваш посетитель, и Google предпочитают, чтобы ваш сайт был быстрым. Увеличение скорости сайта было показано увеличить конверсию так же как повысить рейтинг SERP и то, и другое в результате дает больше денег для вашего бизнеса.

Ты делаешь сплит тестирование улучшить результаты. Но A / B инструменты тестирования на самом деле может замедлить ваш сайт.

Мы исследовали 8 различных инструментов тестирования, чтобы показать, как каждый из них влияет на производительность вашего сайта. Мы наметим фон, методологию и т. Д., Но нажмите здесь, если вы хотите перейти прямо к результатам ,

Фон

1. Данные показывают, быстрее сайты конвертировать лучше

У посетителей есть порог терпения. Они хотят что-то найти, и ненужное ожидание заставит их хотеть уйти. Как в любом магазине.

Для вас это означает, что более медленный сайт - это меньше дохода.

На графике выше вы можете видеть связь (зеленая линия) между временем загрузки и скоростью конверсии для одного из клиентов OrangeValley. На 1 секунду медленнее, на 25% меньше конверсий.

Соотношение между производительностью сети и конверсией имеет было документированный во многих исследования , Google также настаивает на том, чтобы владельцы сайтов улучшить скорость своего сайта в их усилиях по улучшению веб-опыта.

2. Как инструмент тестирования стоит нам 12 баллов на скорости Google Page

Simyo (Телекомпания) имеет 99/100 Google Page Speed для своей домашней страницы. Это было до внедрения инструмента A / B-тестирования. После проведения тестирования (в соответствии с лучшими практиками поставщика) оценка упала на 12 баллов.

Оценка скорости страницы до реализации фрагмента теста A / B в разделе заголовка

Вот что произошло со временем рендеринга Start, когда мы внедрили инструмент A / B-тестирования, основанный на рекомендованном методе реализации поставщика.

Внедрение инструмента A / B-тестирования просто сделало их сайт медленнее, чем их основные конкуренты, что повлияло на их конкурентоспособность в SEO и конверсии.

3. Как инструменты тестирования могут замедлить ваш сайт

Большинство программ A / B-тестирования создает дополнительный шаг при загрузке и отображении веб-страницы.

Многие используют технологию, основанную на JavaScript, которая выполняется в браузере вашего посетителя. Это называется клиентский скрипт , Страница загружается, и скрипт изменяет исходный код. Это невозможно сделать до тех пор, пока элементы, которые необходимо изменить, не будут загружены и, следовательно, не приведет к задержке.

Вот почему иногда ты можно увидеть изменения элементов на странице как это все еще загружается.

Как Брайан Мэсси , Основатель Конверсионные науки , сказал:

Брайан Мэсси, Конверсионные науки
«Вспышка привлекает внимание к элементу, который вы тестируете, и это означает, что посетители, которые увидят ваш тест, сосредоточатся на этом элементе. Если лечение выигрывает, оно будет выкатываться на сайт, устраняя вспышку. Увеличение, видимое в тесте, может быть полностью стерто. Так что это довольно важный вопрос ».

Но это только часть проблемы. Наличие таких скриптов может блокировать выполнение рендеринга частей вашей страницы, замедляя его еще больше.

Много было написано на эту тему. Вот хорошая статья, которая углубляется и Обсуждение GrowthHackers следить.

Отказ от ответственности и прозрачность

Изменение изображения и некоторого текста является частью многих A / B-тестов, поэтому имеет смысл использовать эти простые изменения в качестве основы данного исследования.

Однако производительность инструмента, конечно, будет частично зависеть от страницы, которую вы тестируете, и типа выполненного эксперимента.

В исследовательских целях нам нужно было протестировать то же самое (чтобы выделить эту переменную). Возможно, другие эксперименты могут привести к другим результатам, поэтому не повредит проверить это самостоятельно.

В OrangeValley, Мы выбираем инструменты, которые используют наши клиенты в каждом конкретном случае. В результате мы в основном используем Optimizely , SiteSpect (расположен в том же здании, в котором мы находимся) и ПУО - хотя иногда мы используем и другие инструменты.

В конце 2015 года у нас возникли проблемы с клиентским инструментом (эффект мерцания). Оптимизация кода и тестирование различных реализаций не работали, и бэкэнд-инструмент не был опцией. Поскольку у нас не было плана C, мы решили найти самый лучший инструмент A / B-тестирования на стороне клиента, когда дело доходит до времени загрузки, поэтому мы решили начать это исследование (и поделиться им с вами!).

Ответы поставщиков

Мы также получили ответы и обновления от некоторых инструментов после проведения исследования.

Marketizator увеличилось количество серверов и добавлен слой кэширования для ускорения обслуживания вариантов (будь то A / B-тестирование или персонализация). Они также ускорили метод определения аудитории, который помогает быстрее проводить эксперименты. К настоящему времени они также должны были расшириться в несколько определенных областей, позволяющих снизить задержку.

ПУО указал, что они предпочитают асинхронный, чтобы убедиться, что время простоя сервера никогда не приведет к заклиниванию сайта их клиента.

Они также указали, что, поскольку мы настраиваем наше исследование на «чистые» учетные записи, это не то же самое, что в полностью оперативных учетных записях. С их технологией загружаются только соответствующие эксперименты для пользователя, в то время как некоторые другие поставщики загружают все эксперименты независимо от эксперимента, который необходимо применить для посетителя (например, Optimizely рекомендует архивировать эксперименты, когда они больше не используются).

Учитывая нашу «чистую» настройку учетной записи, VWO не смог воспользоваться преимуществами своих технологий в этом исследовании.

И наконец, что важно, они сообщили мне, что любые изображения, загруженные на их сервис, хранятся в США и не распространяются по CDN. Это означает, что для пользователей VWO за пределами США, вероятно, лучше хранить изображения на их собственных серверах. Хотя в этом исследовании мы сознательно решили протестировать предоставляемых поставщиков услуг «из коробки», мы признаем, что это могло привести к тому, что фоновое изображение загружалось медленнее, чем при загрузке на региональный сервер.

Примечание редактора: AB Tasty не согласилась с результатами исследования, поэтому они были удалены. Целостность результатов остается неизменной, независимо от реакции отдельных поставщиков.

HP Optimost к сожалению, мы не ответили на нашу электронную почту, в которой мы поделились их результатами рейтинга этого исследования. Все остальные поставщики, с которыми мы говорили ( SiteSpect , Maxymiser, Convert.com, Marketizator ) не было никаких других замечаний о методологии данного исследования.

Краткое изложение методологии

В этом исследовании мы сравнили 8 различных инструментов A / B-тестирования по времени загрузки, с которым сталкиваются посетители вашего сайта. Наша цель состояла в том, чтобы определить, какой альтернативный инструмент мы должны использовать, чтобы минимизировать любой отрицательный эффект.

Вот контроль:

И вот вариант:

В варианте мы изменили текст заголовка и вставили фоновое изображение.

Вот инструменты, которые мы изучали:

Monetate и Adobe Test & Target также являются известными инструментами, но они не были включены. Мы приглашаем их принять участие в любом последующем исследовании.

Измерение производительности

Мы использовали Speedcurve и наш частный случай Webpagetest.org проводить нагрузочные испытания в течение полной недели. Это широко используемые платформы среди специалистов по веб-производительности.

Все эксперименты были настроены одинаково:

тот же хостинг сервер (Амстердам)
те же настройки местоположения и скорости (15 Мбит / с вниз, 3 Мбит / с вверх, задержка 28 мс)
та же вариация
реализация в соответствии с вендором рекомендации базы знаний
фоновое изображение, загруженное в инструмент, когда эта опция была доступна
Более 80 тестовых прогонов на инструмент в течение недели, чтобы уменьшить влияние потенциальных выбросов (в ретроспективе все инструменты показали стабильные измерения)
Тестовая страница была копией целевой страницы клиента, для которой мы изменили цвета и текст
Время показа варианта измерялось для первых просмотров (первое впечатление, которое получит новый пользователь)

Как мы измерили опытное время загрузки в контексте A / B-тестирования

В этом исследовании мы смотрим на время загрузки элементов над сгибом, поскольку это напрямую соответствует опытное время загрузки , Общая загрузка страницы не учитывается. Мы решили принять этот подход, так как отрасль WPO все больше и больше движется к измерению того, что важно для пользовательского опыта (обнаружение критических элементов). Люди, после всего, могут начать читать и получить свое первое впечатление, прежде чем страница будет полностью загружена.

Что мы действительно хотели измерить, так это когда конкретные элементы, относящиеся к посетителям, были загружены, включая любые изменения, внесенные инструментами A / B-тестирования, так как это напрямую влияет на время загрузки пользователями.

Наша проблема заключалась в том, что нам нужно было измерять не только загрузку исходных элементов - во-первых, когда элементы были загружены, а во-вторых, когда клиентский скрипт (используемый 7 из 8 поставщиков) изменил эти элементы в тесте A / B.

В некоторых случаях окончательный текст был виден непосредственно, в других случаях отображался исходный текст, а затем изменялся на экране до окончательного текста (эффект мерцания).

В итоге мы автоматизировали процесс анализа киноленты, чтобы измерить эти изменения на экране для пользователя. Таким образом, мы могли бы измерить, когда к странице был применен вариантный текст «Как БЫСТРО… [A / B-инструмент тестирования]?» И фон.

Первоначально мы намеревались посмотреть на такие показатели, как индекс скорости, начать рендеринг и визуально завершить, чтобы сравнить инструменты. Тем не менее, когда мы посмотрели на ролики и ролики рендеринга, выяснилось, что эти метрики данных не совсем отражают то, что будут испытывать посетители вашего сайта. Фактически, один из инструментов позволяет очень скоро начать рендеринг страницы, но то, что посетитель в итоге видит в своем браузере, оказалось намного медленнее.

Speedcurve действительно есть отличное решение для измерения опытного времени загрузки с помощью пользовательские метрики , По сути, вы добавляете сценарии к элементам на своей странице, которые наиболее актуальны для пользователя при входе на страницу: элементы над сгибом, такие как ваше ценностное предложение и важные призывы к действию.

В этом случае нам нужно было измерить изменяющийся текст и фон, которые были частью этого эксперимента. Хотя мы могли измерить исходный заголовок с помощью пользовательских метрик, сделать то же самое с альтернативным заголовком оказалось сложнее.

Результаты: Топ 8 самых быстрых A / B инструментов тестирования

Вот что мы нашли:

И вот сравнение инструментов в графической форме ...

Тогда вот видео сравнение времени загрузки инструментов:

Мы надеемся, что найденные результаты оказались для вас полезными! Вас что-нибудь удивило?

Вывод: что делать с этими результатами?

При наличии явных различий в производительности между инструментами A / B-тестирования целесообразно тщательно выбирать. Снижение производительности может привести к снижению конверсии, надежности тестирования и снижению скорости загрузки страницы, что не поможет вашей позиции в SEO.

Не паникуйте, как упоминалось ранее, не все сайты одинаковы. Возможно, ваш сайт сейчас слишком медленный, чтобы его могли замедлить сторонние инструменты. Поэтому убедитесь, что вы получаете данные на свой сайт, используя простые инструменты, такие как Google Page Speed и Webpagetest.org, и убедитесь, что используемый вами инструмент работает на вашем сайте должным образом, или попробуйте улучшить свои настройки.

Мы надеемся, что это исследование будет полезным для вас. Не стесняйтесь поделиться или прокомментировать ниже с вашим собственным опытом.

Обновление: после публикации VWO связался с нами еще раз. Они сообщили нам, что код варианта не был оптимальным ( прочитайте их пост, чтобы узнать больше ). Мы повторно протестировали VWO и теперь добавили эти новые сильно улучшенные результаты в таблицы и графики.