Что такое A/B тестирование и зачем такой подход нужно
А/Б тестирование составляет собой подход сопоставления пары либо дополнительных вариантов страницы, интерфейса, сообщения, кнопки, анкеты, рассылки, промо объявления а также иного цифрового элемента. Основная задача состоит в необходимости задаче, дабы понять, который формат результативнее показывает себя на фактической аудитории. Взамен предположений плюс личных оценок используется эксперимент на живой группы пользователей, когда одна часть видит версию A, и тестовая — версию B.
Такой подход дает возможность выбирать выводы с опорой на базе показателей, вместо этого не на индивидуальных мнений а также случайных замечаний. Внутри аналитических материалах, среди них 1win, нередко подчеркивается, будто сплит эксперимент наиболее полезно там, где точечные корректировки имеют шанс сказываться в отношении реакции пользователей: нажатия, регистрации, передачу заявок, глубину изучения, лояльность, заказы, оформления подписок или другие заданные шаги. Подход дает возможность понять, на самом деле ли именно правка повышает 1win результат.
По какому принципу проводится А/Б эксперимент
Принцип A/B эксперимента достаточно прост. Вначале выбирается объект, который необходимо оценить. Таким элементом имеет шанс стать название, визуальный тон элемента действия, порядок элементов, формулировка уведомления, построение формы, картинка, стоимость, формат условия либо место целевого действия. Далее готовятся не менее двух версии: контрольный плюс обновленный. Вслед за этого посещения распределяется среди ними на основе заранее заданным параметрам.
Одна доля пользователей сохраняет возможность видеть исходную страницу, тогда как вторая открывает измененную. Инструмент собирает сведения про действиях любой части и сравнивает результаты. В случае если решение B дает более сильный показатель при достаточном количестве сведений, эту версию получается использовать. Когда отличия не видно или тестовая вариация функционирует хуже, изменение убирается. В данной логике как раз заключается прикладная ценность эксперимента: такой метод помогает тестировать гипотезы до момента полного 1вин внедрения.
Почему необходимо А/Б проверка
А/Б проверка важно ради сокращения неясности. Внутри веб продуктах в том числе небольшая особенность способна сказываться в отношении восприятие экрана. Одиночный заголовок имеет шанс быть доступнее альтернативного, короткая форма может отправляться чаще длинной, при этом заметно более заметная CTA имеет шанс увеличить число нажатий. Если не использовать проверки такие результаты обычно выглядят предположениями.
Эксперимент дает возможность улучшать продукт шаг за шагом. Взамен масштабной переделки полного проекта либо сервиса можно тестировать конкретные блоки и фиксировать практический результат. Это уменьшает угрозу слабых правок, сберегает ресурсы и помогает собирать данные касательно действиях аудитории. Со временем специалисты 1 win получает не просто комплект суждений, но модель подтвержденных решений.
Какие объекты можно проверять
Тестировать можно практически любой элемент, какой влияет на реакции посетителя. Чаще преимущественно проверяют заголовки, подзаголовки, призывы для действию, формулировки элементов действия, анкеты оформления аккаунта, место блоков, изображения, карточки позиций, последовательность действий, инструменты отбора, навигацию, визуальные блоки, подсказки, email-сообщения а также рекламные объявления. Существенно, для того чтобы выбранный блок был связан с заданной целью.
Если цель состоит в процессе увеличении переданных обращений, логично тестировать форму, текст возле этого блока, объем полей и выразительность CTA. В случае если необходимо увеличить глубину изучения, имеет смысл проверять переходы, модули предложений, связанные ссылки а также построение материала. Если яснее соотношение 1win среди корректировкой и задачей, настолько полезнее итог эксперимента.
Проверяемая идея в роли фундамент эксперимента
Всякий хороший А/Б тест начинается с проверяемой идеи. Гипотеза формулирует, какого типа правка планируется, из-за чего оно может повлиять в отношении эффект и какой результат обязан сдвинуться. К примеру, получается сформулировать, что сокращение заявки оформления аккаунта сократит число отказов, поскольку ведь пользователю потребуется значительно меньше минут для завершения шага.
Хорошая гипотеза не может оставаться чрезмерно широкой. Идея наподобие «изменить страницу качественнее» не помогает дает возможность оценить показатель. Гораздо более точный вариант: «когда обновить длинный текст CTA на краткий а также конкретный, объем кликов повысится, потому ведь действие окажется понятнее». Подобная гипотеза сразу 1вин задает элемент эксперимента, причину плюс метрику.
Базовая а также экспериментальная выборки
В A/B тестировании исходная аудитория получает первоначальный версию, тогда как проверочная — обновленный. Это распределение необходимо для корректного сопоставления. Если просто обновить раздел а также сравнить показатели до изменения а также после изменения, эффект может стать неточным по причине сезонности, маркетинговой активности, смены потоков посещений, событий, системных проблем или других окружающих факторов.
Синхронный показ разных решений снижает влияние непредвиденных условий. Две аудитории находятся на уровне похожей среде: один а также тот идентичный отрезок, одинаковые идентичные источники посещений, близкие платформы и единый контекст. Следовательно различие внутри результатах с большей 1 win повышенной долей уверенности связано как раз с данным изменением, а не с посторонними сторонними факторами.
Какого типа метрики применяются при A/B тестах
Критерий — это значение, на основе которого оценивается результат эксперимента. Подбор метрики определяется на основе задачи теста. Ради раздела с активной анкетой значимы передачи обращений, ради интернет-магазина — сохранения в заказ и транзакции, в случае контентного проекта — объем чтения плюс время чтения, в случае приложения — создания аккаунтов, запуски, retention плюс следующие 1win события.
Необходимо разграничивать ключевую плюс вторичные показатели. Основная отражает, ради какого результата проводится проверка. Дополнительные помогают оценить сопутствующие эффекты. В частности, правка кнопки может увеличить переходы, но ухудшить качество последующих событий. Поэтому разумно оценивать не исключительно исключительно по начальный этап, однако еще по последующее поведение: завершение анкеты, возвращения, уходы, сбои а также итоговую ценность события.
Статистическая существенность
Математическая достоверность показывает, насколько возможно, что наблюдаемая расхождение в паре решениями не является оказывается случайной. В случае если первый решение незначительно обходит второй вслед за ряда десятков сессий, это еще не означает означает выигрыш. В условиях малом количестве сведений результат может резко сдвинуться, если 1вин группа окажется объемнее.
Ради корректного итога необходимо достаточное число событий. Если скромнее планируемая дельта в паре вариантами, тем самым больше сведений необходимо накопить. Когда корректировка обязано повысить метрику всего на несколько процентов, тесту будет необходимо повышенный объем времени и посещений. Статистическая существенность дает возможность избегать принимать преждевременные решения с опорой на основе временных колебаний.
Масштаб выборки и продолжительность теста
Масштаб аудитории сказывается в отношении качество вывода. Когда тест охватывает чрезмерно небольшое число посетителей, заключения могут стать сомнительными. Например, несколько лишних нажатий внутри одной аудитории имеют шанс выглядеть как увеличение, но при большем объеме окажутся обычной случайностью. Поэтому до начала полезно рассчитывать, какое количество пользователей 1 win или событий нужно для подтверждения гипотезы.
Срок эксперимента дополнительно сохраняет роль. Чрезмерно быстрый период проверки способен не показывать расхождения в паре обычными и нерабочими днями, дневной а также поздней реакцией, несколькими потоками трафика. Обычно проверка обязан захватывать целый круг активности пользователей. Вместе с этом слишком затянутый тест тоже неоптимален, когда окружающие обстоятельства успевают заметно измениться.
По какой причине нельзя корректировать тест по ходу процесс запуска
Распространенная в числе распространенных ошибок — добавлять изменения по ходу эксперимент вслед за старта. В случае если по ходу процессе проверки обновить сообщение, сегмент, оформление, условия демонстрации или цель, показатели перемешаются. В таком случае будет сложно определить, какое изменение именно сказалось на итог. Проверка потеряет чистоту, при этом результаты окажутся спорными 1win.
До момента запуском следует зафиксировать предположение, версии, критерии, распределение аудитории плюс параметры окончания. После начала желательно не вмешиваться без серьезной причины. В случае если обнаружена неточность внутри конфигурации или служебный дефект, правильнее прервать тест, исправить сбой а также запустить повторный проверку, вместо того чтобы пытаться анализировать смешанные наблюдения.
Одновременное тестирование многих корректировок
Иногда появляется стремление проверить за один раз несколько правок: другой headline, альтернативную CTA, укороченную форму и перестроенный расположение элементов. Такой подход может выдать общий показатель, но не сможет раскроет, какой именно точно элемент воздействовал на результат. Если обновленная версия победила, останется неясно, что помогло сильнее остального.
Ради чистой проверки обычно меняют один значимый объект за 1вин одну проверку. Если нужно проверить несколько сочетаний, используется многофакторное сравнение. Оно труднее, предполагает значительного трафика и внимательной расшифровки. В случае большинства сценариев А/Б тест на основе одной точной проверкой обеспечивает гораздо более корректный плюс ценный эффект.
Варианты A/B экспериментов внутри интерфейсе
На уровне UI-средах сплит тестирование нередко используется ради повышения ясности действий. Например, можно сопоставить две версии формы: длинную с большим множеством полей а также краткую с сокращенным числом сведений. В случае если краткая форма повышает количество завершенных регистраций без снижения ценности заявок, такую форму можно признавать более результативной.
Другой пример — тестирование формулировки CTA. Общая фраза может оказаться гораздо менее ясной, чем прямое описание результата. Также проверяют расположение элементов действия, последовательность информационных блоков, подачу 1 win пояснений, использование индикатора прогресса, формат показа сбоев а также число этапов внутри процессе. Любой этот объект влияет в отношении то, как удобно окончить заданное действие.
сплит эксперимент в содержании
Внутри контенте проверка помогает определить, какие заголовки, описания, структуры и типы лучше удерживают вовлечение. Допустимо проверять отличающиеся интро, объем текста, порядок объяснений, добавление маркированных блоков, оформление карточек, описание плюсов а также формат раскрытия непростой темы. При этом сценарии необходимо измерять не исключительно исключительно клики, а также еще следующее поведение.
Название способен повысить количество кликов, но в случае если контент не сможет отвечает запросам, повысится часть уходов. Из-за этого редакционные проверки должны принимать во внимание глубину взаимодействия: период просмотра, прокрутку, переходы внутри ресурса, возвраты а также выполнение нужных событий. Качественный результат — является не лишь привлечение внимания, но соответствие запроса плюс контента.
A/B эксперимент в почтовых рассылках
На уровне почтовых рассылках часто проверяют заголовки рассылок, название автора, стартовые фразы, время доставки, объем сообщения, место кнопок а также тексты предложений. Один сегмент получателей видит контрольную вариацию сообщения, часть — другую. Затем этим анализируются open rate, нажатия, отписки, претензии плюс дальнейшие реакции внутри сайте.
Существенно не нужно останавливаться метрикой open rate. Заголовок рассылки имеет шанс оказаться заметной плюс захватывать интерес, однако если она не совпадает содержанию, переходы а также лояльность могут снизиться. Из-за этого полезный email-тест измеряет цельную цепочку: просмотр, нажатие, активность после клика а также отклик получателей на письмо.