A/B-тест на лендинге за 0 рублей: промт вместо платного сервиса

Что такое A/B-тест и зачем он лендингу

A/B-тест — это когда половина посетителей видит одну версию страницы, половина — другую, а вы сравниваете, какая версия чаще приводит к целевому действию: заявке, клику по тарифу, подписке.

Смысл в том, что мнения о «сильном заголовке» не стоят ничего, пока их не проверили на живых людях. Владелец влюблён в свой текст, дизайнер — в свою вёрстку, а покупает посетитель, у которого свои резоны. Тест снимает спор: вместо «мне кажется» появляется «версия B даёт на треть больше кликов».

Для лендинга это особенно важно. Обычно это одна страница, на которую льётся весь трафик, и каждый процент конверсии — это деньги: при той же рекламе заявок становится больше просто потому, что страница стала убедительнее.

Зачем тестировать: честная статистика и два знаменитых кейса

Начну с цифры, которая отрезвляет: выигрывает меньшинство тестов. По данным VWO и Optimizely, только около 22% тестов дают статистически значимого победителя; мета-анализ 1001 реального теста показывает около трети побед и около 40% исходов «разницы нет». Из этого следует практичный вывод: раз большинство попыток не выстреливает, сам тест обязан быть дешёвым. Сервис за сотни долларов в месяц при таких шансах окупить трудно, промт за ноль рублей — легко.

При этом когда тест выстреливает, он выстреливает по-крупному. Два хрестоматийных примера. Команда предвыборной кампании Обамы в 2008 году протестировала варианты первого экрана сайта: смена картинки и текста кнопки подняла конверсию в подписку с 8,26% до 11,6%. Это плюс 3,3 процентных пункта, или +40% в относительном выражении, — и около 60 миллионов долларов пожертвований для кампании.

Второй случай ещё показательнее. В Bing идея слегка изменить заголовки объявлений месяцами лежала в бэклоге как неважная — пока один инженер не запустил тест. Изменение дало плюс 12% к выручке, около 100 миллионов долларов в год, и стало самой прибыльной идеей в истории продукта.

Мораль обоих кейсов одна: заранее не знает никто — ни владелец, ни дизайнер, ни инженеры Microsoft. Поэтому гипотезы отправляют в тест, а не в спор и не в бэклог.

Чем обычно тестируют: сервисы и их цены

Классический путь — поставить на сайт сервис A/B-тестирования. Он сам делит трафик, показывает версии и считает статистику. Проблема в цене и в объёме настройки: почти все взрослые инструменты рассчитаны на команды с большим трафиком.

Вот картина на июль 2026 года. Цены округлены и меняются, перед выбором проверяйте на сайтах сервисов.

Google Optimize, которым раньше закрывали «бесплатный» сценарий, Google остановил ещё в 2023 году. Из бесплатных заметных остался, по сути, только Varioqub — но он живёт внутри Яндекс Метрики и ориентирован в первую очередь на рунет. Универсальной бесплатной замены Optimize для глобального рынка так и не появилось.

Для соло-бизнеса и небольших команд арифметика грустная: сервис за 200–300 долларов в месяц ради одного теста на одном лендинге не окупается. Мой способ закрывает ровно эту ситуацию.

Мой способ: A/B-тест одним промтом в Claude Code

Я тестирую блок «Программа» на лендинге курса: те же 11 модулей, но версия A подаёт их спокойным перечислением, а версия B — хуками, как я пишу в Threads. Вот три модуля для сравнения:

Какая подача лучше продаёт холодному трафику, я понятия не имею. Поэтому тест, а не мнение.

В промте не было ни строчки кода — только требования к честному эксперименту: меняется один блок, посетители делятся 50/50 и навсегда запоминают свою версию, никакого мигания при загрузке, метрика успеха одна — клик по кнопке тарифа. Полный текст промта я отдаю в конце статьи, там все требования собраны в готовом виде.

Из этих требований Claude Code собрал механизм — примерно 20 строк JavaScript в начале страницы:

• обе версии блока лежат в коде страницы и по умолчанию скрыты;
• скрипт бросает монетку, записывает результат в localStorage и ставит метку на страницу до того, как она отрисовалась, — браузер сразу показывает нужную версию, а при повторных заходах просто читает сохранённый вариант;
• если JavaScript не сработал, показывается версия A — пустого места вместо блока никто не увидит;
• замеры идут через GTM и GA4: событие клика по тарифу уносит название тарифа и версию, которую видел человек.

Моя работа здесь была маркетинговой, а не технической: знать, каким условиям должен отвечать честный тест, и сформулировать их. Раньше между «понимаю, как надо» и «работает на проде» стояли разработчик, таск-трекер и пара недель. Теперь — один нормально составленный промт.

Ревью вторым AI: дыра в знаменателе конверсии

Дальше я сделала то, что советую всем: отдала работу одной нейронки на ревью другой. Попросила Codex проверить код теста.

И он нашёл ошибку. Даже не в коде — в самой схеме замера. Клики по тарифам считались правильно, а вот показы вариантов отдельным событием не фиксировались: версия уходила в аналитику фоновым параметром при других событиях.

Показы — это знаменатель конверсии. Конверсия ветки считается как «сколько кликнуло» делить на «сколько увидело». Без честного знаменателя сравнение веток превращается в гадание.

Codex поправил код: теперь при каждой загрузке улетает отдельное событие «показ варианта», а у эксперимента появилось имя — так можно вести несколько тестов параллельно и не путать их в отчётах. Claude Code следом обновил GTM и GA4 под новую схему и проверил живую страницу.

Деталь, которая мне отдельно нравится: техническую настройку Claude Code сделал за меня сам — через API и MCP. Обновить теги в GTM, зарегистрировать новые измерения в GA4 — я просто ставлю задачу словами, а он идёт и делает. Раньше под такое я бы открывала документацию или искала специалиста по аналитике.

Как понять, какая версия победила

Схема замера даёт две цифры по каждой ветке: сколько людей видели версию и сколько сделали целевое действие. В GA4 это два события — показ варианта и клик — с номером версии в параметрах; сравниваете конверсию A и конверсию B.

Главная ловушка — поспешные выводы. Разница «2,1% против 2,6%» на паре сотен визитов почти наверняка шум: подбросьте монетку двадцать раз, и 12 орлов против 8 решек не докажут, что монетка кривая. Чтобы отличить результат от шума, прогоните четыре цифры (показы и клики обеих веток) через бесплатный калькулятор статистической значимости — их много, например abtestguide.com/calc. Калькулятор скажет, можно ли верить разнице или надо копить трафик дальше.

Вторая ловушка — попросить нейронку «посчитай результаты теста» прямо в чате. Языковые модели по своей природе предсказывают следующее слово, а не считают: в арифметике они могут уверенно ошибаться. Поэтому подсчёты — только кодом. Попросите агента написать питон-скрипт, который берёт четыре цифры и выдаёт конверсии и значимость, проверьте формулу один раз руками или тем же калькулятором — и, если всё сходится, зафиксируйте правило: результаты тестов всегда считаются этим скриптом, а не нейронкой на глаз.

Практическое правило: не заглядывать в результаты каждый день и не останавливать тест, пока в каждой ветке не набралось хотя бы несколько сотен визитов и скрипт не показал уверенную разницу.

Сколько трафика нужно: формула и таблица

Сколько визитов копить — считается заранее, до запуска. Размер выборки зависит от двух вещей: текущей конверсии и прироста в процентных пунктах, который вы хотите поймать. Чем меньше ожидаемый прирост, тем больше нужно трафика — зависимость квадратичная.

Чтобы не считать руками, вот таблица для типичных ситуаций лендинга (стандартные условия теста: уверенность 95%, мощность 80%):

Почему цифры ведут себя именно так. Конверсия любой страницы всегда немного «гуляет» сама по себе: на 500 визитов при честных 2% вы получите где-то от 4 до 16 заявок чистой случайностью. Мелкий прирост — это пара лишних заявок, он полностью тонет в этих колебаниях; крупный — из них выпирает. А случайный шум убывает медленно, как корень из объёма трафика, поэтому чтобы разглядеть вдвое меньший прирост, визитов нужно вчетверо больше.

В статистике этот порог называется минимальный обнаружимый эффект, MDE: при вашем объёме трафика есть прирост, ниже которого разницу физически невозможно увидеть. Подробно феномен разобран в гайде по MDE, а прикинуть порог для своих цифр можно в классическом калькуляторе Эвана Миллера.

Поэтому если у вас 3–5 тысяч визитов в месяц, тестируйте смелые изменения с шансом на большой прирост: другой заголовок, другую подачу оффера, другой порядок блоков. А микроправки вроде оттенка кнопки оставьте компаниям с миллионами визитов — только они способны увидеть их эффект.

Одна оговорка, чтобы ожидания были честными: смелость изменения — это шанс на крупный эффект, а не гарантия. Статистика выше говорит только о том, что вы сможете увидеть; каким эффект окажется фактически, заранее не знает никто — это вы и выясняете тестом. Если смелая версия дала мелкую разницу, тест честно скажет «не вижу» — и это тоже результат: вы оставляете любую версию и переходите к следующей гипотезе.

И перевод в деньги, на модельном примере. Лендинг с 5 000 визитов в месяц, конверсия в заявку выросла с 2% до 2,5% — это плюс 25 заявок в месяц. Если каждая пятая заявка становится оплатой со средним чеком 20 000 ₽, тест принёс плюс 100 000 ₽ в месяц. Цена самого теста — ноль.

Ограничения: когда мой способ не подходит

Честные границы у способа такие.

Во-первых, localStorage привязан к браузеру: один и тот же человек с телефона и с ноутбука может увидеть разные версии. Для лендинга с холодным трафиком погрешность приемлемая, но она есть.

Во-вторых, нужен доступ к коду сайта. На конструкторе вроде Тильды такой сплиттер не поставить — там разумнее использовать встроенные тесты конструктора или Varioqub.

Что ещё тестировать на лендинге

Блок программы — частный случай. Тем же способом на лендинге проверяются:

• заголовок и подзаголовок первого экрана — самый высокоимпактный тест: их видят все, кто зашёл;
• текст на главной кнопке: «Купить» против «Попробовать бесплатно» против «Посмотреть программу»;
• порядок блоков: цены выше отзывов или ниже;
• подача цен: три тарифа против одного, с зачёркнутой старой ценой или без;
• социальные доказательства: отзывы текстом против скриншотов, с фото против без.

Правило одно, и оно уже звучало: за один тест меняется одна вещь. Иначе не поймёте, что именно сработало.

Когда гипотез несколько, приоритизируйте по трём осям — этот подход называют ICE: Impact (насколько сильно элемент влияет на конверсию), Confidence (насколько вы верите в гипотезу), Ease (насколько легко проверить). В моём способе Ease почти всегда высокий — тест ставится промтом, — так что решают первые две оси: начинайте с заголовка, а не с цвета иконок.

И ещё одна трезвая проверка перед выбором гипотезы: смотрите не только на трафик сайта, но и на глубину просмотра. Если до блока с ценами доскролливает лишь 10% посетителей, знаменатель теста для этого блока копится в десять раз медленнее, чем кажется по счётчику визитов, — и результата придётся ждать очень долго. Сколько людей реально доходит до блока, показывают события глубины и карты скролла в GA4, Метрике или Hotjar.

И про источник гипотез. Сильные варианты заголовков не придумываются в кабинете — они берутся из языка клиентов: как люди сами описывают свою проблему на интервью и в отзывах. Как добывать такие формулировки, я подробно разбирала в статье про маркетинговый кастдев.

Готовый промт: скопируйте и запустите

Промт рассчитан на AI-агента с доступом к файлам вашего сайта — Claude Code, Codex или аналог. Вставлять его в обычный чат с нейронкой бесполезно: ей нужно видеть код страницы и уметь его менять. Перед запуском подставьте свой блок и свою метрику в квадратных скобках.

Задача: поставить честный A/B-тест на моём лендинге. У тебя есть доступ к файлам сайта.

Тестируем блок [какой блок, например: заголовок и подзаголовок первого экрана].
Версия A — текущая. Версия B — [что меняем во второй версии].

Требования:
1. Меняется ТОЛЬКО этот блок, всё остальное на странице одинаковое.
2. При первом заходе делим посетителей случайно 50/50, результат сохраняем в localStorage — при повторных заходах человек всегда видит одну и ту же версию.
3. Обе версии лежат в HTML и скрыты по умолчанию. Никакого мигания: вариант выбирается до отрисовки страницы (инлайн-скрипт в head, класс на html).
4. Если JavaScript не сработал — показывается версия A.
5. Метрика успеха одна: [целевое действие, например: клик по кнопке «Оставить заявку»].
6. Аналитика: при каждой загрузке отправляй отдельное событие показа варианта (с именем эксперимента и номером версии), при целевом действии — событие с теми же параметрами. Показы — знаменатель конверсии, без них тест не посчитать.
7. После внедрения объясни простыми словами, где смотреть результаты и сколько трафика нужно для выводов.

И дисклеймер, который звучит очевидно, но пусть будет: чтобы видеть результаты, на сайте должна стоять веб-аналитика — GA4 или Метрика. Промт научит страницу отправлять события, но если их некому ловить, эксперимент получится философский: варианты показываются, а что происходит дальше — неизвестно.

Частые вопросы

Сколько трафика нужно для A/B-теста? Ориентир — несколько сотен визитов на каждую ветку, а дальше решает калькулятор значимости. При 50–100 посетителях в день тест живёт две-четыре недели, и это нормально.

Что делать, если разницы между версиями нет? Это тоже результат: элемент не влияет на решение посетителя. Оставляете любую версию, убираете сплиттер и тестируете следующую гипотезу.

Не вредит ли тест SEO? Обе версии лежат в HTML одной страницы, поисковик видит обычную страницу с чуть большим количеством текста. Google официально не наказывает за честные A/B-тесты; важно лишь не показывать роботам и людям принципиально разный контент.

Можно ли повторить это на Тильде или другом конструкторе? Нет, способ требует доступа к файлам сайта. На конструкторах используйте встроенные тесты или Varioqub.

Как зафиксировать победителя после теста? Тоже промтом: попросите агента убрать сплиттер и проигравшую версию, оставив победившую всем посетителям. Событие показа можно оставить — пригодится для следующего теста.

Автор — Nadia Park, AI-native продуктовый маркетолог. Пишу про исследования, позиционирование и упаковку продукта. Telegram-канал · написать мне.