Однажды в известную сеть универмагов J.C. Penny пришел работать Рон Джонсон из Apple. И со всей страстью айтишника кинулся оптимизировать рабочий процесс.

Причем, сделал это весьма изящно: в универмаге вместо скучных полок с похожим ассортиментом появились уютные магазинчики, а вместо касс — автоматы самообслуживания. Идея казалась отличной, да только вот прибыль сети начала стремительно падать. В итоге новатора отправили в отставку, а в магазинах все стало по-прежнему.

Как же так вышло? Дело в том, что инновацию ввело руководство, основываясь на своих представлениях о счастье покупателя. Возможно, потребителей даже опросили и получили одобрение. А идею стоило опробовать на практике.

С новинками — как в аптеке. Сначала препарат проходит множественное тестирование, а потом появляется на полках. А не наоборот. Такое тестирование проходят все инновации и в интернет-магазинах.

Сетям такое тестирование устроить сложнее. Крупный интернет-магазин может выбрать наугад 40 000 покупателей, показать им новую витрину и отследить покупки. А вот в ритейле, даже самой крупной сети, едва наберется 40 000 магазинов. Как же экспериментировать в сетях?

Инновация (и ее тестирование) должна начинаться с гипотезы. В хорошей гипотезе есть две переменные: независимая и зависимая.

Рассмотрим на примере. Сеть универмагов Kohl's решила снизить операционные издержки. Менеджеры предположили, что открытие магазинов на час позже не приведет к спаду продаж.

Вот вам и две переменные: независимая — время открытия магазина и зависимая — продажи. Гипотеза была в том, что первый час работы магазина неэффективен и, значит, им можно пожертвовать и сократить издержки.

Мнения в руководстве разделились, и решили провести эксперимент. 100 тестируемых магазинов открывались на час позже — и это никак не сказалось на объеме продаж. А значит, инновацию можно вводить во всех универмагах сети.

Гипотеза и переменные должны быть четко сформулированы. Только тогда они могут лечь в основу эксперимента. Гипотеза в стиле «укрепим наш бренд, если будем продавать товары класса люкс» никуда не годится. Нет измеримых переменных.

Чтобы проводить тестирование вашей идеи нужно попробовать ее в нескольких магазинах и сравнить результаты с теми магазинами, где изменения не проводились. Но как выбрать эти магазины и какое количество брать?

Магазины нужно выбирать с тем расчетом, что вы сможете отследить взаимосвязи между вашими переменными. К примеру, у вас торговая сеть из 20 магазинов. 10 называются «Купи» и приносят 10 млн. руб. прибыли. Другие 10 называются «Продукты» и приносят 9,5 млн. руб. Вы предположили, что название «Купи» лучше работает и хотите переименовать остальные магазины.

Для эксперимента взяли 5 торговых точек и переименовали. И прибыль действительно выросла. Можно ли считать, что ваша гипотеза рабочая? Нет, потому что в этих пяти магазинах могли измениться другие факторы: сменился персонал, по соседству закрылся магазин-конкурент или открылось студенческое общежитие.

Магазины стоит выбрать так, чтобы остальные обстоятельства (кроме смены названия) остались неизменными. Тогда вы сможете судить о чистоте эксперимента.

Количество магазинов, необходимых для исследования, называется размером выборки. Статистика и современное ПО предлагают надежные способы расчета размера выборки с учетом количества ваших покупателей и других параметров.

Средства, потраченные на тестирование инновации не должны превышать пользы от ее внедрения. Кроме того, цель инновации должна соотносится со стратегией развития компании.

По правилам сети зоомагазинов Petco, когда выдвигается план какого-то изменения, нужно указать, как оно соотносится с глобальной стратегией компании — «стать примером инновационности в своей отрасли».

В компании даже работает комитет, который одобряет все запросы на тестирование нововведений. И запросы в стиле «а давайте увеличим цену на собачий корм с $3,66 на $3,76 и протестируем» — будут отклонены. Такие изменения не вписываются в стратегию развития Petco. Расходы на их тестирование явно превысят пользу от внедрения. А вот идеи переоборудования торговых залов для удобства покупателей или неожиданная концепция бренда для охвата новой целевой аудитории — приветствуются. Потому что двигают компанию вперед среди конкурентов.

Провести эксперимент можно тремя способами: провести рандомизированные полевые исследования, использовать слепое тестирование или прибегнуть к модному методу больших данных. Рассмотрим каждый метод:

Проще всего объяснить этот способ проверки инновации в сфере медицины. Для тестирования нового медицинского препарата обычно отбирают больных со схожими симптомами, возрастом, полом и произвольно делят на 2 группы.

Одна группа (тестовая) получает лекарство, вторая (контрольная) — нет. Исследователи следят за состоянием пациентов. Если здоровье тех, кто принимал препарат, улучшилось относительно контрольной группы — лекарство работает.

Capital One, американская финансовая компания, успешно использует этот метод в рассылках клиентам. Однажды тестируемая группа клиентов получила письма в конвертах желтого цвета, а контрольная группа получила обычные белые конверты. В конвертах было предложение нескольких финансовых услуг компании: открытие счетов, кредитование.

Исследования проводились в рамках одного города и количество откликов от клиентов в обеих группах тщательно фиксировалось. На предложения в желтых конвертах ответный интерес клиентов был выше. Компания посчитала, что согласившихся купить услуги из «желтого конверта» было на 15% больше, чем из белого. Инновацию утвердили. Теперь клиенты компании получают только желтые конверты.

В сетях бывают проблемы с выделением контрольных групп. Менеджеры проводят эксперимент в 10 магазинах сети. И сравнивают результаты с работой в остальных магазинах, считая их контрольной группой. А стоит брать только магазины со схожими характеристиками: в одном районе, со схожим оборотом и портретом покупателя.

Суть слепого тестирования в том, что вы не сообщаете сотрудникам в магазинах, что проводите эксперимент. Ни тестируемая группа, ни контрольная не знают, что к их деятельности сейчас пристальное внимание.

Это помогает избежать бессознательного изменения поведения. А продавцы, хамившие покупателям, не начнут вдруг улыбаться, зная, что за ними следят. Так часто делает сеть зоомагазинов Petco, сотрудники которой не смогут вам ответить, проводится ли в их магазине тестирование какой-то идеи или нет.

Большие данные в рамках нашей задачи — совокупность информации о ваших магазинах и потребителях. Средний чек, количество операций в день, время, которое покупатель проводит в магазине, количество конкурентов рядом. Большие данные придут на помощь, когда нужно провести исследование на выборке в несколько тысяч единиц, а в сети 25 магазинов. Как это происходит? Разберем на примере.

Крупный ритейлер решил переоборудовать 1500 своих магазинов и потратить на это $1 млрд. Тестовую перепланировку сделали в 20 магазинах. В итоге, финансисты-скептики прогнозируют рост продаж на 1%. А, значит, новая планировка не окупится. Отдел маркетинга, напротив, говорит о приросте на 7% и выгодности вложений.

Оказалось, что финансисты сравнивали перепланированные магазинами с похожими, но разбросанными по очень разным районам. А маркетологи брали магазины в рамках одного района. Чтобы решить спор, собрали большие данные о каждой покупке (артикул, время покупки, цена), данные о возрасте покупателей и даже погоде.

Когда проанализировали данные по тестируемым магазинам и остальным — удалось найти несколько совпадений. Эти магазины и стали контрольной группой. Прибыль в них сравнивали с прибылью в отремонтированных магазинах. В итоге выяснилось, что маркетологи были правы. Покупатели охотнее тратили деньги в обновленных торговых залах. Но утверждать это без сбора данных было бы ошибкой.

Бывает, что по итогам эксперимента, проведенного по всем правилам, нельзя не ввести инновацию, ни отвергнуть ее.

К примеру, в сети ресторанов-магазинов Cracker Barrel Old Country провели эксперимент. Хотели выяснить, стоит ли заменить обычные лампочки при входах на светодиодные. По гипотезе, ярко освещенный вход в ресторан приманит больше число посетителей.

К удивлению руководства, количество посетителей в тестовых ресторанах сократилось. Посетители сказали, что вход стал темнее и они думали, что ресторан вообще не работает. Оказалось, что до тестирования директора этих ресторанов вкручивали по 5 дополнительных лампочек при входе, заманивая гостей. А 2-3 светодиодные лампочки, пришедшие на смену 7, не могли тягаться с ними в освещении.

Но сделать вывод о том, что светодиодные лампочки вредят бизнесу — нельзя. Можно только продолжить исследование и выявить, какой уровень освещения нравится клиенту и не разорит бизнес. В любом случае, только благодаря исследованию руководство узнало, что творится с освещением в их точках.

В компании Petco тестирование показало, что развесной корм для собак лучше идет по цене N долларов и 25 центов. Неожиданно, правда? Нам так долго рассказывали про правило красивых цен в стиле $5,99, а тут вдруг покупатель полюбил 25 центов.

Руководство к такому открытию отнеслось скептически. Но эксперимент был проведен безукоризненно и инновацию внедрили в нескольких магазинах. Через полгода продажи этого корма выросли на 25%.

Petco планирует тестировать другие развесные товары. Возможно, новая «красивая цена», оканчивающаяся на 25 центов, появится и на других товарных категориях.