ТОР-10 когнитивных искажений в аналитике диджитал-маркетинга: почему мозг бьет по ROMI молотком

Аналитика – главный драйвер роста эффективности в маркетинге. С этим сложно спорить. Сложнее признать другое: чаще аналитика ломается не в данных, а в голове.

Мы привыкли думать, что проблема в данных: их мало, они грязные, не хватает интеграций, не тот BI, не та модель. Но мир меняется, и сейчас, возможно, большая часть потерь в маркетинге возникает не из-за нехватки данных, а из-за ошибок мышления людей, которые эти данные анализируют.

Привет, это Кузин из Smart Data Hub! В этом материале я собрал самые частые когнитивные искажения в анализе данных диджитал-маркетинга. Для каждого искажения мы заморочились и создали специальные иллюстрации, чтобы без крови из глаз хорошенько понять их.

Погнали вместе разбирать, как нас обманывает наш собственный мозг!

Человек плохо устроен для анализа сложных систем. Особенно когда в системе много параметров, метрик, отложенный эффект, шум, сезонность и постоянное давление «покажи результат». Ииии… маркетинг – как раз такая система!

Когнитивные искажения – это не сбой конкретного аналитика. Это системные ошибки мышления, которые есть у всех. Базовое свойство человеческого мышления. Их нельзя «выключить», если просто быть внимательнее.

Впервые в тему когнитивных искажений мне пришлось погрузиться в далеком 2022, когда мы начали разработку слоя автоматического анализа данных. Подробнее писал здесь, но в двух словах: это не когда система собирает и визуализирует данные для последующего анализа «человеком», а когда она сама анализирует уже имеющиеся у компании данные и находит в них точки роста или проблемные зоны, где маркетинг теряет деньги.

Все слышали определения ИИ в духе «комплекс технологий, имитирующий когнитивные способности человека»? Так вот, он, зараза, имитирует не только когнитивные способности, но и когнитивные ошибки! И в процессе разработки нашего собственного аналитического движка Thinking machine (или просто «Машина») мы столкнулись с задачей: как создать AI, который при анализе данных не будет попадать в те же когнитивные ловушки, что и человек.

Ниже я собрал наиболее частые и наиболее болезненные когнитивные ошибки, которые наверняка допускал каждый, если ему приходилось анализировать данные в диджитал-маркетинге. А также рекомендации по тому, как их избежать, если вы анализируете данные вручную. Для удобства также привожу термины, наиболее широко используемые в англоязычной литературе для определения того или иного когнитивного искажения.

Парадокс Симпсона (Simpson's paradox / Yule–Simpson effect) – это ситуация, когда вывод по агрегированным данным противоречит выводам по всем подгруппам. Непонятно? Это нормально, сейчас разберемся!

Давайте посмотрим на иллюстрацию ниже:

Совершенно очевидно, что кампания 2 работает лучше, чем кампания 1 (в примере «конверсия», но это может быть любая другая метрика: ROMI, CPL и т.д). Мы вполне себе можем резануть бюджет по первой кампании и перелить его во вторую, причем это будет «дэйта дривен дисижн» – ведь беспристрастные данные говорят нам об этом, че.

Но если разложить те же самые данные на сегменты (в данном примере – на типы устройств), то в каждом сегменте кампания 1, наоборот, оказывается лучше кампании 2:

Ну как, поймали? Несколько таких управленческих решений и начнется «да это просто спад на рынке», «сезонность», «давайте поменяем агентство» и вот это все. Как правило данные, приведенные в примере, вызывают реакцию в духе: «так не бывает», «да ну, это какой-то экстремально редкий кейс» или «где-то подвох». Подвох действительно есть, но не в цифрах.

Все дело в том, что, когда мы объединяем данные, мы теряем информацию о структуре: какой сегмент сколько весит, где больше наблюдений и какие группы на самом деле формируют общий результат.

На иллюстрации это хорошо видно: один вариант сильнее представлен в «легких» сегментах, другой – в «тяжелых». По отдельности каждый сегмент ведет себя логично. Но когда мы их агрегируем, меняются веса, и итоговый показатель «переворачивается». Данные при этом абсолютно корректны – ошибки нет. Это так называемый эффект агрегации (aggregation bias), который в том числе лежит в основе парадокса Симпсона.

Интуитивно мы ожидаем, что «общее» – это честное среднее. Но в реальных данных это почти никогда не так. Мозг плохо работает с взвешенными структурами. Он видит одну цифру и автоматически считает ее «истиной», особенно если она красиво выглядит в отчете. Поэтому эффект Симпсона почти всегда воспринимается как фокус, хотя это чистая математика.

ОК, а теперь давайте посмотрим тот же эффект Симпсона, но только в динамике. Добавим дополнительную размерность «время» в наши статические данные. И только поглядите, что происходит (!):

В динамике эффект Симпсона часто усиливается за счет структурного сдвига. Структура трафика меняется со временем, и итоговая метрика «растет» или «падает» не потому, что что-то стало лучше или хуже, а потому что изменилась структура.

На иллюстрации это отлично видно: общая динамика конверсии положительная, но в каждом сегменте отдельно – отрицательная.

Почему это важно для маркетинга? Мы почти всегда анализируем данные в агрегатах: ROMI, CPA или CR по какой-то группе или подгруппе. Вот почему эффект Симпсона – это не прикольная математическая фишка, а практический источник очень дорогих управленческих ошибок.

Не верите в то, что такое действительно может происходить (да и частенько происходит) в данных маркетинга? Проверьте сами! Вот ссылка на материал, где мы приложили таблицу с цифрами по именно тем кейсам, которые приведены на иллюстрациях выше. Вы можете скачать файлик и поиграть с ним: менять цифры, веса, периоды и смотреть, как эффект возникает в статике и динамике.

С парадоксом Симпсона разобрались. Но хочу обратить внимание, дорогой читатель, что в его основе лежат эффект агрегации и структурные сдвиги в данных – с ними-то мы сейчас и разберемся подробнее.

Следующая ошибка – мой фаворит среди когнитивных искажений. Знакомьтесь: «ошибка древовидного обхода». Суть ее в том, что в анализе данных мы часто отказываемся «копать» глубже из-за мнимой неперспективности такого погружения. Когнитивная ошибка, которая в значительной мере опирается на эффект агрегации, но с поправкой на многоуровневость и работает на уровне принятия решений.

Проблема эта не просто интересная, она системная. И во многом ее порождает подход так называемого «жадного дерева» – алгоритма, который широко используется, в том числе, в машинном обучении.

Объясню на пальцах. Представьте, что у нас есть некая сущность – скажем, рекламный канал Яндекс.Директ. Мы раскладываем ее на второй уровень, на конкретные рекламные кампании:

На этом втором уровне мы видим очевидные вещи: что-то ярко-красное и плохое, что-то сочно-зеленое и хорошее. Все логично: «красное» режем, «зеленое» масштабируем. Классический data-driven подход, не так ли?

Но есть же и «полутона» – то, что на диаграмме отмечено желтым, некая условная «норма», уровень приемлемого результата, серая зона. Вот в нее-то мы, как правило, и не идем. Опыт подсказывает: «Здесь смотреть нечего, все и так нормально». И мы проходим мимо. А зря. Потому что именно внутри этой «нормы» может скрываться огромная ценность, просто спрятанная на уровень глубже:

Внутри этого «среднего» желтого сегмента какой-то негативный компонент может быть полностью скомпенсирован позитивным. Они взаимно гасят друг друга, создавая иллюзию «нормальности». Но если разъединить эту «среднюю температуру по больнице», мы обнаружим и скрытые проблемы, и, что важнее, скрытый потенциал для роста.

Но на практике все еще интереснее. В реальных данных на третьем уровне таких «серединных», ни туда ни сюда сегментов возникает большинство. Основная масса наших данных выглядит довольно нейтрально. А вот инсайты – те самые драгоценные зоны для масштабирования или, наоборот, для срочной починки – скрыты на глубине:

В нашем примере скрытый потенциал оптимизации на третьем уровне более чем в четыре раза превышает очевидный! На втором уровне мы видим один яркий «красный кругляш» – с ним все ясно. Но стоит опуститься ниже, как мы находим целую россыпь таких же красных (и, конечно, зеленых!) кругляшей, совокупный масштаб которых оказывается в разы больше, чем очевидных, уютно расположившихся на втором уровне.

Вот он – неочевидный, но колоссальный резерв, который мы пропускаем, поддавшись ошибке древовидного обхода.

Это искажение коварно тем, что встречается не только у людей, но и у машин, обученных на «жадных» алгоритмах. Оно заставляет нас упускать из виду целые пласты данных. Мы фокусируемся на очевидных «победах» и «провалах», игнорируя огромную «нейтральную» территорию, где на самом деле и разворачивается главная битва за эффективность.

Именно поэтому в разработке нашего аналитического движка мы полностью отказались от «жадных» алгоритмов, столь распространенных в машинном обучении. Да, они неплохо оптимизируют ресурсы Машины, но они не позволяют делать главного – находить инсайты на потоке [о том, что мы понимаем под инсайтом, я писал здесь].

Но тут возникает закономерный вопрос, который мне часто задают, когда я рассказываю о когнитивных искажениях на профессиональных конференциях и митапах: «А не получим ли мы в итоге просто мельчайшие, ни на что не влияющие сегменты?». Действительно, с ростом глубины сегменты становятся меньше, и кажется, что эти крошечные кусочки уже не стоят нашего внимания. Или нет?

Об этом как раз наше следующее когнитивное искажение.

Искажение исключения (exclusion bias) возникает, когда из данных удаляют часть сегментов по каким‑то правилам, и это приводит к некорректным выводам. А наше суждение о том, что при глубокой детализации сегменты слишком малы – это как раз и есть такое правило! Мы игнорируем небольшие сегменты при анализе, решив, что они не несут ценности. В результате мы упускаем выгоду, которую можно было бы получить за счет… кластеризации этих небольших сегментов.

Мы дробим данные, уходим глубже, получаем маленькие срезы и на этом останавливаемся, потому что каждый из них по отдельности кажется неважным. Но если в них найти общие паттерны (поведенческие или иные признаки, которые их объединяют), становится понятно, как их эффективно объединить в один кластер:

С такой задачей как раз отлично справляется машина: она ищет повторяющиеся паттерны и общие характеристики между небольшими сегментами. В итоге из множества маленьких кусков формируется единая группа, внутри которой может быть сосредоточен существенный потенциал для оптимизации. На иллюстрации эта группа собрана из небольших сегментов и отмечена короной:

Поэтому не стоит бояться уходить на глубину и получать небольшие сегменты: на практике они нередко складываются в достаточно крупные и ценные группы благодаря различным подходам кластеризации.

Эм… на самом деле структурный сдвиг сам по себе не является когнитивным искажением. Но поверьте, дорогой читатель, эта штуковина постоянно так и норовит обмануть вас и на практике часто лежит в основе таких когнитивных искажений как: ошибка смешения корреляции и причинности (correlation–causation fallacy), аналитическая ошибка атрибуции (analytical attribution error), эффект фрейминга (framing effect).

О структурном сдвиге говорят тогда, когда итоговая метрика меняется, хотя в каждом сегменте по отдельности она принципиально не менялась. Конверсия в разрезах стабильна, ROMI по каналам не падает, CPA внутри сегментов не растет.

Возьмем реальный кейс: у нас есть 4 ключевых канала и 2 периода, ROMI1 и ROMI2 – значение ROMI в первом и во втором периоде. Изменится ли ROMI2 по отношению к ROMI1? Скажите честно, ведь первое, что приходит в голову – это не изменится.

Сейчас, кстати, вы ловите эффект фрейминга: когда сама подача данных подталкивает вас к определенным выводам. На иллюстрации подача такова, что стремится подвести мозг к выводу, что ROMI2 не изменится. А оно меняется:

Итоговая метрика зависит не только от значений внутри сегментов, но и от того, какой сегмент сколько весит. Когда структура трафика меняется – например, растет доля менее эффективных сегментов и уменьшается доля более эффективных – общий показатель начинает ухудшаться.

В этом примере именно так и происходит: изменилась структура трафика. Мы начали масштабировать сегменты, которые работают не столь эффективно. Не «плохие», просто менее эффективные по сравнению с предыдущим распределением:

Для мозга это очень неинтуитивно. Мы ожидаем, что если «везде все одинаково», то и общий результат должен быть стабильным. Но маркетинговые данные почти всегда взвешенные. И именно веса, а не сами значения, часто оказываются главным драйвером динамики.

И последнее на сегодня, но не по значению, когнитивное искажение – «Закон инструмента» (Law of the Instrument), он же знаменитый «Масловский молоток». Суть его проста и убийственна: мы слепо полагаемся на привычные, «подручные» срезы данных, игнорируя все остальные.

Если у тебя в руках молоток, любая проблема выглядит как гвоздь. Если у тебя есть удобные, привычные дашборды – ты будешь искать ответы в них, даже если вопрос требует совершенно другого инструмента.

Это и есть классическое когнитивное искажение: попытка вогнать любую задачу в прокрустово ложе знакомого инструментария вместо того, чтобы подобрать ключ под конкретный замок.

Давайте на живом примере. Ситуация: у вас резко выросла цена лида (CPL). Вы, как ответственный маркетолог, идете в свою штатную отчетность.

Вы смотрите срезы в одном отчете «кампания → группа объявлений → ключевое слово», потом «кампания → группа объявлений → тип устройства» в другом, пролистываете отчеты по каналам... И везде видите одно и то же: плюс-минус равномерный рост. Ничего «кричащего», никакой явной дыры, куда утекает бюджет.

И что в этот момент обычно делает команда? Ищет внешнюю причину. Вырос CPL? «Сезонность». Упала конверсия? «Макроэкономика, спрос просел». Всегда можно найти внешний фактор, на который можно списать проблему, и с чистой совестью продолжить работать как прежде. Кстати, через некоторое время такая вот «сезонность» незаметно станет новой нормой, но это тема, пожалуй, достойна отдельного когнитивного искажения.

Но очень часто дело не в сезонности, а в том, что мы ищем не там и не так. Мы просто применяем «молоток» (готовые отчеты) ко всем «проблемам» подряд. А причина может прятаться в совершенно другом, нестандартном наборе факторов.

Реальный кейс из практики. У застройщика в какой-то момент что пошло не так с коллтрекингом, и пользователям в определенном городе на мобильных устройствах стали показываться не региональные номера телефона. В привычных срезах (по кампаниям или устройствам) этого падения конверсий не было видно – оно тонуло в общих цифрах.

Но стоило «покрутить» данные: определенный город + мобильные устройства + конкретная посадочная страница – и проблема стала очевидной. Инсайт был спрятан не в данных, а в другом пространстве признаков и в другом порядке их анализа.

И наоборот, позитивные инсайты тоже можно упустить. Например, представьте, что для новых пользователей на iPhone какой-то конкретный креатив отрабатывает просто феноменально, сильно драйвит конверсию.

В типовом отчете «по устройствам» или «по кампаниям» этот эффект размажется и станет невидим. Вы просто никогда не узнаете об этом супер-эффективном сегменте, если идете не от вопроса («где наш скрытый потенциал?»), а от инструмента – вашей стандартной (и, возможно, идеальной) отчетности.

Перестаньте забивать гвозди микроскопом, а болты – молотком. Инструмент должен служить запросу, а не наоборот.

Дорогой читатель, если ты такой молодец и дочитал этот материал до конца, то ты наверняка заметил, что, не хватает еще 5 когнитивных искажений: ведь я обещал 10, а рассказал только о 5! Но я не обманул – еще +5 когнитивных искажений ждут вас здесь. Не потеряйте, чтобы выработать к ним иммунитет :)