Иллюзия успеха: как BI рисует прибыль там, где её нет
Разбираем 4 способа, как ввести бизнес в заблуждение
На слайде два графика “План-факт”. Левый показывает выручку по прямым договорам, правый — выручку по агентским договорам. Визуально всё одинаково в обоих сегментах бизнеса, столбцы одинаковой высоты, пропорциональное распределение.
В чем подвох?
Масштаб данных по оси Y выставлен автоматически, т.е. BI-система верхний предел по оси выставляет по максимальному значению данных в источнике, а в каждом графике он свой.
Программа подогнала высоту графиков под их максимальные значения, чтобы занять всю отведенную область.
Оба графика выглядят одинаково высокими и впечатляющими.
Что скрывает эта статистика?
Она не показывает самого главного, то, что разница по выручке двух направлений компании растворяется в манипуляции с пикселями. Глаз, привыкший сравнивать формы, а не цифры, обманут. Высота столбцов схожа, значит показатели схожи.
Почему это особенно коварно в BI?
Потому что это легитимная функция, предназначенная для лучшей визуализации разноразмерных данных.
Что нужно делать обязательно?
При размещении на одном листе графиков контролировать масштаб по осям, отказаться от автоматического выставления значений максимума для оси. А в случае со вспомогательной оси Y, которая предназначена для линии как в данном примере, обязательно синхронизировать оси по нулевому значению. Здесь умышленно вспомогательная ось не выведена в визуал, нет необходимости дублировать показатели основной оси Y.
Мы с командой “Открытые Бизнес Технологии” сталкивались с похожей проблемой, когда работали над проектом для ювелирной компании “Сенат”.
При автоматической настройке оси Y создается иллюзия, что в каждом месяце план по прибыли перевыполнялся в 4-5 раз, но с осью, начинающейся от нуля видно, что на самом деле план перевыполнялся менее чем в 1,5 раза.
Настоящая картина всегда видна при сравнении данных в едином масштабе.
Основные группы проблем некорректной статистики в отчётах
1. Грязные данные и ошибки сбора. Мусор на входе — фальшивка на выходе
Каждый в своей практике сталкивался с этой проблемой и она реально первая.
- Ошибки заполнения полей в системе, откуда далее данные загружаются в ДВХ. Это может быть: неверно выбранный код мероприятия, опечатки, пропуски и пр. Без регламента/шаблонов заполнения увеличивается риск загрузки некорректных данных.
- Отсутствие в структуре данных обязательного поля для заполнения, источник данных искажён на этапе сбора.
- Технический сбой в процессе выгузки данных в ДВХ могут привести как к дубликатам, так и к неполной загрузке данных в источник.
Всё это отразится в отчёте. Если в микроскоп положить фальшивую монету, он покажет детально фальшивую монету, но не настоящую.
2. Отсутствие контекста
Пример
В чём подвох?
Договор на разовую поставку, которая выходит за рамки стандартных сделок. Единичный случай, не долгосрочный контракт. Хотя может стать и новым вектором в развитии продаж, но в моменте это аномалия, не тренд.
Что нужно делать обязательно?
Необходимо оформить комментарий.
3. Некорректная агрегация и “средняя температура по больнице”
Пример
Руководство сети ресторанов и кафе смотрит на средний чек.Что показывает карточка в BI отчёте?
В чём подвох?
В сети есть 3 премиум-ресторана со средним чеком 5 000 руб. и 20 демократичных кафе со средним чеком 800 руб. Общее среднее — бессмысленная метрика.
Что скрывает статистика?
Она не показывает, что премиум-сегмент растёт, а кафе стагнируют.
Что нужно делать обязательно?
Разделять отчётность по направлениям. Агрегирование разнородных данных в одну кучу порождает ложный вывод.
4. Манипуляция с данными
Пример манипуляции временными рамками
Отчёт для акционеров о динамике продаж.
В чём подвох?
Умалчивается, что март был аномально провальным из-за сбоя в логистике, а показатели за апрель и далее были обычным сезонным пиком.
Чтобы скрыть стагнацию, сравнивают текущий месяц с предыдущим, если в прошлом месяце был сбой. Или начинают отчёт с исторического минимума.
Что скрывает статистика?
Естественные колебания бизнеса и истинные долгосрочные тренды. BI-система честно строит график по предоставленным датам, но выбор этих дат и есть субъективная манипуляция.
Что нужно делать обязательно?
Корректно выводить в отчёт периоды для сравнения. Например, “год к году” (YoY).
Пример приведения неполных данных в статистике
По официальным данным Росстата (на конец 2023 г.) уровень безработицы составляет около 3,5%.
Что скрывается за этим:
- По данным Пенсионного фонда РФ, в России около 11 млн инвалидов, из них примерно 3,5-4 млн — люди трудоспособного возраста.
- Согласно исследованию РАНХиГС и данных Минтруда, работают лишь около 1,2-1,5 млн из них.
- Фактическая незанятость среди инвалидов трудоспособного возраста составляет около 50-60%. Если бы эту группу включили в расчет как часть рабочей силы, а большинство из них хочет и может работать, общий показатель безработицы увеличился бы.
- Почему их нет в отчете? Многие инвалиды, столкнувшись с системной дискриминацией и отсутствием условий, формально не регистрируются в службах занятости и не предпринимают активных шагов по поиску работы еженедельно (критерий МОТ), поэтому статистика их не учитывает.
Пять ключевых выводов:
1. BI — это зеркало.
Оно отражает то, что в него загрузили. Если данные в источниках грязные, смещённые или некорректно собраны, то отражение будет искажённым.
2. Ложь закладывается на берегу.
Ключевые искажения происходят не на этапе создания графиков в BI-инструменте, а раньше: при проектировании форм сбора, корректности внесения данных в первоисточник, выборе временных рамок, настройке метрик и агрегации.
3. Отсутствие контекста = ложный вывод.
Данные без понимания бизнес-процессов, внешней среды и методологии сбора опасны. BI-дашборд даёт что произошло, но почти никогда — почему.
4. Манипуляция для отчетности
Позволяет в выгодном свете представить ситуацию в моменте, но может привести к критически негативным последствиям в долгосрочной перспективе.
5. Автоматизация лжи
BI-системы, будучи автоматизированными, могут тиражировать ошибки и манипуляции в источниках данных с невероятной скоростью и убедительностью.
FAQ
Получается, любой график и любая цифра может оказаться обманом?
Нет. Хорошая статистика не обманывает, а проясняет. Разница между честным и нечестным отчётом — в прозрачности.
Честный отчёт:
- Показывает динамику, а не только один удачный месяц,
- Даёт сравнимые масштабы, одинаковые оси на графиках,
- Поясняет методологию, кого посчитали, а кого нет,
- Не скрывает провалы и несоответствия.
Как отличить честную статистику от манипуляции?
Пять основных пунктов:
- Кто посчитан? Кого включили в выборку, а кого исключили?Пример: инвалиды в статистике безработицы.
- Как считали? Что именно измеряли? Клик или покупку? Жалобу или возврат?
- С чем сравнивают? Корректна ли база сравнения? Сравнение с провальным месяцем или с аналогичным месяцем прошлого года?
- Что за скобками? Какие данные остались за кадром? Среднее без распределения, успехи без провалов.
Кому выгодно? Кто заказывал этот отчёт и какую историю он хотел рассказать?
Зачем статистику вообще искажают? Кому это нужно?
Мотивов обычно три:
- Политический отчёт: нужно показать руководству/акционерам/избирателям успех там, где его нет (или он неполный).
- Экономия и нежелание усложнять: проще посчитать “средний чек” и успокоиться, чем разбираться, почему кафе убыточны, а рестораны прибыльны.
- Сокрытие неудобной правды: иногда правда требует сложных решений (строить пандусы, менять IT-систему, увольнять менеджеров). Легче “немного причесать” отчёт.
Что делать, если я нашёл в своём BI-отчёте такую проблему?
- Признать: проблема не в BI, а в данных или постановке задачи.
- Найти корень: грязные источники? неверная метрика? манипуляция с фильтрами?
- Исправить методику: унифицировать оси, очистить справочники, договориться о терминах.
- Сделать прозрачным: добавить комментарии к дашборду: “В расчёт не включены следующие категории…”, “Данные требуют поправки на инфляцию…”.
Если официальная статистика безработицы не учитывает инвалидов, разве это не подлог?
Формально — нет. Это следование международной методологии МОТ. Она честно считает только тех, кто активно ищет работу. Проблема не в том, что статистика врёт, а в том, что она создаёт иллюзию полной картины, умалчивая о своей ограниченности.
Читатель не знает, что люди с инвалидностью трудоспособного возраста не могут найти работу, но при этом не числятся безработными. Это не ложь в юридическом смысле, это методологическая ловушка.
Подписывайтесь на мой телеграм канал Дата Дзен.