Сам себе MBA. Самообразование на 100 %
Шрифт:
Корреляция — это не то же самое, что причинно-следственная связь. Даже если вы видите, что одно измерение тесно связано с другим, это еще не доказывает, что первое стало причиной последнего.
Представьте, что у вас своя пиццерия и вы разместили тридцатисекундную рекламу на каком-нибудь телеканале. После выхода ролика в эфир вы заметили, что ваши продажи возросли на 30 %. Произошло ли это благодаря рекламе?
Не обязательно. Взлету продаж могли способствовать и другие причины. Можете быть, в тот день в городе проходила научная конференция и ее участники выбрали ваше место, чтобы быстро перекусить. Может быть,
Вполне возможно, реклама, наоборот, вызвала сокращение объема продаж: люди сочли ее непривлекательной или даже неприятной, но это осталось незамеченным, поскольку благодаря какому-то другому фактору продажи выросли.
Выявить наличие причинно-следственной связи всегда сложнее, чем наличие корреляции. При анализе сложных систем со многими переменными и связями определить истинную причинную связь часто чрезвычайно трудно. Чем больше изменений происходит в системе, тем выше вероятность того, что на результат, который вы пытаетесь проанализировать, повлияло больше одного изменения.
Нормы
Кто не помнит своего прошлого, обречен пережить его снова.
Если вы хотите оценить эффективность чего-то в настоящем, иногда полезно обратиться к прошлому.
Нормы — это инструмент использования прошлого опыта для обеспечения контекста текущих измерений.
Например, если вы занимаетесь продажей новогодних украшений, то, сравнив выручку за предпоследний и последний кварталы года, сможете сделать очень важный вывод: никто не покупает ваш товар в августе. Еще лучше, если вы сравните продажи за последний квартал этого года с прошлогодними продажами за тот же самый период, чтобы понять, пошли дела лучше или хуже.
Однако если методы измерений подвержены изменениям, то нормы, основанные на предыдущих измерениях, становятся недействительными. В P&G мы использовали метод оценки эффективности некоторых видов рекламы. Имея на руках данные за несколько лет, мы могли сравнивать новую рекламу со старой, имевшей успех. Если новая реклама не соответствовала норме, ее не использовали.
Если бы компания внезапно решила использовать другие методы тестирования, эти нормы потеряли бы свою силу: это было бы все равно что сравнивать яблоки и апельсины. Изменив методы измерений, вы уже не можете использовать основанные на них нормы. Но если вы все-таки хотите применять их, вам нужно создать новую базу данных.
При всем этом успешная работа в прошлом не гарантирует такую же эффективность в настоящем. Помните: мы имеем дело со сложными системами. Со временем меняется все. Тот факт, что нечто было полезным когда-то, не означает, что оно будет полезным и сейчас. Периодически проверяйте свои нормы и их действие.
Заменитель
Если мы назовем собачий хвост лапой, сколько лап будет у собаки? Четыре.
То, что мы назовем хвост лапой, не сделает его действительно лапой.
Что делать, если измерить что-то напрямую невозможно? Используйте заменитель. Например,
В области научных измерений заменители также используются повсеместно. Вы никогда не задумывались над тем, откуда ученые знают, насколько горячо Солнце или сколько лет некоторым камням.
Они используют такие заменители, как длина волны электромагнитных лучей или распад известных радиоактивных изотопов, а затем, применяя уже доказанные отношения и формулы, находят ответ.
Чем ближе заменитель к оригинальному объекту, тем лучше. Возьмите аналитику сайта: вы хотите знать точно, на что именно его посетители обращают внимание и сколько времени они на это тратят, но при этом вы не можете залезть к ним в голову. Хорошим заменителем может послужить отслеживание движений мыши.
Согласно исследованию, проведенному учеными Университета Карнеги — Меллоун,
…в 84 % случаев, когда курсор мыши застывал на определенной странице или части сайта, туда же был устремлен взгляд посетителя. Кроме того, в 88 % случаев, если пользователь не смотрел на страницу, там не было и курсора1.
Поскольку движения мыши и зрительная фиксация (то есть внимание) обладают корреляцией, то движения мыши можно считать хорошим заменителем внимания посетителя. Чем сильнее корреляция, тем лучше заменитель.
Перед использованием заменителя убедитесь в том, что он действительно имеет отношение к объекту. Заменитель может привести к ошибочным результатам, если окажется, что он измеряет совсем не то, для чего предназначался изначально. Вспомните, к примеру, попытку определить производительность программиста на основании количества строчек кода. Они, конечно, могут служить заменителем, позволяющим оценить эффективность работы, но иногда большой объем кода сигнализирует об уменьшении производительности и, соответственно, не может использоваться для измерения.
Сегментация
Новое правило нирваны: никогда не представляйте параметры (даже столь любимые Богом KPI), не выделяя их составляющих… Вся прелесть деления параметра на составляющие заключается в том, что вы как бы заглядываете за кулисы и узнаёте об этом параметре интересные подробности.
В совокупном множестве данных очень часто можно найти что-то стоящее — нужно просто поискать. Сегментация — метод деления множества данных на четко определенные подгруппы с целью раскрытия дополнительного контекста. Такое деление может выявить ранее неизвестные отношения. Например, вы знаете, что заказы в этом месяце увеличились на 87 %. Это хорошо, но еще лучше, если вы узнаете, что 90 % этих заказов были сделаны женщинами из Сиэтла. Все, что нужно, — это понять, почему они сделали заказы; такая информация пригодится в будущем.
73
Кошик А. Веб-аналитика: анализ информации о посетителях веб-сайтов. М.: Диалектика: Вильямс, 2009. Прим. ред.