Песня про on-line панели
Летит самолет. Командир - штурману:
- Штурман, приборы?
- 55.
- Что 55?
- А что приборы?
Старый анекдот
On-line панели стали общепризнанным инструментом в сообществе исследователей рынка. Как инструмент для зарабатывания денег на рынке они полностью себя оправдывают. А вот инструментом сбора достоверной информации исходной информации для исследований рынка или общественного мнения они, по-видимому, не являются.
On-line панели, респонденты, исследования рынка
Введение или запев
Никого не интересует, как собирают данные для опросов. Все уверены, что социологи или маркетологи знают как надо и делают это правильно. По крайней мере, заказчики исследований или журналисты, публикующие результаты исследований, в этом уверены. Обычно они ограничиваются получением от социологов волшебного сообщения о том, что «статистическая погрешность результатов не превосходит какого-то числа». Почти никто не понимает, что означает эта фраза, но все уверены, что переводится она как-то так: «Со сбором исходной информации было все в порядке».
Использование интернета при проведении социологических исследований и исследований рынка выглядит, безусловно, красиво и современно. Независимо от того для чего используется в исследованиях интернет. Особенно, если сослаться на авторитетные западные компании и использовать термины на английском. Поэтомуon-lineпанели у заказчиков исследований сомнений не вызывают. Откуда там исследователи берут исходные данные ведь не так важно, на сей раз скажут другие волшебные слова, но теперь про интернет.
Этастатья просто попытка обратиться к здравому смыслу, хотя обращение к здравому смыслу, чаще всего, приводит к осознанию сложности и противоречивости реального мира, для понимания которого надо много думать, проводить какие-то исследования и нет гарантий, что додумаешься до чего-то существенного.
Почему про это?
А потому что вдруг два письма во входящей почте.Оба похожи на спам, но интересный. Одно из США. Бодрое письмо про on-lineпанели. Оптимистично и напористо. Предлагает попробовать провести исследование с их помощью. Крупная компания – мировой лидер, прошли аудит. У них в панели миллионы по всему миру. Уверенность впечатляет.
Другое письмо от российской девушки. Предлагает работу в сети. Даже не предлагает, а консультирует, как можно заработать в сети, участвуя в опросах. У нее есть сайт. Симпатичная девушка. Предлагает купить книжку о том, как правильно участвовать в опросах, чтобы заработать.Для примера рассказывает о том,что надо сообщать о себе, а чего не надо, то есть, кем надо прикинуться, чтобы обмануть исследовательскую компанию. Деловито и точно, ничего личного, просто бизнес.Больших заработков не обещает, но двадцать тысяч в месяц, вроде бы, можно заработать. Надо признать, что советы, в целом, правильные, противостоять таким советам трудно.
А в чем сомнения?
Когда по ходу исследования, для сбора определенной информации мне надо провести опрос, например, опрос потребителей, я понимаю, что надо сделать, чтобы качество полученных данных было приемлемым.
Специалисты знают, какие ошибки или нарушения могут быть допущены при сборе исходной информации тем или иным способом и знают способы противодействия этим нарушениям.
Конечно же, я не всегда смогу применить эти методы в полном объеме. Иногда решаю, что какие-то меры контроля могу опустить. Но, при этом я всегда понимаю, что я опустил и почему, какие последствия могут наступить и как это повлияет на качество исходных данных и результаты исследования.
А как с этой очки зрения с on-lineпанелью? В этом случае, получается, что я полностью доверяю компании, которая панель создала.Но, по крайней мере, технологии, которые они используют, я должен понимать и с ними соглашаться.Меня не убеждают ссылки на какие-то другие компании, которые проводили аудит. Имеются, конечно, международные стандарты, содержащие вопросы, на которые компания, проводящая исследование с помощью on-lineпанели должна дать заказчику ответ. Вопросов более двадцати. Но среди них нет самых важных для меня, как потенциального заказчика таких опросов. Таких вопросов немного. Я рассмотрю здесь всего два.
Кто отвечает?
Как же убедиться, что отвечает на вопросы анкеты именно тот человек, чьи данные приводиткомпания- владелец on-lineпанели?Почему я уверен в том, что отвечает сам респондент, а не его секретарша или малолетний сын или сумасшедшая бабушка?Акак проверить, что респондент в нормальном состоянии и реагирует на вопросы адекватно? Замечу, что при обычных личных интервью у нас, интервьюер записывает ход интервью на диктофон. Не стану утверждать, что мы слушаем все интервью, но многие слушаем.
А как быть в случае on-lineпанели? Косвенный контроль, скажем, по времени ответа - это совершенно неубедительно. Про вопросы-ловушки я даже рассуждать тут не буду – это просто для очень наивных людей. Мы, конечно, можем применить проверенные методы - позвонить респонденту и задать ему контрольные вопросы, но в on-lineпанелях этого, вроде, не предлагают.
А почему они отвечают?
Этот вопрос занимает меня еще с девяностых годов, когда редкие заказчики спрашивали меня: «И что, вам кто-нибудь отвечает? А почему?»
Я не знаю точно «почему они отвечают». Во многих случаях действует, по-видимому, один основной мотив – это желание помочь интервьюеру, который респондента об этом просит. По этой же причине люди на улице подскажут вам, как найти нужное место или дом.
А вот почему «они» становятся участниками on-lineпанелей? Мысль о том, что люди хотят донести до кого-то свое мнение о йогурте или сыре, или что отвечать на вопросы анкеты интересно (потому, что анкета так интересно сделана), я оставлю на совести того, кто это говорит.
Аесли даже представить себе, что участники панели действительно получают удовольствие, отвечая на вопросы анкеты, или надеются изменить мир, высказывая свое мнение по разным вопросам, то возникает сомнение в адекватности таких респондентов.Кроме того им еще надо было сообщить подробно свои данные, рассказать о своих привычках и пристрастиях. Причем рассказать надо не своим родственникам и друзьям, а совершенно неизвестным людям, при минимальных гарантиях того, что эти данные не потеряют, не разгласят и не используют во вред респонденту. В рекламном письме одной из компаний мне сообщили, что у них «хранится более 1000 профильных параметров каждого человека». У вас еще остались сомнения в неадекватности таких респондентов?
Вряд ли разумно опрашивать неадекватных людей, даже если по всем другим признакам они подходят для опроса. И уж точно не стоит переносить полученные результаты на всю генеральную совокупность.
Заметим, кстати, что если рассмотреть «только» 500 профильных параметров одного респондента и предположить, что вероятность изменения одного параметра в течение одного дня составляет 0,001 (очень маленькая!) и значения параметров меняются независимо, то вероятность изменения хотя бы одного параметра у каждого респондента ежедневно составляет 40% (достаточно большая!). Для больших панелей, а объявляется, что панели состоят из сотен тысяч и даже миллионов человек, требуются колоссальные усилия для выявления и корректировки профилей респондентов,в противном случае вы будете оперировать устаревшими данными.
Другое дело, если кто-то хочет заработать, участвуя в опросах. На запрос «Как заработать на опросах?» один из поисковиков дает более полутора миллионов ссылок.
Однако, на сайтах компаний, которые предлагают участвовать в on-line панелях, имеются ограничение на количество опросов в месяц. Системы оплаты всюду хитрые - много не заработаешь. Даже обещанных упомянутой выше девушкой двадцати тысяч. Но это, если участвовать в одной панели. Большинство же сайтов, поясняющих, как заработать на опросах, предлагают сразу несколько ссылок на панели, иногда десятки. Тому, кто пробует так заработать можно, наверное, записаться в несколько панелей или попробовать зарегистрироваться несколько раз в одной.Нетрудно представить себе, как противодействовать множественной регистрации одного респондента в одной панели и сразу понять, что методы обмана просты и дешевы, а методы контроля сложны и дороги. Методы же противодействия, описанные в рекламах on-line панелей,выглядят формальными и неэффективными.
Даже если удается защититься от множественной регистрации, то противодействовать участию во многих панелях почти невозможно.А если так, то с большой вероятностью, в панелях живут «профессиональные респонденты» - люди, которые готовы отвечать про все на свете. Их доля в каждой панели, может быть и невелика, но они стремятся участвовать в большом количестве опросов.Эти люди сообщают фиктивные данные о себе, а их ответы, чаще всего, несут недостоверную информацию.
А как же там у них?
Возникает справедливый вопрос. А почему у них там - и в США и в Западной Европе, on-line панели развиваются и давно? Стандарты международные разработаны. Кто участвует в панелях у них и почему? У них-то все в порядке? Нет, и у них так же все не в порядке, как и у нас. Заметим, что в проблемах, о которых мы ведем речь, нет ничего специфически российского. У нас ведь все делается как у них и вопросы возникают те же. Почему же у них это направление развивается, судя по всему, вполне успешно?
Да потому, что компании, которые занимаются исследованиями рынка и, в значительной части, исследованиями общественного мнения ориентированы в своей деятельности на достижение коммерческого, а не научного результата. Поэтому, хотя в названиях этих компаний и встречается слово «исследования», научными эти организации, однозначно, не являются. Ориентироваться им приходится, в полном соответствии с рыночной реальностью, на запросы заказчиков.
Для большинства заказчиков социологические и маркетинговые исследования, по-видимому, являются не способом выяснения истины, а элементом продвижения – коммерческого или политического. Обосновать свои действия на рынке перед собственниками бизнеса или инвесторами, используя научную аргументацию, зачастую очень трудно. К тому же непонятно способны ли ваши собеседники воспринимать такую информацию и хотят ли они столь глубоко вникать в проблему. В этом случае, лучше сослаться на авторитет – привести результаты маркетингового исследования, проведенного известной компанией. Главное, чтобы результат был прост и предсказуем.
Точно также тяжело разбираться с социальными процессами, гораздо проще рассказать, что по данным известной компании рейтинги кого надо изменились несильно, а протестная активность пошла на убыль.
В этом смыслеon-lineпанели выглядят очень современно и вполне в духе времени, а качество данных – это не главный вопрос.Реальная картина рынка или состояния общества заказчика не интересует.
Даже если потом окажется, что результат был получен ошибочный, вряд ли будут виноваты исследователи.
Ведь, практически, не пострадали рейтинговые агентства, когда недавно обанкротились компании, которым они поставили наивысший кредитный рейтинг. И почти никто не возмутился, когда известное международное агентство в течение нескольких лет объявляло Москву самым дорогим городом мира.
Тому, что наиболее комфортен для ведения бизнеса в России город Замухрайск, что сухарики к пиву покупают, в основном, замужние женщины в возрасте от 25 до 40 лет, что Петербург удобнее для жизни, чем столица, конечно, немножко удивились. Но авторитет исследовательской компании достаточное основание, чтобы согласиться с тем, что черное является белым. Правда, бизнес в Замухрайске не расцвел, сухарики в гипермаркете положили на полку со снеками возле пива, а не с товарами для женщин (хотя рекламная компания все же ориентировалась на женщин), а поток переезжающих из удобного Питера в неудобную Москву не уменьшился.Но зато как гордились руководители Санкт-Петербурга!
Что же будет?
А будет победное шествие виртуализации по миру. On-line панели – это еще цветочки. Еще появятся и виртуальные респонденты, которые будут моделировать поведение реальных или что-то подобное. В самом деле, почему бы не имитировать для исследователя модель панели? Результаты окажутся более предсказуемыми, чем с реальными неадекватными людьми или обманщиками.В конце концов, услуги астрологов и экстрасенсов тоже востребованы.
Есть, однако, некая разница, состоящая в том, что по поводу астрологов и экстрасенсов научное сообщество, во всяком случае, основная его часть, высказалось решительно и однозначно - это не наука. На коммерческом результате деятельности этих людей мнение ученых не сказывается, но и коммерческий результат не является обоснованием научности их деятельности.
По поводу многих методов исследования рынка и общественного мнения научное сообщество могло бы, конечно, выступить, но не делает этого. Сами же исследователи, естественно, ни в каких оценках научного сообщества не нуждаются. Поэтому и уровень виртуализации их исследований будет возрастать. «Итак, праздник начинается...», - как написано в рекламном письме одной российской компании, которая предлагает on-lineпанели.
Владимир Сократилин,
Исполнительный директор,
Компания "Решение".
