О скрытых искажениях в социологических опросах

Категория: Методы исследований
Опубликовано: 23.06.2016 21:05
Автор: Сергей Белановский
Просмотров: 949

Опубликовано в 2003 г. под названием: «Результаты выборов сильно удивят»

 

За прошедшие годы в адрес социологов неоднократно звучали обвинения в ангажированности и подтасовке публикуемых ими данных. В ходе региональных выборных кампаний публикация подтасованных социологических данных - действительно не редкость. Однако в отношении наиболее известных организаций федерального уровня - ВЦИОМа и ФОМа - подобные обвинения всегда были бездоказательными и, важно подчеркнуть, непрофессионально сформулированными. Возьмем на себя ответственность утверждать, что подтасовкой данных в угоду интересам заказчиков эти фирмы никогда не занимались. Но это не означает, что рейтинговые измерения точны и что в них нет нерешенных методических проблем, искажающих результаты. Провалы прогнозов результатов выборов на базе опросов были частыми с 1993 года, и у таких ошибок есть определенная причина или, точнее, комплекс причин.

Опубликовано в 2003 г. под названием: «Результаты выборов сильно удивят»

За прошедшие годы в адрес социологов неоднократно звучали обвинения в ангажированности и подтасовке публикуемых ими данных. В ходе региональных выборных кампаний публикация подтасованных социологических данных - действительно не редкость. Однако в отношении наиболее известных организаций федерального уровня - ВЦИОМа и ФОМа - подобные обвинения всегда были бездоказательными и, важно подчеркнуть, непрофессионально сформулированными. Возьмем на себя ответственность утверждать, что подтасовкой данных в угоду интересам заказчиков эти фирмы никогда не занимались. Но это не означает, что рейтинговые измерения точны и что в них нет нерешенных методических проблем, искажающих результаты. Провалы прогнозов результатов выборов на базе опросов были частыми с 1993 года, и у таких ошибок есть определенная причина или, точнее, комплекс причин.

Географический сдвиг выборки

Из всех возможных причин несовпадения результатов опросов с результатами голосований рассмотрим одну, которая до последнего времени не становилась предметом публичного обсуждения. Гипотеза о воздействии этой причины на результаты рейтинговых измерений была выдвинута географом Владимиром Каганским (см. материал, опубликованный в "Газете.Ru") и автором этой статьи. Речь идет о географическом смещении выборки.

Суть проблемы состоит в том, что географические территории (регионы, субрегиональные территории и населенные пункты), в которых проводятся выборочные опросы, обладают различной степенью транспортной и инфраструктурной доступности. Труднодоступные населенные пункты обычно не включаются в выборку с целью экономии затрат. Из-за этого при проведении опросов неизбежно возникает сдвиг результатов в сторону более доступных географических зон расселения и, как следствие, сдвиг выборки в сторону населения более урбанизированного, более образованного, более активного.

К сожалению, сведения о выборке, публикуемые социологическими организациями, не позволяют подробно проанализировать характер этого сдвига. На сайтах ВЦИОМа и ФОМа указано лишь, что опросы проводятся в 100 населенных пунктах, расположенных в 40 регионах России. Списки регионов и населенных пунктов не приводятся. Это делает невозможным проведение политико-географической экспертизы выборки. Тем не менее из этих данных становится ясно, что в 49 российских регионах социологические опросы вообще не проводятся. При этом есть основания предполагать, что эти 49 регионов представлены в основном периферийными субъектами РФ с малой численностью населения и слабо развитой инфраструктурой (примером такого региона является Камчатка).

Сходные проблемы возникают и внутри российских регионов, в которых плотность населения и обеспеченность инфраструктурой резко падают от центра к периферии. Недостаточный учет этого обстоятельства при построении выборки может очень существенно исказить результаты опросов. В частности, внутри каждого региона существует свой "красный пояс", однако это явление в рамках федеральной социологии так и осталось неидентифицированным.

В целом, по оценке Владимира Каганского, системой выборочных опросов не охвачено около трети населения страны, представляющей ее межрегиональную и внутрирегиональную периферию.

Сдвиг выборки в сторону более урбанизованного населения неизбежно должен сказаться на соотношении рейтингов политических партий, поскольку политические установки населения коррелируют с уровнем его образования и степенью причастности к городскому образу жизни.

Многочисленные наблюдения за результатами опросов, в том числе региональных, и сопоставления их с итогами голосований позволяют сделать вывод о том, что в существующих выборках завышена доля "демократического" и занижена доля левого, протестного и пассивного электората. Чем хуже сформирована выборка, тем явственнее проявляется этот эффект.

Применительно к федеральным выборам можно ожидать, что в географически искаженной выборке будет занижена доля сторонников КПРФ и ЛДПР, но завышена доля "городских" партий, таких, как "Яблоко", СПС и большинство малых партийных образований.

Коррекция рейтингов путем взвешивания

Высказанная выше гипотеза подтверждается самой практикой работы ВЦИОМа и ФОМа. Результаты первых опросов, проводившиеся в начале 90-х годов, показали, что рейтинги КПРФ в них существенно занижаются, а рейтинги "городских" партий, наоборот, завышаются.

Для приведения результатов исследований к правдоподобному виду ВЦИОМ, а вслед за ним и ФОМ используют процедуру, называемую взвешиванием.

Суть этой процедуры заключается в следующем. В анкету включается ретроспективный вопрос о голосовании на прошлых президентских выборах (в данный момент речь идет о выборах 2000 года). Распределение ответов на этот вопрос кладется в основу процедуры взвешивания, которая состоит в приравнивании данных опроса к результатам голосования на президентских согласно данным Центризбиркома.

Так, согласно официальным данным Центризбиркома, Г. Зюганов получил на президентских выборах 2000 году 20% голосов всех зарегистрированных избирателей. Однако, по данным августовского опроса ВЦИОМа, доля избирателей, указавших в анкете, что они на президентских выборах голосовали за Зюганова, в августе 2003 года составила лишь около 7%. Это означает, что искажение выборки привело к почти трехкратному занижению данного электорального показателя.

Для приведения данных опроса в соответствие с электоральной статистикой специалисты ВЦИОМа увеличивают численность электоральной группы сторонников Г. Зюганова, приравнивая ее к 20%. Это достигается путем присвоения соответствующим анкетам повышающего коэффициента, близкого к трем.

Аналогично доля ретроспективных сторонников В. Путина, согласно результатам опроса, составила около 50% вместо фактических 36%. Для корректировки этих данных соответствующим анкетам присваивается понижающий коэффициент, приблизительно равный 0,7.

Подобную процедуру коррекции осуществляет и ФОМ. В недавнем интервью руководитель ФОМа А.Ослон впервые публично признал, что его организация публикует не непосредственные результаты опросов, а так называемые "взвешенные" рейтинги, алгоритм вычисления которых соответствует описанному выше. Правда, точные коэффициенты А.Ослон назвать отказался, сославшись на профессиональную тайну ("Новые Известия", 10.10.03). Однако сходство алгоритмов расчетов дает основания считать, что поправочные коэффициенты, используемые обеими организациями, близки друг к другу.

Результаты взвешивания

Целью взвешивания и его результатом является повышение в результатах опроса доли сторонников КПРФ и снижение доли сторонников В. Путина и "Единой России".

В результате взвешивания рейтингов ВЦИОМа за август 2003 года число сторонников КПРФ увеличилось на 32%, то есть почти на треть, а число сторонников "Единой России" уменьшилось примерно на 17%. Точные данные по коэффициентам ФОМа отсутствуют, но очевидно, что они близки. Это позволяет приблизительно оценить эффект взвешивания и для этой организации.

В результате мы получаем следующую картину. Согласно данным ВЦИОМа, в августе 2003 года доля сторонников КПРФ до взвешивания составила 15% общего числа опрошенных, а после взвешивания - 20%. По данным ФОМа, рейтинг КПРФ в результате взвешивания возрос ориентировочно с 14% до опубликованных 19% (по состоянию на 21.08.03).

Рейтинг "Единой России" в результате взвешивания, по данным ВЦИОМа, наоборот, понизился с 21 до 17%. По данным ФОМа, он также снизился с ориентировочно с 26% до опубликованных 22%.

Таким образом, в результате взвешивания соотношение между рейтингами существенно изменилось: по данным ВЦИОМа, они поменялись местами, по данным ФОМа, сократили разрыв с 12 до 3 процентных пунктов.

Процедура взвешивания, используемая ВЦИОМом и ФОМом, практически не влияет на рейтинги других партий, включая ЛДПР, "Яблоко" и СПС. Это не означает, что данные рейтинги измерены правильно. Напротив, это может означать, что изначальное искажение рейтингов этих партий сохраняется.

Является ли взвешивание рейтингов корректной процедурой?

Правомерно ли компенсировать искажение выборки увеличением доли сторонников Г. Зюганова и уменьшением доли сторонников В. Путина, приравнивая их долю к результатам президентских выборов 2000 года? Насколько точными могут считаться полученные таким образом результаты?

Процедура взвешивания является счетной операцией, хорошо известной специалистам по прикладной математике, работающим в самых разных областях гуманитарных и технических дисциплин. Существуют и общеизвестные правила применения процедуры взвешивания. Основное правило гласит, что использование взвешивания может осуществляться только на основе не зависящих друг от друга характеристик. К примеру, при соблюдении определенных условий корректной может считаться процедура взвешивания рейтингов по демографическим или географическим квотам.

Однако взвешивание ожидаемых результатов выборов по результатам предшествующих выборов вряд ли может быть сочтено корректной процедурой, поскольку целью опросов как раз и является определение динамики электоральных установок.

Согласно данным ВЦИОМа, число людей, заявлявших в ходе опроса о том, что в 2000 году они голосовали за Зюганова, не является постоянным. За прошедшие три с половиной года оно колебалось в довольно широких пределах. Максимум наблюдался в октябре 2000 года, когда число таких ретроспективных сторонников составило 11%. Минимум в 5-7% наблюдается сейчас. Аналогичная картина наблюдается и у ФОМа.

Согласно процедуре взвешивания, этим ретроспективным рейтингам присваивается коэффициент, увеличивающий их долю до 20%. Последняя цифра превращается, таким образом, в своеобразную социологическую константу. Это противоречит самой идее динамических измерений.

Привнесение в результаты социологического исследования цифр официальной статистики Центризбиркома приводит к тому, что публикуемые рейтинги представляют собой сплав результатов опросов с результатами выборов 2000 года. Обе части этого "сплава" распределяются по массиву в трудно предсказуемых пропорциях, затрудняя адекватную трактовку полученной информации.

Существует и другая важная причина, по которой процедура взвешивания не может быть признана корректной. Эта причина лежит уже не в плоскости правил осуществления математических операций с массивами. Известно, и это подтверждено многочисленными экспериментами, что ретроспективные утверждения респондентов об их голосовании на предшествующих выборах часто не соответствуют действительности. Причина таких искажений связана не только с ограничениями памяти респондентов, но и с изменениями их политических установок. К примеру, какая-то часть респондентов, голосовавших в 2000 году за Зюганова, могла разочароваться в нем как в политическом лидере (судя по фокус-группам, эта гипотеза имеет право на существование) и пожелать скрыть факт голосования за него от интервьюера. По этой причине ретроспективные рейтинги политиков нельзя отождествлять с подлинной электоральной статистикой. В действительности они представляют собой один из видов политических установок, динамика которых могла бы представлять самостоятельный аналитический интерес.

Процедура взвешивания, используемая ВЦИОМом, исключает эту возможность, механически приравнивая численность утверждающих о своем голосовании за определенную кандидатуру с численностью проголосовавших за нее на последних выборах.

Результаты опроса, скорректированные взвешиванием, могут существенно искажаться за счет того, что сторонники Г. Зюганова и В. Путина, живущие на урбанизированных территориях, отличаются по своим установкам от их электоральных аналогов, проживающих на периферии. В частности, известно, что протестные настроения сторонников Г. Зюганова на урбанизированных территориях отличаются большей рациональностью и более выраженной ориентацией на выдвижение социальных требований. Периферия характеризуется традиционалистским способом голосования. По этой причине электоральная динамика в урбанизированных и неурбанизированных территориях может существенно различаться.

Наконец, и это, возможно, самое главное, корректировка выборки осуществляется только по сторонникам лидера КПРФ и по сторонникам власти, представленным сторонниками В. Путина. Но никто не сказал, что изначальное искажение выборки ограничивается только этими параметрами. Подлинные характеристики искажения остаются неизвестными, и это также может стать источником политических сюрпризов.

Вполне очевидно, что описанная выше процедура взвешивания не может использоваться вечно. Рано или поздно от нее придется отказаться. Г. Зюганов как политик не вечен, поэтому превращать ретроспективный рейтинг его персоны в константу социологических измерений по меньшей мере неразумно. Не вечна и сама КПРФ, по крайней мере в нынешней ее форме. К примеру, ожидаемое многими аналитиками превращение КПРФ в городскую партию социального протеста обессмыслит существующую процедуру взвешивания, поскольку результаты, полученные на ее основе, резко разойдутся с действительностью. Придется искать новые алгоритмы, которые все более будут напоминать откровенную подгонку результатов опросов под предполагаемый ответ.

Что надо делать?

Исправление сложившейся ситуации лежит, конечно, не в плоскости создания новых алгоритмов взвешивания или иных способов манипулирования исходными данными. Потенциально источников искажения результатов может быть несколько, но гипотеза о географическом сдвиге выборки должна быть проверена в первую очередь, поскольку она является наиболее обоснованной и проверяемой.

Сегодня вопрос о выборках является внутренним делом организаций, проводящих репрезентативные опросы. Ни одна из этих организаций не публикует полноценного их описания. Те описания, которые даются на их сайтах, делаются скорее в презентационной форме, исключающей возможность их анализа. Заказчики, по сути, должны поверить, что выборки, по которым проводился опрос, сделаны "высокопрофессионально". Дискуссия о структуре и качестве выборок в публичном поле отсутствует. Отсутствие гласности в вопросе формирования выборок привело к принятию некорректных методических решений, которые воспроизводятся уже целое десятилетие.

Особо следует указать, что количественное увеличение объема выборок само по себе не устраняет географического сдвига. Если состав населенных пунктов или принципы их отбора в увеличенной выборке останутся неизменными, произойдет увеличение формальной математической, но не фактической точности исследования. Подлинным решением проблемы является увеличение глубины проникновения выборки в географическую систему расселения, которое теоретически может осуществляться и без увеличения числа опрашиваемых респондентов. Первым шагом в этом направлении должно стать проведение географического аудита существующих социологических сетей.

Каковы политические прогнозы?

Если гипотеза о географическом смещении выборок верна, она означает, что около трети населения страны, проживающей на ее географической периферии, не охвачена системой репрезентативных опросов. Эта треть страны в буквальном смысле представляет собой "страну неизвестную". Протекающие в этой "стране" политические процессы, несомненно, повлияют на результаты предстоящих выборов. Поэтому они должны учитываться в политических прогнозах.

Как проголосует "неизвестная страна"? Возможно, тщательный анализ электоральной статистики в сопоставлении с данными опросов может дать результат, выражаемый в цифрах. Здесь же мы попытаемся подойти к проблеме сугубо аналитически, исходя из общих представлений о различиях характеристик "известной" и "неизвестной" страны.

В электорате "неизвестной" страны практически отсутствуют так называемые "городские" партии, наиболее крупными из которых являются "Яблоко" и СПС. При грубом подсчете это может означать, что их реальные рейтинги на одну треть меньше тех, которые получаются в результате опросов. Учитывая, что, согласно текущим измерениям, эти партии находятся на грани прохождения 5% барьера, их реальные шансы на прохождение в Государственную думу становятся призрачными, если только дефицит голосов не будет восполнен либо очень убедительной агитацией, либо стихийным притоком голосов городского протестного электората. Но таких тенденций пока не видно.

Многие аналитики прогнозируют, что результаты голосования для ЛДПР могут оказаться более благоприятными, чем это следует из сегодняшних рейтингов. Объяснения такому прогнозу даются в основном психологические, связанные с ростом протестной активности населения. Не отрицая возможной правильности этой гипотезы, отметим, что в эту же сторону может сработать и структурный фактор, связанный с географическим смещением выборки. В частности, следует обратить внимание на то, что в существующих выборках плохо представлена дальневосточная периферия страны, где позиции ЛДПР традиционно сильны.

Основная интрига предстоящих выборов связана с тем, как в "неизвестной стране" распределятся голоса между двумя основными партиями: КПРФ и "Единой Россией". Предвыборная агитация слабо проникает в "неизвестную страну" и практически не воздействует на ее избирателей. Но в этой "стране" медленно протекают спонтанные имиджевые процессы, которые могут серьезно повлиять на результаты голосований.

Периферии, как уже говорилось, свойственен традиционалистский механизм голосования, ориентированный прежде всего на власть. Постсоветская эпоха привела к раздвоенности: часть электората ориентируется на прежнюю советскую, а часть - на новую российскую властные традиции. Новую традицию в настоящее время олицетворяет В. Путин, хорошо вписавшийся в эту роль в представлениях традиционалистского электората.

Тенденция переориентации традиционалистского электората на новую российскую власть, безусловно, существует, ее отмечают многие аналитики. Степень выраженности этой тенденции в "неизвестной стране" оценить трудно. Но все же не исключено, что благодаря ей "Единую Россию" на предстоящих выборах может ждать неожиданный успех.

Исходя из высказанных гипотез, наиболее вероятный партийный состав Государственной думы видится следующим: "Единая Россия", КПРФ, ЛДПР и, возможно, блок "Родина".

Благоприятный прогноз для "Родины" не связан с искажением выборки в ее пользу. Напротив, в силу новизны и относительно малой известности этот блок в настоящее время, безусловно, является "городской" партией, поэтому искажение происходит скорее в сторону завышения, чем в сторону занижения его рейтингов. Тем не менее персональная известность С. Глазьева и популярность его лозунгов могут сформировать для этой партии растущий тренд, который приведет к преодолению 5-процентного барьера.

Опубликовано на:

http://www.gazeta.ru/elections2003/2003/10/a_60020.shtml