Личный сайт Сергея Белановского

ПРОБЛЕМА ПОВЫШЕНИЯ ТОЧНОСТИ РОССИЙСКИХ СОЦИОЛОГИЧЕСКИХ ИЗМЕРЕНИЙ

ГЛАВНЫЕ ВЫВОДЫ

1. Российская система репрезентативных социологических опросов сложилась в конце 80-х – начале 90-х годов. С тех пор основные ее элементы – выборка и организационные принципы функционирования – оставались практически неизменными. Ныне эта система перестала отвечать требованиям времени и нуждается в модернизации. В условиях перелома электоральных трендов данная система утратила способность продуцировать точные социологические прогнозы.

2. Результаты рейтинговых измерений ведущих российских социологических служб – ФОМа и Левада-центра – на протяжении все истории своего существования (начиная с 1992 г. и по настоящее время) содержат в себе значимое систематическое искажение. Факт наличия этого искажения всегда был хорошо известен персоналу социологических служб, но скрывался от заказчиков и от широкой общественности. Причины и точный характер этого искажения никем не изучались.

3. Суть названного искажения, каким оно виделось в начале 90-х годов, состояла в том, что в результатах опросов по не вполне понятным причинам систематически занижалась доля коммунистического электората (сторонников Г.Зюганова и КПРФ). Соответственно, завышалась доля электората с «демократическими» установками, лояльная Б.Ельцину. Позднее, в связи с маргинализацией «демократов», социологи стали говорить о завышении доли электората, лояльного власти (В.Путину, «Единой России»). В настоящее время наиболее близкой к действительности гипотетической формулировкой является следующая: в результатах опросов по непонятным причинам заметно завышается доля электората, лояльного власти, и занижается доля левого, протестного и пассивного электората. При этом следует учитывать, что отдельные параметры этого искажения могут доныне оставаться неизвестными.

4. Для сокрытия изначального искажения данных социологические службы на протяжении всего периода своего существования корректировали их путем применения математической процедуры, называемой взвешиванием, суть которой состояла в придании определенных коэффициентов отдельным частям массива. Скорректированные таким способом данные официально публиковались как непосредственные результаты опросов. Таким образом, ведущие социологические службы России дезориентировали заказчиков и широкую общественность, выдавая результаты определенных модельных построений (неважно, обоснованных или нет) за результаты исследований в собственном смысле этого слова.

5. Суть процедуры взвешивания, использовавшейся до 2004 г., состояла в приравнивании полученных путем опроса ретроспективных рейтингов политиков (Г.Зюганова, Б.Ельцина, позднее В.Путина) к официальным результатам последних выборов по данным ЦИК. Полученные таким способом коэффициенты распространялись на весь массив и служили основой для пересчета прогнозных рейтингов политиков, партий и других измеряемых анкетой показателей, что приводило к существенному изменению их величин и пропорций. Необходимость этой процедуры оправдывалась тем, что таким способом якобы удавалось устранить изначальное искажение результатов социологических измерений. В электоральном цикле 1999 (2000) – 2003 (2004) гг. заниженный, как предполагалось, электральный рейтинг Г.Зюганова был увеличен благодаря взвешиванию в 2 – 3 раза, а рейтинг В.Путина уменьшался примерно в 1,5 раза. Примерно в тех же пропорциях корректировались рейтинги КПРФ и «Единой России».

6. Начиная с 2004 г. в связи с фактическим исчезновением из политического поля фигуры Г.Зюганова используемый ФОМом алгоритм взвешивания был сменен с «президентского» на «партийный». Такая замена сделала несопоставимыми публикуемые политические тренды прошлого и нынешнего электорального циклов. Факт изменения алгоритма взвешивания был скрыт от заказчиков и широкой общественности.

7. Процедура взвешивания, фактически представляющая собой алгоритм экстраполяции результатов прошлых выборов на предстоящие, неизбежно должна была дать сбой в условиях изменения политических трендов. Ныне этот сбой проявил себя при проведении региональных опросов в Иркутской, Тульской областях и республике Марий Эл, где в октябре 2004 г. состоялись выборы в Заксобрания. Характер изначального искажения результатов опросов в новой политической ситуации изменился, и традиционная процедура взвешивания уже не смогла устранить это искажение. В результате прогнозы выборов оказались ложными по всем основным параметрам: завышены рейтинги «Единой России», КПРФ и ЛДПР, занижены рейтинги «Родины» и местных партийных блоков. Занижение в результатах опросов рейтингов «Родины» и местных блоков следует рассматривать как чрезвычайно серьезный факт, могущий свидетельствовать о начале перелома важного политического тренда.

8. Проверка массивов ФОМа выявила тот факт, что в ряде случаев обработчики массивов отступают от стандартной (принятой у них) процедуры взвешивания и переходят к так называемому многократному перевзвешиванию. В частности, такое многократное перевзвешивание было использовано в 39 и 40 волнах федерального исследования «Пента», а также в ряде волн региональных исследований (см. таблицу в основном тексте). Анализ процедур многократного перевзвешивания приводит к выводу, что оно осуществляется в тех случаях, когда полученные из поля данные чем-то не устраивают исполнителей, а стандартная процедура взвешивания не устраняет этот результат. Фактически напрашивается гипотеза о том, что процедура многократного перевзвешивания представляет собой алгоритм подгонки результатов под субъективно предполагаемый (и потому не обязательно верный) результат. Во всяком случае следует констатировать, что нигде в материалах ФОМа не содержится никаких объяснений по поводу использования процедуры многократного перевзвешивания. Отсутствует также и точное описание выполненных действий, поскольку соответствующие коэффициенты приводятся в закодированном виде. Во избежание подобных сомнений исполнителям следует предоставлять заказчикам точную информацию о проделанных процедурах и об их мотивах.

9. Особого упоминания заслуживает ситуация с проводимыми ФОМом опросами в Украине. В украинских опросах алгоритм взвешивания не используется, очевидно, потому, что вектор искажения неизвестен. Тем не менее, само это искажение наверняка существует, и оно может сработать неожиданным образом. До сих пор никто из социологов ФОМа или других социологических организаций не объяснил заказчикам и общественности, почему в России использование алгоритмов взвешивания (существенно меняющих соотношение рейтингов!) в России необходимо, а в Украине оно не требуется. Знание природы изначального сдвига помогло бы работать в Украине с более точными данными, избежав излишних политических рисков.

10. В связи с отсутствием данных о природе изначального искажения результатов социологических измерений приходится исходить из гипотез об их возможных причинах. Таких гипотез сегодня существует четыре. Возможно, что в реальности они действуют совместно. Для оправдания использования процедуры взвешивания представители социологических служб предпочитают ссылаться на психологическую гипотезу, суть которой состоит в предположении о том, что люди отвечают на вопросы анкеты не так, как они думают. Эффекты такого рода в опросах действительно возникают, но они не могут служить оправданием использования некорретных процедур изменения результатов. Во-первых, мировая практика говорит о том, что психологические гипотезы могут быть конкретизированы и проверены, а результаты их эмпирической проверки содержательно истолкованы. Во-вторых, ссылка на психологическую гипотезу не должна камуфлировать возможного существования других, гораздо более значимых и технологичных факторов искажения, выражаемых следующими гипотезами:
-гипотезой географического сдвига выборки;
-гипотезой низкой доступности респондентов;
-гипотезой деградации социологического поля.
 


Все эти гипотезы вполне конкретны, проверяемы, а вызываемые ими факторы искажения в той или иной мере поддаются исправлению (последнее особенно касается гипотез географического сдвига и деградации поля).

11. В целом положение с проведением социологических опросов в России следует оценить как крайне неблагополучное. Все основные технологические параметры всероссийских опросов, включая и структуру выборки, были созданы в конце 80- и начале 90-х годов. С тех пор они практически не обновлялись. Вся система социологического поля изначально была создана как непрозрачная как в организационном, так и в финансовом отношении. В последние годы элементы этой непрозрачности и черты деградации социологического поля значительно возросли, и ныне можно говорить о многоуровневой непрозрачности. Есть веские основания считать, что за этой непрозрачностью скрываются очень серьезные и массовые нарушения технологии, которые и являются первоисточником искажения социологических данных. Для исправления сложившейся ситуации необходим тотальный аудит всех технологических аспектов социологического поля, включая географическую и организационную его составляющие. В дальнейшем для получения полноценных данных потребуется, вероятно, радикальная реконструкция всей организации социологического поля.

12. Для повышения прозрачности результатов социологических измерений социологическим службам необходимо предъявить требование о предоставлении заказчику (и, возможно, широкой общественности) непосредственных результатов социологических измерений, полученных до применения процедуры взвешивания или какой-то иной корректирующей процедуры. Необходимо установить строгое различие между первичными данными опроса и любыми модельными (прогностическими) построениями, сделанными на их основе. Такое разделение строго соответствует мировой практике. В России среди неспециалистов, к сожалению, мало известен тот факт, что зарубежные заказчики российских социологических категорически настаивают на том, чтобы передаваемые им данные и массивы не подвергались никаким счетным операциям типа взвешивания. Российским заказчикам необходимо взять на вооружение эту практику и устранить двойные стандарты в работе отечественных социологических служб.

13. Для повышения точности социологических измерений следует обратить внимание на более проверяемые и технологичные факторы, вытекающие из названных выше гипотез. Конкретно предлагаются три главные группы мер:
• создание принципиально нового подхода к построению всероссийской и региональных выборок;
• осуществление комплекса мер по повышению доступности респондентов и качества их отбора;
• осуществление комплекса мер по повышению технологической дисциплины и качества работы интервьюеров и региональных менеджеров.

14. Предложение о разработке принципиально нового подхода к построению выборок базируется на гипотезе географического сдвига, который подлежит устранению. Эта гипотеза подтверждается анализом выборок ФОМа в тех регионах, где проводится мониторинг выборов в Заксобрания. В частности, в большинстве этих выборок налицо сдвиг в сторону более урбанизированных и экономически развитых зон расселения. В ряде регионов в выборках не представлены особые территориальные образования, голосования в которых заметно повлияли на исход выборов. В экспертном сообществе могут существовать разные точки зрения по вопросу об исправлении этих искажений. Эти точки зрения заслуживают внимательного изучения. Наше конкретное предложение состоит в том, чтобы перейти от проектирования выборок на основе исключительно социально-демографических параметров территорий к проектированию с учетом) параметров их электоральных историй (т.е. с учетом не только социально-демографической и расселенческой, но и электоральной статистики). При этом следует иметь в виду, что в ряде случаев увеличение точности выборки может потребовать увеличения ее объема. Однако механическое увеличение объема выборок при сохранении существующих подходов к ее формированию результата не даст.

15. Осуществление комплекса мер по повышению доступности респондентов и качества их отбора, с нашей точки зрения, должно включать в себя осуществление следующих главных мер:
• замену квотной выборки на случайную на этапе отбора респондентов в домохозяйствах (по ближайшему дню рождения или иным аналогичным методом). Социально-демографические квоты следует сохранить только как контрольный показатель;
• организацию достоверной статистики и контроля недостижимости респондентов и отказов от интервью. Это связано с тем, что значительная доля отказов связана с нежеланием интервьюеров добиваться интервью с «труднодоступными» респондентами (проще поставить «отказ от интервью», чем добиться самого интервью, выполнив все требования методики опроса). Необходимо также неукоснительно соблюдать и контролировать правило трех посещений;
• особое требование должно предъявляться ко времени проведения интервью: не раньше 16-00, чтобы в выборку не попадали легкодоступные категории граждан. Этот параметр должен жестко контролироваться;
• обеспечить равномерное распределение интервью по будням и выходным дням.

Названный список мер является предварительным. Его необходимо дополнить и доработать путем анализа практики работы существующих интервьюерских сетей, а также путем изучения мировой практики проведения репрезентативных опросов.

16. Осуществление комплекса мер по повышению технологической дисциплины и качества работы региональных звеньев социологических сетей. Для этого в первую очередь необходимо:
• усилить контроль за региональными исполнителями со стороны московских офисов социологических служб, соблюдать все процедуры контроля: контроль достоверности проведенного интервью, контроль правильности прохождения маршрута, контроль правильности отбора респондентов в домохозяйствах, контроль времени, затраченного на проведение интервью;
• увеличить объем контролируемой выборки до 30-50% (сейчас он обычно осуществляется на уровне 10 – 15%, в лучшем случае 20%), а случае обнаружения фактов фальсификации – 100%;
• организовать альтернативную сеть для осуществления контроля поля (такая сеть организована службой «Gallup», альтернативный контроль в которой проводится весьма успешно). Целесообразно рассмотреть вопрос о передаче функций контроля за полем независимым организациям, специализирующимся только на полевом аудите.

Описание проблемы

Исходная проблема, вызвавшая необходимость написания данной записки, состоит в неудовлетворительной точности прогнозов результатов выборов в региональные Заксобрания, сделанных на основе репрезентативных опросов, проведенных ФОМом в соответствующих регионах.

Однако проблема валидности социологических измерений актуальна и для прогнозирования результатов выборов (а также динамики других политических процессов) федерального уровня. Те методы измерения и прогнозирования, которые могли давать приемлемые результаты в условиях стабильности и инерционности электоральных установок, могут дать резкий сбой в случае изменения политических трендов, которое наблюдаются сейчас.

В связи с этим анализ проблемы валидности рейтинговых измерений будет дан в следующей логике. Сначала будет зафиксирован известный многим социологам, но не афишируемый ими факт наличия изначального скрытого искажения в российских рейтинговых опросах. Затем будет показано влияние этого фактора на результаты измерений и описаны методы, с помощью которых социологи пытаются скорректировать данное искажение. Этот вопрос будет рассмотрен применительно как к федеральному, так и к региональному уровням. Далее будут изложены предполагаемые причины искажения результатов и даны предложения по повышению валидности социологических опросов.

1. Систематическое искажение результатов рейтинговых
измерений и алгоритм их корректировки

Представителям российского социологического сообщества хорошо известен тот доказуемый факт, что ведущие социологические службы страны – ФОМ и Левада-центр на протяжении более 10 лет (конкретно с 1992 г) постоянно получают из поля информацию о рейтингах, содержащую в себе некое изначальное искажение.

Это искажение в виде систематической и регулярной ошибки неизменно давало о себе знать при сравнении результатов опросов с результатами всех без исключения выборов и референдумов, которые проводились в течение названного исторического периода.

Факт наличия систематического искажения был хорошо известен персоналу социологических служб, но скрывался от заказчиков и от широкой общественности.

Для сокрытия искажения данные, полученные непосредственно из социологического поля, подвергались корректировке с помощью алгоритма, называемого взвешиванием. Скорректированные таким способом данные, официально публиковались как непосредственные результаты опросов. Таким образом, результаты определенных модельных построений (неважно, обоснованных или нет) неправомерно выдавались за результаты исследований в собственном смысле этого слова.

Факт использования процедуры взвешивания скрывался представителями ФОМа и Левада-центра на протяжении более, чем десяти лет. Лишь после того, как в конце 2003 года в СМИ появился ряд разоблачительных публикаций, на эти разоблачения последовал определенный ответ. Руководитель ФОМа А.Ослон официально признал, что его служба действительно корректирует результаты исследований путем взвешивания, однако дальнейшие подробности сообщить отказался. Позднее на сайте ФОМа появились некоторые пояснения по этому вопросу, однако чрезвычайно краткие и не дающие ответов на многие важные вопросы.

Что касается Левада-центра, то он просто проигнорировал указанные публикации. Не выступили ни с какими разъяснениями и другие социологические службы. Подлинные цифры результатов рейтинговых измерений по-прежнему остаются внутренней информацией социологических служб, некоторые из которых считают себя вправе корректировать ее по собственному усмотрению.

В связи с тем, что ведущие социологические службы предпочли не анализировать причины возникновения изначальной ошибки, а скрывать ее существование, подлинная природа искажения никем не изучалась и доныне остается неизвестной. На этот счет существует лишь ряд гипотез, которые будут описаны ниже. Неизвестны и точные характеристики искажений, поскольку не до конца понятен их вектор.

Представления социологов о природе искажения менялись с течением времени. В начале 90-х годов данная проблема понималась следующим образом. Считалось, что по не вполне понятным причинам в результатах опросов систематически занижалась величина коммунистического электората (сторонников Г.Зюганова и КПРФ). Соответственно, завышалась доля электората с «демократическими» установками, лояльная Б.Ельцину.

Позднее, в связи с маргинализацией «демократов», социологи стали говорить о завышении доли электората, лояльного власти. О масштабах подобного завышения можно судить на примере данных о рейтинге В.Путина и «Единой России» за период с 2000 по 2003 гг. (все цифры даны в % к числу всех зарегистрированных избирателей / всех опрошенных респондентов).

Таблица 1.Взвешенные и невзвешенные рейтинги В.Путина и «Единой России» в электоральном цикле 1999 (2000) – 2003 (2004) гг.

Данные показывают, что на протяжении прошлого избирательного цикла результаты голосования за В.Путина составили 36% в 2000 году и 47% в 2003 году (в среднем условно 41%). Что же касается результатов опроса, полученных ФОМом непосредственно из поля, т.е. до применения процедуры взвешивания, то в среднем за период (усреднены все результаты измерений) он составил 61%, причем в первой половине электорального цикла он ни разу не опустился ниже отметки 50%, а во второй – ниже отметки 60% (см. Приложение 1 и 2). Аналогичная ситуация складывается и с рейтингом «Единой России», который в невзвешенном состоянии на протяжении всего межвыборного периода почти в 1,5 раза превышал среднюю величину рейтингов ЦИК.

Применение процедуры взвешивания (см. крайний справа столбец) приблизило результат измерения к фактическому положению дел, однако такое улучшение следует рассматривать скорее как подгонку под предполагаемый ответ, чем как результат повышения точности прогноза.

Сегодня в условиях перелома электоральных трендов, связанных, в частности, с окончательным исчезновением в общественном сознании дихотомии «демократы – коммунисты», исходное искажение рейтингов, очевидно, сохраняется, хотя его направленность становится менее очевидной.

Наиболее близкой к действительности сегодня представляется следующая формулировка: в результатах опросов по непонятным причинам заметно завышается доля электората, лояльного власти, и занижается доля левого, протестного и пассивного электората.

Необходимо подчеркнуть, что эта формулировка является гипотетической. Расхождения, фиксируемые при сопоставлении результатов опросов с результатами выборов, описывают не само изначальное искажение, а лишь его «проекцию» на заданный набор переменных. Поэтому искажение может содержать в себе невыявленную латентную часть, которая неожиданно может стать явной при смене политических трендов или изменении общественной повестки дня. Неизвестность природы фактора искажения может привести также к неожиданным и серьезным ошибкам в прогнозах выборов и результатах других общественных процессов. Могут быть не учтены неизвестные параметры искажения (например, преувеличиваться или преуменьшаться фактор национализма).

2. Описание процедуры взвешивания и оценка ее корректности

Перед описанием процедуры взвешивания необходимо сделать два важных пояснения.

Во-первых, процедура взвешивания является не единственной моделирующей процедурой, используемой социологами для повышения точности выборных прогнозов. Многие социологи, включая руководителя ФОМа А.Ослона, считают, что успешный прогноз выборов возможен лишь на основе правильного моделирования явки избирателей, на основе которой должны разрабатываться поправочные коэффициенты к рейтингам политиков и политических партий. Такой алгоритм моделирования имеет право на существование, однако его не следует путать с указанной выше процедурой взвешивания. Эти процедуры абсолютно независимы друг от друга. В практике ФОМа и Левада-центра они обычно используются совместно в следующем порядке: сначала производится взвешивание, потом моделирование явки. Правомерность такого алгоритма моделирования могла бы быть предметом дискуссии, однако проблема заключается в том, что моделирование явки является предметом подробного публичного описания и обсуждения, использование процедуры взвешивания не оглашается.

Во-вторых, алгоритм моделирования, который был выше назван процедурой взвешивания, в действительности является не единым алгоритмом, а семейством родственных процедур, которых теоретически существует бесконечное множество. В практике социологических служб используются два основных алгоритма взвешивания: по президентским и по партийным рейтингам.[1] Оба вида взвешивания также имеют большое число модификаций, многие из которых сложно выявить даже при детальном анализе первичных массивов.

Опишем суть процедуры взвешивания на примере президентской ее разновидности. Для ее осуществления в анкету включается не один, а два вопроса о президентском голосовании: прогнозный («За кого вы проголосуете, если выборы состоятся в ближайшее воскресенье?») и ретроспективный («За кого Вы проголосовали на прошлых выборах?»). В основу взвешивания кладется соотнесение ответов на второй вопрос с данными ЦИК о результатах последних выборов.

Поскольку президентский алгоритм взвешивания использовался ФОМом и Левада-центром в прошлом избирательном цикле, воспроизведем алгоритмы расчетов этих служб на примере результатов выборов 2000 года.

Согласно официальным данным Центризбиркома, в 2000 г. Г.Зюганов получил на президентских выборах 20% голосов всех зарегистрированных избирателей. Однако, по данным опроса ФОМа и Левада-центра (возьмем для примера данные за август 2003 г.), доля избирателей, указавших в анкете, что они на прошлых президентских выборах голосовали за Зюганова, в августе 2003 года составила лишь 7 – 8%.

Для приведения результатов опроса в соответствие с электоральной статистикой специалисты ФОМа и Левада-центра увеличили численность электоральной группы сторонников Г.Зюганова, приравнивая ее к 20%. Такой результат достигается путем присвоения соответствующим анкетам повышающего коэффициента, близкого к трем.

Аналогично доля ретроспективных сторонников В.Путина, согласно результатам опроса, составила около 50% вместо фактических 36%. Для корректировки этих данных соответствующим анкетам присваивается понижающий коэффициент, приблизительно равный 0,7.

После присвоения коэффициентов названным частям массивов осуществляется формальный счет, исходя из которого рассчитываются прогнозные рейтинги Г.Зюганова, В.Путина и других политиков, рейтинги всех политических партий и все остальные показатели опроса. Эти скорректированные данные публикуются и передаются заказчику как непосредственные результаты опроса.

На первый взгляд, в результате взвешивания структура прогнозных рейтингов становится более реалистичной и обладает большей прогностической силой. Однако в действительности она лишь приближается к структуре рейтингов прошлого избирательного цикла и фактически (с небольшими поправками) копирует их. Такой метод прогнозирования представляет собой завуалированную экстраполяцию результатов прошлых выборов на предстоящие. Он может давать приемлемые (или кажущиеся приемлемыми) результаты в условиях сугубо инерционной политической динамики. Изменения в трендах, ломающие такую динамику, делают очевидной всю некорректность применяемой методики.

3. Изменения алгоритмов взвешивания
в связи с изменением федеральных политических трендов

До 2004 г. описанный выше алгоритм взвешивания, несмотря на его некорректность, использовался единообразным способом на протяжении длительных периодов времени обеими рассматриваемыми социологическими службами. Это обеспечивало, по крайней мере, сопоставимость рейтингов от одного замера к другому.[2] Однако в 2004 году период политической инерционности закончился. Это повлекло за собой изменение трендов и, как следствие, перетряску используемых ФОМом и, предположительно, Левада-центром, алгоритмов коррекции результатов опросов.

Первый перелом политических трендов, произошедший в конце 2003 – начале 2004 г., состоял в фактическом исчезновении из политического поля фигуры Г.Зюганова, ретроспективный рейтинг которого на протяжении целого десятилетия использовался ФОМом м Левада-центром как своего рода константа российских социологических измерений.

В связи с невозможностью использования «зюгановской константы» начиная с 2004 г. ФОМ и, вероятно, Левада-центр, без каких-либо объявлений сменили алгоритм взвешивания с президентского на партийный, т.е. основанный на ретроспективных партийных рейтингах. Информация об этом изменении вновь была скрыта от заказчиков и от широкой общественности. В частности, не было разъяснено, что в результате такого действия рейтинговые ряды прошлого и нынешнего электорального циклов сделались несопоставимыми.

Второе очевидное изменение трендов наблюдается сейчас, в сентябре-октябре 2004 г. Процессы этих изменений находятся еще в самом начале, но есть основания считать, что они носят глубинный характер, связанный с проходящими в стране политическими реформами. В этих условиях прежние алгоритмы корректировки результатов опросов неизбежно начинают давать сбои. Сотрудники ФОМа и, вероятно, других социологических организаций, использующих сходные алгоритмы, пытаются скомпенсировать вновь возникающие аномалии все новыми дополнительными процедурами взвешивания, что неизбежно ведет к усилению хаоса в данных и ко все более откровенной подгонке результатов под ожидаемый (причем зачастую ошибочный) результат.

Тенденция к усилению хаоса в использовании алгоритмов взвешивания может быть проиллюстрирована на свежих примерах деятельности ФОМа как федерального, так и регионального уровня.

4. Последствия результатов взвешивания
в опросах федерального уровня

Результаты взвешивания рейтингов федерального уровня могут быть проиллюстрированы на примере последних волн опроса ФОМа в сентябре-октябре 2004 г. (с 38 по 41 волны).[3] В Таблице 2 приведены данные результатов опроса ФОМа в том виде, в каком они пришли из социологического поля, т.е. до применения процедуры взвешивания. Данные показывают, что, как и в прошлом избирательном цикле, невзвешенные рейтинги «Единой России» примерно в 1,5 раза превышают данные ЦИК, относящиеся к последним выборам. Рейтинг КПРФ и ЛДПР в невзвешенных данных приблизительно соответствует данным ЦИК, а рейтинг «Родины» выглядит заниженным (но каков он в действительности –неизвестно).

Таблица 2 Невзвешенные данные по результатам опросов ФОМа в октябре 2004 г.

В Таблице 3 приведены результаты опросов в том виде, в каком они были официально опубликованы на сайте ФОМа. Из них видно, что рейтинг «Единой России» выдерживается на «приемлемом» уровне около 25%. В случае отклонения от этого уровня принимаются меры, зачастую весьма искусственные, по его удержанию в этих априорно заданных границах.[4] Рейтингу КПРФ дано некоторое приращение, обоснованность которого ничем не обоснована, а рейтинг «Родины» по-прежнему выглядит заниженным. Последнее обстоятельство выглядит весьма сомнительным, учитывая растущий тренд «Родины» на выборах в региональные Заксобрания.

Таблица 3. Фактически опубликованные данные ФОМа

Анализ результатов взвешивания данных в 38 – 41 волнах опроса выявил еще одну проблему, а именно применение алгоритма многократного перевзвешивания, используемого в тех случаях, когда результаты обычного взвешивания по каким-то (скорее всего, субъективным) причинам не устраивают специалистов ФОМа. В рассматриваемом случае метод многократного перевзвешивания был использован в отношении 39 и 40 волн.

Стандартный алгоритм взвешивания, обычно используемый ФОМом в текущем избирательном цикле, в несколько упрощенном виде сводится к следующему. На первом этапе берутся данные ЦИК о результатах последних выборов в Госдуму (по партиям) и сравниваются с результатами ретроспективного рейтинга, полученного в ходе последнего опроса («За какую партию Вы проголосовали на прошлых выборах?»). Делением первого на второе получаются весовые коэффициенты, присваиваемые каждой партии. Далее весь массив анкет делится на подмассивы, образованные ретроспективными сторонниками соответствующих партий. Конкретно это означает, что те анкеты, в которых респонденты заявили, что на прошлых выборах они голосовал за «Единую Россию», образуют один подмассив, за КПРФ – другой, и т.д. Каждому подмассиву присваивается названный коэффициент, после чего осуществляется формальный подсчет взвешенных прогнозных рейтингов и всех других показателей. Выше уже говорилось о том, что использование такого алгоритма выглядит крайне некорректным, но этот алгоритм, по крайней мере, единообразен и воспроизводим.

Анализ массивов ФОМа, а также Левада-центра, приводит к однозначному выводу, что иногда этот алгоритм не соблюдается, а вместо него используется многократное перевзвешивание. Причиной для использования такого алгоритма обычно является необъяснимое (или кажущееся необъяснимым) нарушение плавности тренда какого-либо из электоральных показателей. В этом случае у исследователей возникает своего рода паника, которая выражается в стремлении подогнать рейтинговые показатели под плавный ожидаемый тренд. Сложность этой проблемы состоит в том. что подгонка одного показателя обычно влечет за собой «проваливание» другого, который тоже начинает подгоняться под приемлемый уровень. В этих условиях начинают использоваться алгоритмы компьютерного счета, позволяющие путем многих (зачастую нескольких десятков или даже сотен) итераций привести результаты к «красивому» виду. При этом если алгоритм однократного взвешивания при всей его некорректности может иметь под собой хоть какие-то основания, то алгоритм многократного перевзвешивания представляет собой откровенную процедуру подгонки данных под предполагаемый ответ. Результаты этого перевзвешивания по своей валидности ничем не отличаются от простого вычеркивания одних цифр и вписывания других.

В Таблице 4 приведены данные по анализируемым волнам опросов, взвешенные методом однократного взвешивания. Данные по волнам 38 и 41 идентичны в этой и в прошлой таблицах, данные по волнам 39 и 40 позволяют оценить эффект многократного взвешивания. Сравнение этих данных позволяет выдвинуть гипотезу о том, что исходным мотивом для использования многократного перевзвешивания в данном случае было необъяснимое снижение рейтинга КПРФ, имеющееся в исходном (невзвешенном) массиве. Алгоритм однократного взвешивания не устранил этого эффекта, поэтому, как можно предполагать, было использовано многократное.

Однако использование многократного перевзвешивания нередко приводит к неприятным казусам, который проявился в 40 волне. По сообщениям многих свидетелей на форумах в Интернете, именно в этой волне электоральный рейтинг В.Путина необъяснимо упал на 9% (с 49% до 40%). Эта информация продержалась на сайте ФОМа несколько часов, после чего была заменена на более приемлемую цифру 46%. Объяснения сотрудников ФОМа сводились к тому, что это была простая техническая ошибка или опечатка. Однако факт использования в этой волне алгоритма многократного перевзвешивания делает правдоподобной иную гипотезу, состоящую в том, что сотрудники, осуществлявшие перевзвешивание, успешно подогнали партийные рейтинги, но не заметили, что «провалили» рейтинг В.Путина. Во всяком случае, именно к такому результату привел нас один из вариантов многократного перевзвешивания, по-видимому, близкий к тому, который использовался сотрудниками ФОМа. (Необходимо пояснить, что в случаях многократного перевзвешивания в массивах ФОМа не указывается точная информация, позволяющая строго воспроизвести ее алгоритм, поскольку коэффициенты даются в закодированном виде).

Начиная с 41 волны рейтинг КПРФ вновь по необъяснимым причинам пришел в «норму». О причинах этого можно только догадываться. Может быть, это произошло само по себе, возможно, были произведены какие-то изменения в анкете. Кроме того, не исключено, что интервьерам были даны дополнительные квотные задания, «исправляющие» предполагаемый перекос. Так или иначе, применение алгоритма многократного взвешивания стало не нужным, и взвешивание вновь стало осуществляться по обычному алгоритму.

Таблица 4. Данные, взвешенные по типовому алгоритму ФОМа

5. Последствия результатов взвешивания в опросах
регионального уровня

Проблема изначального искажения результатов опросов с невыявленными причинами, а также несостоятельность корректировки этих результатов посредством взвешивания, в полной мере проявилась в региональных опросах ФОМа. Вполне очевидно, что закономерности региональных выборов, происходящие к тому же в условиях общего изменения политических трендов, оказались иными, чем на прошлый федеральных выборах. Поэтому механизм экстраполяции думских выборов декабря 2003 года на предстоящие региональные выборы оказался несостоятельным.

Результаты рейтинговых измерений ФОМа дали крайне неточный результат во всех трех регионах, в которых прошли выборы в Заксобрания в октябре 2004 г.

Визуально эта неточность для некоторых наблюдателей была закамуфлирована сравнением официальных результатов выборов, рассчитанных от числа фактических участников голосования с результатами опросов, рассчитанных от всех опрошенных респондентов. Действительно, при сравнении этих цифр может возникнуть иллюзия, что результаты опросов и голосований хотя и расходятся, но не столь существенно.

Для простоты приведем сравнение по рейтингам «Единой России», а полные результаты сравнения по всем партиям будут даны ниже. Согласно официальным данным ФОМа, усредненный рейтинг «Единой России» по трем регионам составил 23,4% от всех опрошенных, а по данным ЦИК 28,6% от всех проголосовавших (расхождение минус 5,2%).

Картина радикально меняется при проведении более корректного сравнения. Если пересчитать данные ЦИК в процентах ко всем зарегистрированным избирателям, то есть привести их к виду, сопоставимому с результатами опроса, мы получим, что усредненный рейтинг «Единой России» составил всего лишь 9,3%, а величина ошибки – плюс 14,1%. Сходная картина наблюдается и по всем остальным партиям, принимавшим участие в голосованиях.

Стандартное объяснение расхождений между результатами опросов и итогами выборов со стороны ФОМ состоит в следующем. Результаты опросов нельзя отождествлять с прогнозами выборов потому, что технология опросов зачастую неверно (по объективным причинам) прогнозирует явку избирателей. Поэтому, по мнению ФОМа, для получения корректных прогнозов необходимо создание специальных математических моделей, позволяющих перейти от непосредственных результатов опросов к прогнозам результатов выборов. Такая точка зрения имеет право на существование, но она не должна камуфлировать существование других факторов, способных сделать невалидными результаты рейтинговых измерений. Использование процедур моделирования явки не должно также скрывать за собой использование необъявленных и сомнительных по своему содержанию моделирующих процедур типа взвешивания.

Анализ массивов ФОМа по 18 регионам показывает, что в них используются те же алгоритмы взвешивания данных, что и в опросах федерального уровня. Вновь можно говорить о применении алгоритмов однократного и многократного взвешивания, первый из которых обозначен цифрой 1, а второй – цифрой 2 (см. табл. 5).

Специфика использования первого алгоритма осложняется тем, что данные ЦИК по выборам федерального уровня в данном регионе приходится проецировать на ожидаемые результаты региональных выборов, что может внести в результат очень серьезные систематические ошибки (что фактически и произошло).

Мотивы перехода от первого алгоритма взвешивания ко второму (многократному) требуют специального анализа. Во всяком случае, видна бессистемность в использовании этих алгоритмов, отражающая ситуационность принятия решения и неуверенность исследователей в достоверности своих данных.

Таблица 5. Алгоритмы взвешивания в региональных исследованиях

Использование алгоритма взвешивания в том или ином варианте не привело к приемлемому результату прогноза выборов. Согласно данным Таблицы 6, экстраполирование результатов федеральных выборов декабря 2003 г. на ожидаемые результаты региональных выборов привело к некоторому сокращению разрыва между прогнозным и фактическим рейтингом «Единой России», но этот разрыв все равно остался неприемлемо высок.

Вместе с тем, экстраполяция федеральных выборов привела к резкому завышению прогнозных рейтингов КПРФ и, особенно, ЛДПР, а также значительному занижению рейтингов местных партий (особенно резко это видно в таблице с усредненными данными по трем регионам, где фактический суммарный рейтинг «других партий» фактически составил почти 30% против примерно 8% по данным опроса.

Лишь в Республике Марий Эл, характеризующейся традиционным типом голосования, имеющим черты сходства с федеральными выборами, результаты опроса менее резко отклонились от результатов голосования, но и здесь очевидно резкое завышение прогнозного рейтинга ЛДПР и, в меньшей степени, КПРФ.

Таблица 6. Сравнение электоральных рейтингов политических партий (по данным ФОМ) с результатами федеральных и региональных выборов (по данным ЦИК)

Выше уже говорилось, что специалисты ФОМа, признавая расхождение между результатами опросов и объективными данными голосований, объясняют это тем, что опросы недостаточно корректно прогнозируют явку избирателей. Поэтому, по их мнению, для получения точного прогноза необходимо использовать специальную модель, учитывающую влияние фактора явки на результаты выборов.

Вариантов оценки предстоящей явки и моделей, основанных на их основе, существует много. Ниже для проверки гипотезы о влиянии фактора явки приведены расчетные данные, основанные на трех видах моделей, исчисляющих явку от числа определившихся в выборе партии, от числа точно решивших голосовать и от числа окончательно решивших прийти на выборы.

Под числом определившихся в выборе партии понимается та совокупность респондентов, которая при ответе на вопрос «Если бы выборы состоялись в ближайшее воскресенье, за какую партию Вы бы проголосовали?» назвала какую-либо конкретную партию или выбрала позицию «против всех». Эта совокупность принимается за 100%, и все рейтинги рассчитываются от этой базы. Затруднившиеся ответить или заявившие о том, что не пойдут на выборы, исключаются из расчетов (т.е. приравниваются к неявившимся).

Под числом точно решивших прийти голосовать понимается совокупность респондентов, выбравших соответствующую позицию в отдельном вопросе анкеты «Собираетесь ли Вы принять участие в выборах?». Возможны ответы обычно формируются в виде следующей шкалы: точно приму участие, скорее приму участие, скорее не приму участие, точно не приму участие. В этом случае под решившими пойти на выборы могут считаться либо те, кто выбрал только первую позицию, либо выбравшие первые две, причем во втором случае некоторые исследователи присваивают категории «скорее приму участие» некий понижающий коэффициент. В данном случае для расчетов был использован первый вариант, что мотивировалось в первую очередь низкой реальной явкой на выборы, практически точно совпавшей с численность первой категории респондентов, точно решивших пойти на выборы.

Под числом окончательно решивших пойти на выборы понимается совокупность респондентов, которой после вопроса «Собираетесь ли Вы пойти на выборы?» задается дополнительный контрольный вопрос: «Является ли Ваше решение окончательным?». Методика расчета явки, основанная на последнем вопросе, является оригинальной разработкой ФОМа и, насколько известно, не используется другими социологическими службами. В нашем случае эта методика также была использована для подсчета явки с целью определения ее прогностической силы (см. Таблицу 7)

Все три варианта расчетов явки были проведены как для взвешенных, так и для невзвешенных данных.

Результаты расчетов, если говорить коротко, свелись к тому, что все три варианта моделей, как во взвешенном, так и в невзвешенном состоянии, оказались близкими друг к другу и не дали удовлетворительного прогноза.

Причина, очевидно, состоит в наличии первичного искажения исходных данных опросов, которые, несмотря на все усилия специалистов по моделированию, так и не удалось привести к приемлемому с прогностической точки зрения виду.

Фактор моделирования явки, несомненно, важен для прогнозирования результатов выборов, хотя значение конкретного способа прогнозирования явки, по-видимому, преувеличивается.

Что же касается алгоритма взвешивания, то результаты расчетов показали его деструктивную роль: механически уменьшая погрешность по «Единой России», он увеличивает ее по всем остальным позициям, ухудшая качество прогнозного результата..

Таблица 7. Прогнозные результаты региональных выборов, основанные на различных моделях явки избирателей

6. О причинах изначального искажения результатов российских социологических измерений и мерах по их преодолению

Выше уже говорилось о том, что сокрытие самого факта изначального искажения результатов социологических измерений привело к тому, что это явление никем систематически не изучалось и не анализировалось. Прямую ответственность несут за это руководители ведущих российских социологических служб – ФОМа и Левада центра. Особенно велика ответственность руководителей Левада-центра (прежнего ВЦИОМа), поскольку именно они в 1992 году ввели в практику использование процедуры взвешивания, а ФОМ позднее лишь механически скопировал ее. В последующие годы обе организации, и особенно ФОМ, обладая большими ресурсами, могли без спешки вернуться к изучению этой проблемы, выявить ее причины и предложить алгоритм решения. Организации, проделавшей такую работу, она принесла бы несомненную научную славу. Тот факт, что такая работа не была сделана, свидетельствует о низком профессиональном и, особенно, моральном уровне руководителей названных организаций.

О неприемлемости использования процедуры взвешивания говорит, в частности, тот малоизвестный неспециалистам факт, что зарубежные заказчики социологических опросов в России категорически настаивают на том, чтобы передаваемые им данные и массивы не подвергались никаким счетным операциям типа взвешивания. Российские заказчики, к сожалению, зачастую не обладают квалификацией, необходимой для такой постановки вопроса, чем и пользуются названные социологические службы, откровенно используя политику двойных стандартов – для экспорта и для внутреннего потребления.

Для полноты картины особого упоминания заслуживает ситуация с проводимыми ФОМом опросами в Украине. В украинских опросах алгоритм взвешивания не используется, очевидно, потому, что вектор изначального искажения там неизвестен, поэтому использовать алгоритмы подгонки становится рискованным. Тем не менее, само это искажение наверняка существует, и оно может сработать неожиданным образом. До сих пор никто из социологов ФОМа или других социологических организаций не объяснил заказчикам и общественности, почему в России использование алгоритмы взвешивания в России необходимо, а в Украине не требуется. С социально-географической точки зрения Украина устроена иначе, чем Россия, однако знание природы изначального сдвига социологических данных в России, несомненно, помогло бы более правильно построить выборку и в Украине, избежав тем самым излишних политических рисков.

В настоящее время среди российских социологов существуют разные точки зрения относительно причин изначального искажения результатов опросов. Эти точки зрения могут быть сведены к четырем основным гипотезам, причем в действительности причины, вытекающие из этих гипотез, могут действовать совместно. Этими гипотезами являются: психологическая гипотеза, гипотеза географического сдвига выборки, гипотеза низкой доступности респондентов, гипотеза деградации социологического поля. Для более полного раскрытия этих гипотез при подготовке данной записки был проведен опрос 10 экспертов (социологов и географов), мнения которых учтены в нижеследующем описании.

Психологическая гипотеза. Применительно к рейтингу В.Путина и «Единой России» суть этой гипотезы состоит в том, что после прошедших выборов часть респондентов, голосовавших иначе, или вообще не участвовавших в голосовании, в ситуации опроса «присоединяется к победителям», завышая тем самым их рейтинги. В некоторых случаях, например, непосредственно после убедительной победы на выборах, эффекты такого рода, по-видимому, имеют место. Однако эта теория многого не объясняет: например, систематического завышения рейтингов В.Путина и «Единой России» в межвыборный период, а также завышения рейтингов непопулярного Ельцина в прошлых электоральных циклах. В любом случае можно констатировать, что ни ФОМ, ни Левада-центр не сделали никаких попыток операционализировать и проверить эту гипотезу, а также отделить влияние этого фактора от других. Сегодня психологическая гипотеза превратилась в своего рода палочку-выручалочку, на которую руководители социологических служб списывают любые провалы прогнозов выборов, не анализируя иных, более существенных и технологичных причин.

Гипотеза географического сдвига выборки. Эта гипотеза неоднократно высказывалась многими авторами, в том числе политическим географом В.Каганским, в его публикации в «Газете.ру» 9 октября 2003 г. Суть гипотезы состоит в том, что структура выборки опросов общественного мнения не репрезентативна в пространственном отношении, в ней не представлены многие типы территорий и поселений. По оценке В.Каганского, системой выборочных опросов не охвачено около трети населения страны, представляющей ее межрегиональную и внутрирегиональную периферию. Важно, что российские выборки фактически не менялись уже более десяти лет, то есть со времени возникновения в России репрезентативных опросов населения. В своей статье В.Каганский приводит конкретные примеры «электоральных аномалий» и абсолютно справедливо замечает, что гипотеза географического сдвига строго операциональна и количественно проверяема. Однако ведущие социологические службы страны игнорируют этот призыв и фактически блокируют возможность проведения географического аудита своих выборок. Проведение такого аудита, разработка принципиально нового поколения выборки, проведение широкой профессиональной дискуссии по проблемам ее построения являются необходимыми условиями устранения искажений результатов опросов.

Фактор географического смещения выборки мог стать одной из основных причин неудовлетворительности результатов опросов, направленных на прогнозирование результатов выборов Заксобраний регионов.

Гипотеза низкой доступности респондентов. Известно, что при проведении опросов какая-то часть респондентов отказывается от сотрудничества в интервьюерами либо оказывается для них недоступной. В последние десятилетия число таких отказов растет, и Россия не является исключением из этой тенденции. Проблема, однако, заключается в том, что ведущие социологические службы России, по-видимому, занижают масштабы этой проблемы и не принимают конструктивных мер по ее разрешению. По данным ФОМа, опубликованным на его сайте, от участия в опросах отказываются от 30 до 35% респондентов. Эта цифра выглядит заниженной и нуждается в проверке, поскольку по данным специалистов-полевиков в Москве процент отказов при проведении поквартирных опросов составляет около 80%, а в среднем по России – около 50%. Число отказов может резко увеличиваться в случае плохой организации социологического поля (см. следующую гипотезу). Смещение выборки, возникающее по этой причине, не может не оказывать существенного влияния на характеристики получаемых данных. Фактически, результаты опросов представляют не все население, а лишь специфическую его часть, состоящую из людей, идущих на контакт легче других. Хотя данная проблема в своей основе имеет объективный характер, необходим аудит ее состояния, оценка возможностей преодоления, а также проведение методических экспериментов, направленных на определение величины и вектора возможного смещения результатов.

Гипотеза деградации социологического поля. Этот фактор сегодня мало кем принимается во внимание, а между тем его действие может оказаться очень серьезным. Работа структур, осуществляющих полевые работы в регионах, сегодня малопрозрачна даже для головных офисов московских социологических служб. Во многих регионах на все московские фирмы де-факто работают одни и те же люди, т.е. одни и те же менеджеры и одни и те же интервьюеры. Сформировался слой профессиональных интервьюеров, зарабатывающих этим деньги и зачастую проводящих опросы с грубыми нарушениями технологии. Московские головные офисы хотя и проводят 10 – 15% контроль, но этот контроль зачастую формален и не слишком дотошен. По мнению специалистов-полевиков, изощренность нарушений растет, процент раскрываемости падает. Московские головные офисы практически ничего не делают для исправления этой ситуации, в результате чего деградация социологического поля усиливается (по мнению многих полевиков, эти процессы особенно ускорились после 2000 года). Рост нарушения маршрутов, проведение опросов в территориально более доступных местах, а также прямая фальсификация анкет могут стать одной из причин искажения результатов, поскольку интервьюеры, фальсифицирующие анкеты, неявно ориентируются на доступную им рейтинговую информацию о высоком рейтинге В.Путина и «Единой России». Появление касты профессиональных интервьюеров противоречит мировой практике проведения репрезентативных опросов, согласно которой во избежание «усталости» интервьюеров производится регулярная их ротация (увольнение старых и найм новых).[5] Для исправления положения необходим аудит технологического состояния социологических сетей и принятие мер по подъему технологической дисциплины опросов. Так, по выражению одного из опрошенных экспертов,

• «…до тех пор, пока мы будем работать через региональных посредников, где сидят мелкие князьки, которые ограничивают свободу нашего выбора, даже не выборка будет определять качество результатов, а стиль работы регионального партнера».

[1] Перевзвешивание массивов ФОМа по социально-демографическим и территориальным квотам здесь подробно рассматриваться не будет. Кратко отметим, что перевзвешивание увеличенной московской квоты, введенной для повышения ее репрезентативности, вполне корректно. Процедуры перевзвешивания по другим территориальным сегментам требуют специального анализа. Что же касается перевзвешивания социально-демографических квот, то выскажем мнение, что столь длительно работающая на рынке и столь богатая организация, как ФОМ, могла бы довести свою технологию до уровня, при котором такое перевзвешивание сделалось бы либо не нужным, либо использовалось в самых минимальных размерах или в экстренных случаях (например, в случае каких-то непредсказуемых сбоев в работе региональных звеньев).

[2] Однако систематическое использование этого алгоритма камуфлировало ряд важных тенденций, которые при правильной интерпретации позволили бы заблаговременно спрогнозировать тенденцию электорального упадка Г.Зюганова и КПРФ. Почти трехкратное падение численности респондентов, решающих указать, что на прошлых выборах они голосовали за Г.Зюганова, должно было подтолкнуть исследователей не к тому, чтобы искусственно завышать долю сторонников этого политика, а навести на мысль о раскручивании против него так называемой «спирали молчания». Именно такая трактовка падения ретроспективного рейтинга описана в известной российским социологам книге Э.Ноэль-Нойман «Открытие спирали молчания» на стр. 68 – 70. Существовал и ряд других тенденций, которые больше заслуживали содержательной трактовки, чем камуфлирования.

[3] 38 волна – 18-19 сентября, 39 волна – 25-26 сентября, 40 волна – 02-03 октября, 41 волна – 09-10 октября.

[4] К примеру, по результатам опроса, проведенного 12 – 13 июля 2004 г., рейтинг «Единой России», согласно опубликованным данным, необъяснимо упал примерно на 3%. В следующей (25) волне опроса анкета ФОМа была изменена: список партий, предлагавшийся респондентам, был сокращен с 10 до 7, а партия «Единая Россия» была передвинута в списке с девятого на второе место. Известно, и это подтверждено данными самого ФОМа, что исключение из списка малых партий приводит в основном к соответствующему приращению рейтинга «Единой России». К такому же эффекту (в пределах 1 – 2%) приводит и выдвижение партии на первые места списка.

[5] При проведении большого социологического исследования в Казахстане зимой 2004 года наша исследовательская группа столкнулась с фактом массовых фальсификаций анкет местными профессиональными интервьюерами, обслуживающими казахстанские социологические фирмы, работающие, в том числе, и по российским заказам. Работу, выполненную такими интервьюерами, приходилось переделывать целыми территориальными кустами. При этом вновь набранные интервьюеры, в полном соответствии с мировой практикой, работали гораздо добросовестнее.