Личный сайт Сергея Белановского

Проблема повышения точности российских социологических измерений

Подробности

Категория: Методы исследований

Опубликовано: 23.06.2016 20:41

Автор: Сергей Белановский

Просмотров: 1289

Исходная проблема, вызвавшая необходимость написания данного текста, состоит в неудовлетворительной точности прогнозов результатов выборов в региональные Заксобрания, сделанных на основе репрезентативных опросов, проведенных в соответствующих регионах.

 Однако проблема валидности социологических измерений актуальна и для прогнозирования результатов выборов (а также динамики других политических процессов) федерального уровня. Те методы измерения и прогнозирования, которые могли давать приемлемые результаты в условиях стабильности и инерционности электоральных установок, могут дать резкий сбой в случае изменения политических трендов, которое наблюдаются сейчас.

В связи с этим анализ проблемы валидности рейтинговых измерений будет дан в следующей логике. Сначала будет зафиксирован известный многим социологам, но не афишируемый ими факт наличия изначального скрытого искажения в российских рейтинговых опросах. Затем будет показано влияние этого фактора на результаты измерений и описаны методы, с помощью которых социологи пытаются скорректировать данное искажение. Этот вопрос будет рассмотрен применительно как к федеральному, так и к региональному уровням. Далее будут изложены предполагаемые причины искажения результатов и даны предложения по повышению валидности социологических опросов.

1. Систематическое искажение результатов рейтинговых измерений и алгоритм их корректировки

Представителям российского социологического сообщества хорошо известен тот доказуемый факт, что ведущие социологические службы страны на протяжении более 10 лет (конкретно с 1992 г) постоянно получают из поля информацию о рейтингах, содержащую в себе некое изначальное искажение.

Это искажение в виде систематической и регулярной ошибки неизменно давало о себе знать при сравнении результатов опросов с результатами всех без исключения выборов и референдумов, которые проводились в течение названного исторического периода.

Факт наличия систематического искажения был хорошо известен персоналу социологических служб, но скрывался от заказчиков и от широкой общественности.

Для сокрытия искажения данные, полученные непосредственно из социологического поля, подвергались корректировке с помощью алгоритма, называемого взвешиванием. Скорректированные таким способом данные, официально публиковались как непосредственные результаты опросов. Таким образом, результаты определенных модельных построений (неважно, обоснованных или нет) неправомерно выдавались за результаты исследований в собственном смысле этого слова.

Факт использования процедуры взвешивания скрывался ведущими социологическими фирмами на протяжении более, чем десяти лет. Лишь после того, как в конце 2003 года в СМИ появился ряд разоблачительных публикаций, на эти разоблачения последовал определенный ответ. Руководитель ФОМа А.Ослон официально признал, что его служба действительно корректирует результаты исследований путем взвешивания, однако дальнейшие подробности сообщить отказался. Позднее на сайте ФОМа, Левада-центра и некоторых других фирм появились пояснения по этому вопросу, однако чрезвычайно краткие и не раскрывающие методику перевзвешивания.

Ни одна социологическая фирма не выступила какими-либо разъяснениями по этому поводу. Подлинные цифры результатов рейтинговых измерений по-прежнему остаются внутренней информацией социологических служб, некоторые из которых считают себя вправе корректировать ее по собственному усмотрению.

В связи с тем, что ведущие социологические службы предпочли не анализировать причины возникновения изначальной ошибки, а скрывать ее существование, подлинная природа искажения никем не изучалась и доныне остается неизвестной. На этот счет существует лишь ряд гипотез, которые будут описаны ниже. Неизвестны и точные характеристики искажений, поскольку не до конца понятен их вектор.

Представления социологов о природе искажения менялись с течением времени. В начале 90-х годов данная проблема понималась следующим образом. Считалось, что по не вполне понятным причинам в результатах опросов систематически занижалась величина коммунистического электората (сторонников Г.Зюганова и КПРФ). Соответственно, завышалась доля электората с «демократическими» установками, лояльная Б.Ельцину.

Позднее, в связи с маргинализацией «демократов», социологи стали говорить о завышении доли электората, лояльного власти. О масштабах подобного завышения можно судить на примере данных о рейтинге В.Путина и «Единой России» за период с 2000 по 2003 гг. (все цифры даны в % к числу всех зарегистрированных избирателей / всех опрошенных респондентов. Результаты опроса здесь и далее представляют собой усредненные данные по нескольким фирмам, использующим алгоритмы взвешивания).

Таблица 1. Взвешенные и невзвешенные рейтинги В.Путина и «Единой России» в электоральном цикле 1999 (2000) – 2003 (2004) гг.

Данные показывают, что на протяжении прошлого избирательного цикла результаты голосования за В.Путина составили 36% в 2000 году и 47% в 2003 году (в среднем условно 41%). Что же касается результатов опроса, полученных непосредственно из поля, т.е. до применения процедуры взвешивания, то в среднем за период (усреднены все результаты измерений) он составил 61%, причем в первой половине электорального цикла он ни разу не опустился ниже отметки 50%, а во второй – ниже отметки 60% (см. Приложение 1 и 2). Аналогичная ситуация складывается и с рейтингом «Единой России», который в невзвешенном состоянии на протяжении всего межвыборного периода почти в 1,5 раза превышал среднюю величину рейтингов ЦИК.

Применение процедуры взвешивания (см. крайний справа столбец) приблизило результат измерения к фактическому положению дел, однако такое улучшение следует рассматривать скорее как подгонку под предполагаемый ответ, чем как результат повышения точности прогноза.

Сегодня в условиях перелома электоральных трендов, связанных, в частности, с окончательным исчезновением в общественном сознании дихотомии «демократы – коммунисты», исходное искажение рейтингов, очевидно, сохраняется, хотя его направленность становится менее очевидной.

Наиболее близкой к действительности сегодня представляется следующая формулировка: в результатах опросов по непонятным причинам заметно завышается доля электората, лояльного власти, и занижается доля левого, протестного и пассивного электората.

Необходимо подчеркнуть, что эта формулировка является гипотетической. Расхождения, фиксируемые при сопоставлении результатов опросов с результатами выборов, описывают не само изначальное искажение, а лишь его «проекцию» на заданный набор переменных. Поэтому искажение может содержать в себе невыявленную латентную часть, которая неожиданно может стать явной при смене политических трендов или изменении общественной повестки дня. Неизвестность природы фактора искажения может привести также к неожиданным и серьезным ошибкам в прогнозах выборов и результатах других общественных процессов. Могут быть не учтены неизвестные параметры искажения (например, преувеличиваться или преуменьшаться фактор национализма).

2. Описание процедуры взвешивания и оценка ее корректности

Перед описанием процедуры взвешивания необходимо сделать два важных пояснения.

Во-первых, процедура взвешивания является не единственной моделирующей процедурой, используемой социологами для повышения точности выборных прогнозов. Многие социологи считают, что успешный прогноз выборов возможен лишь на основе правильного моделирования явки избирателей, на основе которой должны разрабатываться поправочные коэффициенты к рейтингам политиков и политических партий. Такой алгоритм моделирования имеет право на существование, однако его не следует путать с указанной выше процедурой взвешивания. Эти процедуры абсолютно независимы друг от друга. В практике социологических фирм они обычно используются совместно в следующем порядке: сначала производится взвешивание, потом моделирование явки. Правомерность такого алгоритма могла бы быть объектом дискуссии, однако проблема заключается в том, что моделирование явки является предметом подробного публичного описания и обсуждения, а использование процедуры взвешивания не оглашается.

Во-вторых, алгоритм моделирования, который был выше назван процедурой взвешивания, в действительности является не единым алгоритмом, а семейством родственных процедур, которых теоретически существует бесконечное множество. В практике социологических служб используются два основных алгоритма взвешивания: по президентским и по партийным рейтингам.[1] Оба вида взвешивания также имеют большое число модификаций, многие из которых сложно выявить даже при детальном анализе первичных массивов.

Опишем суть процедуры взвешивания на примере президентской ее разновидности. Для ее осуществления в анкету включается не один, а два вопроса о президентском голосовании: прогнозный («За кого вы проголосуете, если выборы состоятся в ближайшее воскресенье?») и ретроспективный («За кого Вы проголосовали на прошлых выборах?»). В основу взвешивания кладется соотнесение ответов на второй вопрос с данными ЦИК о результатах последних выборов.

Поскольку президентский алгоритм взвешивания использовался в прошлом избирательном цикле, воспроизведем алгоритмы расчетов этих служб на примере результатов выборов 2000 года.

Согласно официальным данным Центризбиркома, в 2000 г. Г.Зюганов получил на президентских выборах 20% голосов всех зарегистрированных избирателей. Однако, по данным опросов (возьмем для примера данные за август 2003 г.), доля избирателей, указавших в анкете, что они на прошлых президентских выборах голосовали за Зюганова, в августе 2003 года составила лишь 7 - 8%.

Для приведения результатов опроса в соответствие с электоральной статистикой специалисты увеличили численность электоральной группы сторонников Г.Зюганова, приравнивая ее к 20%. Такой результат достигается путем присвоения соответствующим анкетам повышающего коэффициента, близкого к трем.

Аналогично доля ретроспективных сторонников В.Путина, согласно результатам опроса, составила около 50% вместо фактических 36%. Для корректировки этих данных соответствующим анкетам присваивается понижающий коэффициент, приблизительно равный 0,7.

После присвоения коэффициентов названным частям массивов осуществляется формальный счет, исходя из которого рассчитываются прогнозные рейтинги Г.Зюганова, В.Путина и других политиков, рейтинги всех политических партий и все остальные показатели опроса. Эти скорректированные данные публикуются и передаются заказчику как непосредственные результаты опроса.

На первый взгляд, в результате взвешивания структура прогнозных рейтингов становится более реалистичной и обладает большей прогностической силой. Однако в действительности она лишь приближается к структуре рейтингов прошлого избирательного цикла и фактически (с небольшими поправками) копирует их. Такой метод прогнозирования представляет собой завуалированную экстраполяцию результатов прошлых выборов на предстоящие. Он может давать приемлемые (или кажущиеся приемлемыми) результаты в условиях сугубо инерционной политической динамики. Изменения в трендах, ломающие такую динамику, делают очевидной всю некорректность применяемой методики.

3. Изменения алгоритмов взвешивания в связи с изменением федеральных политических трендов

До 2004 г. описанный выше алгоритм взвешивания, несмотря на его некорректность, использовался единообразным способом на протяжении длительных периодов времени обеими рассматриваемыми социологическими службами. Это обеспечивало, по крайней мере, сопоставимость рейтингов от одного замера к другому.[2] Однако в 2004 году период политической инерционности закончился. Это повлекло за собой изменение трендов и, как следствие, перетряску алгоритмов коррекции результатов опросов.

Первый перелом политических трендов, произошедший в конце 2003 – начале 2004 г., состоял в фактическом исчезновении из политического поля фигуры Г.Зюганова, ретроспективный рейтинг которого на протяжении целого десятилетия использовался как своего рода константа российских социологических измерений.

В связи с невозможностью использования «зюгановской константы» начиная с 2004 г. фирмы, проводящие всероссийские опросы, без каких-либо объявлений сменили алгоритм взвешивания с президентского на партийный, т.е. основанный на ретроспективных партийных рейтингах. Информация об этом изменении вновь была скрыта от заказчиков и от широкой общественности. В частности, не было разъяснено, что в результате такого действия рейтинговые ряды прошлого и нынешнего электорального циклов сделались несопоставимыми.

Второе очевидное изменение трендов наблюдается сейчас, в сентябре-октябре 2004 г. Процессы этих изменений находятся еще в самом начале, но есть основания считать, что они носят глубинный характер, связанный с проходящими в стране политическими реформами. В этих условиях прежние алгоритмы корректировки результатов опросов неизбежно начинают давать сбои. Сотрудники социологических организаций, использующих подобные алгоритмы, пытаются скомпенсировать вновь возникающие аномалии все новыми дополнительными процедурами взвешивания, что неизбежно ведет к усилению хаоса в данных и ко все более откровенной подгонке результатов под ожидаемый (причем зачастую ошибочный) результат.

Тенденция к усилению хаоса в использовании алгоритмов взвешивания может быть проиллюстрирована на свежих примерах опросов как федерального, так и регионального уровня.

4. Последствия результатов взвешивания в опросах федерального уровня

Стандартный алгоритм взвешивания в несколько упрощенном виде сводится к следующему. На первом этапе берутся данные ЦИК о результатах последних выборов в Госдуму (по партиям) и сравниваются с результатами ретроспективного рейтинга, полученного в ходе последнего опроса («За какую партию Вы проголосовали на прошлых выборах?»). Делением первого на второе получаются весовые коэффициенты, присваиваемые каждой партии. Далее весь массив анкет делится на подмассивы, образованные ретроспективными сторонниками соответствующих партий. Конкретно это означает, что те анкеты, в которых респонденты заявили, что на прошлых выборах они голосовал за «Единую Россию», образуют один подмассив, за КПРФ – другой, и т.д. Каждому подмассиву присваивается названный коэффициент, после чего осуществляется формальный подсчет взвешенных прогнозных рейтингов и всех других показателей. Выше уже говорилось о том, что использование такого алгоритма выглядит крайне некорректным, но этот алгоритм, по крайней мере, единообразен и воспроизводим.

Анализ массивов приводит к однозначному выводу, что иногда этот алгоритм не соблюдается, а вместо него используется многократное перевзвешивание. Причиной для использования такого алгоритма обычно является необъяснимое (или кажущееся необъяснимым) нарушение плавности тренда какого-либо из электоральных показателей. В этом случае у исследователей возникает своего рода паника, которая выражается в стремлении подогнать рейтинговые показатели под плавный ожидаемый тренд. Сложность этой проблемы состоит в том, что подгонка одного показателя обычно влечет за собой «проваливание» другого, который тоже начинает подгоняться под приемлемый уровень. В этих условиях начинают использоваться алгоритмы компьютерного счета, позволяющие путем многих (зачастую нескольких десятков или даже сотен) итераций привести результаты к «красивому» виду. При этом если алгоритм однократного взвешивания при всей его некорректности воспроизводим и может иметь под собой хоть какие-то основания, то алгоритм многократного перевзвешивания представляет собой откровенную подгонку данных под предполагаемый ответ. Результаты этого многократного перевзвешивания по своей валидности ничем не отличаются от простого вычеркивания одних цифр и вписывания других. Единственное преимущество этого алгоритма состоит в возможности получения согласованных цифр при создании кросс-таблиц.

5. Последствия результатов взвешивания в опросах регионального уровня

Проблема изначального искажения результатов опросов с невыявленными причинами, а также несостоятельность корректировки этих результатов посредством взвешивания, в полной мере проявляет себя в региональных опросах. Вполне очевидно, что закономерности региональных выборов, происходящие к тому же в условиях общего изменения политических трендов, оказались иными, чем на прошлый федеральных выборах. Поэтому механизм экстраполяции думских выборов декабря 2003 года на предстоящие региональные выборы оказался несостоятельным.

Результаты рейтинговых измерений дали крайне неточный результат практически во всех регионах, в которых прошли региональные выборы.

Стандартное объяснение расхождений между результатами опросов и итогами выборов состоит в следующем. Результаты опросов нельзя отождествлять с прогнозами выборов потому, что технология опросов зачастую неверно (по объективным причинам) прогнозирует явку избирателей. Поэтому, по мнению авторов исследований, для получения корректных прогнозов необходимо создание специальных математических моделей, позволяющих перейти от непосредственных результатов опросов к прогнозам результатов выборов. Такая точка зрения имеет право на существование, но она не должна камуфлировать существование других факторов, способных сделать невалидными результаты рейтинговых измерений. Использование процедур моделирования явки не должно также скрывать за собой использование необъявленных и сомнительных по своему содержанию моделирующих процедур типа взвешивания.

Анализ массивов по 18 регионам показывает, что в них используются те же алгоритмы взвешивания данных, что и в опросах федерального уровня. Вновь можно говорить о применении алгоритмов однократного и многократного взвешивания.

Специфика использования первого алгоритма осложняется тем, что данные ЦИК по выборам федерального уровня в данном регионе приходится проецировать на ожидаемые результаты региональных выборов, что может внести в результат очень серьезные систематические ошибки (что фактически и произошло).

Мотивы перехода от первого алгоритма взвешивания ко второму (многократному) требуют специального анализа. Во всяком случае, видна бессистемность в использовании этих алгоритмов, отражающая ситуационность принятия решения и неуверенность исследователей в достоверности своих данных.

Использование алгоритма взвешивания в том или ином варианте не привело к приемлемому результату прогноза выборов. Анализ показывает, что экстраполирование результатов федеральных выборов декабря 2003 г. на ожидаемые результаты региональных выборов привело к некоторому сокращению разрыва между прогнозным и фактическим рейтингом «Единой России», но этот разрыв все равно остался неприемлемо высок.

Вместе с тем, экстраполяция федеральных выборов привела к резкому завышению прогнозных рейтингов КПРФ и, особенно, ЛДПР, а также значительному занижению рейтингов местных партий, что стало настоящей «бедой» этих опросов. Выше уже говорилось, что авторы опросов, признавая расхождение между результатами опросов и объективными данными голосований, объясняют это тем, что опросы недостаточно корректно прогнозируют явку избирателей. Поэтому, по их мнению, для получения точного прогноза необходимо использовать специальную модель, учитывающую влияние фактора явки на результаты выборов.

Вариантов оценки предстоящей явки и моделей, основанных на их основе, существует много. Ниже для проверки гипотезы о влиянии фактора явки приведены расчетные данные, основанные на трех видах моделей, исчисляющих явку от числа определившихся в выборе партии, от числа точно решивших голосовать и от числа окончательно решивших прийти на выборы.

Под числом определившихся в выборе партии понимается та совокупность респондентов, которая при ответе на вопрос «Если бы выборы состоялись в ближайшее воскресенье, за какую партию Вы бы проголосовали?» назвала какую-либо конкретную партию или выбрала позицию «против всех». Эта совокупность принимается за 100%, и все рейтинги рассчитываются от этой базы. Затруднившиеся ответить или заявившие о том, что не пойдут на выборы, исключаются из расчетов (т.е. приравниваются к неявившимся).

Под числом точно решивших прийти голосовать понимается совокупность респондентов, выбравших соответствующую позицию в отдельном вопросе анкеты «Собираетесь ли Вы принять участие в выборах?». Возможны ответы обычно формируются в виде следующей шкалы: точно приму участие, скорее приму участие, скорее не приму участие, точно не приму участие. В этом случае под решившими пойти на выборы могут считаться либо те, кто выбрал только первую позицию, либо выбравшие первые две, причем во втором случае некоторые исследователи присваивают категории «скорее приму участие» некий понижающий коэффициент. В данном случае для расчетов был использован первый вариант, что мотивировалось в первую очередь низкой реальной явкой на выборы, практически точно совпавшей с численность первой категории респондентов, точно решивших пойти на выборы.

Под числом окончательно решивших пойти на выборы понимается совокупность респондентов, которой после вопроса «Собираетесь ли Вы пойти на выборы?» задается дополнительный контрольный вопрос: «Является ли Ваше решение окончательным?». Эта методика также была использована для подсчета явки с целью определения ее прогностической силы.

Все три варианта расчетов явки были проведены как для взвешенных, так и для невзвешенных данных.

Результаты расчетов, если говорить коротко, свелись к тому, что все три варианта моделей, как во взвешенном, так и в невзвешенном состоянии, оказались близкими друг к другу и не дали удовлетворительного прогноза.

Причина, очевидно, состоит в наличии первичного искажения исходных данных опросов, которые, несмотря на все усилия специалистов по моделированию, так и не удалось привести к приемлемому с прогностической точки зрения виду.

Фактор моделирования явки, несомненно, важен для прогнозирования результатов выборов, хотя значение конкретного способа прогнозирования явки, по-видимому, преувеличивается. Хороших прогнозных результатов он не дает.

Что же касается алгоритма взвешивания, то результаты расчетов показали его деструктивную роль: механически уменьшая погрешность по «Единой России», он увеличивает ее по всем остальным позициям, ухудшая качество прогнозного результата.

6. О причинах изначального искажения результатов российских социологических измерений и мерах по их преодолению

Выше уже говорилось о том, что сокрытие самого факта изначального искажения результатов социологических измерений привело к тому, что это явление никем систематически не изучалось и не анализировалось. Прямую ответственность несут за это руководители ведущих российских социологических служб. Особенно велика ответственность руководителей Левада-центра (прежнего ВЦИОМа), поскольку именно они в 1992 году ввели в практику использование процедуры взвешивания, а прочие фирмы позднее лишь механически скопировали ее. В последующие годы эти организации, обладая большими ресурсами, могли без спешки вернуться к изучению этой проблемы, выявить ее причины и предложить алгоритм решения. Организации, проделавшей такую работу, она принесла бы несомненную научную славу. Тот факт, что такая работа не была сделана, свидетельствует о низком профессиональном и, особенно, моральном уровне руководителей названных организаций.

О неприемлемости использования процедуры взвешивания говорит, в частности, тот малоизвестный неспециалистам факт, что зарубежные заказчики социологических опросов в России категорически настаивают на том, чтобы передаваемые им данные и массивы не подвергались никаким счетным операциям типа взвешивания. Российские заказчики, к сожалению, зачастую не обладают квалификацией, необходимой для такой постановки вопроса, чем и пользуются названные социологические службы, откровенно используя политику двойных стандартов - для экспорта и для внутреннего потребления.

Для полноты картины особого упоминания заслуживает ситуация с опросами, которые проводились в Украине. В украинских опросах алгоритм взвешивания не использовался, очевидно, потому, что вектор изначального искажения был неизвестен, поэтому использовать алгоритмы подгонки становится рискованным. Тем не менее, само это искажение наверняка существует, и оно может сработать неожиданным образом. До сих пор никто из социологов не объяснил заказчикам и общественности, почему в России использование алгоритмы взвешивания в России необходимо, а в Украине не требуется. С социально-географической точки зрения Украина устроена иначе, чем Россия, однако знание природы изначального сдвига социологических данных в России, несомненно, помогло бы более правильно построить выборку и в Украине, избежав тем самым излишних политических рисков. (В результате выборный результат Януковича оказался на 10% ниже, чем ожидалось по рейтингам что и послужило причиной масштабного политического кризиса - примечание после выборов).

В настоящее время среди российских социологов существуют разные точки зрения относительно причин изначального искажения результатов опросов. Эти точки зрения могут быть сведены к четырем основным гипотезам, причем в действительности причины, вытекающие из этих гипотез, могут действовать совместно. Этими гипотезами являются: психологическая гипотеза, гипотеза географического сдвига выборки, гипотеза низкой доступности респондентов, гипотеза деградации социологического поля. Для более полного раскрытия этих гипотез при подготовке данной записки был проведен опрос 10 экспертов (социологов и географов), мнения которых учтены в нижеследующем описании.

Психологическая гипотеза. Применительно к рейтингу В.Путина и «Единой России» суть этой гипотезы состоит в том, что после прошедших выборов часть респондентов, голосовавших иначе, или вообще не участвовавших в голосовании, в ситуации опроса «присоединяется к победителям», завышая тем самым их рейтинги. В некоторых случаях, например, непосредственно после убедительной победы на выборах, эффекты такого рода, по-видимому, имеют место. Однако эта теория многого не объясняет: например, систематического завышения рейтингов В.Путина и «Единой России» в межвыборный период, а также завышения рейтингов непопулярного Ельцина в прошлых электоральных циклах. В любом случае можно констатировать, что ведущие социологические фирмы не сделали никаких попыток операционализировать и проверить эту гипотезу, а также отделить влияние этого фактора от других. Сегодня психологическая гипотеза превратилась в своего рода палочку-выручалочку, на которую руководители социологических служб списывают любые провалы прогнозов выборов, не анализируя иных, более существенных и технологичных причин.

Гипотеза географического сдвига выборки. Эта гипотеза неоднократно высказывалась многими авторами, в том числе политическим географом В.Каганским, в его публикации в «Газете.ру» 9 октября 2003 г. Суть гипотезы состоит в том, что структура выборки опросов общественного мнения не репрезентативна в пространственном отношении, в ней не представлены многие типы территорий и поселений. По оценке В.Каганского, системой выборочных опросов не охвачено около трети населения страны, представляющей ее межрегиональную и внутрирегиональную периферию. Важно, что российские выборки фактически не менялись уже более десяти лет, то есть со времени возникновения в России репрезентативных опросов населения. В своей статье В.Каганский приводит конкретные примеры «электоральных аномалий» и абсолютно справедливо замечает, что гипотеза географического сдвига строго операциональна и количественно проверяема. Однако ведущие социологические службы страны игнорируют этот призыв и фактически блокируют возможность проведения географического аудита своих выборок. Проведение такого аудита, разработка принципиально нового поколения выборки, проведение широкой профессиональной дискуссии по проблемам ее построения являются необходимыми условиями устранения искажений результатов опросов.

Гипотеза низкой доступности респондентов. Известно, что при проведении опросов какая-то часть респондентов отказывается от сотрудничества в интервьюерами либо оказывается для них недоступной. В последние десятилетия число таких отказов растет, и Россия не является исключением из этой тенденции. Проблема, однако, заключается в том, что ведущие социологические службы России, по-видимому, занижают масштабы этой проблемы и не принимают конструктивных мер по ее разрешению. По данным, опубликованным на сайте ФОМа, от участия в опросах отказываются от 30 до 35% респондентов. Эта цифра выглядит заниженной и нуждается в проверке, поскольку по данным специалистов-полевиков в Москве процент отказов при проведении поквартирных опросов составляет около 80%, а в среднем по России – около 50% (возможно, что в настоящее время еще больше). Число отказов может резко увеличиваться в случае плохой организации социологического поля (см. следующую гипотезу). Смещение выборки, возникающее по этой причине, не может не оказывать существенного влияния на характеристики получаемых данных. Фактически, результаты опросов представляют не все население, а лишь специфическую его часть, состоящую из людей, идущих на контакт легче других. Хотя данная проблема в своей основе имеет объективный характер, необходим аудит ее состояния, оценка возможностей преодоления, а также проведение методических экспериментов, направленных на определение величины и вектора возможного смещения результатов.

Гипотеза деградации социологического поля. Этот фактор сегодня мало кем принимается во внимание, а между тем его действие может оказаться очень серьезным. Работа структур, осуществляющих полевые работы в регионах, сегодня малопрозрачна даже для головных офисов московских социологических служб. Во многих регионах на все московские фирмы де-факто работают одни и те же люди, т.е. одни и те же менеджеры и одни и те же интервьюеры. Сформировался слой профессиональных интервьюеров, зарабатывающих этим деньги и зачастую проводящих опросы с грубыми нарушениями технологии. Московские головные офисы хотя и проводят 10 - 15% контроль, но этот контроль зачастую формален и не слишком дотошен. По мнению специалистов-полевиков, изощренность нарушений растет, процент раскрываемости падает. Московские головные офисы практически ничего не делают для исправления этой ситуации, в результате чего деградация социологического поля усиливается (по мнению многих полевиков, эти процессы особенно ускорились после 2000 года). Рост нарушения маршрутов, проведение опросов в территориально более доступных местах, а также прямая фальсификация анкет могут стать одной из причин искажения результатов, поскольку интервьюеры, фальсифицирующие анкеты, неявно ориентируются на доступную им рейтинговую информацию о высоком рейтинге В.Путина и «Единой России». Появление касты профессиональных интервьюеров противоречит мировой практике проведения репрезентативных опросов, согласно которой во избежание «усталости» интервьюеров производится регулярная их ротация (увольнение старых и найм новых). Для исправления положения необходим аудит технологического состояния социологических сетей и принятие мер по подъему технологической дисциплины опросов. Так, по выражению одного из опрошенных экспертов,

«…до тех пор, пока мы будем работать через региональных посредников, где сидят мелкие князьки, которые ограничивают свободу нашего выбора, даже не выборка будет определять качество результатов, а стиль работы регионального партнера».

[1] Перевзвешивание массивов по социально-демографическим и территориальным квотам здесь подробно рассматриваться не будет. Осуществляемое некоторыми фирмами увеличение московской квоты, введенной для повышения ее репрезентативности, вполне корректно. Процедуры перевзвешивания по другим территориальным сегментам требуют специального анализа. Что же касается перевзвешивания социально-демографических квот, то выскажем мнение, что столь длительно работающая на рынке социологическая организация могла бы довести свою технологию до уровня, при котором такое перевзвешивание сделалось бы либо не нужным, либо использовалось в самых минимальных размерах или в экстренных случаях (например, в случае каких-то непредсказуемых сбоев в работе региональных звеньев).

• Методы исследований
• 2004

• Назад
• Вперёд