Рефераты | Рефераты по социологии | Методика анализа содержания текстов |
1 |
|
|
В. Без лексического обоснования выбора факта |
41 |
Если бы нас интересовала частотность появления в эфире областей, краев, республик России, можно было бы заведомо утверждать, что в эфир пройдет гораздо больше выпусков «Времени», пока в поле внимания коммуникатора, а значит, и исследователя, попадет наименее часто упоминаемая территориальная единица.
С учетом такого поведения реальных характеристик содержания исследователь, включающий в одну программу исследования до десятка признаков, берет достаточно большой отрезок времени, чтобы подстраховать себя. В случае с ежедневной газетой, информационной программой и т.п. это, как правило, два-три месяца.
Если исследователя заинтересует какое-либо конкретное событие, происходящее сегодня в мире, и информационная политика нескольких источников по освещению этого события, то потребуется сплошное наблюдение за всеми источниками в сроки, максимально совпадающие с самим событием. Если мы вспомним исследование газеты «Истинный американец», то пропуск какого-то номера за исследуемый период дал бы великолепную возможность адвокату подследственных оспорить выводы экспертов. Или вообразим, что мы исследуем освещение ведущими телеканалами России кризис в Косово. Ясно, что исчерпывающий ответ на вопрос, как освещали этот конфликт ОРТ, РТР, НТВ и т.д., мы получим, если в поле зрения попадет весь временной отрезок этого конфликта.
Следует предусмотреть чисто организационные моменты. Сегодня нашелся заказчик, который заказывает вам исследование информационного источника, и как всегда в таких случаях, результаты ему требуются «вчера». Сколько вам понадобится времени, чтобы разработать программу исследования, осуществить собственно анализ, написать комментарий и сдать отчет заказчику? Тогда проблема срока наблюдения за объектом приобретает совсем другой характер. И ничто тут не заменит опыта исследователя, а также его знания всех элементов, из которых состоит исследование. К следующему такому элементу мы и переходим.
Каждое социологическое исследование венчается результатом. Но ему предшествует большая работа, собственно социологическое «поле» - сбор информации, обработка, и только после этого - написание отчета. Чаще всего именно последняя стадия становится известной широкой научной общественности и лишь отдельные фрагменты предшествующей работы попадают в поле ее зрения. Методические работы, воспроизводящие и объясняющие инструментарий исследования, его средства и способы добывания научного знания рассчитаны, как правило, на более узкую аудиторию профессионалов, издаются малыми тиражами, быстро становятся библиографической редкостью.
Вот почему возникает необходимость в пределах этого пособия обсудить некоторые проблемы профессиональной «кухни» контент-аналитика. Это не заменит специальной работы для каждого отдельного исследователя, когда он окажется на этой стадии - скорее, это будет акцент на самом важном для этого этапа.
Формулировка задач, которые поставил перед собой исследователь, тесно увязывается в самом исследовании с теми способами получения социологической информации, которые мыслятся самим автором как наиболее адекватные. Образно говоря, социологический инструментарий - это та узда, которой сдерживается воображение социолога. Ставя перед собой определенную задачу, он должен примерить ее на способы решения.
Далее в рассуждениях автора должен появиться сам объект исследования: исследователь описывает этот объект - информационный источник в определенных границах его деятельности, обосновывая отбор единиц наблюдения. Описание выборки мы осуществили в предыдущем параграфе этого раздела, но не исключено, что на реальном исследовании стоит прибегнуть к консультации математика-специалиста по теории выборки. Следующий шаг - составление кода и инструкции к нему. Эти документы разрабатываются в тесном взаимодействии со специалистом, который будет осуществлять обработку полученной информации на ЭВМ. Чем в большей степени построение документа, на котором будет фиксироваться исходная информация, будет соответствовать правилам ввода информации в компьютер, а также правилам ее дальнейшей агрегации, тем меньше затрат вам потребуется на этой стадии.
После составления кода требуется специальная стадия - проверка кода на соотносимость результатов ( reliability ). Как правило, эта стадия состоит в том, что исследователь предлагает для анализа по данному коду один и тот же текст нескольким кодировщикам и проверяет, однообразно ли они используют код и насколько сходятся их результаты [19] . Другой вариант проверки - повторно дать закодировать этот же текст нескольким кодировщикам по истечении определенного промежутка времени. Цель в данном случае та же: посмотреть на идентичность анализа, так сказать, «во времени и в пространстве».
Все необходимые поправки и изменения, которые еще можно будет предусмотреть в коде и в инструкции к нему, следует делать имено на этой стадии. Как только начнется само исследование, то есть работа большого коллектива кодировщиков над текстами, вошедшими в выборку, поправки будут означать сбой в работе. Инструкции уже напечатаны, кодировщики проинструктированы - работу эту придется начинать заново.
Пока же «снимаются» все вопросы кодировщиков, происходит коллективное обсуждение реальной кодировки, оттачиваются примеры, которые должна содержать инструкция [20] . Так, в исследовании российской прессы на предмет ее отношения к лидерам и фракциям Госдумы, на которое мы уже ссылались, инструкция содержала примеры конкретных текстов из реальных газет, содержащих разные оценки: «Пока же преимущество в искусстве ведения судебного спора явно на стороне президентско-правительственной команды. Во-первых, она хорошо подобрана и в ней четко распределены роли. Впереди официальные представители - Сергей Шахрай, Юрий Батурин и Олег Кутафин. Все трое - юристы со степенями, хорошо освоившие приемы публичного спора. И психологическая уравновешенность у них тоже на высоте». («Авторов Чеченской республики пока не нашли» // Известия, 13.07.95) - позитивная оценка С. Шахрая, как лидера определенной фракции ;
«Кроме Егора Гайдара, предстоящие выборы могут принести большое разочарование и Жириновскому и его ЛДПР. Некогда мощнейшей партии сегодня симпатизирует лишь 6,6 процента голосов. Очевидно, имиджу Жириновского не помог пролитый в сражении с Б. Немцовым апельсиновый сок. Да и в целом скандальностью наших людей теперь удивить крайне трудно, хотя тяга к ярким личностям остается». («Аркадий Вольский встретился...» // Комсомольская правда, 01.07.95) - негативная оценка Жириновского и его фракции;
«Иван Петрович Рыбкин символизирует интересную тенденцию в российской политике. Его опыт, предшествовавший посту председателя Госдумы, оказался уникальным. Он хорошо знал законы аппарата, обрел незаурядные качества публичного политика в оппозционном состоянии. Наконец, это человек природного ума. Рыбкин внешне открыт и опрощен, но внутренне у него есть та российская хитринка, когда "сказка ложь, да в ней намек". Полтора года в логове Госдумы Иван Петрович осуществлял психотерапевтические функции и занял уникальную позицию. Сегодня он представляет интересы многих социальных групп в кремлевско-президентском властном режиме. Но надо же было такому случиться, чтобы Президент Ельцин двумя словами всю эту изнурительную работу опрокинул». (Интервью Г. Бурбулиса «Какофония новой власти» //Аргументы и факты. 1995. № 28) - сбалансированная оценка И. Рыбкина и негативная -Госдумы.
Мы специально привели эти примеры - установки руководителя исследования здесь недостаточно и некоторые кодировщики оценили второй пример как сбалансированную оценку В. Жириновского, а третий пример как позитивную оценку И. Рыбкина. Недаром в итоге оказалось, что степень совпадения мнений кодировщиков в той части иследования, которая касалась фиксации оценок, равнялась 88% (76%, когда речь шла о сбалансированных оценках, 89%, когда речь шла о позитивных оценках, 91% - нейтральная подача, 92% - негативные оценки).
Чтобы представить себе детализацию проблем в тексте инструкции, приведем начало инструкции к этому исследованию: «Кодировщик читает всю газету целиком, чтобы не пропустить упоминания интересующих исследование Субъектов/Объектов анализа, которые перечислены на карточке для кодировки. Кодировка начинается с того, что выписывается дата и номер газетного выпуска и число материалов с упоминаниями. После того как на отдельном листке выписаны заголовки всех материалов, где встретились эти упоминания, - чтобы не упустить ни одного из них, - приступаем к анализу каждого из этих материалов. Для этого требуется более скрупулезное, внимательное, чем на первой стадии, чтение каждого из этих материалов». И далее подробно объясняется каждая характеристика, даются примеры, объясняются способы фиксации результатов (если обработка результатов ручная) и т.д.
Если пробный анализ показывает недостаточную степень совпадения (американские авторы допускают в некоторых случаях степень совпадения в 60%), следует выяснить причины - это могут быть как механические ошибки (пропустил, не отметил и т.д.), так и содержательные расхождения - закодировано неправильно. Поэтому пилотный анализ должен предусмотреть проверку каждого материала - кто из кодировщиков допустил ошибки.
Более сложная процедура оценки работы с кодом - это проверка результатов на их обоснованность ( validity ) [21] . Общая идеология, связанная с проблемой обоснованности в социологических методах (в специальной литературе можно встретить и языковую кальку «валидность»), выражается в том, что исследователь предоставляет проверяемые доказательства, что именно, какую характеристику он измеряет.
Хрестоматийным примером в таких случаях является ссылка на такой измерительный прибор, как часы, измеряющие хронологическое время. Исправные, не останавливающиеся часы - надежный инструмент регистрации времени. Если же мы не знаем, по какому часовому поясу выверены эти часы, то их точные показания для нас бесполезны: мы не знаем, какое время, что именно они измеряют. Часы как инструмент не обоснованы [22] .
Результаты анализа будут считаться обоснованными, если методика анализа замеряет в массиве текста то, что предполагалось замерять. Американский специалист в области контент-анализа У. Даниельсон приводит на этот счет такой пример. Допустим, вы фиксируете заметки, которые вы определяете как информацию о преступлениях, но действительно ли эта информация помещается для того, чтобы повествовать о преступлениях? Исследователь, отвечая на вопрос, должен обосновать свое определение преступления и такой заметки. Ему придется сказать, что в эту группу он относит происшествия, которые расцениваются юридическими властями, или общественностью, или, наконец, прессой как криминалистические по природе, а не как шалости подростков или результат паники. Иногда приходится прибегать к соображениям здравого смысла по принципу «широко известно...». Главный принцип - чтобы не было большого разрыва между категориальной сеткой и эмпирической действительностью.
Так, в ходе многочисленных исследований прессы мы убеждались, что при определении оценок, отношения автора текста к описываемым им событиям недостаточно оперирования только качественными прилагательными «хороший», «плохой». Про одного героя он напишет, что тот вытащил ребенка из проруби, или помог старушке перейти улицу (был у нас в отдаленные времена такой стереотип «хорошего» пионера - он обязательно поможет старушке перейти улицу), а про другого (скажем, депутата В. Жириновского), что тот в политической дискуссии облил своего коллегу апельсиновым соком или просто покажет это. А потом еще раз покажет... Средство не из слабых.
Нельзя было игнорировать эту мощную оценочную палитру. Поэтому в ходе многочисленных исследований, которые я цитирую и в которых выступаю как автор методики и интерпретации результатов, используется в инструкции кодировщикам такое требование-объяснение: «Оценка формируется как с помощью "сильных" оценочных эпитетов, обнаруженных в тексте, так и самим содержанием ситуаций, в связи с которыми появляется в тексте интересующий нас субъект или группа: это могут быть как положительные ситуации, с которыми традиционно, в массовом сознании ассоциируется "благо ", так и ситуации, с которыми ассоциируется "зло "».
Именно здесь мы должны упомянуть характеристику нашего метода, которая нами еще не привлекалась для его описания. В наборе характеристик метода мы находим такое ограничение, что анализ работает только с «открытым» ( manifest ) содержанием [23] .
