Надійність, достовірність і валідність контентного аналізу

 

Питання достовірності, надійності й валідності є дуже важливими при будь-якому дослідженні. Контент-аналіз вигідно відрізняється від інших видів вивчення документів саме високою достовірністю. Взагалі, під надійністю більшість дослідників розуміє обґрунтованість (відповідність законам і поняттям дослідження) та стійкість чи строгість (відтворюваність результатів). Обґрунтованість (valіdіty) можна підвищити з допомогою експертного оцінювання. Під стійкістю (consіstency) розуміється строгість дослідження, тобто кожний наступний учений, застосувавши вже вироблену його попередником методику, на тому самому об'єкті має дійти тих самих висновків. Розходження не повинно перебільшувати 5%, тобто коефіцієнт кореляції - 0,05 [24, 323].

Вчені ще в середині 60-х років виділили три процедурних рівня контент-аналізу з точки зору наявності характеристик змісту і надійності висновків: 1) вивчення змісту без виходу за його межі, 2) дослідження співвідношення змісту й об'єктивних даних, 3) аналіз співвідношення змісту з характеристиками та процесами в комунікаторі й реципієнті, прогнозування ефектів повідомлень і висновків про комунікатора й аудиторію.

Контент-аналіз дає багато можливостей для дослідження як наявного, так і прихованого змісту інформацій. Звичайно, в останньому випадку потрібні особливі процедури для підвищення достовірності й валідності висновків дослідження. Контент-аналіз вимагає від дослідника, по-перше, інтуїції, доброго знання предмета аналізу для того, щоб правильно обрати одиниці дослідження, по-друге, кодувальник має виявити терпіння й дисциплінованість для строгого виділення та підрахування одиниць аналізу.

Співвідношення якісних і кількісних начал у контент-аналізі дозволяє досягти великого ступеня надійності й валідності. При цьому дослідник повинен мати на увазі, що при вивченні прихованих задумів комунікатора важливу роль у забезпеченні високої валідності відіграє присутність чи неприсутність у тексті різноманітних одиниць аналізу, а при інших видах дослідження валідність забезпечує засіб кодування та строге дотримання процедури.

Валідність висновків дослідження також залежить від репрезентованості вибірки. Обрані для аналізу тексти повинні достатньо повно репрезентувати усю сукупність. Для досягнення високої валідності велике значення має правильний підбір одиниць дослідження. Вони повинні бути обрані так, щоб у результаті квантифікаційних процедур висновки являли собою повний зріз змісту на дану тему.

Значну проблему у плані досягнення достовірності дослідження являє інтерпретація висновків. Справді, з тих самих результатів різні люди роблять часто цілком протилежні висновки. Тому тут завжди слід враховувати настанови дослідника. Великий ефект для об'єктивної інтерпретації висновків дослідження дає порівняння результатів контент-аналізу з вивченням тієї самої проблеми іншими методами.

Проблема вибірки

 

Як ми вже писали, вибірка відіграє велику роль у процесі контентного аналізу. Справа у тому, що в багатьох випадках досліджувана сукупність документів є настільки великою, що не можна вивчати її усю. І тут постає проблема вибору з цієї сукупності представників, аналіз яких дав би уявлення про всю сукупність документів.

Перший етап усякої вибірки - це обрання джерела інформації. Учений, залежно від цілей дослідження, обирає ті джерела, які допоможуть вирішити поставлені питання. Вибірка може бути репрезентативною чи типологічною. Репрезентативна вибірка претендує на те, щоб представляти усю сукупність, що досліджується, типологічна вказує, що для сукупності характерні певні риси, але не вичерпує усіх характеристик тих документів, що вивчаються. Репрезентативна вибірка поділяється на квотну і випадкову. З допомогою квотної вибірки ми беремо від кожної досліджуваної сукупності частку документів відповідно до розміру тієї сукупності та її ролі у досліджуваній проблемі. Як бачимо, цей тип вибірки вимагає певних даних, які дослідник не завжди має. Тому більшість учених застосовує так звану випадкову вибірку. За цією вибіркою можливість потрапити у склад обраних документів рівна для усіх елементів сукупності, тому ця вибірка також вважається репрезентативною.

Але тут стає у повний ріст інше питання: скільки же потрібно відібрати документів, щоб з одного боку їх опрацювання було у рамках тих сил і часу, які виділені для дослідження, а з іншого, щоб ці документи достатньо повно представляли усю сукупність. Цікавий досвід випадкової вибірки накопичений Інститутом по вивченню суспільної думки Геллапа. Вчені цього інституту склали таблицю, яка показує у відсотках розмір помилки при випадковій вибірці [24, 323]:

 

% думок.. 3000.. 1500... 1000.. 600.. 400.. 200

%.. 1…. 2…… 2…… 4…… 4…… 5

%.. 2…. 2…… 3…… 4…… 5…… 7

%.. 2….. 3…… 4…… 5…… 6…… 8

%.. 2….. 3…… 4…… 5…… 6…… 9

%.. 2….. 3…… 4…… 5…… 6…… 9

%.. 2….. 3…… 4…… 5…… 6…… 9

%.. 2….. 3…… 4…… 5…… 6……. 8

%.. 2….. 2…… 3…… 4…… 5…… 7

%.. 1…. 2…… 2…… 4…… 4…… 5

Як ми пам'ятаємо, ступінь надійності, якої потребує соціологічне дослідження, складає 95%. Виходячи з цього, можна підбирати вибіркову сукупність. Як бачимо на таблиці, найбільш підходить сукупність із 1500 елементів. Загальна помилка при такій сукупності складає всього 2-3%. Брати сукупність із 3000 елементів немає сенсу, бо це збільшує працю дослідника у два рази, а помилку зменшує тільки на 1%.

При проведені вибірки треба ретельно стежити за тим, щоб вона була справді випадкова. Якщо, наприклад, при дослідженні матеріалів районних газет взяти до уваги тільки ті номери, які виходять по середах, то це не дасть повного уявлення про всі номери газети, оскільки номери, які виходять у певні дні, мають свої особливості. Отже, у вибірку повинні потрапити і номери, які виходять в інші дні тижня.

Як приклад можна привести вибірку, яку здійснили М.Пайян і Д.Оуен. Із 27 газет з тиражем понад 300 тис. екземплярів з допомогою випадкової вибірки вони обрали 8. Потім з кожного номеру цих газет за березень 1975 р. взяли по 6 статей і таким чином вибіркову сукупність склали 6638 матеріалів.

Ще один тип вибірки, який широко застосовується дослідниками, але не дає надійних гарантій точності, це - вибірка з допомогою експертного опитування [22, 385].

Для забезпечення високої якості дослідження треба при проведені вибірки користуватися науковими методиками. Відбір документів тільки за власним бажанням дослідника знижує достовірність і вносить зайвий елемент суб'єктивізму.