Уточнение. О частотном контент-анализе при исследовании беларусского Telegram

С сентября 2021 года проект Media IQ проводит контент- и сентимент-анализы наиболее популярных беларусских провластных и независимых телеграм-каналов по актуальным тематикам. Мы фиксируем частоту постов по дням месяца, долю постов по определённой тематике среди других постов этого канала, общее количество тематических постов, частоту употребления ключевых слов, а также тональность публикаций.

В данном случае речь идёт о нашем контент-анализе — методе изучения медиатекстов, заключающемся в их разбиении на единицы анализа (единицы исследования) с дальнейшим их подсчётом и статистической обработкой. Это формальный анализ содержания, и хоть его часто называют методом «чтения между строк» политически значимой информации, большое значение имеет именно формальная сторона вопроса, которая строится на статистической обработке данных.

Выводы в таком анализе делаются на основании количественных показателей, полученных при использовании стандартизированных процедур подсчёта выделенных категорий. Соответственно, погрешности могут и очевидно возникают, когда в одну и ту же категорию анализа попадают существенно различающиеся смысловые единицы текста. Следующий чреватый ошибками этап — полученные данные подвергаются содержательной интерпретации.

С 24 февраля 2022 года мы регулярно исследуем беларусский Telegram по теме войны в Украине (см. тут, тут, тут, тут и тут). Мы пытались выявить отношение разных телеграм-каналов и особенно СМИ к данному событию. Ещё в марте мы отметили: публикаций с запрещённым Роскомнадзором ключевым словом «война» в беларусском Telegram в два раза больше, чем с навязываемым Кремлём эвфемизмом «спецоперация» (5 107 публикаций со словом «война» или 10,6 % против 2 196 публикаций со словом «спецоперация» или 4,6 %). Ещё 828 публикаций содержали слово «вторжение» (1,7 %), что также противоречит навязываемой Россией альтернативной номинации реально ведущейся войны.

Это вывод относительно всего исследованного массива данных, и, скорее всего, он действительно отражал тенденцию о положении дел в беларусском Telegram. Что же касается выявления редакционной политики конкретных телеграм-каналов, то здесь происходит переход с больших абсолютных величин на малые, а для корректного сравнения показателей разных телеграм-каналов мы их переводим в относительные величины — проценты.

Однако, если исследуемых единиц анализа становится мало, то удельный вес каждой из них при переводе в проценты возрастает. Это значит, что увеличивается вероятность случайных флуктуаций. Кроме того, если закон больших чисел сглаживает единичные ошибки выборки, то при малых они могут стать основанием для ошибочных оценок. Всё это значит, что при интерпретации данных есть угроза увидеть тенденцию там, где её не было. Таким образом, чем меньше количество постов в выборке, тем менее качественные выводы можно делать. Поэтому мы для учёта и вывода статистики ставим количество постов (10-20), необходимое в выборке для того, чтобы делать хоть какие-то выводы.

В мониторинге беларусского Telegram приводится математический подсчёт постов, где встречаются слова «война» и «спецоперация» на момент снятия информации. В некоторых случаях эти слова употребляются в другом контексте: «холодная война», Великая Отечественная война, в других случаях слова употреблялись на момент снятия информации, но впоследствии пост был отредактирован.

Единица анализа — пост. Доля употребления слов «спецоперация» или «война» в канале подразумевает долю использования в выборке только постов, транслирующих два разных контекста «война» и «спецоперация». Это не доля слов «спецоперация» в постах тематической выборки и тем более среди всех постов канала.

В поиске постов к «спецоперация» также относятся сочетания «специальная операция», «военная операция» или использование слова «операция» в тематических постах о войне.

Случаи, когда смысловые единицы текста выпадали из контекста или мы их ошибочно понимали относящимися к определённой категории — в то время, как они относились к другой, были, в частности, зафиксированы при анализе телеграм-канала Onliner. Для исправления ситуации мы применим дополнительные маркеры для отбора тематических публикаций.

Сказанное выше касается употребления слова «война» в контексте российско-украинской войны. В некоторых случаях фиксация слова дискуссионна, так как пост правильно отнесён по тематике, но речь идёт о другой войне:

«Что будет с городами и цивилизацией, если завтра начнётся атомная война?

На фоне военного конфликта в Украине слышатся голоса политиков о возможном применении ядерного оружия. Мир переживает тёмные времена.

«В течение тысячной доли секунды после детонации огненный шар в 6 километров в поперечнике распространится на 3 километра во все стороны. В этой зоне температура приблизится к температуре на поверхности Солнца. Все будет испарено: здания, деревья, люди. Верхний слой Земли исчезнет…»

Это антиядерный #спецмонолог на Onlíner — говорим о том, как не допустить катастрофы».

• Мы внутри команды обсудим, как поступать в таких ситуациях. Готовы выслушать ваши предложения ([email protected]).

Вместе с тем в упомянутом канале зафиксировано редактирование постов с последующим избавлением от слов, частотность которых мы исследуем. Так, например, в сообщении «ООН сообщает, что около 7,7 млн украинцев стали переселенцами внутри страны. Это значит, что практически каждый шестой житель страны покинул свой дом. Также ООН прогнозирует, что из Украины из-за войны вынуждены будут уехать 8,3 млн человек» первоначально присутствовало «из-за войны», но в дальнейшем оно было заменено на «из-за боевых действий».

До сих пор мы учитывали первоначальное употребление слов. Однако теперь намерены проверить и закономерности редактирования постов: в каком случае корректировка связана с грамматикой, в каких — с исправлением фактических ошибках, в каких — с политической целесообразностью или нарушением некой редакционной догмы.