Дата-исследование · Общество

«Яндекс.Новости» сыграли в ящик

Как крупнейший в рунете новостной агрегатор превратился во второй телевизор: исследование «Новой газеты Европа»

Антонина Асанова , дата-отдел «Новой газеты Европа»
Фото: Алексей Душутин, специально для «Новой газеты. Европа»

Война нанесла по «Яндексу» тяжелый удар: гендиректор компании попал в санкционные списки, капитализация упала в несколько раз, две тысячи сотрудников покинули страну. Многие из этих проблем связаны с единственным активом, который в последние месяцы стал особенно токсичным — агрегатором «Яндекс.Новости». Дата-отдел «Новой газеты. Европа» выгрузил из сервиса более 800 тысяч новостей с начала 2000-х и проследил на данных, как транслируемая миллионам русскоязычных пользователей новостная картина оказалась полностью подконтрольной государству.

С начала войны доля медиа, связанных с государством, в основных рубриках «Яндекс.Новостей» превысила 70%. Более 22%, то есть каждая пятая новость, приходится на главный пропагандистский ресурс в интернет-СМИ — «РИА Новости». С введением военной цензуры главный российский новостной агрегатор окончательно превратился в аналог телевизора. 

Стало очевидно, что «Яндекс.Новости» демонстрируют только одну — государственную точку зрения: никакой войны нет, военных преступлений российских войск — тоже, в Украине — нацисты, а весь мир настроен против России. Именно из-за работы « Яндекс.Новостей» в марте под европейские санкции попал Тигран Худавердян, на тот момент ― исполнительный и генеральный директор «Яндекса». После этого «Яндекс» объявил о продаже сервиса компании VK. Последней управляет Владимир Кириенко, сын первого замглавы АП.

Мы проанализировали, как менялись «Яндекс.Новости» с 2005 по 2022 год, в частности — ключевые общественно-политические рубрики: «Главные новости» (также их показывают на главной странице самого «Яндекса»), «Политика», «Общество», «Экономика», «В мире».

С 2005 года доля заголовков государственных и аффилированных с государством СМИ в основных рубриках «Яндекс.Новостей» выросла с 29 до 73%. С тех пор возросло присутствие «РИА Новостей» (с 19 до 23%) и ТАСС (с 2 до 9%). Появились, а затем и стали подконтрольны государству Lenta.ru и Газета.ru (суммарно на них приходится почти 28% заголовков). А кроме того, появился канал RT (7,6% заголовков в 2022 году).

Еще 16% заголовков в главных рубриках «Яндекс.Новостей» приходится на РБК, «Коммерсантъ» и «Ведомости», чьи редакции находятся под давлением, а сотрудники не раз увольнялись в знак протеста против цензурных ограничений. 5% ― доля СМИ, занимающих прокремлевскую позицию (Regnum, «Интерфакс», МК, «Комсомольская правда» и др.). И только 5% публикаций теперь приходится на СМИ, которые мы не отнесли ни к одной категории. Это региональные, оппозиционные и профильные издания.

Мы скачали все доступные снэпшоты главной страницы сайта «Яндекс.Новости» из архива Wayback Machine. Это некоммерческий проект из США, который автоматически «обходит» все общедоступные сайты интернета и архивирует их html-код ― снэпшоты. Мы скачали около 40 тысяч html-файлов ― главных страниц «Яндекс.Новостей» за период с 2000-го по 1 мая 2022 года. Затем мы распознали снэпшоты и получили больше 800 тысяч уникальных новостей.

Для анализа мы выбрали основные общественно-политические рубрики за все 20 лет: «Тема дня», «Политика», «Экономика и бизнес», «Обзоры СМИ», «Политика в России», «Политика в мире», «Главные новости», «В мире», «Экономика», «Люди» «Организации», «Общество», «Новости политики», «Новости общества», «Новости экономики», «Мировые новости», «Армия и оружие». Эти рубрики не были рекомендательными и демонстрировались всем пользователям в одинаковом виде, вне зависимости от их местоположения.

С 2014 года Wayback Machine делает снэпшоты практически каждый день. В 2005, 2011, 2012 и 2013 годах были засняты «Яндекс.Новости» более чем за половину дней года. В 2018 и 2019 годах «Яндекс» не публиковал информацию о СМИ-первоисточнике, поэтому данных за эти периоды нет.

В число СМИ, находящихся под цензурным давлением, мы отнесли: «Газету.Ru» (с 2013 до 2020 года), Lenta.Ru (с 2014 до 2020 года), «Русскую планету» (с 2015-го), РБК и Forbes (с 2016 года), «Деловой Петербург» (с 2018-го), «Коммерсантъ» (с 2019 года), «Ведомости» (с 2020 года).

К прокремлевским: «Интерфакс», Regnum, МК, КП, АиФ, Life.ru, «Эксперт», «Царьград», «Взгляд», Readovka, Евразия Daily, «Аргументы недели», ИА «Красная весна».

Мы не имеем полных данных и не знаем длительности нахождения сюжетов на главной странице. Поэтому приведенные в этом материале цифры являются оценочными. Тем не менее, мы считаем их релевантной оценкой. Это видно по характеру графика, тенденции к увеличению государственных и уменьшению независимых СМИ. Кроме того, за последние годы мы имеем большой объем данных — по несколько снэпшотов в разное время суток каждого дня.

Падение доли независимых СМИ в «Яндекс.Новостях» продолжалось почти беспрерывно с 2010 года. Единственный всплеск — в 2013 году — может быть связан с закрытием «РИА Новостей». Тогда, прямо в разгар протестов на киевском майдане, Владимир Путин подписал указ о ликвидации ФГУП «РИА Новости». Позже Светлана Миронюк, экс-главред РИА, объяснила, что старалась строить «государственное СМИ, которое этому самому государству показывает правдивую картинку того, что у него происходит на территориях», но разошлась с руководством в понимании понятия «государственные интересы».

Однако уже с 2014 года «РИА Новости» переоткрылись в составе медиагруппы «Россия сегодня» (RT). Ее возглавил пропагандист Дмитрий Киселев, а главным редактором стала Маргарита Симоньян.

Теперь РИА — это «Первый канал» в мире интернета. Именно «РИА Новости» 28 февраля, на пятый день войны, опубликовало «победную» колонку о том, что Украина «вернулась к России» и теперь «будет переустроена, переучреждена и возвращена в свое естественное состояние части русского мира» (потом эта колонка была удалена). Позже на РИА вышла программная колонка о том, что Россия должна сделать с Украиной и украинцами после завоевания.

«Яндекс.Новости» — российский аналог Google News, который во многом развивался параллельно и самостоятельно. Сервис был запущен в 2000 году.

Ежемесячная аудитория «Яндекс.Новостей» в марте превысила 39 млн человек. Их читает каждый четвертый россиянин. Ежедневная аудитория — 14 млн человек. Это сопоставимо с аудиторией трех главных российских телеканалов: «Первого», «России 1» и «НТВ».

При этом «Яндекс.Новости» обеспечивают около 45% трафика «РИА Новости», до 70% трафика ТАСС, почти 30% ― РБК.

Новости от своих

Падение доли независимых СМИ произошло во многим против воли руководства «Яндекса». С начала третьего срока Владимира Путина в 2012 году государство усилило давление на интернет-издания. Иностранцам запретили владеть российскими СМИ. Крупнейшие медиа начали переходить в руки близких к власти бизнесменов, те меняли главных редакторов на лояльных Кремлю, из профессии уходили целые команды высококлассных журналистов. В итоге к началу 2020-х для крупнейших и самых влиятельных СМИ страны власти окончательно провели «двойную сплошную», негласно обозначив темы, о которых нельзя говорить.

С другой стороны, вводили ограничения и сами «Яндекс.Новости». К примеру, вплоть до 2010 года 4-5% новостей в главных рубриках приходилось на русскоязычные СМИ с постсоветского пространства, в основном из Украины. Именно украинские СМИ вместе с грузинскими во многом транслировали альтернативную точку зрения во время русско-грузинской войны 2008-го года.

С 2011 года доля зарубежных СМИ сократилась до 1,5-2%, а в 2014-м, после присоединения Крыма и начала войны в Украине, агрегатор окончательно перестал показывать россиянам источники из стран бывшего СССР.

Новые ограничения «Яндекс» ввел по собственной воле, а не под давлением Кремля — на этом настаивала бывший руководитель «Яндекс.Новостей» Татьяна Исаева. После введения российских войск в Крым и начала войны в Донбассе российские и украинские новости перестали складываться в цельную картину. «Одни и те же люди в одном заголовке называются сепаратистами, в другом заголовке — ополченцами, в третьем — защитниками, а в четвертом — какими-то нехорошими словами», ― объясняла Татьяна Исаева.

Под новые ограничения в том числе попала только что созданная в Латвии «Медуза». Команда разогнанной Lenta.ru специально основала издание за рубежом, чтобы уйти от цензурных ограничений России. В итоге, несмотря на то что «Медуза» официально зарегистрирована как партнер «Яндекс.Новостей», нам не удалось обнаружить ни одной новости издания в агрегаторе.

Не только «Медуза», но и десятки других изданий, публиковавших расследования о Владимире Путине и его окружении, о работе власти и региональных чиновников, никогда не появлялись в «Яндекс.Новостях»: «Проект», «Важные истории» (эти два издания впоследствии были признаны нежелательными в России), DOXA, Baza, The Bell, «Открытые медиа». За все годы нам удалось обнаружить только пять публикаций The Insider и две ― «ОВД-инфо». Дело в том, что с 2016 года из-за нового закона о новостных агрегаторах «Яндекс» начал публиковать только медиа с официальной регистрацией СМИ. А такие издания, как «Проект» по понятным причинам эту регистрацию даже не получали.

«По закону о новостных агрегаторах мы обязаны показывать материалы от зарегистрированных в Роскомнадзоре СМИ в блоке топа Новостей, но при этом остальные источники без регистрации появляются внутри сюжетов в блоке «Подробнее о событии», если пользователь добавил источник в избранное», — сообщили в пресс-службе «Яндекса».

Вестник АП

«Люди из АП (администрации президента прим.) настаивали, чтобы мы выбирали для заголовков максимум три-пять одобренных ими источников. Переговоры были долгими и шли много лет. В итоге договорились о 15 позициях: взяли топ-50 самых цитируемых СМИ и из них согласовали полтора десятка. Причем часть из них не была в первой десятке, но нравилась АП. Из этих СМИ составили „заголовочный список“», — рассказывал «Медузе» сотрудник «Яндекса». В мае издание написало о существовании «белого списка» СМИ, которые разрешено публиковать на главной странице поисковика.

Собранные нами данные полностью подтверждают информацию «Медузы». По-видимому, с сентября 2016-го года в «Яндексе» ввели ограничение на появление значительной части СМИ на главной странице поисковика. Из топа главных новостей одномоментно пропали не только «Эхо Москвы», «Дождь» и Forbes, но и вполне прогосударственные НТВ, «ТВ Центр», «Русская служба новостей» (rusnovosti.ru), «Аргументы и Факты».

В 2015-м году суммарная доля новостей этих СМИ на главной странице поисковика составляла 18%. А уже в 2017-м — по нулям. Зато с 2017 года в топ самых популярных СМИ «Яндекса» неожиданно начали входить Regnum, Business FM, RT.

С 2017-го список СМИ, чьи новости публиковались на главной поисковика не менялся. В него входили 14 изданий:

В дополнение к этому списку на главную «Яндекса» в редких случаях попадали только спортивные СМИ: «Спорт-экспресс», «Матч ТВ», «Советский спорт» ― а также научные: N+1 и Naked Science.

Заголовки оппозиционных СМИ: «Эха Москвы», «Дождя», «Новой газеты», «Кавказского узла», The New Times, «Медиазоны» ― появлялись в новостях «Яндекса» после сентября 2016-го года. Однако они никогда не попадали в главные рубрики. Их можно было найти только во второстепенных рубриках «В мире», «Культура», «Технологии», расположенных внизу страницы, а также региональных и рекомендательных блоках, которые учитывают предпочтения пользователя.

После начала войны разнообразия в новостях стало еще меньше. Фактически на главную страницу «Яндекса» теперь попадают заголовки всего девяти СМИ. Это «РИА Новости», Lenta.ru, RT, РБК, «Газета.Ru», ТАСС, «Коммерсантъ», «Интерфакс» и «Известия». Доля заголовков остальных медиа резко снизилась ― у каждого меньше процента. При этом шесть источников из девяти — государственные или прямо связаны с государством.

На «РИА Новости» приходится уже больше четверти — 29% заголовков на главной «Яндекса». Агентство часто пишет о том, что санкции в отношении России неэффективны, зато наносят ущерб самой Европе и США, о том, что трагедия в Буче — фейк, а «спецоперация» идет по плану.

  • РИА Новости, 4 апреля

Премьер Польши Моравецкий предложил создать комиссию по событиям в Буче Киевской области

Польша предлагает создать международную комиссию по расследованию событий в украинской Буче, которые МО РФ назвало провокацией.

  • Regnum, 5 апреля

Постпред США при ООН: исключить Россию из Совбеза не можем, но «изолируем»

Как ранее сообщало ИА REGNUM, США рассчитывают провести заседание Генассамблеи ООН по вопросу приостановки членства (с перспективой исключения) России в Совете по правам человека (СПЧ), используя для этого провокацию в украинской Буче.

  • Pravda.Ru, 6 апреля

Постпред Китая в ООН Чжан Цзюнь призвал строить обвинения по Буче на фактах

Пресс-секретарь президента РФ Дмитрий Песков заявил в понедельник, что Россия категорически отвергает любые обвинения в причастности к гибели людей в Буче и требует от международных лидеров не спешить с огульными обвинениями в адрес России, а прислушаться к аргументации Москвы.

Еще четверть заголовков на главной странице «Яндекса» — почти 26% — приходится на Lenta.ru. В 2020 году Сбербанк полностью выкупил холдинг Rambler, которому принадлежaт Lenta.ru и Газета.Ru. СМИ были переданы под руководство бывшего топ-менеджера «Газпром-Медиа» Сергея Шишкина.

После этого произошел невиданный взлет популярности «Ленты». В 2020 году доля «Ленты» в заголовках на главной странице «Яндекса» составляла менее 9%, а после начала войны — взлетела до 26%. Еще одна возможная причина — отключение Lenta.ru от сервисов Google Discover этой весной, считает Александр Амзин, медиаэксперт, ведущий телеграм-канала «Мы и Жо». «Lenta получала до 60% трафика от этого источника. Логично выглядит, что, допустим, Lenta идет [в «Яндекс»] и говорит, давайте вы нам дадите теперь больше трафика. Или может быть, даже не договорная какая-то история», ― говорит Амзин.

Как выяснила «Новая газета. Европа», «белый список» с сентября 2016 года распространялся не только на топ-5 новостей на главной странице поисковика, но и на три главные рубрики в самих «Яндекс.Новостях»: «Политика», «Общество», «Экономика». Эту информацию нам подтвердил один из бывших сотрудников поисковика.

Топ СМИ, чьи заголовки чаще всего попадают в эти рубрики, фактически совпадает с топом СМИ в главных новостях.

Независимым и небольшим СМИ трудно попасть в топы «Яндекса» не только из-за прямых ограничений, но и из-за специфически настроенных алгоритмов. Алгоритм учитывает, например, цитируемость в других СМИ, тогда как реакция в соцсетях, наоборот, не имеет значения. Естественно, государственные и прокремлевские медиа редко ссылаются на «Медузу» или «Новую газету». В итоге, получается, что популярные, но оппозиционные медиа не попадают в топы «Яндекса».

Кроме того, непропорционально большая значимость придается новостям информационных агентств. Получается, что пока условные «РИА Новости» не напишут про существование «черной дыры» в центре галактики, этот сюжет не появится, объясняет Александр Амзин. Такое решение стало ответом на практики «черной оптимизации» со стороны московской мэрии. Летом 2014 года несколько сотен московских госучреждений и газет начали скоординированно продвигать свои новости и выводить их в топ «Яндекс.Новостей». В результате, «Яндекс» ответил ― больший вес получили крупные медиаагентства, а региональным и микроСМИ стало еще сложнее пробиться в топы. 

«Яндекс Новости — агрегатор новостей. Мы не влияем на редакционную политику СМИ», ― напомнили в пресс-службе «Яндекс.Новостей».

Кривое зеркало рунета

«„Яндекс“ очень долгое время, фактически с начала существования «Яндекс.Новостей», позиционировал сервис как зеркало рунета. Но на деле вместе с вводимыми государством регуляциями и компромиссами, на которые в результате шел «Яндекс», это зеркало становилось все более кривым. И, естественно, сервис в этом смысле достаточно быстро перестал выполнять свою функцию», ― говорит Александр Амзин.

Фактически еще в начале 2010-х для медиа работа с «Яндекс.Новостями» превратилась в погоню за трафиком. В крупных СМИ появились целые отделы, которые специализировались на том, чтобы писать новостные сообщения специально под алгоритмы агрегатора. (Например, «Яндекс» диктует СМИ свои требования к заголовкам.) Это само по себе искажало «зеркало рунета».

Вдобавок из-за давления властей «Яндекс» фактически не был заинтересован в развитии сервиса. В результате, агрегатор отстал от изменений медиарынка. Платформа не только фактически игнорирует СМИ без регистрации и русскоязычные медиа из других стран постсоветского пространства, но и не учитывает соцсети и Telegram, где публикуется множество новостного контента.

Сервис «Яндекс.Новостей» в автоматическом режиме обрабатывает все сообщения СМИ-партнеров. В настоящий момент их почти 7,7 тысяч. Если в этих медиа в один момент времени появляются тематически близкие сообщения, с одними ключевыми словами, из этих сообщений автоматически формируются сюжеты.

Затем из сюжетов искусственный интеллект, также автоматически, выбирает наиболее потенциально кликабельные темы.

И только на финальном этапе включаются фильтры, которые можно подстраивать вручную. Существуют технические фильтры, которые отклоняют заголовки с опечатками и ошибками. Но есть и цензурные фильтры. С их помощью в заголовки сюжета попадают только сообщения зарегистрированных СМИ или медиа из «белого списка».

«Белый список» из топ-14 отобранных СМИ работает для топ-5 новостей, которые попадают на главную страницу поисковика, а также для рубрик «Политика», «Общество» и «Экономика» на странице «Яндекс.Новостей».

В то же время, чтобы разнообразить новостную картину пользователя, была введена рубрика «Интересное». Новости в нее попадают по рекомендательному принципу, то есть для каждого пользователя разные. Именно в эту рубрику теоретически до блокировки сайтов и остановки работы могли попасть «Медиазона», «Новая газета» или «Эхо Москвы». Также «белый список» не распространялся на региональную рубрику, которая различалась в зависимости от местоположения человека.

Комментарий «Яндекса»:

— На попадание в топ новостей влияют следующие параметры: число и скорость появления публикаций в сюжете, а также динамика интереса пользователей к этой теме. Т.е. сервис учитывает скорость появления новых сообщений по теме в СМИ, а также общее число изданий, среагировавших на событие. Кроме того, если новость интересна пользователям, и они много о ней читают, это добавляет ей значимости. Если какой-то темы нет в топе — значит, какой-то из этих параметров не соблюден.

Также напомним, что топ постоянно обновляется. Некоторые новости могут появиться в нем на короткое время, а могут задержаться надолго. Если в данный момент какой-то темы в топе нет — не значит, что ее не было. Все зависит от потока сообщений по теме и пользовательского интереса.

Как ни парадоксально, работа над топом новостей не входила в приоритеты команды сервиса «Яндекс.Новости», рассказывает один из бывших сотрудников. «Всему миру кажется, что топ новостей ― это самое важное в новостном агрегаторе. Но «Яндекс» — это прежде всего айтишная компания. И в «Яндекс.Новостях» менеджеры получали разные плюшки не за то, что их сервис самый честный и самый объективный, а по числу новых фичей ― особенностей сервиса. Например, когда счет во время спортивных матчей оперативно обновляется или появляется новая рубрика. Вот это фича. Ну и вторая причина: никому не хотелось заниматься топом новостей, потому что наверняка за это могли цыкнуть зубом где-нибудь в администрации президента», ― объясняет экс-сотрудник сервиса.

Скорее всего, после продажи «Яндекс.Новостей» VK сервис станет еще менее объективным и превратится просто в распределитель трафика для госСМИ, ждут эксперты рынка. А для читателя, не погруженного глубоко в мир медиа, новостная картина станет еще более однобокой и плоской.