Нейроискусство кино

Вторжение нейросетей

Летом 2023 года поклонников киновселенной Marvel ждал неприятный сюрприз.

Стриминговый сервис Disney+ выпустил новый сериал Secret Invasion («Секретное вторжение») о приключениях их любимых супергероев. С первых же кадров зрители почувствовали неладное. Заставка выглядела странно, будто ее генерировали нейронные сети.Вскоре создатели шоу подтвердили подозрения, заявив, что действительно использовали в работе инструменты искусственного интеллекта (ИИ). Однако они поспешили заверить фанатов, что ни одно рабочее место при этом не пострадало, поскольку алгоритмы лишь помогали людям-дизайнерам, а не заменяли их.

Режиссер «Секретного вторжения» Али Селим отметил, что «не совсем понимает», как работает искусственный интеллект, но очарован его возможностями: «Мы говорили об идеях, темах и словах, а затем компьютер включался и что-то делал».

Такой инновационный подход оценили не все — коллеги по цеху даже посчитали его издевательством над работой художников. Пожалуй, главная претензия заключалась в том, что получившийся результат оказался весьма сомнительного качества. ИИ-картинки уместны для иллюстрации постов в соцсетях, но от высокобюджетных проектов Marvel поклонники привыкли ждать большего внимания к деталям.

Скандальная заставка марвеловского сериала — далеко не первый пример использования ИИ в индустрии развлечений. Сегодня он применяется на всех этапах кино- и телепроизводства, что вызывает обеспокоенность как участников рынка, так и регуляторов. Главный вопрос — как будет развиваться дальше роман «киношников» с «айтишниками»?

Где применяется ИИ

Киноиндустрия десятилетиями эксплуатировала образ всемогущего искусственного интеллекта — от HAL 9000 в кубриковской «Космической одиссее 2001 года» до Альтрона в марвеловских «Мстителях».

К 2024 году подсознательные страхи сценаристов стали реальностью, ведь теперь им вместе с другими участниками съемочного процесса приходится конкурировать с роботами. По крайней мере, так может показаться на первый взгляд: достаточно посмотреть на многообразие ИИ-инструментов, оказавшихся в распоряжении кинематографистов.

На этапе подготовки к съемкам генеративный искусственный интеллект, способный создавать новый контент после обучения на больших массивах данных, помогает придумывать сюжетные ходы, диалоги, персонажей. Например, еще в 2016 году, задолго до нынешнего бума нейросетей, на экраны вышла короткометражка Sunspring («Солнечный источник»), сценарий которой написал чат-бот Benjamin.

Искусственный интеллект может даже предсказать кассовые сборы будущего фильма. Сервис ScriptBook за несколько минут анализирует сценарий по сотням параметров, включая структуру сюжета и эмоциональный накал. По словам разработчиков, точность прогнозов достигает 86%, в то время как люди справляются с этой задачей не более чем в трети случаев.

Искусственный интеллект также упрощает дистрибуцию фильмов и сериалов, делая их доступными для зрителей во всём мире. В 2022 году компания Disney потратила на локализацию — то есть перевод и дублирование контента — 33 млрд долларов. Дублирование фильмов с помощью ИИ-сервисов вроде Deepdub сокращает расходы на 30–40% и ускоряет локализацию в пять раз. Успех южнокорейского сериала Squid Game («Игра в кальмара») показал, что место производства контента уже не играет большой роли. Дешевая и качественная локализация откроет зрителям огромный массив новых историй.

Но, конечно, самая заметная сфера применения искусственного интеллекта в кино — это производство и постпродакшен. Нейросети упрощают монтаж и цветокоррекцию, они помогают создавать спецэффекты и омолаживают актеров, а в некоторых случаях даже возвращают к жизни умерших артистов.

В снятом по мотивам «Звездных войн» сериале Obi-Wan Kenobi («Оби-Ван Кеноби») Дарт Вейдер говорит привычным голосом Джеймса Эрла Джонса. К моменту съемок актеру было уже за 90, но его голос, казалось, совсем не изменился с конца 1970-х, когда мир впервые услышал лорда ситхов. 

Специально для звездной саги украинская компания Respeecher омолодила голос заслуженного артиста при помощи своего ИИ-алгоритма, обученного на старых записях. Последние фрагменты компьютерного голоса героя разработчики отправляли саунд-продюсерам уже после начала российского вторжения в феврале 2022 года — создание «Звездных войн» происходило буквально под звуки воздушной тревоги настоящей войны.

И, конечно, уже никого не удивляет появление в фильмах и сериалах актеров, скинувших несколько десятилетий. Секретом вечной молодости владеют нейросети, которые сканируют изображения молодых актеров в старых фильмах, создают на их основе цифровые маски и накладывают на лица дублеров. Благодаря этой технологии Харрисон Форд в фильме «Индиана Джонс и циферблат судьбы» выглядит в два раза моложе своего реального возраста.

По сути, речь про дипфейки: Голливуд взял на вооружение технологии, которые позволяют пранкерам выдавать себя за других людей. Вероятно, самый известный проект такого рода — пародийный аккаунт компании Metaphysic, в котором актер с лицом Тома Круза делает странные вещи (например, объявляет, что будет участвовать в президентских выборах).

Вирусные ролики с фейк-Крузом стали для Metaphysic своего рода портфолио и демонстрацией возможностей. В 2024 году на экраны выйдет драма Роберта Земекиса Here («Здесь») — адаптация одноименного графического романа, действие которого происходит в одной комнате на протяжении многих лет. Возраст героев в процессе меняется: чтобы перенести сюжет на экран, исполнителей главных ролей Тома Хэнкса и Робин Райт омолаживали в режиме реального времени как раз алгоритмами Metaphysic. Режиссер сразу видел, какими предстанут их персонажи. Если раньше накладывать такие эффекты нужно было на этапе постпродакшена, то нейросети позволяют делать это в прямом эфире.

Речь не только про художественные фильмы. Дипфейки пригодились и авторам документальных произведений. Например, в фильме Welcome to Chechnya («Добро пожаловать в Чечню») технология дипфейков используется для искажения лиц героев, которых власти республики преследуют из-за сексуальной ориентации. Так нейросети помогают привлечь внимание к нарушениям прав человека, одновременно защищая жертв репрессий.

Наконец, искусственный интеллект позволяет «оживить» умерших: 

Победители и проигравшие

Основатель студии DreamWorks Джеффри Катценберг (его компания выпустила, в частности, «Шрека») уверен, что генеративный искусственный интеллект удешевит производство мультфильмов на 90%.

По оценке консультантов из Bain & Company, даже в малобюджетных проектах ИИ-инструменты сокращают расходы на 10% за счет, например, автоматизации выравнивания цвета, а также локализации. В случае с дорогими фильмами экономия составляет десятки миллионов долларов.

Такие перспективы не радуют творческих работников, которые до сих пор отвечали за производство. Американский режиссер Макджи, снявший «Ангелов Чарли», заявил на организованной ЮНЕСКО конференции, что «сотни тысяч людей в киноиндустрии, включая актеров, сценаристов и художников по визуальным эффектам, могут быть заменены искусственным интеллектом в течение следующих пары десятилетий». Регулирование искусственного интеллекта в отрасли было одной из целей забастовок голливудских сценаристов и актеров, которые остановили киноиндустрию на несколько месяцев в 2023 году.

Профсоюзы в итоге добились существенных уступок со стороны студий: например, продюсеры должны будут спрашивать разрешение артистов на использование их цифровых копий и выплачивать им компенсацию. Даже создавать виртуальных персонажей с помощью генеративного ИИ будет теперь не так просто: придется получать согласие членов профсоюза, чья внешность использовалась для обучения нейросети. Кроме того, искусственный интеллект не должен считаться автором сценариев, а студии не могут заставить сценаристов использовать генеративные инструменты. Сценаристы, в свою очередь, могут применять в работе нейросети, но должны сообщать об этом студиям.

При этом впечатляющие достижения профсоюзных переговорщиков, скорее всего, не остановили победное шествие искусственного интеллекта, а только замедлили его.

Вероятно, в краткосрочной перспективе вырастет доля международных проектов: голливудские студии перенесут часть производства в страны с более мягким регулированием ИИ, а стриминговые сервисы будут покупать больше иностранного контента. От этого выиграют кино- и телекомпании, которым до сих пор было сложно выйти на мировой рынок.

Развитие искусственного интеллекта демократизирует отрасль, позволяя создавать контент голливудского уровня буквально у себя дома. В прошлом году компания Runway AI, чьи генеративные алгоритмы помогли создать получивший премию «Оскар» фильм Everything Everywhere All at Once («Всё везде и сразу»), открыла доступ к своим инструментам. Модели преобразования изображения и текстов в видео позволяют бесплатно генерировать короткие ролики (а за умеренную плату можно снять ограничения по времени). ИИ-технологии компании позволяют, помимо прочего, за пару кликов удалять фон на видео: эти и другие решения экономят производителям часы работы.

Кроме того, индустрия найдет подходы к искусственному интеллекту, которые не вызовут отторжения у «креативного класса». Такие примеры уже есть: скажем, для фильма Spider-Man: Into the Spider-Verse («Человек-паук: Через вселенные») аниматоры сначала создали библиотеку всевозможных выражений лиц героев, а затем использовали машинное обучение, чтобы определить, как эти элементы будут расположены в кадре. Эта методика снимает вопрос об авторских правах, поскольку ИИ обучается на оригинальном контенте и не лишает работы аниматоров.

Наконец, главными выгодоприобретателями массового внедрения искусственного интеллекта в кино и на телевидении окажутся зрители, которые получат новые фильмы и сериалы. Вопросы о реальности или искусственности при этом останутся предметом интереса исследователей, но точно не аудитории. Исполнитель роли Нео в фильме «Матрица» Киану Ривз признался в одном из интервью, что пытался недавно пересказать сюжет картины 15-летнему подростку, объяснив, что его герой «боролся за настоящее». На что подросток недоуменно возразил: «Кого волнует, что настоящее, а что нет?»