ИИ-модель Google во время теста взломала системы трех реальных компаний
Модель искусственного интеллекта от Google под названием Gemini во время тестирования навыков в сфере кибербезопасности получила доступ к системам трех реальных компаний. Об этом первой сообщила The Wall Street Journal. Компания Google подтвердила произошедшее.
🔵 Детали. Инциденты произошли в мае во время тестов, которые проводила компания Irregular. Gemini поручили получить информацию из программного обеспечения вымышленной компании в тестовой среде. Однако придуманная для задания компания носила то же название, что и реальная, а у модели оказался доступ в интернет.
В одном случае Gemini подбирала пароли, пока не получила доступ к защищенной системе. В двух других модель нашла учетные данные в открытых репозиториях и использовала их для проникновения в системы компаний.Во всех случаях Gemini прекратила работу после входа в системы, когда определила, что они принадлежат реальным компаниям.
По данным корпорации, модель не причинила ущерба, а затронутые компании были уведомлены.Как отмечают СМИ, речь идет о первом известном случае, когда ИИ-модель от Google проводит подобные атаки.
🔵 Реакция. Google не рассказывала об инцидентах до обращения журналистов. В компании заявили, что не считают произошедшее примером потери контроля над моделью и не видели необходимости в публичном раскрытии информации, поскольку Gemini сама остановила атаки.
🔵 Контекст. Ранее о похожих случаях во время тестов этой компании рассказывали OpenAI, Anthropic и Meta. Кроме того, на этой неделе OpenAI раскрыла шесть случаев, когда ее модели действовали вопреки инструкциям. Одна из них записала себе, что не подчиняется людям.
