В фильме «Она» герой фильма заводит в итоге обреченные романтические отношения со сложной системой ИИ. На момент выхода в 2013 году такой сценарий был прочно в области научной фантастики. Но с появлением генеративного ИИ (GenAI) и больших языковых моделей (LLM) это уже не такая нелепая перспектива. На самом деле, «компаньоны»-приложения сегодня множатся.
Однако, неизбежно возникают риски, связанные с подключением к ИИ-боту. Откуда ты знаешь, что твоя личная информация не будет передана третьим лицам? Или украдена хакерами? Ответы на такие вопросы помогут тебе определить, стоит ли оно того.
В поисках (цифровой) любви
Приложения-компаньоны удовлетворяют растущий рыночный спрос. ИИ-подруги и ИИ-парни используют мощь LLM и обработки естественного языка (NLP) для взаимодействия с пользователями в разговорной, высоко персонализированной манере. Такие приложения, как Character.AI, Nomi и Replika, заполняют психологическую, а иногда и романтическую потребность тех, кто ими пользуется. Нетрудно понять, почему разработчики стремятся выйти на этот рынок.
Даже крупные платформы подтягиваются. OpenAI недавно заявил, что скоро запустит «эротику для проверенных взрослых», и может позволить разработчикам создавать «взрослые» приложения на основе ChatGPT. xAI Илона Маска также запустила игривых ИИ-компаньонов в своем приложении Grok.
Исследование, опубликованное в июле, показало, что почти три четверти подростков использовали ИИ-компаньонов, а половина делает это регулярно. Что еще более тревожно, треть выбрали ИИ-ботов вместо людей для серьезных разговоров, а четверть поделились с ними личной информацией.
Это особенно беспокоит, поскольку начинают появляться предостерегающие истории. В октябре исследователи предупредили, что два приложения-компаньона (Chattee Chat и GiMe Chat) непреднамеренно раскрыли крайне конфиденциальную информацию пользователей. Неправильно настроенный экземпляр брокера Kafka оставил системы потоковой передачи и доставки контента для этих приложений без контроля доступа. Это означало, что кто угодно мог получить доступ к более чем 600 000 фотографий, отправленных пользователями, IP-адресов и миллионам интимных разговоров более чем 400 000 пользователей.
Риски подключения к боту
Оппортунистические злоумышленники могут увидеть новый способ заработка. Информация, которой жертвы делятся в романтических беседах со своим ИИ-компаньоном, идеально подходит для шантажа. Например, изображения, видео и аудио могут быть использованы в инструментах deepfake для мошенничества с сексуальным вымогательством. Или личная информация может быть продана в даркнете для последующего мошенничества с личными данными. В зависимости от уровня безопасности приложения, хакеры также могут получить доступ к информации о кредитных картах, хранящейся для покупок в приложении. По данным Cybernews, некоторые пользователи тратят на такие покупки тысячи долларов.
СООТВЕТСТВУЮЩЕЕ ЧТЕНИЕ: ChatGPT, ты будешь моим Валентином?
Как показывает пример выше, для разработчиков ИИ-приложений приоритетом является получение дохода, а не кибербезопасность. Это означает, что злоумышленники могут найти уязвимости или неправильные конфигурации для эксплуатации. Они могут даже попытаться создать свои собственные похожие приложения-компаньоны, которые скрывают вредоносный код для кражи информации, или манипулировать пользователями, чтобы те раскрыли конфиденциальные данные, которые могут быть использованы для мошенничества или шантажа.
Даже если ваше приложение относительно безопасно, оно может представлять риск для конфиденциальности. Некоторые разработчики собирают как можно больше информации о своих пользователях, чтобы затем продавать ее сторонним рекламодателям. Непрозрачные политики конфиденциальности могут затруднить понимание того, защищены ли ваши данные и как именно. Вы также можете обнаружить, что информация и разговоры, которыми вы делитесь со своим компаньоном, используются для обучения или доработки базовой LLM, что еще больше усугубляет риски конфиденциальности и безопасности.
Как обезопасить свою семью
Независимо от того, используете ли вы приложение-компаньон сами или беспокоитесь о том, что им пользуются ваши дети, совет один и тот же. Предполагайте, что в ИИ нет встроенных средств обеспечения безопасности или конфиденциальности. И не делитесь с ним никакой личной или финансовой информацией, которой вы бы не хотели поделиться с незнакомцем. Это включает в себя потенциально неловкие или компрометирующие фотографии/видео.
Еще лучше, если вы или ваши дети хотите попробовать одно из этих приложений, проведите предварительное исследование, чтобы найти те, которые предлагают лучшие меры безопасности и конфиденциальности. Это потребует прочтения политик конфиденциальности, чтобы понять, как они используют и/или передают ваши данные. Избегайте любых, которые неясно указывают на предполагаемое использование или признают, что продают пользовательские данные.
Найдя приложение, обязательно включите функции безопасности, такие как двухфакторная аутентификация. Это поможет предотвратить захват учетных записей с использованием украденных или подобранных паролей. И изучите его настройки конфиденциальности, чтобы усилить защиту. Например, может быть опция отказаться от сохранения ваших разговоров для обучения модели.
Если вы беспокоитесь о безопасности, конфиденциальности и психологических последствиях использования этих инструментов вашими детьми, начните диалог с ними, чтобы узнать больше. Напомните им о рисках чрезмерного раскрытия информации и подчеркните, что эти приложения — инструмент для получения прибыли, который не действует в интересах пользователей. Если вы обеспокоены тем, какое влияние они могут оказывать на ваших детей, может потребоваться ограничить время использования экрана и использование — возможно, с помощью родительских средств контроля/приложений.
Само собой разумеется, что вы не должны разрешать использование каких-либо приложений-компаньонов, чья политика проверки возраста и модерации контента не обеспечивает достаточной защиты для ваших детей.
Пока неизвестно, вмешаются ли регулирующие органы, чтобы ввести более строгие правила относительно того, что разработчики могут и не могут делать в этой области. Романтические боты в настоящее время действуют в некоторой серой зоне, хотя предстоящий Закон о цифровой честности в ЕС может запретить чрезмерно аддиктивный и персонализированный опыт.
Пока разработчики и регулирующие органы не догонят, возможно, лучше не относиться к ИИ-компаньонам как к доверенным лицам или эмоциональным костылям.