Доктор Крейг Мартелл, главный специалист по цифровым технологиям и искусственному интеллекту Министерства обороны США, призвал аудиторию на DEF CON 31 в Лас-Вегасе взломать большие языковые модели (LLM). Не так часто услышишь, как государственный чиновник призывает к подобным действиям. Так почему же он бросил такой вызов?
LLM как трендовая тема
На протяжении Black Hat 2023 и DEF CON 31 искусственный интеллект (ИИ) и использование LLM были трендовой темой, и учитывая ажиотаж с момента выпуска ChatGPT всего девять месяцев назад, это неудивительно. Доктор Мартелл, также являющийся профессором колледжа, представил интересное объяснение и заставляющую задуматься точку зрения; это, безусловно, привлекло внимание аудитории.
Во-первых, он представил концепцию, что речь идет о предсказании следующего слова. Когда создается набор данных, задача LLM — предсказать, каким должно быть следующее слово. Например, в LLM, используемых для перевода, если взять предыдущие слова при переводе с одного языка на другой, то существует ограниченное количество вариантов — возможно, максимум пять — семантически схожих, и тогда речь идет о выборе наиболее вероятного, учитывая предыдущие предложения. Мы привыкли видеть предсказания в Интернете, так что это не новость. Например, когда вы покупаете что-то на Amazon или смотрите фильм на Netflix, обе системы предложат вам свой прогноз следующего товара, который стоит рассмотреть, или что посмотреть дальше.
Если перевести это в контекст написания компьютерного кода, то это становится проще, поскольку код должен следовать строгим правилам форматирования, и, следовательно, результат будет более точным, чем при попытке выдать обычный разговорный язык.
Галлюцинации ИИ
Самая большая проблема с LLM — это галлюцинации. Для тех, кто менее знаком с этим термином в связи с ИИ и LLM, галлюцинация — это когда модель выдает что-то «ложное».
Доктор Мартелл привел хороший пример, касающийся его самого: он спросил ChatGPT «кто такой Крейг Мартелл», и получил ответ, что Крейг Мартелл — это персонаж, которого Стивен Болдуин играл в «Обычных подозреваемых». Это неверно, так как несколько минут с поисковой системой, не основанной на ИИ, должны вас убедить. Но что происходит, когда вы не можете проверить результат или не расположены это делать? Мы в конечном итоге принимаем ответ от «искусственного интеллекта», который считается правильным, независимо от фактов. Доктор Мартелл назвал тех, кто не проверяет результат, ленивыми, и хотя это может показаться немного резким, я думаю, это доносит мысль о том, что все результаты должны проверяться с использованием другого источника или метода.
Читайте также: Black Hat 2023: «Подростковый» ИИ недостаточно для анализа киберугроз
Главный вопрос, поднятый на презентации: «Сколько галлюцинаций допустимо и при каких обстоятельствах?». В примере с решением на поле боя, которое может включать ситуации жизни и смерти, «ноль галлюцинаций» может быть правильным ответом, тогда как при переводе с английского на немецкий 20% могут быть приемлемыми. Допустимое число — это действительно большой вопрос.
Люди все еще нужны (пока)
В текущей форме LLM было предложено, что человек должен участвовать в проверке, а это означает, что одна или несколько моделей не должны использоваться для проверки результатов другой.
Человеческая проверка использует больше, чем логику. Если вы видите изображение кошки, а система говорит вам, что это собака, вы знаете, что это неправильно. Когда рождается ребенок, он может распознавать лица, он понимает голод — эти способности выходят за рамки логики, доступной в современном мире ИИ. Презентация подчеркнула, что не все люди поймут, что результаты «ИИ» нужно ставить под сомнение; они примут их как авторитетный ответ, что затем вызывает серьезные проблемы в зависимости от сценария, в котором они принимаются.
В заключение, презентация завершилась тем, к чему многие из нас, возможно, уже пришли: технология была публично выпущена и воспринимается как авторитет, тогда как на самом деле она находится в зачаточном состоянии и ей еще многому предстоит научиться. Именно поэтому доктор Мартелл бросил вызов аудитории: «Взломайте черт возьми все это, расскажите нам, как это ломается, расскажите нам об опасностях, мне действительно нужно знать». Если вы заинтересованы в том, как предоставить обратную связь, Минобороны создало проект, который можно найти по адресу www.dds.mil/taskforcelima.
Прежде чем вы уйдете: Black Hat 2023: Кибервойна: «Выстрелил и забыл»
