OWASP: искусственный интеллект породил новые угрозы в виде промпт–инъекций - плюс еще одна фобия в списке многих

Эксперты по кибербезопасности из международной организации OWASP (Open Worldwide Application Security Project) по итогам проведенного анализа предупредили о подводных камнях приложений с искусственным интеллектом. Первый список угроз, связанных с внедрением ИИ, ними был представлен еще в 2023 году, передает издание DP.RU. И вот теперь появился новый.

Самой распространенной уязвимостью эксперты назвали манипуляцию входными данными

Ее еще называют промпт-инъекцией.


В чем суть: аферисты и кибер-мошенники могут намеренно формулировать запросы таким образом, чтобы ввести систему в заблуждение, отклонив ее от изначально задуманного разработчиком сценария.


В итоге это оборачивается неадекватным ответом и советом либо даже принуждением к потенциально опасным для человека действиям.


Злоумышленники пользуются тем, что для языковых моделей на основе ИИ не существует четкого разграничения между инструкциями и данными, которые ними обрабатываются.


Искусственный интеллект получает запрос в виде обычного текста, который принято называть промптом.


Инструкции - это вводная часть, а вопрос пользователя является уже частью данных.


Как это работает специалисты привели на примере чат-бота интернет-магазина, имеющего доступ к базе заказов.


Такой бот может не только предоставить исчерпывающую информацию о вашем заказе, но и параллельно ознакомиться с историей покупок других клиентов. Затем его знания могут использовать мошенники в собственных целях.