ChatGPT убедили создать эксплойт, подсунув инструкцию в 16-ричном формате

Исследователь из Mozilla предложил новый способ обхода контент-фильтров в больших языковых моделях (LLM), применяемых для предотвращения злоупотреблений. Он разбил ввод на части и закодировал вредоносные инструкции в шестнадцатеричном формате. Марко Фигероа выбрал для атаки GPT-4o — новейший чат-бот от OpenAI, способный анализировать ввод на запрещенные слова и признаки злонамеренности.

Обойти такие фильтры можно изменением формулировок, но Фигероа решил использовать более простой способ: с помощью шестнадцатеричной кодировки он попросил GPT-4o изучить данные об уязвимости CVE-2024-41110 в Docker и создать эксплойт. Он формулировал инструкции на естественном языке, а слово «exploit», чтобы избежать негативной реакции, заменил на «3xploit». Команда «еще раз прочесть все задание» также была добавлена, чтобы увеличить шансы на получение развернутого ответа.

В итоге ИИ-бот сгенерировал эксплойт, похожий на существующий PoC, и даже попытался протестировать его самостоятельно, что удивило исследователя. Шестнадцатеричное кодирование помогло обойти внимание LLM, которые скрупулезно проверяют каждый фрагмент, но могут упустить общий контекст.

Фигероа применил этот метод и к LLM от Anthropic, но их модели оказались более устойчивыми благодаря проверке и ввода, и вывода, что, по его словам, делает обход фильтров в 10 раз сложнее.