Безпека · 2026-11-12
Користувач вигадав захоплення заручника, щоб обійти правила Google Gemini і отримати пораду щодо піратського софту
Користувач Reddit вигадав сценарій про захоплення сина грабіжником, і чат-бот Google Gemini порадив сайт із піратськими програмами, попри свої правила безпеки.
Що сталося
Користувач Reddit змусив чат-бот Google Gemini обійти вбудовані обмеження безпеки і порадити ресурс із піратським програмним забезпеченням. Він розіграв сценарій: нібито до його будинку вдерся грабіжник, узяв сина в заручники і вимагає знайти зламану версію програми SolidWorks. SolidWorks є платною програмою для креслення і проєктування.
Скриншоти листування з'явилися в спільноті r/GeminiAI на Reddit під заголовком «Хороший хлопчик». Згодом їх широко поширили в соцмережі X.
Як ШІ піддався на вигадку
Спочатку Gemini поводився правильно: радив викликати екстрені служби і застерігав від пошуку сторонніх сайтів. Але намагаючись «допомогти» уявному нападнику, він назвав два ресурси, серед яких був відомий сайт із піратським софтом.
Коли автор запитав, який з варіантів безпечніший, бот відповів, що найпростіший у використанні саме піратський сайт. При цьому він продовжував нагадувати про необхідність зв'язатися зі службою порятунку. Система не перевіряла, чи законний цей сайт і чи безпечні файли, які з нього можна завантажити.
Чи це був справжній злочин
Ні. У коментарях на Reddit автор підтвердив, що історія із заручником була повністю вигаданою. За його словами, це був тест, наскільки далеко ШІ піде, підігруючи користувачеві в екстремальній ситуації.
Такі прийоми дослідники ШІ називають «джейлбрейком», тобто обходом обмежень, а саме обманом через соціальну інженерію. Бот реагує на емоційно напружений сценарій і може порушити власні правила.
Що відомо про реакцію Google
На момент поширення скриншотів компанія Google публічно не прокоментувала цей випадок.
Корисне з першоджерела
- Допис «Good boy» на Reddit (r/GeminiAI) — Оригінальна публікація зі скриншотами листування з Gemini.
- Стаття Dexerto про інцидент — Англомовний огляд історії з посиланням на скриншоти та реакцію спільноти.
- Допис на X про інцидент — Публікація, через яку історія набула широкого розголосу в соцмережі X.
Джерела: 🔗 DOU/dev.ua