Jailbreak / prompt injection

Jailbreak je technika obchádzania bezpečnostných obmedzení AI modelu pomocou špeciálne formulovaného promptu, zatiaľ čo prompt injection znamená vloženie skrytých inštrukcií do externého obsahu (napríklad webovej stránky či dokumentu) s cieľom prevziať kontrolu nad správaním modelu, ktorý tento obsah spracúva. Obe techniky predstavujú závažné bezpečnostné riziko najmä pri nasadení AI agentov, ktorí autonómne pracujú s externými, nedôveryhodnými dátami.