Prompt injection je útok, pri ktorom sú do obsahu, ktorý AI nástroj spracúva, vložené pokyny určené modelu namiesto človeku. Ak asistent alebo agent prehliada web, číta e-maily alebo spracúva dokumenty, môže takýto skrytý pokyn vyhodnotiť ako inštrukciu a napríklad odoslať údaje, zmeniť odpoveď alebo vykonať nežiaducu akciu. Riziko rastie s oprávneniami, ktoré nástroj má – u agentov s prístupom do firemných systémov je najvyššie. Obranou je obmedzenie oprávnení na nevyhnutnú mieru, oddelenie dôveryhodných vstupov od nedôveryhodných, schvaľovací krok pri operáciách s dosahom a záznamy o vykonaných úkonoch. Pre firmu je to dôvod nepúšťať agentov do citlivých systémov bez kontroly, aj keď to výrobca prezentuje ako bezpečné.
Pozri aj: AI agent a agentické nástroje, robustnosť AI systému, správa prístupov k dátam.
