Záznamy o prevádzke AI systému sú automaticky vytvárané zápisy o jeho používaní – kedy bol systém spustený, s akými vstupmi pracoval, aké výstupy poskytol a kto do rozhodovania zasiahol. Pri vysokorizikových systémoch ide o povinnosť, ktorej zmyslom je sledovateľnosť: bez záznamov sa nedá vyšetriť incident, preukázať vykonaný ľudský dohľad ani obhájiť rozhodnutie pred dozorným orgánom či súdom. Uchovávať sa majú po primeranú dobu zodpovedajúcu účelu systému. Zároveň však samotné záznamy môžu obsahovať osobné údaje, preto podliehajú pravidlám o ochrane údajov vrátane obmedzenia prístupu a lehôt na výmaz. Firmy si tieto dve požiadavky musia zosúladiť už pri návrhu riešenia. Rozsah zaznamenávaných údajov sa preto určuje vopred, nie až po prvom incidente.
Pozri aj: monitorovanie AI systému, incident s AI systémom, retencia a mazanie dát.
