Vysvetliteľnosť rozhodnutia AI je schopnosť zrozumiteľne uviesť, na akom základe systém dospel k danému výstupu. Nadobúda praktický význam všade, kde rozhodnutie ovplyvňuje človeka – pri posudzovaní žiadostí, výbere uchádzačov, hodnotení bonity alebo prideľovaní služby. Pri vysokorizikových systémoch má dotknutá osoba právo na vysvetlenie úlohy systému v rozhodovaní a na jeho hlavné prvky. Zložité modely pritom fungujú ako čierna skrinka, preto sa vysvetliteľnosť zabezpečuje kombináciou opatrení: dokumentáciou vstupných faktorov, záznamami o prevádzke, doplnkovými nástrojmi na vysvetlenie a najmä tým, že konečné rozhodnutie robí človek, ktorý ho vie odôvodniť. Firmy by preto nemali nasadzovať nevysvetliteľné modely tam, kde ide o práva ľudí.
Pozri aj: ľudský dohľad nad AI, vysokorizikový AI systém, záznamy o prevádzke AI.
