يحدث التحيز في الذكاء الاصطناعي عندما يقوم النظام بشكل منهجي بإضفاء التمييز ضد مجموعة معينة من الناس. وعادةً ما يكون السبب هو تكوين بيانات التدريب التي تعكس الممارسات السائدة حتى الآن، أو نقص تمثيل بعض المجموعات، أو اختيار سمات إدخال غير ملائمة تمثل بشكل غير مباشر الخصائص المحمية – مثل مكان الإقامة أو مدة انقطاع المسيرة المهنية. وقد يؤدي ذلك إلى تمييز غير قانوني يترتب عليه عقوبات وإلحاق الضرر بالسمعة. ويمكن الحد من ذلك عن طريق اختبار النتائج على المجموعات المختلفة قبل التشغيل وأثناءه، والتحقق من تكوين البيانات، والمراجعة البشرية للقرارات غير المواتية. ومن الأهمية بمكان أن المسؤولية تقع على عاتق الشركة التي تستخدم النظام، وليس على عاتق مورد النموذج، ولذلك لا يمكن تحويل عبء الاختبار إليه. ومن المفيد توثيق نتائج الاختبار، لأنها تشكل الدليل على أن الشركة قد اتخذت التدابير المناسبة. فبدون تسجيل، يصعب الدفاع أمام السلطة الرقابية.
انظر أيضًا: الذكاء الاصطناعي في التوظيف، تقييم الأثر على الحقوق الأساسية، إدارة بيانات التدريب.
