AI rekrutacyjne Amazona nauczyło się obniżać oceny CV kobiet

Co się wydarzyło

Amazon stworzył eksperymentalny system AI mający automatyzować analizę CV, trenowany na historycznych danych kandydatów. Dane te odzwierciedlały przewagę mężczyzn wśród pracowników technicznych, przez co model nauczył się preferować kandydatów płci męskiej.

Według Reutersa system obniżał ocenę CV zawierających słowo „women's” oraz absolwentek dwóch żeńskich szkół wyższych. Amazon próbował poprawić model, ale ostatecznie porzucił projekt.

Problem biznesowy

Automatyzacja procesu wcześniej wykonywanego przez człowieka może też zautomatyzować - i skalować - uprzedzenia obecne w historycznych danych.

Co mogło pomóc

• Testowanie modeli trenowanych na historycznych decyzjach pod kątem bias przed wdrożeniem
• Ocena dostawców i narzędzi AI pod kątem tego ryzyka przed adopcją
• Nadzór człowieka nad decyzjami wysokiego ryzyka
• Polityka określająca, co AI może, a czego nie może decydować bez nadzoru

Co z tego wynika