Algorytm dzielił bezrobotnych na profile, a sąd uznał go za niezgodny z Konstytucją

Co się wydarzyło

Od 2014 roku polskie urzędy pracy wykorzystywały algorytm przypisujący każdego zarejestrowanego bezrobotnego do jednego z trzech „profili” na podstawie punktów przyznawanych podczas rozmowy kwalifikacyjnej. Profil decydował, na jaką pomoc - szkolenia, oferty pracy czy minimalne wsparcie - dana osoba mogła liczyć.

Fundacja Panoptykon udokumentowała, że kryteria punktowania były nieprzejrzyste, stosowane niespójnie w różnych urzędach i praktycznie niemożliwe do skutecznego zakwestionowania. Trybunał Konstytucyjny ostatecznie uznał mechanizm profilowania za niezgodny z Konstytucją - za przekazanie decyzji wpływającej na prawa obywateli nieujawnionemu algorytmowi bez odpowiedniej podstawy prawnej i nadzoru - a system wycofano.

Problem biznesowy

System punktowy z realnymi konsekwencjami dla ludzi wdrożono bez przejrzystości co do zasad działania i bez działającego sposobu na zakwestionowanie jego wyniku.

Co mogło pomóc

• Algorytm decyzyjny potrzebuje udokumentowanej, wyjaśnialnej podstawy, zanim zbliży się do realnych konsekwencji dla ludzi
• Mechanizm odwoławczy, który nie jest faktycznie użyteczny, to to samo, co brak mechanizmu odwoławczego
• Nieprzejrzystość sama w sobie jest ryzykiem prawnym i wizerunkowym, niezależnie od trafności samego punktowania
• Wdrożenia w sektorze publicznym i regulowanym podlegają istotnie wyższej poprzeczce wyjaśnialności niż narzędzia wewnętrzne

Co z tego wynika