Konsultanci BCG z AI zniwelowali większość różnicy wobec data scientists

Co się wydarzyło

BCG porównało 480 konsultantów z 44 przeszkolonymi data scientists w zadaniach związanych z Pythonem, czyszczeniem danych, predictive modeling i analizą statystyczną. W zadaniu kodowania konsultanci korzystający z generatywnej AI uzyskali wyniki o około 50 punktów procentowych lepsze niż bez niej - zbliżając się do benchmarku data scientists.

Jednak w zadaniu predictive modeling korzystanie z AI mogło prowadzić do nadmiernego polegania na modelu i gorszych rezultatów. Wniosek: AI może poszerzyć zakres kompetencji, ale tylko wtedy, gdy pracownik rozumie wystarczająco dużo, by ocenić wynik.

Problem biznesowy

Danie pracownikom dostępu do AI bez umiejętności oceny jego wyników może dać gorsze rezultaty niż brak AI.

Dlaczego to zadziałało

• AI najbardziej poszerza kompetencje przy dobrze zdefiniowanych, weryfikowalnych zadaniach
• Przy zadaniach wymagających osądu może po cichu pogorszyć wyniki, jeśli polega się na nim zbyt mocno
• Dostęp do narzędzia trzeba łączyć z wystarczającym przeszkoleniem merytorycznym
• Nie każde zadanie korzysta tak samo - testuj przed skalowaniem

Co z tego wynika