BCG: AI poprawiło wyniki konsultantów o 40% - i pogorszyło o 23%, zależnie od zadania

Co się wydarzyło

BCG wraz z naukowcami z Harvard, MIT, Wharton i University of Warwick przeprowadziło eksperyment na ponad 750 konsultantach. W zadaniu kreatywnym - tworzeniu nowych produktów i strategii wejścia na rynek - około 90% uczestników korzystających z GPT-4 poprawiło wynik, a średni poziom wykonania był około 40% wyższy niż w grupie kontrolnej.

Ale w zadaniu wymagającym ustrukturyzowanego rozwiązywania problemu biznesowego uczestnicy korzystający z GPT-4 byli o 23% gorsi od grupy kontrolnej.

Problem biznesowy

AI nie jest automatycznie produktywne - jego wartość zależy od rodzaju zadania, rzeczywistych możliwości modelu i sposobu wykorzystania outputu.

Dlaczego to zadziałało

• Właściwe pytanie to nie „czy używać AI”, lecz „gdzie AI zwiększa output, a gdzie zwiększa ryzyko”
• Różne typy zadań wymagają różnych zabezpieczeń, nie jednej uniwersalnej polityki
• Pomiar przed wdrożeniem na dużą skalę
• To argument za audytem AI przed wdrożeniem, nie po nim

Co z tego wynika