Case Study · Jakość Pracy
Deloitte zwrócił część wynagrodzenia po błędach w raporcie wspomaganym przez AI
Co się wydarzyło
Deloitte przeprowadził dla australijskiego Department of Employment and Workplace Relations niezależny przegląd systemu Targeted Compliance Framework, w ramach kontraktu wartego około 440 000 dolarów australijskich. Po publikacji pojawiły się pytania dotyczące błędnych cytowań i odniesień, w tym fikcyjnego cytatu przypisanego do orzeczenia Federal Court. Deloitte zgodził się zwrócić końcową część wynagrodzenia.
Późniejszy przegląd doprecyzował obraz sytuacji: AI (Azure OpenAI GPT-4o, nie publiczny ChatGPT) było wykorzystane w technicznej części poprawionego raportu, natomiast cytowania wykonano ręcznie. Precyzyjna wersja tej historii to nie „Deloitte wrzucił raport do ChatGPT”, lecz to, że profesjonalny dokument zawierający niezweryfikowany output wspomagany przez AI trafił do klienta z błędami.
Problem biznesowy
Profesjonalny produkt może zostać podważony nawet przez niewielką liczbę niezweryfikowanych outputów AI.
Co mogło pomóc
- Obowiązkowa weryfikacja przez człowieka każdego cytatu i twierdzenia faktograficznego
- Rozdzielenie fazy tworzenia z AI od finalnej weryfikacji
- Framework QA dedykowany pracy wspomaganej przez AI
- Jawne informowanie, gdzie i jak AI zostało wykorzystane w dokumencie