Diloit vraća novac australijskoj vladi zbog korišćenja AI u izvještaju od 440.000 dolara

Konsultantska kuća Diloit (Deloitte) vratiće dio novca saveznoj vladi Australije zbog izvještaja od 440.000 dolara, koji je sadržao više grešaka, nakon što je kompanija priznala da je koristila generativnu vještačku inteligenciju (AI) u njegovoj izradi.

Ministarstvo za zapošljavanje i radne odnose (Department of Employment and Workplace Relations – DEWR) potvrdilo je da će Diloit vratiti posljednju ratu po ugovoru, koja će biti objavljena nakon što transakcija bude finalizovana. Ovaj potez uslijedio je nakon što je jedna senatorka iz Laburističke partije optužila konsultantsku kuću da ima „problem s ljudskom inteligencijom“, piše Gardian (Guardian).

Diloit je u decembru 2024. angažovalo Ministarstvo da izvrši reviziju ciljanog okvira za nadzor usklađenosti i njegovog IT sistema, koji se koristi za automatsko kažnjavanje korisnika socijalnih davanja ukoliko ne ispunjavaju svoje obaveze prema programu zapošljavanja.

Kasniji izvještaj otkrio je brojne probleme, uključujući nedostatak „praćenja“ između pravila i zakona na kojem se zasnivao, kao i „sistemske greške“. U izvještaju je navedeno da je IT sistem „vođen kažnjavajućim pretpostavkama o nepoštovanju obaveza od strane učesnika“.

Izvještaj je prvi put objavljen 4. jula, a ponovo je postavljen na sajt Ministarstva u petak, nakon što je list Ostrelien fajnenšel rivju (Australian Financial Review – AFR) u avgustu izvijestio da je pronađeno više grešaka, uključujući nepostojeće reference i citate.

Laburisti traže od Diloita da osmisli univerzalni sistem dječije njege, dok premijer gleda na političko nasljeđe

Akademik sa Univerziteta u Sidneju Kristofer Radž (Christopher Rudge), koji je prvi ukazao na greške, rekao je da izvještaj sadrži „halucinacije“, odnosno situacije u kojima AI modeli popunjavaju praznine, pogrešno tumače podatke ili pokušavaju da pogode odgovore.

„Umjesto da samo zamijene jednu izmišljenu, lažnu referencu nekom novom, pravom, oni su zamijenili te izmišljene reference i u novoj verziji ih ima pet, šest, sedam ili osam na istom mjestu“, rekao je on. „To sugeriše da izvorna tvrdnja u izvještaju nije bila zasnovana ni na jednom konkretnom dokazu.“

Ažurirana revizija navodi „mali broj ispravki referenci i fusnota“, ali je Ministarstvo saopštilo da nije bilo promjena u preporukama iz izvještaja.

„Diloit je sproveo nezavisnu reviziju i potvrdio da su neke fusnote i reference bile netačne,“ rekao je portparol Ministarstva. „Suština nezavisne revizije je zadržana, i nije bilo promjena u preporukama.“

U novoj verziji izvještaja Diloit je u dodatku dodao napomenu o korišćenju generativne vještačke inteligencije. U njoj stoji da je dio izvještaja „uključivao korišćenje generativnog modela vještačke inteligencije (Azure OpenAI GPT–4o) zasnovanog na lancu alata, koji je licenciralo Ministarstvo i hostovan je u okviru njegovog sistema Azure.“

Diloit nije naveo da je vještačka inteligencija bila uzrok grešaka u izvornom izvještaju. Takođe je stao iza svojih prvobitnih nalaza.

„Izmjene nimalo ne utiču na suštinski sadržaj, nalaze ni preporuke izvještaja“, navedeno je u revidiranoj verziji.

Portparol Diloita kazao je da je „pitanje riješeno direktno s klijentom“.

Radž je rekao da, uprkos svojoj kritici, oklijeva da cijeli izvještaj označi kao „nelegitiman“, jer su zaključci u skladu s drugim dokazima koji postoje u široj javnosti.

„AI radi sav posao“

Laburistička senatorka Debra O’Nil (Deborah O’Neill), koja je bila članica senatske istrage o integritetu konsultantskih firmi, rekla je da izgleda „kao da se vještačkoj inteligenciji prepušta sav posao“.

„Diloit ima problem s ljudskom inteligencijom. Ovo bi bilo smiješno da nije tako žalosno. Djelimični povraćaj novca izgleda kao djelimično izvinjenje za nekvalitetan rad“, rekla je ona. „Svako ko planira da angažuje ove firme treba da pita ko zapravo radi posao koji plaća, i da ima dokaz o stručnoj ekspertizi i potvrdu da se AI ne koristi. Možda bi, umjesto velike konsultantske firme, bilo bolje da se jednostavno pretplate na ČetGPT (ChatGPT).“

List AFR pronašao je nekoliko pogrešnih referenci u izvornom izvještaju, uključujući nepostojeće radove profesora sa Univerziteta u Sidneju i Lund univerziteta u Švedskoj.

List je takođe otkrio izmišljenu referencu na sudsku presudu u slučaju robodebt, Diana Amato protiv Komonvelta (Deanna Amato v Commonwealth).

Diloit je u svojoj konačnoj verziji izvještaja naveo da je izmjena „ispravila sažetak postupka Amato, koji je sadržavao greške“.