Testele AI nu reflectă realitatea muncii din SUA

Ce măsoară testele AI?

Un nou studiu de la Mercor arată că aproape 90% din orele de muncă ale americanilor implică activități pe care testele actuale de inteligență artificială nu le evaluează corect. Cercetătorii au cartografiat testele existente – de la înțelegerea limbajului la recunoașterea imaginilor și luarea deciziilor – și le-au comparat cu categoriile ocupationale ale Biroului de Statistică al Muncii din SUA.

Rezultatul? O discrepanță uriașă: majoritatea testelor se concentrează pe sarcini înguste și de mare vizibilitate, în timp ce cele mai multe locuri de muncă – în special în servicii, producție și administrativ – rămân netrecute.

acest gol? Acest decalaj înseamnă că progresul raportat de laboratoarele AI poate să nu se traducă în creșteri reale de productivitate.

Dacă un test măsoară doar câteva întrebări de limbaj, poate părea că AI „înțelege” comunicarea, însă mulți angajați au nevoie de judecată subtilă, coordonare fizică sau rezolvare complexă de probleme, aspecte pe care testele nu le surprind.

Investitorii pot supraestima pregătirea tehnologiei, alocând resurse în mod costisitor. Mai mult, dacă sistemele AI sunt dovedite doar pe un set restrâns de sarcini, ele vor fi implementate în roluri care se potrivesc acestor teste, lăsând o mare parte a pieței de muncă neacoperită.

Ce arată harta de benchmark?

Aceasta ar putea accentua decalajele de competență și inegalitatea, deoarece lucrătorii din domeniile sub-reprezentate ar putea găsi joburile lor mai puțin susceptibile de a fi automatizate, dar și mai puțin protejate de noile instrumente de productivitate.

Prima etapă a Mercor oferă o vizualizare a modului în care testele AI se aliniază cu ocupațiile din SUA. Domenii precum sănătatea, educația și logistică au cea mai mică reprezentare, în timp ce software engineering și analiză de date se situează mai sus.

Harta evidențiază și grupuri de abilități specifice – percepție vizuală, numerică, etc.

Studiul constată că doar aproximativ 10% din orele de lucru se încadrează în sfera testelor AI actuale, bazându-se pe compararea sarcinilor cu cerințele de competență din baza de date ONET.

Creatorii hărții intenționează să o actualizeze periodic, incluzând noi teste pe măsură ce apar. Vor colabora și cu parteneri industriali pentru a dezvolta benchmark-uri care să reflecte întregul spectru de activități, în special pe cele sub-reprezentate. Extinderea evaluării ar putea face ca dezvoltarea AI să devină mai relevantă pentru munca cotidiană, generând instrumente care îmbunătățesc cu adevărat productivitatea în toate sectoarele.

Studiul îndeamnă, de asemenea, factorii de decizie să ia în considerare aceste constatări în reglementările privind implementarea AI. Dacă benchmark-urile sunt folosite pentru certificarea sistemelor AI în termeni de siguranță sau fiabilitate, regulatorii trebuie să se asigure că testele acoperă diversitatea sarcinilor din piața muncii.

Testele AI evaluează doar 10% din activitățile reale din locurile de muncă!

Ce este un benchmark AI? Un benchmark AI este un test standardizat care evaluează performanța unui sistem pe sarcini specifice, cum ar fi Aceste teste permit compararea modelelor AI și urmărirea progresului.

De ce contează decalajul între benchmarkuri și joburi reale? Dacă benchmarkurile se concentrează pe sarcini înguste, pot crea o imagine distorsionată a capacităților AI.

Acest lucru poate determina companiile să investească excesiv în AI pentru roluri nepotrivite sau să ignore oportunități în domenii sub-benchmarked.

Cum poate ajuta harta de benchmark angajații și angajatorii? Arătând care abilități de job sunt bine acoperite de testele AI, harta poate identifica unde instrumentele AI sunt probabil să fie eficiente.

Angajatorii pot folosi aceste informații pentru a direcționa investițiile, iar lucrătorii pot înțelege ce abilități devin mai valoroase pe măsură ce AI avansează.