Under de senaste åren har generativa AI-modeller som ChatGPT gjort betydande framsteg inom en rad områden, från språkförståelse till problemlösning. Men hur står det till med deras förmåga att klara av logiska tester, särskilt när det gäller bildbaserade uppgifter?
Personligt experiment med ChatGPT
Jag utförde nyligen ett experiment där jag testade ChatGPT och dess förmåga att lösa logiska tester baserade på bilder, utifrån ett test från Alva Labs som används i rekryteringssammanhang. Syftet med testet var att efterlikna hur en kandidat troligen hade gjort. Jag valde att genomföra testet och samtidigt använda mobilen för att ta bilder och därigenom få svar från ChatGPT utifrån den visuella informationen.
Resultatet var minst sagt nedslående. Modellen misslyckades med att ge korrekta svar i de flesta frågeställningar och visade bristande slutledningsförmåga när den ställdes inför visuella uppgifter.
Logisk slutledningsförmåga via text
Mitt experiment liknar det resultat som jag fått berättat av mig från andra inom testbranschen som fått liknande resultat. Men dessa står i kontrast till andra studier där AI-modeller har visat sig klara av textbaserade logiska tester med imponerande resultat. Exempelvis har den senaste modellen från OpenAI, GPT-4 o1-preview, lyckats svara korrekt på 25 av 35 frågor i ett Mensa-test när frågorna presenterades i textform. Studien, som kan läsas här, visar att AI-modeller fortsätter att förbättra sin logiska slutledningsförmåga vid textbaserade instruktioner.
Se exempel på textbaserad prompt
Detta innebär att medan AI blir allt bättre på att hantera textbaserade logiska utmaningar, kvarstår betydande hinder när det gäller att tolka och analysera visuella data på samma nivå.
Varför denna skillnad mellan text och bild?
Det finns flera möjliga förklaringar till varför AI-modeller presterar sämre på bildbaserade logiska tester:
Datamängd och träning: AI-modeller tränas ofta på stora textkorpusar, vilket ger dem en stark grund inom språk och textförståelse. Motsvarande omfattande dataset för bilder, särskilt inom logik och slutledning, är mindre vanliga.
Komplexitet i visuell tolkning: Att tolka bilder kräver att modellen förstår visuella element, spatiala relationer och ibland kulturella kontexter, vilket är en komplex uppgift.
Begränsningar i nuvarande arkitekturer: Många AI-modeller är optimerade för text och kan behöva anpassas eller utökas för att bättre hantera bildinformation.
Framtidens urvalsmetoder och AI
Med tanke på dessa utmaningar är det viktigt att reflektera över hur AI kommer att påverka våra urvalsmetoder framöver.
Hur kan vi säkerställa att våra urvalsmetoder förblir rättvisa och effektiva i en tid där AI blir allt mer närvarande?
Borde vi anpassa våra tester för att bättre mäta mänskliga förmågor som AI ännu inte kan reproducera?
Är det dags att omfamna AI som ett verktyg i rekryteringsprocessen och i så fall, hur gör vi det på ett etiskt sätt?
Mina tre bästa tips
För att möta dena snabba utbecklingen behöver vi anpassa våra urvalsmetoder och säkerställa att vi mäter rätt saker som är relevanta för den tjänster vi rekryterar för. Så hur skulle du kunna anpassa rekryteringsprocessen nu när AI integreras allt mer?
Verifiera testresultat oftare: Om kandidater använder AI för att genomföra tester, behöver vi säkerställa att resultaten verkligen reflekterar deras förmågor.
Anpassa tester efter teknologin: Kanske bör vi utforma tester som kombinerar både text och bild eller som är svårare för AI att lösa utan mänsklig intuition.
Uppmuntra etisk användning av AI: Istället för att förbjuda användningen av AI, kanske vi bör integrera det i processen och bedöma hur väl kandidater kan samarbeta med teknologin.
Comments