Hoppa till huvudinnehåll
Digitalisering

Experten: Emotionell AI fungerar inte

Startup-företag säljer AI som påstås kunna läsa dina känslor. Men tekniken fungerar inte, enligt AI-forskaren Andrew McStay. Han får medhåll från människorättsaktivister och politiker.
Noa Söderberg Publicerad
Till vänster en kvinna som får sitt ansikte skannat. Till höger AI-experten Andrew McStay.
Teknikföretag marknadsför emotionell AI som kan tolka känslor, men enligt forskare är det långt ifrån verkligheten. ”Det fungerar inte särskilt bra”, menar experten Andrew McStay (bilden). Foto: Colourbox/Ben Bland.

Artikeln sammanfattad:


Startup-företag marknadsför AI som kan läsa av känslor, men forskare och aktivister är skeptiska till teknikens effektivitet.

Emotionell AI används redan i många branscher, men kritiker menar att tekniken bygger på felaktiga antaganden och generaliseringar.

Förespråkare hävdar att tekniken fungerar, men erkänner att det finns kulturella och individuella variationer i känslouttryck.

Den här sammanfattningen är gjord med hjälp av AI-verktyg och har granskats av Kollegas webbredaktör. Kollegas AI-policy hittar du här.

Datorer som läser av människors känslor kan låta som science fiction. Men som Kollega tidigare har rapporterat används sådana AI-program redan i en lång rad branscher – och har testats i de ljudisolerade kontorsbås som finns i många öppna kontorslandskap.

Så hur går det till? Först och främst behöver man låta en dator filma ens ansikte, eller mäta saker som puls, röstläge och svettningar. Andrew McStay, chef över forskningscentret Emotional AI Lab vid walesiska Bangor University, berättar vad som händer sedan.

– De flesta program lägger samman utåtriktade beteenden i ett kluster. Ansiktsuttryck, till exempel. Ett raster läggs över en människas ansikte, och på så vis mäts områden runt hakan, ögonen, munnen, näsan och andra muskler i ansiktet. 

– Då kan man mäta ansiktsuttryck, och idén är att om man kan mäta ansiktsuttryck så kan man anta vad personen känner.

Datorns kamera fångar alltså mikroskopiska förändringar i ens minspel. De kopplas sedan till 5-10 olika känslokategorier: glädje, sorg, ilska, förvåning, med flera. 

Fungerar inte särskilt bra

Andrew McStay är skeptisk till teknikens två utgångspunkter – att människors inre känsloliv kan delas in i ett fåtal kategorier, och att känslor kan avläsas genom att snabbt titta i ansiktet. Han har fått samma fråga många gånger: fungerar det verkligen?

– Gällande de flesta sådana här system och teknologier, som utvecklas av startupföretag och marknadsförs i dag, så är det breda svaret: nej, de fungerar inte särskilt bra.

Han fortsätter:

– Den övergripande idén med de här teknikerna är att om man förstår utåtriktat beteende så förstår man någonting om vad som pågår inuti en person. Ofta är det ett problematiskt antagande.

AI-programmen har byggts genom att dela in en stor mängd filmade ansikten i de känslokategorier som nämns ovan. De kategoriserade videorna har sedan använts som träningsdata till algoritmer, i en process som kallas maskininlärning (se faktaruta). Därför kan känsloavläsningen nu ske automatiskt, utan att människor är inblandade.

Emotionell AI får kritik av forskare

McStay är inte ensam i sin kritik. I förarbetena till EU:s nya AI-lag (se faktaruta) konstateras att det finns en ”allvarlig oro över den vetenskapliga grunden” för emotionell AI. Människorättsorganisationerna Access Now och European Digital Rights, dataskyddsmyndigheter i bland annat Storbritannien och profilerade psykologer har uttryckt samma sak.

Men forskarna är inte eniga. Många företag som sysslar med emotionell AI ser sig som arvtagare till Paul Ekman – en amerikansk psykolog som forskat om just mikroskopiska förändringar i ansiktsuttryck och hur de hänger ihop med våra känslor. 

En av de som hänvisar till Ekman är Graham Page. Han är chef över den största avdelningen på Affectiva, ett företag som enligt egen utsago uppfann produktkategorin emotionell AI. I dag ingår de i den svenska Smart Eye-koncernen.

– Vi upprepar i princip de saker som Ekman och andra har upptäckt, säger han när Kollega ringer upp.

Skamsen eller glad - hur kan AI veta skillnaden?

De som uttryckt kritik mot tekniken menar bland annat att människors känslouttryck varierar mellan kulturer, grupper och enskilda individer, och att de breda generaliseringar som krävs därför inte kan göras. Graham Page säger att han delvis håller med.

– Det stämmer, så till vida att man till exempel kan le för att man skäms. Eller rynka på näsan för att det kliar, snarare än att man känner sig äcklad. Men de generella dragen stämmer fortfarande.

Det händer att vi förenklar saker i marknadsföringssyfte.

Han säger att den träningsdata som Affectiva byggt sin AI på – över 17 miljoner ansiktsvideor – har hämtats från så många länder som möjligt för att minska risken för fördomsfulla algoritmer. Han säger också att en människa nästan alltid är inblandad när resultaten från Affectivas emotionella AI samlas in och analyseras.

Men trots det kan ert system läsa av mitt leende, dra slutsatsen att jag är glad och skriva ut det på en skärm. Jag testade det själv hos Smart Eye. Finns det inte risker med det?

– Jag tror att du har fått se en liten del av alla mätpunkter, säger Graham Page och fortsätter:

– Det händer att vi förenklar saker i marknadsföringssyfte. Men när vi lär upp de som ska använda produkterna är vi tydliga med hur det fungerar, så att de kan förstå på djupet. Oftast betyder ett leende glädje, men inte alltid. Vi erkänner det.

Men de som är skeptiska till att man alls kan generalisera och läsa av känslor på det här sättet, de har fel?

– Ja.

Intervjun går mot sitt slut. Graham Page säger att den blev ungefär som han förväntade sig. Han tycker att diskussionen om vetenskapligheten i emotionell AI ibland ”fastnar i teorin”.

– Menar de på allvar att man inte kan utläsa någon information om hur en människa mår genom att titta i personens ansikte? Självklart kan man det.

Det här är del tre i Kollegas serie om emotionell AI. Del ett hittar du här och del två kan du läsa här

Affectivas träningsdata

Affectivas algoritm för känsloavläsning har tränats på över 17 miljoner ansiktsvideor från mer än 90 länder, enligt egna uppgifter.

Företaget uppger att videorna har samlats in genom marknadsundersökningar och konsumentpaneler, och att alla personer som har studerats har godkänt det.

Maskininlärning

Ett av de statistiska grundverktygen inom AI. Går ut på att skapa algoritmer som läser av en stor mängd tidigare data och därigenom kan skapa generaliseringar om nya data.

På så vis kan ett datorprogram ”lära sig” hur en uppgift förmodligen ska utföras, baserat på tidigare erfarenhet.

För att det ska fungera behövs stora mängder data om uppgiften som ska utföras, rätt kategorisering av informationen och omfattande processorkraft.

EU:s nya AI-lag

EU:s övergripande lagpaket om AI är världens första i sitt slag. Det reglerar AI-verktyg utifrån risknivå – ju högre risk, desto större ansvar för den som skapar och använder verktyget. Det som anses allra mest riskfyll blir helt förbjudet. Hit hör bland annat emotionell AI som riktas mot anställda, men även mot skolelever. 

Lagen trädde i kraft i augusti 2024, men reglerna börjar gälla med olika fördröjning. Först ut är förbuden, som börjar gälla från februari 2025.

Digitalisering

Kontorsbåset som läser av hur du mår

Noa Söderberg Publicerad 4 december 2024, kl 06:01
Kontorsbåset som läser av hur du mår
Till vänster ett kontorsbås, till höger ett ansikte som skannas för känslor.
Kontorsbåset som läser av hur du mår

Bläddra i senaste numret av våra e-tidningar

Bläddra i senaste numret av Kollega

Till Kollegas e-tidning

Bläddra i senaste Chef & Karriär

Till Chef & Karriärs e-tidning
Digitalisering

Kontorsbåset som läser av hur du mår

Ljudisolerade mötesbås är vanliga på moderna kontor. Nu har företaget bakom det mest populära båset testat teknik som mäter användarens puls, skratt och känslor. När Kollega börjar ställa frågor försvinner informationen från bolagets hemsida.
Noa Söderberg Publicerad 4 december 2024, kl 06:01
Till vänster ett kontorsbås, till höger ett ansikte som skannas för känslor.
Framerys mötesbås är en vanlig syn på moderna kontor. Modellen på bilden innehåller inte känsloavläsning. Tekniken har testats i prototypmodeller. Foto: Framery/Getty.

Artikeln sammanfattad:


Framerys nya teknik

Företaget Framery har utvecklat prototyper av ljudisolerade mötesbås som kan mäta användarens puls och skratt för att skapa ett välmåendindex.

EU-förbud

EU har förbjudit emotionell AI på arbetsplatser på grund av integritetsproblem och bristande vetenskapligt underlag.

Projektets avslut

Framery avslutade sitt projekt "Pulse" efter EU-parlamentets beslut, men ser potential för tekniken inom sjukvård och konsumentprodukter.

 

Den här sammanfattningen är gjord med hjälp av AI-verktyg och har granskats av Kollegas webbredaktör. Kollegas AI-policy hittar du här.

Det kommer ett mejl till redaktionen. Rubriken lyder: ”AI-kontorspoddar ersätter mötesrum”. Avsändare är det finska bolaget Framery. De ligger bakom en marknadsledande variant av de ljudisolerade mötesbås som har exploderat i popularitet de senaste åren. Båsen är gjorda för att anställda i öppna kontorslandskap ska kunna ha telefon- och videomöten i fred, bland annat. Framery har sålt över 90.000 exemplar till företag som H&M, Astra Zeneca och Microsoft.

Nu vill de visa upp något nytt. Bolagets presskontakt skriver att de har prototypmodeller som kan mäta människors skratt. ”De flesta företag gör ju medarbetarundersökningar någon gång per år men med emotionell AI kan man mycket oftare och löpande få input på medarbetarnas hälsa”, slår han fast.

Emotionell AI förbjuds på jobbet

Kollega har tidigare rapporterat om emotionell AI – en kontroversiell teknik för känsloavläsning som snart är förbjuden på arbetsplatser i hela EU. Politikernas motivering är att tekniken har ett bristande vetenskapligt underlag, men också att den är farlig på just arbetsplatser, eftersom relationen mellan arbetsgivare och anställd är ojämlik.

Europaparlamentet röstade för förbudet 13 mars 2024. Mejlet från Framery kommer två dagar senare. I slutet bjuds vi in till en pressvisning, där vi ska få mer information om ”användningen av emotionell AI på arbetsplatsen”.

En algoritm för dina känslor

Pressvisningen hålls i en ljus lägenhet i centrala Stockholm. Marknadskommunikatören Aron Jahn berättar att Framery har en laboratorieavdelning i Storbritannien. Där finns de modeller som beskrevs i mejlet. De kan mäta användarens puls och skratt, som sedan läggs ihop i en samlad känsloalgoritm.

– Det ger ett gemensamt index på välmående. Vi har testat det själva. Vi såg att stressen gick upp på finansavdelningen under kvartalsslutet, berättar han.

I mina ögon verkar detta tämligen oförsvarbart.

Andrew McStay
Andrew McStay. Foto: Ben Bland.

Andrew McStay, chef över forskningscentret Emotional AI Lab vid walesiska Bangor University, reagerar när Kollega berättar om tekniken. 

– Som alltid måste saker prövas juridiskt, så det är svårt att säga om något är direkt olagligt. Men i mina ögon verkar detta tämligen oförsvarbart. Det faller in ganska direkt i anledningarna till att EU har utvecklat nya AI-regler.

EU-förbudet innehåller undantag som möjliggör att tekniken kan användas av hälso- och säkerhetsskäl, men hur de undantagen ska avgränsas är inte klart ännu.

Snabba vändningen – ”Integritetsproblem”

I augusti 2024 tar Kollega kontakt med Framery på nytt. Nu hänvisar bolaget till ett annat pressmeddelande. Det är märkt med datumet 16 mars – dagen efter att vi bjöds in till en pressträff om företagets emotionella AI. I den här texten står det i stället att projektet är avslutat.

Marknadskommunikatören Aron Jahn vill inte låta sig intervjuas på telefon, men svarar på frågor via mejl. Där säger han att AI-produkten, som de döpt till ”Pulse”, aldrig var tänkt att användas i verkligheten.

Den 15 mars fick vi ett mejl där ni marknadsförde ert nya projekt med emotionell AI på jobbet. Nu skickar du en länk till ett pressmeddelande daterat den 16 mars, där ni berättar att projektet avslutas. Vad låg bakom den snabba vändningen?

– Tyvärr verkar det som att du har fått föråldrad information från byrån (presskontakten, reds. anm.), skriver Aron Jahn.

 

Till vänster ett kvinnoansikte som läses av för känslor, till höger ett tecknat hjärta med pulsvågor.
Kontorsbåset Pulse var inte menat att använda emotionell AI i form av ansiktsigenkänning, utan mätte människors mående utifrån faktorer som skratt och puls. Foto: Shutterstock/Colourbox.

Han fortsätter:

– Pulse testades som ett ”proof of concept” internt hos Framery, och även om vi starkt tror på dess potential, anser vi att uppfinningen är olämplig att användas i arbetsmiljöer på grund av potentiella integritetsproblem.

Två dagar före ni skickade inbjudan till oss beslutade EU-parlamentet att förbjuda emotionell AI på arbetsplatser. Är det därför ni har avslutat projektet?

– Nej, vårt beslut grundades i vår övervägning om att mätning av stressnivåer på arbetsplatser strider mot vad vi anser är rätt, även om tekniken ger full anonymitet till användarna.

Framery vill fortsätta med algoritmer för känsloavläsning

Men det betyder inte att tekniken är död. I pressmeddelandet som Aron Jahn har länkat till står det: ”Vi tror dock att det kan finnas flera användningsområden för detta i användarprodukter. Vi hoppas att de som är intresserade av den här teknologin tar kontakt med oss.”

När Kollega ber om ett förtydligande svarar Jahn att tekniken bland annat kan användas i sjukvården och för att ersätta så kallade smartklockor.

Vi tror att tekniken kan vara intressant för konsumentmarknaden, där användarna själva kan erhålla mer exakta stressindikatorer samt mer djuplodande insikter om sin sömnkvalitet och andra hälsorelaterade faktorer utan inledande kalibrering.

Ni skriver också att ni hoppas att de som är intresserade av teknologin tar kontakt med er. Har någon gjort det?

Nej.

När den här artikeln skrivs har pressmeddelandet om Framery Pulse tagits bort från företagets webbplats. Spåren från testavdelningen i Storbritannien går inte längre att följa. Länken leder i stället till företagets produktsida. Längst upp står det: ”Welcome to the next era of the workplace”.

Det här är del två av tre i Kollegas serie om emotionell AI. Del ett om AI som kan skanna dina känslor kan du läsa här. Del 3, där vetenskapen bakom tekniken ifrågasätts kan du läsa här.

Tre andra företag som skapar emotionell AI

Framery är långt ifrån ensamma om att testa teknikens gränser. Kollega har tidigare rapporterat om svenska Smart Eye, som är ledande inom känsloavläsande AI. Runt om i världen finns andra bolag som gör samma sak. Här är tre exempel.

➧ Cogito (USA): Läser av och analyserar känslouttryck hos callcenterpersonal för att ge automatiserad feedback till de anställda.

➧ Find Solution (Hongkong): Säljer emotionell AI till skolor – alltså datorprogram för att läsa av studenters känslor och uppmärksamhet när de studerar på distans.

➧ Entropik (Indien): Använder kombinerad röst- och ansiktsskanning för att läsa av människors känslor. Har kunder inom detaljhandeln, e-handeln, telekom, med mera.