Mats Benjaminsson tittar in i en liten, svart kameralins. Hans ansikte dyker upp på en datorskärm. Bredvid honom på skärmen syns ett antal staplar: ilska, förakt, glädje, sorg, förvåning. Ett program läser av hans olika ansiktsuttryck och justerar staplarnas procentvärden. Allt sker löpande, i realtid. Det kallas emotionell AI.

Vi står i uppvisningsrummet hos det göteborgska företaget Smart Eye. De är ledande inom den här tekniken, som kommit att bli kontroversiell. Mats Benjaminsson är bolagets finanschef.

Datorer som kan läsa av känslor har fram till nyligen varit ett ämne för science fiction-författare. Men under de senaste årens AI-boom har det skett en explosiv utveckling av program som kan, eller påstås kunna, göra just det. Tekniken bygger på att övervaka och analysera små förändringar i våra ansiktsrörelser. Algoritmerna har byggts genom att samla in miljontals filmer och bilder av människors ansikten.

Dina känslor registreras – i bilen

Fanny Lyrheden, marknadsansvarig på Smart Eye, visar hur det kan användas i praktiken. Hon sätter sig ned i en bilsimulator i full skala. Vid förarsätet och hos samtliga passagerare sitter kameror. De läser av resenärernas känslor på samma sätt som ovan.

Hon kör runt i en 3D-animerad stadskärna med grå höghus. På just den här simulatorbanan är uppdraget att lämna ett barn på förskolan. Lyrheden beskriver hur bilens datorsystem hanterar informationen från kamerorna.

– Om vi har kört ett tag kan vi få lite statistik. Den följer blicken, var man tittat när man kört, hur mycket man har haft händerna på ratten, säger hon.

– Och även då känslor.

Det är långt ifrån det enda området där Smart Eye vill använda sin teknik.

Medan de här systemen har utvecklats har EU-politiker tagit fram en ny AI-lag. Den förbjuder att AI används för att läsa av anställdas känslor. Ett av motiven är att tekniken anses ha vetenskapliga brister. Ett annat är att det antas råda en ojämn maktbalans mellan arbetsgivare och anställd, och att känsloavläsningsprogram kan vara farliga i det läget. 

Emotionell AI förbjuds på jobbet

Förbudet börjar gälla i februari 2025. Det är inte bara själva användandet som stoppas – att sälja emotionella AI-program som ska användas på anställda blir också förbjudet. Undantag kan göras för användning av medicinska skäl och i säkerhetssyfte, men hur de undantagen ska avgränsas är inte klart än.

Lagstiftningsarbetet har inte hindrat Smart Eye från att utforska nya branscher. Utöver bilprodukterna säljer de fristående datorprogram med emotionell AI genom två dotterbolag: Imotions och Affectiva. Löftet är att programmen kan läsa av känslor delvis med hjälp av en helt vanlig webbkamera. 

Imotions kunder finns inom bland annat flyg-, försvars- och tågindustrin, berättar Mats Benjaminsson. På webbplatsen listas också läkemedelsbolagen GSK och P&G och livsmedelsjätten Unilever.

Affectiva säljer emotionell AI till företag som vill testa hur människor reagerar på deras produkter. På sin webbplats skriver de att ”över 90 procent av världens största reklamköpare” använder deras tjänst. De säljer också ett så kallat utvecklingskit för att hjälpa andra mjukvaruutvecklare föra in emotionell AI i sina program. 

Graham Page, högsta chef över Affectivas avdelning för medieanalys, säger i en intervju med Kollega att de dessutom har börjat utforska hur känsloavläsning kan användas i videomötesprogram. På företagets webbplats formuleras en framtidsplan: ”Vår vision är att emotionell AI en dag ska finnas överallt.” 

EU-regler om AI 2025 – kamp mot klockan

Båda dotterbolagen är helägda av Smart Eye. Mats Benjaminsson är dess näst högsta chef. Vi sätter oss ned i ett konferensrum med utsikt över Göta älv.

EU:s nya AI-förordning förbjuder emotionell AI som används för att läsa av anställdas känslor på jobbet. Hur vet ni att det ni säljer och utvecklar inte bryter mot det förbudet?

– Det som är produktifierat i det här med ”emotion”, det är ju mot ”advertising”-delen. Spelfilmer, trailrar. Nu kan inte jag de detaljerna, men där tänker jag att det finns ett regelverk och att vi följer det. 

Han syftar på Affectivas produkter för reklambranschen. Men reklamanalys är alltså långt ifrån den enda emotionella AI-tjänst som Smart Eye-koncernen säljer. Gällande känsloavläsningen i bilar, som Mats Benjaminsson just har visat upp, säger han att bolaget just nu ”sätter sig in i” hur man ska följa de nya EU-reglerna.

Det är ganska kort tid tills förbudet träder i kraft. Från februari nästa år gäller det. Är ni som bolag redo?

– Vi förbereder oss genom att vi har en bolagsjurist.

Mats Benjaminsson berättar att en nyanställd person just nu går igenom Smart Eyes olika affärsavtal.

– Vi är ett litet bolag som vuxit sedan 2021, med de här förvärven (Imotions och Affectiva, reds. anm.), och samtidigt ligger vi i framkant med ny AI-teknik och nya EU-regleringar. Så det är klart att vi har ett jobb att göra. Jag känner inte att vi har en hemläxa, men vi är välbemannade och vi är på frågan.

Emotionell AI är integrerat i det ni säljer genom Imotions. Blir inte det ganska mycket att gå igenom på så kort tid? Där har ni ju många och stora kunder.

– Så är det. Och nu pratade jag faktiskt med vår bolagsjurist precis innan i ett helt annat ärende. Det är klart att vi läser in oss, och det är inte bara vi, det finns ju nätverk och andra advokatbyråer som vi jobbar med. Så i det perspektivet försöker vi hela tiden jobba med dem som ligger i framkant. På så sätt känner jag mig helt trygg.

– Sedan är det klart, det är en stor verksamhet. Det tar ju ändå tid, det får man ha respekt för.

På Affectivas webbplats står det att ”vår vision är att emotionell AI en dag ska finnas överallt”. Varför har ni det målet när EU har bestämt att förbjuda den här tekniken på flera platser för att den anses farlig?

– Jag tror det är så här att den webbplatsen och det påståendet har man nog gjort rent generellt, säger Mats Benjaminsson.

Han söker orden.

– Det har nog funnits där en tid, utan att jag kan det exakta. I och med att vi är ett AI-bolag och vill ligga i framkant så är det klart att …

Fanny Lyrheden fyller i.

– Man kan ju tolka det på flera sätt. Man kan tolka det som att det ska finnas överallt och läsa av allas känslor hela tiden, men det är väl mer så att det ska kunna användas inom alla olika områden och branscher, på ett reglerat och avgränsat sätt. Det är snarare det vi menar.

Så det är Smart Eyes ambition – att emotionell AI ska finnas överallt?

– Grejen är nog så här, att det är nog bara ett ”statement”. Vi vet ju inte riktigt exakt hur AI integreras, lika lite som man visste hur pc:n skulle bli i början på 80-talet, säger Mats Benjaminsson. 

Det här är del ett av tre i Kollegas serie om emotionell AI. Del två - om kontorsbås som kan läsa av hur du mår kan du läsa här. Del tre, där den vetenskapliga grunden bakom tekniken ifrågasätts går att läsa här.