Mats Benjaminsson tittar in i en liten, svart kameralins. Hans ansikte dyker upp på en datorskärm. Bredvid honom på skärmen syns ett antal staplar: ilska, förakt, glädje, sorg, förvåning. Ett program läser av hans olika ansiktsuttryck och justerar staplarnas procentvärden. Allt sker löpande, i realtid. Det kallas emotionell AI.

Vi står i uppvisningsrummet hos det göteborgska företaget Smart Eye. De är ledande inom den här tekniken, som kommit att bli kontroversiell. Mats Benjaminsson är bolagets finanschef.

Datorer som kan läsa av känslor har fram till nyligen varit ett ämne för science fiction-författare. Men under de senaste årens AI-boom har det skett en explosiv utveckling av program som kan, eller påstås kunna, göra just det. Tekniken bygger på att övervaka och analysera små förändringar i våra ansiktsrörelser. Algoritmerna har byggts genom att samla in miljontals filmer och bilder av människors ansikten.

Dina känslor registreras – i bilen

Fanny Lyrheden, marknadsansvarig på Smart Eye, visar hur det kan användas i praktiken. Hon sätter sig ned i en bilsimulator i full skala. Vid förarsätet och hos samtliga passagerare sitter kameror. De läser av resenärernas känslor på samma sätt som ovan.

Hon kör runt i en 3D-animerad stadskärna med grå höghus. På just den här simulatorbanan är uppdraget att lämna ett barn på förskolan. Lyrheden beskriver hur bilens datorsystem hanterar informationen från kamerorna.

– Om vi har kört ett tag kan vi få lite statistik. Den följer blicken, var man tittat när man kört, hur mycket man har haft händerna på ratten, säger hon.

– Och även då känslor.

Det är långt ifrån det enda området där Smart Eye vill använda sin teknik.

Medan de här systemen har utvecklats har EU-politiker tagit fram en ny AI-lag. Den förbjuder att AI används för att läsa av anställdas känslor. Ett av motiven är att tekniken anses ha vetenskapliga brister. Ett annat är att det antas råda en ojämn maktbalans mellan arbetsgivare och anställd, och att känsloavläsningsprogram kan vara farliga i det läget. 

Emotionell AI förbjuds på jobbet

Förbudet börjar gälla i februari 2025. Det är inte bara själva användandet som stoppas – att sälja emotionella AI-program som ska användas på anställda blir också förbjudet. Undantag kan göras för användning av medicinska skäl och i säkerhetssyfte, men hur de undantagen ska avgränsas är inte klart än.

Lagstiftningsarbetet har inte hindrat Smart Eye från att utforska nya branscher. Utöver bilprodukterna säljer de fristående datorprogram med emotionell AI genom två dotterbolag: Imotions och Affectiva. Löftet är att programmen kan läsa av känslor delvis med hjälp av en helt vanlig webbkamera. 

Imotions kunder finns inom bland annat flyg-, försvars- och tågindustrin, berättar Mats Benjaminsson. På webbplatsen listas också läkemedelsbolagen GSK och P&G och livsmedelsjätten Unilever.

Affectiva säljer emotionell AI till företag som vill testa hur människor reagerar på deras produkter. På sin webbplats skriver de att ”över 90 procent av världens största reklamköpare” använder deras tjänst. De säljer också ett så kallat utvecklingskit för att hjälpa andra mjukvaruutvecklare föra in emotionell AI i sina program. 

Graham Page, högsta chef över Affectivas avdelning för medieanalys, säger i en intervju med Kollega att de dessutom har börjat utforska hur känsloavläsning kan användas i videomötesprogram. På företagets webbplats formuleras en framtidsplan: ”Vår vision är att emotionell AI en dag ska finnas överallt.” 

EU-regler om AI 2025 – kamp mot klockan

Båda dotterbolagen är helägda av Smart Eye. Mats Benjaminsson är dess näst högsta chef. Vi sätter oss ned i ett konferensrum med utsikt över Göta älv.

EU:s nya AI-förordning förbjuder emotionell AI som används för att läsa av anställdas känslor på jobbet. Hur vet ni att det ni säljer och utvecklar inte bryter mot det förbudet?

– Det som är produktifierat i det här med ”emotion”, det är ju mot ”advertising”-delen. Spelfilmer, trailrar. Nu kan inte jag de detaljerna, men där tänker jag att det finns ett regelverk och att vi följer det. 

Han syftar på Affectivas produkter för reklambranschen. Men reklamanalys är alltså långt ifrån den enda emotionella AI-tjänst som Smart Eye-koncernen säljer. Gällande känsloavläsningen i bilar, som Mats Benjaminsson just har visat upp, säger han att bolaget just nu ”sätter sig in i” hur man ska följa de nya EU-reglerna.

Det är ganska kort tid tills förbudet träder i kraft. Från februari nästa år gäller det. Är ni som bolag redo?

– Vi förbereder oss genom att vi har en bolagsjurist.

Mats Benjaminsson berättar att en nyanställd person just nu går igenom Smart Eyes olika affärsavtal.

– Vi är ett litet bolag som vuxit sedan 2021, med de här förvärven (Imotions och Affectiva, reds. anm.), och samtidigt ligger vi i framkant med ny AI-teknik och nya EU-regleringar. Så det är klart att vi har ett jobb att göra. Jag känner inte att vi har en hemläxa, men vi är välbemannade och vi är på frågan.

Emotionell AI är integrerat i det ni säljer genom Imotions. Blir inte det ganska mycket att gå igenom på så kort tid? Där har ni ju många och stora kunder.

– Så är det. Och nu pratade jag faktiskt med vår bolagsjurist precis innan i ett helt annat ärende. Det är klart att vi läser in oss, och det är inte bara vi, det finns ju nätverk och andra advokatbyråer som vi jobbar med. Så i det perspektivet försöker vi hela tiden jobba med dem som ligger i framkant. På så sätt känner jag mig helt trygg.

– Sedan är det klart, det är en stor verksamhet. Det tar ju ändå tid, det får man ha respekt för.

På Affectivas webbplats står det att ”vår vision är att emotionell AI en dag ska finnas överallt”. Varför har ni det målet när EU har bestämt att förbjuda den här tekniken på flera platser för att den anses farlig?

– Jag tror det är så här att den webbplatsen och det påståendet har man nog gjort rent generellt, säger Mats Benjaminsson.

Han söker orden.

– Det har nog funnits där en tid, utan att jag kan det exakta. I och med att vi är ett AI-bolag och vill ligga i framkant så är det klart att …

Fanny Lyrheden fyller i.

– Man kan ju tolka det på flera sätt. Man kan tolka det som att det ska finnas överallt och läsa av allas känslor hela tiden, men det är väl mer så att det ska kunna användas inom alla olika områden och branscher, på ett reglerat och avgränsat sätt. Det är snarare det vi menar.

Så det är Smart Eyes ambition – att emotionell AI ska finnas överallt?

– Grejen är nog så här, att det är nog bara ett ”statement”. Vi vet ju inte riktigt exakt hur AI integreras, lika lite som man visste hur pc:n skulle bli i början på 80-talet, säger Mats Benjaminsson. 

Det här är del ett av tre i Kollegas serie om emotionell AI. Del två - om kontorsbås som kan läsa av hur du mår kan du läsa här. 
 

De är listiga, kreativa och ligger hela tiden steget före IT-experterna. Cyberbrottslingarna är dessutom extremt intresserade av just dig, eftersom du som anställd är deras väg in på företaget där de presumtivt kan tjäna storkovan på att stjäla, spionera, blockera och hota med att förstöra. 

– Alla stora företag har någon form av grundskydd, som brandväggar och krypteringar. Så brottslingarna letar efter olika sätt att ta sig in och kan hitta dig exempelvis via Linkedin, förklarar Måns Jonasson, internetexpert på Internetstiftelsen. 

Så kallad spearphishing, riktade attacker via mejl, handlar om att bedragare vill förmå dig att öppna en länk eller att installera något på datorn. Och en hel del lyckas i sitt uppsåt. 

–Många är lata och trötta och gör saker av slentrian, det är då det blir farligt, säger Måns Jonasson. 

Snällhet kan straffa sig

Farligt kan det också bli när vi är för snälla. Nätskurkarna tvekar inte att utnyttja vår hjälpsamhet. 

– Generellt är vi hjälpsamma och blir man kontaktad av någon som utger sig för att jobba på en annan avdelning och ber om hjälp, brukar vi ställa upp. Det är tråkig att behöva vara skeptisk hela tiden, men fråga gärna en extra gång i stället för att göra ett dyrt misstag, säger Måns Jonasson.  

Men vi är inte bara lata, trötta och alltför snälla, vi är också dessvärre högst oemottagliga för information om hur vi ska hålla cyberbuset borta. Informationskampanjer som brottsförebyggande metod är ineffektiv, konstaterar Karin Svanberg, enhetschef på Brottsförebyggande rådet, BRÅ. 

– Vi förändrar dessvärre sällan vårt beteende bara för att någon talar om att vi gör fel eller riskerar något. Jämför med hur vi till exempel förhåller oss till rökning, fet mat och droger, säger hon. 

Det finns alltså en förklaring till att världens vanligaste lösenord är 123456, trots att alla vid det här laget vet att knepiga, unika lösenord är A och O när det gäller att hålla hackarna på behörigt avstånd. 

AI förändrar spelplanen för cyberbrottslingar

Men bedragarna blir alltmer förslagna och tar dessutom hjälp av ny teknik. Tidigare kunde man identifiera bedrägeriförsöken på lockbetenas usla stavning och grammatiska klumpighet, men tack vare AI har lurendrejeriförsöken blivit mer sofistikerade.  

Klonade röstsamtal har redan förekommit i cyberbrottsammanhang och säkerhetsexperter förutspår att inom en mycket snar framtid kommer bedragare med hjälp av generativ AI även kunna förfalska videosamtal. 

– Det gäller absolut att vara på sin vakt. Teoretiskt finns redan möjligheten att skapa en avatar och den tekniken kommer att bli bättre, även om det i dagsläget är ganska dyrt och komplicerat, säger Måns Jonasson. 

Framöver behöver du alltså vara än mer observant och varken tro dina öron eller ögon om chefen eller kollegan ringer upp dig via teams och ber dig utföra någon tjänst som i förlängningen kan leda till att företagets konton töms. 

– Det gäller att inta ett skeptiskt förhållningssätt och ha känselspröten ute, säger Måns Jonasson.  

– Men det är taskigt att lägga hela ansvaret på de anställda, internetsäkerhet är en utmaning som kräver jobb på flera fronter. IT-systemen måste också bli smartare och enklare att använda så att det blir svårare att göra fel.