Prenumerera på Kollegas nyhetsbrev
Är du medlem i Unionen? Vill du få alla våra nyheter, tips och granskningar direkt i din inkorg?
Enkelt! Anmäl dig via länken
Är du medlem i Unionen? Vill du få alla våra nyheter, tips och granskningar direkt i din inkorg?
Enkelt! Anmäl dig via länken
EU inför ett förbud från februari 2025 mot att använda emotionell AI för att läsa av anställdas känslor på arbetsplatser, på grund av vetenskapliga brister och maktobalans mellan arbetsgivare och anställda.
Det svenska företaget Smart Eye utvecklar emotionell AI som används i olika branscher, inklusive bilindustrin, reklam och medicin. De arbetar nu för att följa de nya EU-reglerna.
Trots förbudet har Smart Eye en vision om att emotionell AI ska kunna användas inom alla områden och branscher, på ett reglerat och avgränsat sätt.
Den här sammanfattningen är gjord med hjälp av AI-verktyg och har granskats av Kollegas webbredaktör. Kollegas AI-policy hittar du här.
Mats Benjaminsson tittar in i en liten, svart kameralins. Hans ansikte dyker upp på en datorskärm. Bredvid honom på skärmen syns ett antal staplar: ilska, förakt, glädje, sorg, förvåning. Ett program läser av hans olika ansiktsuttryck och justerar staplarnas procentvärden. Allt sker löpande, i realtid. Det kallas emotionell AI.
Vi står i uppvisningsrummet hos det göteborgska företaget Smart Eye. De är ledande inom den här tekniken, som kommit att bli kontroversiell. Mats Benjaminsson är bolagets finanschef.
Datorer som kan läsa av känslor har fram till nyligen varit ett ämne för science fiction-författare. Men under de senaste årens AI-boom har det skett en explosiv utveckling av program som kan, eller påstås kunna, göra just det. Tekniken bygger på att övervaka och analysera små förändringar i våra ansiktsrörelser. Algoritmerna har byggts genom att samla in miljontals filmer och bilder av människors ansikten.
Fanny Lyrheden, marknadsansvarig på Smart Eye, visar hur det kan användas i praktiken. Hon sätter sig ned i en bilsimulator i full skala. Vid förarsätet och hos samtliga passagerare sitter kameror. De läser av resenärernas känslor på samma sätt som ovan.
Hon kör runt i en 3D-animerad stadskärna med grå höghus. På just den här simulatorbanan är uppdraget att lämna ett barn på förskolan. Lyrheden beskriver hur bilens datorsystem hanterar informationen från kamerorna.
– Om vi har kört ett tag kan vi få lite statistik. Den följer blicken, var man tittat när man kört, hur mycket man har haft händerna på ratten, säger hon.
– Och även då känslor.
Det är långt ifrån det enda området där Smart Eye vill använda sin teknik.
Medan de här systemen har utvecklats har EU-politiker tagit fram en ny AI-lag. Den förbjuder att AI används för att läsa av anställdas känslor. Ett av motiven är att tekniken anses ha vetenskapliga brister. Ett annat är att det antas råda en ojämn maktbalans mellan arbetsgivare och anställd, och att känsloavläsningsprogram kan vara farliga i det läget.
Förbudet börjar gälla i februari 2025. Det är inte bara själva användandet som stoppas – att sälja emotionella AI-program som ska användas på anställda blir också förbjudet. Undantag kan göras för användning av medicinska skäl och i säkerhetssyfte, men hur de undantagen ska avgränsas är inte klart än.
Vår vision är att emotionell AI en dag ska finnas överallt.
Lagstiftningsarbetet har inte hindrat Smart Eye från att utforska nya branscher. Utöver bilprodukterna säljer de fristående datorprogram med emotionell AI genom två dotterbolag: Imotions och Affectiva. Löftet är att programmen kan läsa av känslor delvis med hjälp av en helt vanlig webbkamera.
Imotions kunder finns inom bland annat flyg-, försvars- och tågindustrin, berättar Mats Benjaminsson. På webbplatsen listas också läkemedelsbolagen GSK och P&G och livsmedelsjätten Unilever.
Affectiva säljer emotionell AI till företag som vill testa hur människor reagerar på deras produkter. På sin webbplats skriver de att ”över 90 procent av världens största reklamköpare” använder deras tjänst. De säljer också ett så kallat utvecklingskit för att hjälpa andra mjukvaruutvecklare föra in emotionell AI i sina program.
Graham Page, högsta chef över Affectivas avdelning för medieanalys, säger i en intervju med Kollega att de dessutom har börjat utforska hur känsloavläsning kan användas i videomötesprogram. På företagets webbplats formuleras en framtidsplan: ”Vår vision är att emotionell AI en dag ska finnas överallt.”
Båda dotterbolagen är helägda av Smart Eye. Mats Benjaminsson är dess näst högsta chef. Vi sätter oss ned i ett konferensrum med utsikt över Göta älv.
EU:s nya AI-förordning förbjuder emotionell AI som används för att läsa av anställdas känslor på jobbet. Hur vet ni att det ni säljer och utvecklar inte bryter mot det förbudet?
– Det som är produktifierat i det här med ”emotion”, det är ju mot ”advertising”-delen. Spelfilmer, trailrar. Nu kan inte jag de detaljerna, men där tänker jag att det finns ett regelverk och att vi följer det.
Han syftar på Affectivas produkter för reklambranschen. Men reklamanalys är alltså långt ifrån den enda emotionella AI-tjänst som Smart Eye-koncernen säljer. Gällande känsloavläsningen i bilar, som Mats Benjaminsson just har visat upp, säger han att bolaget just nu ”sätter sig in i” hur man ska följa de nya EU-reglerna.
Det är ganska kort tid tills förbudet träder i kraft. Från februari nästa år gäller det. Är ni som bolag redo?
– Vi förbereder oss genom att vi har en bolagsjurist.
Mats Benjaminsson berättar att en nyanställd person just nu går igenom Smart Eyes olika affärsavtal.
– Vi är ett litet bolag som vuxit sedan 2021, med de här förvärven (Imotions och Affectiva, reds. anm.), och samtidigt ligger vi i framkant med ny AI-teknik och nya EU-regleringar. Så det är klart att vi har ett jobb att göra. Jag känner inte att vi har en hemläxa, men vi är välbemannade och vi är på frågan.
Emotionell AI är integrerat i det ni säljer genom Imotions. Blir inte det ganska mycket att gå igenom på så kort tid? Där har ni ju många och stora kunder.
– Så är det. Och nu pratade jag faktiskt med vår bolagsjurist precis innan i ett helt annat ärende. Det är klart att vi läser in oss, och det är inte bara vi, det finns ju nätverk och andra advokatbyråer som vi jobbar med. Så i det perspektivet försöker vi hela tiden jobba med dem som ligger i framkant. På så sätt känner jag mig helt trygg.
– Sedan är det klart, det är en stor verksamhet. Det tar ju ändå tid, det får man ha respekt för.
På Affectivas webbplats står det att ”vår vision är att emotionell AI en dag ska finnas överallt”. Varför har ni det målet när EU har bestämt att förbjuda den här tekniken på flera platser för att den anses farlig?
– Jag tror det är så här att den webbplatsen och det påståendet har man nog gjort rent generellt, säger Mats Benjaminsson.
Han söker orden.
– Det har nog funnits där en tid, utan att jag kan det exakta. I och med att vi är ett AI-bolag och vill ligga i framkant så är det klart att …
Fanny Lyrheden fyller i.
– Man kan ju tolka det på flera sätt. Man kan tolka det som att det ska finnas överallt och läsa av allas känslor hela tiden, men det är väl mer så att det ska kunna användas inom alla olika områden och branscher, på ett reglerat och avgränsat sätt. Det är snarare det vi menar.
Så det är Smart Eyes ambition – att emotionell AI ska finnas överallt?
– Grejen är nog så här, att det är nog bara ett ”statement”. Vi vet ju inte riktigt exakt hur AI integreras, lika lite som man visste hur pc:n skulle bli i början på 80-talet, säger Mats Benjaminsson.
Det här är del ett av tre i Kollegas serie om emotionell AI. Del två - om kontorsbås som kan läsa av hur du mår kan du läsa här.
Tekniken bygger på att filma ansiktet. En automatisk algoritm läser av små förändringar i ditt minspel, som antas avslöja dina känslor. Algoritmen har tränats genom att samla in miljontals bilder och filmer på människors ansikten. Ibland kompletteras ansiktsavläsningen med till exempel en pulssensor, en mikrofon eller en hjärtfrekvensmätare.
Andrew McStay, chef över forskningscentret Emotional AI Lab på walesiska Bangor University, är skeptisk till teknikens två grundläggande antaganden: att känslor kan delas in i ett fåtal avgränsade kategorier, och att det som pågår inuti en människa kan läsas av genom att snabbt titta på det yttre. I kommande artiklar på Kollega.se berättar han mer.
EU:s övergripande lagpaket om AI är världens första i sitt slag. Det reglerar AI-verktyg utifrån risknivå – ju högre risk, desto större ansvar för den som skapar och använder verktyget. Det som anses allra mest riskfyll blir helt förbjudet. Hit hör bland annat emotionell AI som riktas mot anställda, men även mot skolelever.
Lagen trädde i kraft i augusti 2024, men reglerna börjar gälla med olika fördröjning. Först ut är förbuden, som börjar gälla från februari 2025. Undantag kan tillåtas om produkterna används av hälso- eller säkerhetsskäl. Hur de undantagen ska utformas är i skrivande stund inte klart.
IT-företag grundat 1999 i Göteborg. Har utvecklat en teknik för att spåra ögonrörelser som används i bilars säkerhetssystem. De senaste åren har bolaget riktat in sig på emotionell AI. 2021 köpte de det amerikanska startupföretaget Affectiva, som enligt egen utsago uppfann hela produktkategorin. Samma år köptes också det danska bolaget Imotions.
Koncernen har kontor i bland annat Boston, Singapore och Kairo. Huvudkontoret ligger i Göteborg. Där jobbar omkring 130 personer.
Företaget Framery har utvecklat prototyper av ljudisolerade mötesbås som kan mäta användarens puls och skratt för att skapa ett välmåendindex.
EU har förbjudit emotionell AI på arbetsplatser på grund av integritetsproblem och bristande vetenskapligt underlag.
Framery avslutade sitt projekt "Pulse" efter EU-parlamentets beslut, men ser potential för tekniken inom sjukvård och konsumentprodukter.
Den här sammanfattningen är gjord med hjälp av AI-verktyg och har granskats av Kollegas webbredaktör. Kollegas AI-policy hittar du här.
Det kommer ett mejl till redaktionen. Rubriken lyder: ”AI-kontorspoddar ersätter mötesrum”. Avsändare är det finska bolaget Framery. De ligger bakom en marknadsledande variant av de ljudisolerade mötesbås som har exploderat i popularitet de senaste åren. Båsen är gjorda för att anställda i öppna kontorslandskap ska kunna ha telefon- och videomöten i fred, bland annat. Framery har sålt över 90.000 exemplar till företag som H&M, Astra Zeneca och Microsoft.
Nu vill de visa upp något nytt. Bolagets presskontakt skriver att de har prototypmodeller som kan mäta människors skratt. ”De flesta företag gör ju medarbetarundersökningar någon gång per år men med emotionell AI kan man mycket oftare och löpande få input på medarbetarnas hälsa”, slår han fast.
Kollega har tidigare rapporterat om emotionell AI – en kontroversiell teknik för känsloavläsning som snart är förbjuden på arbetsplatser i hela EU. Politikernas motivering är att tekniken har ett bristande vetenskapligt underlag, men också att den är farlig på just arbetsplatser, eftersom relationen mellan arbetsgivare och anställd är ojämlik.
Europaparlamentet röstade för förbudet 13 mars 2024. Mejlet från Framery kommer två dagar senare. I slutet bjuds vi in till en pressvisning, där vi ska få mer information om ”användningen av emotionell AI på arbetsplatsen”.
Pressvisningen hålls i en ljus lägenhet i centrala Stockholm. Marknadskommunikatören Aron Jahn berättar att Framery har en laboratorieavdelning i Storbritannien. Där finns de modeller som beskrevs i mejlet. De kan mäta användarens puls och skratt, som sedan läggs ihop i en samlad känsloalgoritm.
– Det ger ett gemensamt index på välmående. Vi har testat det själva. Vi såg att stressen gick upp på finansavdelningen under kvartalsslutet, berättar han.
I mina ögon verkar detta tämligen oförsvarbart.
Andrew McStay, chef över forskningscentret Emotional AI Lab vid walesiska Bangor University, reagerar när Kollega berättar om tekniken.
– Som alltid måste saker prövas juridiskt, så det är svårt att säga om något är direkt olagligt. Men i mina ögon verkar detta tämligen oförsvarbart. Det faller in ganska direkt i anledningarna till att EU har utvecklat nya AI-regler.
EU-förbudet innehåller undantag som möjliggör att tekniken kan användas av hälso- och säkerhetsskäl, men hur de undantagen ska avgränsas är inte klart ännu.
I augusti 2024 tar Kollega kontakt med Framery på nytt. Nu hänvisar bolaget till ett annat pressmeddelande. Det är märkt med datumet 16 mars – dagen efter att vi bjöds in till en pressträff om företagets emotionella AI. I den här texten står det i stället att projektet är avslutat.
Marknadskommunikatören Aron Jahn vill inte låta sig intervjuas på telefon, men svarar på frågor via mejl. Där säger han att AI-produkten, som de döpt till ”Pulse”, aldrig var tänkt att användas i verkligheten.
Den 15 mars fick vi ett mejl där ni marknadsförde ert nya projekt med emotionell AI på jobbet. Nu skickar du en länk till ett pressmeddelande daterat den 16 mars, där ni berättar att projektet avslutas. Vad låg bakom den snabba vändningen?
– Tyvärr verkar det som att du har fått föråldrad information från byrån (presskontakten, reds. anm.), skriver Aron Jahn.
Han fortsätter:
– Pulse testades som ett ”proof of concept” internt hos Framery, och även om vi starkt tror på dess potential, anser vi att uppfinningen är olämplig att användas i arbetsmiljöer på grund av potentiella integritetsproblem.
Två dagar före ni skickade inbjudan till oss beslutade EU-parlamentet att förbjuda emotionell AI på arbetsplatser. Är det därför ni har avslutat projektet?
– Nej, vårt beslut grundades i vår övervägning om att mätning av stressnivåer på arbetsplatser strider mot vad vi anser är rätt, även om tekniken ger full anonymitet till användarna.
Men det betyder inte att tekniken är död. I pressmeddelandet som Aron Jahn har länkat till står det: ”Vi tror dock att det kan finnas flera användningsområden för detta i användarprodukter. Vi hoppas att de som är intresserade av den här teknologin tar kontakt med oss.”
När Kollega ber om ett förtydligande svarar Jahn att tekniken bland annat kan användas i sjukvården och för att ersätta så kallade smartklockor.
– Vi tror att tekniken kan vara intressant för konsumentmarknaden, där användarna själva kan erhålla mer exakta stressindikatorer samt mer djuplodande insikter om sin sömnkvalitet och andra hälsorelaterade faktorer utan inledande kalibrering.
Ni skriver också att ni hoppas att de som är intresserade av teknologin tar kontakt med er. Har någon gjort det?
– Nej.
När den här artikeln skrivs har pressmeddelandet om Framery Pulse tagits bort från företagets webbplats. Spåren från testavdelningen i Storbritannien går inte längre att följa. Länken leder i stället till företagets produktsida. Längst upp står det: ”Welcome to the next era of the workplace”.
Det här är del två av tre i Kollegas serie om emotionell AI. Del ett om AI som kan skanna dina känslor kan du läsa här.
Tre andra företag som skapar emotionell AI
Framery är långt ifrån ensamma om att testa teknikens gränser. Kollega har tidigare rapporterat om svenska Smart Eye, som är ledande inom känsloavläsande AI. Runt om i världen finns andra bolag som gör samma sak. Här är tre exempel.
➧ Cogito (USA): Läser av och analyserar känslouttryck hos callcenterpersonal för att ge automatiserad feedback till de anställda.
➧ Find Solution (Hongkong): Säljer emotionell AI till skolor – alltså datorprogram för att läsa av studenters känslor och uppmärksamhet när de studerar på distans.
➧ Entropik (Indien): Använder kombinerad röst- och ansiktsskanning för att läsa av människors känslor. Har kunder inom detaljhandeln, e-handeln, telekom, med mera.
De är listiga, kreativa och ligger hela tiden steget före IT-experterna. Cyberbrottslingarna är dessutom extremt intresserade av just dig, eftersom du som anställd är deras väg in på företaget där de presumtivt kan tjäna storkovan på att stjäla, spionera, blockera och hota med att förstöra.
– Alla stora företag har någon form av grundskydd, som brandväggar och krypteringar. Så brottslingarna letar efter olika sätt att ta sig in och kan hitta dig exempelvis via Linkedin, förklarar Måns Jonasson, internetexpert på Internetstiftelsen.
Så kallad spearphishing, riktade attacker via mejl, handlar om att bedragare vill förmå dig att öppna en länk eller att installera något på datorn. Och en hel del lyckas i sitt uppsåt.
–Många är lata och trötta och gör saker av slentrian, det är då det blir farligt, säger Måns Jonasson.
Farligt kan det också bli när vi är för snälla. Nätskurkarna tvekar inte att utnyttja vår hjälpsamhet.
– Generellt är vi hjälpsamma och blir man kontaktad av någon som utger sig för att jobba på en annan avdelning och ber om hjälp, brukar vi ställa upp. Det är tråkig att behöva vara skeptisk hela tiden, men fråga gärna en extra gång i stället för att göra ett dyrt misstag, säger Måns Jonasson.
Men vi är inte bara lata, trötta och alltför snälla, vi är också dessvärre högst oemottagliga för information om hur vi ska hålla cyberbuset borta. Informationskampanjer som brottsförebyggande metod är ineffektiv, konstaterar Karin Svanberg, enhetschef på Brottsförebyggande rådet, BRÅ.
– Vi förändrar dessvärre sällan vårt beteende bara för att någon talar om att vi gör fel eller riskerar något. Jämför med hur vi till exempel förhåller oss till rökning, fet mat och droger, säger hon.
Det finns alltså en förklaring till att världens vanligaste lösenord är 123456, trots att alla vid det här laget vet att knepiga, unika lösenord är A och O när det gäller att hålla hackarna på behörigt avstånd.
Men bedragarna blir alltmer förslagna och tar dessutom hjälp av ny teknik. Tidigare kunde man identifiera bedrägeriförsöken på lockbetenas usla stavning och grammatiska klumpighet, men tack vare AI har lurendrejeriförsöken blivit mer sofistikerade.
Klonade röstsamtal har redan förekommit i cyberbrottsammanhang och säkerhetsexperter förutspår att inom en mycket snar framtid kommer bedragare med hjälp av generativ AI även kunna förfalska videosamtal.
– Det gäller absolut att vara på sin vakt. Teoretiskt finns redan möjligheten att skapa en avatar och den tekniken kommer att bli bättre, även om det i dagsläget är ganska dyrt och komplicerat, säger Måns Jonasson.
Framöver behöver du alltså vara än mer observant och varken tro dina öron eller ögon om chefen eller kollegan ringer upp dig via teams och ber dig utföra någon tjänst som i förlängningen kan leda till att företagets konton töms.
– Det gäller att inta ett skeptiskt förhållningssätt och ha känselspröten ute, säger Måns Jonasson.
– Men det är taskigt att lägga hela ansvaret på de anställda, internetsäkerhet är en utmaning som kräver jobb på flera fronter. IT-systemen måste också bli smartare och enklare att använda så att det blir svårare att göra fel.
Social engineering/social ingenjörskonst: Social manipulation som omfattar flera olika tekniker för att lura åt sig uppgifter.
Spoofing: Bedragaren använder falsk avsändare i mejl, sms eller via telefon.
Phishing - nätfiske: Falska länkar infekterade med virus
Spearphishing: Nätfiske riktade mot specifika personer
Astroturfing/konstgräsrötter :- Fejkade kampanjer eller budskap som ser ut som det kommer från vanligt folk
Ransomewere: utpressningsvirus
DDOS: Hör till de cyberattacker som ökar mest. Attacker mot webbplatser för att överbelasta system med följden att dessa går dåligt eller kraschar helt.
Deepfake/djupfejk: Förfalskade videor, bilder, ljud som genom avancerad AI låter avatarer tala och agera.