Hoppa till huvudinnehåll
Digitalisering

Kontorsbåset som läser av hur du mår

Ljudisolerade mötesbås är vanliga på moderna kontor. Nu har företaget bakom det mest populära båset testat teknik som mäter användarens puls, skratt och känslor. När Kollega börjar ställa frågor försvinner informationen från bolagets hemsida.
Noa Söderberg Publicerad
Till vänster ett kontorsbås, till höger ett ansikte som skannas för känslor.
Framerys mötesbås är en vanlig syn på moderna kontor. Modellen på bilden innehåller inte känsloavläsning. Tekniken har testats i prototypmodeller. Foto: Framery/Getty.

Artikeln sammanfattad:


Framerys nya teknik

Företaget Framery har utvecklat prototyper av ljudisolerade mötesbås som kan mäta användarens puls och skratt för att skapa ett välmåendindex.

EU-förbud

EU har förbjudit emotionell AI på arbetsplatser på grund av integritetsproblem och bristande vetenskapligt underlag.

Projektets avslut

Framery avslutade sitt projekt "Pulse" efter EU-parlamentets beslut, men ser potential för tekniken inom sjukvård och konsumentprodukter.

 

Den här sammanfattningen är gjord med hjälp av AI-verktyg och har granskats av Kollegas webbredaktör. Kollegas AI-policy hittar du här.

Det kommer ett mejl till redaktionen. Rubriken lyder: ”AI-kontorspoddar ersätter mötesrum”. Avsändare är det finska bolaget Framery. De ligger bakom en marknadsledande variant av de ljudisolerade mötesbås som har exploderat i popularitet de senaste åren. Båsen är gjorda för att anställda i öppna kontorslandskap ska kunna ha telefon- och videomöten i fred, bland annat. Framery har sålt över 90.000 exemplar till företag som H&M, Astra Zeneca och Microsoft.

Nu vill de visa upp något nytt. Bolagets presskontakt skriver att de har prototypmodeller som kan mäta människors skratt. ”De flesta företag gör ju medarbetarundersökningar någon gång per år men med emotionell AI kan man mycket oftare och löpande få input på medarbetarnas hälsa”, slår han fast.

Emotionell AI förbjuds på jobbet

Kollega har tidigare rapporterat om emotionell AI – en kontroversiell teknik för känsloavläsning som snart är förbjuden på arbetsplatser i hela EU. Politikernas motivering är att tekniken har ett bristande vetenskapligt underlag, men också att den är farlig på just arbetsplatser, eftersom relationen mellan arbetsgivare och anställd är ojämlik.

Europaparlamentet röstade för förbudet 13 mars 2024. Mejlet från Framery kommer två dagar senare. I slutet bjuds vi in till en pressvisning, där vi ska få mer information om ”användningen av emotionell AI på arbetsplatsen”.

En algoritm för dina känslor

Pressvisningen hålls i en ljus lägenhet i centrala Stockholm. Marknadskommunikatören Aron Jahn berättar att Framery har en laboratorieavdelning i Storbritannien. Där finns de modeller som beskrevs i mejlet. De kan mäta användarens puls och skratt, som sedan läggs ihop i en samlad känsloalgoritm.

– Det ger ett gemensamt index på välmående. Vi har testat det själva. Vi såg att stressen gick upp på finansavdelningen under kvartalsslutet, berättar han.

I mina ögon verkar detta tämligen oförsvarbart.

Andrew McStay
Andrew McStay. Foto: Ben Bland.

Andrew McStay, chef över forskningscentret Emotional AI Lab vid walesiska Bangor University, reagerar när Kollega berättar om tekniken. 

– Som alltid måste saker prövas juridiskt, så det är svårt att säga om något är direkt olagligt. Men i mina ögon verkar detta tämligen oförsvarbart. Det faller in ganska direkt i anledningarna till att EU har utvecklat nya AI-regler.

EU-förbudet innehåller undantag som möjliggör att tekniken kan användas av hälso- och säkerhetsskäl, men hur de undantagen ska avgränsas är inte klart ännu.

Snabba vändningen – ”Integritetsproblem”

I augusti 2024 tar Kollega kontakt med Framery på nytt. Nu hänvisar bolaget till ett annat pressmeddelande. Det är märkt med datumet 16 mars – dagen efter att vi bjöds in till en pressträff om företagets emotionella AI. I den här texten står det i stället att projektet är avslutat.

Marknadskommunikatören Aron Jahn vill inte låta sig intervjuas på telefon, men svarar på frågor via mejl. Där säger han att AI-produkten, som de döpt till ”Pulse”, aldrig var tänkt att användas i verkligheten.

Den 15 mars fick vi ett mejl där ni marknadsförde ert nya projekt med emotionell AI på jobbet. Nu skickar du en länk till ett pressmeddelande daterat den 16 mars, där ni berättar att projektet avslutas. Vad låg bakom den snabba vändningen?

– Tyvärr verkar det som att du har fått föråldrad information från byrån (presskontakten, reds. anm.), skriver Aron Jahn.

 

Till vänster ett kvinnoansikte som läses av för känslor, till höger ett tecknat hjärta med pulsvågor.
Kontorsbåset Pulse var inte menat att använda emotionell AI i form av ansiktsigenkänning, utan mätte människors mående utifrån faktorer som skratt och puls. Foto: Shutterstock/Colourbox.

Han fortsätter:

– Pulse testades som ett ”proof of concept” internt hos Framery, och även om vi starkt tror på dess potential, anser vi att uppfinningen är olämplig att användas i arbetsmiljöer på grund av potentiella integritetsproblem.

Två dagar före ni skickade inbjudan till oss beslutade EU-parlamentet att förbjuda emotionell AI på arbetsplatser. Är det därför ni har avslutat projektet?

– Nej, vårt beslut grundades i vår övervägning om att mätning av stressnivåer på arbetsplatser strider mot vad vi anser är rätt, även om tekniken ger full anonymitet till användarna.

Framery vill fortsätta med algoritmer för känsloavläsning

Men det betyder inte att tekniken är död. I pressmeddelandet som Aron Jahn har länkat till står det: ”Vi tror dock att det kan finnas flera användningsområden för detta i användarprodukter. Vi hoppas att de som är intresserade av den här teknologin tar kontakt med oss.”

När Kollega ber om ett förtydligande svarar Jahn att tekniken bland annat kan användas i sjukvården och för att ersätta så kallade smartklockor.

Vi tror att tekniken kan vara intressant för konsumentmarknaden, där användarna själva kan erhålla mer exakta stressindikatorer samt mer djuplodande insikter om sin sömnkvalitet och andra hälsorelaterade faktorer utan inledande kalibrering.

Ni skriver också att ni hoppas att de som är intresserade av teknologin tar kontakt med er. Har någon gjort det?

Nej.

När den här artikeln skrivs har pressmeddelandet om Framery Pulse tagits bort från företagets webbplats. Spåren från testavdelningen i Storbritannien går inte längre att följa. Länken leder i stället till företagets produktsida. Längst upp står det: ”Welcome to the next era of the workplace”.

Det här är del två av tre i Kollegas serie om emotionell AI. Del ett om AI som kan skanna dina känslor kan du läsa här

Tre andra företag som skapar emotionell AI

Framery är långt ifrån ensamma om att testa teknikens gränser. Kollega har tidigare rapporterat om svenska Smart Eye, som är ledande inom känsloavläsande AI. Runt om i världen finns andra bolag som gör samma sak. Här är tre exempel.

➧ Cogito (USA): Läser av och analyserar känslouttryck hos callcenterpersonal för att ge automatiserad feedback till de anställda.

➧ Find Solution (Hongkong): Säljer emotionell AI till skolor – alltså datorprogram för att läsa av studenters känslor och uppmärksamhet när de studerar på distans.

➧ Entropik (Indien): Använder kombinerad röst- och ansiktsskanning för att läsa av människors känslor. Har kunder inom detaljhandeln, e-handeln, telekom, med mera.

Bläddra i senaste numret av våra e-tidningar

Bläddra i senaste numret av Kollega

Till Kollegas e-tidning

Bläddra i senaste Chef & Karriär

Till Chef & Karriärs e-tidning
Digitalisering

De skapar AI som kan läsa dina känslor

AI som kan läsa känslor blir snart förbjudet på jobbet. En av de största utvecklarna bakom tekniken finns i Sverige – och säljer sina program till läkemedelsbolag, reklambranschen och bilindustrin. Nu bedriver de en kamp mot klockan för att inte bryta mot lagen.
Noa Söderberg Publicerad 3 december 2024, kl 06:02
AI-program som läser av människors känslor utvecklas av företaget Smart Eye i Göteborg. Här visar finanschefen Mats Benjaminsson hur det går till.
Mats Benjaminsson visar hur Smart Eyes AI-program för känsloavläsning fungerar. Tekniken blir snart förbjuden på jobbet – men säljs trots det till en mängd olika branscher. Foto: Anna-Lena Lundquist/Colourbox

Artikeln sammanfattad:

Förbud mot emotionell AI

EU inför ett förbud från februari 2025 mot att använda emotionell AI för att läsa av anställdas känslor på arbetsplatser, på grund av vetenskapliga brister och maktobalans mellan arbetsgivare och anställda.

Smart Eyes teknik

Det svenska företaget Smart Eye utvecklar emotionell AI som används i olika branscher, inklusive bilindustrin, reklam och medicin. De arbetar nu för att följa de nya EU-reglerna.

Framtidsvision

Trots förbudet har Smart Eye en vision om att emotionell AI ska kunna användas inom alla områden och branscher, på ett reglerat och avgränsat sätt.

Den här sammanfattningen är gjord med hjälp av AI-verktyg och har granskats av Kollegas webbredaktör. Kollegas AI-policy hittar du här.

Mats Benjaminsson tittar in i en liten, svart kameralins. Hans ansikte dyker upp på en datorskärm. Bredvid honom på skärmen syns ett antal staplar: ilska, förakt, glädje, sorg, förvåning. Ett program läser av hans olika ansiktsuttryck och justerar staplarnas procentvärden. Allt sker löpande, i realtid. Det kallas emotionell AI.

Vi står i uppvisningsrummet hos det göteborgska företaget Smart Eye. De är ledande inom den här tekniken, som kommit att bli kontroversiell. Mats Benjaminsson är bolagets finanschef.

Datorer som kan läsa av känslor har fram till nyligen varit ett ämne för science fiction-författare. Men under de senaste årens AI-boom har det skett en explosiv utveckling av program som kan, eller påstås kunna, göra just det. Tekniken bygger på att övervaka och analysera små förändringar i våra ansiktsrörelser. Algoritmerna har byggts genom att samla in miljontals filmer och bilder av människors ansikten.

Dina känslor registreras i bilen

Fanny Lyrheden, marknadsansvarig på Smart Eye, visar hur det kan användas i praktiken. Hon sätter sig ned i en bilsimulator i full skala. Vid förarsätet och hos samtliga passagerare sitter kameror. De läser av resenärernas känslor på samma sätt som ovan.

Hon kör runt i en 3D-animerad stadskärna med grå höghus. På just den här simulatorbanan är uppdraget att lämna ett barn på förskolan. Lyrheden beskriver hur bilens datorsystem hanterar informationen från kamerorna.

– Om vi har kört ett tag kan vi få lite statistik. Den följer blicken, var man tittat när man kört, hur mycket man har haft händerna på ratten, säger hon.

– Och även då känslor.

Det är långt ifrån det enda området där Smart Eye vill använda sin teknik.

Demonstration av emotionell AI i en sorts bilsimulator.
När teknik möter känsla. Mats Benjaminsson och Fanny Lyrheden demonstrerar Smart Eyes emotionella AI. Systemet övervakar och analyserar ansiktsuttryck i realtid. Foto: Anna-Lena Lundquist.

Medan de här systemen har utvecklats har EU-politiker tagit fram en ny AI-lag. Den förbjuder att AI används för att läsa av anställdas känslor. Ett av motiven är att tekniken anses ha vetenskapliga brister. Ett annat är att det antas råda en ojämn maktbalans mellan arbetsgivare och anställd, och att känsloavläsningsprogram kan vara farliga i det läget. 

Emotionell AI förbjuds på jobbet

Förbudet börjar gälla i februari 2025. Det är inte bara själva användandet som stoppas – att sälja emotionella AI-program som ska användas på anställda blir också förbjudet. Undantag kan göras för användning av medicinska skäl och i säkerhetssyfte, men hur de undantagen ska avgränsas är inte klart än.

Vår vision är att emotionell AI en dag ska finnas överallt.

Lagstiftningsarbetet har inte hindrat Smart Eye från att utforska nya branscher. Utöver bilprodukterna säljer de fristående datorprogram med emotionell AI genom två dotterbolag: Imotions och Affectiva. Löftet är att programmen kan läsa av känslor delvis med hjälp av en helt vanlig webbkamera. 

Imotions kunder finns inom bland annat flyg-, försvars- och tågindustrin, berättar Mats Benjaminsson. På webbplatsen listas också läkemedelsbolagen GSK och P&G och livsmedelsjätten Unilever.

Affectiva säljer emotionell AI till företag som vill testa hur människor reagerar på deras produkter. På sin webbplats skriver de att ”över 90 procent av världens största reklamköpare” använder deras tjänst. De säljer också ett så kallat utvecklingskit för att hjälpa andra mjukvaruutvecklare föra in emotionell AI i sina program. 

Graham Page, högsta chef över Affectivas avdelning för medieanalys, säger i en intervju med Kollega att de dessutom har börjat utforska hur känsloavläsning kan användas i videomötesprogram. På företagets webbplats formuleras en framtidsplan: ”Vår vision är att emotionell AI en dag ska finnas överallt.” 

EU-regler om AI 2025 – kamp mot klockan

Båda dotterbolagen är helägda av Smart Eye. Mats Benjaminsson är dess näst högsta chef. Vi sätter oss ned i ett konferensrum med utsikt över Göta älv.

EU:s nya AI-förordning förbjuder emotionell AI som används för att läsa av anställdas känslor på jobbet. Hur vet ni att det ni säljer och utvecklar inte bryter mot det förbudet?

– Det som är produktifierat i det här med ”emotion”, det är ju mot ”advertising”-delen. Spelfilmer, trailrar. Nu kan inte jag de detaljerna, men där tänker jag att det finns ett regelverk och att vi följer det. 

Han syftar på Affectivas produkter för reklambranschen. Men reklamanalys är alltså långt ifrån den enda emotionella AI-tjänst som Smart Eye-koncernen säljer. Gällande känsloavläsningen i bilar, som Mats Benjaminsson just har visat upp, säger han att bolaget just nu ”sätter sig in i” hur man ska följa de nya EU-reglerna.

Mats Benjaminsson och Fanny Lyrheden på Smart Eye.
Smart Eye förbereder sig för EU:s kommande förbud mot emotionell AI, som träder i kraft i februari nästa år. Bolaget har anställt en bolagsjurist och samarbetar med externa nätverk för att säkerställa att de följer de nya reglerna. Anna-Lena Lundquist.

Det är ganska kort tid tills förbudet träder i kraft. Från februari nästa år gäller det. Är ni som bolag redo?

– Vi förbereder oss genom att vi har en bolagsjurist.

Mats Benjaminsson berättar att en nyanställd person just nu går igenom Smart Eyes olika affärsavtal.

– Vi är ett litet bolag som vuxit sedan 2021, med de här förvärven (Imotions och Affectiva, reds. anm.), och samtidigt ligger vi i framkant med ny AI-teknik och nya EU-regleringar. Så det är klart att vi har ett jobb att göra. Jag känner inte att vi har en hemläxa, men vi är välbemannade och vi är på frågan.

Emotionell AI är integrerat i det ni säljer genom Imotions. Blir inte det ganska mycket att gå igenom på så kort tid? Där har ni ju många och stora kunder.

– Så är det. Och nu pratade jag faktiskt med vår bolagsjurist precis innan i ett helt annat ärende. Det är klart att vi läser in oss, och det är inte bara vi, det finns ju nätverk och andra advokatbyråer som vi jobbar med. Så i det perspektivet försöker vi hela tiden jobba med dem som ligger i framkant. På så sätt känner jag mig helt trygg.

– Sedan är det klart, det är en stor verksamhet. Det tar ju ändå tid, det får man ha respekt för.

På Affectivas webbplats står det att ”vår vision är att emotionell AI en dag ska finnas överallt”. Varför har ni det målet när EU har bestämt att förbjuda den här tekniken på flera platser för att den anses farlig?

– Jag tror det är så här att den webbplatsen och det påståendet har man nog gjort rent generellt, säger Mats Benjaminsson.

Han söker orden.

– Det har nog funnits där en tid, utan att jag kan det exakta. I och med att vi är ett AI-bolag och vill ligga i framkant så är det klart att …

Fanny Lyrheden fyller i.

– Man kan ju tolka det på flera sätt. Man kan tolka det som att det ska finnas överallt och läsa av allas känslor hela tiden, men det är väl mer så att det ska kunna användas inom alla olika områden och branscher, på ett reglerat och avgränsat sätt. Det är snarare det vi menar.

Så det är Smart Eyes ambition – att emotionell AI ska finnas överallt?

– Grejen är nog så här, att det är nog bara ett ”statement”. Vi vet ju inte riktigt exakt hur AI integreras, lika lite som man visste hur pc:n skulle bli i början på 80-talet, säger Mats Benjaminsson. 

 

Det här är del ett av tre i Kollegas serie om emotionell AI. Del två - om kontorsbås som kan läsa av hur du mår kan du läsa här
 

Emotionell AI så fungerar det

Tekniken bygger på att filma ansiktet. En automatisk algoritm läser av små förändringar i ditt minspel, som antas avslöja dina känslor. Algoritmen har tränats genom att samla in miljontals bilder och filmer på människors ansikten. Ibland kompletteras ansiktsavläsningen med till exempel en pulssensor, en mikrofon eller en hjärtfrekvensmätare.

Andrew McStay, chef över forskningscentret Emotional AI Lab på walesiska Bangor University, är skeptisk till teknikens två grundläggande antaganden: att känslor kan delas in i ett fåtal avgränsade kategorier, och att det som pågår inuti en människa kan läsas av genom att snabbt titta på det yttre. I kommande artiklar på Kollega.se berättar han mer.

EU:s lag om AI den första i världen

EU:s övergripande lagpaket om AI är världens första i sitt slag. Det reglerar AI-verktyg utifrån risknivå – ju högre risk, desto större ansvar för den som skapar och använder verktyget. Det som anses allra mest riskfyll blir helt förbjudet. Hit hör bland annat emotionell AI som riktas mot anställda, men även mot skolelever. 

Lagen trädde i kraft i augusti 2024, men reglerna börjar gälla med olika fördröjning. Först ut är förbuden, som börjar gälla från februari 2025. Undantag kan tillåtas om produkterna används av hälso- eller säkerhetsskäl. Hur de undantagen ska utformas är i skrivande stund inte klart.

Smart Eye

IT-företag grundat 1999 i Göteborg. Har utvecklat en teknik för att spåra ögonrörelser som används i bilars säkerhetssystem. De senaste åren har bolaget riktat in sig på emotionell AI. 2021 köpte de det amerikanska startupföretaget Affectiva, som enligt egen utsago uppfann hela produktkategorin. Samma år köptes också det danska bolaget Imotions.

Koncernen har kontor i bland annat Boston, Singapore och Kairo. Huvudkontoret ligger i Göteborg. Där jobbar omkring 130 personer.