När blir beslutsstöd ett automatiserat beslut?
AI:n föreslår en diagnos. Den verkar rimlig, och du håller med. Men vem fattade egentligen beslutet?
Frågan låter filosofisk, men den är juridisk. På vårt webbinarium om AI i vården förklarade Joakim Söderberg, Privacy Advisor på Secify, att AI inte får fatta vårdbeslut som lagen ser ut i dag. Samtidigt är gränsen mellan beslutsstöd och beslut tunnare än många tror.
I den här artikeln går vi igenom var gränsen går och hur du håller dig på rätt sida om den.
Vad säger dataskyddsförordningen?
Artikel 22 i dataskyddsförordningen ger varje person rätt att inte bli föremål för ett beslut som enbart grundas på automatiserad behandling, om beslutet har rättsliga följder eller påverkar personen i betydande grad på liknande sätt.
I praktiken fungerar det som ett förbud med vissa undantag. Beslut som påverkar någons tillgång till vård räknas som exempel på beslut som påverkar i betydande grad, så vården hamnar mitt i regelns kärnområde.
Ordet ”enbart” är viktigt. Om en människa granskar förslaget, tar hänsyn till annan information och fattar det slutliga beslutet är det inte ett beslut som enbart bygger på automatiserad behandling. Men granskningen måste vara på riktigt. Den ska göras av någon som har befogenhet att ändra beslutet och kunskap att bedöma underlaget. Att en människa bara bekräftar det verktyget har kommit fram till räcker inte.
Varför undantagen passar dåligt i vården
Artikel 22 har tre undantag. Ett automatiserat beslut kan vara tillåtet om det är nödvändigt för ett avtal, om det är tillåtet enligt lag med lämpliga skyddsåtgärder eller om personen har lämnat sitt uttryckliga samtycke.
För hälsodata är reglerna ännu strängare. Automatiserade beslut som bygger på känsliga personuppgifter, som uppgifter om hälsa, är bara tillåtna med uttryckligt samtycke eller med stöd i lag av hänsyn till ett viktigt allmänt intresse. Avtalsundantaget räcker alltså inte.
Kvar finns två vägar, och båda är svåra:
- Lagstöd. Det saknas i dag en svensk lag som tillåter automatiserade beslut i vården med de skyddsåtgärder som krävs.
- Samtycke. Ett samtycke måste vara frivilligt. Joakims poäng på webbinariet var att det är svårt när du som patient är beroende av vården. Kan du verkligen säga nej till den som ska behandla dig?
När du är i den beroendeställningen och pratar med en läkare är de flesta nog inte förmögna att säga att de inte går med på det, säger Joakim.
När underlaget blir beslutet
Många har tänkt att ett verktyg som bara tar fram ett underlag aldrig fattar några beslut, eftersom det är en människa som beslutar i slutändan. Den tanken fick sig en törn i december 2023.
Då avgjorde EU-domstolen det så kallade SCHUFA-målet (C-634/21). Det tyska kreditupplysningsföretaget SCHUFA räknade automatiskt fram ett kreditbetyg, och en bank nekade sedan en kvinna ett lån utifrån betyget. SCHUFA menade att det var banken som fattade beslutet, inte de.
Domstolen höll inte med. Att automatiskt räkna fram betyget räknades som ett automatiserat beslut, eftersom banken i praktiken lät det vara avgörande för om lånet beviljades.
Kreditprövningen är inte beslutet, men den är grund för beslutet, eftersom man förlitar sig på den, säger Joakim.
Domen gällde kreditupplysning, men principen går att föra över till vården. Om ett AI-verktyg föreslår en diagnos och förslaget i praktiken styr vad som händer, kan det räknas som ett automatiserat beslut, även om en läkare formellt skriver under. Det som avgör är hur mycket förslaget faktiskt väger, inte vem som står som beslutsfattare på papperet.
Ju bättre verktyget blir, desto större är risken
Det låter bakvänt, men ett bra verktyg kan vara svårare att hantera än ett dåligt. Om AI:n har fel ofta lär du dig snabbt att granska allt den föreslår. Om den har rätt nästan hela tiden slutar du till slut att kontrollera.
Fenomenet kallas automationsbias: tendensen att lita för mycket på automatiska system och bortse från egna iakttagelser som pekar åt ett annat håll. Det är en mänsklig reaktion och inget tecken på slarv.
Problemet är att det är just då den mänskliga granskningen slutar vara på riktigt. Och då närmar du dig gränsen för vad som räknas som ett automatiserat beslut, utan att någon har bestämt det.
Mitt första tips är att man ska vara väldigt försiktig, för det finns en risk att man glider över till det som ska vara förbjudet, säger Joakim.
Så håller du dig på rätt sida om gränsen
Joakims budskap var inte att du ska låta bli AI. Du kan använda AI till det mesta, så länge du fattar dina egna beslut. Det här kan du göra för att se till att det blir så:
- Kartlägg vad verktyget gör i processen. Ger det ett förslag bland flera underlag, eller styr det i praktiken vad som händer? Svaret avgör vilka regler som gäller.
- Gör en konsekvensbedömning innan du börjar. Där dokumenterar du hur besluten fattas och vilka skyddsåtgärder som finns.
- Se till att granskningen är på riktigt. Den som beslutar ska ha befogenhet att gå emot förslaget och kunskap att bedöma det. Ge också tid till det i arbetsflödet.
- Utbilda användarna i verktygets svagheter. Den som vet vilka fel verktyget brukar göra granskar bättre.
- Följ upp regelbundet. Kontrollera minst en gång om året om användarna fortfarande granskar eller om de i praktiken har börjat lita blint på verktyget.
Man kan ha inställningar i systemen som påminner om felmarginalen, så att man inte börjar förlita sig på produkten i för stor omfattning, säger Joakim.
Ett enkelt sätt att testa dig själv är att fråga: skulle jag ha kommit fram till samma sak utan verktygets förslag? Om du inte vet, är det värt att stanna upp.
Vill du veta mer?
Gränsen mellan beslutsstöd och beslut går inte alltid att dra en gång för alla. Den beror på hur verktyget faktiskt används i din verksamhet, och den kan flytta sig över tid.
Vill du ha hjälp att bedöma var era AI-verktyg hamnar, eller med en konsekvensbedömning? Kontakta oss.
Här kan du se hela Joakims webbinarium.
Källor
- Dataskyddsförordningen, artikel 22 med skäl 71
- IMY:s remissvar om ny konsumentkreditlag, med hänvisning till C-634/21
- TLT: SCHUFA case, CJEU rules on scope of Article 22
- Joakim Söderberg, Secify, webbinarium om AI i vården
