Innan du inför AI i vården

AI kan spara mycket tid i vården, men bara om du väljer rätt verktyg och använder det på rätt sätt. På vårt webbinarium om AI i vården gick Joakim Söderberg, Privacy Advisor på Secify, igenom vad du behöver tänka på innan du börjar. Här har vi samlat hans råd i sex frågor som du bör kunna svara på innan ett AI-verktyg tas i bruk i din verksamhet.

Frågorna passar oavsett om du är verksamhetschef, IT-ansvarig, dataskyddsombud eller den som ska köpa in verktyget.

1. Är verktyget gjort för det du ska använda det till?

Det viktigaste du kan göra är att välja ett verktyg som är avsett för ändamålet. Ett allmänt AI-verktyg som ChatGPT är inte gjort för diagnostik eller för att hantera patientuppgifter, även om det tekniskt går.

Om verktyget ska användas i ett medicinskt syfte, till exempel för att ställa diagnos eller ge behandlingsförslag, räknas det som en medicinteknisk produkt. Det är tillverkarens angivna syfte, i märkning, bruksanvisning och marknadsföring, som avgör det. En medicinteknisk produkt måste vara CE-märkt enligt EU:s förordning om medicintekniska produkter (MDR).

Tänk också på att en CE-märkning bara gäller för det användningsområde som tillverkaren har angett. Använder du verktyget till något annat skyddar märkningen dig inte.

Joakim liknade det vid en skruvmejsel: om du använder den för att slå i en spik får du själv bära risken när det går fel. Detsamma gäller AI-verktyg. Använder du ett verktyg till något det inte är gjort för finns det ingen leverantör att vända dig till.

Om man använder ett verktyg som en skruvmejsel på ett sätt som skruvmejseln inte var tänkt att användas, då får man bära risken själv, säger Joakim.

Fråga leverantören: Vilket avsett ändamål har verktyget? Är det CE-märkt, och i så fall för vad?

2. Hur ofta har verktyget fel?

Alla AI-verktyg gör fel ibland. Skillnaden är om du vet hur ofta och på vilket sätt.

En fördel med ett CE-märkt verktyg är att tillverkaren ska ha utvärderat hur det presterar och redovisa det. Ett transkriberingsverktyg kan till exempel ange hur ofta det hittar på saker som aldrig sades, och hur ofta det missar sådant som faktiskt sades. Med den kunskapen vet du vad du ska hålla utkik efter när du granskar resultatet.

Ett allmänt verktyg har sällan en sådan redovisning för ditt användningsområde. Då vet du inte vilka fel du ska leta efter.

Kom ihåg att en känd felmarginal inte flyttar ansvaret. Följer du instruktionen och det blir fel ändå, ligger den kliniska bedömningen fortfarande hos dig.

Fråga leverantören: Vilken felmarginal har verktyget, och vilka typer av fel är vanligast?

3. Var hamnar uppgifterna?

När du skickar in text eller ljud till ett AI-verktyg lämnar uppgifterna din miljö. Då behöver du veta vad som händer med dem.

Även om en leverantör lovar att inte träna sina modeller på dina uppgifter kan de sparas på leverantörens servrar en tid. Hos flera leverantörer kan dessutom människor läsa konversationer för att förbättra tjänsten.

En annan fråga är vilket lands lagar leverantören lyder under. En amerikansk leverantör kan bli skyldig att lämna ut uppgifter till amerikanska myndigheter, även om uppgifterna lagras i Europa. Då kan du inte garantera den sekretess eller tystnadsplikt som gäller för patientuppgifter. Det här är egentligen inget AI-problem, det gäller alla tjänster som lyder under ett annat lands lagar.

Säkrast är ett verktyg som körs i din egen miljö eller hos en europeisk leverantör.

Om man inte kan göra det skulle jag föreslå att man använder en svensk eller i alla fall en europeisk leverantör, för att säkerställa att man faller under samma lagstiftning. Du kan inte garantera patientsekretessen om det är en amerikansk, säger Joakim.

Fråga leverantören: Var lagras uppgifterna, hur länge sparas de, vem kan läsa dem och vilket lands lagar gäller för bolaget?

4. Fattar verktyget beslut eller ger det underlag?

AI får inte fatta vårdbeslut som lagen ser ut i dag. Dataskyddsförordningen ger patienten rätt att slippa beslut som enbart bygger på automatiserad behandling, om beslutet påverkar hen i betydande grad. Det finns undantag, men de passar dåligt i vården, och det saknas en svensk lag som tillåter automatiserade vårdbeslut.

Det betyder inte att du ska låta bli AI.

Vi kan använda AI för det mesta, så länge vi fattar våra egna beslut, säger Joakim.

Gränsen är dock tunnare än många tror. Det räcker inte att en människa skriver under. Om den som beslutar i praktiken förlitar sig helt på verktygets förslag kan det räknas som ett automatiserat beslut ändå.

Fråga dig själv: Vad gör verktygets resultat i vår process? Finns det en människa som granskar på riktigt?

5. Har du gjort en konsekvensbedömning?

Gör en konsekvensbedömning innan du börjar använda verktyget, inte efteråt. Enligt dataskyddsförordningen krävs en sådan bedömning när en behandling sannolikt innebär en hög risk för de registrerade. Ny teknik i kombination med känsliga uppgifter som hälsodata är ett typiskt exempel.

När man har en hög risk för patientsäkerheten och arbetar med personuppgifter behöver man göra en så kallad konsekvensbedömning, säger Joakim.

Bedömningen hjälper dig att se vilka uppgifter som behandlas, vilka risker som finns och vilka skyddsåtgärder som behövs. Den blir också ett underlag för att besluta om verktyget över huvud taget ska användas.

Ta med dataskyddsombudet tidigt. Det är lättare att påverka valet av verktyg innan avtalet är skrivet.

Fråga dig själv: Har vi dokumenterat riskerna och åtgärderna innan verktyget togs i bruk?

6. Hur följer du upp att verktyget används rätt?

Arbetet slutar inte när verktyget är infört. Ju bättre verktyget blir, desto lättare är det att sluta dubbelkolla resultatet. Det är en naturlig reaktion, men det är just då riskerna ökar.

Påminn användarna regelbundet om verktygets felmarginal och vad de ska hålla utkik efter. Följ upp minst en gång om året att verktyget används som det är tänkt och att granskningen fortfarande fungerar.

Om något går fel, rapportera det till leverantören. Då blir felen kända och kan rättas.

Fråga dig själv: Vem ansvarar för uppföljningen, och när gjordes den senast?

Börja med rätt frågor

AI kan göra stor nytta i vården, och de här frågorna handlar inte om att stoppa utvecklingen. De handlar om att du ska veta vad du inför, vilka risker som finns och vem som ansvarar för vad.

Vill du ha hjälp med en konsekvensbedömning eller med att granska ett AI-verktyg innan du börjar använda det? Kontakta oss.

Här kan du se hela Joakims webbinarium.