AI erbjuder en enorm potential i vården med bl.a. bättre diagnostik, effektivare patientflöden och förbättrad prognos. Men när tekniken bygger på känsliga personuppgifter och komplexa algoritmer, finns betydande risker. Ofta faller projekten på återkommande misstag som kan leda till dataintrång, juridiska sanktioner och förlorad patienttillit.
När vårdorganisationer tar klivet in i AI-världen stöter de ofta på liknande fallgropar som vi fångat upp under våra projekt tillsammans. Här beskriver vi de tre vanligaste fallgroparna vi ser och hur ni undviker dem för att uppnå ett starkt dataskydd och hög informationssäkerhet.
Bristande datakvalitet, anonymisering, och andra utmaningar
Vad kan gå fel? Ja, på den frågan finns förstås många olika svar – alla mer eller mindre troliga. När vi pratar med vårdaktörer som använder, eller funderar på att använda, AI ser vi dock några återkommande faktorer som generella och därmed särskilt viktiga att ta höjd för. Som startskott för er AI-resa bör därför en noggrann hot- och riskmodellering genomföras, för att tillse att ni prioriterar rätt saker och jobbar i rätt riktning.
Exempel på sådant som kan gå fel:
- AI-modellen hallucinerar på grund av designval
Det innebär att modellen hittar på fakta eller presenterar svar som låter trovärdiga men som i själva verket är felaktiga. - AI-modellen som tränats med personuppgifter riskerar att läcka dessa i sin utdata på grund av otillräckliga säkerhetsåtgärder
Det kan innebära att känslig patientinformation råkar bli synlig i modellens svar. - AI-modeller som inte tränats med personuppgifter riskerar att läcka eller hitta på personuppgifter på grund av otillräcklig anonymiseringsprocess och designval
Även anonymiserade data kan ibland spåras tillbaka till individer om processen inte är tillräckligt säker. - Felaktigt representerade patientgrupper i träningsdatat leder till algoritmisk bias som kan leda till diskriminering, särskilt för minoritetsgrupper eller specifika patientkategorier
Det betyder att modellen kan prestera sämre för vissa grupper och därmed riskera ojämlik vård. - AI-modellen är tränad på otillräckligt diversifierad data som leder till andra oönskade snedvridningar
När datamängden inte speglar verkligheten kan resultaten bli skeva och missvisande. - AI-modellen manipuleras att ge skadlig utdata, oavsiktligt eller avsiktligt, på grund av otillräckliga säkerhetsåtgärder
Till exempel kan någon försöka lura modellen att ge olämpliga eller direkt farliga svar. - AI-modellen övertränas vilket leder till felaktiga diagnoser
En övertränad modell kan bli ”för bra” på sitt träningsdata och därmed sämre på att hantera nya situationer. - AI-modellen förbättras kontinuerligt över tid, men på ett oövervakat sätt vilket leder till oförutsebara risker
Utan kontroll kan modellen förändras på sätt som gör den mindre pålitlig eller rent av farlig. - AI-modellen ges för stor tillit att mänskliga kontrollfunktioner de facto utelämnas
Det kan innebära att vårdpersonal inte ifrågasätter modellens resultat, även när de borde. - AI-modellens resultat kan inte förklaras vilket leder till otillräckliga beslutsunderlag och brist i möjlighet att kontrollera besluts korrekthet
Så kallade ”svarta lådor” gör det svårt för läkare att förstå varför modellen föreslår en viss diagnos eller behandling.
När risk- och konsekvensanalyser (såsom DPIA: Data Protection Impact Assessment) saknas eller är bristfälliga missar man lätt viktiga insikter och riskerar att få merjobb i efterhand. GDPR ställer dessutom krav på genomförandet av sådana vid hög risk-användning av personuppgifter så det finns all anledning att ta sig tiden att genomföra dem.
För organisationer som redan har ett ledningssystem enligt ISO27001 är en möjlighet att bygga vidare på det enligt följande steg:
- Identifiera AI-tillämpningar:
Gör en inventering av var AI används eller planeras i verksamheten. Det kan handla om allt från kundtjänster med NLP (Natural Language Processing, eller naturlig språkbehandling – det som gör det möjligt för AI att förstå, tolka, generera och svara på mänskligt språk) till interna beslutsstöd baserade på maskininlärning. Här kan man börja med att se över redan genomförda riskanalyser eller leverantörsbedömningar för att få en start. - Riskanalys med AI-perspektiv:
Integrera AI-relaterade risker i den befintliga riskhanteringsmodellen. Det handlar inte bara om säkerhetsrisker utan också om etiska och legala risker, som diskriminering, ansvarsfrihet eller bristande transparens. Er nya riskmodell ska ta hänsyn till både informationssäkerhetsrisker (intrång, dataläckor etc.) och AI-relaterade risker (bias, förlorad transparens, automatiskt beslutsfattande och felaktig output). Vid behov så kan tidigare utförda riskanalyser behöva kompletteras med er anpassade riskmodell. - Policy och ansvar:
Etablera eller utveckla existerande riktlinjer för AI-användning ur ett holistiskt perspektiv och definiera tydliga roller. Vem äger datakvalitet? Vem är ansvarig om AI-systemet fattar felaktiga beslut? Vad styrs av lag och vad bör regleras i avtal med leverantörer? Vilken information får vi mata in i AI-systemet? Det ska finnas tydliga gränser för när AI får användas och vad som gäller för mänsklig översyn. Skapa tvärfunktionella team där IT, säkerhet, legal och etik samverkar för att bedöma och godkänna AI-projekt. - Spårbarhet och förklarbarhet:
Skapa rutiner för dokumentation, spårbarhet och transparens i beslut som tas med AI-stöd. Det är särskilt viktigt för att kunna förklara beslut både internt och externt. - Integrera i ledningssystemet:
Bygg in AI-styrning i befintliga processer för revision, uppföljning och internkontroll. Använd PDCA-cykeln för att säkerställa kontinuerlig förbättring. Fånga in hela AI-livscykeln – från utveckling och träning till implementering, monitorering och avveckling. Här kan ni komplettera existerande modeller för livscykelhantering. ISO 42001 kräver en helhetsbild, inte bara tekniska kontroller. - Utbilda:
Vissa av AI-förordningens regler har redan börjat gälla, och en av dessa är artikel 4. Kapitel 4 ställer krav på att alla som arbetar med drift eller användning av AI måste ha en tillräcklig nivå av AI-kunnighet, vilket innebär att organisationen måste tillhandahålla fortbildningar för dessa personer.
Att bygga in AI-aspekter i sitt befintliga ledningssystem skapar en trovärdig och säker grund för ansvarsfull AI-hantering – oavsett om ni köper in och använder AI-verktyg, eller utvecklar dem själva. Det visar att organisationen tar sitt ansvar på allvar – både gentemot kunder, partners och tillsynsmyndigheter.
Att undvika de värsta riskerna
I många fall hade man kunnat undvika vissa fallgropar som leder till ineffektiva projekt, eller direkta incidenter efter att projektet gått live. Självklart går inte alla risker att undvika, och i många fall kan små missöden vara lärorika för organisationen – men höga risker ska undvikas i allra högsta grad när det gäller vård av individer.
För att undvika de värsta riskerna och fallgroparna föreslår vi att ni tänker till lite extra på de områden som följer nedan:
- Involvera organisationens risk- och compliancefunktioner tidigt i innovationsprocessen för att undvika att behöva backa flera steg i processen samt för att undvika att det sker allvarliga incidenter.
- Utför en DPIA vid behandling av personuppgifter eller då AI ska användas på människor. Det innebär att man gör en riskanalys för att säkerställa att dataskyddet är tillräckligt starkt och att personers integritet inte äventyras.
- Vissa organisationer berörs även av skyldigheten att utföra en FRIA (Fundamental Rights Impact Assessment) enligt AI-förordningen. Exempelvis en myndighet som inför ett AI-system med höga risknivåer.
- Ta experthjälp vid utveckling av egen AI för att säkerställa korrekt träningsdata för era ändamål och att rätt skyddsåtgärder byggs in.
- Upprätta ett ledningssystem för löpande översikt av implementerade AI-system. Det inkluderar men är inte begränsat till löpande undersökning av bias som kan uppstå med tiden eller upptäckas över tid.
- Överväg användning av olika PET:s (Privacy Enhancing Techniques), dvs tekniker som skyddar personuppgifter, ex. genom kryptering, anonymisering eller federerad inlärning.
- Genomför regelbunden granskning och revision att implementerade säkerhetsåtgärder fungerar som de ska.
- Skapa en tydlig ansvarsfördelning med dokumenterade risk- och processägare. Då blir det alltid klart vem som ansvarar för att identifiera, hantera och följa upp risker.
- Se till att AI-beslut alltid granskas av mänskliga experter/specialister. Detta skapar en verklig kontrollfunktion och minskar risken för att felaktiga beslut genomförs blint.
- Utbilda vårdpersonal om AI-systemens begränsningar, risker och hur rapportering av avvikelser ska gå till. Genom kunskap om hur systemen fungerar och hur avvikelser ska rapporteras kan personalen använda tekniken på ett säkrare sätt.
Med en stabil grund har ni en säker och effektiv hjälp i arbetet
AI har kapacitet att revolutionera vården – men bara om implementeringen bygger på en stabil grund av dataskydd, säkerhet och ansvarstagande. Risker går oftast att hantera eller eliminera med rätt förarbete! En god dialog och ett gott samarbete mellan innovatörerna och juridik- respektive IT-avdelningen skapar goda förutsättningar för en säker AI-driven vård. De vård- och omsorgsaktörer som agerar proaktivt och integrerar dataskydd i varje steg ligger steget före och bygger långsiktig trygghet och patienttillit.
