I Deloittes “Future of cyber survey”-analyse fra 2021 spurgte vi 600 globale topledere om deres topprioriteter for de kommende digitale investeringer. “Internet of Things” indtog førstepladsen, “Data analytics” kom ind på en andenplads, og “Operational Technology/Industrial Control Systems” landede på tredjepladsen.
Alle tre topprioriteter understreger, at data er virksomhedernes helt grundlæggende ressource, at datamængderne vil stige eksponentielt i den enkelte virksomhed, og at kunstig intelligens derfor bliver en helt afgørende produktionsdisciplin til at skabe indsigt, overblik, struktur og resultater.
Som leder af Deloittes risikorådgivning, Risk Advisory, er jeg altid fokuseret på, hvordan vi bedst bygger tillid i vores kunders forretning. I den her sammenhæng bliver spørgsmålet: Hvad skal man være opmærksom på, når kunstig intelligens bliver en central del af service og produktion? Hvad er risikoen på produkter, dialoger og beslutninger truffet med kunstig intelligens?
Til at lave et dybdedyk i den debat har jeg endnu engang sat en kollega stævne, nemlig Jacob Bock Axelsen, der er ph.d. i fysik fra KU og CTO i Risk Advisory. Jacob ved blandt andet en masse om, hvordan kunstige intelligenser fungerer. Og nok så vigtigt ved han også en masse om, hvordan man kan hacke kunstige intelligenser.
Hacking af en kunstig intelligens lyder måske tilpas fremtidsfjernt til at blive taget alvorligt. Men med tanke på hvad der gemmer sig af forretningsviden – og forretningshemmeligheder – under kølerhjelmen på en avanceret computermodel såsom en chatbot, er der al mulig grund til at sikre sig mod misbrug, før det er for sent.
Kan udlevere hemmelige træningsdata
Hacking af chatbots og andre kunstige intelligenser… hvordan hænger det sammen?
“Udviklingen indenfor kunstig intelligens går jo enormt stærkt. Vi har allerede set eksempler på store og meget avancerede computermodeller, der indeholder massive mængder data. Det er modeller, som kan kreere hele artikler og bestå Turing-testen. Hemmeligheden bag at blive så kraftfuld og dygtig til at imitere menneskelig intelligens er, at modellen er blevet trænet på enorme komplekse datasæt fra virkeligheden. De træningsdata kan hentes ud af modellen ved at hacke den. Hvis du ved, hvad du laver, kan du manipulere en chatbot til at tale over sig ved at skrive nogle bestemte ting til den. Du kan tilmed “forgifte” den, så den bliver en forvrænget udgave af sig selv.”
Hvilken type af problemer kan det skabe?
“Jeg skal skynde mig at sige, at vi endnu ikke har set en case, der havde store konsekvenser for en virksomhed eller organisation. Men vi har set kunstige intelligenser, der eksempelvis blev udnyttet til at afsløre, hvordan spamfilteret i en mailløsning fungerede – det er meget nyttigt at vide, hvis man er hacker og gerne vil sende malware via e-mail. Vi har set et eksempel på en chatbot, der blev manipuleret til at indtage et stærkt racistisk synspunkt, og som spyttede hadefulde beskeder ud på kommando. Vi har også selv manipuleret en AI-model til at lave et match mellem navngivne personer og deres kontaktinformation på nettet. I en verden, hvor det for offentlige og private virksomheder bliver stadigt vigtigere at fremstå transparente, ansvarlige og etisk robuste, er den form for utilsigtede hændelser problematiske.”
Manipulation af forretningslogik
Lad os zoome ind på scenarier, hvor det potentielt kan blive meget alvorligt for en almindelig dansk virksomhed eller organisation.
“Forestil dig en kundeservicefunktion eller en produktionsvirksomhed, som har implementeret en chatbot med det formål at automatisere dele af deres forretningsprocesser. Hvor meget ravage kan en hacker lave, hvis vedkommende får kontrol over en chatbot i sådan en type virksomhed og begynder at manipulere med kommunikationen, ordrebogen eller noget tredje? AI-modeller er data, der kan tale. Deri ligger risikoen.”
Andre scenarier?
“Alle nuværende krav om at en kunstig intelligens skal være upartisk, gennemsigtig og præcis forhindrer ikke hackerangreb. Der er eksempelvis masser af gode anvendelser af billedgenkendelse såsom ansigtsgenkendelse og objektdetektion. De algoritmer udfører måske tusindvis af transaktioner, man ikke kan overkomme at validere manuelt. Problemet er, at algoritmerne kan angribes og narres til at angive forkerte resultater. En tumor kan fejlklassificeres som negativ, en lille bilskade kan blive stor, tal i en faktura kan blive fejlangivet osv. På den måde når modellen frem til den beslutning, en hacker ønsker, frem for det resultat AI-ejerens forretningsmodel bygger på.”
Få undersøgt robustheden af jeres AI
Hvad er de gode råd til virksomheder, der gerne vil følge med den teknologiske udvikling og bruge kunstig intelligens, men som ikke ønsker at lade en sikkerhedsflanke stå åben?
“For det første skal man have en sikkerhedsstrategi for udviklingen af AI. Lige nu forholder de fleste virksomheder sig retrospektivt til implementeringen af kunstig intelligens i deres forretning, og så tænker man sikkerhed ind bagefter. Det skal være lige omvendt. For det andet skal man ikke bygge computermodeller større end nødvendigt. For jo større modellen bliver, jo mere data indeholder den, og des større sikkerhedsrisiko kommer løsningen til at udgøre. For det tredje kan det være en god ide at få eksterne til at undersøge robustheden af den algoritme, der er blevet brugt til at bygge den kunstige intelligens. Man kan undersøge, om den stadig opfører sig, som den gjorde, da den blev overleveret, eller om den begynder at tale over sig, når man udsætter den for forskellige stresstests. Vi arbejder for tiden på forskellige måder at forudse, hvilken AI-risiko man påtager sig i den pågældende strategi. Man bør overveje at behandle sin AI som en transaktionsmodel, der skal sikres ved hjælp af eksempelvis blockchain-teknologi.”