5 AI-system ditt företag troligtvis använder som är högrisk enligt AI Act

Problemet med skugg-AI

Fråga ett företags ledning hur många AI-system de använder, och du får ett antal. Fråga de som faktiskt utför arbetet, och du får ett mycket större antal.

Detta gap — mellan de AI-system ledningen känner till och de som faktiskt körs — är den enskilt största efterlevnadsrisken under EU:s AI Act. Inte för att företag är oansvariga, utan för att moderna SaaS-verktyg tyst har bäddat in AI-funktioner som nu utlöser regulatoriska skyldigheter som ingen förutsåg när inköpsordern skrevs under.

AI Act klassificerar vissa AI-system som "högrisk" baserat på deras område och funktion, inte på hur sofistikerad den underliggande modellen är. En enkel poängsättningsalgoritm som används vid rekrytering är högrisk. En banbrytande språkmodell som används för intern brainstorming är det inte. Det som spelar roll är vad systemet gör och vem det påverkar.

Här är fem AI-system som ditt företag sannolikt använder — eller som dina team har anammat utan formellt godkännande — som faller rakt in i högrisk-kategorin.

1. Rekryteringssystem med AI-screening

Exempel: HireVue, Pymetrics, LinkedIn Recruiters AI-rangordning, Workday Recruitings kandidatpoängsättning

Varför det är högrisk: AI Acts Annex III listar uttryckligen AI-system som används vid "rekrytering eller urval av fysiska personer, för att annonsera tjänster, screena eller filtrera ansökningar, utvärdera kandidater" som högrisk. Detta begränsas inte till videointervjuanalys eller personlighetsbedömningar. All AI-driven rangordning, filtrering eller poängsättning av jobbkandidater kvalificerar.

Haken: De flesta moderna ATS-plattformar inkluderar nu AI-funktioner som standard. LinkedIn Recruiter använder AI för att rangordna kandidater. Workday poängsätter sökande-jobbpassning automatiskt. Dessa funktioner är ofta aktiverade som standard eller påslagna av ett ivrigt rekryteringsteam utan IT- eller juridisk granskning.

Vad du behöver göra: Genomför en överensstämmelsebedömning som täcker riskhantering, datastyrning, mänsklig tillsyn och teknisk dokumentation. Säkerställ att en människa meningsfullt granskar AI-rangordnade kandidater innan beslut fattas — att rubberstampa AI-rekommendationer räknas inte. Dokumentera systemets syfte, logik och begränsningar. Etablera en process för kandidater att begära mänsklig granskning av automatiserade beslut.

2. Analys av medarbetares prestation och produktivitet

Exempel: Microsoft Viva Insights (med AI-funktioner), Workdays prestationsanalys, Lattice AI, Time Doctors produktivitetspoängsättning

Varför det är högrisk: Annex III täcker AI-system som används för att "fatta eller väsentligt påverka beslut som rör inledande, fortsättning eller avslutande av arbetsrelaterade avtalsförhållanden" och "övervaka och utvärdera prestationen och beteendet hos personer i sådana förhållanden." Om ditt AI-verktyg genererar prestationspoäng, identifierar "lågpresterande," flaggar "avhoppningsrisk" eller rekommenderar befordringskandidater är det högrisk.

Haken: Dessa verktyg antas ofta av HR eller avdelningschefer som produktivitetsverktyg — inte som AI-system. Microsoft Viva ingår i Microsoft 365-prenumerationer som miljontals företag redan betalar för. Att aktivera dess AI-drivna insiktsfunktioner tar några klick. Ingen lämnar en inköpsförfrågan. Ingen gör en riskbedömning. Men AI Act bryr sig inte om hur verktyget antogs — bara vad det gör.

Vad du behöver göra: Kartlägg varje verktyg som genererar insikter om medarbetares prestation eller produktivitet. Fastställ vilka som använder AI (många gör det nu som standard). För de som kvalificerar, implementera det fullständiga högrisk-ramverket: riskhantering, mänsklig tillsyn, transparens gentemot anställda, datakvalitetskontroller och omfattande dokumentation. Kritiskt viktigt: anställda måste informeras om att AI används för att bedöma deras prestation.

3. Kreditbedömning och BNPL-beslut

Exempel: Klarnas AI-kreditprövning, Affirms riskmodeller, interna kreditbedömningsverktyg som använder ML, tredjepartspoängsättnings-API:er från Experian eller TransUnion

Varför det är högrisk: AI Act listar uttryckligen AI-system som används för att "bedöma kreditvärdigheten hos fysiska personer eller fastställa deras kreditpoäng" som högrisk. Detta täcker alla varianter av automatiserad kreditbedömning — traditionella ML-modeller, nyare LLM-baserade tillvägagångssätt och köp nu-betala senare-plattformarna (BNPL) som har exploderat över europeisk e-handel.

Haken: Om ditt företag erbjuder någon form av finansiering, delbetalning eller kredit — även genom en tredjepartsleverantör av BNPL integrerad i ditt kassaflöde — kan du ha skyldigheter som "användare" av ett högrisk-AI-system. AI Acts skyldigheter faller inte bara på leverantören som byggde systemet. Användare (de företag som använder systemet i praktiken) har sin egen uppsättning krav, inklusive mänsklig tillsyn, kvalitet på indata och dokumentation.

Vad du behöver göra: Om du integrerar BNPL eller kreditbedömning i dina produkter, förstå din roll enligt AI Act. Begär dokumentation från din leverantör om deras AI-systems överensstämmelse. Säkerställ meningsfull mänsklig tillsyn av automatiserade kreditbeslut. Behåll loggar. Och om kunder nekas kredit av ett AI-system har de rätt till en förklaring — se till att du kan ge en.

4. AI-driven tentamensövervakning och bedömningsverktyg

Exempel: Proctorio, ExamSoft, Respondus Monitor, Mercer Mettls AI-övervakning

Varför det är högrisk: AI Act listar AI-system som används inom utbildning för att "avgöra tillgång till utbildnings- och yrkesutbildningsinstitutioner" och "utvärdera läranderesultat" som högrisk. AI-övervakning går längre — många av dessa verktyg använder beteendeanalys, blickspårning och avvikelsedetektering för att flagga potentiellt fusk, vilket direkt påverkar studenters akademiska resultat.

Haken: Detta är relevant bortom universitet. Företagsutbildningsprogram, yrkescertifieringar och interna bedömningar använder i allt högre grad AI-driven övervakning. Om ditt företag använder AI-övervakade bedömningar för medarbetarcertifiering, utvärdering av efterlevnadsutbildning eller kompetenstester som påverkar karriärutveckling kan du befinna dig i högrisk-territorium.

Vad du behöver göra: Granska alla bedömnings- eller examinationsverktyg som används i din organisation — inklusive de som används av din L&D- eller utbildningsavdelning. Om verktyget använder AI för att utvärdera, poängsätta eller övervaka testdeltagare, genomför den erforderliga överensstämmelsebedömningen. Säkerställ mänsklig granskning av alla AI-flaggade incidenter innan konsekvenser påförs. Dokumentera systemet och kommunicera dess användning till de personer som bedöms.

5. Chattbottar för kundberättigande och automatiserad triagering

Exempel: Chattbottar för försäkringsofferter, granskare för förmånsberättigande, förhandsqualificeringsbottar för lån, automatiserade ärendetriageringssystem

Varför det är högrisk: Detta är den kategori som de flesta företag missar helt. AI Act täcker AI-system som används för att "bedöma berättigande hos fysiska personer för väsentliga privata tjänster" — vilket inkluderar försäkring, tillgång till hälso- och sjukvård och finansiella produkter. Om din chattbot ställer kunder en serie frågor och sedan fastställer deras berättigande för en produkt, rekommenderar en täckningsnivå eller triagerar deras ärende kan den fungera som ett högrisk-AI-system.

Haken: Många företag byggde dessa chattbottar med generella verktyg — Intercoms AI, Zendesks Answer Bot, anpassade GPT-drivna flöden — utan att betrakta dem som "AI-system" i regulatorisk mening. De byggdes som förbättringar av kundtjänsten, inte som beslutssystem. Men om chattbotens utdata väsentligt påverkar vilka produkter en kund kan få tillgång till eller vilken service de får gäller AI Acts högrisk-krav sannolikt.

Vad du behöver göra: Granska varje kundriktat chattbot och automatiserat arbetsflöde. Kartlägg de beslut dessa system fattar eller påverkar. Om något av dessa beslut påverkar tillgång till tjänster, försäkring, kredit eller förmåner, behandla systemet som potentiellt högrisk. Implementera mänsklig reservlösning för beslut med konsekvenser. Säkerställ att kunder vet att de interagerar med AI (detta är också ett Article 50-krav). Dokumentera allt.

Den större bilden: du kan inte styra det du inte ser

Den gemensamma tråden i alla fem exemplen är synlighet. Dessa är inte skumma AI-experiment byggda av ett hemligt team. De är vanliga SaaS-verktyg, antagna genom normala upphandlingskanaler (eller ibland utan någon upphandling alls), som råkar använda AI på sätt som utlöser regulatoriska skyldigheter.

Det första steget för att hantera detta är inte efterlevnadsdokumentation eller riskbedömningar — det är att veta vad du har. Ett heltäckande AI-systemregister är grunden för allt annat. Utan det hanterar du efterlevnad i blindo.

Detta är svårare än det låter. AI-kapaciteter läggs till i befintliga verktyg hela tiden. Ett CRM som var helt regelbaserat förra året kan nu använda ML för leadscoring. En kundtjänstplattform som matchade nyckelord för sex månader sedan körs nu på en LLM. Ditt register behöver vara en levande process, inte en engångsrevision.

Börja med vad du faktiskt använder

Skugg-AI är inte en hypotetisk risk — det är standardtillståndet för de flesta organisationer. Verktygen som listas ovan används brett av europeiska företag. Många av dem kommer att kräva formella efterlevnadsprogram under AI Act, med verkliga konsekvenser för bristande efterlevnad.

Den goda nyheten är att det första steget är enkelt: ta reda på vilka AI-system din organisation faktiskt använder. Inte vad ledningen tror att du använder. Inte vad IT har godkänt. Vad människor faktiskt använder, varje dag, i varje avdelning.

Kör en kostnadsfri AI-systemskanning för att få en heltäckande bild av din organisations AI-fotavtryck — inklusive verktygen du inte visste att du hade. Det är det snabbaste sättet att gå från osäkerhet till en konkret efterlevnadsplan.