AI Evaluation Methodology Lead

Danske Bank søger en erfaren person til at definere evalueringsmetodologien og de tekniske krav, der understøtter effektiv AI-evaluering og monitorering hos en af Nordens førende finansielle institutioner. Stillingen er i Danske Banks nyetablerede AI Model Assessment-team inden for Business Controls & Product Management.

Som AI Evaluation Methodology Lead bestrider man en 1. forsvarslinje-rolle med ejerskab over de metoder, der anvendes til at evaluere AI-modeller og AI-aktiverede løsninger, samt de tekniske krav til platforme, der understøtter evaluering og løbende monitorering. Rollen indebærer at omsætte forretningens risikostyrings- og kontrolbehov til implementerbare metoder, målinger, data, evidens, sporbarhed og platformskapaciteter.

Om AI Model Assessment-teamet

AI Model Assessment-teamet er en forretningsejet kontrolkapacitet, der udfører evidensbaserede vurderinger af AI-modeller og AI-aktiverede løsninger i hele Danske Bank. Teamet samarbejder med forretningsejere, udviklere, ingeniører og platformsteams for at forstå, hvordan løsninger fungerer, definere vurderingsevidence og etablere de evaluerings- og monitoreringskapaciteter, der er nødvendige for at håndtere modelrisiko.

Teamets mission er at muliggøre ansvarlig innovation gennem en konsekvent og skalerbar ramme for evaluering af AI-systemer, monitorering af ydeevne og risiko samt demonstration af, at passende kontroller fungerer effektivt.

Stillingen er baseret i København, Danmark.

Om stillingen

Stillingen indebærer ejerskab over evalueringsmetodologien og definitionen af tekniske krav til de platforme, værktøjer og datakapaciteter, som 1. forsvarslinje anvender til at evaluere og monitorere AI-modeller og AI-aktiverede løsninger. Fokus er på at specificere, hvad kapaciteten skal levere – ikke på at eje softwareudvikling eller platformdrift.

Man vil arbejde tæt sammen med den uafhængige 2. forsvarslinje AI-modelrisikofunktion, som fastsætter den overordnede risikoramme og yder tilsyn og konstruktiv udfordring. Vedkommende skal omsætte denne ramme til praktiske metoder, krav og forretningsejede kontroller, levere bevis for implementering og understøtte løsning af mangler.

Arbejdsopgaver

• Eje og vedligeholde evalueringsmetodologier, der dækker målsætninger, testtilgange, repræsentative datasæt, metrikker, tærskler, acceptkriterier og evidensstandarder.
• Definere funktionelle og tekniske krav til evaluerings- og monitoreringsplatforme, herunder dataindsamling, testudførelse, metrikberegning, observerbarhed, evidensfangst, rapportering, adgangskontrol og auditabilitet.
• Vurdere, hvordan AI-arkitekturer, komponenter, afhængigheder og dataflows påvirker evalueringsomfang, testdesign, monitoreringsdækning og platformskrav.
• Fastsætte platformsuafhængige krav på tværs af miljøer som AWS Bedrock og AgentCore, Databricks, Azure OpenAI og indlejrede tredjeparts AI-platforme.
• Sikre reproducerbarhed og end-to-end sporbarhed på tværs af modeller, prompts, datasæt, konfigurationer, komponenter, resultater, monitoreringssignaler og ændringer over tid.
• Prioritere standardiserings- og automatiseringsmuligheder i samarbejde med evaluatorer, platformsejere og ingeniører for at omsætte godkendte kontrolkrav til praktiske kapaciteter.
• Engagere sig med 2. forsvarslinje for at fortolke krav, demonstrere operationalisering, reagere på udfordringer og levere evidens, der understøtter uafhængigt tilsyn.

Din profil

Den ideelle kandidat er en erfaren specialist inden for AI-evaluering, modelrisiko, data, arkitektur eller platforme, som kan etablere stringente metodologier og omsætte forretningsmæssige risiko- og kontrolbehov til klare, implementerbare tekniske krav.

Danske Bank forventer, at kandidaten har:

• Dokumenteret erfaring med at designe eller styre AI/ML-evalueringsmetodologier, herunder testmål, datasæt, metrikker, tærskler, acceptkriterier og evidensstandarder.
• Erfaring med at omsætte evaluerings-, monitorerings-, risiko- og kontrolbehov til krav for platforme, værktøjer, datapipelines og rapportering.
• Erfaring med forretningsejet modelrisikostyring og kontroller, teknisk sikring, MLOps, LLMOps, AI-platforme eller AI-observerbarhed.
• Kendskab til cloud- eller enterprise AI-platforme; erfaring med AWS Bedrock eller AgentCore, Databricks eller Mosaic AI, Azure OpenAI, eller sammenlignelige platforme er en fordel.
• Stærk viden om repræsentative datasæt, eksperimentkonfiguration, metrikdesign, regressionstest, monitoreringsindikatorer, sporbarhed og evidensfangst.
• Evne til at skelne ejerskab af metodologi og krav fra implementering, samtidig med effektivt samarbejde med ingeniører og platformsejere. Python eller lignende analytiske og prototypeværktøjer er en fordel, men softwareudvikling er ikke det primære fokus.
• Fremragende kommunikations- og samarbejdsevner på tværs af forretnings-, vurderings-, platform-, ingeniør-, arkitektur-, data- og risikofunktioner.

Erfaring med AI-evaluerings- eller observerbarhedsteknologier, såsom Phoenix eller sammenlignelige værktøjer, er en fordel, men ikke et krav.

Mød teamet

Den nye medarbejder vil tilslutte sig det nyetablerede AI Model Assessment-team, som kombinerer teknisk AI-evalueringsekspertise med modelrisikostyring på tværs af Danske Banks AI-initiativer. Man vil forbinde evaluatorer med platform-, ingeniør-, arkitektur- og datateams og hjælpe med at opbygge en konsekvent og skalerbar forretningsejet kapacitet, samtidig med at risikoansvar og kontrolbevis forankres i forretningen.

Interesseret?

Hvis man er passioneret omkring robuste AI-evalueringsmetodologier og skalerbare evaluerings- og monitoreringskapaciteter, vil Danske Bank gerne høre fra den interesserede. For spørgsmål om rollen kan Khaled Alizai kontaktes på khali@danskebank.dk.

Bliv en del af teamet og hjælp med at opbygge det forretningsejede fundament for effektiv AI-model-evaluering, monitorering og risikostyring hos Danske Bank.