AI Evaluation Methodology Lead

Ønsker du at definere evalueringsmetoder og tekniske krav, der understøtter effektiv AI-evaluering og monitorering inden for forretningen i en af Nordens førende finansielle institutioner?

Bliv en del af Danske Banks nyoprettede AI Model Assessment-team i Business Controls & Product Management. Som AI Evaluation Methodology & Platform Requirements Lead vil du have en 1. forsvarslinjerolle med tydeligt ejerskab af de tekniske metoder, der anvendes til at evaluere AI-modeller og AI-aktiverede løsninger, samt af de tekniske krav til de platforme, der understøtter deres evaluering og løbende monitorering. Du vil omsætte forretningsmæssige risiko- og kontrolbehov til klare metoder, målinger, data, evidens, sporbarhed og platformkapaciteter, der kan implementeres konsekvent på tværs af Danske Banks teknologiske landskab.

Dette er en unik mulighed for at forme en konsekvent, skalerbar og evidensbaseret kapacitet, hvorigennem forretningen identificerer, evaluerer, monitorerer og håndterer AI-modelrisiko.

Denne rolle kan være baseret i København, Danmark; Vilnius, Litauen; Warszawa, Polen; Stockholm, Sverige eller Helsinki, Finland.

AI Model Assessment-teamet er en forretningsejet kontrolfunktion, der udfører evidensbaserede vurderinger af AI-modeller og AI-aktiverede løsninger på tværs af Danske Bank. Danske Bank arbejder med forretningsejere, udviklere, ingeniører og platformteams for at forstå, hvordan løsninger fungerer, definere den nødvendige evidens til vurdering og etablere de evaluerings- og monitoreringskapaciteter, der er nødvendige for at identificere, vurdere og håndtere modelrisiko, hvor den opstår.

Danske Banks mission er at muliggøre ansvarlig innovation ved at give forretningen en konsekvent og skalerbar ramme for evaluering af AI-systemer, overvågning af deres ydeevne og risiko og demonstration af, at passende kontroller fungerer effektivt.

Som AI Evaluation Methodology & Platform Requirements Lead vil du eje evalueringsmetoden og definere de tekniske krav til platforme, værktøjer og datakapaciteter, der anvendes af den 1. forsvarslinje til at evaluere og monitorere AI-modeller og AI-aktiverede løsninger. Dit mandat er at sikre, at forretningen har robuste, implementerbare og auditerbare midler til at vurdere sine AI-risici og -kontroller. Dit fokus vil være på at specificere, hvad evaluerings- og monitoreringskapaciteten skal levere, snarere end at eje softwareudvikling eller platformdrift.

Du vil arbejde tæt sammen med den uafhængige 2. forsvarslinjes AI-modelrisikofunktion, som fastsætter den overordnede risikoramme og yder tilsyn og konstruktiv kritik. Du vil omsætte denne ramme til praktiske evalueringsmetoder, tekniske krav og forretningsejede kontroller, levere gennemsigtig dokumentation for, hvordan kravene implementeres, og understøtte løsning af identificerede mangler.

• At eje, udvikle og vedligeholde metoden til evaluering af AI-modeller og AI-aktiverede løsninger, herunder evalueringsmål, testtilgange, acceptkriterier og dokumentationsstandarder.
• At definere de funktionelle og tekniske krav til evaluerings- og monitoreringsplatforme, der muliggør risikostyring, herunder dataindsamling, testudførelse, metrikberegning, observerbarhed, evidensfangst, rapportering, adgangskontroller og auditerbarhed.
• At omsætte modelrisiko-, forretnings- og vurderingskrav til genanvendelige evalueringsmetoder, repræsentative datasæt, målinger, tærskelværdier, monitoreringsindikatorer og strukturerede dokumentationskrav.
• At bestemme, hvordan AI-systemarkitekturer, komponenter, afhængigheder og dataflows påvirker evalueringsomfang, testdesign, monitoreringsdækning og de tekniske kapaciteter, der kræves af understøttende platforme.
• At definere platformsuafhængige krav, der understøtter evaluering og monitorering på tværs af miljøer som AWS Bedrock og AgentCore, Databricks, Azure OpenAI og indlejrede tredjeparts AI-platforme.
• At opstille krav til reproducerbarhed og ende-til-ende sporbarhed på tværs af modeller, prompts, datasæt, konfigurationer, systemkomponenter, evalueringsresultater, monitoreringssignaler og ændringer over tid.
• At prioritere muligheder for at standardisere og automatisere evaluerings- og monitoreringsaktiviteter og arbejde med evaluatorer, platformsejere og ingeniører for at omsætte godkendte kontrolkrav til praktiske platformskapaciteter.
• At engagere sig med den anden linjes modelrisikofunktion for at fortolke gældende krav, demonstrere hvordan de operationaliseres, reagere på konstruktiv kritik og sikre, at evaluerings- og monitoreringsevidence understøtter effektiv uafhængig tilsyn.

En erfaren AI-evaluerings-, modelrisiko-, data-, arkitektur- eller platformprofessionel, der kan etablere stringente evalueringsmetoder og omsætte forretningsmæssige risiko- og kontrolbehov til klare, implementerbare tekniske krav til virksomhedsplatforme og -værktøjer.

Du har:

• Dokumenteret erfaring med at designe eller styre AI/ML-evalueringsmetoder, herunder testmål, datasæt, målinger, tærskelværdier, acceptkriterier og dokumentationsstandarder.
• Erfaring med at omsætte evaluerings-, monitorerings-, risiko- og kontrolbehov til funktionelle og tekniske krav for platforme, værktøjer, datapipelines og rapporteringskapaciteter.
• Erfaring med AI/ML-evaluering, forretningsejet modelrisikostyring og -kontroller, teknisk kvalitetssikring, MLOps, LLMOps, AI-platforme eller AI-observerbarhed.
• Kendskab til cloud AI-tjenester eller virksomheds AI-platforme; erfaring med AWS Bedrock eller AgentCore, Databricks eller Mosaic AI, Azure OpenAI, eller sammenlignelige platforme er en fordel.
• Stærk forståelse for evaluerings- og monitoreringsprincipper, herunder repræsentative datasæt, eksperimentkonfiguration, metrikdesign, regressionstestning, monitoreringsindikatorer, sporbarhed og evidensopsamling.
• Evne til at skelne mellem ejerskab af metode og krav og platformimplementering, samtidig med at du effektivt samarbejder med ingeniører og platformejere. Python eller lignende værktøjer til analyse, prototyping eller undersøgelse er en fordel, men softwareudvikling er ikke rollens primære fokus.
• Fremragende samarbejds- og kommunikationsevner med evnen til at formulere evaluerings-, monitorerings-, risiko- og kontrolkrav på tværs af forretnings-, vurderings-, platform-, ingeniør-, arkitektur-, data- og risikofunktioner.

Erfaring med AI-evaluerings- eller observerbarhedsteknologier, for eksempel Phoenix eller sammenlignelige værktøjer, er en fordel, men er ikke en forudsætning.

Du vil blive en del af det nyoprettede AI Model Assessment-team i Business Controls & Product Management og hjælpe med at opbygge Danske Banks konsekvente og skalerbare forretningsejede kapacitet for AI-evaluering, monitorering og modelrisikostyring.

Teamet kombinerer teknisk AI-evalueringsekspertise med modelrisikostyring og arbejder på tværs af Danske Banks AI-initiativer. I denne rolle vil du forbinde evaluatorer med platform-, ingeniør-, arkitektur- og datateams ved at definere de metoder og tekniske krav, deres løsninger skal understøtte, og sikre, at risikoejerskab og kontrolbevis forbliver forankret i forretningen.

Hvis du ansættes i Litauen, vil din månedsløn ligge mellem 4320 EUR og 6480 EUR brutto (baseret på dine kompetencer relevant for jobbet). Derudover modtager hver medarbejder hos Danske Bank