Doktorander inom guidade diffusionsmodeller i förstärkningsinlärning

Projektbeskrivning

Forskarutbildningsämne: Electrical Engineering

Förstärkningsinlärning (Reinforcement Learning, RL) hanterar sekventiella beslutsproblem genom att agera i en miljö och successivt förbättra sitt beteende via trial-and-error. Dessa metoder har visat anmärkningsvärda framgångar inom flera områden – ibland till och med överträffat mänsklig prestation. En stor nackdel är dock att de kräver enorma mängder träningsdata för att uppnå sådana resultat. Inom områden som datorspel eller rekommendationssystem finns det gott om träningsdata. Inom exempelvis finans eller sjukvård kan datainsamling däremot vara riskfylld, kostsam eller till och med juridiskt begränsad.

RL-algoritmer kan grovt delas in i två kategorier: modellfria och modellbaserade. Modelfria metoder lär sig direkt från interaktioner med den verkliga (mål)miljön, medan modellbaserade metoder tränar agenter med hjälp av en inlärd modell av miljön. Modellbaserade metoder är generellt sett mer dataeffektiva än modellfria, men de är inte utan utmaningar – de två mest kritiska är ackumulerade fel och Sim2Real-klyftan (gapet mellan simulering och verklighet).

Syftet med denna avhandling är att ta itu med dessa problem genom att utforska innovativa diffusionsmodeller. Dessa modeller ska användas för att förbättra både inlärningsprocessen och robustheten hos den inlärda policyn i RL. Vi planerar specifikt att använda styrningstekniker inom diffusionsmodellerna för att rikta genereringen av trajektorier mot sådana som är mest fördelaktiga för inlärningen. Med ”fördelaktiga” syftar vi på två centrala aspekter:

1. Att främja policies som är robusta mot modelleringsfel och anpassningsbara till okända miljöer.

2. Att snabba upp inlärningen och därmed förbättra dataeffektiviteten.

Vi kommer även att undersöka sätt att ge analytiska garantier för dessa metoder.

Handledning: Prof. Alexandre Proutiere 

Vi erbjuder

• Avhandlingen kommer att genomföras inom WASP AI-programmet och kommer att dra nytta av det nätverk som programmet erbjuder.
• Möjligheten att doktorera i en dynamisk, internationell forskarmiljö i samarbete med industrin och framstående universitet världen över.
• En arbetsplats med många anställningsförmåner och månadslön enligt KTH: s avtal för doktorandlöner.
• Forskarutbildning vid ett lärosäte som är aktivt och stöttande i frågor som rör t.ex. arbetsvillkor, jämställdhet och mångfald samt studiemiljö.
• Arbete och studier i Stockholm med närhet till natur och hav.

Behörighet för antagning

För att bli antagen till forskarutbildning (kap 7 39 § högskoleförordningen) krävs att den sökande har grundläggande behörighet:

• avlagt en examen på avancerad nivå, eller
• fullgjort kursfordringar om minst 240 högskolepoäng, varav minst 60 högskolepoäng på avancerad nivå, eller
• på något annat sätt inom eller utom landet förvärvat i huvudsak motsvarande kunskaper.

Utöver ovanstående  finns också ett obligatoriskt krav på engelska motsvarande Engelska B/6.

Urval

För att lyckas med dina doktorandstudier på KTH behöver du vara målinriktad och ihärdig i ditt arbete. Vid urval av de sökande bedöms förmågan att:

• självständigt driva sitt arbete framåt,
• kunna samarbeta med andra,
• ha ett professionellt förhållningssätt och
• analysera och arbeta med komplexa frågor.

En stark bakgrund inom statistik, sannolikhetslära och optimering är önskvärd

Efter behörighetskraven kommer stor vikt läggas vid personliga egenskaper.

Målexamen:  Doktorsexamen

Information om antagning och anställning 

Endast den som antagits till forskarutbildning får anställas som doktorand. Den sammanlagda anställningstiden får inte vara längre än vad som motsvarar utbildning på forskarnivå på heltid under fyra år. En anställd doktorand kan i begränsad omfattning (högst 20 %) utföra vissa arbetsuppgifter inom t.ex. utbildning och administration. En ny anställning som doktorand gäller för högst ett år, anställningen får därefter förnyas med högst två år i taget. Vid studier som ska avslutas med licentiatexamen får den sammanlagda anställningstiden inte vara längre än vad som motsvarar utbildning på forskarnivå på heltid under två år.

Fackliga representanter

Kontaktuppgifter till fackliga representanter.

Doktorandsektionen (Tekniska högskolans studentkår)

Kontaktuppgifter till doktorandsektionen.

Ansökan 

Du ansöker via KTH:s rekryteringssystem. Du som sökande har huvudansvaret för att din ansökan är komplett när den skickas in.

Ansökan ska vara KTH tillhanda senast sista ansökningsdagen vid midnatt, CET/CEST (Central European Time/Central European Summer Time). 

Ansökan ska ha följande innehåll

• CV med relevanta professionella erfarenheter och kunskaper.
• Kopior av examensbevis och betyg från tidigare universitetsstudier och intyg på uppfyllda språkkrav (se ovan). Översättningar till engelska eller svenska om originaldokumentet inte är utfärdade på ett av dessa språk. Kopior av original ska vidimeras 
• Representativa publikationer eller tekniska rapporter. För längre dokument, bifoga gärna en sammanfattning (abstract) och en webblänk till den fullständiga texten

Övrigt

Strävan efter jämställdhet, mångfald och lika villkor är både en kvalitetsfråga och en självklar del av KTH:s värdegrund

För information om behandling av personuppgifter i samband med rekrytering.

Det kan förekomma att en anställning hos KTH är placerad i säkerhetsklass. Om så är fallet för just denna anställning görs en säkerhetsprövning av sökande i enlighet med säkerhetsskyddslagen (2018:585) efter samtycke. I dessa fall är en förutsättning för anställning att sökande blir godkänd efter säkerhetsprövning.

Vi undanber oss direktkontakt med bemannings- och rekryteringsföretag samt försäljare av platsannonser.