Het doel van een predictiemodel is de kans op een bepaalde uitkomst zo goed mogelijk te schatten (voorspellen). Predictiemodellen worden vaak met het oog op de klinische praktijk ontwikkeld, waarbij voor individuele personen de kans op ziekte of herstel door het combineren van informatie over patiënten kan worden berekend. Het model kan dan in de vorm van een predictieregel (clinical prediction rule) worden gepresenteerd. Daarnaast is de generaliseerbaarheid, de prestatie van het predictiemodel bij nieuwe toekomstige patiënten, van groot belang.

Tegenwoordig wordt het steeds makkelijker om toegang te krijgen tot veel gegevens, waardoor datasets steeds groter worden. Dit brengt nieuwe uitdagingen met zich mee wanneer men deze data wil analyseren en voorspellende modellen wil ontwikkelen o.a. dat het vaak lastig is uit een groot aantal variabelen de meest belangrijke voorspellers te kiezen. Naast grotere datasets, blijven non-lineaire verbanden, collineariteit, interacties, en de noodzaak om robuust om te gaan met “overfitting” altijd uitdagingen bij het bouwen van statistische modellen.

De cursus heeft als doel om kennis en inzicht te bieden in de ontwikkeling van voor de praktijk relevante predictiemodellen. Er wordt aandacht besteed aan verschillende methoden voor het ontwikkelen van predictiemodellen, zowel methoden waarbij logistische als Cox regressie modellen gebruikt worden als meer geavanceerde (supervised) Machine learning methoden als Lasso regressie en Random Forest methoden. Daarnaast wordt er aandacht besteed aan de voor- en nadelen van deze methoden. Als eenmaal het predictiemodel ontwikkeld is, is het belangrijk om een idee te krijgen over de kwaliteit van het predictiemodel. Verschillende maten voor discriminatie en kalibratie zullen hiervoor behandeld worden. Een vraag die daarbij aandacht krijgt is of voorspellingen van het model nauwkeurig zijn en of het model bruikbaar is voor de klinische praktijk. Daarnaast is er aandacht voor de toepassing van het model in nieuwe (toekomstige) patiënten. Belangrijk daarbij is om te onderzoeken of het predictiemodel niet in prestaties achteruit gaat als het toegepast wordt in nieuwe patiënten. Dit onderdeel wordt het valideren van het predictiemodel genoemd. Technieken om het predictiemodel zowel intern als extern te valideren zullen behandeld worden en ook technieken om het model te testen en te trainen via bootstrapping en cross-validation.

Machine Learning (ML) methoden bieden krachtige alternatieven voor traditionele methoden (zoals Logistische of Cox regressie) en zijn geschikt voor: 1) efficiënt omgaan met een groot aantal variabelen (waarbij ze automatisch helpen de belangrijkste voorspellers te selecteren). 2) Het detecteren van complexe en non-lineaire patronen in data. 3) Het optimaliseren van de voorspellende prestaties door middel van geavanceerde training- en validatiestrategieën. Machine Learning is wordt daarom veelvuldig gebruikt om predictiemodellen te ontwikkelen. Bovendien kunnen de principes van Machine Learning in de klinische praktijk worden toegepast voor andere cruciale stappen in data-analyse, zoals missing data imputatie, propensity score estimation, enzovoorts.

De cursus bestaat uit een intensief programma van deels interactieve colleges afgewisseld met computerpractica. Tijdens de computerpractica zal gewerkt worden met voorbeelden uit de klinische praktijk.

Dag 1

De ontwikkeling en kwaliteit van predictiemodellen met o.a.:

• Kenmerken van een predictiemodel.
• Meest gebruikte methoden van variabelen selectie.
• Voor- en nadelen van selectie methodes van variabelen
• Sample size aanbevelingen bij het ontwikkelen van predictiemodellen.
• Verschillende maten voor kwaliteit benoemen en de interpretatie daarvan behandelen (o.a. verklaarde variantie, Hosmer en Lemeshow toets, Brier score, kalibratie, discriminatie, ROC curve).
• Introductie Spline regression models.
• Introductie R software.

Dag 2

Het intern en extern valideren van predictiemodellen met o.a.:

• Gebruik van de linear predictor.
• Interne validatie en de betekenis van overfitting, optimisme en shrinkage.
• Technieken voor intern valideren
• Train en test data sets (bootstrapping en cross-validation).
• Vertaling van een predictiemodel naar makkelijk te gebruiken (klinisch) instrument.
• Externe validatie van predictiemodellen.

Dag 3

Het verbeteren en uitbreiden van predictiemodellen met o.a.:

• Extern valideren van een predictiemodel.
• Verschillende methodes voor het aanpassen (updaten) van predictiemodellen.
• Predictiemodellen met elkaar vergelijken (o.a. reclassificatietabellen).
• De ontwikkeling van een predictiemodel voor survival data met Cox regressie aan de hand van een praktische casus.

Dag 4

Introductie in en theoretische basis voor Machine learning

• Bias-variance trade-off
• Training vs. en test datasets.
• Supervised vs. unsupervised Machine Learning methoden
• Beoordelen kwaliteit van modellen gebouwd met machine learning methoden.

Meest gebruikte Machine Learning methoden binnen de epidemiologie; diepgaande uitleg over de herkomst, werking, en toepassing:

• Regularisatie methoden: Lasso, Ridge en Elastic Net Regressie.
• Tree based methoden: Classification and Regression Trees, Random Forest

Andere veel gebruikte methoden; toepassingsgerichte aanpak – Hoe de methoden in de praktijk te implementeren en te interpreteren.

• Gradient boosting
• Support Vector Machines
• K Nearest Neighbors
• Neural Networks
• Externe validatie

Korte introductie in unsupervised methoden; verkennen van de basisprincipes van methoden voor patroonherkenning.

• Latent class analysis
• Growth curve analysis

1. De student kan de eigenschappen van een predictiemodel benoemen en herkennen.
2. De student kan de sterke en zwakke punten benoemen van (logistische) regressie modellen en geavanceerde Machine learning methoden als Lasso regressie en Tree based methoden voor het selecteren van variabelen in specifieke contexten.
3. De student kiest een geschikte methode; regressie dan wel Machine Learning (supervised vs. unsupervised) ) om een bepaalde onderzoeksvraag te beantwoorden.
4. De student ontwikkelt predictie modellen met verschillende methoden, zoals logistische regressie, cox regressie of een Machine Learning methode (lasso -, ridge-, en elastic net regressie, random forest, gradient boosting, support vector machines, k nearest neighbours, en neural networks.
5. De student interpreteert de resultaten van een predictiemodel dat is ontwikkeld met logistische regressie, cox regressie of een machine learning methode.
6. De student kan de methodes die gebruikt worden bij het bepalen van de kwaliteit van een predictiemodel analyseren en interpreteren (Brier score, discriminatie, zoals de Area Under the Curve en ROC curve en kalibratie, zoals de Hosmer en Lemeshow toets en een kalibratiecurve).
7. De student kan de methodes die gebruikt worden bij het bepalen van de waarde van een predictiemodel voor de praktijk analyseren en interpreteren (bijv: sensitiviteit, specificiteit).
8. De student kan een predictiemodel intern en extern valideren (met methodes zoals cross-validatie en bootstrapping), rekening houdend met de principes die hierbij een rol spelen zoals als overfitting, optimisme, shrinkage en de bias-variance trade-off.
9. De student is in staat om methodes te gebruiken om het intercept en de slope van het predictiemodel te updaten.
10. De student is in staat om de toegevoegde waarde van een nieuwe voorspeller te onderzoeken met behulp van reclassificatietabellen door gebruik te maken van SPSS en R software.

Doelgroep

Het betreft een cursus die voor een breed publiek toegankelijk is, waaronder gezondheidsprofessionals en PhD studenten in de gezondheidszorg.

De cursus is bedoeld voor iedereen die meer wil weten over predictiemodellen en Machine Learning, bijvoorbeeld omdat men beter een onderzoeksvoorstel of artikel wil kunnen beoordelen of omdat men zelf een predictiemodel aan het ontwikkelen is of wil gaan maken. Ook is het belangrijk een goede afweging te kunnen maken van de waarde van een predictiemodel voor de praktijk.

Ingangseisen

Voor het volgen van deze cursus is vereist dat de cursus Regressietechnieken (V30) is gevolgd, of dat u beschikt over aantoonbare kennis op dit niveau.

Het lesmateriaal (o.a. presentaties, opdrachten en antwoordsleutels) voor deze cursus is beschikbaar op Canvas, onze digitale leeromgeving. De documenten blijven minimaal één jaar beschikbaar op Canvas.

Het meenemen van een laptop naar de cursus is dus noodzakelijk om het lesmateriaal in te zien en de practica te maken.

U heeft de volgende software nodig op uw laptop nodig voor het volgen van de computerpractica:

1. SPSS– indien u geen SPSS op uw laptop heeft, kunt u gebruik maken van de gratis proefversie (30 dagen) van IBM: zie SPSS Software | IBM. Het is ook mogelijk om SPSS via Surfspot aan te schaffen.

2. R en R Studio: deze software kunt u downloaden via https://cran.r-project.org/.

Het hele practicum kan in R worden gedaan. Sommige analyses kunnen ook in SPSS worden gedaan (wat fijn kan zijn voor de SPSS gebruikers, die nog nieuw zijn in R).

Literatuur

Literatuur volgt via Canvas.

Deelnemers die deze cursus volgen als onderdeel van de Masteropleiding Epidemiologie ronden de cursus altijd af met een tentamen.

Deelnemers die deze cursus als een afzonderlijke cursus volgen kunnen facultatief de cursus afsluiten met een tentamen. De kosten bedragen in dit geval €160,- per tentamen of hertentamen.

Alleen wanneer de cursus met een voldoende resultaat bij het tentamen wordt afgerond worden de studiepunten (EC’s) toegekend en een tentamenverklaring uitgereikt.

Een verklaring van deelname wordt aan iedereen uitgereikt die minimaal 80% aanwezig is geweest. Op de verklaring van deelname worden alleen contacturen vermeld.

Voor deelname aan het tentamen moet zich men altijd aanmelden. Zie voor informatie en aanmelding: Tentamens

Deze cursus is geaccrediteerd voor:

• Cluster 1: huisartsen, specialisten ouderengeneeskunde, artsen verstandelijk gehandicapten
• Cluster 2: medisch specialisten
• Cluster 3: sociaal geneeskundigen, bedrijfsartsen, verzekeringsartsen, artsen maatschappij en gezondheid

De cursus ‘Klinische predictiemodellen en Machine learning’ (K80) is geaccrediteerd voor 20 uren.

Om in aanmerking te komen voor de accreditatie-uren van deze cursus dient u de gehele cursus aanwezig te zijn geweest.

N.B. Met ingang van 1-1-2020 kan aan een arts die deelneemt aan verschillende cursussen van EpidM, maximaal 40 uren/punten per jaar worden toegekend.Deze nieuwe regeling is door het AccreditatieOverleg van de KNMG op 16 oktober 2019 bepaald. Voor meer informatie verwijzen wij naar de KNMG: https://www.knmg.nl/opleiding-herregistratie-carriere/aban.htm