Het doel van een predictiemodel is de kans op een bepaalde uitkomst zo goed mogelijk te schatten (voorspellen). Predictiemodellen worden vaak met het oog op de klinische praktijk ontwikkeld, waarbij voor individuele personen de kans op ziekte of herstel door het combineren van informatie over patiënten kan worden berekend. Het model kan dan in de vorm van een predictieregel (clinical prediction rule) worden gepresenteerd. Daarnaast is de generaliseerbaarheid, de prestatie van het predictiemodel bij nieuwe toekomstige patiënten, van groot belang.

Tegenwoordig wordt het steeds makkelijker om toegang te krijgen tot veel gegevens waardoor data sets steeds groter worden. Problemen die kunnen optreden bij het ontwikkelen van predictiemodellen in deze data sets zijn o.a. dat het vaak lastig is uit een groot aantal variabelen de meest belangrijke voorspellers te kiezen. Als dit niet zorgvuldig gebeurt, kan dit de kwaliteit van het predictiemodel negatief beïnvloeden. Naast regressiemodellen kunnen geavanceerde Machine learning technieken gebruikt worden om in deze data sets predictiemodellen te ontwikkelen.

De cursus heeft als doel om kennis en inzicht te bieden in de ontwikkeling van voor de praktijk relevante predictiemodellen. Er wordt aandacht besteed aan verschillende methoden voor het ontwikkelen van predictiemodellen, zowel methoden waarbij logistische als Cox regressie modellen gebruikt worden als meer geavanceerde (supervised) Machine learning methoden als Lasso regressie en Tree based methoden. Daarnaast wordt er aandacht besteed aan de voor- en nadelen van deze methoden. Als het predictiemodel eenmaal ontwikkeld is, is het belangrijk om een idee te krijgen over de kwaliteit van het predictiemodel. Verschillende maten voor discriminatie en kalibratie zullen hiervoor behandeld worden. Een vraag die daarbij aandacht krijgt is of voorspellingen van het model nauwkeurig zijn en of het model bruikbaar is voor de klinische praktijk. Daarnaast is er aandacht voor de toepassing van het model in nieuwe (toekomstige) patiënten. Belangrijk daarbij is om te onderzoeken of het predictiemodel niet in prestaties achteruit gaat als het toegepast wordt in nieuwe patiënten. Dit onderdeel wordt het valideren van het predictiemodel genoemd. Technieken om het predictiemodel zowel intern als extern te valideren zullen behandeld worden en ook technieken om het model te testen en te trainen via bootstrapping en cross-validation.

De cursus bestaat uit een intensief programma van deels interactieve colleges afgewisseld met computerpractica. Tijdens de computerpractica zal gewerkt worden met voorbeelden uit de klinische praktijk.

Dag 1

De ontwikkeling en kwaliteit van predictiemodellen met o.a.:

• Kenmerken van een predictiemodel.
• Meest gebruikte methoden van variabelen selectie.
• Voor- en nadelen van selectie methodes van variabelen
• Sample size aanbevelingen bij het ontwikkelen van predictiemodellen.
• Verschillende maten voor kwaliteit benoemen en de interpretatie daarvan behandelen (o.a. verklaarde variantie, Hosmer en Lemeshow toets, Brier score, kalibratie, discriminatie, ROC curve).
• Introductie Spline regression models.
• Introductie R software.

Dag 2

Het intern en extern valideren van predictiemodellen met o.a.:

• Gebruik van de linear predictor.
• Interne validatie en de betekenis van overfitting, optimisme en shrinkage.
• Technieken voor intern valideren
• Train en test data sets (bootstrapping en cross-validation).
• Vertaling van een predictiemodel naar makkelijk te gebruiken (klinisch) instrument.
• Externe validatie van predictiemodellen.

Dag 3

Het verbeteren en uitbreiden van predictiemodellen met o.a.:

• Extern valideren van een predictiemodel.
• Verschillende methodes voor het aanpassen (updaten) van predictiemodellen.
• Predictiemodellen met elkaar vergelijken (o.a. reclassificatietabellen).
• De ontwikkeling van een predictiemodel voor survival data met Cox regressie aan de hand van een praktische casus.

Dag 4

Machine Learning technieken met o.a:

• Verschil tussen Train en test data sets.
• Lasso Regressie.
• Model stabiliteit analyses.
• Tree based methodes.
• Random forest technieken.

1. De student kan de kenmerken van een voorspellingsmodel herkennen en benoemen.
2. De student kan de zwakke punten identificeren van de meest gebruikte methoden voor het selecteren van variabelen.
3. De student kan de sterke en zwakke punten identificeren van geavanceerde Machine learning methoden voor het selecteren van variabelen als Lasso regressie en tree based methoden. .
4. De student kan de methoden analyseren en interpreteren die worden gebruikt om de kwaliteit van een voorspellingsmodel te bepalen (inclusief maten voor algemene prestatie als de verklaarde variantie, discriminatie als de ROC-curve, en voor kalibratie de Hosmer en Lemeshow-test en een kalibratiecurve).
5. De student kan de methoden analyseren en interpreteren die worden gebruikt om de waarde van een voorspellingsmodel voor de praktijk te bepalen (net benefit, decision curve analyses).
6. De student kent de principes die een rol spelen bij interne validatie zoals overfitting, optimisme en shrinkage.
7. De student kan methoden voor validatie van predictiemodellen, zoals kruisvalidatie en bootstrappingtechnieken, analyseren en interpreteren.
8. De student kan methoden gebruiken om het intercept en de slope van het voorspellingsmodel aan te passen
9. De student is in staat de toegevoegde waarde van een nieuwe variabele te bestuderen met behulp van reclassificatie tabellen, decision curve analyse door gebruik te maken van SPSS en R-software.
10. De student kan een voorspellingsmodel ontwikkelen en de kwaliteit van het model bestuderen met behulp van logistische regressiemodellen, machine learning methoden als Lasso regressie en tree based methoden en bij survival data met behulp van een Cox regressiemodel
11. De student kan voorspellingsmodellen ontwikkelen, de kwaliteit ervan beoordelen en ze (intern en extern) valideren met behulp van SPSS en R-software.

Doelgroep

Het betreft een cursus die voor een breed publiek toegankelijk is, waaronder gezondheidsprofessionals en PhD studenten in de gezondheidszorg.

De cursus is bedoeld voor iedereen die meer wil weten over predictiemodellen, bijvoorbeeld omdat men een onderzoeksvoorstel of artikel beter wil kunnen beoordelen of omdat men zelf een predictiemodel aan het ontwikkelen is of wil gaan maken. Ook wordt in de cursus geleerd hoe men een goede afweging kan maken van de waarde van een predictiemodel voor de praktijk.

Ingangseisen

Voor het volgen van deze cursus is vereist dat de cursus Regressietechnieken (V30) is gevolgd, of dat u beschikt over aantoonbare kennis op dit niveau.

Het lesmateriaal (o.a. presentaties, opdrachten en antwoordsleutels) voor deze cursus is beschikbaar op Canvas, onze digitale leeromgeving. De documenten blijven minimaal één jaar beschikbaar op Canvas.

Het meenemen van een laptop naar de cursus is dus noodzakelijk om het lesmateriaal in te zien.

U heeft de volgende software nodig op uw laptop nodig voor het volgen van de computerpractica:

1. SPSS– indien u geen SPSS op uw laptop heeft, kunt u gebruik maken van de gratis proefversie (30 dagen) van IBM: zie SPSS Software | IBM. Het is ook mogelijk om SPSS via Surfspot aan te schaffen.

2. R en R Studio: deze software kunt u downloaden via https://cran.r-project.org/.

Literatuur

Literatuur volgt via Canvas.

Deelnemers die deze cursus volgen als onderdeel van de Masteropleiding Epidemiologie ronden de cursus altijd af met een tentamen.

Deelnemers die deze cursus als een afzonderlijke cursus volgen kunnen facultatief de cursus afsluiten met een tentamen. De kosten bedragen in dit geval €160,- per tentamen of hertentamen.

Alleen wanneer de cursus met een voldoende resultaat bij het tentamen wordt afgerond worden de studiepunten (EC’s) toegekend en een tentamenverklaring uitgereikt.

Een verklaring van deelname wordt aan iedereen uitgereikt die minimaal 80% aanwezig is geweest. Op de verklaring van deelname worden alleen contacturen vermeld.

Voor deelname aan het tentamen moet zich men altijd aanmelden. Zie voor informatie en aanmelding: Tentamens

Deze cursus is geaccrediteerd voor:

• Cluster 1: huisartsen, specialisten ouderengeneeskunde, artsen verstandelijk gehandicapten
• Cluster 2: medisch specialisten
• Cluster 3: sociaal geneeskundigen, bedrijfsartsen, verzekeringsartsen, artsen maatschappij en gezondheid

De cursus ‘Klinische predictiemodellen en Machine learning’ (K80) is geaccrediteerd voor 20 uren.

Om in aanmerking te komen voor de accreditatie-uren van deze cursus dient u de gehele cursus aanwezig te zijn geweest.

N.B. Met ingang van 1-1-2020 kan aan een arts die deelneemt aan verschillende cursussen van EpidM, maximaal 40 uren/punten per jaar worden toegekend.Deze nieuwe regeling is door het AccreditatieOverleg van de KNMG op 16 oktober 2019 bepaald. Voor meer informatie verwijzen wij naar de KNMG: https://www.knmg.nl/opleiding-herregistratie-carriere/aban.htm