Ga naar pagina inhoud

Klinische predictiemodellen en
Machine learning (K80)

Het doel van een predictiemodel is de kans op een bepaalde uitkomst zo goed mogelijk te schatten (voorspellen). Predictiemodellen worden vaak met het oog op de klinische praktijk ontwikkeld, waarbij voor individuele personen de kans op ziekte of herstel door het combineren van informatie over patiënten kan worden berekend. Het model kan dan in de vorm van een predictieregel (clinical prediction rule) worden gepresenteerd. Daarnaast is de generaliseerbaarheid, de prestatie van het predictiemodel bij nieuwe toekomstige patiënten, van groot belang.

Cursusgegevens

Datum:
2, 3, 6, 7 september 2021
Kosten:
1.325
Plaats: Amsterdam Coördinator: Dr. M.W. (Martijn) Heymans
Voertaal: Nederlands Werkvorm: Interactieve colleges en computerpractica
Toetsvorm: Schriftelijk tentamen met computerexamen Tentamendata: Zie rooster bij ‘Tentamens’
Aantal EC: 2 Type cursus: keuze cursus
Periode: 2 Niveau: 500
Bijzonderheden:
Datum Kosten:
2, 3, 6, 7 september 2021
1.325
Plaats: Amsterdam
Coördinator: Dr. M.W. (Martijn) Heymans
Voertaal: Nederlands
Werkvorm: Interactieve colleges en computerpractica
Toetsvorm: Schriftelijk tentamen met computerexamen
Tentamendata: Zie rooster bij ‘Tentamens’
Aantal EC: 2
Type cursus: keuze cursus
Periode: 2
Niveau: 500
Bijzonderheden:

Over de cursus

De cursus Klinische predictiemodellen en Machine learning is en 4-daagse cursus waarbij theorie en practica worden afgewisseld.

De cursus wordt 2 maal per jaar aangeboden. Eenmaal in het Nederlands en eenmaal in het Engels als onderdeel van het EpidM Winter Course programma. Alle informatie over Clinical Prediction Models (WK80) kunt u vinden op de website www.epidm.nl/wintercourses. Deze Winter course zal in januari 2022 online plaatsvinden.

Als bij een cursus [vol] staat, kunt u zich wel aanmelden, maar wordt u op een wachtlijst geplaatst. Zodra er een plek vrijkomt nemen we contact met u op. Op dat moment kunt u nog besluiten of u wilt deelnemen aan de cursus.

Meer informatie

Het doel van een predictiemodel is de kans op een bepaalde uitkomst zo goed mogelijk te schatten (voorspellen). Predictiemodellen worden vaak met het oog op de klinische praktijk ontwikkeld, waarbij voor individuele personen de kans op ziekte of herstel door het combineren van informatie over patiënten kan worden berekend. Het model kan dan in de vorm van een predictieregel (clinical prediction rule) worden gepresenteerd. Daarnaast is de generaliseerbaarheid, de prestatie van het predictiemodel bij nieuwe toekomstige patiënten, van groot belang.

Tegenwoordig wordt het steeds makkelijker om toegang te krijgen tot veel gegevens waardoor data sets steeds groter worden. Problemen die kunnen optreden bij het ontwikkelen van predictiemodellen in deze data sets zijn o.a. dat het vaak lastig is uit een groot aantal variabelen de meest belangrijke voorspellers te kiezen. Als dit niet zorgvuldig gebeurt, kan dit de kwaliteit van het predictiemodel negatief beïnvloeden. Naast regressie modellen kunnen geavanceerde Machine learning technieken gebruikt worden om in deze data sets predictiemodellen te ontwikkelen.

De cursus heeft als doel om kennis en inzicht te bieden in de ontwikkeling van voor de praktijk relevante predictiemodellen. Er wordt aandacht besteed aan verschillende methoden voor het ontwikkelen van predictiemodellen, zowel methoden waarbij logistische als Cox regressie modellen gebruikt worden als meer geavanceerde (supervised) Machine learning methoden als Lasso regressie en Tree based methoden. Daarnaast wordt er aandacht besteed aan de voor- en nadelen van deze methoden. Als eenmaal het predictiemodel ontwikkeld is, is het belangrijk om een idee te krijgen over de kwaliteit van het predictiemodel. Verschillende maten voor discriminatie en kalibratie zullen hiervoor behandeld worden. Een vraag die daarbij aandacht krijgt is of voorspellingen van het model nauwkeurig zijn en of het model bruikbaar is voor de klinische praktijk. Daarnaast is er aandacht voor de toepassing van het model in nieuwe (toekomstige) patiënten. Belangrijk daarbij is om te onderzoeken of het predictiemodel niet in prestaties achteruit gaat als het toegepast wordt in nieuwe patiënten. Dit onderdeel wordt het valideren van het predictiemodel genoemd. Technieken om het predictiemodel zowel intern als extern te valideren zullen behandeld worden en ook technieken om het model te testen en te trainen via bootstrapping en cross-validation.

De cursus bestaat uit een intensief programma van deels interactieve colleges afgewisseld met computerpractica. Tijdens de computerpractica zal gewerkt worden met voorbeelden uit de klinische praktijk.

Dag 1

De ontwikkeling en kwaliteit van predictiemodellen met o.a.:

  • Kenmerken van een predictiemodel.
  • Meest gebruikte methoden van variabelen selectie.
  • Voor- en nadelen van selectie methodes van variabelen
  • Sample size aanbevelingen bij het ontwikkelen van predictiemodellen.
  • Verschillende maten voor kwaliteit benoemen en de interpretatie daarvan behandelen (o.a. verklaarde variantie, Hosmer en Lemeshow toets, Brier score, kalibratie, discriminatie, ROC curve).
  • Introductie Spline regression models.
  • Introductie R software.

Dag 2

Het intern en extern valideren van predictiemodellen met o.a.:

  • Gebruik van de linear predictor.
  • Interne validatie en de betekenis van overfitting, optimisme en shrinkage.
  • Technieken voor intern valideren
  • Train en test data sets (bootstrapping en cross-validation).
  • Vertaling van een predictiemodel naar makkelijk te gebruiken (klinisch) instrument.
  • Externe validatie van predictiemodellen.

Dag 3

Het verbeteren en uitbreiden van predictiemodellen met o.a.:

  • Extern valideren van een predictiemodel.
  • Verschillende methodes voor het aanpassen (updaten) van predictiemodellen.
  • Predictiemodellen met elkaar vergelijken (o.a. reclassificatietabellen).
  • De ontwikkeling van een predictiemodel voor survival data met Cox regressie aan de hand van een praktische casus.

Dag 4

Machine Learning technieken met o.a:

  • Verschil tussen Train en test data sets.
  • Lasso Regressie.
  • Model stabiliteit analyses.
  • Tree based methodes.
  • Random forest technieken.
  1. De student kan de eigenschappen van een predictiemodel benoemen en herkennen.
  2. De student kan de sterke en zwakke punten benoemen van (logistische) regressie modellen en geavanceerde Machine learning methoden als Lasso regressie en Tree based methoden voor het selecteren van variabelen.
  3. De student kan de methodes die gebruikt worden bij het bepalen van de kwaliteit van een predictiemodel analyseren en interpreteren (Brier score, discriminatie, zoals de Area Under the Curve en ROC curve en kalibratie, zoals de Hosmer en Lemeshow toets en een kalibratiecurve).
  4. De student kan de methodes die gebruikt worden bij het bepalen van de waarde van een predictiemodel voor de praktijk analyseren en interpreteren (bijv: sensitiviteit, specificiteit).
  5. De student kent de principes die een rol spelen bij interne validatie zoals aspecten als overfitting, optimisme en shrinkage.
  6. De student kan methodes die gebruikt worden bij het intern valideren van predictiemodellen analyseren en interpreteren, zoals cross-validation en bootstrappingstechnieken.
  7. De student is in staat om methodes te gebruiken om het intercept en de slope van het predictiemodel te updaten.
  8. De student is in staat om de toegevoegde waarde van een nieuwe voorspeller te onderzoeken met behulp van reclassificatietabellen door gebruik te maken van SPSS en R software.
  9. De student is in staat om een predictiemodel te ontwikkelen, kwaliteit van het model te onderzoeken en dit model te valideren met logistische en Cox regressie modellen, Machine learning methodes als Lasso regressie en Tree based methodes met behulp van SPSS en/of R software.
Doelgroep

Het betreft een cursus die voor een breed publiek toegankelijk is, waaronder gezondheidsprofessionals en PhD studenten in de gezondheidszorg.

De cursus is bedoeld voor iedereen die meer wil weten over predictiemodellen, bijvoorbeeld omdat men beter een onderzoeksvoorstel of artikel wil kunnen beoordelen of omdat men zelf een predictiemodel aan het ontwikkelen is of wil gaan maken. Ook is het belangrijk een goede afweging te kunnen maken van de waarde van een predictiemodel voor de praktijk.

Ingangseisen

Voor het volgen van deze cursus is vereist dat de cursus Regressietechnieken (V30) is gevolgd, of dat u beschikt over aantoonbare kennis op dit niveau.

Het lesmateriaal (o.a. presentaties, opdrachten en antwoordsleutels) voor deze cursus is beschikbaar op Canvas, onze digitale leeromgeving. De documenten blijven minimaal één jaar beschikbaar op Canvas.

Het meenemen van een laptop naar de cursus is dus noodzakelijk om het lesmateriaal in te zien.

U heeft de volgende software nodig op uw laptop nodig voor het volgen van de computerpractica:

1. SPSS; indien u geen SPSS op uw laptop heeft kunt u via Surfspot SPSS aanschaffen tegen een zeer redelijke prijs. Als u SPSS niet wilt aanschaffen kan u eventueel gebruik maken van de proefversie die IBM beschikbaar stelt. Zie hiervoor de website van IBM:  SPSS Software | IBM

2. R en R Studio: deze software kunt u zelf downloaden via de website: https://cran.r-project.org/

Literatuur

Literatuur volgt via Canvas

Deelnemers die deze cursus volgen als onderdeel van de Masteropleiding Epidemiologie ronden de cursus altijd af met een tentamen.

Deelnemers die deze cursus als een afzonderlijke cursus volgen kunnen facultatief de cursus afsluiten met een tentamen. De kosten bedragen in dit geval euro 150,- per tentamen of hertentamen.

Alleen wanneer de cursus met een voldoende resultaat bij het tentamen wordt afgerond worden de studiepunten (EC’s) toegekend en een tentamenverklaring uitgereikt.

Een verklaring van deelname wordt aan iedereen uitgereikt die minimaal 80% aanwezig is geweest. Op de verklaring van deelname worden alleen contacturen vermeld.

Voor deelname aan het tentamen moet zich men altijd aanmelden. Zie voor informatie en aanmelding: Tentamens

Deze cursus is geaccrediteerd voor:

  • Cluster 1: huisartsen, specialisten ouderengeneeskunde, artsen verstandelijk gehandicapten
  • Cluster 2: medisch specialisten
  • Cluster 3: sociaal geneeskundigen, bedrijfsartsen, verzekeringsartsen, artsen maatschappij en gezondheid

De cursus ‘Klinische predictiemodellen en Machine learning’ (K80) is geaccrediteerd voor 20 uren.

Om in aanmerking te komen voor de accreditatie-uren van deze cursus dient u de gehele cursus aanwezig te zijn geweest.

N.B. Met ingang van 1-1-2020 kan aan een arts die deelneemt aan verschillende cursussen van EpidM, maximaal 40 uren/punten per jaar worden toegekend.Deze nieuwe regeling is door het AccreditatieOverleg van de KNMG op 16 oktober 2019 bepaald. Voor meer informatie verwijzen wij naar de KNMG: https://www.knmg.nl/opleiding-herregistratie-carriere/aban.htm

Docenten

Dr. L.T. (Thomas) Klausch

Epidemiologie en Data Science, Amsterdam UMC