ObjectiveTo compare estimates of effect and variability resulting from standard linear regression analysis and hierarchical multilevel analysis with cross-classified multilevel analysis under various scenarios.Study design and settingWe performed a simulation study based on a data structure from an observational study in clinical mental health care. We used a Markov chain Monte Carlo approach to simulate 18 scenarios, varying sample sizes, cluster sizes, effect sizes and between group variances. For each scenario, we performed standard linear regression, multilevel regression with random intercept on patient level, multilevel regression with random intercept on nursing team level and cross-classified multilevel analysis.ResultsApplying cross-classified multilevel analyses had negligible influence on the effect estimates. However, ignoring cross-classification led to underestimation of the standard errors of the covariates at the two cross-classified levels and to invalidly narrow confidence intervals. This may lead to incorrect statistical inference. Varying sample size, cluster size, effect size and variance had no meaningful influence on these findings.ConclusionIn case of cross-classified data structures, the use of a cross-classified multilevel model helps estimating valid precision of effects, and thereby, support correct inferences.
MULTIFILE
Multilevel models using logistic regression (MLogRM) and random forest models (RFM) are increasingly deployed in industry for the purpose of binary classification. The European Commission’s proposed Artificial Intelligence Act (AIA) necessitates, under certain conditions, that application of such models is fair, transparent, and ethical, which consequently implies technical assessment of these models. This paper proposes and demonstrates an audit framework for technical assessment of RFMs and MLogRMs by focussing on model-, discrimination-, and transparency & explainability-related aspects. To measure these aspects 20 KPIs are proposed, which are paired to a traffic light risk assessment method. An open-source dataset is used to train a RFM and a MLogRM model and these KPIs are computed and compared with the traffic lights. The performance of popular explainability methods such as kernel- and tree-SHAP are assessed. The framework is expected to assist regulatory bodies in performing conformity assessments of binary classifiers and also benefits providers and users deploying such AI-systems to comply with the AIA.
DOCUMENT
Volgens de literatuur zijn zowel fysieke synchrone als online asynchrone participatie van groot belang voor prestaties in blended leeromgevingen. De combinatie zou kunnen leiden tot meer diepgaande interactie tijdens colleges. Tot nu toe werd echter vooral gekeken naar de effecten van individuele participatie van voltijdstudenten. In deze studie onderzochten we de rol van fysieke en online participatie van 821 deeltijd en voltijdstudenten die in 32 verschillende klassen deelnamen aan dezelfde blended leeromgeving. We onderzochten hierbij niet alleen de voorspellende waarde van individuele participatie maar testen met multilevel modellen ook de invloed van gemiddelde fysieke en online participatie van de groep. Uit de analyses komt naar voren dat fysieke participatie alleen bij voltijdstudenten testuitslagen significant voorspelt. Online participatie is bij zowel voltijd- als deeltijdstudenten een significante voorspeller van het cijfer en de slaagkans. De combinatie van online en fysieke participatie leverde geen aanvullende meerwaarde op. Gemiddelde fysieke en onlineparticipatie in de klas waren, verrassend genoeg, significante negatieve voorspellers van toetsuitslagen. Studenten scoorden hoger en slaagden vaker wanneer hun klasgenoten gemiddeld minder participeerden. Vervolgonderzoek zou verder uit kunnen wijzen of studenten die vaak aanwezig zijn in klassen met lage aanwezigheid het beter doen door meer begeleiding of dat docenten participatie al dan niet bewust meewegen bij de beoordeling van studenten.
DOCUMENT
