Objective:Acknowledging study limitations in a scientific publication is a crucial element in scientific transparency and progress. However, limitation reporting is often inadequate. Natural language processing (NLP) methods could support automated reporting checks, improving research transparency. In this study, our objective was to develop a dataset and NLP methods to detect and categorize self-acknowledged limitations (e.g., sample size, blinding) reported in randomized controlled trial (RCT) publications.Methods:We created a data model of limitation types in RCT studies and annotated a corpus of 200 full-text RCT publications using this data model. We fine-tuned BERT-based sentence classification models to recognize the limitation sentences and their types. To address the small size of the annotated corpus, we experimented with data augmentation approaches, including Easy Data Augmentation (EDA) and Prompt-Based Data Augmentation (PromDA). We applied the best-performing model to a set of about 12K RCT publications to characterize self-acknowledged limitations at larger scale.Results:Our data model consists of 15 categories and 24 sub-categories (e.g., Population and its sub-category DiagnosticCriteria). We annotated 1090 instances of limitation types in 952 sentences (4.8 limitation sentences and 5.5 limitation types per article). A fine-tuned PubMedBERT model for limitation sentence classification improved upon our earlier model by about 1.5 absolute percentage points in F1 score (0.821 vs. 0.8) with statistical significance (). Our best-performing limitation type classification model, PubMedBERT fine-tuning with PromDA (Output View), achieved an F1 score of 0.7, improving upon the vanilla PubMedBERT model by 2.7 percentage points, with statistical significance ().Conclusion:The model could support automated screening tools which can be used by journals to draw the authors’ attention to reporting issues. Automatic extraction of limitations from RCT publications could benefit peer review and evidence synthesis, and support advanced methods to search and aggregate the evidence from the clinical trial literature.
MULTIFILE
Abstract Background: Patients with glioma often suffer from cognitive deficits. Physical exercise has been effective in ameliorating cognitive deficits in older adults and neurological patients. This pilot randomized controlled trial (RCT) explored the possible impact of an exercise intervention, designed to improve cognitive functioning in glioma patients, regarding cognitive test performance and patient-reported outcomes (PROs). Methods: Thirty-four clinically stable patients with World Health Organization grades II/III glioma were randomized to a home-based remotely coached exercise group or an active control group. Patients exercised 3 times per week for 20-45 minutes, with moderate to vigorous intensity, during 6 months. At baseline and immediate follow-up, cognitive performance and PROs were assessed with neuropsychological tests and questionnaires, respectively. Linear regression analyses were used to estimate effect sizes of potential between-group differences in cognitive performance and PROs at 6 months. Results: The exercise group (n = 21) had small- to medium-sized better follow-up scores than the control group (n = 11) on several measures of attention and information processing speed, verbal memory, and executive function, whereas the control group showed a slightly better score on a measure of sustained selective attention. The exercise group also demonstrated small- to medium-sized better outcomes on measures of self-reported cognitive symptoms, fatigue, sleep, mood, and mental health-related quality of life. Conclusions: This small exploratory RCT in glioma patients provides a proof of concept with respect to improvement of cognitive functioning and PROs after aerobic exercise, and warrants larger exercise trials in brain tumor patients.
DOCUMENT
BACKGROUND: Patients with glioma often suffer from cognitive deficits. Physical exercise has been effective in ameliorating cognitive deficits in older adults and neurological patients. This pilot randomized controlled trial (RCT) explored the possible impact of an exercise intervention, designed to improve cognitive functioning in glioma patients, regarding cognitive test performance and patient-reported outcomes (PROs).METHODS: Thirty-four clinically stable patients with World Health Organization grades II/III glioma were randomized to a home-based remotely coached exercise group or an active control group. Patients exercised 3 times per week for 20-45 minutes, with moderate to vigorous intensity, during 6 months. At baseline and immediate follow-up, cognitive performance and PROs were assessed with neuropsychological tests and questionnaires, respectively. Linear regression analyses were used to estimate effect sizes of potential between-group differences in cognitive performance and PROs at 6 months.RESULTS: The exercise group (n = 21) had small- to medium-sized better follow-up scores than the control group (n = 11) on several measures of attention and information processing speed, verbal memory, and executive function, whereas the control group showed a slightly better score on a measure of sustained selective attention. The exercise group also demonstrated small- to medium-sized better outcomes on measures of self-reported cognitive symptoms, fatigue, sleep, mood, and mental health-related quality of life.CONCLUSIONS: This small exploratory RCT in glioma patients provides a proof of concept with respect to improvement of cognitive functioning and PROs after aerobic exercise, and warrants larger exercise trials in brain tumor patients.
DOCUMENT
Een goede voorbereiding is het halve werk, ook voor patiënten op de wachtlijst voor een chirurgische ingreep. We onderzoeken hoe de e-health-applicatie 'Beter Voorbereid' mensen helpt om sterker aan de start van een operatie te staan en zo sneller te herstellen.
Een goede voorbereiding is het halve werk, ook voor patiënten op de wachtlijst voor een chirurgische ingreep. We onderzoeken hoe de e-health-applicatie 'Beter Voorbereid' mensen helpt om sterker aan de start van een operatie te staan en zo sneller te herstellen.Doel De e-health-applicatie Beter Voorbereid helpt patiënten om zich voor te bereiden op hun operatie. Ons onderzoek richt zich op de effectiviteit, verbetering en implementatie van de app met vier werkpakketten: Het optimaliseren van de app op basis van ervaringen van patiënten en zorgverleners. Het vormen van een netwerk van eerste- en tweedelijns zorgverleners die zorg voorafgaande aan een operatie bieden. Het onderzoeken van de effectiviteit van de app. Het opstellen van een implementatieplan, inclusief businessmodellen, van de app Beter Voorbereid. Resultaten Dit onderzoek loopt momenteel. Na afronding vind je hier een samenvatting van de resultaten. Lees meer over dit project op beter-voorbereid.nl. Looptijd 01 november 2018 - 01 januari 2023 Aanpak Binnen het Amsterdam UMC, locatie VUmc en het UMC Utrecht is een pilot gehouden naar de studieprocedures en bruikbaarheid van de applicatie. Naar aanleiding van deze resultaten worden verbeteringen doorgevoerd in de procedures van het onderzoek en de inhoud van de applicatie. Vervolgens zal in vier ziekenhuizen een groot Randomized Controlled Trial (RCT) starten naar de effectiviteit van de applicatie. Naast het Amsterdam UMC en UMC Utrecht zal dit ook plaatsvinden bij het Dijklander ziekenhuis in Hoorn. In deze periode zal ook het onderzoek naar de bredere implementatie van de app 'Beter Voorbereid' worden uitgevoerd.
In het Gezonde Peutermonden project (SVB/RAAK.PUB03.018) stimuleren mondzorgcoaches gezonde mondzorg en voedingsgedrag van baby’s en peuters. Doel van dit project is om gezond gedrag te introduceren voordat ongezond gedrag zijn intrede heeft gedaan. De hiervoor ontwikkelde interventie heeft als belangrijkste pijlers: leeftijdsgebonden aandachtspunten, risicoschatting voor mondgezondheid, inschatten van fase van gedragsverandering en gedragsverandering op basis van motiverende gespreksvoering (MGV). Het effect van deze interventie wordt in een randomized controlled trial (RCT) onderzocht. De interventie kan beschouwd worden als een complexe interventie omdat mogelijke effecten door meerdere context gebonden factoren beïnvloed kunnen worden. Het evalueren van de kwaliteit van de uitvoering van de interventie (bijvoorbeeld het toepassen van MGV en de naleving van het interventieprotocol) is belangrijk voor het verklaren van effecten en voor het maken van keuzes door beleidsmakers en andere professionals bij de implementatie. Gedurende het project is, in het kader van de procesevaluatie, een kleinschalige analyse gedaan naar de kwaliteit van de interventies. Door de verrassende uitkomsten hiervan willen wij een grondige analyse doen van minimaal achttien geluidsopnamen van consulten en patiëntenkaarten. Dit aan de hand van verder te ontwikkelen beoordelingscriteria op (1) de naleving van het onderzoeksprotocol, (2) de kwaliteit van de consulten met betrekking tot MGV en (3) de rapportage op patiëntenkaarten over de fase van gedragsverandering en de toegepaste coaching-interventie/aanpak. Dit project zal leiden tot een methodologische publicatie over de kwaliteit van uitvoering van complexe interventies. Daarnaast zal het verbeterpunten opleveren die worden meegenomen in de doorontwikkeling en actualisering van de interventie, scholing en ‘toolkits’ en daarmee ook bijdragen aan beter onderwijs op het gebied van MGV binnen de zorgopleidingen. Om dit te bereiken zijn meer dan vijftien verschillende onderzoekers, docenten, studenten en professionals betrokken bij dit project.
