Deze rapportage omvat de evaluatie van de pilot Open Science Support Desk (OSSD). Het bemensen van de OSSD is een van de activiteiten die erop gericht zijn om de kwaliteit van het onderzoek dat uitgevoerd wordt in de faculteiten Gezondheid (FG), Bewegen, Sport en Voeding (FBSV) en Digitale Media en Creatieve Industrie (FDMCI) te ondersteunen in het kader van de SIA SPRONG subsidie Mensen in Beweging die in 2018 werd toegekend. Bij de OSSD kunnen Urban Vitality onderzoekers terecht voor individueel advies over kwantitatief en kwalitatief onderzoek, open science en over datamanagement. Deze evaluatie bestrijkt de pilotperiode tussen september 2019 en juni 2020. De evaluatie richt zich op:1. De mening van de gebruikers over de dienstverlening van OSSD;2. De motivatie van niet-gebruikers om geen gebruik te maken van OSSD;3. Het inventariseren van wensen van (potentiële) gebruikers voor OSSD diensten;4. Het geven van aanbevelingen voor de organisatie en toekomst van de OSSD diensten. GegevensverzamelingGegevens zijn verzameld m.b.v. twee verschillende vragenlijsten: Eén vragenlijst voor gebruikers van OSSD en één vragenlijst voor niet-gebruikers die wel tot de doelgroep horen.Daarnaast zijn gegevens gebruikt die in een excel databestand zijn bijgehouden over de dienstverlening, zoals aan wie waarover advies is gegeven en hoeveel tijd daaraan is besteed.ResultatenOSSD-gebruikers waren zeer tevreden over onze diensten en hoe deze werden geleverd. Iets minder hoog scoort de duidelijkheid van waarmee men bij de OSSD kan aankloppen. De onderzoekers die geen gebruik hadden gemaakt van de diensten van de OSSD wisten niet dat hij bestond, waarvoor ze bij de desk terecht kunnen, of hadden geen vragen. Een kanttekening is hierbij dat slechts een kwart van de niet-gebruikers de vragenlijst hebben ingevuld.Een meerderheid van de gebruikers en niet-gebruikers lijkt geïnteresseerd in deelname aan journal clubs, hulp bij literatuur zoeken en inloopspreekuren. Verder zijn onder OSSD-gebruikers de belangrijkste onderwerpen voor nieuwe dienstverlening journal clubs over statistiek, datavisualisatie, kwalitatieve analyse, kwalitatieve onderzoeksmethoden, kwantitatieve methoden en open science-tools. De belangrijkste taken voor de OSSD zijn volgens zowel gebruikers als niet-gebruikers advies, co-auteurschap en (data-) analytische ondersteuning. Conclusie De OSSD is geraadpleegd door ongeveer de helft van de potentiële gebruikers. De onderzoekers die advies hebben gekregen zijn (zeer) tevreden over de inhoud van de adviezen en over andere aspecten van de dienstverlening, zoals snelheid van reageren op vragen en de sfeer waarin de consultaties werden uitgevoerd. Daarnaast bestaat er een relatief grote groep die geen gebruik heeft gemaakt van de OSSD. De belangrijkste reden voor het niet gebruiken van de desk lijkt onbekendheid. Dit heeft mogelijk te maken met de huidige onduidelijke positie en inbedding van de OSSD. Aanbevelingen1. Formaliseer de OSSD binnen het Urban Vitality Center of Expertise (UV) of op faculteitsniveau2. Stroomlijn de rol van de OSSD in de procedures voorafgaand aan en na toekenning van subsidie en stem deze af met IXA3. Neem de 14 Open Science principes op in het UV-beleid4. Zorg er (middels beleid) voor dat de OSSD in een vroeg stadium bij nieuwe onderzoeksvoorstellen betrokken wordt5. Vervul tijdig de vacature die ontstaat voor een kwalitatief methodoloog6. Formaliseer de posities van privacy officer en informatiespecialist binnen OSSD7. Maak glashelder welke lectoraten de OSSD bedient8. Maak bij een promotieproject duidelijk welke verantwoordelijkheden liggen bij de verschillende instellingen die bij de promotie betrokken zijn9. Maak een toegankelijk content management systeem om inzicht te hebben in en te kunnen leren van lopend onderzoek10. Bespreek dit rapport en de aanbevelingen in de stuurgroepen van MiB en van UV en in het management van FG, FBSV en FDMCI.
Voordat een visualisatie tot stand komt, is daar een complex proces aan vooraf gegaan. Doel en doelgroepen worden vastgesteld (‘hoe bereiken we welk effect bij wie?’) terwijl daarnaast de relatie tussen de data en de uiteindelijke visualisatie gedefinieerd moet worden (‘hoe laten we wat zien?’). De productie en de receptie van een visualisatie zijn twee te onderscheiden processen. Bij het maakproces spelen vakkennis, design, technische mogelijkheden, brongegevens, doelgroep, mediakeuze en doelstelling een belangrijke rol. Bij receptie gaat het erom of en hoe de doelgroep de boodschap ontvangt: wordt die waargenomen en begrepen? En wat zijn de gevolgen bij de gebruiker? Hoewel receptie in de tijd volgt op het productieproces, spelen verwachtingen over receptie een belangrijke rol bij het maken van informatievisualisaties. De kennis over publieksreacties op visuele boodschappen is echter op verschillende manieren vastgelegd. Bij designers en anderen die betrokken zijn bij het maakproces van informatievisualisaties is er sprake van een verzameling van working theories (McQuail, 2010, pp. 13-14) die vooral op ervaring is gebaseerd. Bij empirisch onderzoek daarentegen worden responses op visuele cues daadwerkelijk gemeten. Zie Deel II van dit onderzoek. Doelstelling van dit onderzoek is deze twee vormen van kennis met elkaar te vergelijken. De vraag is welke veronderstellingen en verwachtingen er bij de beroepspraktijk bestaan en in hoeverre deze gestaafd, aangevuld of weersproken worden door empirisch, wetenschappelijk gefundeerd, onderzoek.
Patiëntdata uit vragenlijsten, fysieke testen en ‘wearables’ hebben veel potentie om fysiotherapie-behandelingen te personaliseren (zogeheten ‘datagedragen’ zorg) en gedeelde besluitvorming tussen fysiotherapeut en patiënt te faciliteren. Hiermee kan fysiotherapie mogelijk doelmatiger en effectiever worden. Veel fysiotherapeuten en hun patiënten zien echter nauwelijks meerwaarde in het verzamelen van patiëntdata, maar vooral toegenomen administratieve last. In de bestaande landelijke databases krijgen fysiotherapeuten en hun patiënten de door hen zelf verzamelde patiëntdata via een online dashboard weliswaar teruggekoppeld, maar op een weinig betekenisvolle manier doordat het dashboard primair gericht is op wensen van externe partijen (zoals zorgverzekeraars). Door gebruik te maken van technologische innovaties zoals gepersonaliseerde datavisualisaties op basis van geavanceerde data science analyses kunnen patiëntdata betekenisvoller teruggekoppeld en ingezet worden. Wij zetten technologie dus in om ‘datagedragen’, gepersonaliseerde zorg, in dit geval binnen de fysiotherapie, een stap dichterbij te brengen. De kennis opgedaan in de project is tevens relevant voor andere zorgberoepen. In dit KIEM-project worden eerst wensen van eindgebruikers, bestaande succesvolle datavisualisaties en de hiervoor vereiste data science analyses geïnventariseerd (werkpakket 1: inventarisatie). Op basis hiervan worden meerdere prototypes van inzichtelijke datavisualisaties ontwikkeld (bijvoorbeeld visualisatie van patiëntscores in vergelijking met (beoogde) normscores, of van voorspelling van verwacht herstel op basis van data van vergelijkbare eerdere patiënten). Middels focusgroepinterviews met fysiotherapeuten en patiënten worden hieruit de meest kansrijke (maximaal 5) prototypes geselecteerd. Voor deze geselecteerde prototypes worden vervolgens de vereiste data-analyses ontwikkeld die de datavisualisaties op de dashboards van de landelijke databases mogelijk maken (werkpakket 2: prototypes en data-analyses). In kleine pilots worden deze datavisualisaties door eindgebruikers toegepast in de praktijk om te bepalen of ze daadwerkelijk aan hun wensen voldoen (werkpakket 3: pilots). Uit dit 1-jarige project kan een groot vervolgonderzoek ‘ontkiemen’ naar het effect van betekenisvolle datavisualisaties op de uitkomsten van zorg.
Communicatieprofessionals geven aan dat organisaties geconfronteerd worden met een almaar complexere samenleving en daarmee het overzicht verloren hebben. Zo’n overzicht, een ‘360 graden blik’, is echter onontbeerlijk. Dit vooral, aldus diezelfde communicatieprofessionals, omdat dan eerder kan worden opgemerkt wanneer de legitimiteit van een organisatie ter discussie staat en zowel tijdiger als adequater gereageerd kan worden. Op dit moment is het echter nog zo dat een reactie pas op gang komt als zaken reeds in een gevorderd stadium verkeren. Onderstromen blijven onderbelicht, als ze niet al geheel onzichtbaar zijn. Een van de verklaringen hiervoor is de grote rol van sociale media in de publieke communicatie van dit moment. Die media produceren echter zoveel data dat communicatieprofessionals daartegenover machteloos staan. De enige oplossing is automatisering van de selectie en analyse van die data. Helaas is men er tot op heden nog niet in geslaagd een brug te slaan tussen het handwerk van de communicatieprofessional en de vele mogelijkheden van een datagedreven aanpak. Deze brug dan wel de vertaling van de huidige praktijk naar een hogere technisch niveau staat centraal in dit onderzoeksproject. Daarbij gaat het in het bijzonder om een vroegtijdige herkenning van potentiële issues, in het bijzonder met betrekking tot geruchtvorming en oproepen tot mobilisatie. Met discoursanalyse, AI en UX Design willen we interfaces ontwikkelen die zicht geven op die onderstromen. Daarbij worden transcripten van handmatig gecodeerde discoursanalytische datasets ingezet voor AI, in het bijzonder voor de clustering en classificatie van nieuwe data. Interactieve datavisualisaties maken die datasets vervolgens beter doorzoekbaar terwijl geautomatiseerde patroon-classificaties de communicatieprofessional in staat stellen sociale uitingen beter in te schatten. Aldus wordt richting gegeven aan handelingsperspectieven. Het onderzoek voorziet in de oplevering van een high fidelity ontwerp en een handleiding plus training waarmee analisten van newsrooms en communicatieprofessionals daadwerkelijk aan de slag kunnen gaan.
Journalisten die veel interactie met hun publiek hebben (zoals consumentenprogramma’s) ontvangen via diverse, vaak besloten, kanalen (Facebook Messenger, WhatsApp, e-mail, fora) een grote stroom tips en/of berichten. Radio Dabanga, bijvoorbeeld, een op Soedan gericht radiostation in Amsterdam en ook een redactie met veel publieksinteractie, krijgt alleen al via WhatsApp 500-3000 berichten per dag. Met een redactie van twee mensen kan niet alles gelezen worden. Maar zelfs als dat kon, dan kan nog niet alles geverifieerd. Het gevolg is dat berichten gemist worden, dat Dabanga-journalisten vooral zoeken naar hun al bekende afzenders, en dat zij permanent het gevoel hebben belangrijke informatie te missen, waardoor zij hun contacten tekort te doen. Dit consortium onderzoekt of data science technieken hierbij kunnen helpen. Natural language processing technieken kunnen helpen de berichtenstroom beter te structureren waardoor tips over laag-frequente onderwerpen niet over het hoofd gezien worden. Recommender systemen kunnen ingezet worden om een betrouwbaarheidsindex te ontwerpen voor tot nog toe onbekende afzenders. Het resultaat is dan minder ondergesneeuwde tips en minder ondergesneeuwde afzenders. De uitkomsten worden getest met journalistenpanels. Bij goede resultaten uit bovenstaande onderzoeken, bouwt het consortium een prototype van de Berichtentemmer: een tool die helpt berichten uit diverse kanalen per onderwerp te structureren. Daardoor kunnen journalisten hun netwerken beter en efficiënter benutten. Bij het bouwen van deze tool hoort ook dat de gebruikte algoritmen transparant moeten zijn voor de journalist en de presentatie van de resultaten niet sturend mag zijn. Het consortium bestaat daarom uit een ‘Data science’-projectgroep voor het ontwerpen en testen van de algoritmen, en uit een ‘Ethiek & design’-projectgroep voor het ontwerpen van richtlijnen over transparantie van de algoritmen en de datavisualisatie. Tenslotte is er een ontwikkelgroep bestaande uit een combinatie van studenten en professional developers. Zij bouwen het prototype.
