Post-training quantization reduces the computational demand of Large Language Models (LLMs) but can weaken some of their capabilities. Since LLM abilities emerge with scale, smaller LLMs are more sensitive to quantization. In this paper, we explore how quantization affects smaller LLMs’ ability to perform retrieval-augmented generation (RAG), specifically in longer contexts. We chose personalization for evaluation because it is a challenging domain to perform using RAG as it requires long-context reasoning over multiple documents. We compare the original FP16 and the quantized INT4 performance of multiple 7B and 8B LLMs on two tasks while progressively increasing the number of retrieved documents to test how quantized models fare against longer contexts. To better understand the effect of retrieval, we evaluate three retrieval models in our experiments. Our findings reveal that if a 7B LLM performs the task well, quantization does not impair its performance and long-context reasoning capabilities. We conclude that it is possible to utilize RAG with quantized smaller LLMs.
MULTIFILE
Hoe kan Digital Twin-technologie de Nederlandse maakindustrie helpen om efficiënt energiezuinig en circulair te werken? Met praktijkgericht onderzoek helpt het lectoraat Industriële Digital Twins van de Hogeschool van Amsterdam (HvA) bedrijven om CO2-neutraal te worden en daarmee internaal competitief te blijven.
DOCUMENT
Bedrijven maken vaak deel uit van een keten. Ketens worden steeds meer afhankelijk van ICT voor onder meer het aankopen, bezorgen en inventariseren van producten of diensten. Deze afhankelijkheid maakt dat cyber-gerelateerde risico’s een opmars maken binnen ketens. Er is echter nog weinig bekend over deze risico’s en hoe ketens daar weerbaar tegen kunnen worden gemaakt. Dit hindert de uitwerking, uitvoering en bijsturing van beleid door de overheid. De Haagse Hogeschool heeft in opdracht van MKB Nederland en het Ministerie van Justitie en Veiligheid een verkennende studie verricht om meer zicht te krijgen op het fenomeen cyber-ketenweerbaarheid in verschillende economische sectoren. Hierbij stonden centraal cyber-gerelateerde risico’s en geleerde lessen bij het voorkomen en bestrijden van cyberincidenten en -criminaliteit in ketens. Tevens zijn aanknopingspunten voor vervolgonderzoek geïdentificeerd. Voor de dataverzameling is eerst gebruik gemaakt van literatuuronderzoek. Daarna zijn gestructureerde interviews uitgevoerd. De interviews hebben plaatsgevonden bij 12 bedrijven uit drie economische sectoren: vijf bedrijven gerelateerd aan de agrarische sector (vormen twee ketens), vier bedrijven uit de sierteeltsector (vormen één keten) en drie bedrijven uit de sector handel (vormen één keten). Deze bedrijven zijn als afnemer en leverancier geschakeld binnen hun sector en vormen daarmee een keten. Bij elk bedrijf is gesproken met cybersecurityexperts en/of bestuursleden. In elke keten hebben wij dreigingen en kwetsbaarheden op het gebied van cyber-ketenweerbaarheid vastgesteld. Met name ransomware en zogenaamde stepping stone-aanvallen zijn concrete dreigingen voor ketens. Zo is er bij alle door ons beschouwde ketens sprake van technologie die op afstand kan worden bediend via internet door een derde partij, zoals klimaatregelaars en sorteersystemen. Deze afstandsbediening is veelal kwetsbaar voor digitale inbreuken van buitenaf. Dit maakt dergelijke technologie en het securitybeleid van ketenpartners die toegang hebben tot deze technologie een kwetsbaarheid voor de keten. Ook valt het op dat de medewerkers van de bedrijven een belangrijke rol spelen bij het ontstaan van cyberincidenten en -criminaliteit in de keten. Mogelijk wordt dit veroorzaakt door onveilig gedrag, gemakzucht en een gebrek aan kennis bij medewerkers over dreigingen en kwetsbaarheden. Er zijn tevens belangrijke lessen opgehaald bij de bedrijven die wij interviewden. Zo is het in het kader van cyberketenweerbaarheid van belang dat bedrijven hun cyberveiligheid op orde hebben. De onderzochte bedrijven investeren daarin door onder meer technische beveiliging en procedures voor werknemers. Ook zijn investeringen in de cyberveiligheid tussen schakels en de keten als geheel van belang. Bijvoorbeeld door de eigen digitale infrastructuur gescheiden te houden van de infrastructuur van ketenpartners. Over het algemeen worden dergelijke maatregelen slechts sporadisch genomen door de bedrijven die meededen aan dit onderzoek. Zo komt het onderwerp cyberveiligheid vaak niet terug in contracten met leveranciers, blijft (structureel) overleg tussen partners op dit gebied uit en is informatiedeling over cyberrisico’s en geleerde lessen op ketenniveau beperkt. Controle op de risico’s lijkt in de ketens veelal te ontbreken en samenwerking lijkt vooral te berusten op vertrouwen. Verschillen in genoemde dreigingen, kwetsbaarheden en geleerde lessen tussen bedrijven zijn mogelijk te verklaren door het type bedrijf en diens omvang, de volwassenheid van de organisatie op ICT-gebied en de positie van een bedrijf in de keten. Zo lijken met name ICT-dienstverleners en grote bedrijven zicht te hebben en te handelen op keten-gerelateerde dreigingen en kwetsbaarheden. Gezien de verkennende aard van deze studie is nader onderzoek echter nodig om bevindingen te verstevigen. Ons advies is om meer gericht onderzoek te doen naar de risico’s zoals in deze studie zijn geïdentificeerd en dit tevens te doen in andere ketens of binnen andere economische sectoren. De onderzochte ketens zijn slechts beperkt representatief voor de gehele economie, waardoor het onduidelijk is in hoeverre de huidige resultaten gelden voor andere ketens binnen en buiten de door ons onderzochte economische sectoren. Een onderwerp waar wij denken dat meer kennis op nodig is, is het fenomeen stepping stone-aanval. Ondanks dat dit een belangrijk fenomeen lijkt, komt uit onderhavig onderzoek onvoldoende naar voren op welke manier een ketenaanval via kleine ketenpartners plaatsvindt, in welke mate een keten daar schade van ondervindt en hoe een dergelijke aanval kan worden voorkomen. Wij adviseren bovendien om te onderzoeken hoe ketens cyberveiligheid contractueel kunnen bewerkstelligen in de samenwerking met ketenpartners. Zo is het de vraag welke eisen er in het contract met partners gesteld moeten worden om risico’s voldoende af te dekken. Wij adviseren bovendien om actuele informatie over cyberrisico’s toegankelijk te maken voor ketenbedrijven, met name bij kleine bedrijven die beperkte middelen hebben om zichzelf te beschermen en informatie in te winnen. Help ketens waar nodig met het op orde brengen van hun interne cyberveiligheid, de cyberveiligheid tussen schakels en de cyberveiligheid van keten als geheel. Hierbij kan worden gedacht aan het beschikbaar stellen van voorbeeldcontracten met leveranciers, het faciliteren van (structureel) overleg tussen partners en ondersteuning van de informatiedeling op ketenniveau.
DOCUMENT
Mensen die moeite hebben met lezen en schrijven (laaggeletterden) zijn ondervertegenwoordigd in onderzoek, waardoor een belangrijke onderzoekspopulatie ontbreekt. Dit is een probleem, omdat zorgbeleid dan onvoldoende op hun behoeften wordt aangepast. Laaggeletterden hebben vaak een lage sociaal economische positie (SEP). Mensen met een lage SEP leven gemiddeld 4 jaar korter en 15 jaar in minder goed ervaren gezondheid vergeleken met mensen met een hoge SEP. Om laaggeletterden te betrekken in onderzoek, is het o.a. nodig om onderzoek toegankelijker te maken. Dit project draagt hieraan bij door de ontwikkeling van een toolbox voor toegankelijke (proefpersonen)informatie (pif) en toestemmingsverklaringen. We ontwikkelen in co-creatie met de doelgroep toegankelijke audiovisuele materialen die breed ingezet kunnen worden door (gezondheids)onderzoekers van (zorggerelateerde) instanties/bedrijven én kennisinstellingen voor de werving voor en informatieverstrekking over onderzoek. In de multidisciplinaire samenwerking met onze partners YURR.studio, Pharos, Stichting ABC, Stichting Crowdience, de HAN-Sterkplaats en de Academische Werkplaats Sterker op eigen benen (AW-SOEB) van Radboudumc stellen we de behoeften van de doelgroep centraal. Middels creatieve sessies en gebruikerservaringen wordt in een iteratief ontwerpende onderzoeksaanpak toegewerkt naar diverse ontwerpen van informatiebrieven en toestemmingsverklaringen, waarbij de visuele communicatie dragend is. Het ontwikkelproces biedt kennisontwikkeling en hands-on praktijkvoorbeelden voor designers en grafisch vormgevers in het toegankelijk maken van informatie. Als laaggeletterden beter bereikt worden d.m.v. de pif-toolbox, kunnen de inzichten van deze groep worden meegenomen. Dit zorgt voor een minder scheef beeld in onderzoek, waardoor (gezondheids)beleid zich beter kan richten op kwetsbare doelgroepen. Hiermee wordt een bijdrage geleverd aan het verkleinen van gezondheidsverschillen.
Patiëntdata uit vragenlijsten, fysieke testen en ‘wearables’ hebben veel potentie om fysiotherapie-behandelingen te personaliseren (zogeheten ‘datagedragen’ zorg) en gedeelde besluitvorming tussen fysiotherapeut en patiënt te faciliteren. Hiermee kan fysiotherapie mogelijk doelmatiger en effectiever worden. Veel fysiotherapeuten en hun patiënten zien echter nauwelijks meerwaarde in het verzamelen van patiëntdata, maar vooral toegenomen administratieve last. In de bestaande landelijke databases krijgen fysiotherapeuten en hun patiënten de door hen zelf verzamelde patiëntdata via een online dashboard weliswaar teruggekoppeld, maar op een weinig betekenisvolle manier doordat het dashboard primair gericht is op wensen van externe partijen (zoals zorgverzekeraars). Door gebruik te maken van technologische innovaties zoals gepersonaliseerde datavisualisaties op basis van geavanceerde data science analyses kunnen patiëntdata betekenisvoller teruggekoppeld en ingezet worden. Wij zetten technologie dus in om ‘datagedragen’, gepersonaliseerde zorg, in dit geval binnen de fysiotherapie, een stap dichterbij te brengen. De kennis opgedaan in de project is tevens relevant voor andere zorgberoepen. In dit KIEM-project worden eerst wensen van eindgebruikers, bestaande succesvolle datavisualisaties en de hiervoor vereiste data science analyses geïnventariseerd (werkpakket 1: inventarisatie). Op basis hiervan worden meerdere prototypes van inzichtelijke datavisualisaties ontwikkeld (bijvoorbeeld visualisatie van patiëntscores in vergelijking met (beoogde) normscores, of van voorspelling van verwacht herstel op basis van data van vergelijkbare eerdere patiënten). Middels focusgroepinterviews met fysiotherapeuten en patiënten worden hieruit de meest kansrijke (maximaal 5) prototypes geselecteerd. Voor deze geselecteerde prototypes worden vervolgens de vereiste data-analyses ontwikkeld die de datavisualisaties op de dashboards van de landelijke databases mogelijk maken (werkpakket 2: prototypes en data-analyses). In kleine pilots worden deze datavisualisaties door eindgebruikers toegepast in de praktijk om te bepalen of ze daadwerkelijk aan hun wensen voldoen (werkpakket 3: pilots). Uit dit 1-jarige project kan een groot vervolgonderzoek ‘ontkiemen’ naar het effect van betekenisvolle datavisualisaties op de uitkomsten van zorg.
Centre of Expertise, onderdeel van Hogeschool Rotterdam, Hogeschool van Arnhem en Nijmegen, Fontys
Centre of Expertise, onderdeel van Hanze
