Post-training quantization reduces the computational demand of Large Language Models (LLMs) but can weaken some of their capabilities. Since LLM abilities emerge with scale, smaller LLMs are more sensitive to quantization. In this paper, we explore how quantization affects smaller LLMs’ ability to perform retrieval-augmented generation (RAG), specifically in longer contexts. We chose personalization for evaluation because it is a challenging domain to perform using RAG as it requires long-context reasoning over multiple documents. We compare the original FP16 and the quantized INT4 performance of multiple 7B and 8B LLMs on two tasks while progressively increasing the number of retrieved documents to test how quantized models fare against longer contexts. To better understand the effect of retrieval, we evaluate three retrieval models in our experiments. Our findings reveal that if a 7B LLM performs the task well, quantization does not impair its performance and long-context reasoning capabilities. We conclude that it is possible to utilize RAG with quantized smaller LLMs.
MULTIFILE
Bedrijven maken vaak deel uit van een keten. Ketens worden steeds meer afhankelijk van ICT voor onder meer het aankopen, bezorgen en inventariseren van producten of diensten. Deze afhankelijkheid maakt dat cyber-gerelateerde risico’s een opmars maken binnen ketens. Er is echter nog weinig bekend over deze risico’s en hoe ketens daar weerbaar tegen kunnen worden gemaakt. Dit hindert de uitwerking, uitvoering en bijsturing van beleid door de overheid. De Haagse Hogeschool heeft in opdracht van MKB Nederland en het Ministerie van Justitie en Veiligheid een verkennende studie verricht om meer zicht te krijgen op het fenomeen cyber-ketenweerbaarheid in verschillende economische sectoren. Hierbij stonden centraal cyber-gerelateerde risico’s en geleerde lessen bij het voorkomen en bestrijden van cyberincidenten en -criminaliteit in ketens. Tevens zijn aanknopingspunten voor vervolgonderzoek geïdentificeerd. Voor de dataverzameling is eerst gebruik gemaakt van literatuuronderzoek. Daarna zijn gestructureerde interviews uitgevoerd. De interviews hebben plaatsgevonden bij 12 bedrijven uit drie economische sectoren: vijf bedrijven gerelateerd aan de agrarische sector (vormen twee ketens), vier bedrijven uit de sierteeltsector (vormen één keten) en drie bedrijven uit de sector handel (vormen één keten). Deze bedrijven zijn als afnemer en leverancier geschakeld binnen hun sector en vormen daarmee een keten. Bij elk bedrijf is gesproken met cybersecurityexperts en/of bestuursleden. In elke keten hebben wij dreigingen en kwetsbaarheden op het gebied van cyber-ketenweerbaarheid vastgesteld. Met name ransomware en zogenaamde stepping stone-aanvallen zijn concrete dreigingen voor ketens. Zo is er bij alle door ons beschouwde ketens sprake van technologie die op afstand kan worden bediend via internet door een derde partij, zoals klimaatregelaars en sorteersystemen. Deze afstandsbediening is veelal kwetsbaar voor digitale inbreuken van buitenaf. Dit maakt dergelijke technologie en het securitybeleid van ketenpartners die toegang hebben tot deze technologie een kwetsbaarheid voor de keten. Ook valt het op dat de medewerkers van de bedrijven een belangrijke rol spelen bij het ontstaan van cyberincidenten en -criminaliteit in de keten. Mogelijk wordt dit veroorzaakt door onveilig gedrag, gemakzucht en een gebrek aan kennis bij medewerkers over dreigingen en kwetsbaarheden. Er zijn tevens belangrijke lessen opgehaald bij de bedrijven die wij interviewden. Zo is het in het kader van cyberketenweerbaarheid van belang dat bedrijven hun cyberveiligheid op orde hebben. De onderzochte bedrijven investeren daarin door onder meer technische beveiliging en procedures voor werknemers. Ook zijn investeringen in de cyberveiligheid tussen schakels en de keten als geheel van belang. Bijvoorbeeld door de eigen digitale infrastructuur gescheiden te houden van de infrastructuur van ketenpartners. Over het algemeen worden dergelijke maatregelen slechts sporadisch genomen door de bedrijven die meededen aan dit onderzoek. Zo komt het onderwerp cyberveiligheid vaak niet terug in contracten met leveranciers, blijft (structureel) overleg tussen partners op dit gebied uit en is informatiedeling over cyberrisico’s en geleerde lessen op ketenniveau beperkt. Controle op de risico’s lijkt in de ketens veelal te ontbreken en samenwerking lijkt vooral te berusten op vertrouwen. Verschillen in genoemde dreigingen, kwetsbaarheden en geleerde lessen tussen bedrijven zijn mogelijk te verklaren door het type bedrijf en diens omvang, de volwassenheid van de organisatie op ICT-gebied en de positie van een bedrijf in de keten. Zo lijken met name ICT-dienstverleners en grote bedrijven zicht te hebben en te handelen op keten-gerelateerde dreigingen en kwetsbaarheden. Gezien de verkennende aard van deze studie is nader onderzoek echter nodig om bevindingen te verstevigen. Ons advies is om meer gericht onderzoek te doen naar de risico’s zoals in deze studie zijn geïdentificeerd en dit tevens te doen in andere ketens of binnen andere economische sectoren. De onderzochte ketens zijn slechts beperkt representatief voor de gehele economie, waardoor het onduidelijk is in hoeverre de huidige resultaten gelden voor andere ketens binnen en buiten de door ons onderzochte economische sectoren. Een onderwerp waar wij denken dat meer kennis op nodig is, is het fenomeen stepping stone-aanval. Ondanks dat dit een belangrijk fenomeen lijkt, komt uit onderhavig onderzoek onvoldoende naar voren op welke manier een ketenaanval via kleine ketenpartners plaatsvindt, in welke mate een keten daar schade van ondervindt en hoe een dergelijke aanval kan worden voorkomen. Wij adviseren bovendien om te onderzoeken hoe ketens cyberveiligheid contractueel kunnen bewerkstelligen in de samenwerking met ketenpartners. Zo is het de vraag welke eisen er in het contract met partners gesteld moeten worden om risico’s voldoende af te dekken. Wij adviseren bovendien om actuele informatie over cyberrisico’s toegankelijk te maken voor ketenbedrijven, met name bij kleine bedrijven die beperkte middelen hebben om zichzelf te beschermen en informatie in te winnen. Help ketens waar nodig met het op orde brengen van hun interne cyberveiligheid, de cyberveiligheid tussen schakels en de cyberveiligheid van keten als geheel. Hierbij kan worden gedacht aan het beschikbaar stellen van voorbeeldcontracten met leveranciers, het faciliteren van (structureel) overleg tussen partners en ondersteuning van de informatiedeling op ketenniveau.
DOCUMENT
De Centrale Cliëntenraad van de Geestelijke Gezondheidszorg Eindhoven en de Kempen (GGzE) organiseerde in april 1996 een conferentie over cliëntenparticipatie. Onderwerp van gesprek was hoe die participatie in de individuele behandeling beter tot z'n recht kon komen. Dit heeft geleid tot een cursus waarin hulpverleners getraind worden door cliënt-ervaringsdeskundigen. ln deze bijdrage vertellen de trainers over de opzet von de cursus en hun ervoringen ermee in het afgelopen jaar.
LINK
Cijfers van het Centraal Bureau voor Statistiek (Kernindicatoren maart 2012) laten zien dat Nederland op diverse domeinen in het publieke domein problemen heeft, grote en kleine, die samenhangen met het gedrag van burgers. Zo stonden we in februari van dit jaar gezamenlijk voor het eerst meer dan tien miljard euro rood. Het aantal Nederlanders met overgewicht is in twintig jaar tijd verdubbeld. Nog steeds gebruiken te veel mensen (en dan vooral jongeren) één en hetzelfde, gemakkelijk te raden wachtwoord voor diverse persoonlijke accounts op internet. De emissie van CO2 in Nederland is in de afgelopen tien jaar alleen maar gestegen. En er is ondanks een daling in het aantal slachtoffers een groeiende onrust over geweld tegen (zorg) hulpverleners. Het besef dat we als samenleving financiële en maatschappelijke problemen hebben, leidt wel tot veel onderlinge discussie en oprechte zorgen, maar nog te weinig tot een aanpassing van ons individuele gedrag. Wie maatschappelijke en financiële vraagstukken in de samenleving wil oplossen zal het gedrag van zeer grote aantallen mensen effectief moeten beïnvloeden. Dat gaat echter niet lukken als we ons daarbij alleen richten op het versterken van de kennis, het bewustzijn en de houding van mensen. Complexe collectieve vraagstukken in het publieke domein waar het individuele belang en de directe opbrengst niet meteen voelbaar zijn voor de gemiddelde burger vragen om creatieve en innovatieve publiekscommunicatie. Hybride vormen publiekscommunicatie die zowel het rationele als het irrationele van de mens aanspreken.
DOCUMENT
In de maanden juli-december 2016 is door het lectoraat OER van Fontys Hogeschool ICT een onderzoek uitgevoerd om de volgende vraag te kunnen beantwoorden: Wat leidt tot c.q. is nodig voor een brede adoptie van delen van open leermaterialen en online cursussen en hergebruiken van open leermaterialen en cursussen door docenten in het bekostigde hoger onderwijs in Nederland? Bij 4 universiteiten en 6 hogescholen zijn totaal 55 semi-gestructureerde interviews afgenomen met docenten, bestuurders en ondersteuners. Onderwerpen die tijdens de interviews aan bod kwamen betroffen ambities met onderwijs, beleid, opvattingen over openheid in het onderwijs, motieven voor delen en hergebruiken, ervaringen met delen en hergebruiken, hindernissen die werden ondervonden, noodzakelijke randvoorwaarden en invloeden die geïnterviewden vanuit hun omgeving ervaren. Analyse van de interviews gaf de volgende resultaten: 1. Praktijken van delen en hergebruiken zijn erg divers qua openheid. Lang niet altijd zijn gedeelde leermaterialen toegankelijk voor iedereen, vaak ontbreekt een open licentie en processen als copyright clearing vinden niet altijd plaats; 2. Delen en hergebruiken van leermaterialen (al dan niet volledig open) gebeurt veel. Hierbij wordt vooral het bereiken van een hogere kwaliteit campusonderwijs nagestreefd; 3. Feedback op gedeelde materialen is cruciaal voor de motivatie van docenten om structureel materialen te delen; 4. Structureel delen en hergebruik binnen een instelling heeft meer kans van slagen wanneer het gekoppeld wordt aan andere beleidsthema’s zoals internationalisatie of aan onderwijsinnovaties zoals invoeren van blended leren; 5. Bij een aantal instellingen is sprake van zich ontwikkelend beleid op het gebied van open delen en hergebruiken van leermaterialen; 6. Docenten zijn onvoldoende bekend met aanwezigheid danwel inhoud van beleid; 7. De autonomie van de docent in het bepalen om met delen en hergebruiken aan de slag te gaan wordt als cruciaal gezien en als zodanig herkend en erkend, zowel door bestuur als door docenten zelf; 8. Delen en hergebruiken moeten uiteindelijk ten goede komen aan de student of een positief effect hebben op de efficiency van het onderwijs. Of en hoe dat daadwerkelijk gerealiseerd moet worden, is vaak nog niet duidelijk; 9. Docenten geven aan dat stimulering in termen van geld, tijd en ondersteuning essentieel is voor hen om tot structureel gedrag van delen en hergebruiken te komen. Tevens moeten voor hen de antwoorden op de what’s in it for me vraag duidelijk zijn; 10. Publiceren van MOOC’s wordt ervaren als een versneller voor de adoptie van open delen van materialen en cursussen binnen een instelling; 11. Acceptatie van open delen en hergebruiken op instellingsniveau, zich uitend in beleid dat vertaald is naar concrete activiteiten en richtlijnen, beïnvloedt brede adoptie ervan door docenten positief. Op basis van deze resultaten zijn de volgende aanbevelingen geformuleerd om brede adoptie van open delen en hergebruiken te realiseren binnen een instelling: 1. Maak de meerwaarde van open delen en hergebruiken duidelijk aan docenten; 2. Zorg bij deze verandering van de beeldvorming rondom open delen en hergebruiken bij docenten voor ondersteuning vanuit de instelling: op ICT-gebied, juridische en onderwijskundige aspecten, facilitering in tijd, aanwezigheid van een veilige experimenteerruimte en een ondersteunende infrastructuur; 3. Formuleer op faculteits-, instituuts- en instellingsniveau beleid op het gebied van open delen en hergebruiken dat de activiteiten die onder aanbeveling 1 en 2 genoemd worden mogelijk maakt; 4. Koppel beleid inzake open delen en hergebruiken aan andere thema’s van onderwijsvernieuwing of aan thema’s als internationalisering.
LINK
Dit hoofdstuk beschrijft acht fundamentele problemen, die zich voordoen als men competenties, in de betekenis die gangbare definities aan dit begrip verlenen, probeert te meten in het onderwijs. Uit het betoog vloeit een dilemma voort: we kunnen niet meten wat we in competentiegericht onderwijs zouden willen meten. Wat we wel kunnen meten, zijn geen 'echte' competenties. Uit dit dilemma wordt een uitweg gezocht.
DOCUMENT
Studenten van Trendpanel Gezelschapsdieren (Aeres Hogeschool en HAS Hogeschool) presenteren de derde editie van de Pet Monitor, waarin onder andere aandacht wordt geschonken aan de invloed van corona op de economie en de huisdiersector in het bijzonder.
DOCUMENT
More than 25!years after Moore’s first introduction of the public value concept in 995, the concept is now widely used, but its operationalization is still considered difficult. This paper presents the empirical results of a study analyzing the application of the public value concept in Higher Education Institutions, thereby focusing on how to account for public value. The paper shows how Dutch universities of applied sciences operationalize the concept ‘public value’, and how they report on the outcome achievements. The official strategy plans and annual reports for FY2016 through FY2018 of the ten largest institutions were used. While we find that all the institutions selected aim to deliver public value, they still use performance indicators that have a more narrow orientation, and are primarily focused on processes, outputs, and service delivery quality. However, we also observe that they use narratives to show the public value they created. In this way this paper contributes to the literature on public value accounting.
DOCUMENT
