With artificial intelligence (AI) systems entering our working and leisure environments with increasing adaptation and learning capabilities, new opportunities arise for developing hybrid (human-AI) intelligence (HI) systems, comprising new ways of collaboration. However, there is not yet a structured way of specifying design solutions of collaboration for hybrid intelligence (HI) systems and there is a lack of best practices shared across application domains. We address this gap by investigating the generalization of specific design solutions into design patterns that can be shared and applied in different contexts. We present a human-centered bottom-up approach for the specification of design solutions and their abstraction into team design patterns. We apply the proposed approach for 4 concrete HI use cases and show the successful extraction of team design patterns that are generalizable, providing re-usable design components across various domains. This work advances previous research on team design patterns and designing applications of HI systems.
MULTIFILE
In November 2019, the High Performance Greenhouse project (HiPerGreen) was nominated for the RAAK Award 2019, as one of the best applied research projects in the Netherlands. This paper discusses the challenges faced, lessons learned and critical factors in making the project into a success.
In recent years, drones have increasingly supported First Responders (FRs) in monitoring incidents and providing additional information. However, analysing drone footage is time-intensive and cognitively demanding. In this research, we investigate the use of AI models for the detection of humans in drone footage to aid FRs in tasks such as locating victims. Detecting small-scale objects, particularly humans from high altitudes, poses a challenge for AI systems. We present first steps of introducing and evaluating a series of YOLOv8 Convolutional Neural Networks (CNNs) for human detection from drone images. The models are fine-tuned on a created drone image dataset of the Dutch Fire Services and were able to achieve a 53.1% F1-Score, identifying 439 out of 825 humans in the test dataset. These preliminary findings, validated by an incident commander, highlight the promising utility of these models. Ongoing efforts aim to further refine the models and explore additional technologies.
MULTIFILE
Binnen het RAAK-project Smart Vision for UAVs is kennis ontwikkeld om UAVs autonoom te laten vliegen. Deze kennis is verankerd in de Twirre-architectuur voor UAVs. Vanaf het begin is afgesproken dat alle ontwikkelingen (zoals de architectuur, software en beschrijving van hardware) van Twirre openbaar zijn. De Twirre-architectuur is getest met meerdere prototypes. Met de Top-up wordt het mogelijk op korte termijn de Twirre-architectuur te documenteren en open source te maken. Daardoor wordt de verworven kennis openbaar toegankelijk en de verdere ontwikkeling daarvan versneld. Een unique selling point van Twirre is dat deze architectuur niet ontworpen is voor een specifieke UAV of voor UAVs van een specifieke leverancier. Twirre simuleert in feite de stick-commando’s van de grondpiloot en communiceert met de rest van de hardware van de UAV als of het een ontvanger is die radiografische de stick-commando’s ontvangt. Omdat de communicatie van de ontvangers met de rest van de UAV-hardware is gestandaardiseerd, is Twirre UAV-leverancier agnostisch. De Twirre- architectuur is goed schaalbaar van kleine tot grote UAVs. Het gebruik van low-cost componenten maakt Twirre niet alleen geschikt voor het bedrijfsleven, maar ook voor onderwijs- en hobbyprojecten. Twirre voegt aan een commodity UAV een Local Position System (LPS) toe met een breed scala aan sensoren, zoals (stereo) camera’s, ultrasoon sonars, LIDAR’s, gyroscopen, acceleratiemeters, magnetisch kompas en RTK GPS. Alle noodzakelijke berekeningen om met de UAV geautomatiseerd te kunnen vliegen, worden op een processorbord op de UAV zelf uitgevoerd. Verder zijn er software missie-bouwstenen ontwikkeld die herbruikbaar zijn, zodat sneller en eenvoudiger nieuwe missies ontwikkeld kunnen worden. Over Twirre zijn twee peer-reviewed wetenschappelijke artikelen gepubliceerd. Het Twirre-concept wordt op dit moment verder doorontwikkeld en geëvalueerd in projecten op verschillende toepassingsgebieden: • het TKI Wind op Zee project Inspection with automated UAVs using Computer Vision; • het KIEM SI project Autonoom navigeren met drones in de glastuinbouw; • binnen het Region of Smart Factory project Smart Sailing wordt door de NHL een spin-off van Twirre gebruikt; • er is een KIEM SI aangevraagd voor het project Autonoom navigeren met drones in magazijnen. De verwachting is dat er in de nabije toekomst veel vraag zal zijn naar nieuwe slimme toepassingen van autonome UAVs. De Twirre architectuur kan hieraan een belangrijke bijdrage leveren. Door Twirre open source en public domain te maken, worden de ontwikkeling en het laagdrempelig gebruik van Twirre gestimuleerd. Hiermee komt de kennis van Twirre tevens beschikbaar voor derden: bedrijven, instellingen en personen die niet bij het RAAK- project betrokken waren. Door een online-Twirre-community op te zetten, wordt de verdere ontwikkeling van Twirre nog meer versneld en wordt het gebruik ervan opgeschaald. In de community worden bijdragen van derden aan de Twirre-architectuur toegevoegd en beschikbaar gesteld aan iedereen.
