Accurate localization in autonomous robots enables effective decision-making within their operating environment. Various methods have been developed to address this challenge, encompassing traditional techniques, fiducial marker utilization, and machine learning approaches. This work proposes a deep-learning solution employing Convolutional Neural Networks (CNN) to tackle the localization problem, specifically in the context of the RobotAtFactory 4.0 competition. The proposed approach leverages transfer learning from the pre-trained VGG16 model to capitalize on its existing knowledge. To validate the effectiveness of the approach, a simulated scenario was employed. The experimental results demonstrated an error within the millimeter scale and rapid response times in milliseconds. Notably, the presented approach offers several advantages, including a consistent model size regardless of the number of training images utilized and the elimination of the need to know the absolute positions of the fiducial markers.
Masonry structures represent the highest proportion of building stock worldwide. Currently, the structural condition of such structures is predominantly manually inspected which is a laborious, costly and subjective process. With developments in computer vision, there is an opportunity to use digital images to automate the visual inspection process. The aim of this study is to examine deep learning techniques for crack detection on images from masonry walls. A dataset with photos from masonry structures is produced containing complex backgrounds and various crack types and sizes. Different deep learning networks are considered and by leveraging the effect of transfer learning crack detection on masonry surfaces is performed on patch level with 95.3% accuracy and on pixel level with 79.6% F1 score. This is the first implementation of deep learning for pixel-level crack segmentation on masonry surfaces. Codes, data and networks relevant to the herein study are available in: github.com/dimitrisdais/crack_detection_CNN_masonry.
Background & aims: Accurate diagnosis of sarcopenia requires evaluation of muscle quality, which refers to the amount of fat infiltration in muscle tissue. In this study, we aim to investigate whether we can independently predict mortality risk in transcatheter aortic valve implantation (TAVI) patients, using automatic deep learning algorithms to assess muscle quality on procedural computed tomography (CT) scans. Methods: This study included 1199 patients with severe aortic stenosis who underwent transcatheter aortic valve implantation (TAVI) between January 2010 and January 2020. A procedural CT scan was performed as part of the preprocedural-TAVI evaluation, and the scans were analyzed using deep-learning-based software to automatically determine skeletal muscle density (SMD) and intermuscular adipose tissue (IMAT). The association of SMD and IMAT with all-cause mortality was analyzed using a Cox regression model, adjusted for other known mortality predictors, including muscle mass. Results: The mean age of the participants was 80 ± 7 years, 53% were female. The median observation time was 1084 days, and the overall mortality rate was 39%. We found that the lowest tertile of muscle quality, as determined by SMD, was associated with an increased risk of mortality (HR 1.40 [95%CI: 1.15–1.70], p < 0.01). Similarly, low muscle quality as defined by high IMAT in the lowest tertile was also associated with increased mortality risk (HR 1.24 [95%CI: 1.01–1.52], p = 0.04). Conclusions: Our findings suggest that deep learning-assessed low muscle quality, as indicated by fat infiltration in muscle tissue, is a practical, useful and independent predictor of mortality after TAVI.
Aaltjes: automatisch classificeren en tellen. Agrariërs laten bodemmonsters analyseren op onder meer aanwezigheid van aaltjes. Deze bodemanalyse is voor agrariërs cruciaal om de bodemgezondheid- en vruchtbaarheid vast te stellen maar behelst een grote kostenpost. Het identificeren, analyseren en tellen van aaltjes (nematoden) in een bodemmonster geschiedt in een gespecialiseerd laboratorium. Dit is tijdrovend, specialistisch en seizoensgebonden werk. Het tellen- en analyseren van aaltjes is mensenwerk en vergt training en ervaring van de laborant. Daarnaast hebben de laboratoria te maken met personeelstekort en de laboranten met sterk fluctuerende werkdruk. Derhalve is het speciaal voor dit project opgerichte samenwerkingsverband tussen Fontys GreenTechLab, ROBA Laboratorium en CytoSMART voornemens om een oplossing te ontwikkelen voor het automatisch classificeren en tellen van aaltjes. Dit project richt zich op de ontwikkeling van een proof of concept van een analysescanner. Het werk van de laboranten wordt grotendeels geautomatiseerd waarbij door de scanner de bodemmonsters middels toepassing van deep learning en virtual modeling kan worden geanalyseerd. Daarmee wordt beoogd een oplossing te bieden waarmee het personeelstekort wordt tegengegaan, de werkdruk kan worden verlaagd, mensenwerk wordt geautomatiseerd (waardoor de kans op fouten wordt verkleind) en de kosten voor agrariërs worden verlaagd.
The increasing amount of electronic waste (e-waste) urgently requires the use of innovative solutions within the circular economy models in this industry. Sorting of e-waste in a proper manner are essential for the recovery of valuable materials and minimizing environmental problems. The conventional e-waste sorting models are time-consuming processes, which involve laborious manual classification of complex and diverse electronic components. Moreover, the sector is lacking in skilled labor, thus making automation in sorting procedures is an urgent necessity. The project “AdapSort: Adaptive AI for Sorting E-Waste” aims to develop an adaptable AI-based system for optimal and efficient e-waste sorting. The project combines deep learning object detection algorithms with open-world vision-language models to enable adaptive AI models that incorporate operator feedback as part of a continuous learning process. The project initiates with problem analysis, including use case definition, requirement specification, and collection of labeled image data. AI models will be trained and deployed on edge devices for real-time sorting and scalability. Then, the feasibility of developing adaptive AI models that capture the state-of-the-art open-world vision-language models will be investigated. The human-in-the-loop learning is an important feature of this phase, wherein the user is enabled to provide ongoing feedback about how to refine the model further. An interface will be constructed to enable human intervention to facilitate real-time improvement of classification accuracy and sorting of different items. Finally, the project will deliver a proof of concept for the AI-based sorter, validated through selected use cases in collaboration with industrial partners. By integrating AI with human feedback, this project aims to facilitate e-waste management and serve as a foundation for larger projects.
Artificial Intelligence (AI) wordt realiteit. Slimme ICT-producten die diensten op maat leveren accelereren de digitalisering van de maatschappij. De grote innovaties van de komende jaren –zelfrijdende auto’s, spraakgestuurde virtuele assistenten, autodiagnose systemen, robots die autonoom complexe taken uitvoeren – zijn datagedreven en hebben een AI-component. Dit gaat de rol van professionals in alle domeinen, gezondheidzorg, bouwsector, financiële dienstverlening, maakindustrie, journalistiek, rechtspraak, etc., raken. ICT is niet meer volgend en ondersteunend (een ‘enabling’ technologie), maar de motor die de transformatie van de samenleving in gang zet. Grote bedrijven, overheidsinstanties, het MKB, en de vele startups in de Brainport regio zijn innovatieve datagedreven scenario’s volop aan het verkennen. Dit wordt nog eens versterkt door de democratisering van AI; machine learning en deep learning algoritmes zijn beschikbaar zowel in open source software als in Cloud oplossingen en zijn daarmee toegankelijk voor iedereen. Data science wordt ‘applied’ en verschuift van een PhD specialisme naar een HBO-vaardigheid. Het stadium waarin veel bedrijven nu verkeren is te omschrijven als: “Help, mijn AI-pilot is succesvol. Wat nu?” Deze aanvraag richt zich op het succesvol implementeren van AI binnen de context van softwareontwikkeling. De onderzoeksvraag van dit voorstel is: “Hoe kunnen we state-of-the-art data science methoden en technieken waardevol en verantwoord toepassen ten behoeve van deze slimme lerende ICT-producten?” De postdoc gaat fungeren als een linking pin tussen alle onderzoeksprojecten en opdrachten waarbij studenten ICT-producten met AI (machine learning, deep learning) ontwikkelen voor opdrachtgevers uit de praktijk. Door mee te kijken en mee te denken met de studenten kan de postdoc overzicht en inzicht creëren over alle cases heen. Als er overzicht is kan er daarna ook gestuurd worden op de uit te voeren cases om verschillende deelaspecten samen met de studenten te onderzoeken. Deliverables zijn rapporten, guidelines en frameworks voor praktijk en onderwijs, peer-reviewed artikelen en kennisdelingsevents.
