https://www.mdu.se/

Dataset generation is cumbersome yet of great importance for successful training of machine learning models. Collecting real-world data is expensive and sometimes prohibited, considering e.g. safety aspects or legal restrictions. By generating the bulk of training data by synthetic means it is possible to impose arbitrary and extensive scene randomization for increased data diversity.

Methods to quantify similarity between datasets on a statistical level are important tools to detect Out-of-Distribution (OOD) data and domain alignment. We have studied how such methods can be used to correlate model prediction accuracy drop when exposed to OOD-data.

Domain adaptation can be applied as an additional step to synthetic data, to decrease the gap to real world datasets, however it can introduce inadvertent label-flipping, a sort of semantic inconsistency between synthetic source and domain adapted output. Therefore, we pursuit another way of reducing the domain gap, by generating high-fidelity digital representations of real-world scenes and objects. We do this through the use of Neural Radience Fields and Gaussian Splats. These methods allow us to render objects of interest for a detection problem, with the perfect annotation of synthetically produced data, and a high degree of realism which we show improves detection accuracy compared to traditionally generated visual content.

Generering av data för AI-modeller är besvärligt men av stor betydelse för väl-fungerande träning av maskininlärningsmodeller. Att samla in riktig sensordata är dyrt och ibland inte möjligt, med hänsyn till exempelvis säkerhetsaspekter eller juridiska begränsningar. Genom att generera huvuddelen av träningsdata på syntetisk väg är det möjligt att införa omfattande scenrandomisering vilket leder till ökad datadiversifiering. Metoder för att kvantifiera likheter mellan datamängder på statistisk nivå är viktiga verktyg för att identifiera när data ligger utanför den tänkta distributionen. Vi har studerat hur sådana metoder kan användas för att korrelera hur en modellsprecision sjunker när den exponeras för osedd data. Domänanpassning kan tillämpas som ett ytterligare steg till syntetisk data, för att minska gapet till riktig sensordata, men detta kan innebära att man introducerar oavsiktliga annoteringsfel, en sorts semantisk inkonsistens mellan syntetisk källdata och domänanpassad utdata. Därför går vi en annan väg för att minska domängapet genom att generera digitala representationer med hög kvalitet av verkliga scener och föremål. Vi gör detta genom att använda Neural Radience Fields (NeRF) och Gaussiska Splats. Dessa metoder gör det möjligt för oss att skapa objekt av intresse för ett detektionsproblem, med automatisk annotering baserad på syntetiskt framställda data, och en hög grad av realism som vi visar förbättrar detektionsnoggrannheten jämfört med traditionellt genererat visuellt innehåll.