WUR ontwikkelt apps voor 3D-herkenning

Geplaatst op 29 november 2022

Tags

Om hun werk te kunnen doen, hebben veel robots goede visuele informatie over het gewas of fruit nodig. Deze beelden zijn nu voornamelijk in 2D beschikbaar. 3D-beelden zouden de robot nog meer informatie kunnen geven, zoals de grootte en vorm van een vrucht. Er zijn camera's die dergelijke beelden kunnen maken, maar dat zijn statische camera’s: ze staan traditioneel stil. De Business Unit Glastuinbouw en Bloembollen van Wageningen University & Research (WUR) ontwikkelt daarom een app waarmee met een smartphone goede 3D-beelden gemaakt kunnen worden.

Fotogrammetrie is een techniek om 3D-beelden met een hoge resolutie te maken. In dat geval wordt een object van meerdere kanten gefotografeerd (door maar liefst 16 camera's) en worden die beelden samengevoegd. Deze opstelling van camera's is echter niet gemakkelijk te verplaatsen, de positie en hoek van elke camera moet precies bekend zijn, en dus moet het object naar de fotostudio worden gebracht.

Lidar
Daarom zocht WUR mobiele alternatieven voor deze opstellingen. Twee ontwikkelingen in het afgelopen decennium leken veelbelovend: Lidar en Stereovision. Een Lidar-camera werkt met een laser die het gebied scant. Software kan de scène in kaart brengen door de reflectie van de stralen terug naar de Lidar te analyseren. Dergelijke camera's werken echter met infrarood: ze krijgen dus interferentie van felle infraroodlampen zoals de zon. Daarom zijn deze camera’s niet geschikt om foto's te maken in een kas (waar veel zonlicht is).

Stereovision
Een stereocamera (met 2 camera's) werkt door de parallax tussen de camera's te gebruiken om de afstand te berekenen en kan worden gebruikt om grote objecten (zoals boomgrenzen en gebouwen) in beeld te brengen. Maar deze camera is niet nauwkeurig genoeg voor kleine objecten op afstand.

SLAM-algoritme
Daarom ontwikkelt WUR meerdere apps die gebruikmaken van het SLAM-algoritme (Simultaneous Localization and Mapping). Dit algoritme voegt foto's samen op basis van de exacte locatie en richting van de camera. Dit maakt het mogelijk om met een smartphone 3D-beelden te maken: de gebruiker (bijvoorbeeld de teler) moet dan een aantal foto's in een cirkel om het object maken, waarmee in zekere zin fotogrammetrie naar het veld komt. De apps die WUR ontwikkelt, bevatten ook een algoritme voor beeldherkenning: hiermee kan bijvoorbeeld de tomaat worden herkend en kan de grootte en vorm in kaart worden gebracht.

Deze apps worden momenteel getest door WUR-onderzoekers en zullen naar verwachting in 2023 publiek beschikbaar zijn.

Bron: Wageningen U&R BU Glastuinbouw