Techniques for localization and mapping in precision agriculture

Abstract: With a growing world population the rising demand for food has been pushing the development of industrialized farming techniques over the past decades. In recent years increasing environmental awareness has spawned research into more sustainable farming concepts such as precision agriculture and automation of agricultural tasks and vehicles. Automation in agriculture not only has many advantages for farming techniques in general, but more importantly also opens the door to more sustainable precision farming applications. An important part of full automation is the ability of the vehicle to reliably traverse an agricultural field without damaging the valuable crops, which in turn requires an accurate pose estimate of the vehicle relative to the crops.
The agricultural environment of a crop field poses several challenges for traditional localization and mapping techniques: First, crops that have a large variety in shape and size need to be reliably detected in local sensor data and distinguished from wild growing vegetation. Second, to leverage information from multiple sensors, the detected crops need to be associated with previously detected or mapped crop features. Data association on crop features is challenging since the crops are hard to distinguish and almost uniformly distributed resulting in many highly ambiguous situations. Third, during turning maneuvers outside the field, the crops are not necessarily visible in the sensor data, so that errors in the pose estimate usually accumulate during these maneuvers. Thus, re-localizing the vehicle before it enters the field is another challenge for accurate pose estimation. Fourth, there is only little clearance between the wheels of a large agricultural vehicle and adjacent crop rows. Therefore, highly accurate heading and sideways tracking estimates are crucial to enable autonomous navigation without damaging the crops.
In this thesis we present novel techniques that tackle these challenges thus enabling accurate localization and mapping for autonomous navigation on agricultural fields. First, we introduce two novel crop row detection methods based on modeling crop rows as a set of parallel and equidistant lines. This model enables joint detection of all visible crop rows and thereby increases the robustness of the detection methods against wild growing vegetation as well as in challenging situations, where the crop row structure is not fully visible. Second, we present several techniques that enable pose estimation based on multiple sensor modalities including GPS and crop row detections from local vision or depth data. This includes data association based on geometric relations between crop rows, detecting the end of the field to improve the accuracy of the position estimate as well as the formulation of a sensor model that fuses information from different sensor modalities to obtain consistent pose estimates. Third, for re-localization after turning maneuvers and to further improve the accuracy of the pose estimate, we propose to detect and leverage individual plant positions as features instead of crop rows. To enable pose estimation relative to individual plant positions, we present a novel data association technique that leverages slight irregularities in the distribution of the plants along the crop rows to determine the correct data association even in highly ambiguous situations.
We evaluate our techniques in extensive experiments on real-world data recorded in three different locations featuring seven crop types at varying growth stages. Our evaluation results confirm that our techniques contribute to the state of the art by enabling accurate pose estimation relative to crops across the entire field. Furthermore, our techniques were used in several successful autonomous navigation runs across entire crop fields, which showcases the suitability of our techniques for real-world application.
The techniques presented in this thesis enable accurate localization and mapping for reliable and precise autonomous navigation across entire crop fields – thereby contributing to automation in agriculture and sustainable precision farming applications
Abstract: Der steigende Nahrungsbedarf einer ständig wachsenden Weltbevölkerung hat über die letzten Jahrzehnte die Industrialisierung der Landwirtschaft voran getrieben. Vor allem in den letzten Jahren wurden die negativen Einflüsse der industriellen Landwirtschaft auf die Umwelt immer offensichtlicher, so dass heutzutage nachhaltigere Landwirtschaftskonzepte wie Präzisionslandwirtschaft und Automatisierung von landwirtschaftlichen Aufgaben und Fahrzeugen im Fokus der Forschung stehen. Automation in der Landwirtschaft steigert nicht nur die Effizienz landwirtschaftlicher Techniken im Allgemeinen, sondern ermöglicht vielmehr auch die Anwendung nachhaltiger präzisionslandwirtschaftlicher Techniken in der Praxis. Ein wichtiger Teil vollständiger Automation ist die Fähigkeit des landwirtschaftlichen Fahrzeugs, verlässlich über ein Feld zu fahren, ohne die wertvollen Kulturpflanzen zu beschädigen, was wiederum eine genaue Schätzung der Pose des Fahrzeugs relativ zu den Kulturpflanzen erfordert.
Die Umgebung eines landwirtschaftlichen Feldes stellt traditionelle Lokalisierungs- und Kartierungstechniken vor einige neue Herausforderungen: Erstens, gibt es eine große Anzahl verschiedener Arten von Kulturpflanzen, deren Aussehen stark variieren kann. Diese müssen zuverlässig in lokalen Sensordaten erkannt und von wild wachsender Vegetation unterschieden werden. Zweitens, um Informationen von mehreren Sensoren verwenden zu können, müssen die erkannten Kulturpflanzen mit zuvor erkannten oder bereits kartierten Kulturpflanzen assoziiert werden. Datenassoziation basierend auf Pflanzendetektionen ist anspruchsvoll, da Pflanzen der gleichen Art schwierig zu unterscheiden sind und auf dem Feld in regelmäßigen Abständen gesät werden, was zu vielen uneindeutigen Situationen führt. Drittens, während des Wendens am Ende des Feldes sind die Kulturpflanzen nicht immer in den Sensordaten sichtbar, so dass sich Fehler in der Posenschätzung akkumulieren können. Eine weitere Herausforderung ist daher die Relokalisierung des Fahrzeugs, bevor es wieder in das Feld hineinfährt. Viertens, ist der Abstand zwischen den Reifen einer großen landwirtschaftlichen Maschine und benachbarten Pflanzenreihen sehr klein. Daher sind eine hoch genaue Ausrichtungs- und seitliche Positionsschätzung essentiell um eine präzise autonome Navigation zu gewährleisten, die die Kulturpflanzen nicht beschädigt.
In dieser Dissertation präsentieren wir neue Techniken, die diese Herausforderungen angehen, um genaue Lokalisierung und Kartierung für autonome Navigation auf landwirtschaftlichen Feldern zu ermöglichen. Erstens, stellen wir zwei neue Reihendetektionsmethoden vor, die darauf basieren, dass die Pflanzenreihen auf dem Feld als Menge von parallelen und äquidistanten Linien repräsentiert werden können. Diese Repräsentation ermöglicht die gleichzeitige Detektion aller sichtbaren Pflanzenreihen, wodurch unsere Methoden mit wild wachsender Vegetation und anderen schwierigen Situationen, in denen die Reihenstruktur nicht vollständig sichtbar ist, besser umgehen können. Zweitens, präsentieren wir mehrere Techniken, die Posenschätzung aufgrund verschiedener Sensormodalitäten, einschließlich GPS und Reihendetektionen in lokalen Bild- und Tiefendaten, ermöglichen. Diese umfassen eine Datenassoziation, die die geometrischen Beziehungen zwischen Pflanzenreihen nutzt, eine Methode, die das Ende des Feldes erkennt um die Genauigkeit der Posenschätzung zu erhöhen, und die Formulierung eines Sensormodells, das die Informationen verschiedener Sensormodalitäten passend für widerspruchsfreie Posenschätzungen kombiniert. Drittens, zur Relokalisierung nach dem Wenden und um die Genauigkeit der Posenschätzung weiter zu verbessern, nutzen wir einzelne Pflanzenpositionen anstatt gesamten Pflanzenreihen als Landmarken. Um Posenschätzung anhand einzelner Pflanzenreihen zu ermöglichen, präsentieren wir eine neue Datenassoziationstechnik, die leichte Unregelmäßigkeiten in der Verteilung der Pflanzen entlang den Reihen ausnutzt und dadurch sogar in mehrdeutigen Situationen die richtige Assoziation findet.
Wir werten unsere Techniken in umfangreichen Experimenten auf Daten aus, die an drei unterschiedlichen Orten aufgenommen wurden und sieben verschiedene Kulturpflanzenarten in variierenden Wachstumsstadien zeigen. Unsere Ergebnisse bestätigen, dass unsere Methoden den Stand der Technik voranbringen, indem sie eine genaue Bestimmung der Pose relativ zu den Kulturpflanzen auf dem gesamten Feld ermöglichen. Des Weiteren wurden die vorgestellten Techniken in mehreren erfolgreichen autonomen Fahrten über das gesamte Feld genutzt, was die Eignung unserer Techniken für die praktische Anwendung auf landwirtschaftlichen Feldern weiter bestätigt.
Die vorgestellten Techniken ermöglichen genaue Lokalisierung und Kartierung für verlässliche und präzise autonome Navigation auf dem gesamten Feld und bringen dadurch Automation in der Landwirtschaft und nachhaltige Präzisionslandwirtschaft voran

Angaben zum Objekt

• Standort: Deutsche Nationalbibliothek Frankfurt am Main
• Umfang: Online-Ressource
• Sprache: Englisch
• Anmerkungen: Universität Freiburg, Dissertation, 2023

Klassifikation und Themen

• Schlagwort: Navigation ; SLAM-Verfahren ; Pflanzenzüchtung ; Autonomer Roboter ; Robotik ; Lokalisierung ; SLAM-Verfahren ; Präzisionslandwirtschaft

Beteiligte, Orts- und Zeitangaben

• Ereignis: Veröffentlichung
• (wo): Freiburg
• (wer): Universität
• (wann): 2023
• Urheber: Winterhalter, Wera
• Beteiligte Personen und Organisationen: Burgard, Wolfram ; Burgard, Wolfram ; Pradalier, Cédric ; Bödecker, Joschka ; Albert-Ludwigs-Universität Freiburg. Autonome Intelligente Systeme ; Albert-Ludwigs-Universität Freiburg. Fakultät für Angewandte Wissenschaften

Weitere Informationen

• DOI: 10.6094/UNIFR/240405
• URN: urn:nbn:de:bsz:25-freidok-2404059
• Rechteinformation: Open Access; Der Zugriff auf das Objekt ist unbeschränkt möglich.
• Letzte Aktualisierung: 25.03.2025, 13:49 MEZ