Investigation of image processing and machine learning techniques for improving the harvesting efficiency in orchards

Abstract

Since fruits are vital to the human diet, pomiculture has a considerable economic influence on agricultural nations globally. Nonetheless, the absence of human labor necessitates the exploration of alternate solutions for the harvesting process. New technologies such as robots, machine learning, and unmanned aerial vehicles (UAVs), provide a promising direction to address these types of challenges. Furthermore, the implementation of automated harvesting robotic systems could mitigate labour shortages by operating for more time compared to humans and minimising the physical effort associated with conventional harvesting. The easily accessible, inexpensive electronics and sensors, together with the easily developed machine learning models, allow for the creation of robotic systems for autonomous fruit detection and harvesting. On the other hand, the use of robotic systems in orchards poses challenges due to these ecosystems' dynamic and unpredictable nature, leaving room for further research. The use of robotic systems in orchards poses challenges due to the dynamic and complex nature of these ecosystems, indicating a need for more study. This study seeks to provide a machine learning framework for the identification of oranges and orange trees in orchard environments, utilising both terrestrial and UAV images. The proposed architecture is an essential part of a ground autonomous robotic harvesting system. The work defines the applied methodology, analyses both lab and real-world outcomes, and recommends further study to improve the domain of automated agricultural systems. The models' results are highly encouraging, despite the medium-sized dataset and the user-friendly platform's contribution to the development of models for edge devices. Finally, the most appropriate algorithms were selected for the detection of trees when the autonomous robotic system entering an orchard and oranges at close range following the evaluation.

Δεδομένου ότι τα φρούτα είναι ζωτικής σημασίας για τη διατροφή του ανθρώπου, η καλλιέργεια φρούτων έχει σημαντική οικονομική επιρροή στις αγροτικές χώρες παγκοσμίως. Ωστόσο, η απουσία ανθρώπινης εργασίας καθιστά αναγκαία την εξερεύνηση εναλλακτικών λύσεων για τη διαδικασία της συγκομιδής. Νέες τεχνολογίες όπως τα ρομπότ, η μηχανική μάθηση και τα μη επανδρωμένα αεροσκάφη (UAVs), παρέχουν μια υποσχόμενη κατεύθυνση για την αντιμετώπιση αυτού του είδους προκλήσεων. Επιπλέον, η εφαρμογή αυτοματοποιημένων ρομποτικών συστημάτων συγκομιδής θα μπορούσε να μετριάσει τις ελλείψεις εργατικού δυναμικού, λειτουργώντας για περισσότερη ώρα σε σύγκριση με τους ανθρώπους και ελαχιστοποιώντας τη σωματική προσπάθεια που συνδέεται με τη συμβατική συγκομιδή. Η εύκολα προσβάσιμη, φθηνή ηλεκτρονική και οι αισθητήρες, μαζί με τα εύκολα αναπτυσσόμενα μοντέλα μηχανικής μάθησης, επιτρέπουν τη δημιουργία ρομποτικών συστημάτων για αυτόνομη ανίχνευση και συγκομιδή φρούτων. Από την άλλη πλευρά, η χρήση ρομποτικών συστημάτων σε οπωρώνες θέτει προκλήσεις λόγω της δυναμικής και απρόβλεπτης φύσης αυτών των οικοσυστημάτων, αφήνοντας περιθώριο για περαιτέρω έρευνα. Η χρήση ρομποτικών συστημάτων σε οπωρώνες θέτει προκλήσεις λόγω της δυναμικής και πολύπλοκης φύσης αυτών των οικοσυστημάτων, υποδεικνύοντας την ανάγκη για περαιτέρω μελέτη. Η παρούσα μελέτη επιδιώκει να παρέχει ένα πλαίσιο μηχανικής μάθησης για την αναγνώριση πορτοκαλιών σε οπωρώνες, χρησιμοποιώντας τόσο επίγειες όσο και εικόνες από μη επανδρωμένα αεροσκάφη. Η προτεινόμενη αρχιτεκτονική είναι ένα βασικό μέρος ενός αυτόνομου ρομποτικού συστήματος συγκομιδής στο έδαφος. Η μελέτη ορίζει την εφαρμοσμένη μεθοδολογία, αναλύει τόσο τα αποτελέσματα στο εργαστήριο όσο και στον πραγματικό κόσμο, και προτείνει περαιτέρω μελέτη για τη βελτίωση του τομέα των αυτοματοποιημένων γεωργικών συστημάτων. Τα αποτελέσματα των μοντέλων είναι ιδιαίτερα ενθαρρυντικά, παρά το μέτριο μέγεθος του συνόλου δεδομένων και τη συμβολή της φιλικής προς τον χρήστη πλατφόρμας στην ανάπτυξη μοντέλων για συσκευές edge. Στο τέλος, επιλέχθηκαν οι πιο κατάλληλοι αλγόριθμοι για την ανίχνευση δέντρων κατά την είσοδο του αυτόνομου ρομποτικού συστήματος σε έναν οπωρώνα και πορτοκαλιών σε κοντινή απόσταση μετά την αξιολόγηση.