Extracting and assessing plant features spatio-temporally by means of 3D sensing in apple trees

Abstract

Knowledge of tree structural characteristics is gaining importance in advanced fruit growing, especially when implementing precision horticulture techniques. Accurate extraction and processing of tree structure is critical for precision horticulture, whereas spatio-temporal crop monitoring aim to optimize farm management practices such as pruning, thinning, selective harvest, chemical and fertilizer spraying. Growers have traditionally obtained this information by using manual sampling techniques, which tend to be laborious, spatially sparse, expensive, inaccurate and prone to subjective biases. Three-dimensional (3D) sensing, offers new possibilities for a more efficient agricultural practice with the use of highly advanced technological instruments and methodologies. Essential reasons contributing to this possibility include the increasing computational processing power of computers, the decrease in cost and size of electronics, the increase of efficiency in laser emitting diodes. Therefore, the demand for advanced knowledge of individual crops, requires robust and accurate data processing techniques needed by the grower to support precision agriculture protocols. In the present study, precision horticulture techniques were applied in apple orchards. The aim of this study was to extract 3D structural information of apple trees spatially and to associate this information with soil properties, microclimate, tree physiology, yield and fruit quality. To meet this end, a light detection and ranging (LiDAR) system was mounted on a commercial tractor to scan tree rows of the orchard. The first contribution of this thesis is the development of a tree segmentation methodology to detect individual trees in 3D domain, based on stem position in high density orchards. The approach focuses on trees trained as slender spindled, which presents unique challenges for segmentation algorithms due to their intertwined nature. Initially, the accuracy of the LiDAR system assessed using a metal-box with known dimensions in field conditions. Tree stem position of each tree was estimated based on a bivariate point density histogram. Each tree was segmented using a cylindrical boundary projected around the estimated stem positions. Therefore, geometrical parameters of the segmented tree point clouds were estimated and compared with manual measurements. The assessment of the LiDAR system considering the metal box exhibited enhanced error due to points with enhanced distance between laser aperture and the object. The coefficient of determinations were achieved between the measurements and estimated data from the segmented point clouds in terms of tree height, stem diameter and canopy volume. The second contribution considers the implementation of structural parameters in a water balance model for observing their interaction with microclimate and soil properties over growing season. In particular, leaf area (LA) and height of trees, estimated LiDAR system, with daily weather data and soil variables are utilized to estimate the daily tree water needs different areas of soil electrical conductivity (ECa). The results revealed that tree geometry interacts with ECa. Furthermore, the utilization of 3D plant and microclimate informationincreased the spatial resolution of the water balance model, and its accuracy. Furthermore, the estimated LA by the LiDAR presented high correlations with EC¬a at different areas¬. In parallel, a correlation was observed between the ECa and total available water content in the root zone. Whereas, the implementation of LA information from different ECa areas pointed to the reasonability of spatially resolved water balance, allowing to estimate daily tree water needs. Moreover, the study emphasized in the spatio-temporal estimation of tree geometry in 3D using the LiDAR system at different growth stages. Firstly, the spatial impact of ECa and orchard landscape in the growth of tree volume was analyzed, indicating high variation over the season and its significant dependence with the soil properties. The LiDAR system was used to monitor the whole field repeatedly over the growth season. The estimated canopy volume related negatively with EC¬a areas (low, mid, and high) of the orchard, indicating that tree growth was approximately 30% higher in low ECa compared to mid and high ECa areas. These results suggest that the canopy growth varies spatially, whereas the terrestrial laser scanning offers a feasible method for implementation in decision support systems, in precision horticulture. Additionally, LiDAR-based estimation of LA was achieved using LA of defoliated trees with the corresponding points per tree. In parallel, linearity and backscattered reflectance of LiDAR, which suggested in fruit detection methodology, were utilized to segment the woody parts from points per tree (PPT) at different growth stages, improving the relationship with LA. The spatial responses of LA were investigated with the ECa and yield over the season. Whereas, a k-nearest neighbor model, was built to predict the fruit fresh mass (FM) and soluble solids content by means of soil ECa and LA. These results confirm spatio-temporal variation of canopy growth. Furthermore, the results suggest the value of LA data in decision support systems aimed at optimizing orchard management practices, particularly addressing the impact of orchard management on fruit quality. Estimation of LA was improved when points of woody parts were removed from points per tree, providing higher adjusted coefficient of determination at 55 days after bud break. ECa and LA were positively correlated with fruit size. Motivated by these correlations, k-nearest neighbor models were built to predict fruit quality at harvest. Validation was performed by applying the model of one year on data of the subsequent year. Based on geoposition and ECa, classification accuracy in the test set validation was 39.7 %, whereas classification with geoposition and LA resulted in increased accuracy by 63.3 %. Results confirm spatio-temporal variation of canopy growth as was expected. Tree structural parameters can impact on fruit size, number and quality parameters. Therefore, in the final part of the study, fruit detection algorithms using the LiDAR system were proposed to estimate fruit diameter at different growth stages. Trees were scanned pre and after defoliation at each individual date. Fruit segmentation was based on threshold values of LiDAR calibrated backscattered reflectance and the geometrical features of linearity and curvature. The high complexity of tree structure highlights the need to set up an assessment pipeline considering fruits from defoliated trees as reference points. Therefore, evaluation of fruit number and position founded on foliated trees is performed by comparison against the reference labels on defoliated. The results show the high efficacy of LiDAR to localize and estimate fruit size in 3D domains, overpassing imaging systems limitations susceptible to highly variable external factors that lead to significant appearance variations. An analysis of LiDAR calibrated backscattered reflectance of tree elements was performed, exhibiting discrete values for leaves, woody parts and apple fruits, respectively. The diameter of apple fruits estimated from the foliated trees was related to the reference values based on the perimeter of the fruits, revealing high adjusted coefficient of determination at DAFB120. When comparing the results obtained on foliated and defoliated tree’s data, the estimated number of fruit’s on foliated trees at 120 days after full bloom 94.8% of the ground truth values. The algorithm resulted in maximum values of 88.2% precision, 91.0% recall, and 89.5 F1 score at 120 days after full bloom. The components of this thesis have been designed to address to future machine vision challenges under the local variable environmental conditions identified in high density apple orchards. Regarding tree segmentation, the accuracy of the proposed methodology should be evaluated at different perennial trees and planting systems. Future research should further investigate the implementation of 3D temporal plant information (e.g. LA, volume) from high density orchards in variable rate applications such as irrigation, fertilisation. The inner relationship of fruit quality and LA should be observed at different cultivars and climates to improve decision making in orchards. Estimating fruit number over the growing season can optimise crop load and selective harvesting. In the future, the detection accuracy of the proposed methodology should be assessed under different apple cultivars and LiDAR sensors potential and architecture.

Τα δομικά χαρακτηριστικά των δέντρων αποκτούν ολοένα και μεγαλύτερη σημασία στην καλλιέργεια των οπωροφόρων δέντρων, ιδίως κατά την εφαρμογή των τεχνικών της δενδροκομίας ακριβείας. Κρίσιμα στοιχεία για την πληρέστερη εφαρμογή της αποτελούν η ακριβής εξαγωγή και επεξεργασία της δομής των δέντρων καθώς και η χωρική και χρονική παρακολούθηση των καλλιεργειών, μέσω της οποίας επιτυγχάνεται η βελτιστοποίηση των πρακτικών διαχείρισης, όπως το κλάδεμα, το αραίωμα, η επιλεκτική συγκομιδή, ο ψεκασμός με φυτοφάρμακα και λιπάσματα, του οπωρώνα. Παραδοσιακά, η συλλογή των παραπάνω πληροφοριών γινόταν μέσω χειρωνακτικής δειγματοληψίας, η οποία χαρακτηριζόταν από υψηλό κόστος εργασίας, χρόνο διεκπεραίωσης και μεγάλη πιθανότητα σφάλματος. Προς επίλυση των εν λόγω προβλημάτων, αναπτύχθηκε η τρισδιάστατη (3D) ανίχνευση, προσφέροντας νέες δυνατότητες στις γεωργικές πρακτικές και αυξάνοντας την απόδοση τους μέσω της χρήσης κατάλληλων αισθητήρων. Υπό το πλαίσιο αυτό, οι κύριοι παράγοντες που συμβάλλουν σε αυτή τη δυνατότητα είναι η συνεχιζόμενη αύξηση της επεξεργαστικής ισχύος των υπολογιστών, η μείωση κόστους και μεγέθους των ηλεκτρονικών συσκευών, η ενίσχυση της απόδοσης των διόδων εκπομπής λέιζερ. Συνεπώς, η ανάγκη για κατανόηση και φροντίδα των επιμέρους καλλιεργειών απαιτεί ακριβείς και αξιόπιστες τεχνικές επεξεργασίας δεδομένων για την εξαγωγή πληροφοριών υψηλής ευκρίνειας που χρειάζεται ο καλλιεργητής για την υποστήριξη της δενδροκομίας ακριβείας. Στην παρούσα μελέτη εφαρμόστηκαν τεχνικές δενδροκομίας ακριβείας σε μηλεώνες. Στόχος της μελέτης ήταν η εξαγωγή και ανάλυση τρισδιάστατων (3D) δομικών πληροφοριών των δέντρων σε συνάρτηση με τη φυσιολογία τους, τις ιδιότητες του εδάφους, του μικροκλίματος, την απόδοση και την ποιότητα των καρπών. Για την εκπλήρωση αυτού του στόχου, τοποθετήθηκε ένα σύστημα light detection and range (LiDAR) πάνω σε ένα τρακτέρ για τη σάρωση των σειρών του οπωρώνα. Η πρώτη συνεισφορά της παρούσας διατριβής είναι η ανάπτυξη μεθοδολογίας κατάτμησης των δέντρων με σκοπό τον εντοπισμό του εκάστοτε δέντρου σε 3D απεικόνιση, με βάση τη θέση του κορμού του σε οπωρώνες πυκνής φύτευσης. Η προσέγγιση εστιάζει σε μηλιές συστήματος παλμέτας, τα οποία χαρακτηρίζονται ως ιδιαίτερα απαιτητικά στην ανάπτυξη αλγορίθμων κατάτμησης εξαιτίας των διακλαδώσεων μεταξύ των φυτών. Αρχικά, η ακρίβεια του συστήματος LiDAR αξιολογήθηκε στον οπωρώνα χρησιμοποιώντας ένα μεταλλικό κουτί συγκεκριμένων διαστάσεων. Εν συνεχεία, ένα ιστόγραμμα πυκνότητας σημείων χρησιμοποιήθηκε για τον εντοπισμό των δέντρων με βάση τη θέση του κορμού τους, ενώ ένας κύλινδρος τοποθετήθηκε γύρω από το κορμό για την κατάτμηση του εκάστοτε δέντρου. Κατά συνέπεια, για των εξαγωγή των συμπερασμάτων της παρούσας, εκτιμήθηκαν δομικές πληροφορίες των δέντρων, όπως το ύψος, ο όγκος και η διάμετρος του κορμού. Κρίσιμο στοιχείο για την εξαγωγή των εν λόγω συμπερασμάτων αποτέλεσε ο σημαντικός συντελεστής συσχέτισης μεταξύ των χειρωνακτικών μετρήσεων επί των στοιχειών αυτών και των 3D δεδομένων που ελήφθησαν με τη χρήση του συστήματος LiDAR. Ωστόσο, αξιομνημόνευτο καθίσταται το γεγονός ότι μέσω της χρήσης του συστήματος LiDAR με το προαναφερόμενο μεταλλικό κουτί, παρουσιάστηκε αυξημένη πιθανότητα σφάλματος επί των σημείων που βρίσκονταν σε μεγαλύτερη απόσταση μεταξύ του ανοίγματος λέιζερ και του αντικειμένου. Η δεύτερη συνεισφορά σχετίζεται με την εφαρμογή των δομικών παραμέτρων εντός ενός μοντέλου υδατικού ισοζυγίου, αποσκοπώντας στην παρατήρηση της αλληλεπίδρασής τους με το μικρόκλιμα και τις ιδιότητες του εδάφους κατά τη διάρκεια της καλλιεργητικής περιόδου. Συγκεκριμένα, η φυλλική επιφάνεια (LA) και το ύψος των δέντρων, όπως αυτά υπολογίστηκαν μέσω του συστήματος LiDAR, συνδυάστηκαν με τα μετεωρολογικά δεδομένα και τις εδαφικές μεταβλητές για την εκτίμηση των ημερήσιων αναγκών των δέντρων σε νερό σε διαφορετικές περιοχές ηλεκτρικής αγωγιμότητας του εδάφους (ECa). Τα αποτελέσματα έδειξαν ότι η γεωμετρία των δέντρων αλληλοεπιδρά με την ECa, καθώς και ότι η αξιοποίηση 3D δεδομένων των φυτών και του μικροκλίματος αύξησε τη χωρική ευκρίνεια του μοντέλου υδατικού ισοζυγίου, παρέχοντας μεγαλύτερη ακρίβεια σε αντίθεση με τις παραδοσιακές μεθόδους. Επιπλέον, η εκτιμώμενη LA με το LiDAR παρουσίασε υψηλούς συσχετισμούς με το ECa σε διαφορετικές περιοχές. Παράλληλα, παρατηρήθηκε συσχέτιση μεταξύ του ECa και της συνολικής διαθέσιμης περιεκτικότητας σε νερό επί του ριζικού συστήματος, ενώ ο συνδυασμός του ECa και του LA ανέδειξε την έννοια της χωρικής επίλυσης του ισοζυγίου νερού, επιτρέποντας την πληρέστερη εκτίμηση των ημερήσιων αναγκών των δένδρων σε νερό. Εν συνεχεία, ιδιαίτερη έμφαση δόθηκε στη χωρική και χρονική εκτίμηση της γεωμετρίας των δέντρων σε 3D με τη χρήση του συστήματος LiDAR κατά τα στάδια ανάπτυξης τους. Αρχικά αναλύθηκε η χωρική επίδραση της ECa και μορφολογίας του οπωρώνα στην ανάπτυξη του όγκου των δέντρων, παρουσιάζοντας υψηλή διακύμανση κατά τη διάρκεια της καλλιεργητικής περιόδου και σημαντική εξάρτησή της από τις ιδιότητες του εδάφους. Το σύστημα LiDAR χρησιμοποιήθηκε για τους σκοπούς της επίβλεψης της καλλιέργειας ολόκληρου του οπωρώνα κατά τη διάρκεια της περιόδου ανάπτυξης. Ο εκτιμώμενος όγκος των δένδρων συσχετίστηκε αρνητικά με την ECa σε όλες τις περιοχές του οπωρώνα (χαμηλές, μεσαίες και υψηλές), εμφανίζοντας ότι η ανάπτυξη των δέντρων σε χαμηλά επίπεδα ECa αυξήθηκε κατά περίπου 30% σε σύγκριση με τις μεσαίες και υψηλές περιοχές ECa. Αυτά τα αποτελέσματα υποδηλώνουν ότι η ανάπτυξη του δένδρου κυμαίνεται χωρικά, καθιστώντας έτσι την επίγεια σάρωση με λέιζερ μια χρήσιμη μέθοδο για τη λήψη αποφάσεων στην δενδροκομία ακριβείας. Στη συνέχεια, πραγματοποιήθηκε η εκτίμηση της LA με βάση το LiDAR συσχετίζοντας την LA των αποφυλλωμένων δέντρων με τα αντίστοιχα σημεία ανά δέντρο (PPT). Παράλληλα, η γραμμικότητα και η βαθμονομημένη ανάκλαση του LiDAR, χρησιμοποιήθηκαν για την κατάτμηση των ξυλώδων τμημάτων από τα PPT στα διαφορετικά στάδια ανάπτυξης, βελτιώνοντας τη σχέση με την χειρωνακτική LA. Οι χωρικές συσχετίσεις της LA διερευνήθηκαν με την ECa και την απόδοση κατά τη διάρκεια της περιόδου, ενώ κατασκευάστηκε ένα μοντέλο k-nearest neighbour για την πρόβλεψη της νωπής μάζας των καρπών, της διαμέτρου και ης περιεκτικότητας σε διαλυτά στερεά, μέσω της ECa και LA. Τα αποτελέσματα αυτά επιβεβαιώνουν τη χωρική και χρονική διακύμανση της ανάπτυξης του φυλλώματος, υποδηλώνοντας παράλληλα την αξία των δεδομένων της LA σε συστήματα υποστήριξης αποφάσεων που στοχεύουν στη βελτιστοποίηση της διαχείρισης των οπωρώνων. Η εκτίμηση του LA βελτιώθηκε όταν εντοπίστηκαν και αφαιρέθηκαν τα σημεία των ξυλωδών μερών, παρέχοντας υψηλότερο προσαρμοσμένο συντελεστή συσχέτισης στις 55 ημέρες μετά το σπάσιμο των οφθαλμών. Επιπρόσθετα, παρατηρήθηκε ότι η ECa και η LA συσχετίστηκαν θετικά με το μέγεθος των φρούτων. Με κίνητρο αυτούς τους συσχετισμούς, δημιουργήθηκαν μοντέλα k- nearest neighbour για να προβλέψουν την ποιότητα των φρούτων κατά τη συγκομιδή, εφαρμόζοντας το μοντέλο πρώτου έτους της μελέτης στα δεδομένα του επόμενου έτους. Με βάση τη γεωγραφική θέση και τη ECa, η ακρίβεια ταξινόμησης στην επαλήθευση του συνόλου των δεδομένων ήταν 39.7%, ενώ η ταξινόμηση με βάση τη γεωγραφική θέση και το LA οδήγησε στο 63.3%. Τα αποτελέσματα επιβεβαιώνουν τη χωρική και χρονική μεταβολή της ανάπτυξης του δένδρου. Στο τελικό τμήμα της παρούσας μελέτης, παρατηρήθηκε ότι οι δομικές παράμετροι των δέντρων μπορούν να επηρεάσουν το μέγεθος, τον αριθμό και τις ποιοτικές παραμέτρους των καρπών. Ως εκ τούτου, προτάθηκαν αλγόριθμοι ανίχνευσης των καρπών με τη χρήση του συστήματος LiDAR για την εκτίμηση της διαμέτρου τους κατά τα στάδια ανάπτυξης του δένδρου. Σε κάθε μέτρηση, τα δέντρα σαρώθηκαν πριν και μετά την αποφύλλωση. Ο διαχωρισμός των καρπών βασίστηκε στις οριακές τιμές της βαθμονομημένης ανάκλασης του LiDAR και στα γεωμετρικά χαρακτηριστικά της γραμμικότητας και της καμπυλότητας . Η υψηλή πολυπλοκότητα της δομής των δέντρων επιβάλλει την ανάγκη δημιουργίας μιας μεθόδου αξιολόγησης που θα λαμβάνει υπόψη τους καρπούς από τα αποφυλλωμένα δέντρα ως σημείο αναφοράς. Συνεπώς η αξιολόγηση του αριθμού και της θέσης των καρπών που εντοπίζονται σε δέντρα με φύλλα πραγματοποιείται. Συγκρίνονται αυτά με τα σημεία αναφοράς που βρέθηκαν στα αποφυλλωμένα δένδρα. Τα αποτελέσματα έδειξαν την υψηλή ικανότητα του LiDAR να εντοπίζει και να υπολογίζει το μέγεθος των καρπών σε 3D, ξεπερνώντας τους περιορισμούς των συστημάτων εικόνας, τα οποία είναι ευαίσθητα στους μεταβλητούς εξωτερικούς παράγοντες που οδηγούν σε σημαντικές διακυμάνσεις στα δεδομένα. Συγκεκριμένα, πραγματοποιήθηκε ανάλυση της βαθμονομημένης ανάκλασης του LiDAR επί των στοιχείων του δέντρου, δείχνοντας διακριτές τιμές για φύλλα, ξυλώδη μέρη και καρπούς. Η διάμετρος των μήλων που υπολογίστηκε από τα φυλλωμένα δέντρα συσχετίστηκε σημαντικά με τα σημεία αναφοράς των αποφυλλωμένων δένδρων κατά τη συγκομιδή. Παράλληλα, στη σύγκριση των αποτελεσμάτων που προέκυψαν από τα δεδομένα του φυλλώματος και του αποφυλλωμένου δέντρου, ο εκτιμώμενος αριθμός των φρούτων στα φυλλωμένα δέντρα στις 120 ημέρες μετά την πλήρη άνθηση, αποτέλεσε το 94.8% των πραγματικών τιμών αναφοράς. Ο αλγόριθμος είχε ως αποτέλεσμα μέγιστες τιμές ακρίβειας 88.2%, ανάκλησης 91.0% και 89.5 F1 score σε 120 ημέρες μετά την πλήρη άνθηση. Τα μέρη αυτής της διατριβής έχουν σχεδιαστεί για την αντιμετώπιση του μελλοντικού μηχανικού οράματος υπό το πρίσμα των δύσκολων περιβαλλοντικών συνθήκων που παρατηρούνται σε οπωρώνες υψηλής πυκνότητας. Όσον αφορά την κατάτμηση των δέντρων, η ακρίβεια της προτεινόμενης μεθοδολογίας θα πρέπει να αξιολογηθεί σε διάφορα πολυετή δέντρα και συστήματα φύτευσης για την παροχή πληρέστερων αποτελεσμάτων. Η μελλοντική έρευνα θα πρέπει να διερευνήσει περαιτέρω την εφαρμογή τρισδιάστατων χωρικών και χρονικών πληροφοριών επί φυτών (π.χ. LA, όγκος) από οπωρώνες υψηλής πυκνότητας σε συστήματα εφαρμογής μεταβλητής δόσης όπως η άρδευση και η λίπανση. Σε κάθε περίπτωση, η σχέση της ποιότητας των φρούτων και του LA θα πρέπει να παρατηρηθεί σε διαφορετικές ποικιλίες και κλίματα, στοχεύοντας στη βελτίωση λήψης αποφάσεων σε οπωρώνες. Εν κατακλείδι, η εκτίμηση του αριθμού των φρούτων κατά τη διάρκεια της καλλιεργητικής περιόδου μπορεί να συνεισφέρει στο αραίωμα των καρπών και την επιλεκτική συγκομιδή. Για την ορθότερη και πληρέστερη αξιολόγηση της προτεινόμενης μεθοδολογίας, θα πρέπει αυτή να κριθεί μελλοντικά με διαφορετικές ποικιλίες μήλων και αισθητήρες LiDAR.