Estudio e implementación de algoritmos de visión artificial y modelos de color para la determinación de la cobertura vegetal : aplicación a cultivos hortícolas

Abstract

En los últimos años, el procesamiento digital de imágenes y la visión artificial han demostrado ser herramientas muy potentes en el área de la agricultura. Cada vez se pueden encontrar más aplicaciones para la supervisión y gestión automática de los procesos hortícolas basadas en imágenes, cuyo objetivo es reducir los costes y aumentar la productividad de los cultivos. La visión por ordenador constituye, junto con otras disciplinas ingenieriles, la denominada agroingeniería. El objetivo principal de esta tesis es el análisis, diseño, desarrollo y validación de técnicas novedosas de análisis de imágenes y modelado de color destinadas a la estimación de la cobertura vegetal de cultivos hortícolas, con el fin último de calcular sus requerimientos hídricos. El cumplimiento de este objetivo general queda cubierto en tres grandes hitos, plasmados en las tres publicaciones que componen la unidad temática de este compendio: • En primer lugar, la realización de un análisis completo y exhaustivo de los espacios de color más habituales aplicados al problema de la segmentación suelo/planta de imágenes de la cubierta vegetal de los cultivos. En este primer hito se estudió la eficacia de los distintos mecanismos de modelado del color, usando una representación no paramétrica de las distribuciones de probabilidad con histogramas en distintas variantes de espacios de color, canales y dimensiones. • En segundo lugar, partiendo de los resultados del anterior análisis, el diseño de una técnica novedosa para el entrenamiento de los modelos de color, que incluye la selección del espacio de color óptimo y su configuración de canales y tamaño. Esta técnica puede ser aplicada en otros problemas genéricos de análisis de color, produciendo unos elevados porcentajes de acierto en la clasificación. • En tercer lugar, la creación y validación de herramientas prácticas que implementan los algoritmos previamente diseñados. Por un lado, se ha desarrollado una herramienta para PC centrada en la creación y gestión de los modelos de color a partir de una entrada parcial del usuario; y, por otro lado, se ha desarrollado una herramienta para dispositivos portátiles que permite realizar un completo análisis de imágenes sobre el terreno. Las imágenes utilizadas para los experimentos de esta investigación corresponden a cultivos de diversas variedades de campos de Cartagena y San Javier, principalmente de lechuga y colirrábano. Se tomaron series de fotos monitorizando el crecimiento de las plantas de varias parcelas diferentes a intervalos de 4 a 7 días, durante varios ciclos de cultivo en diversos años. Las imágenes fueron tomadas con cámaras digitales compactas a alta resolución. Después fueron recortadas respecto a un patrón rectangular, situado físicamente en el suelo, con el fin de garantizar la uniformidad de la zona bajo estudio. Las imágenes fueron segmentadas por un experto en forma supervisada, con un software comercial de análisis de imágenes. Los resultados de dicho proceso fueron tomados como la base para el entrenamiento y prueba de los algoritmos automáticos de procesamiento y modelado de color desarrollados. Para el análisis de las imágenes, se consideraron los espacios de color más utilizados en visión artificial. El método desarrollado calcula para cada color concreto de un píxel las probabilidades de pertenencia a las clases objetivo, planta (cobertura vegetal) o suelo (fondo). Esto se consigue mediante una estimación no paramétrica de las funciones de densidad de probabilidad, modeladas con histogramas normalizados en el espacio y canales de color óptimos para cada escenario. Como conclusión, se ha desarrollado un conjunto de técnicas y herramientas que permiten obtener de forma muy precisa y eficiente el porcentaje de cobertura vegetal de las imágenes. Este parámetro está relacionado con otras variables fundamentales en agronomía como la altura de las plantas, el coeficiente de cultivo y la profundidad de las raíces, que a su vez están relacionadas con la evapotranspiración de las plantas. Así que, en última instancia, esto nos acerca a la meta final de calcular las necesidades hídricas de los cultivos a través de las imágenes.

Abstract In recent years, digital image processing and computer vision fields have proven to be very powerful tools in the agricultural domain. Each day, new applications can be found for crop monitoring and automatic management of horticultural processes based on images, which aim to reduce costs and increase crop productivity. Computer vision constitutes, along with other engineering disciplines, the so called agro-engineering field. The main objective of this thesis is the analysis, design, development and validation of new image analysis and color modelling techniques for the estimation of the vegetation cover in horticultural images, with the ultimate aim of calculating their water requirements. The achievement of this objective is accomplished through three major milestones, embodied in the three publications that make up the thematic unity of this compendium: • First, the performance of a complete and comprehensive analysis of the most common color spaces applied to the problem of plant/soil segmentation of crop images. In this first milestone, the effectiveness and accuracy of different alternatives for color modeling was studied, using a non-parametric representation of color distributions with histograms in different color spaces, channels and dimensions. • Secondly, based on the results of the previous analysis, the design of a novel technique for automating training of color models, which includes the selection of the optimum color space, channels configuration and size. This technique can be applied to other generic problems of color analysis, yielding a high accuracy in color classification. • In third place, the development and validation of practical tools that implement the algorithms previously designed. On the one hand, a tool for PCs has been developed focused on creating and managing color models from a partial user input; and, on the other hand, an app for portable devices has been created that allows to perform a complete analysis of crop images on the field. The images used in the experimental validation correspond to horticultural crops of different varieties in fields of Cartagena and San Javier, Spain, mainly of lettuce and Kohlrabi. Many series of photos were taken to monitor the growth of plants in different plots at intervals of 4 and 7 days, during several cropping cycles in diverse years. These images were acquired with compact digital cameras at high resolution. Then they were trimmed with respect to a rectangular pattern, physically located on the ground, in order to ensure uniformity of the area under study. All images were segmented by a human expert, with commercial image analysis software in a supervised way. The results of this process were taken as the basis for training and testing of the developed algorithms for automatic classification and modeling of color. For image processing, the most frequent color spaces used in computer vision were considered. The proposed approach computes for each given pixel value the probabilities of belonging to the target classes, plant (vegetation cover) or soil (background). This is accomplished through a nonparametric estimate of the probability density function of colors, which are modeled using normalized histograms in the optimum color space and channels for each scenario. In conclusion, a set of techniques and tools have been developed that allow obtaining in a very accurate and efficient way the percentage of green cover of crop images. This parameter has been related with other important variables in agronomy such as the height of the plants, the crop coefficient and the depth of the roots, which in turn are linked to plant evapotranspiration. Therefore, the proposed techniques bring us closer to the ultimate goal of calculating the water needs of crops through the images.