Model-Based Segmentation of Images

Abstract

La fotografia congela en un instant les dades que després es poden extreure, interpretar i transformar amb el pas del temps per comunicar informació en diferents formats. Fer mapes a partir de fotografies va ser una revolució en la cartografia. Els avenços en Computer Vision ajuden a provocar la propera revolució d’aquesta disciplina, que té com a objectiu la informació geogràfica cada cop més detallada que es requereix en períodes de temps més curts. D’aquesta manera, el procés que va de la imatge a un mapa ha esdevingut cada cop més automàtic. Les imatges, ja capturades amb càmeres digitals d’alta resolució, se situen automàticament en la posició correcta del terreny com si fossin un full que el cobreixi, gràcies als models digitals del terreny, obtenint així ortofotomapes. En aquestes circumstàncies, l’única càrrega que queda per alleugerir és l’extracció dels elements topogràfics, sense perdre la precisió i la qualitat d’interpretació que fins ara han proporcionat els operadors humans.

Aquesta investigació se centra en el desenvolupament de nous mètodes informàtics que facilitin aquestes tasques d’extreure informació d’imatges aèries. Comencem amb el desenvolupament d’una estratègia d’extracció semi-automàtica de parcel·les de les imatges. Aquest enfocament utilitza la resposta gairebé homogènia dels camps i com aquesta resposta es diferencia de la que proporcionen els veïns. El procés es porta a terme mitjançant el mètode en el qual les regions adjacents competeixen per posseir un píxel. Quan també es tenen en compte les línies de contrast de les imatges, és possible ampliar la metodologia anterior per extreure carreteres. En ambdós casos cal guiar tot el procés, no només pels punts donats per un operador, sinó pel model de l’element que s’ha d’extreure. El model ajuda a perfeccionar els resultats obtinguts. Quan Deep Learning va irrompre a l'escena de la Visió per Computador, es van millorar tots els processos de classificació d'imatges. Així doncs, proposem una aventura conjunta entre una xarxa profunda i un mètode de minimització d'energia adreçat per un model que millora els beneficis de cada component. Aquest enfocament redueix al mínim la necessitat d’interacció humana i obté resultats fiables.

La fotografía congela en un instante los datos que luego se pueden extraer, interpretar y transformar con el tiempo para comunicar información en diferentes formatos. Hacer mapas a partir de fotografías fue una revolución en la cartografía. Los avances en la visión por computador están ayudando a lograr la próxima revolución en esta disciplina, que apunta a una información geográfica cada vez más detallada que se requiere en períodos de tiempo más cortos. De esta manera, el proceso que va de la imagen a un mapa se ha vuelto cada vez más automático. Las imágenes ya capturadas con cámaras digitales de alta resolución se colocan automáticamente en la posición correcta del terreno como si fuera una hoja que lo cubre, gracias a los modelos digitales del terreno, obteniendo así ortofotomapas. En estas circunstancias, la única carga que queda por aligerar es la extracción de los elementos topográficos, sin perder la precisión y la calidad de la interpretación que hasta ahora ha sido proporcionada por operadores humanos.

Esta investigación se centra en el desarrollo de nuevos métodos por ordenador que facilitan estas tareas de extracción de información de imágenes aéreas. Comenzamos con el desarrollo de una estrategia para extraer parcelas semi-automáticamente de las imágenes. Este enfoque utiliza la respuesta casi homogénea de las parcelas y cómo esta respuesta difiere de la obtenida de sus vecinas. El proceso se lleva a cabo mediante el método en el que las regiones adyacentes compiten para poseer un píxel. Cuando las líneas de contraste de las imágenes también se tienen en cuenta, es posible ampliar la metodología anterior para extraer carreteras. En ambos casos es necesario guiar todo el proceso, no sólo por los puntos dados por un operador, sino por el modelo del elemento a extraer. El modelo ayuda a refinar los resultados obtenidos. Cuando Deep Learning irrumpió en la escena de Visión por Computador, todos los procesos de clasificación de imágenes mejoraron. Proponemos una aventura conjunta entre una red profunda y un método de minimización de energía guiado por un modelo que mejore los beneficios de cada componente. Este enfoque reduce al mínimo la necesidad de interacción humana y obtiene buenos resultados.

Photography freezes in an instant the data that can later be extracted, interpreted and transformed over time to communicate information in different formats. Making maps from photographs was a revolution in cartography. Advances in Computer Vision are helping to bring about the next revolution in this discipline, which aims at more and more detailed geographic information which is required in shorter periods of time. In this way, the process that goes from image to a map has become increasingly automatic. The images already captured with high-resolution digital cameras are automatically placed in the correct position of the terrain as if they were a sheet that covers it, thanks to the digital terrain models, thus obtaining orthophotomaps. In these circumstances, the only burden that remains to be lightened is the extraction of the topographic elements, without losing the precision and quality of interpretation that until now has been provided by human operators.

This research focuses on the development of new computerized methods that facilitate these tasks of extracting information from aerial images. We start with the development of a strategy to semi-automatically extract fields from the images. This approach uses the almost homogeneous response of the fields and how this response differs from that obtained from their neighbors. The process is carried out by means of the method in which adjacent regions compete to own a pixel. When the contrast lines of the images are also taken into account, it is possible to extend the previous methodology to extract roads. In both cases it is necessary to guide the entire process, not only by the points given by an operator, but by the model of the element to be extracted. The model helps to refine the results obtained. When Deep Learning burst onto the Computer Vision scene, all the processes of image classification were upended. So, we propose a joint venture between a deep network and an energy-minimization model-guided radiometric method that improves the benefits of each component. This approach reduces to a minimum the need for human interaction and obtains reliable results.