Affine invariant image comparison and its applications

Author

Fedorov, Vadim

Director

Ballester, Coloma

Date of defense

2016-10-11

Pages

165 p.



Department/Institute

Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions

Doctorate programs

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

La comparación de imágenes es un ingrediente fundamental en muchos problemas de procesamiento de imagen y visión por computador. Esta tesis aborda el problema de la comparación de entornos locales en imágenes, o patches, por medio de medidas de similitud (o funciones distancia). En particular, estudiamos el problema de la comparación invariante afín de imágenes a partir de sus patches, lo cual abre la puerta a un análisis más profundo de la estructura de similitud y auto-similitud existente en imágenes naturales. Nuestro trabajo parte de una aproximación axiomática reciente a las medidas de similitud entre imágenes definidas en variedades de Riemann. Empezamos obteniendo y estudiando medidas de similitud afín invariantes para después construir con ellas dos nuevos métodos. El objetivo del primero de ellos es la reconstrucción o completación plausible de regiones de una imagen donde la información se ha perdido, dañado o está oculta. El modelo propuesto es capaz de reconstruir texturas con distorsión perspectiva o incluso más compleja. El segundo método extiende la aproximación denominada de Non-Local Means para el problema de eliminación de ruido en imágenes aprovechando la auto-similitud invariante afín de lasimágenes reales. Nuestra extensión es comparada con éxito con el método original, tanto cualitativa como cuantitativamente, y se obtienen resultados prometedores en comparación con los métodos del estado del arte.


Image comparison is a main ingredient in many image processing and computer vision problems and applications, and not surprisingly it is a very diverse topic. The subject of this thesis is the comparison of local patches of images by means of similarity measures (or distance functions). In particular, we are interested in affine invariant patch-wise image comparison which opens the door to a more thorough analysis of similarities and self-similarities present in natural images. Our work is based on a recently proposed axiomatic framework for similarity measures between images defined on Riemannian manifolds. At the beginning we derive and study some affine invariant similarity measures and then present two novel methods built around them. The first method for exemplar-based image inpainting is aimed at the recovery of occluded, missing or corrupted parts of an image, in such a way that the reconstructed image looks natural. It is capable of reconstructing textures under perspective or even more complex distortions. The second method extends the well-known Non-Local Means approach for image denoising by taking advantage of affine invariant self-similarities of real images. Our extension improves the original method in both quantitative and qualitative assessments, and the results are promising when compared with state-of-the-art methods.

Keywords

Multiscale analysis; Similarity measures; Degenerate parabolic equations; Structure tensors; Affine invariance; Self-similarity; Patch-based method; Image inpainting; Image denoising; Análisis multiescala; Medidas de similitud; Ecuaciones parabólicas degeneradas; Tensores de estructura; Invariancia afín; Auto-similitud; Inpainting de imágenes; Eliminación de ruido en imágenes

Subjects

62 - Engineering. Technology in general

Documents

tvf.pdf

16.70Mb

 

Rights

L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/

This item appears in the following Collection(s)