Efficient Fine-Grained Segmentation and Histological Classification of Colorrectal polyps in White-Light Colonoscopy

Abstract

La prevenció del càncer colorectal (CCR) depèn en gran mesura de la colonoscòpia per a la detecció i extirpació de pòlips precancerosos. No obstant això, persisteixen desafiaments per minimitzar les taxes de pòlips no detectats i caracteritzar amb precisió la histologia d’aquests (p. ex., adenoma, hiperplàstic, lesió serrada sèsil – LSS) en temps real utilitzant exclusivament imatge de llum blanca (ILB), fet que afecta les decisions clíniques. Els sistemes d’IA actuals sovint resulten insuficients per la seva dependència de modalitats d’imatge avançades, la limitada granularitat de classificació o la validació inadequada.

L’objectiu d’aquesta tesi és desenvolupar nous sistemes d’aprenentatge profund per a la segmentació detallada i la classificació histològica de lesions colorrectals en temps real, emprant únicament ILB. Entre els objectius clau destaquen la creació de models multiclassos robustos, garantir la compatibilitat amb ILB per millorar la generalització i assolir un rendiment en temps real. Una contribució fonamental és el PolypSegm-ASH, un conjunt de dades públic d’imatges ILB amb màscares de segmentació a nivell de píxel i etiquetes histològiques finament classificades (adenoma, LSS, hiperplàstic) confirmades per patòlegs, que cobreix la necessitat crítica de recursos per entrenar i avaluar sistemes d’IA.

Basat en aquest recurs, es presenta Swin-Expand, una arquitectura eficient basada en Swin Transformer per a la segmentació i classificació simultània de múltiples tipus de pòlips. Es demostra la seva superioritat en segmentació i classificació detallada sobre PolypSegm-ASH, posant de manifest que la caracterització global dels pòlips millora en entrenar amb un major detall histològic.

Per potenciar encara més la classificació integrant el context clínic, s’introdueix VITAL (Visual Information and Tabular Adaptive Learning), un mòdul plug-and-play. A VITAL, descriptors tabulars de la lesió (p. ex., classificació de París, grandària, localització) s’integren amb característiques visuals dels models de segmentació mitjançant blocs FiLM amb compuertes, incrementant significativament la precisió de classificació en diverses arquitectures i mostrant robustesa davant la manca de metadades.

En conclusió, aquesta recerca avança la IA en colonoscòpia mitjançant la provisió d’un conjunt de dades essencial i el desenvolupament de models d’aprenentatge profund innovadors (Swin-Expand i VITAL), permetent un anàlisi de pòlips més precís i clínicament rellevant utilitzant ILB. Aquests aportacions obren el camí per a un suport diagnòstic assistit per IA més complet i fiable, amb l’objectiu de millorar l’eficàcia del cribatge del CCR.

La prevención del cáncer colorrectal (CCR) depende en gran medida de la colonoscopia para la detección y extirpación de pólipos precancerosos. No obstante, persisten desafíos para reducir las tasas de omisión de pólipos y caracterizar con precisión la histología de los mismos (p. ej., adenoma, hiperplásico, lesión serrada sésil – LSS) en tiempo real usando exclusivamente imagen de luz blanca (ILB), lo que repercute en las decisiones clínicas. Los sistemas actuales de IA suelen ser insuficientes por su dependencia de modalidades de imagen avanzadas, su escasa granularidad de clasificación o su validación limitada.

El objetivo de esta tesis es desarrollar nuevos sistemas de aprendizaje profundo para la segmentación detallada y la clasificación histológica de lesiones colorrectales en tiempo real, utilizando únicamente ILB. Entre los objetivos clave se incluyen la creación de modelos multicategoría robustos, asegurar la compatibilidad con ILB para mejorar la generalización y lograr un rendimiento en tiempo real. Una contribución esencial es el conjunto de datos PolypSegm-ASH, un banco de pruebas público de imágenes ILB con máscaras de segmentación a nivel de píxel y etiquetas histológicas finamente clasificadas (adenoma, LSS, hiperplásico) confirmadas por patólogos, que cubre la necesidad crítica de un recurso para entrenar y evaluar sistemas de IA.

Sobre esta base, se presenta Swin-Expand, una arquitectura eficiente basada en Swin Transformer para la segmentación y clasificación simultánea de múltiples tipos de pólipos. Se demuestra su superioridad en segmentación y clasificación detallada sobre PolypSegm-ASH, poniendo de relieve que la caracterización global de los pólipos mejora al entrenar con un detalle histológico más rico.

Para potenciar aún más la clasificación mediante la incorporación de contexto clínico, se introduce VITAL (Visual Information and Tabular Adaptive Learning), un módulo plug-and-play. En VITAL, descriptores tabulares de la lesión (p. ej., clasificación de París, tamaño, localización) se integran con características visuales de los modelos de segmentación mediante bloques FiLM con compuertas, aumentando significativamente la precisión de clasificación en distintas arquitecturas y mostrando robustez ante la ausencia de metadatos.

En conclusión, esta investigación avanza la IA en colonoscopia mediante la provisión de un conjunto de datos fundamental y el desarrollo de modelos de aprendizaje profundo innovadores (Swin-Expand y VITAL), lo que permite un análisis de pólipos más preciso y clínicamente relevante utilizando ILB. Estos aportes allanan el camino para un soporte diagnóstico asistido por IA más completo y fiable, con el objetivo de mejorar la eficacia del cribado de CCR.

Colorectal cancer (CRC) prevention is heavily reliant on colonoscopy for the detection and removal of precancerous polyps. However, challenges persist in minimizing polyp miss-rates and in accurately characterizing polyp histology (e.g., adenoma, hyperplastic, sessile serrated lesion - SSL) in real-time using standard white-light imaging (WLI), impacting clinical decisions. Current AI systems are often found to fall short due to reliance on advanced imaging modalities, limited classification granularity, or inadequate validation.

The aim of this thesis is the development of novel deep learning systems for efficient, fine-grained segmentation and histological classification of colorectal lesions in real-time, using exclusively WLI. Key objectives included the creation of robust multi-class models, the ensurance of WLI compatibility for generalizability, and the achievement of real-time performance. A core contribution is the creation of a new dataset: PolypSegm-ASH, a public benchmark of WLI images with pixel-wise segmentation masks and pathologist-confirmed, fine-grained histological labels (Adenoma, SSL, Hyperplastic). A critical need for training and evaluating AI is addressed by this resource.

Building upon this, Swin-Expand, an efficient Swin Transformer-based architecture for simultaneous multi-class polyp segmentation and classification, is introduced. Superior fine-grained segmentation and classification on PolypSegm-ASH is demonstrated, highlighting that overall polyp characterization is improved by training with richer histological detail.

To further enhance classification by incorporating clinical context, VITAL (Visual Information and Tabular Adaptive Learning), a plug-and-play module, is presented. In VITAL, structured lesion descriptors (e.g., Paris classification, size, location) are integrated with visual features from segmentation models using gated FiLM blocks, significantly boosting classification accuracy across architectures and showing robustness to missing metadata.

In conclusion, AI in colonoscopy is advanced by this research through provision of a crucial dataset and development of novel deep learning models (Swin-Expand and VITAL), enabling more precise, clinically relevant polyp analysis using standard WLI. The way for more comprehensive and reliable AI-assisted diagnostic support is paved by these contributions, aiming to improve CRC screening efficacy.