CNN-based methods and datasets for segmentation and counting of nuclei and AgNORs in AgNOR-stained images and for segmentation and classification of cells in papanicolaou-stained images

Abstract

Oral cancer is the sixth most common kind of human cancer. Early detection is crucial for lowering patient mortality. Two staining techniques, Argyrophilic staining of Nucleolar Organizer Regions (AgNORs) and Papanicolaou staining, can assist in early detection. However, manual counting and interpretation of these techniques are time-consuming, labor-intensive, and error-prone. This thesis proposes two convolutional neural network (CNN) based methods to address these shortcomings. The first method automatically segments individual nuclei and AgNORs in microscope slide images and counts the num ber of AgNORs within each nucleus. The second method automatically segments and classifies morphological features in Papanicolaou-stained microscope slide images. Both methods were trained and evaluated on new image datasets of epithelial cells from oral mucosa, with ground truth annotated by specialists. The effectiveness of our models was evaluated against a group of human experts. Our CNN-based joint segmentation and quantification of nuclei and NORs in AgNOR-stained images achieved an Intraclass Correlation Coefficient (ICC) of 0.91 for nuclei and 0.81 for AgNORs, indicating strong agreement with experts. Our CNN model for automatic segmentation and classification of cells in Papanicolaou-stained images also demonstrated expert-level performance, with ICC values above 0.84 for all cell types, showing excellent or good agreement for most cell types. Both methods were significantly faster than manual analysis, reducing the pro cessing time from hours to minutes. These results highlight their potential to accelerate diagnostic workflows. Our trained models, code, and datasets are available on GitHub and can stimulate new research in early oral cancer detection.

O câncer oral é o sexto tipo mais comum de câncer humano. A detecção precoce é crucial para reduzir a mortalidade dos pacientes. Duas técnicas de coloração, coloração argiro fílica das Regiões Organizadoras Nucleolares (AgNORs) e Papanicolaou, podem auxiliar na detecção precoce dos sinais deste tipo de câncer. No entanto, a contagem e a interpreta ção manual dessas técnicas são demoradas, trabalhosas e propensas a erros. Esta disserta ção propõe dois métodos baseados em redes neurais convolucionais (CNN) para resolver essas limitações. O primeiro método segmenta automaticamente núcleos individuais e AgNORs em imagens de lâminas de microscópio e conta o número de AgNORs dentro de cada núcleo. O segundo método segmenta e classifica automaticamente características morfológicas em imagens de lâminas de microscópio coradas por Papanicolaou. Ambos os métodos teiveram seus modelos (CNNs) treinados e avaliados em novos conjuntos de dados de imagens de células epiteliais da mucosa oral, com Ground Truth anotado por especialistas. A eficácia de nossos modelos foi avaliada em comparação com um grupo de especialistas humanos. Nossos modelos baseados em CNN para segmentação e quan tificação conjunta de núcleos e NORs em imagens coradas por AgNOR, bem como nosso modelo para segmentação e classificação automática de células em imagens coradas por Papanicolaou, ambos alcançaram níveis de desempenho semelhantes aos de especialistas, com significância estatística verificada, sendo ordens de magnitude mais rápidos do que a segmentação e contagem/classificação manual realizada pelos especialistas. Tais resul tados destacam seu potencial para acelerar os fluxos de trabalho de diagnóstico. Nossos modelos treinados, código e conjuntos de dados estão disponíveis no GitHub e podem estimular novas pesquisas na detecção precoce de câncer oral.