Automatic generation of patient-specific 3D models of organs using an unified deep learning approach

Abstract

Reconstruction of 3D shapes from images using convolutional neural networks (CNN) has become a very studied field in recent years and has demonstrated great performance. Rigid and non-rigid objects have been reconstructed using several types of 3D representations and approaches with single or multiple images. However, the reconstructed objects are part of the outside world (they are visible and can be photographed). The most used imaging techniques to obtain visual information from organs are computerized tomographies (CT) and magnetic resonance imaging (MRI), which do not generate regular 2D images. Our main objective is to evaluate the feasibility of using deep learning approaches to directly reconstruct 3D models of organs from medical images using free-form deformations (FFD). To do this, we combined existing algorithms used for segmentation of medical images in 3D space with 3D object reconstruction techniques in a fully automatic convolutional network model. We tested our proposed method by training models for two different organs with higher and lower shape complexity (liver and prostate, respectively). The reconstructed models generated by our network are coherent with the overall shape of the organs demonstrating that it can be learned. However, more work needs to be done to obtain organ models that truly represent their actual structure.

A reconstrução de formas 3D a partir de imagens usando redes neurais convolucionais tornou-se um campo muito estudado nos últimos anos e tem demonstrado ótimo desempenho. Objetos rígidos e não rígidos foram reconstruídos usando vários tipos de representações em 3D, e abordagens com uma ou múltiplas imagens. Contudo, os objetos reconstruídos são parte do mundo exterior (são visíveis e podem ser fotografados). As técnicas de imagiologia mais utilizadas para obter informações visuais a partir de órgãos são as tomografias computadorizadas e a ressonância magnética, as quais não geram imagens 2D regulares. Nosso principal objetivo é avaliar a viabilidade de usar abordagens de aprendizado profundo para reconstruir diretamente modelos 3D de órgãos a partir de imagens médicas usando deformações de forma livre. Para isso, nós combinamos algoritmos existentes usados para segmentação de imagens médicas no espaço 3D com técnicas de reconstrução de objetos 3D em um modelo de rede neural completamente automático. Nós testamos nosso método proposto treinando modelos para dois órgãos diferentes, com maior e menor complexidade de forma (fígado e próstata, respectivamente). Os modelos reconstruídos gerados por nossa rede são coerentes com a forma geral dos órgãos, demonstrando que a mesma pode ser aprendida. Entretanto, mais trabalho precisa ser realizado de forma a obter modelos de órgãos que representem autenticamente a sua estrutura real.