Tomografia computadorizada com áreas de vidro fosco
Os pacientes com COVID-19 confirmado são submetidos a uma tomografia computadorizada dos pulmões. Se você tiver sorte - uma vez, se não - várias vezes. Pela primeira vez, você precisa estimar o nível de dano como uma porcentagem. Dependendo do quartil do grau de dano, o regime de tratamento posterior é determinado e eles são notavelmente diferentes. Em abril de 2020, aprendemos que existem duas dificuldades:
- A TC é uma imagem tridimensional, cada camada dessa imagem é chamada de fatia. Com 300-800 cortes pulmonares na TC, os médicos passam de 1 a 15 minutos procurando zonas características para determinar a extensão da lesão. Um minuto é "a olho", 30 minutos é a média para seleção manual e contagem de áreas de tecido danificado. Em casos difíceis, o resultado pode ser processado em até uma hora.
- A precisão do diagnóstico do nível de infecção por coronavírus por especialistas "a olho" é alta nas fronteiras de 0-30% e 70-100%. Na faixa de 30–70, o erro é muito alto, e notamos que alguns dos radiologistas, via de regra, superestimam sistematicamente a porcentagem de danos ao olho, enquanto outros subestimam.
A tarefa se resume a determinar o tecido danificado dos pulmões e calcular a proporção de seu volume em relação ao total dos pulmões.
No final de abril, em cooperação com clínicas, preparamos um conjunto de dados de estudos anônimos de pacientes com análise PCR confirmada de COVID-19, demos a um comitê de dez excelentes radiologistas especialistas e mapeamos uma amostra para treinamento com um professor.
Houve beta no final de maio. Em julho, havia um modelo pronto para vários tipos de equipamentos de TC usados na Rússia. Somos uma equipe do Laboratório de Inteligência Artificial de Sberbank. Em geral, publicamos nossos desenvolvimentos na literatura científica (MICCAI, AIME, BIOSIGNALS), e falaremos sobre isso ainda no AI Journey.
Por que isso é importante
Os radiologistas já receberam filas no final de abril. Era importante:
- Aumente a taxa de transferência de pontos com exames de TC.
- Aumente a precisão da pesquisa em segundo lugar.
- Torne possível ver com precisão a mudança no nível de lesão entre as imagens de um paciente (e isso pode ser alguns por cento, é importante entender se ficou mais ou menos).
Além disso, na primeira onda, a situação piorou, pois radiologistas experientes adoeceram e abandonaram o processo. Precisão e velocidade diminuíram.
A inteligência artificial é boa para classificar dados médicos. A correta priorização do paciente salva vidas, porque quanto mais precisamente determinarmos o grau da lesão, maiores serão as chances de uma pessoa gravemente enferma receber os medicamentos necessários e (se tudo piorar) ventilação mecânica a tempo. E que uma pessoa cujos pulmões não estão tão afetados não tome seu lugar no hospital.
A avaliação da proporção do dano é uma das tarefas mais difíceis e que consomem muitos recursos para uma pessoa no diagnóstico, pois é necessário avaliar um grande volume de lesões de formato irregular, divididas em vários cortes.
A tarefa em si
Na entrada - fatias axiais de uma certa espessura. Normalmente, as configurações são definidas de 0,5 mm a 2,5 mm. A caixa torácica tem de 300 a 800 imagens 2D. Elas são trazidas em correspondência aproximada entre si, ou seja, já foram transformadas para que, condicionalmente, pudessem ser construídas imagens sobre uma película translúcida de determinada espessura e obtido um modelo do tórax. Mas tudo há muito tempo, é claro, em formato digital.
Os visualizadores podem mostrar tomografias em camadas ou construir um modelo 3D. Os modelos são pouco informativos para os médicos, pois deles é difícil entender a localização dos focos desse tipo de lesão. Os profissionais costumam usar a reconstrução multiplanar - eles exibem três projeções ortogonais na tela - horizontal, frontal e sagital. Então, por sua vez, eles examinam cada eixo ao longo das seções, procurando o que é necessário. Isso acontece rapidamente na prática. Você precisa olhar para 500 dessas fotos três vezes:
Diferentes médicos obtêm resultados diferentes em termos de porcentagem de danos após esse olhar.
Precisamos medir o volume do pulmão no tórax e encontrar todas as consolidações ali, e então estimar seu volume. Na primeira amostra, pegamos 60.000 cortes de TC reconstruídos (o dispositivo dispara em um eixo, mas as projeções necessárias podem ser obtidas por meio de transformações).
Nossos dez médicos não avaliaram a olho nu, mas selecionaram todas as consolidações manualmente, examinando cuidadosamente cada seção. Nós enriquecemos um pouco o conjunto de treinamento com aumento - uma combinação de alongamentos, compressões, rotações e mudanças no conjunto existente.
O algoritmo determina a presença de consolidação para cada ponto. O modelo de rede neural usado é baseado na arquitetura U-Net publicada em 2016... A vantagem da arquitetura U-Net é que a rede neural analisa as imagens originais em escalas diferentes, e isso permite que as camadas convolucionais "olhem" para áreas da imagem, cujo tamanho cresce exponencialmente conforme a profundidade da rede neural aumenta. Em outras palavras, cada dobra "olha" para uma pequena área de 3 × 3 px. Então a escala é reduzida em duas vezes, depois em mais duas: cada convolução seguinte olha para uma área de 3 × 3 pixels, mas atrás desses pixels há partes da imagem, reduzidas várias vezes (6 × 6, 12 × 12, ...). O conjunto final contém mais duas redes neurais convolucionais de arquitetura semelhante baseada em U-Net, com uma parte de "compressão" mais pesada do que no artigo original.
Onde a rede dá errado, mas os médicos não estão errados
Às vezes, nas fotos, existem os chamados artefatos, seja o resultado da respiração ou do movimento do corpo. Nesse caso, áreas semelhantes a mudanças nas características aparecem nas imagens, mas isso não é uma patologia. Mesmo que o modelo identifique essas áreas, então sua influência total no resultado é de vários décimos de um por cento, e as decisões são feitas por quartis, ou seja, o paciente deve ser classificado em uma das quatro categorias em termos de grau de dano. Portanto, negligenciamos esta parte da tarefa. Era muito mais importante configurar a rede para cada tipo de equipamento usado no país.
Normalização
Os tomógrafos gravam arquivos no padrão DICOM, mas a interpretação do padrão e dos formatos de gravação pode ser muito diferente, então demorava muito e era nervoso manter os arquivos que todas as máquinas de TC escrevem. Como resultado, também temos uma ferramenta para reduzir todos os arquivos DICOM a um único padrão e um único formulário, que será útil ainda mais para resolver problemas de diagnóstico, se os assumirmos. E não apenas COVID-19.
Nosso software não interfere com o médico, mas é instalado em paralelo. Ele tem suas ferramentas usuais e nossa solução, que mostra uma série adicional com relatório analítico e localização das consolidações encontradas. O relatório analítico tem a seguinte aparência:
O software é fornecido pela On-premise e está incluído no fluxo de trabalho da clínica, trabalhando com máquinas de TC e estações de trabalho dos médicos usando o protocolo DICOM, é instalado nos servidores da clínica dentro de um circuito protegido, uma GPU potente é necessária para que a rede neural funcione. Também existe uma solução na nuvem, porque nem todas as clínicas regionais podem pagar por ela. Existem recursos com a transferência de dados médicos, você precisa ter a garantia de ser despersonalizado.
Por que os fabricantes de tomógrafos não fizeram nada?
Pode parecer que somos os únicos heróis que assumiram a tarefa. Não, havia outras abordagens. Na maioria das vezes, os fabricantes de tomógrafos terminavam a classificação de acordo com a escala de Hounsfield (densidade do tecido) e lançavam plug-ins prontos, uh ... licenciados separadamente, ou orientações sobre como definir as configurações para que apenas um determinado tipo de tecido seja visto. Isso possibilitou uma melhor visualização das consolidações (idealmente, apenas os tecidos característicos delas em termos de densidade para o fluxo de radiação permaneceram no quadro), mas ainda não permitiu a contagem automática. Além disso, desbloquear esse recurso costumava ser mais caro do que várias de nossas implementações e servidores GPU para eles.
Onde ver mais detalhes
Bem aqui .
Mais detalhes .