생성적 적대 신경망을 이용한 흉부 방사선 영상 합성 및 이상 탐지

Abstract

최근 주목 받고 있는 인공지능 기술 중 하나인 딥러닝은 수많은 컴퓨터 비전 작업에서 유망한 결과를 보여주었다. 컨볼루션 신경망(CNN)이 발전함에 따라 병변 패턴의 분류 및 감지, 장기의 자동 분할, 의료 이미지 재구성 등과 같은 의료 이미징에 딥러닝이 빠르게 채택되었다. 전통적인 방법인 지도 학습을 위해서는 고품질 이미지 및 정확한 주석이 필요하다. 그러나 고품질 데이터 세트를 구성하는 것은 의학 분야에서 어렵다. 제한된 데이터 액세스, 불균형 데이터 세트 및 값 비싼 주석 과정은 딥러닝의 예측 능력을 제한하고 편향된 결과를 유도 할 수 있다. 고품질 의료 이미지 데이터 세트에 대한 요구가 증가하는 가운데 생성적 적대 신경망 (GAN)의 출현은 새로운 돌파구가 되었다. GAN은 적대적인 학습 과정을 통해 기존 데이터 세트에서 그럴듯한 새로운 샘플을 생성하는 능력을 배운다. GAN은 도메인 적응, 초해상화, 이미지 대 이미지 변환, 이미지 스타일 전송, 이상 탐지 등 다양한 작업에서 잠재력을 입증했다. GAN의 유망한 결과에도 불구하고, 의료 분야에서는 적은 수의 연구만이 진행되었다.이 연구에서는 점진적으로 성장하는 생성적 적대 신경망 (PGGAN)을 의료 영상, 특히 흉부 X선 (CXR) 영상에 응용하기 위한 몇 가지 비지도적 학습 방법을 제안한다. 다루는 주제는 다음과 같다. (a) PGGAN에서 생성된 합성 CXR 영상의 충실도 평가하고, (b) (a)에서 학습한 PGGAN의 잠복 공간에서 의미론적 표현을 풀어내어 원하는 폐질환 패턴을 가진 합성 CXR 영상을 생성하며, (c) PGGAN을 사용하여 비지도적 방식으로 CXR 영상의 이상 패턴을 식별하는 이상 감지 시스템을 개발한다. (a)의 첫 번째 주제에서는 딥러닝 기반 분류 네트워크 (분류기)를 활용한 3 단계 방법을 제안한다. 단계 1 및 2 에서는 실제 CXR 이미지와 합성 CXR 이미지에 대해 별도로 학습한 두 분류기의 성능을 비교한다. 단계 3에서는 실제 CXR 영상으로 구성된 동일한 테스트 데이터 세트에서 이진 분류(정상 또는 비정상) 성능을 평가한다. PGGAN에서 생성된 합성 CXR 영상이 실제 영상에 준하는 방사선 정보를 보존한다는 것을 발견하였다. (b)의 두 번째 주제에서는 PGGAN의 잠복 공간에서 미리 정의된 폐질환 패턴의 의미론적 표현을 탐색하고 발견한다. 간단한 선형 회귀를 통해 원하는 질병 패턴을 가진 CXR 영상의 제어 가능한 생성이 가능함을 입증하였다. 평가는20년 이상의 경험을 가진 전문 방사선 전문의의 시각적 채점과 (a)에서 제안된 분류기를 사용하는 지표에 의해 정성적 및 정량적으로 각각 수행되었다. (c)의 세 번째 주제에서는 PGGAN을 이용하여 비지도 방법으로 CXR 영상의 이상 탐지 시스템을 제안한다. 비정상 CXR 샘플을 식별하기 위해 정상 CXR 데이터 세트로 PGGAN을 훈련하였다. 이상이 있는 실제 CXR 영상이 주어지면 반복 알고리즘을 통해 잠재 벡터를 최적화하여 주어진 영상과 가장 유사한 정상 CXR 이미지를 근사 하였다. 평가에서 질병 주석이 필요없이 CXR의 비정상적인 패턴을 민감하게 감지할 수 있음을 입증하였다. 이 연구는 의료 영상에서 비지도 딥러닝 기반 애플리케이션을 개발하는 데 있어 GAN의 잠재력을 보여준다. CXR 영상에 대한 고 충실도 영상 생성, 제어 가능한 영상 생성 및 이상 감지의 각 결과를 활용하여, 환자의 개인 정보 보호, 불균형 데이터 세트 및 의료 영상의 값 비싼 주석과 같은 감독 학습의 기존 문제를 해결할 수 있다.|Deep learning, one of the artificial intelligence technologies in the spotlight recently, has offered promising results in numerous computer vision tasks. Within the advances of convolutional neural networks (CNN), deep learning has been rapidly adopted in medical imaging such as classification and detection of lesion patterns, automated segmentation of organs, medical image reconstruction, etc. Extensive datasets with high-quality images and their precise annotations are required for the traditional approaches with supervised learning methods. However, constructing a high-quality dataset is challenging in the field of medicine. Limited data access, unbalanced datasets, and expensive annotation processes could limit the prediction power and induce biased results in deep learning models. Amid the increasing need for high-quality medical image datasets, the emergence of generative adversarial networks (GAN) 1 has provided a new breakthrough. GANs learn an ability to generate new plausible samples from an existing dataset through an adversarial process. GANs have demonstrated potentials in various tasks, including domain adaptation, super-resolution, image-to-image translation, image style transfer, and anomaly detection. Despite the promising results of GANs, it has been less explored in the medical field. In this study, we suggested several unsupervised methods using progressive growing of GANs (PGGAN) 3 for potential applications in medical imaging, especially on chest X-ray (CXR) images. We address the following tasks: (a) evaluating the fidelity of synthetic CXR images generated from PGGAN, (b) generating synthetic CXR images with a desired pulmonary disease pattern by disentangling semantic representations in the latent space of PGGAN learned in (a), and (c) developing an anomaly detection system that identifies anomalous patterns in CXR images with an unsupervised scheme using PGGAN. In the first topic of (a), we proposed a 3-step method that utilized a deep learning-based classification network (classifier). We compared the performances of two classifiers which have separately trained on real and synthetic CXR images (step 1 and 2) and evaluated on the identical test dataset of real CXR images in terms of a binary classification: normal or abnormal (step 3). We have found that synthetic CXR images generated from PGGAN preserved radiologic informatics as much as the real ones. In the second topic of (b), we explored and discovered semantic representations of predefined pulmonary disease patterns in the latent space of PGGAN. With a simple linear regression, we demonstrated that controllable generation of CXR images with desired disease pattern is possible. The evaluation was performed qualitatively and quantitatively, by a visual scoring from an expert radiologist with more than 20-year- experience and by a metric using the classifier suggested in (a), respectively. In the third topic of (c), we proposed an anomaly detection system based on CXR images with an unsupervised method using PGGAN. We trained PGGAN with a normal CXR dataset to identify anomaly CXR samples. Given a CXR image with abnormality from a real dataset, we approximated the most analogous normal CXR image by optimizing a latent vector with an iterative algorithm. In the evaluation, we have demonstrated that anomalous patterns in CXR could sensitively be detected without the need for disease annotations. This study has shown the potentials of GANs in developing unsupervised deep learning- based applications in medical imaging. Each result of high-fidelity image synthesis, controllable image synthesis (image manipulation), and anomaly detection on CXR images can be exploited to address existing problems in supervised learning such as patient privacy, unbalanced dataset, and expensive annotations in medical imaging.