신장이식 거부반응과 유방암 전이여부 예측을 위한 합성곱 신경망 기반 병리영상 분석

Abstract

Pathology is the study of the causes and effects of diseases and the branch of medicine that aims to the final diagnosis. In order to diagnose the diseases, samples of tissues should be closely examined through the microscope. During this examination process, even experienced pathologists need to zoom-in and out several times while moving for all over tissue regions. Moreover, pathologic diagnoses mainly depend on visual scoring by pathologists, a process that can be highly time-consuming, laborious, and susceptible to inter- and/or intra-observer variations. Additionally, in the case of intraoperative situations, immediate decisions based on the frozen section examination are required. To overcome these issues, this paper provides some studies with deep learning algorithms for accurate and fast pathological diagnoses on two tasks; 1) A fully automated system for prediction of renal allograft rejection, 2) Metastases classification in sentinel lymph nodes on frozen tissue section. For the first task, we propose a fully automated system using two different CNN methods. The fully automated system consists of two parts; Classification of regions of interest and detection of C4d positive and negative peritubular capillaries (PTCs) in giga-pixel immunostained slides. The performance of the detection method was evaluated using optimal parameters of the novel method to enlarge the size of labeled masks. Fifty and forty pixels of the enlarged size images showed the best performance in detecting the C4d positive and negative PTCs, respectively. Additionally, the feasibility of deep-learning-assisted labeling as an independent dataset to enhance detection in this model was evaluated. For the second task, we analyzed two different approaches (classification/segmentation methods) for metastases classification in sentinel lymph nodes on frozen tissue section by comparing results of ours with that of others from the digital pathology challenge held by HeLP (2018 HEalthcare ai Learning Platform). Comparisons results showed that the convolutional neural network (CNN)-based classification method showed higher area under the receiver operating characteristic than that of segmentation method while the classification method took five times more than that of segmentation method. With ImageNet and CAMLEYON16 data, we evaluated feasibility of using pre-trained models. The CAMELYON16 pre-trained model-based CNN classification model trained with equal or less than 80 frozen tissue section slides showed higher AUC than that of models with none of pre-trained model or ImageNet based pre-trained model while models trained with any of or none of pre-trained model with more than 80 frozen tissue section slides showed comparable AUCs to each other. When only less dataset is available, CAMELYON16 pre-train model enhanced the CNN based classification model. The fully automated systems using deep learning on two tasks including prediction of renal allograft rejection and metastases classification in sentinel lymph nodes on frozen tissue section were developed and evaluated. The system of the first task is highly reliable, efficient, and effective, making it applicable to real clinical workflow. The investigation of the system of the second task might be helpful for efficient training, and fast and accurate diagnosis in the frozen diagnosis in intraoperative biopsy. |병리학은 질병을 최종진단하는 학문이며, 이를 위해 병리사들이 생검 조직을 전자 현미경을 사용하여 면밀히 봐야 한다. 이러한 진단을 위해 숙련된 병리사들도 현미경에 보이는 영상에 대해 확대, 축소를 반복적으로 하면서 모든 영역을 살펴봐야만 한다. 게다가 병리적 진단에 있어서 많은 시간을 필요로 하는 노동과 관찰자 내, 외 오차로 인해 불확실 할 수 있으며 병리사들의 시각적인 평가에 의존적일 수 밖에 없다. 수술 중 얻어지는 생검 조직인 경우 정확하면서도 빠른 결정이 필요하기도 하다. 이러한 문제들을 극복하기 위해, 두가지 주제에 대해 딥러닝을 활용한 빠르고 정확한 병리진단을 하는 모델에 관한 연구 방법론을 제공하고자 한다. 1) 스캔된 동결 절편 조직 슬라이드에서의 림프 노드에서의 암 전이 여부를 분류한다. 2) 스캔된 포르말린으로 고정된 조직 슬라이드에서의 신이식 거부반을 예측한다. 첫번째로, 두 종류의 합성곱 신경망 기반 알고리즘을 활용한 전자동 시스템을 제안한다. 제안하는 전자동 시스템은 두 부분으로 나뉜다. 동결 절편 조직 슬라이드에서 1) 관심영역을 분류하는 부분과 2) C4d 염색된 고리주변의 모세혈관 (PTC)과 C4d 염색되지 않은 PTC를 검출하는 부분이다. 표지 영역 크기를 늘리는 방법에 대한 최적의 변수를 구하기 위해 염색된 PTC와 염색되지 않은 PTC의 표지된 영역의 크기를 다양하게 실험하여 검출 모델의 성능을 평가하였다. 표지 영역의 크기는 염색된 PTC와 염색되지 않은 PTC에 대해 각각 50, 40픽셀을 늘림으로써 최상의 검출 성능을 보였다. 또한, 탐지 모델의 성능을 높히기 위한 효과적인 데이터 수집을 위해 딥러닝 기반 표지 툴을 활용한 표지 데이터 사용의 적합성 여부를 검증하였다. 이 전자동 시스템은 신이식 거부반응 예측 시스템에 있어서 신뢰성이 높고 효율적이어서 실제 임상 작업흐름에 적용할 수 있었다. 두번째 주제를 위해, 암 전이유무를 자동 분류하는 동일한 목적을 위한 서로 다른 CNN 방법론 (영상 분류, 물체 분할)에 대한 실험을 했으며 2018 HeLP challenge에 참여한 팀 결과들과의 비교를 통해 방법론들간의 특성을 분석하였다. CNN 기반 분류 방식들이 분할 방식들보다 높은 AUC를 보인 반면 시간 측면에서 분류 방식들은 분할 방식들보다 5배 느리다는 분명한 각각의 장단점을 결과를 통해 나타났다. 또한, 공개 CAMLEYON 공개 데이터셋으로 미리 학습한 선행 모델을 활용하여 모델의 초기값을 주게 되면 80개 이하의 적은 디지털 슬라이드 데이터셋으로 분석을 해야하는 경우, 더 낮은 손실값을 통한 더 정확한 모델로 학습시킬 수 있었다. 하지만 80개 이상의 디지털 슬라이드 데이터셋으로 충분한 데이터가 주어진 경우에는 손실값과 정확도에 있어서 큰 차이를 보이지 않았다. 동결 절편 조직 분석 분석에 있어서 딥러닝을 활용한 두 방법론에 있어서 빠르고 정확한 진단에 도움이 되는 방법들을 분석하였다. 또한, 딥러닝을 활용한 전자동 신이식 거부 반응 예측 세스템은 병리 진단에 있어서 신뢰성이 높고 효율적이며 실제 임상 현장에 적용될 수 있음을 검증하였다.