설명 가능한 인공지능을 사용하여 류마티스관절염 환자에서 생물학적제제에 대한 개인별 관해 예측

Abstract

Background: This study aimed to establish a machine learning model that can predict the response to biologic disease modifying anti-rheumatic drugs (bDMARDs) in patients with rheumatoid arthritis (RA). In addition, we also sought to identify important features in remission using explainable artificial intelligence (AI). Methods: Follow-up data of 1,204 patients who started treatment with bDMARDs, such as etanercept, adalimumab, golimumab, infliximab, abatacept, and tocilizumab, from December 2012 to June 2019 in the Korean College of Rheumatology Biologics and Targeted Therapy Registry, were enrolled. We selected the best of the five response criteria as the outcome for the next follow-up (about a year later) with bDMARDs treatment. Machine learning methods, such as lasso, ridge, support vector machine, random forest, and XGBoost, were used for prediction of remission. For interpretability, the Shapley additive explanation (SHAP) value (impact on model output with positive or negative relationship) was used. Results: In predicting remission, the accuracy and area under the receiver operating characteristic were 57.2%–74.5% and 0.547–0.747, respectively. The Shapley plot showed that the impact of the variables on predicting remission differed for each bDMARD. The most important features were age in adalimumab, prednisolone dose in etanercept and tocilizumab, erythrocyte sedimentation rate in infliximab and golimumab, and disease duration in abatacept, with mean SHAP values of 0.290, 0.967, 0.175, 0.507, 1.347, and 0.845, respectively. Conclusions: Using machine learning models and explainable AI, we could predict remission and explain the clinical features of patients with remission for each bDMARD. This approach may help to improve treatment outcomes in patients with RA. |연구배경: 많은 생물학적제제가 류마티스관절염 환자의 치료에 사용되고 있으나 효과가 있는 생물학적제제를 선택하는데 도움이 되는 요인은 알려지지 않았다. 본 연구의 목적은 류마티스관절염 환자에서 생물학적제제의 반응을 예측하는 머신러닝 모델을 구축하고 설명가능한 인공지능을 이용하여 류마티스관절염의 관해에 필요한 변수들의 중요한 특징을 찾는 것이다. 연구방법: 2012년 12월부터 2019년 6월까지 대한류마티스학회 생물학적제제 등록사업에서 생물학적제제인 에타너셉트, 아달리무맙, 골리무맙, 인플릭시맙, 토실리주맙으로 치료받은 1,204명의 환자에서 1,397개의 추적관찰데이터를 연구에 이용하였다. 생물학적제제를 처음 사용한 시점을 baseline으로 하고, 이 시점의 임상변수 중에서 데이터 충실도와 임상적 중요도를 고려하여 64개의 변수를 예측 변수로 선정하였다. 반응변수로는 생물학적제제를 시작한 시점의 baseline과 동일 약물을 유지하는 다음 추적관찰시점의 DAS28-ESR을 비교하여 ACR/EULAR response criteria와 질병활성도 카테고리에 기반하여 다음과 같이 개별 약물에 대한 치료반응을 분류하였다. 1) good response, 2) good response without increasing prednisolone dose, 3) good or moderate response, 4) low disease activity, 5) remission을 outcome으로 정의하였고 각 outcome들로 머신러닝 모델을 구축하였다. 머신러닝 방법은 Lasso, ridge, support vector machine, random forest, XGBoost의 5가지 방법을 사용하였다. 다섯개의 치료 반응을 예측하는 머신 러닝 모델들 중에서 정확도와 area under receiver operating characteristics (AUROC)가 가장 좋은 한가지를 outcome으로 선택하기로 하였다. 선택된 outcome을 예측하는 머신러닝 모델에서 예측에 필요한 변수들의 중요한 특징(important feature)을 알아보기 위하여 Shapley additive explanation (SHAP) 가치 (예측 결과를 바꿀 수 있는 영향력, 절대값이 높을수록 예측결과를 바꾸는데 기여도가 높음)를 사용하였다. 결과: 다섯가지 머신러닝 방법을 이용하여 다섯개의 치료반응을 예측하였다. 이중에서 생물학적제제 치료 후 remission과 remission에 실패한 수의 비율이 비슷하고 정확도와 AUROC가 높았던 remission을 outcome으로 선택하였다. 각각의 생물학적제제에서 remission 예측의 정확도는 52.7%–73.7%, AUROC는 0.547–0.747였다. 머신러닝 모델로 remission을 예측하는데 필요한 important feature를 알아보기 위하여 Shapley plot을 작성하고 SHAP 가치를 계산하였다. 모든 생물학적제제, TNF억제제, 비TNF억제제에서 첫번째 important feature는 프레드니솔론 용량(SHAP 가치 -0.268)이었으며 용량이 적을수록 remission과 관련이 있고 많을수록 remission 실패와 관련이 있었다. 각각의 생물학적제제에서도 Shapley plot을 확인하였으며 생물학적제제마다 변수의 영향력과 방향성에서 차이가 있었다. adalimumab에서는 나이(SHAP 가치 -0.290)가 가장 높은 important feature로서 어릴수록 remission과 관계가 있었고 나이가 많으면 remission 실패와 관련이 있었다. 다음으로 혈색소(SHAP 가치 0.160)가 높으면, 프레드니솔론 용량(SHAP 가치 0.143)이 적으면 remission과 관련이 있었다. etanercpet에서는 프레드니솔론 용량(SHAP 가치 -0.967) 적으면, C-반응단백(SHAP 가치 0.790)이 높으면, 적혈구침강속도(SHAP 가치 -0.789)가 낮으면 remission과 관련 있었다. infliximab에서는 적혈구침강속도(SHAP 가치 -0.507)가 낮으면, 프레드니솔론 용량(SHAP 가치 -0.443)이 낮으면 혈색소(SHAP 가치 0.391)이 높으면 remission과 관련이 있었다. golimumab에서는 적혈구침강속도(SHAP 가치 -1.347)이 낮으면, 프레드니솔론 용량(SHAP 가치 -1.203)이 낮으면, 항CCP항체(SHAP 가치 -0.864)가 낮으면 remission과 관련이 있었다. abatacept에서는 유병기간(SHAP 가치 -0.845)이 짧으면, 프레드니솔론 용량(SHAP 가치 -0.817)가 적으면, 혈색소(SHAP 가치 0.773)이 높으면 remission과 관련이 있었다. tocilizumab에서는 프레드니솔론 용량(SHAP가치 -0.175)가 낮으면, C-반응단백(SHAP 가치 0.134)이 높으면, 적혈구침강속도(SHAP 가치 -0.097)이 낮으면 remission과 관련이 있었다. 각각의 생물학적제제에서 변수별로 SHAP 가치의 평균을 구했을 때 가장 높은important feature는 프레드니솔론 용량(평균 SHAP 가치 -0.535)였고 모든 생물학적제제에서 각 생물학적제제별 프레드니솔론 용량의 SHAP가치는 remission과 음의 상관관계였다. 그 다음은 적혈구침강속도(평균 SHAP 가치 -0.448)이고 adalimumab에서만 remission과 양의 상관관계였고 나머지 생물학적제제에서는 모두 remission과 음의 상관관계였다. 세번째는 혈색소(평균 SHAP 가치 0.337)였으며 golimumab에서만 remission과 음의 상관관계였고 나머지 생물학적제제에서는 모두 remission과 양의 상관관계였다. 항CCP항체(평균 SHAP 가치 -0.285)의 경우 tocilizumab에서 remission에 영향력이 없었으나 나머지 생물학적제제에서는 모두 remission과 음의 상관관계가 있었다. 머신러닝을 이용하여 remission을 예측할 때 각 생물학적제제마다 변수들의 영향력이 다르게 작용한다는 것을 확인하였다. 결론: 머신러닝을 이용하여 각각의 생물학적제제에서 remission을 예측하였다. 또한 설명가능한 인공지능을 이용하여 생물학적제제마다 remission으로 예측된 환자들의 임상적 특징의 차이를 확인하였다. 이러한 머신러닝 방법을 활용하면 생물학적제제의 선택에 도움을 줄 뿐만 아니라 류마티스관절염 환자의 치료결과를 향상시키는데 도움을 줄 수 있다.