증식 데이터셋 구축을 통한 객체 인식 성능 향상 방안 연구

Abstract

최근 인공지능의 발달로 다양한 산업 분야에서 급격한 환경 변화가 일어나고 있다. 이미 많은 공장 라인에서는 사람을 대신하여 자동화장비 및 무인 로봇으로 대체되고 있으며, 그에 대한 수요는 증대하고 있다. 그 뿐만 아니라 자율주행 차량, 무인 택배 로봇 등과 같이 제한된 환경을 넘어 우리의 일상 반경의 경계도 허물어 많은 부분에서 차지하는 비중이 증가하고 있다. 따라서 이와 같이 다양한 변수를 지닌 환경에서 대응이 가능한 기술적 요구가 꾸준히 제기되고 예상치 못한 환경에서의 로봇 움직임은 강건해야 한다. 이에 핵심적인 기술로, 다양한 임무 수행이 가능한 로봇 플랫폼 구축과 딥러닝 기반의 영상 객체 인식 기술이 필수적이다. 현재 물체 인식 관련 분야에서 딥러닝 구조 개선, 딥러닝 학습 방식 최적화 등과 같은 연구가 꾸준히 진행중이다. 그 이외에도 데이터 증식을 통해 인식 성능 향상을 도모하는 연구도 상당히 진전되고 있다. 특히 물체 인지 기술의 안정적이고 좋은 성능을 위해선 편향되지 않으며 수십에서 수백만장의 방대한 데이터셋이 요구된다. 주로 온라인에서 제공되는 공유 데이터셋은 차량, 사람, 컵, 동물 등과 같이 보편적인 사물로 구성되어 있다. 그러나 산업이나 개인적으로 특수한 환경에서 볼 수 있는 사물에 대한 데이터셋은 얻기 어려울 뿐만 아니라 구축하기에는 상당한 시간과 인력이 소모된다. 본 논문에서는 특화된 환경에서 물체 인식의 성능 향상을 위한 데이터셋 구축 프레임 워크를 제시한다. 이를 검증하기 위해 딥러닝 학습을 통해 성능 평가를 실시하고 실제 환경에서 테스트를 통해 정확도를 검증한다. 사물 인식 (Object detection)을 위한 딥러닝 학습에 필요한 커스텀한 데이터셋을 구축하였다. 먼저 공유 데이터셋에서 얻지 못하는 커스텀 데이터셋을 대상으로 온라인에서 데이터 수집을 실시하였고, 부족한 양과 편향된 데이터를 보완하기 위해 데이터 조작(Manipulation)과 딥러닝 GAN(Generative Adversarial Network)로 이루어진 프로세스를 구축하여 데이터 증식 을 실시하였다. 이미지 Manipulation으로는 회전, 반전, 블러, 랜덤 노이즈를 적용하였고, 딥러닝 기반의 GAN은 DCGAN, WGAN, SRGAN 구조를 통해 학습을 실시하였다. 해당 기술들을 효율성과 성능 최적화를 위해 데이터 증식 프레임 워크를 구축하였다. 해당 데이터셋의 성능 검증을 위해 1-stage 객체인식 알고리즘인 YOLO 계열 구조로 학습을 실시하였다. 이는 정확도와 실시간 인식시간의 절충된 알고리즘으로 빠른 시간 내에 적절한 정확도 결과를 가져다 주기에 이를 적용하였다. 총 YOLOv4, YOLOv3, YOLOv3-tiny 구조 기반으로 딥러닝 학습을 실시하였다. YOLOv4 학습 시에 최신 딥러닝 학습 기법인 Mish activation function, 상호 연관성을 띄는 구역 Dropout을 실시하는 DropBlock, CmBN 등을 활용하여 학습을 진행하여 최적 모델을 생성하였다. 그 이외에도 데이터셋별로 YOLOv3, YOLOv3-tiny 구조로 학습 모델을 생성하였다. 성능 검증을 위해 Precision과 Recall의 인자를 포함하는 PR곡선의 면적을 계산하는 AP 평가지표를 활용하였다. 수집된 데이터셋, 증식 데이터셋별로 동일한 테스트 데이터셋으로 AP 정확도를 추출하여 성능을 검증하였고 다양한 YOLO 구조 기반으로 검증을 실시하였다. 제시한 증식 데이터셋은 기존 수집된 데이터셋 대비하여 mAP 기준으로 평균 10~20% 의 정확도 향상, 최대 36%의 성능 향상을 확인하였다. 각각의 증식 기법에 의해 증식된 이미지 개수 당 정확도 향상 비율을 분석하였다. 기존 Manipulation 기법에 비해 GAN 기반의 데이터는 새로운 이미지를 생성하면서 편향적이지 않는 데이터셋을 생성함을 알 수 있었다. 추가적으로 생성된 최적 모델을 이용하여 실제환경에서 임베디드 기반 물체 인식 성능 테스트를 진행하였다. 이 때 ROS 기반의 UGV의 플랫폼을 활용하여 물체 인식 성능을 확인하였다. 또한 UGV의 탑재된 임베디드 보드인 NANO, TX2, Xavier에 인지 정확도 및 속도 성능을 확인하였다. 인지하고자 하는 사물 주변에서 실시간 정확도를 학습 모델별로 확인하여 정확도 향상을 확인하였다. 또한 YOLOv3-tiny 기준으로 Xavier기반 평균 54FPS, TX2 기반 평균 24FPS, NANO 기반 평균 12FPS의 속도를 제공하였다. YOLOv3기준으로 Xavier기반 평균 14FPS, TX2 기반 평균 8FPS, NANO 기반 평균 3FPS의 속도를 제공하였다. 본 논문에는 커스텀한 사물의 데이터셋을 구축하기 위한 프레임 워크를 제시하였고, 이를 YOLO 계열의 구조로 딥러닝 학습을 실시하여 최적 모델을 생성하였다. 생성된 모델의 성능 검증을 AP기반 실시하였으며, 실제환경에서 데이터셋 종류에 따라 테스트를 실시하여 제시하는 데이터셋의 안정적이고 높은 성능을 실시간으로 확인하였다. 이 뿐만 아니라 물체 인식의 인지 속도를 개선하고자 다양한 임베디드 시스템을 이용하여 성능 평가를 실시하였다.