스마트 필드로봇의 시뮬레이션 모델 구축 및 심층강화학습을 이용한 작업경로 학습에 관한 연구

Abstract

필드로봇은 건설업뿐만 아니라 농업, 임업, 제조업 등 다양한 산업에서 활용되고 있으며 해저영역으로까지 범위를 확장해가고 있다. 여기서 말하는 필드로봇은 공장이 아닌 필드에서 작업하는 로봇으로 그 중 건설작업에서 사용되는 로봇으로 건설기계를 자동화한 로봇을 의미한다. 대표적인 필드로봇은 굴착기, 휠로더, 지게차 등이 있으며 본 논문에서는 굴착기를 필드로봇으로 표현하였다. 필드로봇의 대표 작업으로는 굴착 작업, 평탄화 작업, 철거 작업 등이 있으며 본 논문에서 대상으로 하는 필드로봇은 소형 굴착기로 작업공간이 협소한 곳에서 작업을 많이 하게 된다. 그러나 협소한 작업 공간에서 작업을 하는데 있어 동작 범위의 한계로 인해 불필요한 동작으로 작업 공수가 늘어나고 작업 시간이 증가하는 등 작업 효율성이 떨어진다. 따라서, 작업 효율성 증가와 작업 편의성 증가를 위해 필드로봇의 자유도 증가가 필요하다. 마찬가지로 초소 선회를 대체할 버켓의 틸팅, 로테이션과 같은 새로운 메커니즘이 필요하다. 이렇게 작업 효율을 증가시키기 위한 새로운 메커니즘인 틸트로테이터를 적용함으로써 작업시간 감소 등으로 작업 효율성이 증가하게 된다. 최근 건설 분야에서는 스마트 건설을 실현하기 위한 핵심 기술들의 연구가 활발히 진행되고 있다. 스마트 건설기계의 한 분야로 인공지능, AI 등과 건설기계를 접목한 지능형 건설기계 연구를 진행하고 있다. 이러한 연구들은 가상 공간의 필드로봇 모델을 이용하여 실제 필드로봇 작업을 수행하면서 발생하는 특성을 예측하는데 활용되고 있다. 따라서 본 논문에서는 필드로봇인 1.5톤 소형 굴차기를 대상으로 틸트로테이터가 적용된 6DOF 필드로봇에 대해 시뮬레이션 모델을 구축하고 동작 특성을 확인하여 분석하는 시뮬레이션과 필드로봇의 기구학적 모델과 강화학습 알고리즘을 이용한 심층강화학습 모델을 제안하고 실제 필드로봇에서 많이 수행하는 평탄화 작업에 대한 작업경로 시나리오를 모사한 경로 학습에 대한 기초연구를 수행하여 다음과 같은 결론을 도출하였다.

1. 다양한 필드로봇의 시뮬레이터 구축을 위한 시뮬레이션 모델 연구 - 틸트로테이터가 적용된 6DOF 필드로봇 시스템 제시 - 6DOF 필드로봇 시스템에 대한 기준 좌표계를 설정하고 순기구학, 역기구학의 수학적 모델을 제시하고 타당성을 검증 - 6DOF 필드로봇 시스템에 대한 제원 및 설계사양을 확인하여 3D모델, 유압모델, 기구/동역학 모델인 Multibody 모델, 제어모델 구축 - sine 파형, 굴착 동작에 대한 단독동작과 복합동작의 3가지 시뮬레이션을 통해 입력 값에 대해 출력 값이 유사하게 동작하는 것을 확인

2. 운전자 보조용 머신 가이던스를 위한 심층강화학습 모델 기초 연구 - 인공지능, AI 중 한 파트인 강화학습과 알고리즘에 대한 정의 및 이론 등 기본적인 개념 정립 - 강화학습 엔진에 적용하기 위한 필드로봇의 URDF 모델, GYM 환경 모델, PPO 알고리즘으로 작업경로 학습 모델 구축 - 평탄화 작업의 작업 경로를 학습한 결과 버켓 끝단의 위치가 설정한 오차 범위 0.1 m 이내에서 학습되어 동작하는 것을 확인 - 학습된 결과를 시뮬레이션 모델에 적용하여 동작된 결과를 확인