디지털 트윈을 활용한 스마트 공간 내 인간-컴퓨터 간 상호작용 시스템 개발

Abstract

최근 스마트 홈에 관한 관심과 연구가 증가하고 있으며 일반 주택뿐만이 아닌 다양한 장소에서 활용되는 시도가 이어지고 있다. 스마트 홈을 구성하는 주요 기술 중 하나인 Human-Computer Interaction (HCI) 또한 여러 방향에서 연구가 진행되고 있다. 본 연구는 HCI를 구현할 때 주로 사용되는 방법들에 대한 문제점을 제기하고, 문제점에 대한 해결책으로 디지털 트윈과 인공지능 모델을 통해 HCI를 구축하는 방법을 제기한다. 실제 현실의 장소에 대한 규격을 측정하고, 측정한 데이터를 바탕으로 디지털 트윈 환경을 구축했다. 이후 3개의 카메라를 통해 사람의 2차원 관절 좌표를 추정, 각 관절의 좌표를 통해서 3차원 관절 좌표를 설정하여 사람의 3차원 상태를 디지털 트윈 내에 표현, 자세를 통하여 상호작용을 발생시킨다. 위와 같은 순서를 통해 HCI 시스템을 구축하고, 제안한 시스템의 유효성을 증명하기 위해 시뮬레이션 환경에서 5개의 상호작용 객체에 대해서 상호작용의 성공률에 대해 실험을 수행하였고, 최종적으로 82.7%의 성공률을 확인하였다.