혼합 현실(MR:Mixed Reality) 기술이 발전하면서 다양
한 연구가 진행되어 오고 있다[1]. 특히, 미국 마이크로소
프트사에서 개발한 홀로렌즈 HMD는 2세대 제품을 선보이
면서 그동안 혼합현실 시장을 폭발적으로 성장시킨 매개
체 역활를 수행하였고 가장 많이 진보된 하드웨어 및 소프
트웨어 기술을 가지고 있다. MR 디바이스는 다양한 산업
분야에 적용이 가능하다. 그러나 실제 산업 분야에 적용하
기 위해서는 여러 가지 문제점을 해결해야 한다. 특히, 2
인 이상이 가상환경에 참여하여 공동 작업을 수행하기 위
해서는 여러 사람들이 객체를 공유해야 하는 문제를 해결
해야 한다. 또한, 혼합현실 속에서 여러 가지 센서 및 IoT
디바이스와 연동하여 자연스러운 객체 조작뿐만 아니라
다양한 응용 분야에 활용할 수 있다. 이러한 작업들이 실
제 산업 현장에서 필요한 혼합현실 응용 기술이라고 할 수
있다[2]. 본 논문에서는 이러한 두 가지 문제점을 해결하기
위한 연구에 대해 논하고자 한다.
1. Collaborative Environment
대표적인 MR 디바이스인 마이크로소프트사의 홀로렌즈
는 자체 제공하는 홀로툴킷으로 멀티환경을 제공해준다.
하지만 제공해주는 멀티환경은 3가지 문제점이 존재한다.
첫 번째로 컴퓨팅 파워가 낮은 홀로렌즈에 너무 많은 연산
을 부담시켜, 성능을 저하시킬 수 있다. 두 번 째로는 멀티
환경을 구성하는 부분을 수정할 수가 없기 때문에 제공해
주는 기능만을 가지고 개발해야 하는 즉, 새로운 기능을
추가적으로 개발 할 수가 없다. 마지막으로 두 번째와 연
관되는 문제로서 마이오(Myo), 키넥트(Kinect), 립 모션
(Leap motion), 모바일 등과 같은 웨어러블 및 모션 인식
디바이스등과 호환이 되지 않아 특정 애플리케이션 개발이
어렵다는 문제점이 있다[3]. 본 연구에서는 실제 산업 현장
에 적용할 수 있도록 하기 위해 2대 이상의 홀로렌즈 착용
을 하여 클라이언트, 서버 환경을 구축하여 가상의 공동
협업 멀티 환경을 구축하려고 한다[2-3]. 구축 방법에 있
어 발생되는 중요한 문제점을 제시하려고 한다. 우선 홀로
렌즈는 실행될 때 마다 월드축의 축 정보가 변경이 되는
문제다. 이러한 현상은 동일한 응용 애플리케이션을 실행
하는 다른 홀로렌즈 디바이스에 적용할 때 각기 다른 월드
축의 정보를 가지게 때문에 축에 대한 정보를 일원화하고
공유를 해야 한다. 서로 다른 축 정보를 가지고 있을 경우
가상 객체를 같은 위치로 적용시킨다 하더라도 실제 사용
자가 볼 경우 다른 위치에 존재하기 때문에 서로가 하나의
객체를 조작하기 어려운 문제점이 발생한다. 그래서 2대의
홀로렌즈를 사용하여 서로간의 객체 공유를 하려면 클라이
언트-서버 구조로 환경을 구축하여야 하는데 독립적인 컴
퓨팅 파워가 있는 홀로렌즈라 하더라도 서버로 운영할 시
그 에 해당하는 파워를 감당할 수 없다. 본 논문에서는 이
러한 문제점을 해결하기 위해 여러 시행착오 끝에 독립적
인 서버 운영을 선택하여 해결하였다. 마지막으로 개발 시
고려해야 되는 문제로서 홀로렌즈의 운영체제는
UWP(Universal Windows Platform)기반에서 운영되고
있기 때문에, 일반적으로 UWP를 지원하지 않는 다양한 웨
어러블 IoT 센서는 홀로렌즈와 쉽게 연동할 수 없다. 본
연구에서는 독립적인 서버에 센서들을 셋팅하고 결과 값만
을 홀로렌즈로 전송하는 방식을 사용하여 혼합현실 환경에
서 서로 호환되지 않는 비 플랫폼간의 연결을 적용하였다.
2. Virtual object manipulation using Myo
본 논문에서는 MR 홀로렌즈 기반위에 제스처를 적용하
는 방법을 제시하고자 한다. 기본적으로 제공해 주는 제스
처 인식 외에 실제 산업 현장에서 사용될 수 있는 제스처를
개발하여 새로운 인터랙션 방법을 소개 한다. 홀로렌즈 환
경에서 자연스러운 제스처 인식을 위해서는 가상 객체를
조작하기 위한 손의 위치, 회전 트래킹에 대한 문제를 고려
해야 한다. 홀로렌즈에서는 특정 제스처를 취하고 그 제스
처를 유지해야만 손의 위치를 트래킹 할 수 있고, 회전 트
래킹은 불가능 하다. 멀리 떨어져 있는 가상 객체를 트리거
를 통해 이동하기 때문에 실체감이 많이 떨어질 수 있다.
그리고 가상 객체를 다른 사용자와 동시에 조작 할 수 없
다. 본 논문에서는 근전도 센서를 가지고 있는 암 밴드인
마이오를 활용하여 손을 기반으로 하는 새로운 인터페이스
를 연구하였고, 위치 트래킹과 회전 트래킹, 손동작 인식
기술을 이용함으로서 상호 작용을 새롭게 적용하였다[5,9].
이를 기반으로 가상 공동 협업 공간에서 객체 공유를 통해
여러 사람이 동시에 조작할 수 있는 연구를 진행하였다.
본 논문의 구성은 다음과 같다. 1장 서론에서는 2가지 연
구의 중요한 필요성에 대해 설명하였으며, 2장 관련연구에
서는 현재 본 연구와 관계가 있는 사례에 대해 논의 하였다.
3장에서는 멀티 환경 구축과 다양한 디바이스들과의 연동을
위한 알고리즘에 대해 설명하였다. 4장 실험에서는 본 논문
에서 제안한 알고리즘을 기반으로 구현한 결과에 대해 다루
고 마지막으로 결론에서는 향후 계획에 대해 설명한다.