A Study on the Gesture Based Virtual Object Manipulation Method in Multi-Mixed Reality

Page 1

JKSCI

한국컴퓨터정보학회논문지

Journal of The Korea Society of Computer and Information

Vol. 26 No. 2, pp. 125-132, February 2021

https://doi.org/10.9708/jksci.2021.26.02.125

A Study on the Gesture Based Virtual Object Manipulation Method

in Multi-Mixed Reality

1)Sung-Jun Park*

*CEO, Company of DataReality, Seoul, Korea

[Abstract]

In this paper, We propose a study on the construction of an environment for collaboration in mixed

reality and a method for working with wearable IoT devices. Mixed reality is a mixed form of virtual

reality and augmented reality. We can view objects in the real and virtual world at the same time. And

unlike VR, MR HMD does not occur the motion sickness. It is using a wireless and attracting attention as

a technology to be applied in industrial fields. Myo wearable device is a device that enables arm rotation

tracking and hand gesture recognition by using a triaxial sensor, an EMG sensor, and an acceleration

sensor. Although various studies related to MR are being progressed, discussions on developing an

environment in which multiple people can participate in mixed reality and manipulating virtual objects

with their own hands are insufficient. In this paper, We propose a method of constructing an environment

where collaboration is possible and an interaction method for smooth interaction in order to apply mixed

reality in real industrial fields. As a result, two people could participate in the mixed reality environment

at the same time to share a unified object for the object, and created an environment where each person

could interact with the Myo wearable interface equipment.

▸Key words: Mixed Reality, Multi-Person, Myo Wearable device, Cooperation, Interaction Gesture

[요 약]

본 논문에서 혼합현실에서 공동 작업을 위한 환경 구축에 대한 연구와 웨어러블 IOT 디바이스

와 연동하기 위한 방법을 제안한다. 혼합현실은 가상현실과 증강현실의 혼합되어진 형태로서 실

세계와 가상세계의 물체가 동시에 보이고, 가상현실과 달리 멀미 현상이 일어나지 않고 무선 방

식이라 산업현장에서 적용될 기술로 주목 받고 있다. 마이오 웨어러블 디바이스는 삼축 센서, 근

전도 센서, 가속도 센서를 이용하여 팔의 회전 트래킹과 손 제스처 인식을 가능하게 하는 디바이

스이다. 혼합현실 관련 다양한 연구가 진행되고 있지만 여러 사람이 함께 혼합 현실 참여할 수

있는 환경 구축, 가상 객체를 직접 손으로 조작하는 것에 대한 논의는 미비한 상황이다. 본 논문

에서는 실제 산업 현장에서 혼합 현실을 적용하기 위해 공동 작업이 가능한 환경 구축 방법에 대

해 연구하였고, 상호작용이 원활하게 이루어지기 위한 인터랙션 방법에 대해 논의하였다. 그 결과

2인이 동시에 혼합현실 환경에 참여하여 객체에 대한 일원화된 객체를 공유할 수 있었고, 마이오

웨어러블 인터페이스 장비를 가지고 각자 인터랙션 할 수 있는 환경을 조성하였다.

▸주제어: 혼합현실, 다중 사용자, 마이오 웨어러블 디바이스, 공동작업, 인터랙션 제스처

∙First Author: Sung-Jun Park, Corresponding Author: Sung-Jun Park

*Sung-Jun Park (sjpark.jesus@gmail.com), Company of DataReality

∙Received: 2021. 02. 01, Revised: 2021. 02. 24, Accepted: 2021. 02. 25.

http://www.ksci.re.kr pISSN:1598-849X | eISSN:2383-9945

Page 2

126 Journal of The Korea Society of Computer and Information

I. Introduction

혼합 현실(MR:Mixed Reality) 기술이 발전하면서 다양

한 연구가 진행되어 오고 있다[1]. 특히, 미국 마이크로소

프트사에서 개발한 홀로렌즈 HMD는 2세대 제품을 선보이

면서 그동안 혼합현실 시장을 폭발적으로 성장시킨 매개

체 역활를 수행하였고 가장 많이 진보된 하드웨어 및 소프

트웨어 기술을 가지고 있다. MR 디바이스는 다양한 산업

분야에 적용이 가능하다. 그러나 실제 산업 분야에 적용하

기 위해서는 여러 가지 문제점을 해결해야 한다. 특히, 2

인 이상이 가상환경에 참여하여 공동 작업을 수행하기 위

해서는 여러 사람들이 객체를 공유해야 하는 문제를 해결

해야 한다. 또한, 혼합현실 속에서 여러 가지 센서 및 IoT

디바이스와 연동하여 자연스러운 객체 조작뿐만 아니라

다양한 응용 분야에 활용할 수 있다. 이러한 작업들이 실

제 산업 현장에서 필요한 혼합현실 응용 기술이라고 할 수

있다[2]. 본 논문에서는 이러한 두 가지 문제점을 해결하기

위한 연구에 대해 논하고자 한다.

1. Collaborative Environment

대표적인 MR 디바이스인 마이크로소프트사의 홀로렌즈

는 자체 제공하는 홀로툴킷으로 멀티환경을 제공해준다.

하지만 제공해주는 멀티환경은 3가지 문제점이 존재한다.

첫 번째로 컴퓨팅 파워가 낮은 홀로렌즈에 너무 많은 연산

을 부담시켜, 성능을 저하시킬 수 있다. 두 번 째로는 멀티

환경을 구성하는 부분을 수정할 수가 없기 때문에 제공해

주는 기능만을 가지고 개발해야 하는 즉, 새로운 기능을

추가적으로 개발 할 수가 없다. 마지막으로 두 번째와 연

관되는 문제로서 마이오(Myo), 키넥트(Kinect), 립 모션

(Leap motion), 모바일 등과 같은 웨어러블 및 모션 인식

디바이스등과 호환이 되지 않아 특정 애플리케이션 개발이

어렵다는 문제점이 있다[3]. 본 연구에서는 실제 산업 현장

에 적용할 수 있도록 하기 위해 2대 이상의 홀로렌즈 착용

을 하여 클라이언트, 서버 환경을 구축하여 가상의 공동

협업 멀티 환경을 구축하려고 한다[2-3]. 구축 방법에 있

어 발생되는 중요한 문제점을 제시하려고 한다. 우선 홀로

렌즈는 실행될 때 마다 월드축의 축 정보가 변경이 되는

문제다. 이러한 현상은 동일한 응용 애플리케이션을 실행

하는 다른 홀로렌즈 디바이스에 적용할 때 각기 다른 월드

축의 정보를 가지게 때문에 축에 대한 정보를 일원화하고

공유를 해야 한다. 서로 다른 축 정보를 가지고 있을 경우

가상 객체를 같은 위치로 적용시킨다 하더라도 실제 사용

자가 볼 경우 다른 위치에 존재하기 때문에 서로가 하나의

객체를 조작하기 어려운 문제점이 발생한다. 그래서 2대의

홀로렌즈를 사용하여 서로간의 객체 공유를 하려면 클라이

언트-서버 구조로 환경을 구축하여야 하는데 독립적인 컴

퓨팅 파워가 있는 홀로렌즈라 하더라도 서버로 운영할 시

그 에 해당하는 파워를 감당할 수 없다. 본 논문에서는 이

러한 문제점을 해결하기 위해 여러 시행착오 끝에 독립적

인 서버 운영을 선택하여 해결하였다. 마지막으로 개발 시

고려해야 되는 문제로서 홀로렌즈의 운영체제는

UWP(Universal Windows Platform)기반에서 운영되고

있기 때문에, 일반적으로 UWP를 지원하지 않는 다양한 웨

어러블 IoT 센서는 홀로렌즈와 쉽게 연동할 수 없다. 본

연구에서는 독립적인 서버에 센서들을 셋팅하고 결과 값만

을 홀로렌즈로 전송하는 방식을 사용하여 혼합현실 환경에

서 서로 호환되지 않는 비 플랫폼간의 연결을 적용하였다.

2. Virtual object manipulation using Myo

본 논문에서는 MR 홀로렌즈 기반위에 제스처를 적용하

는 방법을 제시하고자 한다. 기본적으로 제공해 주는 제스

처 인식 외에 실제 산업 현장에서 사용될 수 있는 제스처를

개발하여 새로운 인터랙션 방법을 소개 한다. 홀로렌즈 환

경에서 자연스러운 제스처 인식을 위해서는 가상 객체를

조작하기 위한 손의 위치, 회전 트래킹에 대한 문제를 고려

해야 한다. 홀로렌즈에서는 특정 제스처를 취하고 그 제스

처를 유지해야만 손의 위치를 트래킹 할 수 있고, 회전 트

래킹은 불가능 하다. 멀리 떨어져 있는 가상 객체를 트리거

를 통해 이동하기 때문에 실체감이 많이 떨어질 수 있다.

그리고 가상 객체를 다른 사용자와 동시에 조작 할 수 없

다. 본 논문에서는 근전도 센서를 가지고 있는 암 밴드인

마이오를 활용하여 손을 기반으로 하는 새로운 인터페이스

를 연구하였고, 위치 트래킹과 회전 트래킹, 손동작 인식

기술을 이용함으로서 상호 작용을 새롭게 적용하였다[5,9].

이를 기반으로 가상 공동 협업 공간에서 객체 공유를 통해

여러 사람이 동시에 조작할 수 있는 연구를 진행하였다.

본 논문의 구성은 다음과 같다. 1장 서론에서는 2가지 연

구의 중요한 필요성에 대해 설명하였으며, 2장 관련연구에

서는 현재 본 연구와 관계가 있는 사례에 대해 논의 하였다.

3장에서는 멀티 환경 구축과 다양한 디바이스들과의 연동을

위한 알고리즘에 대해 설명하였다. 4장 실험에서는 본 논문

에서 제안한 알고리즘을 기반으로 구현한 결과에 대해 다루

고 마지막으로 결론에서는 향후 계획에 대해 설명한다.

Page 3

A Study on the Gesture Based Virtual Object Manipulation Method in Multi-Mixed Reality 127

II. Related Works

1. Multi-Persons platform using Hololens

마이크로소프트사에서 개발한 홀로렌즈가 대중에게 발

표되고 다양한 연구가 진행되어 오고 있다. 혼합현실 환경

특성상 실제 산업 현장에서 활용될 수 있는 응용 기술이

많이 제안될 수 있는 환경이다. 혼합현실 환경은 1인 참여

기반의 응용 기술이 활용될 수 있지만 산업 현장에서는 2

인 이상이 참여 하여 공동 작업이 필요할 경우가 있다

[2-3]. 이러한 경우에 발생되는 공동 참여 기반의 홀로렌

즈의 객체 충돌 회피 문제는 공동 참여자들이 동일한 환경

을 공유하여 일원화게 유지하는 방법을 사용해야 한다.

[그림1]은 일반적으로 객체 공유 방법을 사용한 예를 보이

고 있다. 이 방법은 곧 독립적인 서버를 구성하지 않고 홀

로렌즈 상에서의 객체 공유가 이루어지는 방식이다.

Fig. 1. Multi-persons with Hololens

홀로레즈는 다양한 산업 분야에서 응용될 수 있다. 최근

에는 빌딩에서의 멀티 레벨 긴급 재난 환경에 대해 단계별

시뮬레이션을 적용한 솔루션을 연구하였다. [그림2]는 미

국 Bowie 주립 대학교에서는 비상구의 탈출로를 최단 경

로를 계산해서 홀로렌즈로 시각화 하는 연구를 진행하였

다[6]. 이때 뷰포리아 라이브러리를 이용해서 태그 인식을

통해 건물의 특정 배치를 스마트 폰에 적용하여 경로 계산

을 할 수 있는 앱을 개발하였다. 이 논문에서는 스마트 폰

과 홀로렌즈와 연동하여 비상구의 위치 정보를 단순히 보

여주는 기능을 가지고 있다. 본 논문에서는 독립적인 서버

를 구축하고 스마트 폰과 연결하고 공간의 위치 정보를 데

이터메이스에 저장했다가 보여주는 방법을 선택하여 활용

하도록 하였다.

Fig. 2. smart-phone storing location information for

hololens visualization

2. Wearable Device & Senses

마이오 웨어러블 암 밴드 디바이스는 탈 미랩스 벤처회

사가 개발한 제스처 기반 HID 기기로 암 밴드 형태로 되

어 있어서 팔에 끼워서 사용하는 디바이스이다[8]. 마이오

는 기기 자체에 내장된 센서를 이용해 근육의 전기 신호를

읽어 내어 착용자가 어떤 제스처를 취하고 있는지를 알아

내어 이에 따라 각종 디지털 장비와 통신하는 방법을 사용

하고 있다. 마이오는 팔목에 착용한 후 팔 과 손을 움직이

면 근육의 움직임을 인식하고 데이터를 블루투스 4.0 통신

모듈을 통해 전송함으로써, 이를 각종 디지털 장비의 제어

에 활용할 수 있다. 마이오 장비는 EMG 근육 인식 센서와

ARM CORTEX M4프로세서, 블루투스 4.0 통신, 3축 가

속도, 3축 자이로스코프, 3축 자력계, 충전 가능한 리튬 배

터리를 탑재하고 있으며 윈도우, 맥, 안드로이드 플랫폼과

호환이 가능한 API를 제공해 주고 있다.

Fig. 3. Gestures using the Myo device

활용 예는 다양하게 적용할 수 있는데, 컴퓨터에서의 화

면 전환, 드론 제어, 게임 제어 등에서 응용되고 있지만 산

업 현장과 같은 환경에서 사용한 전례는 아직 없다. 또한,

홀로렌즈나 가상현실 장비와 함께 운영된 사례가 없다. 이

는 서로간의 플랫폼 개발이 호환되지 않기 때문이다. 또

한, 마이오 밴드가 원래 한 개만 착용하여 사용되는 것으

Page 4

128 Journal of The Korea Society of Computer and Information

로 되어 있어 양 팔에 적용한다고 하면 입력되는 시그널

신호가 왼쪽에 착용된 것인지 오른쪽에서 착용된 것인지

구별할 수 없다.

[그림3]는 마이오를 착용하고 다양한 제스처를 통해 입

력되는 전기적 신호를 알아내는 방법을 보여주고 있다. 그

림에서 보는 바와 같이 팔 근육의 움직임을 통해 근육의

수축 정도로 제스처의 동작을 인식할 수 있다. 물론 전기

적인 신호 이므로 시그널에 대한 의미 분석을 통해 명령

형태를 재 정의하여 응용 분야에 적용을 해야 한다.

Fig. 4. Gesture-based robot, myo band, robot

control program in connecting Hololens

[그림4]은 마이오 웨어러블 디바이스와 홀로렌즈를 착용

한 혼합현실 환경에서 로봇을 제어하는 연구의 사례를 보

인 것이다. 마이오 밴드를 통해 제스처에 대한 동작 데이

터를 저장하고 이를 원격에 있는 로봇에게 적용하게 된다

[7,8]. 이러한 모든 과정의 시각적 정보는 홀로렌즈를 통해

혼합현실로 시각화 될 수 있다. 홀로렌즈는 기본적인 제스

처 인식 명령만을 인식하므로 복잡한 모션 정보는 새롭게

개발하여 적용을 해야 한다. 홀로렌즈와 다양한 센서 및

IoT 디바이스와의 연동한 응용 솔루션을 개발하기 위해서

는 제한적인 개발 플랫폼을 해결해야 한다. 위와 같은 연

구는 한손만을 착용하여 제어를 하고 있기 때문에 양손 착

용은 적용 되지 않았다.

본 연구에서는 다중 홀로렌즈 사용자가 멀티 환경에 참

여할 때 각각 마이오 디바이스를 양팔에 착용할 경우에 대

해 논의 하였고 아직 이러한 사례는 구현되고 있지 않다

[9,12]. 본 연구에서는 무거운 에어콘을 천장에 설치를 할

경우 2인 이상이 동시에 작업을 해야 할 경우 4개의 마이

오 디바이스와 홀로렌즈가 서로 통신을 해야 하며 각각 왼

팔과 오른팔에 실시간 입력되는 센서 데이터를 구분하여

제스처로 재구성하여 공동 협업이 가능하도록 하였다.

III. MR Cooperation System

1. Virtual Cooperation Environment

본 논문에서는 혼합현실기반의 다중 사용자 참여를 위해

객체들 간의 기준 좌표 점을 공유 및 재조정하고, 성능저하

없는 플랫폼 구성, 다양한 디바이스들 간의 통신은 서버를

통하여 홀로렌즈에 연동할 수 있는 방법을 제시하고자 한다.

2대 이상의 홀로렌즈 사용자가 가상의 공간에서 공동

작업을 위해서는 3가지의 사항을 고려해야 한다. 우선 각

홀로렌즈의 월드축이 실행 시 변경되어서 사용자가 기준

좌표 점을 공유할 수 없고, P2P 방식으로 2대중 1대를 서

버로 구성할 경우 홀로렌즈의 성능이 좋지 않아 효율성이

떨어져서 사용할 수 없기 때문에 적은 연산에도 쉽게 성능

이 저하되는 문제가 있다. 홀로렌즈는 UWP 운영체제를

기반으로 하고 있기 때문에 다양한 센서 및 IoT 디바이스

들이 호환성이 떨어져서 홀로렌즈 환경에서 다양한 융합

애플리케이션 개발이 힘들다는 에로 사항이 있다. 우선 가

상공간에서의 객체 공유를 위한 기준 좌표를 해결하기 위

한 방법으로 3가지를 고려할 수 있는데, 우선, 암 밴드인

마이오 디바이스와 홀로렌즈 연동 시 고유넘버를 지정하

는 방법이며, 두 번째로는 이미지 인식 기술을 통한 축 재

조정 방법을 사용할 수 있고, 마지막으로 여러 디바이스를

통해 가상객체 관리 방법 위 방법들을 통해서 축이 변경되

는 문제점을 해결 할 수 있다.

Fig. 5. Unique numbering method for connecting multiple

Myo bands and Hololens

1.1 Myo & Hololens unique numbering method

홀로렌즈를 클라이언트로 하고 독립된 서버를 구축하여

여러 개의 마이오 암 밴드와 홀로렌즈가 서버를 매개체로

하여 연동이 가능하다. 각 마이오 디바이스들은 오른쪽-왼

쪽에 대한 구분이 없기 때문에 서버에서는 홀로렌즈 하나

에 마이오 디바이스를 두 개씩 짝을 지어주어야 하고, 각

Page 5

A Study on the Gesture Based Virtual Object Manipulation Method in Multi-Mixed Reality 129

소유권을 넘겨주는 작업이 필요하다. 여기서 소유권이라는

뜻은 홀로렌즈를 기준으로 가상의 팔을 붙이는 과정으로

서 기준 위치를 뜻한다. 가상의 팔은 마이오의 특정 값을

이용하여 만든다. 각 마이오 디바이스에 고유 번호를 지정

하고, 서버에서는 지정된 고유 번호를 가지고 짝을 지어주

고 소유권을 넘겨주도록 한다. 만약 2인이 동시에 공동 작

업을 한다면 4개의 마이오 디바이스는 어떤 홀로렌즈와 연

동하는지에 대한 정보가 서버 쪽으로 전달되어야 하며, 또

한, 전달된 해당 소유권을 기준으로 PC는 마이오의 위치

와 회전을 수정하고, 최종 마이오(가상 팔) 변환

(Transform) 값을 홀로렌즈에 전달한다. 모든 마이오의

이동, 회전은 서버에서 업데이트 되고 있기 때문에, 홀로

렌즈에서는 추가적인 처리는 필요 없고, 혼합현실 상에 존

재하는 가상 팔들의 위치만 수정해주면 된다.

1.2 Re-Axis through image recognition

홀로렌즈의 기준 좌표축은 프로그램이 구동 시 초기에 머

리의 위치로 설정되기 때문에, 홀로렌즈마다 영점(기준 좌

표계 원점)이 다를 수밖에 없다. 뷰포리아는 컴퓨터 비전 기

술을 사용하여 평면 이미지와 3D 물체를 실시간 인식하고

추적하는 AR 기술이다[4]. 본 논문에서는 뷰포리아의 이미

지 인식 기술을 사용하여 서로 다른 원점에 대한 동기화 작

업을 해결하였는데, 등록한 이미지가 실제세계에서 인식됐

을 때 그 이미지 위치로 축을 바꾸는 방법으로 해결하였다.

홀로렌즈 프로그램을 시작하면 기본적으로 이미지 인식 카

메라를 활성화 한다. 이미지 인식이 되고, 축이 재조정 됐다

고 판단되면 서버 접속 요청을 시도할 수 있게 된다. 만약

축 재조정이 되어있지 않다면, 서버에 접속 요청을 할 수 없

게 된다. 이미지를 판단할 때 드는 비용이 크기 때문에, 축이

재조정 된 후에는 이미지 인식 카메라를 비활성화 해준다.

Fig. 6. Flow diagram for Axis Compensation

process through Image recognition

[그림6]은 이러한 이미지 인식 기술을 이용하여 서로 다

른 원점에 일치시키기 위한 매핑 작업에 대한 알고리즘을

다이어그램으로 표시한 것이다.

1.3 Virtual object manipulation with multiple devices

홀로렌즈가 제공 해주는 인터페이스는 GAZE와 클릭 밖

에 없다. 이러한 인터페이스로는 가상 객체 조작이 제한적

이다. 가상 객체를 효과적으로 조작하기 위해서는 다른 IoT

센서들과 함께 연동시킬 필요성이 있다. 그래서 가상객체

를 생성, 삭제, 이동할 때의 편의성을 증가시키기 위해 각

센서 디바이스의 운영체제에 맞게 객체 생성 및 삭제를 할

수 있는 프로그램이 필요하다. 모바일의 경우에는 버튼 클

릭을 통해 가상 객체를 생성할 수 있는 앱을 만들었다. PC

의 경우에는 버튼 클릭과 마우스 조작을 통해서 가상 객체

생성, 삭제, 이동을 할 수 있는 프로그램을 개발하였다.

Fig. 7. Multi-person mixed with various devices and hololens

[그림7]은 이와 같은 인터랙션에 대한 실제 동작 방법을

요약한 것이다. 스마트 폰을 이용하여 혼합현실 환경에서

객체 생성, 삭제, 이동 등에 대한 조작을 원활하게 수행하

게 된다. 마이오 같은 경우에는 팔 회전 트래킹과 제스처

트래킹을 이용하여 가상 객체를 잡고 이동시킬 수 있게 구

현하였다. 홀로렌즈의 경우에는 음성 인식을 통하여 가상

객체를 생성하고 삭제할 수 있게 하였다. [표1]은 위와 같

은 방식으로 각 IoT 디바이스들을 융합하여 동시에 조작

하여 가상 객체를 관리 할 수 있다 [5]. (1) 공간의 위치 정

보를 저장하여 핸드폰을 터치 했을 경우 홀로렌즈와 연동

되어 객체를 생성 조작 할 수 있게 하였다. (2) 따로 PC 급

의 서버를 사용하지 않고 스마트 패드를 중계기(혹은 서

버)로 활용하여 2인의 홀로렌즈 사용자가 동시에 네트워크

Page 6

130 Journal of The Korea Society of Computer and Information

에 참여하여 공동 작업을 할 수 있다. (3), (4) 마이오 웨어

러블 장비로부터 들어오는 팔의 동작 데이터이며, (5) 손목

이하 손가락 인식 정보이다. (6) 상체의 큰 움직임 데이터

를 나타낸다. (3) ~ (6) 까지는 손가락, 팔, 상체 등의 모션

데이터를 융합하여 서버에서는 상세한 제스처를 판단하게

된다. 이로서 산업 현장에서 사용될 수 있는 잡고, 들고,

나르는 등의 작업을 혼합현실 환경에서 가능하게 된다.

IoT Devices

Hololens (User1)

(1)

Smart Phone

Application / App

(2) Smart Pad

Gateway or Server

(3)

Myo Arm Band(1)

Left Arm Motion Data

(4)

Myo Arm Band(2)

Right Arm Motion Data

(5)

Leap Motion

Fingers Motion Data

under the wrist

(6)

Kinect

Upper body twist

Table 1. Convergence of devices and hololens

1.4 System Diagram of VR Collaborative Enviroment

서버 PC는 서버 고유의 기능을 담당하는 것은 물론이고

마이오, 가상객체관리를 위한 PC프로그램과 핸드폰, 홀로

렌즈로부터 데이터를 받고 모든 연산을 처리한다. PC는

혼합현실내의 모든 가상객체의 위치, 회전 값과 상호작용

여부를 업데이트한다. 홀로렌즈의 음성인식을 이용한 객체

관리 시스템, 핸드폰과 가상객체관리 PC 프로그램부터 객

체 생성, 삭제, 이동 명령을 받고, 그 명령들을 수행한다.

가상의 손이 가상 객체를 잡았는지의 판단여부와 그에 따

른 이동과 회전 또한 담당한다. 이 모든 것들을 처리하면

최종 결과 값만을 홀로렌즈에게 전달하고, 홀로렌즈는 그

값을 이용하여 가상객체를 화면에 시각적으로 표현한다.

모든 IoT 디바이스 및 센서들이 동일한 네트워크(Wifi) 안

에서 운영이 되며 소켓 환경에서 데이터 전송속도를 높이

기 위해 UDP를 사용하여 개발하였다. 홀로렌즈와 스마트

폰에서 PC로 서버 접속 요청을 할 시에는 브로드캐스트

방식을 사용함으로써 서버 PC의 인터넷 환경에 상관없이

연동할 수 있게 하였다. 서버 PC는 PC, 스마트 폰, 홀로렌

즈로부터 데이터를 수신하지만, 서버PC 데이터를 보내는

것은 홀로렌즈에게 결과 값을 전달하는 역할만 수행한다.

이는 서로간의 통신을 최소한으로 줄여 서버의 부담을 줄

이기 위함이다. 서버PC에서 홀로렌즈로 가상객체 변환 데

이터를 보낼 때, 그 전 프레임과 비교했을 때 값이 바뀐 객

체만을 List로 모아서 직렬화(Serialization) 한 후 전송하

는 방법을 사용하였고. 데이터 전송 주기는 1초에 30번만

데이터를 전송하여 부담을 최소한으로 줄였다. 홀로렌즈에

서 가상객체의 변환을 업데이트할 때는 선형 보간을 이용

하여, 부드럽게 이동 및 회전이 가능하도록 구현하였다.

Fig. 8. Working process between client and server

IV. Experiments

실험은 서버를 담당하는 PC와 마이오, 객체관리를 위한

PC, 스마트 폰, 가상객체들을 보여줄 홀로렌즈 모두 하나

의 혼합현실 내에서, 성능 저하 없이 작동하는 것을 목표

로 실험하였다. [표2]은 실험에서 사용된 장비들에 대한 스

펙을 나타낸 것이다.

Item

Value

Hololens

100 ~ 500 MIPS

PC (Server)

i7 4790 Intel / 16GB RAM/ GTX970

Myo

Muscle electrical signal detection

sensor, 6-Axis Gyro sensor, Bluetooth

4.0, ARM Processor, Lithium-ion battery

LG G6

Qualcomm Snapdragon 821, 4GB RAM,

Android 8.0 Oreo

Table 2. System Environment

첫 번째 실험은 [그림9]과 같이 MR 홀로렌즈 기반에서

동기화 되어 멀티 플랫폼을 구축 하는데 성공하였다. 동기

화 된 내용으로서 홀로렌즈 머리 위에는 마커(지구)를 띄

워 상대방이 연결 되었는지를 확인하도록 하였다.

Fig. 9. Multi-environment platform using hololens and devices

Page 7

A Study on the Gesture Based Virtual Object Manipulation Method in Multi-Mixed Reality 131

두 번째 실험은, 핸드폰을 이용하여 가상객체를 생성하

고, 생성된 객체를 멀티환경 내의 사용자들이 동일한 위치

에서 확인하는 방법이다. 가상 객체가 위치할 공간 위치

지점에 대한 정보를 핸드폰 앱을 통해 구현하였고 이에 대

해 2인이 동시에 가상 TV를 볼 수 있었다.

Fig. 10. Create a virtual object with a mobile phone

in the MR

Fig. 11. Multi-persons can view virtual objects in the

same location

마지막 실험으로 가상객체를 20개까지 만들어도 프레임

드랍은 일어나지 않았고, 60(fps)가 고정으로 나왔다. 이는

렌더링 되는 모델링에 따라 편차가 있었지만 일반적인 클

라이언트, 서버 환경에서 최적의 렌더링 동기화 상태를 유

지할 수 있었다.

V. Conclusion

본 논문에서는 혼합현실 환경에서 가상 환경에서 공동

협업을 위한 플랫폼 구성에 대한 연구를 진행하였다. 홀로

렌즈는 2D, 3D 데이터를 시각화 할 수 있지만 실제 산업

현장에 적용할 경우 다양한 IoT 및 센서들과 연동되어 실

시간 인터랙션이 발생 하게 된다. 본 논문에서는 대표적인

혼합현실 HMD인 마이크로소프트사의 홀로렌즈를 사용하

여 클라이언트, 서버 환경을 구축하였고, 2 인 이상이 가

상의 네트워크 환경에 접속하여 공유 객체 조작을 위한 멀

티 환경에 대한 연구를 진행하였고, 실제 산업 현장에서

사용하기 위한 IoT 와 센서 등과 연동하는 방법에 대해 논

의 하였다. 마이오 웨어러블 암 밴드는 홀로렌즈와 연동하

여 다양한 인터랙션 조작이 가능한 디바이스다. 또한, 스

마트 폰과 홀로렌즈와 연동이 가능하여 다양한 객체 조작

을 응용할 수 있다. 본 논문에서는 멀티 환경 기반에서 여

러 개의 마이오 인터페이스를 활용하기 위한 방법과 스마

트 폰을 활용한 응용 사례에 대해 소개하였다. 연구 방법

으로는 첫 번째로 고유 넘버 지정 방식을 사용하여 구별된

왼팔과 오른팔에 대한 인식을 구현하였으며, 두 번 째로

이미지 인식을 통한 축 재조정 방식을 사용하여 다중 사용

자가 동기화된 좌표계를 활용하는 방법에 대해 논의하였

다. 마지막으로 여러 센서 디바이스와 융합한 가상 객체

방법에 대해 설명하였다. 그 결과 2대의 홀로렌즈를 사용

하여 가상 공동 협업 환경에서 스마트 폰을 사용하여 인테

리어 가상공간을 구축하였고 서로 다른 사람이 일관된 좌

표 시스템을 유지할 수 있었다.

본 연구에서는 가상 협업을 위한 환경 구축에 대해 연구

를 진행하였고 실제 가상 객체 조작을 위한 인터랙션 방법

등에 대해서는 구체적이지 않다. 향후 연구에서는 실제 마

이오 밴드를 사용한 인터랙션에 대한 연구와 두 사람이 하

나의 객체에 대한 무게감을 인지하여 객체를 들 수 있는

방법 등에 대해 연구를 진행 할 계획이다.

Page 8

132 Journal of The Korea Society of Computer and Information

REFERENCES

[1] Maximilian Spicher, Brian D.Hall, Michael Nebeling, “What is

Mixed Reality?,” CHI Conference, No.537, pp.1-15, May 2019,

DOI:10.1145/3290605.3300767

[2] Chunfern Xu, Yange Wang, Wei Quan, He Yang, “Multi-person

Collaborative Interaction Algorithm and Application Based on

Hololens,” Springer AISC, Vol. 1006, pp 303-315, Oct. 2019

[3] Rafael Radkowski, “Hololens Integration into a Multi-Kinnect

Tracking Environment,” IEEE, April, 2019, DOI:10.1109/ISMAR

-Adunct.2018.00052

[4] P.Hubner, M.Weinmann, S.Wursthorn, “MARKER-BASED

LOCALIZATION OF THE MICROSOFT HOLOELENS IN

BUILDING MODELS,” Vol.XLII-1, pp.195-202, DOI:10.5194

/isprs-archives-XLII-1-195-2018

[5] M.Ostanin, R.Yagfarov, A.Klimchik, “Interactive Robots Control

Using Mixed Reality,” IFAC, pp.695-700, 2019, DOI:10.1016/j.if

acol.2019.11.307

[6] Muun Wu, Yanbin Xu, Chenguang Yang, Ying Feng,

“Omnidirectinal Mobile Robot Control based on Mixed Reality

and sEMG Signals,” IEEE Xplore, January 2019, DOI:10.1109

/CAC.2018.8623114

[7] Mulun Wu, Shi-Lu Dai, and Chenguang Yang, “Mixed Reality

Enhanced User Interaction Path Planning for Omnidirectional

Mobile Robot,” Applied Sciences, Vol, DOI:10.3390/app10031135

[8] Tobias Mulling, Mithileysh Sathiyanarayanan, “Characteristics of

Hand Gesture Navigation: a case study using a wearable

device(MYO),” British HCI’15:Proceedings of the 2015 British

HCI Conference, pp.283-284, July 2015, DOI:10.1145/2783446.

2783612

[9] Lee Stearns, Victor DeSouza, Jessica Yin, Leah Findlater, Jon E.

Froehlich, “Augmented Reality Magnification for Low Vision

Users with the Microsoft Hololens and a Finger-Worn Camera,”

ACM SGACCESS Conference, pp.361-362, Oct. 2017, DOI:10.1

145/3132525.3134812

[10] Will Guest, Fridolin Wild, Alla Vovk, Mikhail Fominykh, Bibeg

Limbu, Roland Klemke, Puneet Sharma, jaakko Karjalainen, Carl

Smith, Jazz Rasool, Soyeb Aswat, Kajh Helin, Daniele Di Mitri,

Jan Schneider, "Affordances for Capturing and Re-enacting

Expert Performance with Wearables," Springer LNCS, Vol.

10474, pp. 403-409, Sep. 2017.

[11] Kdhong, "An Efficient Dynamic Workload Balancing Strategy,"

Journal of The Korea Society of Computer and Information, Vol.

15, No. 1, pp. 1-10, Nov. 2010.

[12] Kei Sato, Syunta Sato, “Pedestrian Navigation System for

Visually Impaired People Using HoloLens and RFID,” IEEE

Xplore, 2017, DOI:10.1109/TAAI.2017.9

Authors

Sung-Jun Park received the M.S. and Ph.D.

degrees

Computer

Science

and

Engineering from Konkuk University, Korea,

in 1999, 2005 and BS in Computer

Engineering from Hoseo University in 1997

Sung-Jun Park is the CEO of the Data Reality Company

and a visiting professor at Sung-kyul University. He has

been conducting research in fusion of big data, artificial

intelligence, and virtual reality.