살아있다는 것은

 이 포스팅은 Microsoft에서 발표한 논문 ‘Going Beyond the Display: A Surface Technology with an Electronically Switchable Diffuser’를 요약, 번역 및 설명을 추 가한 내용입니다. 최대한 쉬운 설명을 하도록 노력하였지만, 배경지식이 없으면 어려운 부분이 있을 수 있습니다. (www.likefunk.com)

==========================================================================================

역자 주

  Microsoft(이하 MS)에서는 Surface라는 인터페이스 장비를 발표하면서, 멀티터치를 지원 하는 새로운 방식의 사용자 인터페이스(UI)를 제안하였습니다. SecondLight는 기존의 Surface를 확장하며 multi layer display의 개념을 구현한 장치입니다. 아직 이 연구에 대 해서 국내에 자세히 정리된 자료가 없어서 정리해봅니다.

요약

 SecondLight는 액정(Liquid Crystal)필름을 이용해서 불투명과 투명 상태를 만들어 내는 스크린을 이용하여 구현되었다. 투명과 불투명 상태를 빠르게 전환 시키고 이에 맞추어 프 로젝터를 이용하여 영상을 투영하여 물리적으로 2가지의 다른 영상을 구현한 것이다. 사진 1에서 보이는 것과 같이 하나의 Surface 장치에서 스크린 표면과 그 위의 종이(반투명/불 투명)에 서로 다른 영상을 표시할 수 있다. 우리는 이것을 ‘스크린을 넘어선 투사 (Beyond the display)’라고 한다.

서문

 인터랙션 기술은 디지털 콘텐츠를 현실의 사용자가 조작할 수 있도록 하는 기술이다. 현재 인터랙션 기술은 데스크탑 컴퓨터를 넘어서 디지털 컨텐츠와 현실 세계의 오브젝트를 연 결하는 등의 노력이 계속되고 있다. 이 중 일반적인 터치 스크린 기술을 이용하는 인터랙션 은 터치 스크린과 매우 가까운 영역에서의 인터랙션만 가능하다는 제한점을 가지고 있다. 후면 투사 장식(rear projection)방식은 영상이나 카메라를 사용자가 가리지 않는다는 장 점을 가지고 있지만, 후면 투사를 위한 불투명 스크린의 특성상 비전 트랙킹(vision tracking) 기술로는 스크린에 접속하거나 매우 가까운 인터랙션만 추적할 수 있다는 단점 이 있다. SecondLight는 이와 같은 단점들을 해결하여 영상 표현과 인터랙션 추적을 surface라는 공간적 한계를 넘어서 구현하는 것이 이 논문의 목적이다. 첫 번째 한계인 영 상을 투사하는 스크린이라는 공간적인 제약은 특별한 스크린 재질을 이용하여 극복하였 다. 빠르게 투명/불투명 상태가 전환되는 스크린을 이용하여서 불투명 상태일 때는 스크린 표면에 영상을 투사하고 투명 상태일 때는 스크린을 넘어선 공간에 영상을 투사하게 되는 것이다. 두 번째 한계인 인터랙션 영역의 확장 역시 투명/불투명 상태를 교차하면서 사용 하는 스크린 대문에 가능하였다. 불투명 상태일 때는 스크린에 접촉되는 인터랙션이 가능 하고 투명 상태일 때는 스크린으로부터 떨어진 영역에서의 인터랙션이 가능하다. 특히 투 명 상태일 때는 3차원 제스처 인식까지 가능하다는 특징을 가지게 된다.

그리고 마지막으로 이와 같은 특징을 지닌 장치를 하나의 장치로 만들었다는 것도 중요한 특징이다.

빛의 특성

 전기적 신호에 따라서 투명/불투명 상태를 변경할 수 있는 액정 (LC: Liquid Crystal)로 만들어진 일명 프라이버시 유리가 있었기 때문에 가능한 연구였다. 사진 2와 같이 영상을 맺히게 하는 불투명 상태와 빛 대부분을 통과시키는 투명 상태를 조절할 수 있기 때문에 이 와 같은 특별한 기능을 구현할 수 있었다.

후면 투사 방식 시스템에서 불투명 상태에서는 빛을 산란시켜서 영상이 스크린에 맺히게 하고, 스크린 표면에서 일어나는 사용자 인터랙션을 비전 트래킹 기술로 추적할 수 있게 한 다. 투명 상태에서는 스크린을 넘어선 공간에 영상을 투사하며, 스크린과 떨어진 영역에서 일어나는 사용자 인터랙션 및 3D 제스처를 추적할 수 있다.

이렇게 투명/불투명 상태를 교체하는 경우에 매우 바르게 상태를 변경하지 않으면 깜빡임 (ficker)이 생긴다. 이 연구에서 사용된 LC 필름은 사용자가 깜빡임을 느끼지 못할 정도로 빠른 속도로 동작한다. 일반적으로 이러한 두 가지 상태가 변화되는 것을 거의 느끼지 못하 는 속도는 최소 96hz로 보고 있으며 대부분 사람이 깜빡임을 느끼지 못하려면 120hz 의 동작 속도를 지원하여야 한다. 일반적인 LCD 모니터가 60hz로 동작하는 것을 고려한다 면, 이 SecondLight는 두 가지 상태를 번갈아 가며 나타내야 하기 때문에 60hz의 두 배인 120hz 일때 깜빡임을 거의 느끼지 못하게 된다. 이는 Active Stereo(능동형 입체) 방식에 서도 같다.

(참고 http://www.likefunk.com/entry/Christie-Mirage-프로젝터120-Hz-Active- Stereo)

 카메라는 스크린 아래, 즉 프로젝터와 동일 한 공간에 설치한다. 스크린이 불투명일 경우 에는 스크린 표현에 접촉한 손이나 오브젝트의 위치만 카메라에 촬영된다. 스크린에 접촉 된 물체만 카메라에 촬영되기 때문에 스크린에 물체가 접촉했는지를 구별하려고 컴퓨터 연산을 할 필요가 없다는 장점이 있다. 스크린이 투명일 경우에는 스크린으로부터 떨어진 공간의 손이나 물체의 움직임도 추적이 되기 때문에 3D 공간 좌표 즉 손이나 물체가 스크 린으로부터 얼마나 떨어져 있는지를 추적할 수 있으며 손이 취하는 자세인 제스처를 추적 할 수 있는 강점이 있다. 다만, 이 경우에 오브젝트 구별, 위치 추적, 제스처 인식, 마커 추 적 등을 위해서 컴퓨터 연산이 많이 뒤따라야 한다.

스크린 표면의 인터랙션

 스크린이 불투명 상태일 때 SecondLight는 스크린 위 또는 약간 떨어진 위치에서 일어나 는 멀티 터치 기능과 텐저블 오브젝트(tangible object: 손으로 만질 수 있는 물체 또는 대 체물 (Physical icon 또는 Metaphor))를 추적할 수 있다. 물리적으로 스크린이 불투명하기 때문에 손이나 물체의 스크린 터치가 분명하게 구별되는 장점이 있다. 이는 특별히 비전 트 랙킹 기술을 사용하지 않아도 인터랙션 중에서 터치 부분을 구별해 낼 수 있다는 장점이 있 다. 손, 손가락, 붓, 체스용 말, 핸드폰 등을 구별하고자 전반사 마커 (retro-refective marker)를 사용하는 것도 유용한 방법이다. 사진 3에서는 스크린 표면에서 멀티 터치 기 능을 이용한 인터랙션과 텐저블 오브젝트를 이용한 인터랙션을 보여주고 있다.

사진 3: 멀티 터치 인터랙션, 붓과 텐저블 오브젝트 인터랙션

Surface를 넘어선 투사

 SecondLight의 특징은 Surface(표면)을 넘어서 가능한 인터랙션이라고 할 수 있다. 스크 린 재질이 투명해질 수 있기 때문에 스크린 표면을 통과해서 영상의 투사가 가능한 것이다. 이 때문에 반투명/불투명한 물체를 스크린 위에 놓거나 심지어는 스크린에서 떨어진 위까 지 영상을 투사할 수 있으며 이 영상은 스크린에 투사되는 영상과는 다른 영상을 투사할 수 있다는 특징을 가진다. 더 놀라운 점은 이 두 가지 다른 영상이 서로 영향을 미치지 않는다 는 것이다. 각각의 영상은 매우 깨끗한 품질로 투사될 수 있다. 사진 4를 보면 외쪽 사진은 스크린 표면에 투사되는 영상을 보여주고 있다. 가우데 사진은 Surface에 반투명/불투명 한 물체를 놓으면 스크린에 맺히는 영상과는 다른 영상을 표시할 수 있다. 자동차 모델의 표면과 메쉬를 동시에 확인할 수 있는 장면이다. 오른쪽은 이 장치의 사용 예로 밤하늘 사 진에서 별자리를 표시해서 교육용으로 사용이 가능하다.

움직이는 표면을 추적하여 투사

 단순한 surface를 넘어선 투사는 영상을 표시만 해주는 기능일 뿐 사용자와 인터랙션의 기능은 없는 상황이다. 인터랙션 기능을 부여하기 위해서 스크린 위에서 움직이는 표면을 트랙킹 해서 인터랙션이 가능한 특징을 구현하였다. 부드러운 표면에 수동형(passive, 반 사형, IR등의 광원은 따로 설치) 마커나 능동형(active, 발광형, IR LED 등을 사용) 마커를 설치하여 표면의 위치나 거리, 각도 등을 추적하여 표면에 투사되는 영상을 변경하는 것이 가능하다. 이를 통하여서 스크린 위의 표면과 영상이 인터랙션이 가능해진다. 사진 5에서 윗줄의 두 사진은 패시브 마커를 부착한 표면을 이용한 인터랙션 모습을 보여주며, 가운데 및 아래 줄의 사진은 능동형 마커인 LED를 부착한 표면을 이용하여 인터랙션 하는 모습을 보여주고 있다.

사진 5: 움직이는 표면을 추적하여 투사

텐저블 인터페이스

 일반적으로 사용하는 손가락, 손 등 뿐만 아니라 여러 가지 기능을 가진 텐저블 오브젝트 를 통한 인터랙션도 가능하다. 사진 6에서는 유리 프리즘을 이용한 텐저블 오브젝트로 표 면에 표시되는 영상 또는 글자를 텐저블 프리즘 옆면에 투사할 수 있으며, 마커를 부착하여 볼륨 컨트롤이나 자동차의 운전대와 같은 행태로 이용 가능합니다. 또한, 체스용 말 아래에 마커를 붙여서 체스와 같은 복잡한 게임을 하는 것도 가능하다.

 스크린이 투명한 경우에는 스크린에서 떨어진 위치에서 일어나는 제스처를 추적 및 인식 가능하다. 스테레오(입체 양안)를 사용할 때는 3D 공간 좌표를 추적할 수 있어서 3D 인터 랙션이 가능하다. 또한, 손 모양을 비전 기술로 인식 가능하기 때문에 사용자 손모양을 통 한 제스처 인식도 가능한 특징을 가진다. 이는 지금까지의 surface 인터랙션을 확장한 것 으로 더 많은 작업을 편리하고 직관적으로 수행할 수 있다. 사진 7에서는 떨어진 거리에서 수행하는 인터랙션을 보여주고 있다.

하드웨어 구조

  SecondLight의 가장 큰 특징은 하나의 시스템으로 통합되었다는 것이다. 하나의 박스 안 에 스크린이 있고, 두 대의 프로젝터가 스크린과 동기되어 동작하는 셔터와 결합 되어 설치 되어 있고, 가운데 부분에는 스테레오로 3D 트랙킹을 하기 위한 두 대의 카메라가 설치되 어 있다. 하나의 박스 안에 모든 시스템이 들어가기 때문에 설치도 쉽고 장소도 많이 차지 하지 않아서 실제 현실의 작업 환경에도 설치하고 실제 업무에 적용할 수 있다.

secondlight_mac.pdf