얼굴 표정은 가상 현실에서 상호 작용하는 데 사용될 수 있습니다.
누군가가 가상 현실 헤드셋을 착용하면 가상 세계로 뛰어들 준비가 된 것입니다. 그들은 VRChat에서 시간을 보내거나 Beat Saber에서 비트를 때릴 수 있습니다. 그럼에도 불구하고 해당 세계와 상호 작용하려면 일반적으로 핸드 컨트롤러가 필요합니다. 그러나 호주의 새로운 가상 현실 또는 VR 기술은 핸즈프리입니다. 얼굴 표정을 통해 사용자는 가상 환경과 상호 작용할 수 있습니다.
이 설정을 사용하면 손을 사용할 수 없는 사람들이 가상 세계에 더 쉽게 접근할 수 있다고 Arindam Dey는 말합니다. 그는 브리즈번의 퀸즐랜드 대학교에서 인간과 컴퓨터의 상호 작용을 연구합니다. 다른 핸즈프리 VR 기술은 트레드밀과 시선 추적기를 사용하여 사람들이 가상 세계를 이동할 수 있도록 했습니다. 그러나 모든 사람이 러닝머신에서 걸을 수 있는 것은 아닙니다. 그리고 대부분의 사람들은 VR 시스템이 동작을 등록할 수 있을 만큼 충분히 오랫동안 한 지점을 응시하는 것이 어렵다고 생각합니다. 단순히 얼굴을 만드는 것이 장애가 있는 사람들이 VR을 탐색하는 더 쉬운 방법일 수 있습니다.
얼굴 표정은 핸드 컨트롤러를 사용할 수 있는 사람들에게도 VR 경험을 향상시킬 수 있다고 Dey는 덧붙입니다. 그들은 “웃고, 키스하고, 거품을 날리는 것과 같이 우리가 얼굴로 하는 특별한 상호 작용”을 허용할 수 있습니다.
Dey의 팀은 4월 International Journal of Human – Computer Studies에서 연구 결과를 공유했습니다.
신기술과의 대결
연구원의 새로운 시스템에서 VR 사용자는 센서가 박힌 모자를 착용합니다. 이 센서는 뇌 활동을 기록합니다. 센서는 특정 표정을 나타내는 얼굴 움직임도 포착할 수 있습니다. 그런 다음 얼굴 데이터를 사용하여 가상 세계에서 사용자의 움직임을 제어할 수 있습니다.
얼굴 표정은 대개 감정을 나타냅니다. 그래서 Dey의 팀은 사용자가 탐색할 수 있는 세 가지 가상 환경을 설계했습니다. 참가자들이 가상망으로 나비를 잡아야 하는 ‘행복’이라는 환경. “중립”은 작업장에서 물건을 줍게 했습니다. 그리고 “무서운” 것에서 그들은 좀비를 쏴야했습니다. 이러한 환경을 통해 연구원은 특정 감정을 유발하도록 설계된 상황이 표현을 통해 VR을 제어하는 사람의 능력에 영향을 미치는지 여부를 확인할 수 있었습니다.
18명의 청년들이 이 기술을 테스트했습니다. 그들 중 절반은 가상 세계를 이동하기 위해 세 가지 표정을 사용하는 방법을 배웠습니다. 미소가 그들을 앞으로 걸어갔다. 찌푸린 얼굴이 그들을 멈췄다. 그리고 과제를 수행하기 위해 이를 악물었습니다. 행복한 세상에서 그 일은 그물을 치는 일이었습니다. 중립적인 환경에서 물건을 줍고 있었다. 무서운 세상에서 좀비를 쏘고 있었다.
참가자의 나머지 절반은 핸드 컨트롤러를 사용하여 가상 세계와 상호 작용했습니다. 이것은 대조군이었습니다. 이를 통해 연구자들은 얼굴 표정 사용을 보다 일반적인 형태의 VR 상호 작용과 비교할 수 있었습니다.
약간의 교육 후 참가자들은 각 가상 세계에서 4분을 보냈습니다. 각 세계를 방문한 후 참가자들은 자신의 경험에 대한 질문에 답했습니다. 컨트롤러를 사용하기가 얼마나 쉬웠습니까? 그들은 그 세계에서 얼마나 “현재”를 느꼈습니까? 얼마나 리얼하게 보였나요? 등등.
얼굴 표정을 사용하여 참가자들은 가상 세계에 더 많이 존재한다고 느꼈습니다. 하지만 표현은 핸드 컨트롤러보다 사용하기 더 어려웠습니다. 센서가 장착된 캡의 기록은 얼굴 표정을 사용하는 사람들의 뇌가 핸드 컨트롤러를 사용하는 사람들보다 더 열심히 일하고 있음을 보여주었습니다. 하지만 이 사람들이 VR에서 상호 작용하는 새로운 방법을 배우고 있었기 때문일 수 있습니다. 아마도 표정 방법은 시간이 지나면 더 쉬워질 것입니다. 중요한 것은 다양한 감정을 유발하기 위한 가상 설정이 얼굴 표정을 사용하여 VR을 제어하는 사람의 능력에 영향을 미치지 않았다는 것입니다.
해야 할 일
Wenge Xu는 “이 연구는 VR에서 핸즈프리 상호 작용의 경계를 확장합니다.”라고 말합니다. 그는 영국 버밍엄 시립 대학에서 인간과 컴퓨터의 상호 작용을 연구합니다. 그는 연구에 관여하지 않았습니다. “참신하고 흥미롭다”고 그는 말합니다. 그러나 “표정 기반 입력의 유용성을 개선하기 위해서는 추가 연구가 필요합니다.”
연구원들은 더 많은 테스트와 개선을 계획하고 있습니다. 예를 들어, 이 연구의 모든 사람은 건강한 몸을 가지고 있었습니다. 앞으로 Dey는 장애가 있는 사람들과 함께 기술을 테스트하기를 희망합니다.
또한 얼굴 표정을 통해 더 쉽게 상호 작용할 수 있는 방법을 모색할 계획입니다. 여기에는 센서가 장착된 캡을 다른 안면 판독 기술로 교체하는 작업이 포함될 수 있습니다. 한 가지 아이디어는 “얼굴 움직임이나 제스처를 캡처하는 카메라를 사용하는 것”이라고 그는 말합니다. 또는 VR 헤드셋의 폼 쿠션에 센서를 내장할 수 있습니다. Dey는 언젠가 사람들이 자신의 표현 세트를 사용하여 VR 시스템을 훈련할 것이라고 상상합니다.
Tylia Flores는 “기술은 나를 위해 만들어지지 않은 세상에서 나를 도왔습니다.”라고 말합니다. 뇌성 마비가 있는 사람으로서 표준 상호 작용 방법을 항상 사용할 수 있는 것은 아닙니다. 그녀는 신기술이 신체 움직임이 제한된 사람들이 VR에 더 쉽게 접근할 수 있게 할 수 있다고 생각합니다.
