아이폰 X 트루뎁스 카메라가 열어줄 미래 – 마이너리티 리포트에 가까워지다

아이폰 X 발표 후 아이폰 X에 적용된 카메라시스템에 대한 관심이 높아지고 있습니다. 지난 9월 14일에 CNET은 The iPhone X camera tech may go well beyond phones 기사에서 이 카메라 시스템이 향후 스마트폰을 뛰어넘게 해줄 더 많은 사용경험을 가져다 줄것이라고 전망했습니다.

The iPhone X camera tech may go well beyond phones

페이스 ID와 춤추는 애니모지가 선 보였습니다. 향후에는 어찌 될까요? 아이폰 X에 적용된 애플 트루뎁쓰 카메라는 훨씬 더 많은 경험을 제공해 줄것입니다.

지난 9월 12일 Steve Jobs Theater에 앉아 애플 아이폰 X 및 그것에 적용된 새로운 기술을 보면서 계속 전면에 장착된 카메라 시스템에 대해서 고민했습니다. TrueDepth라고 불리는 그것 말입니다. 이는 수많은 센서들로 구성되는데 얼굴을 감지하거난 (이미지상에서) 근육을 움직일 수 있습니다. 또한 3D 객체를 볼 수 있으며 보다 진화된 증강 현실을 가능케 합니다.

그리고 여기에서 아이폰의 정체성이라고 생각되는 것을 뛰어넘는 그 무엇이 있는 것을 볼 수 잇었습니다.

▽ 수많은 센서로 구성된 아이폰 X 전면,
이미지 – 애플 홈페이지

커다란 화면은 멋집니다. 새로운 디자인도 환영할만 합니다. 그러나 새로운 아이폰을 정의하는 기술이 있다면 그것은 TrueDepth입니다. 이는 더 진보된 유형의 마술같은 카메라에 대한 애플의 첫 시도 : Google의 Tango 또는 Intel의 RealSense 또는 Microsoft Kinect와 유사한 것 입니다.

이러한 기술이 Mixed Reality 헤드셋에서부터 자동차 대시 보드까지 다양한 방법으로 사용되고 있습니다.

Mixed reality headsets need cameras like these,혼합 현실 헨드셋 연동

혼합 현실 헤드셋에는 이와 같은 카메라가 필요합니다. 가상 객체를 사실처럼 구성수 있도록 환경을 추적하고 인식 할 수있는 특수 카메라 및 센서 세트가 있는 혼합 현실 헤드셋인 홀로 렌즈(HoloLens)에 적용할 수 있을 것입니다.

▽ 마이크로소프트사의 홀로렌즈 소개 영상

또는 Meta 및 Avegant의 라이트 필드 헤드셋과 같은 새롭게 등장하는 헤드셋에 적용가능 합니다. 실제와 가상 현실을 섞어버리는 것(The blending of virtual and real objects into everyday space)은 Magic Leap에서 약속했지만 처럼 약속했지만 현실적으로 아직까지는 구현하지 못하고 있습니다.

TrueDepth와 같은 진보된 센서가 고급 어플리케이션( higher end applications)을 위해 길을 열어 줄 수 있을까요?
TrueDepth가 (구현할 수 있는) 범위를 아는 것은 어렵습니다. 필자가 생각기에 TrueDepth는 광장히 좁은 범위를 가지므로 전면은 가능하지만 후면은 불가능할 것으로 봅니다. 하지만 이는 시작에 불과합니다.
그리고 TrueDepth가 미래의 헤드셋 내부에 장착되어 얼굴 추적을 사용하여 입력 및 안구 운동을 제어 할 수 있을 것입니다.

Biometrics everywhere, 페이스 ID가 보편화 될 것

페이스 ID는 대부분 핸즈프리입니다. 아마도 언젠가는 문 잠금 장치나 노트북 화면, 자동차 대시 보드 또는 심지어 Apple Watch에서 작동할 수 있을 것입니다.

이는 더 많은 장소에 설치하면 할수록 더 유연해지는 기술로 보입니다. 점차 손가락으로 스캔하는 것이 점차 어색이질것입니다. 어쩌면 우리는 마이너리티 리포트에서 보여준대로 미래의 모든 곳에서는 얼굴 스캔이 보편화될 것입니다.

▽ 애플 아이폰 X 발표중 페이스ID 설명 이미지,이미지 – 애플

Robots, drones, vehicles and location-aware devices, 로봇, 드론, 차량 위치인식 기기 등에 적용 가능

사진, 페이스 ID 및 재미있는 AR 트릭을 위해 트루뎁스 카메라 시스템(TrueDepth)가 당장 사용될 수 있습니다.

그러나 로봇이 항해을 돕거나 차량이 주차를 더 잘 할 수있도록 도와 줄 수 있을 것입니다. 카메라와 SLAM(simultaneous location and mapping, 센서로 전방의 환경을 3차원 매핑하는 동시에 현재 로봇의 위치를 파악하는 기술)은 Kuri같은 로봇이 자신의 길을 찾거나 자율 차량 운전을 가능케 합니다.

트루뎁스 카메라 시스템(TrueDepth)는 현재 단거리만 추적 가능하지만, 향후 장거리 스캔이 가능하도 장애물 회피를 도울 수 있다면 확장성은 더욱 커질 것입니다.

▽ 드론으로 조난자 구출하기 삽화,
이미지 – i.pinimg.com

A foot in the door for future computer vision, 미래 컴퓨터 비젼을 위한 첫걸음

트루뎁스 카메라 시스템(TrueDepth)은 실제 세상을 보고, 분석해 지능적으로 사용할 수 있게 해주는 AI 구현의 첫 번째 관문입니다.
아마도 애플의 인공지능 비서 시리도 트루뎁스 카메라 시스템(TrueDepth)과 결합돼 Bixby Vision이나 Google Lens가 약속한 기능을 상요할 수 있게 해줄 것으로 보입니다.

현재는 아이폰 X의 트루뎁스 카메라 시스템(TrueDepth)는 대부분 페이스 ID에 관련된 것입니다. 그러나 애플이 그날 이야기 했듯이 뉴럴 엔진과 결합할 수 있습니다. 그러면 어쩌면 더 많은 길들이 생길 것입니다.

▽ 빅스비 비젼 Bixby Vision,
이미지 – 삼성전자