Search
📎

AR 스킨케어 뷰티미러 프로토타입 앱 개발

📂
클라이언트 : 삼성디자인경영센터 작업기간 : 2019.7 - 2019.10 과제목표 : 스킨케어 앱 디자인 및 개발 참여역할 : 어플리케이션 개발자

📋 프로젝트 소개

이 뷰티 미러 앱의 핵심 기능은 AR 그래픽이 거울 속 사용자의 얼굴 위에 증강되면서 스킨케어를 도와주는 것입니다. 사용자의 피부 타입을 파악하여 모공, 주름, 트러블 등으로 진단을 내리고 각 타입에 맞는 스킨 케어를 제공합니다. 뷰티 크리에이터와 함께하는 라이브 스킨 케어 또한 진행할 수 있습니다.
디자인이나 개발적으로 난이도가 상당히 높은 프로젝트였습니다. ‘SNOW’ 카메라 앱처럼 AR 증강체가 사용자의 얼굴에 자연스럽게 증강되어야 했고, 그 상태로 얼굴의 굴곡을 따라서 애니메이션도 되어야 했습니다. 3D에셋의 질감 표현, 애니메이션의 타이밍, 애플리케이션 구동 시 퍼포먼스 등의 갖가지 고려사항들을 모두 만족하게 하기 위해 수많은 기술적/심미적 테스트가 필요했습니다.
📌
프로세스&기여도 : 1)아이디에이션 - 20%(일부분참여) 2)그래픽/모션디자인 - 20%(일부분참여) 3)에셋제작(AR/영상) - 70%(주도적참여) 4)앱개발(유니티앱) - 90%(주도적참여)

🎬 전체 시나리오 구동 영상

🔎 테크니컬 리서치를 진행하다

프로덕트 개발에 있어서 가장 적당한 AR 기술을 찾기 위해 여러 기술에 걸쳐 리서치를 진행했습니다. 기술적으로 어려운 프로젝트였기 때문에 한 번 결정한 기술을 중간에 바꾸지 못하리라 생각하였고, 따라서 초기에 꼼꼼한 리서치 리서치를 통해 기술을 결정하는 과정이 필요했었습니다.
가장 중요한 조건은 목표하는 비주얼을 만족시킬 수 있는지의 여부였습니다. 스킨 케어 서비스였기 때문에 오브젝트의 디자인이나 질감을 자유롭게 컨트롤 할 수 있는지가 중요했습니다. 그리고 개발이 가능하며 용이한 정도와 앱으로 빌드했을 때 퍼포먼스의 문제가 없는 기술인지가 중요했습니다. 세부적으로 아래의 조건 분석표 만들어 판단에 도움을 받았습니다.
Search
항목
OpenCV
ARCore
ARFoundation
코드로 제어 가능한가?
Open
O
LWRP 환경에서 사용이 가능한가?
Open
O
X
O
Skinned Mesh 사용이 가능한가?
Open
O
O
유니티 씬뷰에서 편집이 가능한가?
Open
O
O
X
유니티 게임뷰에서 플레이가 가능한가?
Open
O
X
X
하나의 선택지로 딱 좁혀졌으면 좋았을 텐데 그러지 못하였고, 선택지마다 어느 정도의 타협과 추가적인 연구가 필요했습니다. 리서치를 거듭하면서, 유니티로 AR을 개발하는 기술이 아직은 완전히 성숙하지 못했다는 느낌도 받았던 것 같습니다. 결국 ARCore라는 기술과 OpenCV라는 기술을 병용하기로 하였고, 이 선택이 틀리지 않아서 중간 회기 없이 프로젝트를 잘 마무리할 수 있었습니다.
다양하게 테스트 했던 AR 증강체들

🔎 매니저 성향을 발견하다

이 프로젝트에서 저의 역할을 개발 총괄로, AR 스킨 케어 애플리케이션을 개발하는 것이었습니다. 그런데 프로젝트가 후반으로 갈수록 프로덕트가 점점 커지면서, 새로운 기능과 시나리오가 추가되었습니다. 그와 동시에 앱에 포함되어야 하는 리소스들이 2D, 3D 가리지 않고 기하급수적으로 늘어나게 되었습니다. 앱이 복잡해지자 작업자들 간에 혼선이 빚어졌습니다. AR 증강체를 만들어 애니메이션까지 시켜야 했기 때문에 리소스 한 벌이 만들어지기 위해서 여러 과정을 거쳐야 했습니다. 결국 중간에서 히스토리를 정리하며 각 리소스마다 제작 방식을 컨트롤 하는 역할이 필요하게 되었습니다. 그리고 이 역할을 제가 맡게 되었습니다. 저는 아래와 같은 표를 만들어서 리소스마다 공정 방식과 진행 상황을 관리하고 각 팀에 작업을 지시하는 역할을 수행했습니다.
Search
항목이름
설명
담당자
타겟 Mesh
필요 Texture
진단 결과 타입 증강체
Open
시연자 얼굴 위에서 증강된 6가지 타입을 모두 볼 수 있어야 함
3D팀
AR Core 기본 Mesh
AR Core Mesh에 맞는 시연자 별 6가지 알파 텍스쳐 필요
분석 중 증강체 모션
Open
각 텍스쳐가 얼굴 내에서 애니메이션 되어야 함
Motion팀
AR Core 기본 Mesh
AR Core Mesh에 맞는 시연자 별 4가지 알파 텍스쳐 필요
미래 부분 증강체
Open
시연자 얼굴 위에 증강된 텍스쳐가 점점 얇아져야 함
Motion팀
AR Core 기본 Mesh
AR Core Mesh에 맞는 텍스쳐가 점점 얇아져서 없어지는 알파 시퀀스 필요
과거 부분 증강체
Open
시연자 얼굴에 각각 모공, 피지가 증강되어야 함
GUI팀
시연자 얼굴 사진
각 시점 사진별로 위치와 굵기를 베리에이션한 텍스쳐 필요
180도 부분 증강체 사진
Open
고개의 움직임에 맞게 스틸컷이 대응 되어야 함
3D팀, Motion팀
시연자 얼굴 Mesh
미래 구현에서 중간 쯤 되는 미래에서 사용되는 알파 텍스쳐 필요
케어 가이드 셀럽 증강체 영상
Open
셀럽이 케어하는 영상 위에 가이드 텍스쳐가 증강 애니메이션 되어야 함
3D팀, Motion팀
셀럽 얼굴 Mesh
셀럽 Mesh에 맞는 케어가이드 텍스쳐 필요, 시퀀스 애니메이션 되어야 함
케어 가이드 시연자 실시간 증강체
Open
실시간 영상 위에 가이드 텍스쳐가 증강 애니메이션 되어야 함
3D팀, Motion팀
AR Core 기본 Mesh
AR Core Mesh에 맞는 케어가이드 텍스쳐 필요, 시퀀스 애니메이션 되어야 함
세로TV 증강체 영상
Open
영상 위에 OpenCV를 이용해 증강이 필요함
3D팀, Motion팀
셀럽 얼굴 Mesh
셀럽 Mesh에 맞는 케어가이드 텍스쳐 필요, 시퀀스 애니메이션 되어야 함
당시 PM은 실제 리소스 제작 과정에 대해 파악하고 있지 못했던 반면에 저는 놓치지 않고 파악해두고 있었습니다. 최종적으로 앱을 만들어야 하는 역할이었기 때문에, 모든 리소스에 대해 파악하고 있는 것이 어쩌면 당연한 일이었을 것입니다. 저는 이 프로젝트를 진행하면서 저에게 매니저 성향이 있음을 깨닫게 되었습니다. 프로덕트에 관심을 가지며 누구보다 잘 알기 위해 정리하고 책임감 있게 진행하려는 성향이 저에게 있다는 것을 확인할 수 있었던 프로젝트였습니다.
End of page
TOP