버튜버) VR없이 캠으로 3D풀트래킹 하는법 정리(춤 영상 포함)

* 캠 트래킹 참고용 영상+움짤

[이전글] 직접 버튜버를 해보자(LIVE2D/3D/보이스체인저) 총집편

https://bbs.ruliweb.com/community/board/300143/read/53738389

 

 

 

이번에  다룰 내용은 최소한의 자본/최소한의 도구로 방송용 3D풀트래킹을 하는 방법임

 

 

 

1. 준비물

 

- 3D방송을 할 아바타 파일(VRM)

- 웹캠 2대(핸드폰1/캠1 복합 사용 또는 핸드폰 2대로도 대체 가능)

- VSeeFace(3D 트래킹 및 송출용 프로그램)

- ThreeD Pose Tracker(3D 바디트래킹 프로그램)

* 웹캠이 없거나 부족하다면 안드로이드에 [DroidCam]이라는 어플이 있다. 이걸 사용하면 해결.

 

 

 

2. 3D 트래킹 프로그램

 

 

1. VSeeFace 

다운로드 : https://www.vseeface.icu/

 

헤드트래킹/핸드트래킹용 프로그램

 

처음 사용할 경우 설정법 및 사용법의 자세한 설명은 이전글(맨 윗줄 링크) 참고

 

 

 

 

 

 

2. ThreeDPoseTracker

다운로드 :  https://qiita.com/yukihiko_a/items/43d09db5628334789fab ;

 

유니티 기반 개인 제작 바디트래킹 프로그램이다

 

컴퓨터 성능이 부족할경우 방송시에는 렉으로 딜레이가 생기거나 끉길수 있으니 참고할것

 

 

 

VSeeFace는 얼굴&손가락 트래킹이 가능 / ThreeDPoseTracker는 몸만 트래킹이 가능

이 두개를 합쳐서 유사 풀트래킹을 가능하게 해 줄 수 있다

 

 

 

 

3. 실행 후 설정법

 

 

ThreeDPoseTracker 먼저 설정합니다

 

 

 

1) 소스 디바이스

- 웹캠을 설정할 경우 실시간 트래킹 / 동영상을 재생할 경우 동영상의 움직임을 트래킹한다

 

2) 아바타

- 기본제공 아바타(화면 상 캐릭터, 제작자) 2종이 있다. 여기 아바타는 초기 움직임 테스트용 외에는 쓸일 없음

 

소스 디바이스에서 캠을 선택하고 우측에 [Start Cam]이 뜨는데 눌러주면 바로 트래킹이 시작된다

그러면 화면에 내 얼굴이랑 방이 확 뜨는데 일어나서 한번 바디트래킹을 테스트해보자

 

격한 움직임도 나름 잘 잡아준다

 

* 트래킹 시 주의사항

- 움직임은 깔끔하게 되지만 전신(발끝~머리끝)이 나와야만 트래킹이 정상적으로 가능

- 정면이 아니라 옆모습을 보일 경우 반대쪽 팔이나 다리가 트래킹이 풀림. 캠 트래킹의 한계이므로 어쩔수 없음

- 캠 높이나 각도에 따라 발목이 꺾인다거나 뒤틀릴수 있으니 잘 조정할것

(해당 증상 시 Configuration - Predict - Lock Foot을 통해 발목을 고정해서 해결 가능)

 

 

3) 구성(Configuration)

- 각종 세팅 설정창이다. 움직임에 대한 세부 설정도 가능한데 사용환경따라 틀리므로 개인적으로 조정할 것

- IMAGES에서 Show Source Image, Show Background, Show Input Image 이 3개는 꺼서 부하를 최대한 줄여주자

-  Others의 Use VMC Protocol을 체크해준다

 

해당 포트 번호는 기억해둘것

 

여기까지 설정했으면 해당 프로그램의 기본적인건 끝

 

 

이제 VSeeFace에서 설정해주자

 

*VSeeFace는 위에도 적어놨지만 처음 사용 시 기본설정은 하고 와서 할것

 

 

VSeeFace를 실행하면 첫 화면에서 카메라 선택/설정이 가능한데

 

 

ThreeDPoseTracker에서 선택한 캠을 설정하면?

 

 

당연하게 에러뜨고 작동이 멈춘다. 반드시 남는 다른 캠을 사용해서 실행해줄것

 

캠 설정 후 아바타 선택 - 메인화면으로 들어온 뒤

 

 

설정 - 일반 설정으로 들어간 후

 

OSC/VMC에서 데이터 받기 체크 후 ThreeDPoseTracker 설정창에서 기억해두라 했던 숫자를 저기 입력해주자

(위에 기억해두라고 했던 체크 후 나오는 포트번호를 입력)

 

VSeeFace 트래킹 수신 체크 후 아래는 똑같이 체크하면 된다

 

그러면 ThreeDPoseTracker의 바디트래킹이 VSeeFace의 페이스트래킹과 통합 출력된다 

테스트 움짤

 

 

얼굴 인식 및 바디트래킹도 정상적으로 작동하는걸 볼 수 있다

 

손가락이 굳어있는게  좀 아쉽긴 한데 캠 2개 + 립모션을 사용하면 가능하긴 하다

 

 

앞에 스탠드를 세워서 립모션 거치 후 손가락까지 트래킹하며 찍은 샷

 

립모션의 낮은 트래킹 범위와 구린 인식률로 딱 저정도만 사용 가능함

 

-------------------------------------------------------------------------------------------------------

 

대충 글은 여기까지고 위 설정만 따라하면 누구나 할 수 있는 캠 풀트래킹 방법입니다

 

암컷타락 유게이 버튜버들이 더더욱 늘어나길 바람

 

 

미오샤 너무 귀여워

 

 

 

마지막으로 춤추는거나 보구가