Appearance
예상치 못한 출발
지금? 미국을? 당장?
2017년 말, 급한 연락을 받고 관계자들과 함께 Burbank로 향해야 했다. 바로 이틀 뒤로 출국 일정을 잡고, 코인세탁방에 모든 옷을 때려박고 거의 날을 지새웠다. 하루 전에 이런 일정을 정하는 것이 마뜩치 않았지만 프로젝트를 완성하려면 어쩔 수 가 없다. 눈이 참 많이 내려, 서둘러야 하니 마음이 급했다.
왜 이렇게 급하게 잡혔나
사실상 최초로, Dolby Vision을 대중들이 사용하는 TV에, Built-in으로 공급하는 영상을 맡았다. Built-in은 TV의 양산시점에 정확하게 맞춰서 완성되어야 하기에, 어떤 지연 사유도 허용하기 어렵다. 무슨 방법을 생각하기도 전에 클라이언트의 요청으로 여정을 잡게 되었다.
Dolby는 영상을 다루는 솜씨가 보통이 아니었다. 앞으로도 여러 번 밝히겠지만, 수십번의 email에서 그들의 전문성은 빛났고, 감명 받기 충분했다. 이와 함께, Dolby Vision의 기술에 힘을 보태는 Pixelogic의 능력도 놀라웠다.
다만, 대부분 Cinema 작업을 주로 해 온 Dolby에게는 우리의 요청사항이 완전히 다른 언어로 받아들여지는 느낌이었다.
Cinema는 엄격히 표준화된 기반에서 각 스크린의 특성을 부각한다면, TV는 매우 Customized된 상태다. TV Vendor, Chip의 grade, Firmware에 따라 Color representaion, Motion compensation은 매우 달라질 수 있다. 심지어 여러 알고리즘이 중첩되다보니, 동일한 환경을 만들어 둔 다 해도, 동일한 issue가 reproduce되지 않는 때가 많다.
이에, TV에 콘텐트를 공급해오며 온갖 issue를 경험 해 봤으며, 해당 영상의 Master까지 제작한 내가 직접 가는 것이 적절하다는 상황까지 오게 되었다.
자랑하는 것 맞음
솔직히 Dolby 가서 Color grading과 Mastering에 관여 해 본 사람이 몇이나 되겠나?
자랑하는 것 맞고, 자부심 느끼는 기억이다. 동시에 상당히 배울것이 많았고, 자랑과 함께 복기하면 글이 더 잘 써진다.
동행을 밝히지 않겠음
이 여정을 동행한 고마운 분들이 있지만, 동의를 얻고 쓰는 글은 아니기 때문에 밝히지 않기로 하겠다.
처음부터 잘못 꿴 단추
TV는 Dolby Vision, HDR, SDR이 재생될 때 모두 다른 모드로 전환한다. HDMI를 통한 재생과, 내장 플레이어, DLNA 등으로 재생할 때도 TV는 모두 다른 환경으로 전환한다. 이 때문에 Dolby Vision Tunneling을 사용해 TV로 확인하는 것도, 인코딩 된 파일을 내장 플레이어로 확인하는 것과 차이가 발생한다.
문제는, 당시에는 Dolby Vision 재생용 파일을 우리가 직접 만들 수 없었던 상황이었다. 매번 Aspera로 마스터 보내서 인코딩 해달라고 해도, 클라이언트가 원하는 한국식 일정관리는 꿈도 꿀 수 없었고, 무엇 하나 바꿔달라고 해도 Feedback cycle이 매우 느려지는걸 모두가 경험했다.
첫번째 잘못된 단추
클라이언트는 HDR10 상태로 Grading을 확인했다.
HDR과 Dolby Vision이 TV에서 다를 수 밖에 없는 수 많은 이유 중 몇가지는 다음과 같다.
- TV는 HDR과 Dolby Vision이 전혀 다른 모드로 수행 됨.
- TV에 내장된 Dolby Vision 모드는, TV 제작사가 개입할 수 있는 튜닝의 여지가 매우 줄어들어 있음.
- Dolby Vision의 Ictcp와 rpu의 이점을 누릴 수 없음.
- Dolby Atmos가 아니라 5.1ch Downmix로 확인함.
두번째 단추
모두가 처음이었고, 충분히 준비되지 않았다.
- Dolby와 TV Vendor, Production 모두 처음 Cooperation하는 상황.
- Dolby와 TV Vendor, Production 각자, 서로의 결과물을 보고 자신의 작업에 반영하거나 최적화 해 나감.
- 피드백보다 빠른 대처를 요하는 문화의 문제가 큼
- 하지만 실무자들이 제대로 대화한 느낌을 받은 것은 이 Burbank 만남이 처음.
이동 전, 문제 파악
Vendor에서 우리에게 수정사항을 보내온 것들을 취합했다. 우리가 해결 할 수 있는 issue, HDR에서는 우리가 해결 해 왔으나 Dolby Vision에서 발생하는 문제, 인코딩에 조정이 필요한 문제를 분리했다.
기본적으로 TV는 각 Generation마다 Color와 Encoding에서 알려진 한계가 있다. 비록 매번 Protorype에서 이를 발견하고 Document하기 때문에 양산 버전과는 약간의 차이가 존재한다. 그래도 어느정도 조정하는 방향을 알고 있으며, Vendor Lab과의 커뮤니케이션이 있었기 때문에 해결방안 몇가지를 미리 note 해 두었다.
대부분 인코딩에 기인한 문제가 컸으나, 인코딩 parameter가 빠듯한 경우 (엄격한 경우) 대처할 방안도 몇가지 테스트를 해 두었다. TV에서 해당 이슈를 HDR에서 reproduce 해 보려 했지만 시간이 부족하여 진행하지 못하고, 대부분 사고실험과 내부 회의를 통해서 내용과 대처방안을 정리했다.
이동 전, Master 준비
바쁘고 바쁜 대한민국에서 살아남으려면 빠른 피드백은 필수다. Dolby에 Master 파일을 Aspera로 전송하는 순간에도, Vendor는 우리에게 issue 해결을 위한 수정사항을 지속적으로 요구하였으며, 이전에 보낸 Master파일이 Dolby에서 인코딩되어 돌아오면, 또 HDR과 결과물이 다르다고 issue가 된다. 시지프스가 이런 느낌이었을까.
결과적으로 🥪최종의 최종의 최종, 🍔최종과 최종의 얼터, 🌮최종과 최종의 최종이지만 1최종의 얼터를 반영한 최종 까지 Master는 네가지 버전을 담아가야 했다. 혹시 몰라서 Resolve 프로젝트를 몽땅 Consolidate하여 3 Copy로 가져가게 된다.
| Versions: Masters and Alternatives | Medium: 6HDD, 1Cloud | Content |
|---|---|---|
| 🥪 Final of Final of Final Master | 2 copy over 3 hdd | HDR checked, With TIFF |
| 🍔 Alter of Final of Final Master | 2 copy over 3 hdd | HDR checked, With TIFF |
| 🌮 Final of Final of Final of Final but applied 1st Alter. Master | 2 copy over 3 hdd | No HDR generated, With TIFF |
| 🌶️🥬🍞🥩🧀🥣🍯🧂Consolidated Project of Davinci Resolve with Fusion projects | 2 copy over 2 hdd | Original and TIFF, openEXR master |
| 🌶️🥬🍞🥩🧀🥣🍯🧂, 🥪, 🍔, 🌮 Google Cloud Bucket, US west region | 1 copy over 1 bucket | All Above |
예비용 하드까지 8개가 캐리어에 담겼다. 입을 옷 보다 완충재가 더 많았는데 너무나 끔찍한 상황에 사진을 못 찍어둔게 한이다.
그래서 이걸 유용하게 다 썼느냐? 다 안 쓰는게 최선의 상황이다.
백업은 가능한 다양한 포맷(논리/물리적 파일시스템 또는 방식)으로 많을수록 좋다. 최악의 상황에 대비하기 위해 google cloud bucket에도 백업을 올려두고, gsutil 명령어를 이용한 다운로드 스크립트도 완비해갔다.
Burbank, Dolby Lab
한국은 눈 때문에 난리였는데, Burbank는 너무나 날씨가 좋았다. 바로 모든 데이터를 offload하고, 프로젝트를 동기화 했다. 현장에 상주하는 Colorist에게 Project의 세팅과 각종 parameter를 공유하고, 그들의 System에 적용했다.
그리고 말로만 듣던 Pulsar를 직접 마주하였다. 4000nit의 위력은 대단했으나, 생각보다 많이 실망스러웠다. 해당 unit만 그랬을 수 있지만, 빛샘은 전혀 잡아내지 못한 수준이었다. 설화에 나오는 전설의 동물을 직접 보면 이런 느낌일까 싶었다.[1]
Dolby에서는 Producer 한 명과 Colorist 한 분이 우리 프로젝트에 assign되었고, 현재 상황에 대한 공유를 진행했다.
수정 첫째날
작업을 시작했다. 곧이어 tech 회의를 하기 위해 Resolve 프로젝트에서 컬러페이지를 여는 순간 모두가 정적이 흘렀다.
흔히들 유튜브에서 보이는 여덟개 정도의 Fancy하게 만들어두는 정형화된 Node 구조가 아니었다. 정말 수 없이 중첩되고 연결되고 참조되어있는 Node를 그들이 처음 목도했다. Compound node를 여는 순간 노드 페이지에서 한 번에 볼 수 없을 정도가 되었고, Fusion을 열어보는 순간 시스템이 멈췄다.
그 수 많은 version과 test를 위해서 어쩔 수 없었다는 눈물어린 나의 말과 함께, 이걸 어케 함?이라는 반응이었다.. 작업 하나 하면 After effect project도 200MB는 넘기는데 뭘 또 저러나 싶긴 했는데, 맞다 여기 사람 혼자 갈아가며 수정 받아치는 대한민국이 아니라 미국이었지.
Producer와 Colorist는 이건 Color의 영역이 아니라 VFX의 영역이 되어 있다며, Certain degree를 넘어 선 상태라 우리는 VFX를 할 수 없으니, Finalized 파일에서 작업하기로 합의했다. Fidelity를 위해 Project를 어떻게든 런치해서 작업하자는 말에는 한사코 사양하더라..
TIFF 파일을 Baselight에 넘기고, 컬러 세팅을 완료했다. 당시 제대로 된 Dolby Vision Tunneling을 OLED TV에서 처음 확인했다. 분명히 인코딩 된 버전과 다른 면이 있었고, 이에 따라 피드백을 시작했다. Pulsar에 나온 하이라이트 디테일을 모두 담아내기는 어려웠지만, Customer-orient로 튜닝된 OLED 에서는 나 빼고 다들 만족하는 기색이긴 했다.
수정에는 약 이틀이 소모되었다. 첫 날에는 현 상황에 대한 판단이 주 였다. 제작사에서 확인한 한계와 돌파구 모색, 우리의 돌파구 탐색 및 테스트, Dolby Burbank의 전폭적인 지원이 있었다.
수정 둘째날
둘째날에는 많은 수정이 진행되었다.
전날의 여러 논의들에서 나온 가능성을 확인하기 위해 원격으로 인코딩을 걸어두었고, 나의 HDR인코딩 버전을 챙겨갔다.
나의 HDR10버전(reference)과, pixelogic에서 인코딩 Dolby Vision 버전과의 차이, 각 parameter가 TV의 decoder에서 인식되는 parameter인지, 효과적으로 recreation되는지에 대한 논의가 있었다. 인코딩에서 한계점이 명확한 부분은 컬러 조정을 통해 우회하는 방식을 택했다.
근본적인 한계점은, CMU를 통한 Dolby Vision Tunneling은 HD가 최대 해상도였다. 우리가 최종적으로 만들 파일은 4K 60p 4:2:0 10bit인데 반해, 해상도는 부족하지만 Color Depth는 4:4:4 12bit인 상황이니, 근본적인 Color representaion의 확인[2]은 어렵긴 했다. Dolby Vision Profile에 따라 12bit 를 받을수야 있겠지만, 우리는 해당 Profile을 사용하지도 않는다. 결국 Vendor가 바라는 수정지점은 Fidelity보다는 Color Depth에 기인한 원인이 많았고, 10bit에서 구현하기 힘든 컬러를 조금씩 옮기는 방향으로 수정이 진행되었다. 자세한걸 쓰면.. 너무 없어보이니 생략하기로 한다.
Colorgrading room 옆의 회의실에서 화이트보드를 모두 바라보며, Vendor, Dolby 연구원과 함께 돌파구를 찾아나가는 여정은 아직도 잊지 못할 쾌감을 줬다. 서로 휴대전화를 들어 Whiteboard를 찍으며, 우리에겐 이게 Woodstock이고, Coachella였다 싶은 순간이었다. 오지랖이 많은 나는 궁금한 것을 모두 다 털어놓고 싶었지만, 아무래도 목적들이 확실하시다보니 더 묻는건 그만하기로 했다.
어느정도 align이 된 이후에 각자 Conference call room에 들어가서 각자의 상사에게 현 상황에 대해 report를 하고 마무리하였다. 나머지 인코딩에 대한 부분은 아직 early stage인 만큼, 가능한 많은 버전을 받아보는 것으로 협의되었다.
참고로 Dolby Vision Metadata 4.0이 아직 implement되기 이전이라서 2.9로 작업되었다. 2023년 즈음에 발생한 수정사항에 대해서는 대해서는 우리가 metadata를 4.0으로 업그레이드 하고 인코딩까지 진행했다. (Dolby Vision + Dolby Atmos)
너무나 인상적이었던 곳
Colorgrading room으로 들어가는 길은 모든 자리를 거쳐서 들어가야 했다. 당시 휴가철이라 모든 자리가 비워져 있었다.
특별히 우리의 요청에 문을 열어주고, 담당 Producer와 Colorist, assistant를 지원해준 Dolby의 유연함이 너무 고마웠다. 해외 촬영 Line producer로 직접 사람들 만나가며 진행하다 보면 솔직히 꿈 꾸는 것 아닌가 싶을 정도였다. 분명 동행한 분들의 노고가 있었으리라.
발전하는 개인과 조직
모든 자리에는 파티션에 붙어있는 Whiteboard가 있었고, 각 협력사들과의 Specifiacation, Color processing, pipeline 등 많은 메모가 즐비했다. 문이 열려 있는 방 들에는, 갓 포장을 뜯은 Server chassis와 pci 카드가 쌓여 있었고, 이리저리 조립한 PC에서는 Resolve, Baselight, Colorfront할 것 없이 죄다 동원되어 쉴 새 없이 작업이 돌고 있었다. 업력이 있는 만큼 strict한 CRM이나 MAM도 사용하고 있지만, 그 와중에 유연하게 필요한 것을 바로바로 테스트하고, 실행하고, 발전해나가는 모습이 인상적이었다. 내가 골라둔 하드웨어들이 다 있는거로 봐서, 틀리지 않았구나 안도의 마음이 들었다.
상술했다시피, 내가 방문했던 당시에는 Dolby Vision Metadata 4.0이 갓 나오던 시기였다. 그래서인지 각 자리의 Whiteboard에는 한 사람의 필체가 아니라 많은 사람의 필체가 뒤섞여 있었고, 수 많은 계산식과 pipeline에 대한 논의가 있는 점으로 보였다. 미래가 참 밝구나, 부럽다는 생각을 떨칠 수 없었다.
잠깐 시간이 뜰 때 Producer, Colorist와 함께 Davinci resolve에 대해 논의를 했다. 앞으로는 Baselight보다 Resolve로 가능한 모든 pipeline을 통합시킬 예정이라고 한다. 이유를 물으니 사용자 Pool이 압도적으로 많아서 공급이 좋을 것이란 예상이라는 워딩과, 그리고 많은 Case를 압축적으로 누적 및 성장 할 수 있는 단계로 보인다는 뉘앙스가 있었다. 회사 방향을 전적으로 Resolve로 옮긴 건 틀리지 않았구나, 확신이 들어 안심이 되었다.
여기도 사람 사는 곳이다
외장하드 전송이나 다른 Partner content를 작업하는 곳에는 Postit으로 만지지 마세요, 이거 이 세팅으로 해 뒀음, 혼란하면 큰일 남등의 메모도 보였다.
whiteboard에서 눈에 띄는게 있었다면[3], linux의 find 문을 통한 chmod 등의 명령어가 있었는데, 여기 사람들도 뭘 하다 꼬이긴 하는구나, 사람이긴 하구나 싶은 대목이기도 했다. 저렇게 compound로 oneliner 쓸 거면, awk 쓰면 더 편함 ㅇㅇ, snapshot 뒀다 뭐함?,아니 atlassian 쓰면 되잖어 등등 댓글 써 주려다가, 산업스파이로 몰릴까 싶어 그냥 냅 뒀다.
Baselight에서 작업을 하면서 Colorist가 말하길, 자신은 전혀 다른 일을 해 왔다고 한다. 나이도 지긋하셨고, 여유가 넘쳐보였다. 내가 대한민국에서 이런 마인드로 유연하게 말도 안되는 요청을 받아가며 살 수 있을지에 대한 의문이 너무나 크게 들었다. 그리고 내 말을 이래저래 알아듣고 같이 수정을 해 나가다 보니, 과장 하나 보태지 않고 기회가 넘쳐나는 곳이라 생각이 들었다.
전혀 다른 일을 하다가 인생 2막으로 Colorist를 하는 분, 오후 뿐만 아니라 휴가가 보장되는 Producer는 이 일을 마치면 가족들과 함께 근처 온천으로 캠핑을 간다고 한다. 혼자 살았다면 분명 도전해볼 곳이라 생각이 들었다. 하고도 남지 않았을까 하는 자만심과 함께, 밀린 메일함을 뒤적이며 클라이언트에게 어떻게 정중하게 답변을 해야 할지 고민을 하는 나를 봤다.
그 뒤
다시 한국에서 미국분들의 인코딩 세팅을 align하는 것은 다시 Burbank 가야 하나 싶긴 했다. 인코딩 속도를 느리게 하는게 능사가 아닌데.., 한 번에 여러 버전을 하면 되는데.. 싶긴 했지만 그들의 전문성이 있으니 믿으며, 메일로 최종 버전을 걸러내갔다.
Dolby Vision 모드는 TV에서 아예 다른 모듈이라 생각하면 된다. Dolby에서 implement한 여러 옵션들이 존재하고, Vendor는 Dolby에서 정한 Specifiacation을 따라야만 해당 모드를 넣을 수 있다. 뉘앙스가 그랬다 해당 모드는 TV의 밝기나 화질 향상을 위한 Global, Local 세팅 모두를 총체적으로 제한했다. TV쇼에서 보는 만큼의 쨍쨍함보다는 제작자의 의도를 충실히 전달하는 것이 주 목적이니만큼, Vendor가 바라는 만큼으로는 한계가 명확한 것은 사실이었다.
시간이 흘러, Resolve에서 Dolby Vision Metadata란을 열 필요가 생겼고, Dolby Vision Certification을 취득했다. 그 때 만남이 Certification 취득에 도움이 되었느냐? 아니다. 시야가 넓어진 계기였지 도움되는 건 아니었다. Baselight 기준을 따르는 Certification도 아니었으니.
Dolby Encoding Engine을 사용 중인데, 이에 대해 기술할 적당한 시기가 온다면 해당 글을 추가하도록 하겠다. 아직은 pipeline을 공개하는것이 License 위반인지에 대해 확신이 없다.
상세하지 않으며 자랑만 했다.
공개된 장소에서는 충분히 알려진 기술정보와 소감만을 말하는 것이 각종 계약에 대비할 수 있는 유일한 수단이다.
여기서 상세한 내용이 나왔다면 모두 꿈에서 본 것 들이다.