揭秘 iPhone 13 電影效果模式，蘋果竟然是這樣把它打造出來的
記得小時候看過一則紀錄片，裏面講解了電影幕後人員的分工。而攝影師往往會配一位「跟焦員」的跟班，這就好似每個打高爾夫的都會有一個球童，每個開拉力的都會有一個導航員，幾乎成為電影行業的標配。
跟焦員主要只保證鏡頭的焦點（焦平面）符合攝影導演的需求，也就是確保主體清晰。
聽起來似乎相當簡單的工作，卻並非是每個人都能勝任，它對焦點的移動速度、切換準確性都有着很高的要求。沒有常年累月的積累形成肌肉記憶，很難達到爐火純青的地步，也很難準確的在不同的焦點之間切換。
即使到了如今相機的自動對焦技術有了十足的進步，但電影工業依舊萬變不離其宗，依舊全手動，攝影師依然有那麼個「跟班」。
焦點的移動，會突出人物，也可能會凸顯環境，而人眼的本能是追蹤清晰的主體，焦點的變化便會引導觀眾注意力隨着焦點而轉移，從而實現敍事或者氛圍烘托，已然成為電影的一則語言。扎導對此應該很有發言權。
如果普通人想要拍出類似這種「電影」的效果，不算後期的話，一台全畫幅相機，一個大光圈鏡頭即可，但從經濟性和普適性上來説，可以打個負分了。
而今年的 iPhone 13 全系列上的「電影效果模式」可能會是一個新選擇。
電影效果模式，就是視頻人像模式
關於 iPhone 13 所有的 TVC 中，印象最深的依舊是《Whodunnit》和《誰偷了我的 iPhone》，電影效果模式的加入，讓整個影片的故事感提升了很多，當然後者的演員也是一大亮點。
▲ 強烈推薦看完整片段
其實，早在蘋果 9 月 15 日推出 iPhone 13 之前，就有相應的傳聞流出，表示蘋果會推出「視頻人像」功能，彼時並沒有覺得會有多「有用」。
但當看到《Whodunnit》的廣告示範片，以及我們拿到 iPhone 13 系列後，身體力行的「復現」了一段之後，才漸漸明白「電影效果模式」出現的意義堪比 iPhone 7 Plus 上的「人像模式」。
它們都不是以經典的光學技術做底，而是另尋他法。曾經的「人像模式」與現在的「電影效果模式」都基於多鏡頭的視差，而非是 LiDAR，這也就解釋了為何 iPhone 13 全系都支持，而非僅限於 Pro 系列。
目的很明顯，就是想與當年的「人像模式」一樣去普及。
▲ 你臉大，你贏了.
也是基於此，iPhone 13 全系的「電影效果模式」拍攝效果接近，而識別主體來模擬景深，會以人臉為主，多張人臉下，以大為優先級。
它無法識別物體與動物，想要切換，需要人工干預。而在人山人海的場景下，iPhone 13 可以同時識別多張人臉，但會頻繁的切換焦點，此時也需要干預，選出你想關注的人，或者直接長按鎖定。
另外，「電影效果模式」是蘋果首次推出，自然也有很多不少的限制。一是摳圖不夠精細，人物的邊緣有時會「穿幫」，以及最高僅可記錄 1080p 30p 視頻，iPhone 13 Pro Max 1TB 版也是如此。
不過，在上述的限制之下，iPhone 13 全系的「電影效果模式」依舊能夠兼顧杜比視界 HDR 編碼，也算是蘋果權衡的一個選擇。
「電影效果模式」其實誕生自好奇心
以往來説，新功能的出現很多是需要洞察需求以及從用户反饋中得來，但站在金字塔頂端的蘋果更多的是按照自己的理解和節奏去做產品。
▲ 蘋果人機界面設計師 Johnnie Manzari. 圖片來自：Getty Images
在接受科技媒體 TechCrunch 的主編馬修（Matthew Panzarino）採訪時，蘋果人機界面設計師約翰（Johnnie Manzari）就道出了電影效果模式誕生的始末。
同時，約翰表示開發「電影效果模式」時與出現在 iPhone X 上的攝影室光效人像照片功能有些類似。
從經典肖像藝術家安迪·沃霍爾（Avedon Warhol）的人像作品，巴洛克繪畫藝術畫家倫勃朗，以及中國的工筆畫中汲取經驗並分析，從而運用在產品的算法之中。
▲ 安迪·沃霍爾藝術作品（左下一為本人）.
「電影效果模式」也是類似的過程，蘋果團隊先是與世界級的攝像師探討取經，並觀看了大量的電影。
▲「電影效果模式」中的焦點轉換.
於是，約翰與團隊成員一起與攝影導演、第一攝影助理密切合作，從而瞭解這一切背後的機理。淺景深的運用可以引導觀眾們的注意力，可以助力故事的描繪。
在瞭解到跟焦員需要多年大量的練習，才能掌握實時的根據電影機與主體的位置來保證焦點不變的情況後，約翰與設計團隊以及蘋果都認為這項即將面向市場的「電影效果模式」會是一個很有競爭力的功能。
▲ 簡單的跟焦設備
對於此，通過研究蘋果把「電影效果模式」分解為兩大部分，一是「尋找焦點」，二是如何平滑轉移。
尋找焦點最終定為「凝視檢測」，其實更接近人臉檢測，以讓觀眾們聚焦主角的移動，從而引導觀眾去快速瞭解故事。
而平滑轉移則是約翰長期觀察一位跟焦員所操作焦距控制輪而加入的特性，熟練的跟焦員會通過滾輪的控制來讓焦點自然而穩定的轉移，並且還會根據鏡頭的焦距與物體距離進行實時變化。
蘋果在「電影效果模式」上花了很多時間來試圖模擬這位跟焦員的手活，因此我們在用「電影效果模式」拍攝，在不同焦點切換時，並非機械式的快速推拉，而是有着較為明顯的跟焦過程。
當然，「電影效果模式」也才剛剛發佈，就如同「人像模式」一般，它還有不少可優化的地方。
「電影效果模式」落地背後的功臣 A15
既然是通過算法「猜」出來的，那理論上「電影效果模式」可以通過 OTA 下放到其他的 iPhone 之中（比如 iPhone 12），只是可能會犧牲實時預覽。但以蘋果的思路，很難通過犧牲一些體驗來把新功能下放。
▲ A15 提升要點，注意 CPU、GPU 的提升是與競爭對手相比.
因此，「電影效果模式」會是 iPhone 13 全系列的一個暫時獨享的功能，也會是 A 系芯片算力的一個門檻，也可能會成就新一代的 iPhone「釘子户」。
iPhone 營銷副總裁凱安（Kaiann Drance）在採訪中就表示讓視頻自帶模擬景深比人像照片更具「挑戰性」。
▲ iPhone 營銷副總裁 Kaiann Drance.
視頻需要隨着被攝者移動而移動，需要實時防抖（數碼加光學），並準確識別不同的場景、人物、動物、物體，因此對於神經引擎和機器學習來説，需要質量更高的深度數據，並且實時的渲染出來。
哦，還有實時對焦，以及對杜比視界 HDR 編碼的支持。而這一切的背後都來自於 A15，可謂小小的年紀承擔了全家的重任。
相對於 A15 的 CPU，在實測之中，GPU 性能提升明顯，它或許採用了全新的架構，以及多堆了一顆核心。另外，A15 的神經網絡引擎算力提升到了 15.8TOPS。
而這些硬件上的改進或許是跟本次 iPhone 13 全系在視頻功能上提升不無關係。「電影效果模式」中包含的一些不同於靜態照片的機器學習難題，相信在 A15 開發之時，約翰所在的人機交互設計團隊就已經與芯片開發做過深入交流。
在 TechCrunch 的測試視頻之中，他們還發現了 iPhone 13 系列的「電影效果模式」在識人的過程中，會運用冗餘的傳感器進行主體的預測。
馬修女兒的後腦勺一出現在畫面中，他手裏的 iPhone 13 立刻就把焦點切換好了，就好像在舞台劇中，有一位全局掌控的導演一般，主角未登場，提前就備好了燈光，並引領觀眾一同期待她的出現。
針對「電影模式」的這個細節，蘋果人機交互設計師約翰説到：
喬布斯曾很喜歡説，蘋果是處於技術與藝術的交叉點。
在 iPhone 13 系列發佈之前，「人像模式」更像是一則技術術語，它給人的感覺是冰冷的。而「電影效果模式」，以及 TVC 的呈現，再到親測，它不再冰冷，而帶有了一定的温度。在深入瞭解「電影效果模式」背後的故事之後，它又帶上了幾分「拍攝的藝術」。
「電影效果模式」對於普通人而言，它可能沒有這麼深的意義，更像是瑞士軍刀裏的一則紅酒起子，可能並非是最完美最省力，但卻是在緊急時刻能堪大任的工具。
資料來源：愛範兒（ifanr）
跟焦員主要只保證鏡頭的焦點（焦平面）符合攝影導演的需求，也就是確保主體清晰。
聽起來似乎相當簡單的工作，卻並非是每個人都能勝任，它對焦點的移動速度、切換準確性都有着很高的要求。沒有常年累月的積累形成肌肉記憶，很難達到爐火純青的地步，也很難準確的在不同的焦點之間切換。
即使到了如今相機的自動對焦技術有了十足的進步，但電影工業依舊萬變不離其宗，依舊全手動，攝影師依然有那麼個「跟班」。
焦點的移動，會突出人物，也可能會凸顯環境，而人眼的本能是追蹤清晰的主體，焦點的變化便會引導觀眾注意力隨着焦點而轉移，從而實現敍事或者氛圍烘托，已然成為電影的一則語言。扎導對此應該很有發言權。
如果普通人想要拍出類似這種「電影」的效果，不算後期的話，一台全畫幅相機，一個大光圈鏡頭即可，但從經濟性和普適性上來説，可以打個負分了。
而今年的 iPhone 13 全系列上的「電影效果模式」可能會是一個新選擇。
電影效果模式，就是視頻人像模式
關於 iPhone 13 所有的 TVC 中，印象最深的依舊是《Whodunnit》和《誰偷了我的 iPhone》，電影效果模式的加入，讓整個影片的故事感提升了很多，當然後者的演員也是一大亮點。
▲ 強烈推薦看完整片段
其實，早在蘋果 9 月 15 日推出 iPhone 13 之前，就有相應的傳聞流出，表示蘋果會推出「視頻人像」功能，彼時並沒有覺得會有多「有用」。
但當看到《Whodunnit》的廣告示範片，以及我們拿到 iPhone 13 系列後，身體力行的「復現」了一段之後，才漸漸明白「電影效果模式」出現的意義堪比 iPhone 7 Plus 上的「人像模式」。
它們都不是以經典的光學技術做底，而是另尋他法。曾經的「人像模式」與現在的「電影效果模式」都基於多鏡頭的視差，而非是 LiDAR，這也就解釋了為何 iPhone 13 全系都支持，而非僅限於 Pro 系列。
目的很明顯，就是想與當年的「人像模式」一樣去普及。
▲ 你臉大，你贏了.
也是基於此，iPhone 13 全系的「電影效果模式」拍攝效果接近，而識別主體來模擬景深，會以人臉為主，多張人臉下，以大為優先級。
它無法識別物體與動物，想要切換，需要人工干預。而在人山人海的場景下，iPhone 13 可以同時識別多張人臉，但會頻繁的切換焦點，此時也需要干預，選出你想關注的人，或者直接長按鎖定。
另外，「電影效果模式」是蘋果首次推出，自然也有很多不少的限制。一是摳圖不夠精細，人物的邊緣有時會「穿幫」，以及最高僅可記錄 1080p 30p 視頻，iPhone 13 Pro Max 1TB 版也是如此。
不過，在上述的限制之下，iPhone 13 全系的「電影效果模式」依舊能夠兼顧杜比視界 HDR 編碼，也算是蘋果權衡的一個選擇。
「電影效果模式」其實誕生自好奇心
以往來説，新功能的出現很多是需要洞察需求以及從用户反饋中得來，但站在金字塔頂端的蘋果更多的是按照自己的理解和節奏去做產品。
▲ 蘋果人機界面設計師 Johnnie Manzari. 圖片來自：Getty Images
在接受科技媒體 TechCrunch 的主編馬修（Matthew Panzarino）採訪時，蘋果人機界面設計師約翰（Johnnie Manzari）就道出了電影效果模式誕生的始末。
引用「電影效果模式」並非是從功能本身出發，而只是因為設計部門好奇電影製作的過程，以此為出發點，去研究、學習電影的攝影技術，從而實現接近真實的焦點轉換和一些光學特性。
同時，約翰表示開發「電影效果模式」時與出現在 iPhone X 上的攝影室光效人像照片功能有些類似。
從經典肖像藝術家安迪·沃霍爾（Avedon Warhol）的人像作品，巴洛克繪畫藝術畫家倫勃朗，以及中國的工筆畫中汲取經驗並分析，從而運用在產品的算法之中。
▲ 安迪·沃霍爾藝術作品（左下一為本人）.
「電影效果模式」也是類似的過程，蘋果團隊先是與世界級的攝像師探討取經，並觀看了大量的電影。
引用在此過程中，我們發現了電影製作過程中的一些亙古不變的趨勢。焦點之間的變化是一個電影行業通用的語言，我們需要準確的瞭解它們的使用方式和時機。
▲「電影效果模式」中的焦點轉換.
於是，約翰與團隊成員一起與攝影導演、第一攝影助理密切合作，從而瞭解這一切背後的機理。淺景深的運用可以引導觀眾們的注意力，可以助力故事的描繪。
引用只是，「變焦」是為專業人士準備的，普通人很難掌握其中的精準度，可謂是手上差之毫釐，觀感上謬以千里。
在瞭解到跟焦員需要多年大量的練習，才能掌握實時的根據電影機與主體的位置來保證焦點不變的情況後，約翰與設計團隊以及蘋果都認為這項即將面向市場的「電影效果模式」會是一個很有競爭力的功能。
▲ 簡單的跟焦設備
對於此，通過研究蘋果把「電影效果模式」分解為兩大部分，一是「尋找焦點」，二是如何平滑轉移。
尋找焦點最終定為「凝視檢測」，其實更接近人臉檢測，以讓觀眾們聚焦主角的移動，從而引導觀眾去快速瞭解故事。
而平滑轉移則是約翰長期觀察一位跟焦員所操作焦距控制輪而加入的特性，熟練的跟焦員會通過滾輪的控制來讓焦點自然而穩定的轉移，並且還會根據鏡頭的焦距與物體距離進行實時變化。
蘋果在「電影效果模式」上花了很多時間來試圖模擬這位跟焦員的手活，因此我們在用「電影效果模式」拍攝，在不同焦點切換時，並非機械式的快速推拉，而是有着較為明顯的跟焦過程。
當然，「電影效果模式」也才剛剛發佈，就如同「人像模式」一般，它還有不少可優化的地方。
引用這就好像你看到郎朗彈鋼琴是如此的輕鬆寫意，但你知道不可能用算法做到（只能去不斷接近）他這種大師級的水準。
「電影效果模式」落地背後的功臣 A15
既然是通過算法「猜」出來的，那理論上「電影效果模式」可以通過 OTA 下放到其他的 iPhone 之中（比如 iPhone 12），只是可能會犧牲實時預覽。但以蘋果的思路，很難通過犧牲一些體驗來把新功能下放。
▲ A15 提升要點，注意 CPU、GPU 的提升是與競爭對手相比.
因此，「電影效果模式」會是 iPhone 13 全系列的一個暫時獨享的功能，也會是 A 系芯片算力的一個門檻，也可能會成就新一代的 iPhone「釘子户」。
iPhone 營銷副總裁凱安（Kaiann Drance）在採訪中就表示讓視頻自帶模擬景深比人像照片更具「挑戰性」。
▲ iPhone 營銷副總裁 Kaiann Drance.
視頻需要隨着被攝者移動而移動，需要實時防抖（數碼加光學），並準確識別不同的場景、人物、動物、物體，因此對於神經引擎和機器學習來説，需要質量更高的深度數據，並且實時的渲染出來。
哦，還有實時對焦，以及對杜比視界 HDR 編碼的支持。而這一切的背後都來自於 A15，可謂小小的年紀承擔了全家的重任。
相對於 A15 的 CPU，在實測之中，GPU 性能提升明顯，它或許採用了全新的架構，以及多堆了一顆核心。另外，A15 的神經網絡引擎算力提升到了 15.8TOPS。
而這些硬件上的改進或許是跟本次 iPhone 13 全系在視頻功能上提升不無關係。「電影效果模式」中包含的一些不同於靜態照片的機器學習難題，相信在 A15 開發之時，約翰所在的人機交互設計團隊就已經與芯片開發做過深入交流。
在 TechCrunch 的測試視頻之中，他們還發現了 iPhone 13 系列的「電影效果模式」在識人的過程中，會運用冗餘的傳感器進行主體的預測。
馬修女兒的後腦勺一出現在畫面中，他手裏的 iPhone 13 立刻就把焦點切換好了，就好像在舞台劇中，有一位全局掌控的導演一般，主角未登場，提前就備好了燈光，並引領觀眾一同期待她的出現。
針對「電影模式」的這個細節，蘋果人機交互設計師約翰説到：
引用我們在觀察電影製作時發現，跟焦員並非是等主角登場之後再去移動焦點，而是有一個預測過程。我們也通過冗餘傳感器，來通過機器學習來預測畫面外人們的運動，當他們出現在畫面的時候，焦點也已經在他們身上了。
喬布斯曾很喜歡説，蘋果是處於技術與藝術的交叉點。
在 iPhone 13 系列發佈之前，「人像模式」更像是一則技術術語，它給人的感覺是冰冷的。而「電影效果模式」，以及 TVC 的呈現，再到親測，它不再冰冷，而帶有了一定的温度。在深入瞭解「電影效果模式」背後的故事之後，它又帶上了幾分「拍攝的藝術」。
「電影效果模式」對於普通人而言，它可能沒有這麼深的意義，更像是瑞士軍刀裏的一則紅酒起子，可能並非是最完美最省力，但卻是在緊急時刻能堪大任的工具。
引用電影向我們展示了人類的情感和故事，如果你用對了正確的表達語言，就會被傳達出去。而當下，我們努力了很久，讓你的生活故事能在自己的手機上記錄和演繹，我已經迫不及待地想看到人們用「電影效果模式」所書寫的故事了。
資料來源：愛範兒（ifanr）