在音視頻技術(shù)不斷發(fā)展的今天，釘釘團(tuán)隊一直在探索如何通過創(chuàng)新技術(shù)提升用戶體驗。本文將介紹釘釘在iOS雙攝像頭技術(shù)上的最新應(yīng)用，這一創(chuàng)新不僅解決了直播場景中的多畫面需求，還為用戶提供了更豐富的交互體驗。

釘釘一個小小的創(chuàng)新，分享給你大家～

大家好，我是鈞小鴻，是一名釘釘音視頻直播 iOS 開發(fā)工作者。在日常工作中，我們除了支撐好業(yè)務(wù)工作外，我們音視頻端團(tuán)隊還會實時關(guān)注 iOS 等蘋果技術(shù)的發(fā)展動向：比如畫中畫、iPad 分屏、靈動島、視頻效果等等，并針對這些不同的新特性、新技術(shù)和相關(guān)業(yè)務(wù)結(jié)合，從而能做出更好的體驗、更優(yōu)秀的產(chǎn)品。比如去年釘釘和蘋果合作適配 Apple Vision Pro（釘釘正式登陸蘋果Vision Pro），結(jié)合這種新型設(shè)備，可以讓虛擬人分身參與會議、觀看大屏直播。那這次，我們還要進(jìn)行哪些原生應(yīng)用創(chuàng)新的探索呢？跟著我一起往下看??

一、雙攝像頭操作在直播場景的訴求

考慮一個場景，在部門直播一場籃球賽的熱場直播階段，攝像頭除了抓取球場的畫面，主播也會去采訪現(xiàn)場觀眾。我們收到同事的反饋，“我只有一個手機(jī)，沒法直播拍攝兩個畫面”“多機(jī)位多畫面的直播，那不得要用專業(yè)設(shè)備啊”。

的確，現(xiàn)在在一些知名視頻網(wǎng)站上，越來越多的解說視頻里解說畫面和視頻畫面同時出現(xiàn)的。觀眾對解說的訴求已經(jīng)不僅僅停留在聽聲音，大家也喜歡看到解說的神態(tài)表情等肢體畫面。那么這個問題是否能解決呢？

用一個手機(jī)，既能充分進(jìn)行賽事直播，又能看到主播酣暢淋漓地進(jìn)行講解。

答案當(dāng)然是可以的。

二、蘋果視頻攝像頭技術(shù)發(fā)展

作為音視頻的開發(fā)，我會重點關(guān)注蘋果在視頻相關(guān)的一些技術(shù)迭代，比如畫中畫、視頻效果、攝像頭等等。音視頻中聲音保證了最基本的溝通和傳播，當(dāng)然是首要保證的，但是在保證了聲音的基礎(chǔ)上畫面能提供更優(yōu)秀的體驗，值得我們對其做相應(yīng)的探索和研究。

眾所周知，單攝像頭的處理方式是將攝像頭采集到的一路視頻幀經(jīng)過前處理預(yù)覽發(fā)布即可，那么是否能多路視頻流同時采集并輸出以在特定場景能有更好的體驗?zāi)?，我們探索將蘋果的雙攝像頭和直播業(yè)務(wù)的結(jié)合。

三、蘋果雙攝像頭和釘釘直播的技術(shù)結(jié)合

使用雙攝像頭時，需要使用 AVCaptureMultiCamSession 來管理多路視頻的采集，其工作原理如下：

因為我們還需要對錄制的視頻幀做美顏、合流等處理，我們要優(yōu)化成更適合直播音視頻場景的雙攝像頭模型，所以需要選擇 AVCaptureVideoDataOutput 作為輸出，優(yōu)化后的攝像頭錄制模型工作流如下：

這樣的模型工作流，會讓創(chuàng)建多路會話并錄制輸出的交互更簡單，接下來我們講一下其在釘釘直播業(yè)務(wù)場景中，是如何應(yīng)用的。

四、雙攝像頭處理技術(shù)在直播中的應(yīng)用

通過雙攝像頭模型，我們還會對視頻幀做美顏、虛擬背景、縮放等處理，最終做合流發(fā)布。

另外，因為雙攝像頭基于 AVCaptureMultiCamSession 多攝像頭會話，所以 iOS 13及攜帶 A12 以上芯片的設(shè)備支持該功能，系統(tǒng)：iOS 13 及以上。

機(jī)型：iPhone：iPhone XR、iPhone XS、iPhone XS Max 及以上機(jī)型。

iPad：2019款 iPad Pro 及以上機(jī)型。

五、讓我們一起體驗一下！

1. 畫面布局方式

雙攝像頭預(yù)覽視圖有兩路視頻流分別輸出到兩個預(yù)覽中，因此有不同的組合方式：每路視頻流固定在一個預(yù)覽視圖，切換攝像頭方向時交換兩個預(yù)覽視圖；預(yù)覽視圖固定位置，切換攝像頭時交換兩路視頻流對應(yīng)的預(yù)覽視圖。

雙攝像頭采集時主播側(cè)需要輸出兩個前后攝像頭預(yù)覽給業(yè)務(wù)層展示，經(jīng)過和我們的交互老師探討后，結(jié)合現(xiàn)有的視頻多畫面和手勢交互等多方考慮，最終確定兩種預(yù)覽視圖的布局方案：基于橫屏和豎屏，左右或上下等分平鋪；如下為第一種布局方式，上方為前置攝像頭、下方為后置攝像頭。

2. 自如的交互體驗

我們支持用戶可以左右拖動，調(diào)整畫面大小，當(dāng)放手時若畫面小于一定范圍，則自動關(guān)閉雙攝像頭，切換到單畫面模式。當(dāng)然，用戶也可以在設(shè)置頁重新開啟雙攝像頭。

有了雙攝像頭功能，音視頻部門在秋天舉辦部門足球聯(lián)賽時，我們的同事可以隨手使用自己的蘋果手機(jī)，進(jìn)行賽前解說，給活動預(yù)熱，增加直播的快樂～

六、結(jié)束語

雙攝像頭雖然是一個支線功能，但它讓直播有了更多的拍攝效果。雙攝像頭在戶外或小型活動直播中非常有用。感謝我們的設(shè)計師，讓功能體驗有了更好的效果。目前有的戶外直播等已經(jīng)支持該功能，相信后續(xù)會有越來越多的直播平臺支持。

目前釘釘直播的雙攝像頭功能已經(jīng)完成，不過仍有待進(jìn)一步完善，比如：合流部分，現(xiàn)在使用的是 CPU 合流，對資源消耗比較嚴(yán)重，后續(xù)需要持續(xù)優(yōu)化，換成 GPU 合流，性能會有進(jìn)一步提升；目前只實現(xiàn)了平鋪布局，大小窗的布局仍待實現(xiàn)。

除此之外….還有彩蛋！

釘釘技術(shù)團(tuán)隊還會探索基于畫中畫的能力，實現(xiàn)共享內(nèi)容時，更多攝像頭合流實現(xiàn)畫面露臉的交互效果創(chuàng)新探索，包含畫面和手勢的 AI 識別交互、以及與更多語音視頻識別結(jié)合的釘釘 AI 能力創(chuàng)新等。

釘釘小而美的創(chuàng)新探索～一直在進(jìn)行！