錄音藝術(shù)論文：人工智能技術(shù)在電影錄音領(lǐng)域的應(yīng)用探析

《錄音藝術(shù)論文：人工智能技術(shù)在電影錄音領(lǐng)域的應(yīng)用探析》由會(huì)員分享，可在線閱讀，更多相關(guān)《錄音藝術(shù)論文：人工智能技術(shù)在電影錄音領(lǐng)域的應(yīng)用探析（13頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、錄音藝術(shù)論文：人工智能技術(shù)在電影錄音領(lǐng)域的應(yīng)用探析 　　摘要：　隨著人工智能與語(yǔ)音識(shí)別(Speech Recognition)、計(jì)算機(jī)作曲(Composing with Computers)以及電影聲音創(chuàng)作之間融合度的不斷加深，人工智能在電影錄音技術(shù)制作領(lǐng)域中的應(yīng)用將為電影聲音創(chuàng)作和電影聲音美學(xué)帶來(lái)又一次的革命。電影錄音技術(shù)制作中的對(duì)白編輯(Dialogue Editing)、環(huán)境聲編輯(Ambient Sound Editing)以及音響編輯(Sound Effects Editing)等工作環(huán)節(jié)的制作效率都將在人工智能技術(shù)的支持下得到顯著的提升。此外，人工智能的加入將導(dǎo)引電影聲音美

2、學(xué)發(fā)生極大的變革，主要體現(xiàn)在帶動(dòng)電影觀眾接受審美模式的升級(jí)、引發(fā)電影聲音制作人員創(chuàng)作觀念的進(jìn)化、推動(dòng)電影聲音美學(xué)理論的發(fā)展等方面。 　　關(guān)鍵詞：　人工智能; 錄音技術(shù); 錄音流程; 電影聲音創(chuàng)作; 聲音美學(xué); 　　一、引言:人工智能技術(shù)引入電影錄音領(lǐng)域 　　2016年3月，由世界著名科技公司谷歌(Google)旗下的DeepMind團(tuán)隊(duì)開發(fā)的“阿爾法”(AlphaGo)圍棋機(jī)器人以4∶1的總比分戰(zhàn)勝韓國(guó)圍棋世界冠軍、職業(yè)九段棋手李世石。2017年5月，“阿爾法”圍棋機(jī)器人在中國(guó)烏鎮(zhèn)圍棋峰會(huì)上，再次以3∶0的總分戰(zhàn)勝圍棋世界排名第一的中國(guó)選手柯潔。

3、兩次戰(zhàn)勝人類圍棋世界冠軍，讓人工智能技術(shù)及其自我學(xué)習(xí)、進(jìn)化能力得到普遍關(guān)注?！鞍柗ā眹鍣C(jī)器人的工作原理被稱為“深度學(xué)習(xí)”(Deep Learning)?！吧疃葘W(xué)習(xí)”是“機(jī)器學(xué)習(xí)”(Machine Learning)領(lǐng)域研究中的一個(gè)重要研究方向。“機(jī)器學(xué)習(xí)”則是人工智能的核心概念，是使計(jì)算機(jī)獲得智能的途徑?！吧疃葘W(xué)習(xí)”是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過(guò)程中所獲得的各類信息對(duì)諸如文字、圖像和聲音等數(shù)據(jù)的解釋具有很大的幫助。因?yàn)?，“機(jī)器學(xué)習(xí)”的最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識(shí)別文字、圖像和聲音等數(shù)據(jù);而“深度學(xué)習(xí)”則是一個(gè)更加復(fù)雜的機(jī)器學(xué)習(xí)算法，它在語(yǔ)音和圖像識(shí)別

4、方面所取得的各類成果，已遠(yuǎn)遠(yuǎn)超過(guò)先前的相關(guān)技術(shù)。1“阿爾法”圍棋機(jī)器人的全面勝利預(yù)示著這樣一個(gè)事實(shí)，那就是以計(jì)算機(jī)人工智能為基礎(chǔ)的新信息技術(shù)時(shí)代(新IT時(shí)代)的到來(lái)。如今，人臉識(shí)別、語(yǔ)音識(shí)別、地圖導(dǎo)航、無(wú)人駕駛、智能家居等人工智能技術(shù)已然進(jìn)入人們的日常生活中，并逐漸成為一種無(wú)法拒絕的生產(chǎn)及生活方式。 　　電影中的聲音是構(gòu)成電影視聽語(yǔ)言的重要藝術(shù)元素。1927年，美國(guó)華納兄弟公司出品的電影《爵士歌手》(Jazz Singer)的上映標(biāo)志著有聲電影時(shí)代的到來(lái)。從此，電影從一門純視覺(jué)藝術(shù)轉(zhuǎn)變成為一門視與聽的綜合藝術(shù)形式。聲音的引入在很大程度上提升了電影的藝術(shù)審美表現(xiàn)能力。首先，它使得

5、電影更加真實(shí)。無(wú)論是對(duì)白語(yǔ)言亦或是自然音響的加入，都使觀眾在觀看電影時(shí)越發(fā)接近于自身的生活感知經(jīng)驗(yàn)，極大地提升了電影的真實(shí)度和可信度。其次，聲音豐富了電影的時(shí)空特性，使電影增加了一個(gè)全新的信息維度。電影從以視覺(jué)信息為主導(dǎo)的視覺(jué)空間進(jìn)化成同時(shí)兼具視覺(jué)及聽覺(jué)信息的視聽空間，最終得以再現(xiàn)真實(shí)或夢(mèng)想生活中的現(xiàn)實(shí)或虛擬環(huán)境。再次，聲音賦予了電影講述復(fù)雜故事的能力，形成了豐富的電影視聽語(yǔ)言與視聽思維(如畫外音、閃回、聲畫對(duì)位等)。同時(shí)，聲音亦解放了攝影機(jī)的運(yùn)動(dòng)形態(tài)，使得攝影機(jī)能夠以更加自由、靈活的視角與聲音共同進(jìn)行敘事。所以，不難理解，與視覺(jué)語(yǔ)言以及其他種類的語(yǔ)言一樣，電影聲音也是認(rèn)識(shí)世界、描述世界和理解

6、世界的一種重要方式。 　　電影的藝術(shù)屬性是由其工業(yè)屬性決定的。在聲音進(jìn)入電影的不到一百年的時(shí)間里，電影藝術(shù)經(jīng)歷了不斷的發(fā)展與變化。而電影聲音的錄音技術(shù)制作則經(jīng)歷了由“唱盤發(fā)聲”到“片上發(fā)聲”，從“光學(xué)”到“磁學(xué)”，從“模擬”到“數(shù)字”，由“單聲道”到“立體聲”，再由“多聲道環(huán)繞聲”(Surround Sound)到“空間聲”(Space Sound)的不同革命性的發(fā)展階段。但必須指出的是，縱觀國(guó)內(nèi)外，電影聲音的錄音技術(shù)制作工藝在數(shù)十年的發(fā)展過(guò)程當(dāng)中并沒(méi)有實(shí)現(xiàn)質(zhì)的變化。早期的電影聲音是記錄在光學(xué)和磁性聲片上的，對(duì)聲音的處理需要手動(dòng)地對(duì)光學(xué)或磁性聲片進(jìn)行物理上的剪輯和拼貼等工作，這

7、就需要耗費(fèi)巨大的人力成本和時(shí)間成本。而數(shù)字化計(jì)算機(jī)時(shí)代到來(lái)以后，隨著計(jì)算機(jī)數(shù)字音頻工作站(DAW)以及計(jì)算機(jī)非線性編輯技術(shù)(NLE)的引入，使傳統(tǒng)對(duì)磁性聲片上的線性剪輯處理工藝得以淘汰，從而進(jìn)入到了電影聲音的數(shù)字化計(jì)算機(jī)非線性編輯時(shí)代。這種將聲音信號(hào)記錄在計(jì)算機(jī)硬盤，通過(guò)計(jì)算機(jī)CPU、內(nèi)存、DSP(數(shù)字信號(hào)處理技術(shù))芯片和相關(guān)專業(yè)音頻軟件進(jìn)行運(yùn)算處理的非線性音頻編輯方式，極大地提高了電影錄音技術(shù)制作的生產(chǎn)效率。這種錄音技術(shù)制作工藝允許錄音制作人員在一個(gè)完整的工程序列中的任意位置對(duì)聲音進(jìn)行插入、刪除、移動(dòng)、疊加、淡入淡出等聲音蒙太奇的藝術(shù)處理，使得曾經(jīng)一個(gè)具備熟練操作技巧的錄音制作人員幾個(gè)小時(shí)的

8、工作內(nèi)容，在計(jì)算機(jī)平臺(tái)上只要幾分鐘就可以完成，并且這種處理方式在流程上還是可逆的，只需一個(gè)快捷鍵就能夠退回到編輯前的狀態(tài)，這為電影錄音技術(shù)制作行業(yè)乃至整個(gè)電影行業(yè)的快速發(fā)展和崛起都起到了極大的推動(dòng)作用。 　　然而，直至今天，電影錄音技術(shù)制作工藝仍然維持著這種從目前的眼光來(lái)看已然相當(dāng)傳統(tǒng)和保守的工業(yè)生產(chǎn)模式。通過(guò)回顧聲音的發(fā)展歷史可以得知，1992年美國(guó)電影《蝙蝠俠歸來(lái)》(Batman Returns)和1993年《侏羅紀(jì)公園》(Jurassic Park)的上映標(biāo)志著電影數(shù)字多聲道環(huán)繞聲時(shí)代的開啟。在此后的一段時(shí)間內(nèi)，形成了以Dolby SRD(數(shù)字頻譜錄音)、DTS

9、(數(shù)字影院系統(tǒng))以及SDDS(索尼數(shù)字動(dòng)態(tài)聲音)三種數(shù)字多聲道環(huán)繞聲影院還音系統(tǒng)三足鼎立的局面。 　　1998年10月23日，美國(guó)懸疑驚悚影片《最后的廣播》(The Last Broadcast)上映，這部影片是世界影史上第一部從拍攝、剪輯到放映等全流程采用了數(shù)字化技術(shù)，且影片時(shí)長(zhǎng)為一部標(biāo)準(zhǔn)故事片長(zhǎng)度的影片。該片將電影帶入了全面數(shù)字化的時(shí)代，具有重要的歷史里程碑意義。而數(shù)字電影的到來(lái)猶如一顆重磅炸彈，一夜之間將擁有百年工業(yè)歷史的傳統(tǒng)膠片電影推入到歷史發(fā)展的滾滾洪流中。曾為全球最大的膠片供應(yīng)商、世界影像巨頭的美國(guó)柯達(dá)公司也在受到了數(shù)字電影沖擊后于2012年申請(qǐng)破產(chǎn)保護(hù)。電影發(fā)行載

10、體的巨變對(duì)電影的工業(yè)化生產(chǎn)流程帶來(lái)極大的沖擊與改變，各類聲畫素材經(jīng)過(guò)后期制作完成后會(huì)輸出一個(gè)數(shù)字電影發(fā)行數(shù)據(jù)包(DCP,Digital Cinema Package)。DCP作為數(shù)字電影制作和發(fā)行專門開發(fā)的數(shù)據(jù)包，可經(jīng)由移動(dòng)硬盤、光盤、寬帶網(wǎng)絡(luò)等形式輸入進(jìn)數(shù)字電影院中的播放服務(wù)器，從而對(duì)DCP進(jìn)行解包以放映數(shù)字電影。當(dāng)前的DCP文件在聲音技術(shù)層面包含有16個(gè)聲道，全部支持48KHz、24Bit無(wú)損數(shù)字音頻格式，采用PCM方式進(jìn)行編碼和解碼。過(guò)去，Dolby SRD、DTS與SDDS之所以能夠占據(jù)多年的市場(chǎng)份額，其原因主要在于這三種電影聲音制式在膠片極其有限的物理空間上找到了用于存儲(chǔ)數(shù)字聲音信息

11、的位置(SRD是在片孔之間，SDDS是在膠片片邊緣，DTS則在膠片上記錄了與外部CD同步的TC時(shí)碼信號(hào))，并在空間局限與還音品質(zhì)之間取得了良好的平衡性。這些數(shù)字電影聲音的技術(shù)應(yīng)用同樣隨著全流程數(shù)字化電影的到來(lái)畫上了句號(hào)，因?yàn)閿?shù)字電影已不再需要嚴(yán)苛地節(jié)省信息存儲(chǔ)空間，也不再需要對(duì)聲音進(jìn)行各類有損壓縮來(lái)進(jìn)行存儲(chǔ)和還放。 　　2012年，杜比推出具有劃時(shí)代意義的全景聲系統(tǒng)(Atmos，取詞自Atmosphere)，與之伴隨的是基于對(duì)象(Object-Based)的電影聲音制作理念及工藝。此外，這套全景聲系統(tǒng)最多支持高達(dá)64個(gè)聲道(是此前5.1聲道的10倍還多)，且在影院天花板處增設(shè)了

12、專門的頂置聲道(Overhead Speakers)，用來(lái)表現(xiàn)垂直方向的聲音。垂直聲場(chǎng)的加入以及基于對(duì)象聲音制作方法的引入，使電影聲音從“環(huán)繞聲”進(jìn)入“空間聲”時(shí)代。 　　美國(guó)影片《地心引力》是世界上第一部使用杜比全景聲的真人故事片。該片于2013年上映，并于2014年一舉奪得第86屆奧斯卡金像獎(jiǎng)中的最佳混音(Sound Mixing)與最佳音效剪輯(Sound Editing)兩個(gè)大獎(jiǎng)，囊括了全部的聲音類獎(jiǎng)項(xiàng)。這部影片借助Atmos系統(tǒng)將電影聲音的空間藝術(shù)表現(xiàn)力提升到了一個(gè)全新的層次。隨后，包括德國(guó)IOSONO、比利時(shí)BARCO以及美國(guó)DTS在內(nèi)的多家電影技術(shù)公司紛紛推出自己

13、的多維空間聲還音系統(tǒng)。一時(shí)間，“臨境音”“三維聲”“全息聲”等各類空間聲還音系統(tǒng)硝煙四起、不絕于耳。因此，也有人將基于對(duì)象的空間聲影院聲音系統(tǒng)視作電影聲音的第三次革命。 　　但是，空間聲時(shí)代的到來(lái)不但沒(méi)有使電影聲音的生產(chǎn)制作工藝流程簡(jiǎn)化，反而使之更為復(fù)雜。由于空間聲影院系統(tǒng)的普及率遠(yuǎn)未到達(dá)百分之百，還有相當(dāng)數(shù)量的影院并沒(méi)有升級(jí)到市面上現(xiàn)有的任何一種空間聲系統(tǒng)。因此在一部電影的混錄制作環(huán)節(jié)，混錄師常常需要先對(duì)5.1聲音格式進(jìn)行混錄，然后再在其基礎(chǔ)上加混成空間聲格式(也有混錄師直接混錄空間聲格式，再做其他類型的環(huán)繞聲混錄)。這樣的錄音技術(shù)制作過(guò)程無(wú)疑會(huì)產(chǎn)生更多的制作工作量與更長(zhǎng)的制

14、作周期。另外，由于不同的空間聲體系涉及迥異的聲音編碼方式以及揚(yáng)聲器布局及吊裝方式，并且對(duì)于空間聲的升級(jí)本身就會(huì)帶來(lái)巨大的設(shè)備采購(gòu)成本投入，因此很少有影院會(huì)同時(shí)引進(jìn)幾種不同的空間聲系統(tǒng)。這就使得電影聲音的空間聲混錄制作和發(fā)行格式很難統(tǒng)一，甚至漸行漸遠(yuǎn)。混錄師需要為不同的發(fā)行格式制作出不同的聲音混底，無(wú)形當(dāng)中進(jìn)一步增加了工作量、時(shí)間和制作成本。此外，除了混錄階段工藝的變化以外，在此之前的包括聲音錄制、聲音編輯處理等工藝流程沒(méi)有任何不同之處。 　　所以說(shuō)，傳統(tǒng)的基于非線性音頻編輯的電影錄音技術(shù)制作工藝流程用現(xiàn)在的眼光來(lái)看已經(jīng)處于其生命周期的末期，盡管這個(gè)末期可能還會(huì)持續(xù)相當(dāng)長(zhǎng)的一段時(shí)

15、間。但是真正的問(wèn)題在于傳統(tǒng)的工藝和方法沒(méi)有結(jié)合當(dāng)下這個(gè)時(shí)代最新、最先進(jìn)的生產(chǎn)理念，而后者一定是未來(lái)影響全球工業(yè)和生產(chǎn)以及人類生活的重要因素。因此，如何將計(jì)算機(jī)人工智能技術(shù)應(yīng)用于電影錄音技術(shù)制作領(lǐng)域，已成為本行業(yè)亟待討論的重要命題。 　　二、人工智能在影音技術(shù)與藝術(shù)領(lǐng)域應(yīng)用前瞻 　　1. 人工智能與語(yǔ)音識(shí)別 　　不可否認(rèn)，語(yǔ)音識(shí)別(Speech Recognition)是人們?cè)谌粘Ｉ钪心軌驈V泛接觸、使用場(chǎng)景極其豐富的人工智能技術(shù)。無(wú)論是文字聽寫還是聊天機(jī)器人，其內(nèi)部核心技術(shù)都是語(yǔ)音識(shí)別。語(yǔ)音識(shí)別是計(jì)算機(jī)語(yǔ)言學(xué)的一個(gè)次級(jí)交叉學(xué)科(Interdisc

16、iplinary Subfield)，具有語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)以及電子信息工程等多學(xué)科的學(xué)科特點(diǎn)及知識(shí)結(jié)構(gòu)。 　　語(yǔ)音識(shí)別作為在21世紀(jì)信息技術(shù)領(lǐng)域最具發(fā)展前景的學(xué)科及行業(yè)之一，其歷史并不算長(zhǎng)，只有短短60余年的時(shí)間。1952年，美國(guó)貝爾實(shí)驗(yàn)室的包括斯蒂芬巴拉謝克(Stephen Balshek)在內(nèi)的三名研究人員研發(fā)出了一款名為“奧德麗”(Audrey)的單揚(yáng)聲器語(yǔ)音識(shí)別系統(tǒng)，該系統(tǒng)是世界上第一個(gè)能識(shí)別出10個(gè)英文數(shù)字發(fā)音的實(shí)驗(yàn)系統(tǒng)。此后，來(lái)自世界各地的企業(yè)和科研機(jī)構(gòu)甚至是軍方部門陸續(xù)加入到語(yǔ)言識(shí)別的科研隊(duì)伍中來(lái)，并在20世紀(jì)70年代后取得了技術(shù)上的突破性進(jìn)展。

17、 　　根據(jù)識(shí)別對(duì)象的不同，語(yǔ)音識(shí)別可分為3類，分別為孤立詞識(shí)別(Isolated Word Recognition)、關(guān)鍵詞識(shí)別(Keyword Recognition)和連續(xù)語(yǔ)音識(shí)別(Continuous Speech Recognition)。顯然，連續(xù)語(yǔ)音識(shí)別是語(yǔ)音識(shí)別領(lǐng)域技術(shù)攻關(guān)的重點(diǎn)和難點(diǎn)，也是這一領(lǐng)域最能產(chǎn)生經(jīng)濟(jì)和社會(huì)效益的發(fā)展前景之一。我國(guó)科大訊飛是在人工智能語(yǔ)音識(shí)別領(lǐng)域取得豐富成果的企業(yè)之一，也是最早把深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別領(lǐng)域的機(jī)構(gòu)。 　　目前，語(yǔ)音識(shí)別技術(shù)已經(jīng)在不同的行業(yè)中實(shí)現(xiàn)了商業(yè)化運(yùn)營(yíng)，為提高生產(chǎn)力、改善生產(chǎn)效率做出了實(shí)質(zhì)性的貢獻(xiàn)。以湖南廣播電臺(tái)為例

18、，其與科大訊飛合作開發(fā)的智能音頻編輯系統(tǒng)，就在很大程度上改善了新聞采編的流程和效率。該系統(tǒng)上線以來(lái)，全年全臺(tái)共計(jì)使用近萬(wàn)次，錄音轉(zhuǎn)寫時(shí)長(zhǎng)超過(guò)一萬(wàn)小時(shí)，語(yǔ)音翻譯綜合效能比11∶1，結(jié)合同步音頻文本編輯功能，音頻編輯全流程工作效率提高近三倍。2 　　2. 人工智能與音樂(lè) 　　2012年，筆者第一次體驗(yàn)音樂(lè)識(shí)別軟件SoundHound時(shí)就被它的功能及高識(shí)別成功率留下了深刻印象。6年以后，這家提供免費(fèi)音樂(lè)檢索服務(wù)的企業(yè)已經(jīng)成為估值超過(guò)10億美元的行業(yè)獨(dú)角獸。實(shí)際上，SoundHound這款軟件的使用十分簡(jiǎn)單，啟動(dòng)軟件后，用戶只需要對(duì)著手機(jī)進(jìn)行某一段音樂(lè)旋律的哼唱，軟件就

19、會(huì)自動(dòng)幫助用戶找出這段音樂(lè)的歌名、專輯及歌詞等信息。 　　實(shí)際上，SoundHound軟件的工作原理是音樂(lè)信息檢索技術(shù)(MIR,Music Information Retrieval)。MIR以音樂(lè)聲音為基礎(chǔ)，基于音頻信號(hào)處理提取音頻特征，后端大量采用AI中的各種機(jī)器學(xué)習(xí)技術(shù)。3MIR算法主要對(duì)音樂(lè)的音高、旋律變化、節(jié)奏、和聲等信息進(jìn)行分析，并通過(guò)節(jié)拍跟蹤、速度檢測(cè)、歌聲分離、歌詞識(shí)別等功能對(duì)音樂(lè)的內(nèi)容進(jìn)行分析并提取特征，最后通過(guò)與數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行比對(duì)，找出最為相近的信息數(shù)據(jù)。 　　2018年，一家來(lái)自法國(guó)圖盧茲的科技公司Hexachord發(fā)布了一款名為Orb

20、 Composer的軟件，震驚了中外音樂(lè)界。這款軟件是世界上第一款有著極高完成度的人工智能作曲軟件。Orb Composer預(yù)制了六種基本模式，分別為鋼琴(Piano)、弦樂(lè)(Strings)、管弦樂(lè)隊(duì)(Orchestra)、流行/搖滾(Pop/Rock)和氛圍(Ambient)，可以按照用戶設(shè)定的配器方案、情緒、強(qiáng)度、速度等參數(shù)進(jìn)行自動(dòng)作曲。許多音樂(lè)界專業(yè)人士都對(duì)該人工智能作曲軟件的作曲能力表示驚訝，因?yàn)楹笳卟⒎鞘菍?duì)音符進(jìn)行簡(jiǎn)單、隨意的拼接處理。隨著“深度學(xué)習(xí)”的不斷進(jìn)化，這種AI作曲軟件的創(chuàng)造性是不可限量的。 　　3. 人工智能與電影 　　早在2016年，美

21、國(guó)IBM公司的人工智能系統(tǒng)“沃森”(Watson)就參與到影視制作項(xiàng)目當(dāng)中，為美國(guó)?？怂闺娪肮局谱髁藨乙呻娪啊赌Ω返念A(yù)告片。IBM的研究團(tuán)隊(duì)將100部恐怖電影預(yù)告片中的每個(gè)鏡頭分離出來(lái)對(duì)沃森進(jìn)行訓(xùn)練，沃森會(huì)對(duì)這些預(yù)告片進(jìn)行視覺(jué)、音頻、場(chǎng)景構(gòu)成等方面的分析。例如，每個(gè)場(chǎng)景都被沃森標(biāo)記為一種諸如可怕、恐懼和喜悅等情感標(biāo)簽，此外，還會(huì)對(duì)人物的語(yǔ)調(diào)和音樂(lè)的響度進(jìn)行分析，以理解每個(gè)不同場(chǎng)景與情緒的關(guān)系4。最終，在將《摩根》整部電影輸入計(jì)算機(jī)系統(tǒng)后，沃森在很短的時(shí)間內(nèi)就遴選出了適合作為預(yù)告片的場(chǎng)景，并完成了剪輯。 　　而工作室分設(shè)在洛杉磯和北京的rct studio則開發(fā)了專門用于影視

22、編劇的一款名為“摩爾普斯”(Morpheus)5的引擎軟件。通過(guò)向引擎導(dǎo)入標(biāo)準(zhǔn)文檔格式的故事腳本，引擎會(huì)自動(dòng)分析主要情節(jié)線，并拉取出主要人物。引擎知曉每個(gè)人物所扮演的角色以及他們的目的，并會(huì)列出每個(gè)角色的行為可能性。每個(gè)角色背后都由一個(gè)完整的人工智能模型實(shí)現(xiàn)運(yùn)算和支持，引擎還會(huì)根據(jù)故事背景和人類邏輯將故事發(fā)展的可能性進(jìn)行合理性限制。編劇和導(dǎo)演可以在中途增設(shè)新的條件或規(guī)則，而事件的結(jié)果則會(huì)相應(yīng)改變。當(dāng)其中一個(gè)角色表現(xiàn)了某種行為之后，其他角色在理解這種行為的基礎(chǔ)上會(huì)做出相應(yīng)的反應(yīng)。通過(guò)摩爾普斯引擎編寫的故事腳本，還可以同時(shí)以Unity三維引擎進(jìn)行動(dòng)畫預(yù)演，具有很強(qiáng)的直觀性。當(dāng)越來(lái)越多的故事情節(jié)輸入

23、到摩爾普斯引擎中，引擎也會(huì)從中學(xué)習(xí)到更多的知識(shí)，最終會(huì)表現(xiàn)得越來(lái)越像人類。6 　　除了導(dǎo)演和編劇以外，人工智能目前已經(jīng)廣泛運(yùn)用于動(dòng)畫制作、2D轉(zhuǎn)3D、特效合成等影視制作領(lǐng)域。 　　三、AI技術(shù)平臺(tái)下的電影錄音技術(shù)制作特征探析 　　在傳統(tǒng)電影聲音后期制作工藝中，通常包含有聲音編輯(或稱聲音剪輯)、擬音、ADR錄音、聲音預(yù)混和聲音終混等流程。而聲音編輯中又細(xì)分為對(duì)白編輯、音樂(lè)編輯、環(huán)境聲編輯、音響編輯等步驟和流程。在現(xiàn)有的電影錄音技術(shù)制作流程當(dāng)中，聲音編輯是涉及工作人員數(shù)量最多、涉及工作量最大的工藝流程。因此，在聲音編輯流程中全面地引入人工智能技術(shù)，

24、將在最大程度上提升電影聲音制作的效率。 　　1. 對(duì)白編輯與人工智能 　　在以往的對(duì)白編輯中，需要通過(guò)人工的方式將錄音機(jī)錄制的場(chǎng)記板合板聲與攝影機(jī)拍攝下來(lái)的合板動(dòng)作在剪輯工程時(shí)間線上對(duì)齊，以實(shí)現(xiàn)聲音和畫面的同步。進(jìn)入數(shù)字時(shí)代以后，專業(yè)級(jí)的數(shù)字電影攝影機(jī)和數(shù)字錄音機(jī)都具備了時(shí)間碼功能，在每次拍攝之前，通過(guò)兩個(gè)機(jī)器之間的時(shí)間碼校準(zhǔn)操作，就能夠在后期剪輯軟件上自動(dòng)將同一時(shí)間碼標(biāo)準(zhǔn)的聲音和畫面素材同步對(duì)齊，大大提升了剪輯的效率。當(dāng)前，常見(jiàn)的流程是，畫面剪輯部門完成畫面與同期對(duì)白的同步，之后將參考畫面以及包括同期聲音軌的OMF(Open Media Framework)文

25、件或AAF(Advanced Authoring Format)文件轉(zhuǎn)遞給聲音部門，由聲音部門根據(jù)畫面針對(duì)以對(duì)白為主要內(nèi)容的聲音分軌文件進(jìn)行編輯處理。在制作過(guò)程中，對(duì)白編輯人員主要對(duì)聲音的內(nèi)容(如去掉有害聲音)、聲音的響度、聲音的入點(diǎn)及出點(diǎn)、聲音的進(jìn)出方式(如淡入淡出、切入切出)等方面進(jìn)行制作及處理。這些工作屬于基礎(chǔ)性聲音編輯工作，通常是由對(duì)白編輯部門完成。引入人工智能技術(shù)以后，計(jì)算機(jī)通過(guò)人臉識(shí)別技術(shù)對(duì)畫面內(nèi)容進(jìn)行分析，從而判斷某一場(chǎng)戲當(dāng)中有哪幾個(gè)角色在講話、不同角色所處的不同銀幕位置，以及人物角色處于一個(gè)怎樣的聲學(xué)空間(如開放空間還是密閉空間，是臥室還是教堂，等等)，最后根據(jù)畫面中人物的景別

26、和距離，對(duì)人物的對(duì)白進(jìn)行自動(dòng)編輯。除了根據(jù)畫面內(nèi)容設(shè)置正確合理的對(duì)白電平、頻率響應(yīng)、聲像位置和運(yùn)動(dòng)以及不同環(huán)境的空間感以外，還能夠?qū)Σ焕硐氲穆曇暨M(jìn)行糾錯(cuò)處理，例如進(jìn)行適當(dāng)?shù)慕翟?、去除過(guò)多的有害混響甚至彌補(bǔ)由于同期錄音話筒跟隨不及時(shí)而造成的指向性話筒離軸聲染色效應(yīng)。 　　2. 環(huán)境聲編輯與人工智能 　　環(huán)境聲編輯也是電影聲音制作中的一個(gè)重要環(huán)節(jié)。環(huán)境聲，或稱為自然音響，起到構(gòu)建銀幕空間、增強(qiáng)真實(shí)感以及渲染影片氛圍等作用。由于同期錄音過(guò)程中常常存在拍攝現(xiàn)場(chǎng)具有有害噪聲、拍攝周期緊張、器材設(shè)備種類及數(shù)量有限等客觀因素，導(dǎo)致出現(xiàn)在同期錄音階段錄制的優(yōu)質(zhì)環(huán)境聲素材數(shù)量少或

27、質(zhì)量不高等問(wèn)題。因此，在以往的環(huán)境聲編輯中，制作人員通常需要花費(fèi)大量的時(shí)間人為地在環(huán)境聲素材資料庫(kù)中檢索與畫面場(chǎng)景相吻合的聲音素材，有時(shí)還經(jīng)常需要將幾個(gè)不同的環(huán)境聲素材進(jìn)行疊加使用，以增強(qiáng)真實(shí)感和戲劇性效果?；趦?nèi)容的聲音檢索，人工智能技術(shù)將從根本上改變這一現(xiàn)狀。通過(guò)系統(tǒng)的機(jī)器學(xué)習(xí)與訓(xùn)練，例如讓計(jì)算機(jī)“收聽”大量的環(huán)境聲樣本，人工智能技術(shù)完全可以實(shí)現(xiàn)對(duì)風(fēng)聲、雨聲、蟲鳴聲、城市街道聲等各具特點(diǎn)的環(huán)境音響的辨別。而同樣基于對(duì)畫面內(nèi)容的分析，例如天氣情況、所處地理環(huán)境、交通擁堵程度等等，人工智能可以自動(dòng)為特定一場(chǎng)戲選擇最優(yōu)的一條或若干條環(huán)境聲素材，從而減少人工操作的負(fù)擔(dān)。 　　3.

28、音響編輯與人工智能 　　傳統(tǒng)的音響編輯主要涉及素材選擇、聲畫同步、電平調(diào)節(jié)、聲像設(shè)置、效果處理等幾項(xiàng)工作內(nèi)容，因?yàn)橐繇懢庉嬐菍?duì)聲音的細(xì)節(jié)性處理，因此常常會(huì)產(chǎn)生很多的工作量。利用基于畫面內(nèi)容識(shí)別以及聲音內(nèi)容識(shí)別的人工智能技術(shù)，可以解決絕大多數(shù)的寫實(shí)性音響的制作和處理工作。例如，畫面上表現(xiàn)的是一個(gè)中年人騎自行車摔倒在地的故事情節(jié)，人工智能在完成對(duì)畫面內(nèi)容的分析以后，可以判斷這個(gè)角色的性別、年齡、摔倒的原因、摔倒過(guò)程的速度、地面的材質(zhì)、自行車的類型、摔倒后當(dāng)事人與他人的反應(yīng)等一系列關(guān)鍵信息，然后通過(guò)這些關(guān)鍵信息對(duì)音響素材庫(kù)中的素材進(jìn)行檢索，找出最為合適的聲音素材，并根據(jù)畫面動(dòng)作將

29、選定的聲音素材與畫面進(jìn)行同步對(duì)位，并進(jìn)行響度、頻率、位置、空間等方面的處理，最終只需要制作人員對(duì)聲音進(jìn)行簡(jiǎn)單潤(rùn)色即可使用。寫意性的音響，例如表現(xiàn)人物主觀心理的音響，則需要更高級(jí)別的人工智能技術(shù)加以實(shí)現(xiàn)。由于寫意性音響或稱表現(xiàn)性音響涉及制作人員對(duì)聲音的高層次創(chuàng)作，具有很強(qiáng)的主觀性與隨意性，而這一特點(diǎn)是現(xiàn)階段的人工智能技術(shù)所無(wú)法企及的，因?yàn)檫@涉及對(duì)人類思維方式的模仿。此外，對(duì)聲音進(jìn)行主觀創(chuàng)作過(guò)程中所體現(xiàn)出的主觀性與制作人員的成長(zhǎng)背景、受教育水平、生活及工作經(jīng)驗(yàn)、哲學(xué)觀念等方面有著很強(qiáng)的相關(guān)性和特殊性，這與目前基于計(jì)算機(jī)編程的人工智能技術(shù)的高度準(zhǔn)確性與科學(xué)性是兩種截然不同的信息處理方式。

30、 　　四、人工智能導(dǎo)引的電影聲音美學(xué)轉(zhuǎn)向 　　電影聲音美學(xué)與電影錄音技術(shù)的發(fā)展一直呈現(xiàn)出一種精確而復(fù)雜的互動(dòng)性關(guān)系。有聲電影誕生于無(wú)聲電影出現(xiàn)的30年后，在這30年里，無(wú)聲片已經(jīng)形成了一套完整的視覺(jué)表意系統(tǒng)及電影語(yǔ)言。有聲電影誕生之初，由于當(dāng)時(shí)的錄音設(shè)備無(wú)論在頻響、信噪比、動(dòng)態(tài)范圍、聲道數(shù)量等方面都尚不具備較好的表現(xiàn)力，因此，彼時(shí)的電影聲音美學(xué)以自然主義為主要訴求，即首先考慮的是如何讓觀眾能夠聽清從揚(yáng)聲器中傳出的聲響。在隨后的幾十年時(shí)間里，隨著更加優(yōu)異的聲音記錄與還原技術(shù)的不斷推出，電影聲音的清晰度、可懂度得以迅速提升，因此，在滿足了聲音的高保真度的記錄和還原的基礎(chǔ)上，電影

31、聲音美學(xué)從自然主義向表現(xiàn)主義轉(zhuǎn)向，從而使電影聲音創(chuàng)作成為一門藝術(shù)。 　　2012年，以杜比全景聲為首的空間聲電影還音系統(tǒng)為電影聲音美學(xué)的進(jìn)一步發(fā)展打開了一扇窗戶，它憑借基于對(duì)象的聲音制作模式以及新增設(shè)的頂置揚(yáng)聲器從而將影院聲音從二維提升到三維，在為觀眾提供更具真實(shí)感與沉浸感的觀影體驗(yàn)的同時(shí)，亦改變了電影聲音制作者們的創(chuàng)作觀念，使他們從更高的維度上考慮電影聲音創(chuàng)作的可能性問(wèn)題。 　　當(dāng)前，電影聲音美學(xué)正處于一個(gè)生機(jī)勃勃、蓄勢(shì)待發(fā)的快速發(fā)展期。在下一個(gè)階段，隨著人工智能技術(shù)的不斷迭代和更新，勢(shì)必會(huì)對(duì)電影聲音美學(xué)帶來(lái)影響。從目前的眼光來(lái)看，這種影響將突出體現(xiàn)在如下三個(gè)

32、方面。 　　1. 人工智能帶動(dòng)電影觀眾接受審美模式升級(jí) 　　1924年，美國(guó)西方電氣公司(Western Electric)旗下的貝爾實(shí)驗(yàn)室推出了名為“維他風(fēng)”(Vitaphone)的電影同步錄音系統(tǒng)，將聲音記錄在一張由蟲膠制成的直徑為16英寸、每分鐘轉(zhuǎn)動(dòng)331/3圈的唱片上，首次實(shí)現(xiàn)了對(duì)電影聲音的記錄，并通過(guò)一個(gè)單獨(dú)的揚(yáng)聲器對(duì)聲音進(jìn)行還原。1931年，作為電影觀眾的英國(guó)EMI唱片公司工程師艾倫布呂姆萊因(Alan Blumlein)不滿于電影只有一個(gè)喇叭發(fā)聲，因此，在經(jīng)過(guò)研究與創(chuàng)新后發(fā)明了雙聲道立體聲，并申請(qǐng)了專利。為了進(jìn)一步塑造更為真實(shí)可信的聲音空間效果，從

33、雙聲道立體聲向多聲道環(huán)繞聲的演進(jìn)具有歷史必然性。美國(guó)電影企業(yè)家華爾特迪士尼從20世紀(jì)30年代早期開始研制多聲道技術(shù)，并于1940年隨著《幻想曲》(Fantasia)的上映推出了具備三個(gè)聲道的幻想聲(Fantasound)聲音系統(tǒng)。20世紀(jì)50年代以后，多聲道環(huán)繞聲系統(tǒng)進(jìn)入快速發(fā)展期，多家廠商陸續(xù)推出了自己的環(huán)繞聲系統(tǒng);70年代以來(lái)，逐漸形成了以5.1聲道(5個(gè)全頻段聲道+1個(gè)超低音聲道)為主要形態(tài)的多聲道影院聲音系統(tǒng)。 　　數(shù)字多聲道環(huán)繞聲系統(tǒng)為觀眾在觀影時(shí)帶來(lái)了前所未有的來(lái)自聲音上的震撼體驗(yàn)，在營(yíng)造逼真聽覺(jué)效果的同時(shí)極大地提升了電影聲音的藝術(shù)表現(xiàn)力。而人工智能作為下一代的技術(shù)

34、革命，無(wú)疑將再一次推動(dòng)電影觀眾接受審美模式的升級(jí)和躍遷。此前，電影錄音技術(shù)制作全部由人工的方式完成，而傳統(tǒng)電影錄音制作工藝流程復(fù)雜、涉及人員眾多，勢(shì)必會(huì)造成不同制作人員對(duì)聲音在技術(shù)上的處理具有差異性和主觀性。而人工智能技術(shù)一旦介入電影聲音制作環(huán)節(jié)，將從頻率、響度、空間等方面對(duì)聲音進(jìn)行標(biāo)準(zhǔn)化的技術(shù)檢查，并糾正其中的錯(cuò)誤和缺陷，使觀眾能夠在影院中收聽到保真度、還原度和精確度更高的聲音，使電影聲音表意模式得以優(yōu)化。 　　2. 人工智能引發(fā)電影聲音制作人員創(chuàng)作觀念進(jìn)化 　　人工智能技術(shù)憑借高效率計(jì)算機(jī)輔助特性，將極大地解放電影錄音技術(shù)制作的生產(chǎn)力，使電影錄音技術(shù)制作人員

35、能夠?qū)⒏嘤行Ьν斗庞陔娪奥曇羲囆g(shù)創(chuàng)作上，從而帶來(lái)電影聲音創(chuàng)作審美觀念的變革。 　　一個(gè)比較理想的模式是使基于深度學(xué)習(xí)技術(shù)的人工智能系統(tǒng)對(duì)獲得包括奧斯卡金像獎(jiǎng)最佳混音與最佳音效剪輯獎(jiǎng)、美國(guó)電影聲音編輯協(xié)會(huì)(MPSE)獎(jiǎng)以及中國(guó)電影金雞獎(jiǎng)最佳錄音獎(jiǎng)等獎(jiǎng)項(xiàng)的影片進(jìn)行文本分析，從聲音頻率響應(yīng)、響度、空間性、運(yùn)動(dòng)性等指標(biāo)進(jìn)行數(shù)據(jù)量化，從而得出一個(gè)不同類型獲獎(jiǎng)影片的數(shù)據(jù)模型。根據(jù)此數(shù)據(jù)模型，電影錄音制作人員能夠?qū)Λ@獎(jiǎng)影片的聲音特性進(jìn)行直觀、全面的掌握，并將經(jīng)驗(yàn)運(yùn)用到未來(lái)的電影聲音創(chuàng)作實(shí)踐中，推動(dòng)創(chuàng)作審美觀念的全面進(jìn)步。 　　3. 人工智能推動(dòng)電影聲音美學(xué)理論發(fā)展

36、 　　電影聲音美學(xué)理論經(jīng)歷了早期時(shí)期、經(jīng)典時(shí)期及現(xiàn)代時(shí)期三個(gè)發(fā)展階段。在早期以及經(jīng)典電影聲音美學(xué)理論時(shí)期，包括謝爾蓋愛(ài)森斯坦、貝拉巴拉茲、魯?shù)婪驉?ài)因漢姆等電影理論家都對(duì)電影聲音的美學(xué)及其意義進(jìn)行過(guò)深入的探討。而進(jìn)入現(xiàn)代理論時(shí)期，以米希爾希翁、里克阿爾特曼為代表的電影聲音理論家則根據(jù)電影聲音的現(xiàn)代性呈現(xiàn)對(duì)電影聲音美學(xué)進(jìn)行了重新的、更能夠適應(yīng)當(dāng)今時(shí)代特征的思考，將電影聲音美學(xué)研究從聲音的物理屬性研究與心理屬性研究提升到聽覺(jué)文化研究的范疇。 　　人工智能時(shí)代的電影聲音美學(xué)研究的格局將被改寫，其理論研究的版圖將被重新劃分。通過(guò)人工智能制作出來(lái)的電影聲音文本，雖然其面向的對(duì)象仍是

37、人類觀眾，但是產(chǎn)生方式已經(jīng)由人類制作者變?yōu)殡娮由?，這種傳播學(xué)視域下信息生產(chǎn)者的更迭將對(duì)電影聲音的生產(chǎn)和傳播模型及其倫理帶來(lái)深刻的變化和影響?？梢韵胂蟮慕K極形態(tài)甚至是作為接受者的觀眾也會(huì)部分地人工智能化，作為觀眾的人工智能將如何聆聽電影聲音、將如何觀看電影將是一個(gè)未來(lái)值得深入探討的話題。 　　五、人工智能在電影錄音技術(shù)制作中的應(yīng)用性、局限性與可能性討論 　　鑒于現(xiàn)有科學(xué)技術(shù)的發(fā)展水平，在當(dāng)前以及接下來(lái)的一段時(shí)間內(nèi)，人工智能技術(shù)在電影錄音技術(shù)制作中的作用主要是以替代人工的方式從事電影聲音制作流程中的基礎(chǔ)性工作，以提升電影錄音技術(shù)制作的工作效率。此外，人工智能還應(yīng)能

38、夠從事對(duì)音頻素材進(jìn)行簡(jiǎn)單拼貼、組合等初級(jí)創(chuàng)造性工作，而具有高級(jí)審美特性的創(chuàng)意性工作如聲音設(shè)計(jì)與混錄是目前這個(gè)階段的人工智能技術(shù)無(wú)法實(shí)現(xiàn)的。提升人工智能在電影聲音制作領(lǐng)域的應(yīng)用性及普及性的一個(gè)關(guān)鍵之處在于要讓人工智能理解電影中的聲音，而這需要兩個(gè)基本的過(guò)程才能得以實(shí)現(xiàn)。 　　第一，人工智能需要對(duì)聲音具有完全技術(shù)指標(biāo)分析的能力，也就是說(shuō)，人工智能要在能夠識(shí)別聲音的頻率、振幅、方位、空間等基本信息的基礎(chǔ)之上，通過(guò)分析聲音的頻譜構(gòu)成(包括基頻、諧頻)以及發(fā)聲方式(如ADSR形態(tài)7)從而對(duì)聲音的音色或類別進(jìn)行判斷，以此實(shí)現(xiàn)基于內(nèi)容的對(duì)自然音響(尤其是頻響特征和節(jié)拍特征無(wú)明顯規(guī)律性)的識(shí)別

39、功能。一旦人工智能能夠識(shí)別聲音的內(nèi)容，就可以實(shí)現(xiàn)大規(guī)模的基于聲畫結(jié)合的聲音處理。 　　第二，人工智能需要掌握基本的電影錄音技術(shù)制作規(guī)律。電影錄音技術(shù)制作是基于制作人員對(duì)電影聲音的分類、構(gòu)成、功能、技術(shù)手段、表現(xiàn)形式等多方面的認(rèn)知與理解從而對(duì)電影中的聲音進(jìn)行主觀能動(dòng)性處理的一種行為，而更高層次的聲音制作例如聲音設(shè)計(jì)，則更需要進(jìn)行系統(tǒng)及長(zhǎng)期的訓(xùn)練才能夠獲得具有較高水準(zhǔn)的制作觀念及制作水平。人工智能首先需要了解和掌握電影聲音制作的規(guī)律，例如電影中的角色語(yǔ)言在不同情境下的響度浮動(dòng)范圍、戰(zhàn)爭(zhēng)場(chǎng)面中槍炮等武器的音色及頻響特點(diǎn)、原始森林中聽覺(jué)環(huán)境的聲音元素構(gòu)成等，若要獲得以上案例中的功能，需

40、要讓人工智能對(duì)大量的影片進(jìn)行畫面和聲音上的分析，并按照類型片的模式分別歸納出不同影片在聲音制作上的整體及細(xì)節(jié)特征。 　　最后，在理解電影聲音的客觀性的基礎(chǔ)上嘗試?yán)斫怆娪奥曇舻闹饔^性。電影聲音的主觀性是自有聲電影誕生的近百年來(lái)最具藝術(shù)魅力的特征，也創(chuàng)造了無(wú)數(shù)經(jīng)典而美妙的電影聲音藝術(shù)形象，成為了人類共同的文明寶藏。電影聲音的主觀性包括兩個(gè)方面的內(nèi)容，第一部分是電影聲音制作人員在進(jìn)行聲音藝術(shù)創(chuàng)作的過(guò)程中根據(jù)自身的認(rèn)識(shí)與經(jīng)驗(yàn)所施加的主觀性;第二部分是觀眾作為接受客體在觀看電影并聆聽經(jīng)由聲音制作人員設(shè)計(jì)和創(chuàng)作的聲音時(shí)所表現(xiàn)出的主觀性，正是這兩方面的主觀性的結(jié)合，才使得電影聲音產(chǎn)生了永恒的

41、審美意義。人工智能技術(shù)作為電影聲音的制作者和生產(chǎn)者，通過(guò)技術(shù)上的升級(jí)和強(qiáng)化，在進(jìn)行電影錄音技術(shù)制作時(shí)試圖用數(shù)字的方式還原人類在創(chuàng)作表現(xiàn)性聲音或進(jìn)行聲音設(shè)計(jì)時(shí)的思維過(guò)程，這樣就能在更大程度上實(shí)現(xiàn)從制作到創(chuàng)作的跨越。 　　注釋 　　1陳先昌:《基于卷積神經(jīng)網(wǎng)絡(luò)的“深度學(xué)習(xí)”算法與應(yīng)用研究》，浙江工商大學(xué)碩士學(xué)位論文，2014年，第1頁(yè)。 　　2王涓、唐煒、向軍:《智能音頻編輯系統(tǒng)在廣播電臺(tái)的虛擬化部署和應(yīng)用》，《電聲技術(shù)》，2019年第7期，第77—80頁(yè)。 　　3李偉、高智輝:《音樂(lè)信息檢索技術(shù):音樂(lè)與人工智能的融合》，《藝術(shù)探索》，2018年第5期，第112

42、頁(yè)。 　　4材料來(lái)源:《Watson要進(jìn)軍好萊塢了?!它為《Morgan》制作了第一部認(rèn)知電影預(yù)告片!》，http://www. sohu. com/a/121865183_320672,2016年12月7日。 　　5摩爾普斯(希臘語(yǔ):Μορφα)是希臘神話中的夢(mèng)神，他能夠在人的夢(mèng)中化成不同人的形象。 　　6材料來(lái)源:The Key Technology Behind Morpheus Engine,:8081/rwt/ZGZW/https/PJSYILLUPS4XI4LQFG/ com/，2019年12月29日。 　　7聲音從產(chǎn)生到消逝，包括了“建立”(Attack)、“衰減”(Decay)、“延音”(Sustain)和“釋放”(Release)等四個(gè)階段。