旋律生成演算法

A. 求叨叨馮聊音樂：音樂博士帶你從零開始學樂理

AI 科技評論按：作為中國音樂學習最高學府之一，畢坦中央音樂學院今日發布了一則音樂人工智慧博士招生啟事。該專業全名為「音樂人工智慧與音樂信息科技」，為中央音樂學院首次開設，導師陣容有來自清華大學、北京大學的人工智慧教授梁弊，聯合中央音樂學院院長共同組成雙導師培養制 (音樂導師+科技導師)，著力培養「音樂與理工科交叉融合的復合型拔尖創新人才」。

據官網資料顯示，「音樂人工智慧與音樂信息科技」專業學制一共是 3 年，要求報考者必須是出身計算機、智能和電子信息類的考生。

建議閱讀書目方面，除了《音樂理論基礎》1 本與音樂理論掛鉤外，其餘 4 本推薦書目都跟人工智慧理論相關，它們分別為《數據結構與演算法》、《信號與系統引論》、《人工智慧：一種現代的方法》以及《神經網路與機器學習》

由於「音樂人工智慧與音樂信息科技」為跨學科專業，面試環節除了將考核本學科的專業能力之外，還會考核考生的音樂能力——演奏某種樂器或者單純進行演唱。

目前該專業已敲定的 3 名聯合培養導師分別為：

• 俞峰

中央音樂學院院長, 教授、博導,「萬人計劃橡數族」領軍人才,「四個一批」人才。中國指揮學會會長、全國藝術專業學位研究生教指委副主任、中國文聯第十屆全國委員會委員, 享受國務院政府特殊津貼。

• 孫茂松

清華大學教授、博導, 清華大學人工智慧研究院常務副院長, 原計算機系主任、黨委書記, 教育部教學信息化與教學方法創新指導委員會副主任委員, 中國科學技術協會第九屆全國委員會委員。主要研究領域為自然語言處理、人工智慧、機器學習和計算教育學。國家 973 計劃項目首席科學家, 國家社會科學基金重大項目首席專家。2017 年領銜研製出「九歌」人工智慧古詩寫作系統。

• 吳璽宏

北京大學教授、博導, 教育部新世紀優秀人才。北京大學信息科學技術學院副院長, 智能科學系主任, 言語聽覺研究中心主任, 致力於機器聽覺計算理論、語音信息處理、自然語言理解以及音樂智能等領域的研究, 先後主持國家級、省部級項目 40 余項, 獲國家授權發明專利 10 余項, 發表學術論文 200 余篇。在智能音樂創作、編配領域頗有成就。

有興趣報讀該專業的考生，須在 2019 年 3 月 1 日至 15 日期間在網上完成報名（網址:http://yz.chsi.com.cn/），考試將於今年 5 月在中央音樂學院舉行。

更多詳情可點擊：

• http://www.ccom.e.cn/xwyhd/xsjd/2019s/201903/t20190301_53856.html



進行了解。

專業開辦早有預兆？

如果一直有關注中央音樂學院的動態，就不會對該專業的開辦感到驚訝。

早在去年的 5 月份，中央音樂學院就與素以創新性交叉學科研究聞名的美國印第安納大學信息計算與工程學院共同簽署合作建設「信息學愛樂樂團」實驗室——所謂「信息愛樂」，指的是一套音樂人工智慧伴奏系統，由印第安納大學信息計算與工程學院音樂信息學實驗室主任教授 Christopher Raphael 所發明。

該系統的最大特點是會運用數學方法把音樂本身和音樂家的感受進行了全面解讀、演算，通過不斷的主動學習，形成更加貼近音樂家個性化表現需求的管弦樂團伴奏、協奏模板，為音樂家提供了更為豐富靈活的演奏機會。

完成簽署後，經過半年多的緊張籌備，雙方於去年 11 月 26 日合作舉辦中國首場由人工智慧進行伴奏的特殊音樂會——「AI 之夜音樂會」，來自中央音樂學院的 12 位不同專業的優秀獨奏家與「信息愛樂」聯袂演出了 12 首多種體裁風格的中外作品。

值得一提的是，本場音樂會加入了人工智慧協奏中國樂曲《長城隨想曲》，這是第一次音樂人工智慧技術與中國民族音樂進行碰撞。

圖片源自中央音樂學院官網


中央音樂學院院長俞峰教授在音樂會致辭中說道：「這是一場意義深遠的音樂會，我國整個音樂行業將由此進入到一個「人工智慧化」的時代，極大的提升了整個音樂行業，尤其是音樂教育行業的信息化水平。人工智慧技術與音樂藝術專業相結合將會實現整個行業的跨越式發展，一定會成為音樂行業實現產業化的典範。」

• 「AI 之夜音樂會」音樂會完整演出視頻：


• http://video.ccom.e.cn/index.php?option=weixin,dianbodetail&id=3514



國內科研熱情日益高漲

除了中央音樂學院，試圖在人工智慧 + 音樂上做出成績的，尚有星海音樂學院及中央民族大學。

去年 5 月 16 日，由星海音樂學院管弦系與美國印第安納大學信息計算與工程學院音樂信息學實驗室合作的「音樂人工智慧輔助管弦樂教學聯合實驗室」正式掛牌啟動，雙方將就「音樂人工智慧輔助管弦樂教學」系統引入至日常教學中展開合作。

據了解，該系統可以讓學生們在日常專業練習過程中隨時聽到職業管弦樂團的完整樂曲伴奏，同時將自己與管弦樂團的合成演奏音頻轉化成高度結構化、可視化、可檢索、可比較研究的音樂數據帶到課堂上與專業老師共同探討；對專業老師而言，該系統可以實現對學生專業學習情況的縱向和橫向比較，獲得了解學生的第一手資料，從而完善教學內容和方法。

圖片源自「星海音樂學院」微信公眾號

去年 12 月 7 日，由中央民族大學與平安科技聯手的「人工智慧音樂聯合實驗室」簽字揭牌儀式在中央民族大學知行堂舉行。本次合作旨在發揮各自優勢、通過共同研發，實現人工智慧音樂創作由欣賞階段到專業階段再到專家階段的設想。

中央民族大學黨委常委、副校長宋敏在揭牌儀式上表示，人工智慧己列入國家規劃並進入逐步實施階段，正在不斷與各個領域結合，無疑將引領未來各行各業的發展，她希望雙方通過實驗室這一平台各自發揮優勢，提高民大學科建設水平和音樂創作水平，推進北京「四個中心」建設特別是文化中心建設，並積極助力中國優秀音樂文化走出。

圖片源自中央民族大學官網

另外，由復旦大學、清華大學聯合創辦，至今已是第 6 屆的中國聲音與音樂技術會議 CSMT（Conference on Sound and Music Technology），從 2013 年開始便就聲音與音樂技術這門多學科交叉領域源源不斷地為國內輸出學術見解，豐富了國內人工智慧 + 音樂領域的研究成果。

以 2018 年的會議為例，其徵文主題包括：

• 音樂聲學
  

• 樂器聲學/嗓音聲學/心理聲學與電聲學/空間音樂聲學等



• 聲音與音樂的信號處理
  

• 工業、農業、畜牧業、養殖業、地理、環境等各行各業領域的聲音信號處理/音樂信號處理



• 計算機聽覺
  

• 聲音與音樂的內容分析、理解和建模/音頻與音樂信息檢索/聲音與音樂分類、標注、情感計算、推薦等/人工智慧在聲音與音樂計算中的應用/聲音及音樂計算在娛樂、教育、海洋、醫學、裝備、軍事、信息安全等各領域的應用



• 音頻信息安全
  

• 魯棒音頻水印/音頻認證/音頻取證



• 計算機音樂與錄音
  

• 計算機輔助的音樂創作/計算機輔助的音樂教學系統/計算機音樂的製作技術/計算機音樂的軟體開發/ 音響及多聲道聲音系統/ 聲音裝置及相關多媒體技術/音效及聲音設計/音頻人機交互



• ·聽覺心理學
  

• ·聽覺與視覺相結合的多媒體應用
  

值得一提的是，去年的 CSMT 大會特別開辟了兩個 Special Session：一個用來探討面向一般 Audio 的計算機聽覺，試圖擴展 Music 之外的 Audio + AI 人工智慧在各行各業的應用，比如海洋艦船識別、設備診斷、AI 醫療、嗓音聲學、音頻監控、動物識別、農業保護、工業自動化等；另一個則是探討中國民族音樂與計算機等科學技術的交叉融合，顯示了該國內會議的前瞻性。

當下流行的 AI + 音樂演算法

對於當下的音樂人工智慧演算法研究，中國音樂學院音樂學系付曉東教授在發表於 2018 年 05 期《藝術探索》的《音樂人工智慧的倫理思考——演算法作曲的「自律」與「他律」》一文中按「自律」與「他律」將之進行了劃分。

其中「自律」指的是機器嚴格或非嚴格地遵循事先規定好的內部結構原則，對應於音響素材而生成音樂作品，最終的音響呈現受到內部結構原則的自律性限定；「他律」則指機器嚴格或非嚴格地遵循依據人類經驗規定好的外部結構原則，並映射為音響而生成作品，最終的音響呈現受到外部結構原則的他律性限定。

最終的梳理結果如下：

• 「自律」類音樂人工智慧演算法
  
  

• （一）數學模型（Mathematical Model）


• 以數學演算法與隨機事件構成數學模型進行作曲。其中演算法相當於作曲法則，隨機事件相當於音樂元素——音樂中的各種元素可分解為一系列隨機事件，如音的四屬性、音樂三要素等，作曲家（程序員）賦予其不同權重，使用特定隨機演算法對其進行運算處理而得出音響序列，其結果是非確定性的。常用的隨機演算法有馬爾科夫鏈、高斯分布等。目前以數學模型為主的音樂人工智慧作品在伴奏的速度跟隨、樂句的力度處理、終止式的伸縮節奏方面有相當的「智能」感，但是在作品的整體可聽性方面仍有明顯的欠缺。



• （二）演化演算法（Evolutionary Methods）


• 演化演算法源於達爾文所揭示的生物進化理論，用演算法模擬物種進化的過程來構建音樂作品。將隨機或人為的音響事件集合為一個種群，通過選種、遺傳與突變的演算法反復迭代，將種群中現有的多個個體進行優勝劣汰，其結果由適應函數構成的審核程序予以矯正，以保證其審美意義的質量。最常見的演化計算方法是遺傳演算法（Genetic Algorithms）與遺傳編碼（Genetic Programming）。演化演算法試圖將物種進化的過程匹配於音樂生成過程的邏輯不夠完善，因此作品的審美認可度並不高，如今常用於和聲配置與伴奏任務中。



• （三）語法系統（Grammars）


• 音樂的構成法則可類比於人類語言的語法規則。人類語言由字、詞、句等按照一定的語法規則構成表達單元，音樂中的動機、樂節、樂句也具有相似的結構特徵。首先創建一個特定音樂作品的語法規則，對和聲、節奏與音高等各種音樂素材進行組合，最後生成音樂作品。誠然，音樂與語言在某種程度上具有同構性，但是比較而言，音樂規則體現出更大的靈活度與可變性，由一個固定的語法規則附加若干可變規則的語言演算法，產生出的音樂作品多少帶有生硬而呆板的特徵。




• 「他律」類音樂人工智慧演算法
  
  

• （一）遷移模型演算法（Translational Models）


• 將非音樂媒體信號源中的信息映射並遷移為音樂音響信息。最常見的是將視覺信息進行轉換，例如將圖像中的線條轉換為旋律，色彩轉換為和聲，色度轉換為力度；將運動物體的空間位移轉換為旋律，速度轉換為節拍節奏等。也可用於非視覺信息的遷移，如將文學作品中的積極/消極的描述，通過自動情感分析系統遷移為大三/小三和弦。實際上，人類的感官在一定程度上的確具有「聯覺」效應，如空間線條與旋律走向的對應，但是如果將其進行嚴格映射，並沒有心理學的有力證據。因此使用遷移模型演算法生成的音樂作品，常常出現在交互性的新媒體藝術表演中，更多地以現場的事件相關性與交互性為審美趣味。而一旦音樂作品與其映射對象脫離而單獨呈現，這類作品的可聽性將會大大降低。



• （二）知識推論系統（Knowledge-based Systems）


• 以某種音樂風格類型為知識庫基礎，將該音樂風格的審美特徵提取出來並進行編碼，即歸納推理；以編碼程序為演算法而創造類似風格的新作品，即演繹推理。例如基於對位法原則的巴洛克音樂風格編碼、基於大小調和聲體系的古典浪漫音樂風格編碼、弱化和聲功能的印象派音樂風格編碼及各個相應風格作品的生成，即屬於知識推論系統演算法。這種演算法已經在某種程度上接近於音樂學院作曲技術理論的學習過程，生成的音樂作品與其所基於的特定風格知識庫非常相像，具有很高的可聽性。其缺點在於歸納—演繹兩個環節的相對割裂，即風格編碼必須由操作者提供，程序本身僅僅是對編碼的執行運算，作品的結果會嚴重受到操作者對創作規則的抽象理解的影響，並且會存在僵化與雷同的缺點。



• （三）機器學習（Machine Learning）


• 操作者為計算機輸入大量的音樂音響，計算機對其進行有效「聆聽學習」，即運用統計方法對音樂構成的法則進行學習，其過程與知識推論系統相似，但是操作者並不嚴格指定音樂類型，也不為程序提供風格編碼，這個過程由演算法程序自動完成，強調其自主性與「無監督」式的學習（unsupervised learning）。當然，從本質上來看，機器學習的「無監督」只能是在一定程度和范圍內，它依然囿於操作者所提供的知識素材庫。機器學習與數學優化、數據挖掘等計算科學的研究成果相關，更與認知科學領域與神經網路學科的研究成果密切相關，其中最為顯著的是採用決策樹、人工神經網路、深度學習等方法，是迄今為止對生物學習過程模仿程度最高的一種演算法。機器學習仍然屬於仿生，但它超越了對結構與力學層面的仿生，是對人類大腦思維過程的仿生。機器學習既可以用於一般意義上的音樂創作，也可用於即興演奏與競奏等場合。雖然可以生成各種指定風格或混合風格的音樂作品，但是它仍然取決於操作者提供的音樂數據類型，是通過對隨機事件進行概率統計得出規則後的音響預測。



根據付教授的劃分准則，我們將能對當今流行的大部分人工智慧 + 音樂研究工作進行有效歸類。

值得一提的是，由中國科學技術大學、微軟人工智慧和研究院、蘇州大學團隊合作，講述歌麴生成的端到端旋律和編麴生成框架的論文《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》成功榮獲 KDD 2018 的 Research Track 最佳學生論文，雷鋒網 AI 科技評論對此做了相應解讀，有興趣的讀者可點擊 https://www.leiphone.com/news/201808/NkobLRDHxZsyadg5.html進行回看。

總的來說，未來人工智慧將在音樂領域發揮更加重要的作用，它可以幫助人們分析作品、創作以及分擔相當多的重復性工作，進一步激發創造力，探索音樂形式與內容方面的多種可行性。希望這種跨學科、融合性的合作，能夠對各類音樂創作邏輯進行總結與完善，並在感知、情感等方面做出突破，讓人工智慧在音樂的諸多領域形成創新，並在教學、社會服務等方面產生影響。