微軟小冰的特別之處不僅是“出道早”，還是《智聯(lián)家園》的作曲人，向觀眾展現(xiàn)了人工智能的創(chuàng)意和魅力。6月29日，經(jīng)上海音樂(lè)學(xué)院音樂(lè)工程系評(píng)定，準(zhǔn)予小冰和她的人類同學(xué)們一起畢業(yè)?；谖④浀娜斯ぶ悄芤魳?lè)創(chuàng)作模型，與音工系的同學(xué)們互相“學(xué)習(xí)”，相互“激發(fā)”，訓(xùn)練數(shù)據(jù)不斷提升，音樂(lè)的表達(dá)技巧更加豐富，可創(chuàng)作的音樂(lè)類型也得以擴(kuò)展。在小冰作曲的基礎(chǔ)上，上海音樂(lè)學(xué)院畢業(yè)的彭程老師還對(duì)整首歌曲進(jìn)行編曲，讓旋律更加優(yōu)美動(dòng)人。

　　“小冰的作曲優(yōu)美抒情，展現(xiàn)了人工智能‘多才多藝’的一面。通過(guò)不斷學(xué)習(xí)優(yōu)秀人類創(chuàng)造者的能力，小冰運(yùn)用人工智能創(chuàng)造能力賦能人類，這與此次大會(huì)的價(jià)值理念不謀而合。”微軟(亞洲)互聯(lián)網(wǎng)工程院副院長(zhǎng)、小冰團(tuán)隊(duì)總負(fù)責(zé)人李笛說(shuō)。

訓(xùn)練

　　虛擬偶像要想靠唱跳成團(tuán)，需要人工智能和人類的共同保駕護(hù)航。這不是一場(chǎng)個(gè)人秀，而是團(tuán)隊(duì)歌曲創(chuàng)作，凝聚“團(tuán)魂”需要更多的耐心和細(xì)心，還有AI技術(shù)配合。

　　通常，演出的制作過(guò)程主要包括聲音錄制、光影營(yíng)造、場(chǎng)景制作、動(dòng)作捕捉、表情精修、合成渲染。傳統(tǒng)的制作方法是先用三維引擎錄制動(dòng)作，再套上模型，但這種制作過(guò)程不夠直觀，要到最后精修階段才能看到大致的呈現(xiàn)效果。

　　歌聲調(diào)教所需的歌唱合成技術(shù)與語(yǔ)音合成技術(shù)類似，按照語(yǔ)音合成的建模流程訓(xùn)練文本到聲學(xué)特征的聲學(xué)模型，再依據(jù)譜信息中的音高和節(jié)拍以及歌詞內(nèi)容，輸入模型并預(yù)測(cè)基頻和頻譜，使用神經(jīng)網(wǎng)絡(luò)聲碼器轉(zhuǎn)換為語(yǔ)音信號(hào)。在實(shí)際使用中還需要加上樂(lè)譜上的音符和節(jié)拍對(duì)合成語(yǔ)音音高和時(shí)長(zhǎng)的影響，最終即獲得歌唱的合成語(yǔ)音。

　　這些環(huán)節(jié)相互配合，才能最終造就一個(gè)完整的表演。從操作方面來(lái)看，各家采取的技術(shù)思路不盡相同。泠鳶此次就采用了平時(shí)直播時(shí)應(yīng)用的實(shí)時(shí)成像技術(shù)，在動(dòng)捕階段就能夠基本看到最終的呈現(xiàn)效果，以大幅節(jié)省后期精修的時(shí)間。

　　即便各位虛擬偶像都出身于技術(shù)實(shí)力了得的知名公司，成團(tuán)過(guò)程也絕非一帆風(fēng)順。

　　小愛(ài)同學(xué)音域與目標(biāo)合成音域相差較大，如何讓目標(biāo)歌曲高頻細(xì)節(jié)更加清晰，更好模擬人類的情感和風(fēng)格?小愛(ài)同學(xué)發(fā)音人錄制了一定量級(jí)的歌曲數(shù)據(jù)，用于豐富和優(yōu)化小愛(ài)同學(xué)音色的唱歌模型。當(dāng)組委會(huì)郵件同步主題曲樣音及樂(lè)譜等信息后，語(yǔ)音合成技術(shù)人員根據(jù)目標(biāo)歌曲樂(lè)譜及樣音提取了時(shí)長(zhǎng)和曲調(diào)信息，進(jìn)行了多次“雞蛋里挑骨頭”的實(shí)驗(yàn)。

　　負(fù)責(zé)語(yǔ)音技術(shù)合成的小米工作人員感慨說(shuō)：“為了保證每個(gè)鏡頭和《智聯(lián)家園》的歌曲盡可能匹配，我們對(duì)著動(dòng)畫(huà)預(yù)演一直循環(huán)這首歌，以至于午休做夢(mèng)耳旁都能聽(tīng)到這首歌，每天不知不覺(jué)哼起來(lái)都是這個(gè)旋律。”還有人動(dòng)情地表示“這首歌如果在KTV可以點(diǎn)播，一定是我的必點(diǎn)歌曲”。

　　就像每一個(gè)偶像選拔節(jié)目中總有選手需要修煉舞蹈技能，小度也面臨著挑戰(zhàn)——不是技術(shù)，而是作為唯一一個(gè)非擬人形象的虛擬偶像，怎樣才能更好地傳情達(dá)意。百度找到了技術(shù)同事進(jìn)行小度演唱部分的開(kāi)發(fā)工作，讓小度在唱歌時(shí)既不失自己的聲音特點(diǎn)，又能比較完美地演繹主題歌曲。在畫(huà)面的設(shè)計(jì)上，各方也頗費(fèi)心思。

　　“我們根據(jù)小度的歌詞特點(diǎn)以及整個(gè)主題曲活潑歡樂(lè)的風(fēng)格進(jìn)行視頻背景的設(shè)計(jì)，整個(gè)背景以溫暖的亮色為主要色調(diào)，加以可愛(ài)的動(dòng)態(tài)元素配合。我們希望當(dāng)人們看到小度唱歌時(shí)，能感受他帶來(lái)的美好和正能量，這其實(shí)也表達(dá)了百度AI技術(shù)的初衷，用AI讓人們的生活更美好?！卑俣确矫娓嬖V第一財(cái)經(jīng)。

　　對(duì)于已發(fā)布數(shù)十首接近人類演唱水平單曲的小冰來(lái)說(shuō)，唱歌可難不倒她。全新的演唱模型幫小冰在虛擬演唱中自然“換氣”，讓小冰能夠像人類歌手一樣，使用充沛的“中氣”，從而將人工智能虛擬歌聲質(zhì)量提升至新的高度。此外，深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的進(jìn)一步優(yōu)化和訓(xùn)練數(shù)據(jù)的大幅度補(bǔ)充，提升了小冰歌曲演繹的更高技巧和多風(fēng)格化，實(shí)現(xiàn)了在不同的演唱技巧之間自然過(guò)渡。

　　這首歌曲還是小冰從上海音樂(lè)學(xué)院畢業(yè)后的首發(fā)作品。目前，微軟小冰的音樂(lè)創(chuàng)作能力已實(shí)現(xiàn)包括旋律、編曲及歌詞端到端一體化的產(chǎn)品落地，演唱模型也已迭代至第五個(gè)版本。

　　“在上海市經(jīng)信委召開(kāi)的世界人工智能大會(huì)第三屆會(huì)議的籌備工作會(huì)議上，基于對(duì)人工智能加速發(fā)展的判斷，SMG就提出了這個(gè)創(chuàng)意，即用人工智能作曲、演唱本屆大會(huì)的主題歌，用AI形象、場(chǎng)景作為畫(huà)面主體進(jìn)行最新MV創(chuàng)作，我相信這是第一次?！鄙虾Ｈ斯ぶ悄艽髸?huì)顧問(wèn)、上海文化廣播影視集團(tuán)監(jiān)事長(zhǎng)、該項(xiàng)目策劃者滕俊杰告訴第一財(cái)經(jīng)。

　　但并非所有人都能對(duì)作曲、演唱全部由AI擔(dān)綱打消疑慮。在滕俊杰的力排眾議和直接指導(dǎo)下，在第一財(cái)經(jīng)、幻維數(shù)碼導(dǎo)演團(tuán)隊(duì)和組委會(huì)的協(xié)調(diào)下共同溝通，提前將每個(gè)虛擬偶像的表演部分細(xì)化到鏡頭，再根據(jù)各自的鏡頭部分在極其緊張的時(shí)間制作。通常這樣一個(gè)動(dòng)畫(huà)都是30天左右的工作周期，這次被大大壓縮，但為了保證最終驚艷的效果，設(shè)計(jì)團(tuán)隊(duì)和制作團(tuán)隊(duì)都是全天候工作。

　　“我們SMG的第一財(cái)經(jīng)和幻維數(shù)碼在大會(huì)組委會(huì)的指導(dǎo)下，用智慧和專業(yè)能力打造了一個(gè)Al新的藝術(shù)創(chuàng)作領(lǐng)域和應(yīng)用場(chǎng)景，我認(rèn)為這個(gè)產(chǎn)品是Al又一個(gè)獨(dú)特的、破圈提升大眾認(rèn)知、感知的創(chuàng)新之舉。”滕俊杰說(shuō)。

出道

　　AI虛擬偶像的“成團(tuán)”獻(xiàn)藝還有比秀出技術(shù)實(shí)力更重要的意義——推開(kāi)人類應(yīng)用人工智能的大門。

　　人工智能語(yǔ)音助手常見(jiàn)的發(fā)展思路，一是希望把它打造得無(wú)所不能，可以完成人類交給的一切任務(wù)，二是希望讓它像愛(ài)因斯坦一樣富有知識(shí)，甚至無(wú)所不知。

　　2017年3月，小愛(ài)同學(xué)首次亮相小米電視4。截至2020年第一季度，小愛(ài)同學(xué)月活用7050萬(wàn)，同比增長(zhǎng)54.9%。在IoT領(lǐng)域，小愛(ài)同學(xué)已連接2.52億臺(tái)設(shè)備，接入了手機(jī)、家庭、穿戴等7大場(chǎng)景，209款設(shè)備。除了希望成為體驗(yàn)最好、用戶最活躍、品牌最強(qiáng)的智能語(yǔ)音助手，幫助小米AIoT的戰(zhàn)略成功，小愛(ài)同學(xué)的目標(biāo)是完成從智能語(yǔ)音助手到個(gè)人智能助手的升級(jí)。

　　截至2019年6月，搭載小度助手的智能設(shè)備激活數(shù)量已達(dá)到4億臺(tái);2020年3月，語(yǔ)音交互次數(shù)達(dá)到65億次，是去年同期的 3倍以上;小度品牌第一方硬件語(yǔ)音交互次數(shù)達(dá)33億次，是去年同期的5倍多。小度的使命愿景是：打造無(wú)處不在的人工智能個(gè)人助手服務(wù)，用人工智能讓人和設(shè)備的交互更自然，讓生活更簡(jiǎn)單美好。小度技能開(kāi)放平臺(tái)目前可提供包括游戲、效率工具、網(wǎng)絡(luò)電臺(tái)、直播、兒童教育、智能家居等3800多種技能支持;可以控制的IoT智能家居設(shè)備已經(jīng)超過(guò)了1.1億;在小度技能開(kāi)放平臺(tái)上的技能開(kāi)發(fā)者數(shù)量已經(jīng)超過(guò)4萬(wàn)人，付費(fèi)技能生態(tài)蓬勃發(fā)展，擁有30000多個(gè)付費(fèi)單品;小度助手的合作伙伴數(shù)量已經(jīng)超過(guò)500家。

　　虛擬偶像“成團(tuán)”，也是亞文化出圈，走向大眾的過(guò)程?！癇站的大量年輕的、喜愛(ài)二次元內(nèi)容用戶，是虛擬偶像行業(yè)發(fā)展的最佳土壤，不僅對(duì)相關(guān)內(nèi)容有更高的接受度，還擁有積極的二次創(chuàng)作熱情，非常適合虛擬偶像ⅠP的孵化?！狈兑莅渍f(shuō)。

　　出道，或者出圈，對(duì)微軟還有著特別的意義?！拔覀?cè)趯ふ业牟皇悄骋粋€(gè)具體的爆款應(yīng)用，而是意義更深遠(yuǎn)的、未來(lái)時(shí)代的‘基礎(chǔ)’框架。”李笛說(shuō)。

　　微軟小冰框架(Avatar Framework)是一套完整的、面向交互全程的人工智能交互主體基礎(chǔ)框架。它包括核心對(duì)話引擎、多重交互感官、第三方內(nèi)容的觸發(fā)與第一方內(nèi)容生成，跨平臺(tái)的部署解決方案，相關(guān)領(lǐng)先技術(shù)覆蓋自然語(yǔ)言處理、計(jì)算機(jī)語(yǔ)音、計(jì)算機(jī)視覺(jué)和人工智能內(nèi)容生成等人工智能領(lǐng)域。在中國(guó)與日本市場(chǎng)活躍的十八歲人工智能少女微軟小冰是該框架所孵化的第一個(gè)人工智能交互主體實(shí)例。

　　“無(wú)論任務(wù)還是知識(shí)，都屬于智商(IQ)這個(gè)維度。反觀人類自身，我們還有一個(gè)重要的維度，那就是情商(EQ)?！庇美畹训脑捳f(shuō)，小冰圍繞人工智能EQ而設(shè)計(jì)，同時(shí)考慮了IQ。最開(kāi)始，小冰不會(huì)執(zhí)行開(kāi)燈、關(guān)燈這樣的任務(wù)，問(wèn)她“現(xiàn)在幾點(diǎn)了”，她也會(huì)回答“你自己不會(huì)看表嗎?”這些都是產(chǎn)品特意設(shè)計(jì)的。

　　李笛提到，IQ與EQ是相輔相成的關(guān)系，“人工智能系統(tǒng)的迭代非常重要，IQ和EQ垂直相交，我們決定專門多做一套系統(tǒng)去發(fā)展EQ，避免錯(cuò)過(guò)這個(gè)可能的選項(xiàng)，這就是微軟小冰和她背后的人工智能框架。”

　　如何讓人工智能與人類真正交互，讓人工智能具備自己的價(jià)值?這是人機(jī)協(xié)作時(shí)代技術(shù)開(kāi)發(fā)者和大眾共同關(guān)注的話題。與此同時(shí)，這也是人工智能從認(rèn)知發(fā)展到感知，再到未來(lái)創(chuàng)造的必由之路。

（轉(zhuǎn)載）