近日，文化和旅游部確定了2024年國家文化和旅游科技創(chuàng)新研發(fā)項目立項名單，學(xué)校推薦的由重點實驗室申報的《數(shù)據(jù)驅(qū)動樂器音畫智能交互系統(tǒng)研發(fā)與應(yīng)用》和鋼琴系申報的《基于用戶體驗的鋼琴虛擬數(shù)智人的研發(fā)和應(yīng)用》兩個項目獲批立項。
《數(shù)據(jù)驅(qū)動樂器音畫智能交互系統(tǒng)研發(fā)與應(yīng)用》由音樂工程系教授、數(shù)字音樂智能處理技術(shù)文化和旅游部重點實驗室主任謝秉元擔(dān)任項目負責(zé)人。該項目通過研究數(shù)據(jù)驅(qū)動下樂器音畫實時交互的數(shù)字化分析和交互多樣性模型生成以及系統(tǒng)綜合集成技術(shù)，構(gòu)建一套數(shù)字音樂交互集成系統(tǒng)，應(yīng)用于創(chuàng)作、演出與展覽。首先，該系統(tǒng)對樂器音畫傳感器的實時交互數(shù)據(jù)進行處理及數(shù)字化分析，確保實時交互音樂及畫面生成的合理性。其次，它將基于用戶輸入的文本描述或旋律特征生成音樂樣本，使用單階段的Transformer LM和高效的token交織模式產(chǎn)生相應(yīng)的音樂模型。最終，數(shù)據(jù)驅(qū)動樂器音畫智能交互系統(tǒng)將為使用者提供豐富的實時交互體驗。
《基于用戶體驗的鋼琴虛擬數(shù)智人的研發(fā)和應(yīng)用》由鋼琴系主任、博士、教授及研究生導(dǎo)師朱楣擔(dān)任項目負責(zé)人。該項目針對用戶多元化鋼琴體驗需求，以鋼琴文化體驗需求為引領(lǐng)，依托虛擬數(shù)字化、人工智能、數(shù)字音樂處理等技術(shù)，推動鋼琴演奏信息化資源的開發(fā)與共享方式、演奏評價方式、人機交互形式、用戶情感體驗等各方面向智能化、沉浸化方向演進，通過技術(shù)創(chuàng)新解決現(xiàn)有體驗感被動、單調(diào)的局限，為用戶提供一個更加生動、高效且富有情感共鳴的體驗環(huán)境。項目將從需求調(diào)研分析和數(shù)據(jù)準備、技術(shù)方法創(chuàng)新、系統(tǒng)開發(fā)應(yīng)用三個層次進行，最終構(gòu)建集情感智能感知、多模態(tài)交互音樂教學(xué)生成于一體的創(chuàng)新平臺，實現(xiàn)多模態(tài)專業(yè)級演奏評估、智能音樂伴奏與即興創(chuàng)作、情感共鳴的虛擬數(shù)智人指導(dǎo)等功能，并在游客現(xiàn)場體驗、專業(yè)演奏糾錯、遠程互動陪練等場所進行應(yīng)用示范，項目將推動智能技術(shù)與文旅產(chǎn)品的深度融合，打造數(shù)字化文旅的新產(chǎn)品新體驗。
“藝術(shù)+科技”跨學(xué)科人才培養(yǎng)是中國式現(xiàn)代化發(fā)展過程中升級提質(zhì)的重大需求。近年來，學(xué)校高度重視藝術(shù)與科技融合，邀請院士進校開展交流、講座等活動，開展院士結(jié)對幫助青年人才成長，積極參與省科協(xié)藝術(shù)與科技活動，與西湖大學(xué)、國科大杭州高等研究院、浙江理工大學(xué)、杭州電子科技大學(xué)等單位開展合作交流，發(fā)揮資源優(yōu)勢，整合團隊力量。先后建成了數(shù)字音樂智能處理技術(shù)文化和旅游部重點實驗室、沉浸聲文化和旅游部技術(shù)創(chuàng)新中心、數(shù)字音樂浙江省工程研究中心、歌劇學(xué)文科實驗室等一批藝術(shù)科技平臺；獲批了如浙江省“尖兵領(lǐng)雁”重大科技研發(fā)項目、浙江省文化和旅游科技創(chuàng)新項目等一批藝術(shù)與科技項目。
此次兩項文化和旅游科技創(chuàng)新研發(fā)項目的成功獲批，不僅是對學(xué)校在藝術(shù)與科技融合領(lǐng)域探索與實踐的充分肯定，更是對未來繼續(xù)深化創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略、培養(yǎng)更多高素質(zhì)藝術(shù)科技人才的巨大鼓舞。接下來，學(xué)校將以此為契機，進一步加大科研投入，優(yōu)化資源配置，推動更多高質(zhì)量科研成果的產(chǎn)出與應(yīng)用，為推動我國文化事業(yè)繁榮發(fā)展貢獻力量。
