激勵創(chuàng)新藝術人才培養(yǎng)

將科研成果轉化為文化生產力

2018-2021

三場虛擬展演

一項展覽

一場研討會

一本著作

三個數字資產庫

……

虛擬與現實的碰撞

科技與藝術的交融

伴隨科技哲思的藝術創(chuàng)作歷程

《黑客帝國》中那句“歡迎來到真實的世界”，預示著數字技術的仿真圖景和它的超真實所指，不可避免地闖入到科技哲學的視野當中。

真實與虛擬，地圖與大地，這一連串的終極哲思時時縈繞在人們心中。數字技術時代，人類何以存在？

為了回答這個時代拋出的問題，上音數字媒體藝術學院代曉蓉教授及師生團隊，在數字媒體虛擬交互技術研究及藝術實踐方面進行著不懈的努力。

代曉蓉教授為英國諾丁漢大學信息科技碩士、上海音樂學院音樂數字媒體藝術設計博士，上海市優(yōu)秀青年教師，數字媒體學院副院長、學科專業(yè)帶頭人。她主持了十余項國家及省部級科研項目，其中《數字化劇場表演藝術的理論與藝術實踐研究》獲國家社會科學基金資助。本世紀初以來，從事了大量數字媒體藝術創(chuàng)作活動，在近二十部大型舞臺劇作品中擔任多媒體設計、視覺總監(jiān)，參與創(chuàng)作的作品獲得文化部創(chuàng)新獎、多媒體創(chuàng)意設計優(yōu)秀獎，以及上海文化發(fā)展基金、國家藝術創(chuàng)作基金重大項目、中國文化部精品工程扶持項目、國家科技創(chuàng)新工程項目等。

2021年9月，國家文化和旅游部科技創(chuàng)新工程項目“沉浸式虛擬現實跨媒體展演工程系統(tǒng)開發(fā)”，經文化和旅游部科技教育司驗收合格，準予結項。

2018年至2021年，這個項目以三大虛擬展演、一項展覽、一場研討會、一本著作、三個數字資產庫的方式，記錄了科技對藝術活動帶來的影響，也記錄了代曉蓉教授和上音教師團隊在此間的諸多思考，和那段創(chuàng)作歷程。

演出·三場虛擬展演

虛擬交互影像裝置《進化》

2018年9月，“2018世界人工智能大會”揭開神秘面紗。上海徐匯濱江成為全球矚目的焦點，人工智能領域極具影響力的有識之士集聚于此，以“人工智能賦能新時代”為主題，共同探討新一代人工智能的發(fā)展愿景。

《進化》作為世界人工智能大會主廳入口的主視覺虛擬交互影像裝置，為參會者帶來獨特的智能科技體驗。

《進化》由總長61米、高2米的高清LED墻面組合而成，通過虛擬交互的系統(tǒng)設計，實現參觀者與影像的實時互動。裝置以紅外攝像頭捕捉觀眾的形象與動作，通過計算機程序實時處理進行藝術化變形。當觀眾進入主會場入場口時，人的形象通過紅外攝像頭捕捉，投射為鏡像，在LED屏幕里顯示出由塊面形式逐步到線性，最后形成星辰粒子。觀眾在移動中擾動這些“點”，形成大數據“云”�；没�的圖像猶如星云在浩瀚宇宙聚散離合，配以充滿未來感的環(huán)境音樂，為參會者營造了充滿神秘意味和藝術哲思的智能科技初體驗。

對于“進化”這一創(chuàng)作主題，項目總設計代曉蓉教授介紹了作品背后的設計思考，隨著人工智能、大數據等數字技術的日益成熟，人類的“進化”將面臨重大變革�！皬目萍加^角度思考，生物本身即是‘算法’，生命是不斷處理數據的過程，意識和智能的分離，會讓我們不斷反思——我們應該如何從科技角度來重新思考人類的發(fā)展�！�

虛擬現實全景原創(chuàng)歌劇

《賀綠汀》樣本

VR視頻裸眼效果

通過虛擬現實技術加持的上音原創(chuàng)歌劇《賀綠汀》樣本，同時采用360度虛擬現實拍攝手法，將《賀綠汀》演出錄制下來，后期處理制作為VR內容。為觀眾重新打造數字化觀演環(huán)境，即使不去劇場，也能身臨其境地觀看精彩的劇目。

全息混合現實舞臺作品

《朝元歌》

2019年8月底，全息混合現實舞臺作品《朝元歌》，成為多媒體創(chuàng)作者獻給“2019世界人工智能大會”的又一大禮。在此次大會的《AI+藝術欣賞體驗會》上，作品《朝元歌》采用立體影像與表演者動態(tài)交互的方式，呈現出虛實幻化的視覺奇觀。舞臺上，昆曲藝術家張軍與薩克斯演奏家同臺合作，觀眾通過3D眼鏡就可以獲得身臨其境的沉浸式觀演體驗。

創(chuàng)作團隊設計的全三維立體視覺影像，呈現出“人在景中游”的演出形式。在飄渺的藝術幻境中，立體影像與演員動作相交互，呈現虛實難辨的視覺奇觀。昆曲與薩克斯流行音樂的結合，更象征著中西方跨越千年的對話，彰顯海納百川、兼容并包的文化胸襟。

展覽·2020年上海音樂學院

數字媒體藝術學院

線上畢業(yè)展《云展覽》

上音數媒學院2020畢業(yè)創(chuàng)作《云展覽》，是疫情期間首次嘗試的線上畢業(yè)展，不僅是學生的畢業(yè)作品，更是全體老師們進行虛擬展覽的一次科研嘗試。

這一虛擬展示平臺實現了3D技術與VR技術深度融合，虛擬展廳360度展示，還原了真實的空間效果；用戶通過屏幕觸擊即可實現交互導航，實時演算系統(tǒng)、預渲染技術，都為參觀者云端觀展創(chuàng)造了沉浸式的交互環(huán)境。

作品主題包括守護人類生存環(huán)境、關愛特殊人群、存續(xù)文化傳統(tǒng)等人文話題；還涉及到網絡暴力、媒介輿論、人類通訊方式的嬗變等科技倫理相關問題。《云展覽》使人們有機會在云端透過青年人的藝術創(chuàng)作俯瞰千變萬化的人間情境，特殊時期，這種突破了影像、音樂、裝置、空間等多元邊界的展覽嘗試，更滲透出別樣的技術哲思，引發(fā)人們深刻思考后現代技術倫理語境中“生存”的真實含義，不僅實現了藝術作品展覽在時空上的高度自由，而且拓展了藝術教育的發(fā)展空間。

數字資產庫·三項自主知識產權

建立上海音樂學院數字資產庫，是國家科技創(chuàng)新工程項目“沉浸式虛擬現實跨媒體展演工程系統(tǒng)開發(fā)”的又一重要任務。

“數字資產云歸檔管理系統(tǒng)”“數字資產云歸檔管理系統(tǒng)”“數字資產云歸檔管理系統(tǒng)”，三個數字資產庫將可以數字技術形式保存項目執(zhí)行過程中的所有演藝內容，包括創(chuàng)作手稿、舞臺表演、音樂、聲效、三維模型貼圖、特效數據、動畫數據等，配以高效檢索和預覽系統(tǒng)，從而實現了所有演藝形式、資源等的永久保存、快速預覽調用、高效共享、高效復用。數字資產庫的建立代表了該項目對數字資產何以存在以及存現方式的實踐探索。

上海音樂學院數字資產庫-數字資產云歸檔管理系統(tǒng)

上海音樂學院數字資產庫-教學素材版本管理系統(tǒng)

上海音樂學院數字資產庫-多媒體素材共享管理系統(tǒng)

研討會·國家文化創(chuàng)新工程項目

暨人工智能與藝術展演

國際交流合作研討會

2019年12月16日-17日，國家文化創(chuàng)新工程項目暨人工智能與藝術展演國際交流合作研討會在上海音樂學院舉行。圍繞著“藝術與科技”的核心議題，國內外多位人工智能專家、機器人設計師、數字媒體專家、高校相關領域教授，交流和分享了各自的創(chuàng)作經驗和研究成果。

這次研討活動為業(yè)內教育工作者、藝術家、設計師搭建了一個寶貴的產學研合作交流平臺，共同探討面對新一輪科技革新，如何推動文化藝術發(fā)展的前瞻性話題。

著作·《演變與重構——

媒體藝術視野中的數字化劇場研究》

作為國家科技創(chuàng)新工程項目“沉浸式虛擬現實跨媒體展演工程系統(tǒng)開發(fā)”的重要研究成果之一，專著《演變與重構——媒體藝術視野中的數字化劇場研究》于2021年3月在人民出版社出版。

這本書是代曉蓉教授近年來藝術與科技展演創(chuàng)作活動的經驗剖析與理論總結。本書從探討數字化劇場藝術的觀念基礎和理論淵源出發(fā)，充分吸收國外相關研究成果，比較詳盡地呈現了數字化劇場藝術的形態(tài)流變歷程，以及西方理論界在此領域的研究面貌。

同時，本書在借鑒西方理論家研究經驗與研究方法的基礎上，從中國研究者的文化視野出發(fā)，對其形態(tài)語言要素與審美特質進行剖析，力爭在追溯中外數字化劇場藝術演變歷程的基礎上，建構數字化劇場藝術的理論空間，為當代中國數字化劇場藝術的創(chuàng)作實踐與理論研究提供有益的借鑒。

“歡迎來到真實的世界”·

理論與實踐的歷程概覽

2018年至2021年，三場虛擬展演、一項展覽、一場研討會、一本著作、三個數字資產庫，呈現了“沉浸式虛擬現實跨媒體展演工程系統(tǒng)開發(fā)項目”的創(chuàng)作歷程，也記錄了代曉蓉教授和師生團隊在創(chuàng)作過程中的諸多思考。

虛擬交互影像裝置作品《進化》，拋出了人工智能時代人類“進化論”的經典命題，在這樣一個“真實的世界”中，在超真實技術圖景中，人類將要向何處去？疫情期間推出的虛擬畢業(yè)展《云展覽》，使人們有機會在云端透過青年人的藝術創(chuàng)作俯瞰千變萬化的人間情境，在這個特殊時期滲透出別樣的技術哲思，引發(fā)人們深刻思考后現代技術倫理語境中“生存”的真實含義。專著《演變與重構——媒體藝術視野中的數字化劇場研究》，更是團隊多年創(chuàng)作實踐的理論總結，在建構數字化劇場藝術理論空間的同時，為當代中國數字化劇場藝術的創(chuàng)作實踐與理論研究提供有益借鑒。

三年來，“沉浸式虛擬現實跨媒體展演工程系統(tǒng)開發(fā)項目”激勵了創(chuàng)新藝術人才的培養(yǎng)。項目將科研成果轉化為文化生產力，促進了產學研一體化，為社會輸出了具有科學創(chuàng)意、高科技含量的藝術作品。

新技術的興起，使藝術的外延與邊界日益擴展，不斷重塑著人們的審美，也為藝術創(chuàng)作注入新的藝術哲思。項目的順利完成，預示著數字媒體學院全體師生團隊在向著后現代生存圖景的藝術探索中又邁出了踏實的一步。

“歡迎來到真實的世界”

這些科技藝術造物的

創(chuàng)作者和思考者

還將引著我們在超真實的技術圖景中

共同探尋存在的意義和生命的方向

供稿：數媒學院、科研處

設計：Flora_n

編輯：彭暢

小音征稿啦

下一個登上

官微、官博、官方B站、官方抖音的

可能就是你！

快來投稿吧~

征稿類型

人物｜身邊的優(yōu)秀師生榜樣或校友故事

圖片｜記錄上音兩校區(qū)的攝影設計

視頻｜師生才藝展示及編曲創(chuàng)作

創(chuàng)意| 適合新媒體傳播的作品

投稿方式

發(fā)郵件：shcmxcb@shcmusic.edu.cn

標題：投稿-類型-姓名-年級-學院

投稿要求

作品確為作者本人原創(chuàng)成果

小音家族

贊與在看，兩個都點才是真愛