昆山杜克大學(xué)大數(shù)據(jù)研究中心副教授李明博士的團隊與通力電梯有限公司進行的合作研究項目 “電梯場景下多模態(tài)異常事件檢測系統(tǒng)及方法” 近日取得重要進展。雙方共同申請三項合作技術(shù)專利，并在多模態(tài)人機交互旗艦學(xué)術(shù)會議上聯(lián)合發(fā)表相關(guān)論文，論文的第一和第二作者均為昆山杜克大學(xué)本科生。

李明博士表示：“合作研究的目的是使‘事后查找故障原因’轉(zhuǎn)變?yōu)椤�提供實時預(yù)警，防患于未然’。該技術(shù)可以實時監(jiān)測電梯內(nèi)部的狀態(tài)、提供實時預(yù)警，便于及時發(fā)現(xiàn)異常事件并進行提前干預(yù)和處理，從而減少故障或事故的發(fā)生。感謝昆山市政府與通力電梯有限公司的支持，前沿 AI 技術(shù)將促進制造業(yè)轉(zhuǎn)型升級，并最終造福千家萬戶�！�

據(jù)悉，以往電梯異常事件主要是事后通過人工查看錄像來檢測和判斷。本次合作則是通過 AI 音視頻分析技術(shù)，對電梯內(nèi)的扒門、砸門、打斗或摔倒等異常事件提供實時預(yù)警。該項成果將有助于未來實時檢測電梯場景里的多種異常事件，及時干預(yù)、處理，減少故障或事故的發(fā)生。

在研究過程中，通力電梯有限公司為研究提供了實地測試環(huán)境，此次合作研究的成果在通力電梯有限公司的轎廂中得到了實地測試，并通過了初步的可行性驗證。

應(yīng)用場景示意圖

昆山杜克的五名大三學(xué)生陳欣萌、龔緒晨、居然、儲黃瑞和王燁宸作為主力成員，在李明博士、研究助理程銘和通力電梯有限公司科研人員的共同指導(dǎo)下參與了該項目。雙方還在人機交互領(lǐng)域的ACM多模態(tài)交互國際會議（The 2021 International Conference on Multimodal Interaction，以下簡稱 ICMI）及其分會上投稿及聯(lián)合發(fā)表三篇論文，第一和第二作者均為昆山杜克大學(xué)本科生。

經(jīng)過為期一年的努力，研究團隊近日提交了三項合作專利申請：基于視頻監(jiān)控的電梯異常行為檢測方法及系統(tǒng) (申請?zhí)?02110621297.3) 、基于音視頻智能判斷呼救的方法 (申請?zhí)?02110620172.9) 和一種無接觸式電梯交互系統(tǒng) (申請?zhí)?02110621293.5)。

本項目通過結(jié)合昆山杜克大學(xué)在 AI 和數(shù)據(jù)科學(xué)方向的人才優(yōu)勢與通力電梯公司在制造行業(yè)的雄厚實力，在特定場景下融入 AI 技術(shù)展開前期探索與研究，將助力制造業(yè)轉(zhuǎn)型升級，服務(wù)地方經(jīng)濟。

李明博士的研究團隊長期致力于智能語音和多模態(tài)行為分析技術(shù)的探索與創(chuàng)新。2020年7月，李明博士團隊與通力電梯有限公司開始此項合作，并得到了昆山市政府研究計劃的資助。

數(shù)據(jù)科學(xué)專業(yè)的大三學(xué)生龔緒晨認為這次參與科研的經(jīng)歷彌足珍貴：“這次研究經(jīng)歷，要感謝李明教授及程銘助教的指導(dǎo)，讓我體驗到了學(xué)術(shù)研究從設(shè)計方案、解決問題直至論文投稿發(fā)表的全過程。這是一次彌足珍貴的經(jīng)歷，它不僅讓我了解到專業(yè)的科研方法、拓展了我的專業(yè)視野、更是重塑了我對未來學(xué)業(yè)的規(guī)劃。”

龔緒晨與她的數(shù)據(jù)科學(xué)專業(yè)同學(xué)陳欣萌在這次合作項目中共同主筆的論文成功被 ICMI 會議主會場接收。該論文提出了一種針對于深度神經(jīng)網(wǎng)絡(luò)模型的“多模態(tài)訓(xùn)練，單模態(tài)推理”的方法，在訓(xùn)練時將深度模型和 RGB 模型融合，而推理時用以 RGB 為輸入的“偽深度模型”替換深度模型做推理。論文就多種融合模型在電梯異常事件數(shù)據(jù)集上進行對比實驗，證明了該訓(xùn)練方法對于不同模型的普適性，且能在應(yīng)用中提高異常事件檢測的推理性能。

正在模擬測試的原型系統(tǒng)

李明博士解釋道，“考慮到訓(xùn)練數(shù)據(jù)時使用的深度相機成本較高，我們提出了一種新的跨模態(tài)訓(xùn)練和推理的方法。訓(xùn)練時需要借助深度和彩色圖像相機的雙重數(shù)據(jù)，而在實際預(yù)測時，只需要彩色圖像相機的數(shù)據(jù)，這樣大大降低了實際使用時的硬件成本�！�

陳欣萌表示：“從大一接觸數(shù)據(jù)科學(xué)入門課之后，便對數(shù)據(jù)科學(xué)專業(yè)產(chǎn)生了興趣，大二暑假有幸加入了李明教授的實驗室，開始學(xué)習(xí)計算機視覺領(lǐng)域的相關(guān)知識，隨后，教授提供給了我們這次深度參與通力項目的機會。經(jīng)過和隊友的一同努力，在 ICMI 發(fā)表了論文。十分感謝李明教授、程銘助教給予我們的指導(dǎo)，感謝學(xué)校與通力電梯有限公司給我們提供的這次寶貴的學(xué)習(xí)機會�！�

昆山杜克大學(xué)研究生院院長、科研副院長李昕博士表示，“我校優(yōu)秀的科研人員致力于與世界各地的一流大學(xué)、企業(yè)和組織合作，以解決實際問題、知識服務(wù)社會。此前，昆山杜克大學(xué)的發(fā)展寫入了國家長三角發(fā)展規(guī)劃綱要；感謝昆山市政府和通力電梯有限公司的大力支持，讓我們得以在服務(wù)地方經(jīng)濟和社會發(fā)展的道路上，繼續(xù)砥礪前行�！�

這五名學(xué)生在昆山杜克大學(xué)的標志性成果項目亦由李明博士指導(dǎo)。昆山杜克“標志性成果”項目鼓勵學(xué)生將課程、研究以及參與的體驗式學(xué)習(xí)巧妙結(jié)合，創(chuàng)造出新知識和新產(chǎn)品。

▲向上滑動

昆山杜克大學(xué)

杜克教育 中美經(jīng)歷 國際視野

dukekunshan

昆山杜克大學(xué)

Duke_Kunshan

長按右方二維碼

關(guān)注我們