導(dǎo)讀：

計算機(jī)視覺技術(shù)讓人工智能具備了視覺感知與理解的能力。近年來，得益于計算機(jī)硬件性能的提升以及大規(guī)模圖像標(biāo)注數(shù)據(jù)集的創(chuàng)建，基于深度學(xué)習(xí)的計算機(jī)視覺算法在圖像分類、目標(biāo)檢測和圖像分割等經(jīng)典計算機(jī)視覺任務(wù)上取得了極大的成功，同時，驅(qū)動計算機(jī)視覺算法有效運(yùn)行與應(yīng)用的硬件加速平臺也得以大力發(fā)展。

針對計算機(jī)視覺算法設(shè)計與硬件實(shí)現(xiàn)這一新興領(lǐng)域，愛思唯爾旗下期刊Integration，the VLSI Journal (2019CiteScore 2.6, 2019IF 1.214) 于2019年11月發(fā)表題為“Computer vision algorithms and hardware implementations: A survey” 的綜述論文，獲得業(yè)內(nèi)廣泛關(guān)注。文章現(xiàn)已開放免費(fèi)閱讀，點(diǎn)擊此處閱讀。

該論文由昆山杜克大學(xué)、重慶理工大學(xué)和東華大學(xué)三方的研究團(tuán)隊合作完成，總結(jié)了近年來計算機(jī)視覺算法及相關(guān)硬件實(shí)現(xiàn)的研究進(jìn)展，重點(diǎn)介紹了深度學(xué)習(xí)技術(shù)在圖像分類、目標(biāo)檢測和圖像分割任務(wù)上取得的重要成果，同時對比分析了用于實(shí)現(xiàn)計算機(jī)視覺算法的各類硬件加速平臺，并展望了計算機(jī)視覺算法和硬件實(shí)現(xiàn)的發(fā)展趨勢。本文旨在促進(jìn)研究人員深入理解計算機(jī)視覺關(guān)鍵技術(shù)，推動計算機(jī)視覺領(lǐng)域的研究及應(yīng)用進(jìn)一步突破和發(fā)展。

結(jié)論與展望

本文綜述近年來在深度學(xué)習(xí)技術(shù)推動下計算機(jī)視覺算法及相關(guān)硬件實(shí)現(xiàn)的研究進(jìn)展。計算機(jī)視覺是一門研究讓機(jī)器如何“看”的學(xué)科。在計算機(jī)視覺算法中，圖像分類、目標(biāo)檢測和圖像分割是三個主要的研究方向，它們分別從整個圖像、局部區(qū)域及每個像素點(diǎn)三個粒度層面實(shí)現(xiàn)了計算機(jī)視覺識別任務(wù)。在圖像分類領(lǐng)域，從2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中遠(yuǎn)超過傳統(tǒng)圖像分類方法而得冠的深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型AlexNet，到2014年VGG和GoogleNet，2015年ResNet，2017年SENet，再到2018年NASNet，更深層以及更優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不斷推陳出新。與此同時，ImageNet圖像分類的精度也不斷被刷新。

然而，深度卷積神經(jīng)網(wǎng)絡(luò)在追求高精度的同時需要強(qiáng)大硬件算力的支撐，使得復(fù)雜的CNN模型無法在一些資源受限的應(yīng)用場景中有效部署。近年來，輕量級卷積神經(jīng)網(wǎng)絡(luò)模型MobileNet，ShuffleNet和FE-Net等被相繼提出。

深度學(xué)習(xí)技術(shù)在圖像分類領(lǐng)域的成功促使目標(biāo)檢測領(lǐng)域進(jìn)入飛速發(fā)展的新時期。基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的二階段目標(biāo)檢測模型：RCNN、Fast RCNN和Faster RCNN不斷提高目標(biāo)檢測精度。同時，一階段目標(biāo)檢測YOLO系列模型能夠兼顧精度和效率，是目前一流的實(shí)時目標(biāo)檢測框架。深度學(xué)習(xí)技術(shù)還同時促進(jìn)了大規(guī)模圖像數(shù)據(jù)分析向像素級圖像分割邁進(jìn)。全卷積網(wǎng)絡(luò)（Fully Connected Network，F(xiàn)CN）成功地構(gòu)建了基于CNN的語義分割模型，實(shí)現(xiàn)了端到端的密集像素預(yù)測。其后提出的SegNet和DeepLab系統(tǒng)模型等都是取得優(yōu)秀分割效果的重要方法。

雖然近年來基于CNN的計算機(jī)視覺算法已經(jīng)取得了顯著的成就，但將算法在應(yīng)用領(lǐng)域落地還有諸多的挑戰(zhàn)。未來計算機(jī)視覺算法研究將集中在以下領(lǐng)域：（1）研究更輕量、更高效的算法模型，能夠在資源受限設(shè)備上實(shí)時運(yùn)行。（2）研究復(fù)雜場景/工況下的目標(biāo)識別、檢測或分割，突破小目標(biāo)檢測和分割的難點(diǎn)。（3）研究動態(tài)及3D應(yīng)用場景的目標(biāo)檢測及語義解析算法。（4）研究少樣本或半/自監(jiān)督學(xué)習(xí)方法，使計算機(jī)視覺算法能夠用于數(shù)據(jù)獲取困難、標(biāo)注代價昂貴的應(yīng)用場景。（5）研究圖像、語音、文本數(shù)據(jù)的多模態(tài)融合及多技術(shù)融通，使機(jī)器實(shí)現(xiàn)從視覺感知到認(rèn)知階段的跨越。

當(dāng)今計算機(jī)視覺算法的突破性進(jìn)步離不開高效能硬件加速設(shè)備的跨越式發(fā)展。與傳統(tǒng)通過軟件在CPU上實(shí)現(xiàn)并行計算不同，硬件加速設(shè)備從計算機(jī)硬件層面實(shí)現(xiàn)以更低延遲和更高吞吐量執(zhí)行計算任務(wù)。圖形處理器（Graphics Processing Units，GPU）不僅是強(qiáng)大的圖形處理引擎，還是驅(qū)動CNN模型訓(xùn)練的高度并行化處理器。2007年Nvidia公司推出基于Nvidia GPU的并行計算體系架構(gòu)——CUDA平臺，為深度神經(jīng)網(wǎng)絡(luò)模型使用GPU并行計算資源提供了完整的編程接口和工具鏈。此后，基于CUDA的深度學(xué)習(xí)框架Caffe、Torch和Tensorflow被相繼開發(fā)。Nvidia不斷創(chuàng)新GPU體系架構(gòu)，如GeForce GTX、Titan、Tesla和RTX系列圖形加速卡極大推動了基于CNN的計算機(jī)視覺算法發(fā)展。

FPGA是另一種高效能的嵌入式CNN加速解決方案。它可以適應(yīng)不規(guī)則并行計算、實(shí)現(xiàn)自定義數(shù)據(jù)類型、并針對特定應(yīng)用設(shè)計硬件架構(gòu)。通過在CPU，GPU和FPGA上運(yùn)行典型CNN模型（VGG和ResNet）進(jìn)行實(shí)驗(yàn)對比發(fā)現(xiàn)，F(xiàn)PGA的吞吐能力遠(yuǎn)高于CPU，但低于GPU，而其部署CNN模型的能效高于CPU和GPU。

目前，專門針對深度學(xué)習(xí)或其他AI應(yīng)用而開發(fā)專用硬件加速芯片是另一個重要方向，經(jīng)典的專用芯片有Google的張量處理單元Tensor Processing Unit (TPU)、Intel 的神經(jīng)網(wǎng)絡(luò)處理器Nervana Neural network Processor (NNP)、華為的神經(jīng)處理單元Neural Processing Unit (NPU)等。針對特定應(yīng)用的專用芯片能夠最大程度實(shí)現(xiàn)算法加速且靈活適應(yīng)嵌入式應(yīng)用部署，但是設(shè)計周期長、設(shè)計成本昂貴。從GPU、FPGA到專用芯片是一條以使用靈活性、設(shè)計成本換取計算效率、量產(chǎn)成本的硬件發(fā)展道路。未來計算機(jī)視覺算法發(fā)展需要開發(fā)更高效能的硬件加速引擎，以適應(yīng)各種不同應(yīng)用場景帶來的挑戰(zhàn)和機(jī)遇。

主要作者

馮欣

馮欣，博士，副教授，碩士生導(dǎo)師，現(xiàn)任重慶理工大學(xué)計算機(jī)學(xué)院大數(shù)據(jù)與機(jī)器學(xué)習(xí)系系主任、昆山杜克大學(xué)大數(shù)據(jù)研究中心訪問教授。主要從事計算機(jī)視覺、圖像/視頻內(nèi)容分析與理解研究。迄今在《IEEE Transaction on Broadcasting》、《自動化學(xué)報》及ICIP、ICME等國內(nèi)外圖像/視頻領(lǐng)域的重要期刊和會議上發(fā)表論文30余篇。先后主持或主研省部級以上項(xiàng)目15項(xiàng)，其中主持國家自然科學(xué)基金青年基金1項(xiàng)、教育部人文社會科學(xué)研究項(xiàng)目1項(xiàng)，重慶市基礎(chǔ)科學(xué)與前沿技術(shù)研究2項(xiàng)，產(chǎn)學(xué)研橫向項(xiàng)目4項(xiàng)。授權(quán)、公開國家發(fā)明專利4項(xiàng)。

蔣友妮

蔣友妮，2017級碩士研究生。2016年在重慶工商大學(xué)獲學(xué)士學(xué)位。2017年加入重慶理工大學(xué)馮欣副教授課題組攻讀碩士學(xué)位。主要從事計算機(jī)視覺領(lǐng)域目標(biāo)檢測與跟蹤相關(guān)研究。2018年7月獲重慶理工大學(xué)研究生創(chuàng)新項(xiàng)目，2019年12月以第二作者在Integration, the VLSI Journal發(fā)表SCI學(xué)術(shù)論文一篇。參加國內(nèi)會議2次。

楊雪姣

楊雪姣，2017級碩士研究生。2016年在重慶理工大學(xué)獲學(xué)士學(xué)位，2017年加入重慶理工大學(xué)黃同愿副教授課題組攻讀碩士學(xué)位，同年加入重慶理工大學(xué)“大數(shù)據(jù)與機(jī)器學(xué)習(xí)實(shí)驗(yàn)室”從事計算機(jī)視覺領(lǐng)域目標(biāo)檢測及單目測距相關(guān)研究。2019年獲重慶理工大學(xué)研究生創(chuàng)新項(xiàng)目，在計算機(jī)科學(xué)等期刊發(fā)表學(xué)術(shù)論文2篇；參加國內(nèi)會議2次。

杜明

杜明，東華大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院副教授，博士，2017年赴美國杜克大學(xué)電子與計算機(jī)工程系訪學(xué)，主要研究領(lǐng)域?yàn)槿斯ぶ悄�、圖數(shù)據(jù)管理、大數(shù)據(jù)分析。

李昕

李昕教授于2005年獲美國卡內(nèi)基梅隆大學(xué)電子與計算機(jī)工程系博士，2007-2016年任美國卡內(nèi)基梅隆大學(xué)電子與計算機(jī)工程系助理教授和副教授，美國國家自然科學(xué)基金CAREER獎獲得者，國際電氣電子工程師協(xié)會會士（IEEE Fellow）。現(xiàn)任美國杜克大學(xué)電子與計算機(jī)工程系教授，昆山杜克大學(xué)科研副院長，應(yīng)用自然科學(xué)與工程研究院主任，數(shù)據(jù)科學(xué)研究中心主任，電子與計算機(jī)工程碩士項(xiàng)目主任。李昕教授多次承擔(dān)美國國家自然科學(xué)基金、英特爾、豐田、富士康等政府與公司的研究項(xiàng)目。集自身在機(jī)器學(xué)習(xí)、計算機(jī)視覺、智能制造、生物醫(yī)學(xué)等方面的專長，成功開拓多領(lǐng)域的交叉研究，得到國際同行高度贊譽(yù)和廣泛引用及應(yīng)用。于2005年創(chuàng)立了美國Xigmix公司，擔(dān)任公司的首席技術(shù)官（CTO），Xigmix于2007年被Extreme-DA收購。出版著作3本，在國際頂級期刊發(fā)表論文60余篇，在國際頂級學(xué)術(shù)會議發(fā)表論文150余篇，獲得6次最佳論文獎和6次最佳論文提名。擔(dān)任國際頂級期刊IEEE Trans. on Computer-Aided Design常務(wù)主編，IEEE Trans. on Biomedical Engineering副主編，IEEE Trans. on Computer-Aided Design副主編，ACM Trans. on Design Automation of Electronic Systems副主編，IEEE Design & Test副主編，IET Cyber-Physical Systems: Theory & Applications副主編和Journal of Low Power Electronics副主編。被聘為世界著名學(xué)術(shù)組織ACM Special Interest Group on Design Automation，IEEE Technical Committee on Cyber-Physical Systems和IEEE Technical Committee on VLSI 的執(zhí)行委員會成員。

期刊推薦

ISSN:0167-9260

CiteScore:2.6

影響因子：1.214

Editor-in-Chief: S.X.-D. Tan

掃碼了解期刊

掃碼閱讀文章

▲向上滑動

昆山杜克大學(xué)

杜克教育 中美經(jīng)歷 國際視野

dukekunshan

昆山杜克大學(xué)

Duke_Kunshan

長按右方二維碼

關(guān)注我們