李子青, 獲湖南大學學士、國防科大碩士、英國Surrey大學博士學位。2000年辭去新加坡南洋大學終身教職,加盟微軟亞洲研究院。2004年作為“百人計劃”入選者來到中科院自動化所,現(xiàn)為模式識別國家重點實驗室研究員和生物識別與安全技術研究中心主任,智能視覺物聯(lián)網(wǎng)研發(fā)中心主任。由于在人臉識別、模式識別、計算機視覺領域的貢獻,他當選為IEEE Fellow。研究領域包括統(tǒng)計模式識別與機器學習理論,以及生物特征識別、智能視頻監(jiān)控,圖像處理與計算機視覺,圖像與視頻理解。 學術研究積極活躍,發(fā)表論文 200 多篇,撰寫編寫著作 8 部。
作為人臉識別和智能視頻監(jiān)控專家,李子青主持了相關領域的多個國家科學研究項目和重大應用工程項目,在相關領域獲準和申請專利10余項。在微軟研發(fā)的人臉識別系統(tǒng) EyeCU,比爾•蓋茨接受CNN采訪為之講解。與中科奧森聯(lián)合研發(fā)的“AuthenMetric 中科奧森 ”人臉識別系統(tǒng)和智能視頻監(jiān)控系統(tǒng),已在包括北京奧運會、上海世博會邊檢通關等多個國家重大安全項目中實施并發(fā)揮作用。李子青為SAC/TC100/SC2副主任委員,代表中國國家成員體撰寫了中國第一個ISO/IEC JTC1/SC37生物識別國際標準工作草案獲采納,并在2006年會全體會議上作了“生物特征識別在中國”的主題演講。
物聯(lián)網(wǎng)作為戰(zhàn)略新興產(chǎn)業(yè)的重要組成部分,對加快轉變經(jīng)濟發(fā)展方式具有重要的推動作用。物聯(lián)網(wǎng)產(chǎn)業(yè)作為新一代信息技術的重要組成部分而被列為國家“十二五”規(guī)劃的重點扶持產(chǎn)業(yè),從而被提到國家戰(zhàn)略高度,并隨著國家對新興產(chǎn)業(yè)的扶持政策逐漸明朗,逐步從概念炒作走向實質(zhì)。
隨著平安城市、數(shù)字城市、智慧城市的建設,物聯(lián)網(wǎng)的內(nèi)涵也不斷擴展與延伸,用攝像機和智能識別系統(tǒng)實時感知人、車、物、路的性質(zhì)和狀態(tài),給視頻信號 “貼標簽”,并以三網(wǎng)融合方式傳輸,形成新型的報警聯(lián)動和技防網(wǎng),支持政府決策辦公和應急指揮、服務民生,用于反恐、防盜、維穩(wěn),將成為物聯(lián)網(wǎng)的主要發(fā)展方向之一,這便是智能視覺物聯(lián)網(wǎng)。智能視覺物聯(lián)網(wǎng),被稱為物聯(lián)網(wǎng)的升級版本,但并不被大多數(shù)人所了解,本期記者就針對智能視覺物聯(lián)網(wǎng)采訪了中科院自動化所模式識別國家重點實驗室研究員和生物識別與安全技術研究中心主任,智能視覺物聯(lián)網(wǎng)研發(fā)中心主任李子青博士。請他和廣大讀者談一談智能視覺物聯(lián)網(wǎng)目前在我國的應用情況。
■《自動化博覽》:物聯(lián)網(wǎng)已經(jīng)成為當今社會非常熱點的話題,您如何看待物聯(lián)網(wǎng)在中國的應用情況?
李子青:物聯(lián)網(wǎng),即物與物相聯(lián)系的互聯(lián)網(wǎng)。物聯(lián)網(wǎng)提供各種感知技術廣泛應用平臺,包括傳感、連接,以及智能信息處理三個基本部分,有如下特點:(1)連接各種傳感器如射頻識別(RFID)、圖像視頻傳感器、聲音傳感器、紅外感應器、壓力傳感器等,實時采集其聲、光、熱、電、力學、化學、生物、位置等各種需要的信息;(2)采用泛在網(wǎng)絡,包括互聯(lián)網(wǎng)和“多網(wǎng)融合”;(3)具有對感知信息的智能處理與利用的能力,這是物聯(lián)網(wǎng)最具價值的部分。
物聯(lián)網(wǎng)用途廣泛,遍及智能交通、環(huán)境保護、政府工作、公共安全、平安家居、智能消防、工業(yè)監(jiān)測、環(huán)境監(jiān)測、老人護理、個人健康、花卉栽培、水系監(jiān)測、食品溯源、敵情偵查和情報搜集等多個領域。物聯(lián)網(wǎng)把新一代IT技術充分運用在各行各業(yè)之中,具體地說,就是把感應器嵌入和裝備到電網(wǎng)、鐵路、橋梁、隧道、公路、建筑、供水系統(tǒng)、大壩等物體中,然后將“物聯(lián)網(wǎng)”與現(xiàn)代互聯(lián)網(wǎng)整合起來,實現(xiàn)人類社會與物理系統(tǒng)的整合,在這個整合網(wǎng)絡中,存在能力超級強大的中心計算機群,能夠對整合網(wǎng)絡內(nèi)的人員、機器、設備和基礎設施進行實時管理和控制。在此基礎上,人類便能以更加精細和動態(tài)的方式管理生產(chǎn)和生活,達到“智慧”狀態(tài),提高資源利用率和生產(chǎn)力水平,改善人與自然間的關系。人們正走向“物聯(lián)網(wǎng)”時代,但這個過程可能需要很長時間。
下面我舉幾個國內(nèi)物聯(lián)網(wǎng)的典型應用案例:
(1)物聯(lián)網(wǎng)傳感器產(chǎn)品已率先在上海浦東國際機場防入侵系統(tǒng)中得到應用。
系統(tǒng)鋪設了3萬多個傳感節(jié)點,覆蓋了地面、柵欄和低空探測,可以防止人員的翻越、偷渡、恐怖襲擊等攻擊性入侵。上海世博會也與中科院無錫高新微納傳感網(wǎng)工程技術研發(fā)中心簽下訂單,購買1500萬元防入侵產(chǎn)品。
(2)智能交通系統(tǒng)(ITS)
利用先進通訊、計算機、自動控制、傳感器技術,實現(xiàn)對交通的實時控制與指揮管理。交通信息采集被認為是ITS的關鍵子系統(tǒng),是發(fā)展ITS的基礎,成為交通智能化的前提。
(3)首家高鐵物聯(lián)網(wǎng)技術應用中心在蘇州投用
我國首家高鐵物聯(lián)網(wǎng)技術應用中心2010年在蘇州科技城投用,該中心將為高鐵物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展提供科技支撐。刷卡購票、手機購票、電話購票等新技術的集成使用讓旅客可以擺脫擁擠的車站購票;與地鐵類似的檢票方式,可實現(xiàn)持有不同票據(jù)旅客的快速通行。該中心研發(fā)了目前世界上最大的票務系統(tǒng),每年可處理30億人次,而目前全球在用系統(tǒng)的最大極限是5億人次。
(4)國家電網(wǎng)首座220千伏智能變電站
2011年,國家電網(wǎng)首座220千伏智能變電站——無錫市惠山區(qū)西涇變電站投入運行,并通過物聯(lián)網(wǎng)技術建立傳感測控網(wǎng)絡,實現(xiàn)了真正意義上的“無人值守和巡檢”。設計和建設水平全國領先。
■《自動化博覽》:智能視覺物聯(lián)網(wǎng)是人臉識別技術在物聯(lián)網(wǎng)時代的應用,可以為我們介紹一下什么是智能視覺物聯(lián)網(wǎng)嗎?
李子青:智能視覺物聯(lián)網(wǎng),簡稱“視聯(lián)網(wǎng)”,是由智能視頻監(jiān)控和聯(lián)網(wǎng)報警系統(tǒng)組成的物聯(lián)網(wǎng)。它的定義是:通過視覺傳感標簽、射頻識別(RFID)、紅外感應器、全球定位系統(tǒng)、激光掃描器等信息傳感設備,按約定的協(xié)議,把任何物體與互聯(lián)網(wǎng)相連接,進行信息交換和通信,以實現(xiàn)對物體的智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡。智能視覺物聯(lián)網(wǎng)是物聯(lián)網(wǎng)的升級版本,由智能視覺傳感器、智能視覺信息傳輸、智能視覺信息處理和針對人車物三大類目標的物聯(lián)網(wǎng)應用四部分構成。它利用各類圖像傳感器,包括監(jiān)控攝像機、手機、數(shù)碼相機,獲取人、車、物圖像或視頻,采用圖像視頻模式識別技術對視覺信息進行處理, 提取視覺環(huán)境中人、車、物視覺標簽,并通過網(wǎng)絡傳輸與視覺標簽應用系統(tǒng)連接,提供便捷的監(jiān)控、檢索、管理與控制。
通過公共場所管理、智能樓宇、交通管制、學校、監(jiān)獄、金融、社區(qū)、個人視頻設備等終端用戶搭建起“智能視覺物聯(lián)網(wǎng)”,能夠實現(xiàn)對資源的統(tǒng)一監(jiān)控、管理和調(diào)度,因此智能視覺__物聯(lián)網(wǎng)具有廣泛的應用前景。
■《自動化博覽》:智能視覺物聯(lián)網(wǎng)的核心技術是什么?
李子青:智能視覺物聯(lián)網(wǎng)的一個重要核心技術就是智能視覺標簽系統(tǒng)。我們知道RFID有RFID的標簽,什么是視覺標簽呢?就是對圖象和視頻當中的內(nèi)容進行識別、理解和分類。最重要的就是對人車物貼視覺標簽,這個標簽包含各種各樣的物件的屬性,包括它的名稱、它的ID,它的顏色,它的身份,它的發(fā)生的地點等。我們要利用視覺理解或者圖象處理與計算機視覺的技術手段完成實現(xiàn)這樣一些功能。視覺標簽與RFID標簽的區(qū)別是什么呢?利用視覺標簽可以在更遠距離對物體進行識別,這是視覺標簽和RFID標簽之間最顯著的區(qū)別,打破了距離和范圍的限制,并且在多個物體同時出現(xiàn)的時候不會出現(xiàn)混淆,因為每個物體應該有一個唯一標簽。這個標簽是比較虛擬化的標簽,它會把這些標簽,我們對這些物體,對人車物提取標簽之后,會把信息存儲到數(shù)據(jù)庫。
智能視覺物聯(lián)網(wǎng)的另一個重要核心技術就是智能視覺信息挖掘。我們可以把人車物視覺標簽綜合起來,拓展到其他領域。這個架構其實就是上文提到的四層架構,即傳感層、傳輸層、信息處理層、綜合應用層。只有把網(wǎng)絡力量實現(xiàn)起來之后,才能體現(xiàn)出這個網(wǎng)的價值,視覺標簽分析或者視覺標簽的提取,如果只是單路的話,它的作用是比較有限的。如何把這個在大范圍內(nèi)實現(xiàn)出綜合視覺標簽內(nèi)容的挖掘與關聯(lián)呢?一個例子就是流動人群行蹤挖掘,這個也是從公共安全實際應用中提出來的。假設我們有很多攝像頭在各個地點部署,每一個攝像頭都對流動人群進行視覺標簽提取,識別他的身份,這些攝象頭分析的視覺標簽信息送到一個中央服務器,我們可以把在不同時間、地點和跨攝像機提取出來的人物從這個數(shù)據(jù)庫當中進行關聯(lián)和挖掘,從而分析出流動人群的行蹤,這樣就更能體現(xiàn)視覺物聯(lián)網(wǎng)的價值。
■《自動化博覽》:智能視覺物聯(lián)網(wǎng)的特點有哪些?主要應用在哪些領域?可否為我們介紹1、2個智能視覺物聯(lián)網(wǎng)的實際應用案例?
李子青:智能視覺物聯(lián)網(wǎng)包含視覺傳感器+傳輸+智能分析三個部分。主要特點是:
(1)多種視覺信息獲取設備——智能視覺物聯(lián)網(wǎng)必須支持多種視覺傳感和圖像設備。這些包括圖像、視頻文件;移動設備,如手機、數(shù)碼相機;固定設備,如網(wǎng)路攝像頭、監(jiān)控攝像機。智能視覺物聯(lián)網(wǎng)這些圖像視頻終端設備作為結點,采集環(huán)境中物體、目標信息。
(2)視覺信息獲取與傳輸——智能視覺物聯(lián)網(wǎng)的數(shù)據(jù)傳輸必須兼容各種主流網(wǎng)絡介質(zhì),以“多網(wǎng)合一”、有線和無線的方式進行視覺信息傳輸, 如“三網(wǎng)融合”。三網(wǎng)融合是指電信網(wǎng)、廣播電視網(wǎng)、互聯(lián)網(wǎng)在向寬帶通信網(wǎng)、數(shù)字電視網(wǎng)、下一代互聯(lián)網(wǎng)演進過程中,三大網(wǎng)絡通過技術改造,其技術功能趨于一致,業(yè)務范圍趨于相同,網(wǎng)絡互聯(lián)互通、資源共享,能為用戶提供語音、數(shù)據(jù)和廣播電視等多種服務。圖1 “三網(wǎng)合一”人臉識別架構
(3)智能視覺標簽系統(tǒng)——作為智能視覺物聯(lián)網(wǎng)信息處理的核心部分,對視覺感知范圍的人、車或其他物件、對目標標簽物體的身份及其實時狀態(tài)進行智能分析,對其進行“貼標簽”處理,并輔以標簽屬性包括名稱、ID、屬性、地點、運動狀態(tài)、行為等(如圖2所示)。與RFID物理標簽相比,智能視覺標簽系統(tǒng)的特點是:(a)通過無源方式提供標簽信息;(b)屬于虛擬表現(xiàn)性質(zhì);(c)打破距離限制,可以遠距離獲取。圖2 對目標標簽物體進行貼標簽處理
(4)智能視覺信息挖掘——作為智能視覺物聯(lián)網(wǎng)的更高級部分,對所覆蓋大范圍中的目標視覺標簽進行關聯(lián),識別挖掘各目標的運動軌跡,并分析其行為。智能視覺標簽系統(tǒng)與智能視覺信息挖掘, 作為視覺信息處理的兩個重要構件,是智能視覺物聯(lián)網(wǎng)最核心的部分,也是其未來的發(fā)展重點。
從應用的角度來講,我們可以根據(jù)標簽的屬性對視覺物聯(lián)網(wǎng)的應用進行分類,比如面向人的視覺標簽系統(tǒng),最典型的應用就是人臉識別或者是人口管理、身份管理。面向車的視覺標簽系統(tǒng)的應用就是智能交通,如識別車牌、車型、車的速度以及是否違反交通規(guī)則。對其他物件標簽的應用就應用更廣了,比如我們超市每一個物件都會有一個標簽。所以,其應用會包括身份識別、門禁系統(tǒng)、社保身份識別、銀行帳戶管理、電子商務、網(wǎng)絡購物等。智能交通就是交通指揮、車輛違章檢測,路口信息監(jiān)測等,還有其他物件標簽,比如在博物館會用一些監(jiān)控攝像頭對展品進行監(jiān)控。關于視覺標簽的信息挖掘,目前的核心技術已經(jīng)用到了北京奧運、上海世博,用到了邊檢通關,包括深圳和珠海和北京T3航站樓,大家出入境的時候可以看到兩邊有這樣一個閘機。另外,北京天安門從去年國慶節(jié)開始也實施對流動人群進行監(jiān)控。
為積極探索人像識別比對技術支撐、服務公安實戰(zhàn)的有效手段和方法,李子青團隊就大規(guī)模人臉數(shù)據(jù)庫比對技術與無錫市公安局進行合作研發(fā),根據(jù)實地調(diào)研確定了七個實戰(zhàn)應用場景:網(wǎng)上追逃、嫌疑人身份識別和排查、暫住人口身份確認、二代證重證管理、公交查報站系統(tǒng)整合、重點區(qū)域對涉恐涉穩(wěn)等特定人員的預警、模糊圖像還原。
目前,團隊與無錫市公安局共同承擔的江蘇省科技支撐計劃海量視頻綜合利用技術集成與示范應用項目,本項目基于核心技術研發(fā)的人臉識別和視頻分析相關系統(tǒng)在無錫公安應用示范中取得了顯著成效并獲得推廣。例如:
(1)人臉識別綜合應用平臺:為用戶提供用戶登陸、工作提醒、人像照片檢索、人像比對、圖像工具、系統(tǒng)工具、討論區(qū)等綜合應用工具。目前該平臺已正式上線,向全警開放使用。
(2)標準人像采集比對系統(tǒng):該系統(tǒng)具有現(xiàn)場人像圖片采集、圖片質(zhì)量評估和人臉比對的完整功能,能及時、準確、迅速的比對出重點人員,對刑偵破案和監(jiān)控管理提供了便利。目前已部署在崇安寺派出所、廣義派出所、無錫市監(jiān)管支隊、看守所、拘留所等試點。
(3)視頻偵查系統(tǒng):該系統(tǒng)能兼容公安行業(yè)10余種視頻格式,視頻處理速度快,目標分類準確率高,且具有影像分析功能,能處理光照過暗、塵霧天氣等特殊場景。目前該系統(tǒng)在惠山分局、濱湖分局示范應用。
■《自動化博覽》:智能視覺物聯(lián)網(wǎng)在國內(nèi)的應用情況如何?面臨哪些問題?該如何解決?
李子青:目前在國內(nèi),廠商多數(shù)實力有限,規(guī)模較小,研發(fā)能力不強,用戶雖然有智能視頻監(jiān)控方面的需求,但具體需求并未完全清晰。因此,可以說目前的智能視覺物聯(lián)網(wǎng)市場是希望很大,困難不少。
目前,智能視覺物聯(lián)網(wǎng)發(fā)展各方面問題都有待研究解決。
(1)智能視覺物聯(lián)網(wǎng)的發(fā)展網(wǎng)絡框架及標準體系不夠完善應盡快制定智能視覺物聯(lián)網(wǎng)相關的框架標準體系,堅持國際標準和國內(nèi)標準同步,統(tǒng)一技術和接口的標準,明確智能視覺物聯(lián)網(wǎng)的涵蓋范疇和定位,出臺智能視覺物聯(lián)網(wǎng)關鍵的發(fā)展技術和相關產(chǎn)業(yè)的配套扶持政策,統(tǒng)一技術標準和相關的評價體系,構建統(tǒng)一的運營平臺,形成規(guī)模化、標準化經(jīng)濟。
(2)智能視覺物聯(lián)網(wǎng)產(chǎn)業(yè)鏈尚未完善
目前,國內(nèi)物聯(lián)網(wǎng)產(chǎn)業(yè)鏈還并不完善,在體制方面還有很多工作要做,如加強廣電、電信、交通等行業(yè)主管部門的合作,共同推動信息化、智能化的交通系統(tǒng)的建立。加快電信網(wǎng)、廣電網(wǎng)、互聯(lián)網(wǎng)的三網(wǎng)融合進程等。產(chǎn)業(yè)鏈的合作需要兼顧各方面的利益,而在各方利益機制及商業(yè)模式尚未成型的背景下,物聯(lián)網(wǎng)普及仍相當漫長。
(3)智能視覺物聯(lián)網(wǎng)的關鍵性技術不夠成熟
智能視覺物聯(lián)網(wǎng)技術在中國的推廣較晚,技術研發(fā)和市場推廣都存在明顯的不足。大多數(shù)生產(chǎn)和推廣視頻監(jiān)控產(chǎn)品的企業(yè),其業(yè)務仍然停留在非智能范疇,比如普通的網(wǎng)絡視頻監(jiān)控、分布式視頻監(jiān)控等。隨著人們公共安全意識和對先進的視頻監(jiān)控認識的提高,國內(nèi)市場上也逐漸出現(xiàn)了對智能視頻監(jiān)控的需求,己經(jīng)有公司開始這一領域的研究,但是,由于自主研發(fā)能力的限制,目前都只是采用引進國外成熟技術的形式,聯(lián)合推出面向于中國市場的相關產(chǎn)品。比如漢王科技公司,與以色列的Mate公司合作推出了基于多種行為(如越界、徘徊、遺留、消失、定向運動等)的視頻檢測嵌入式產(chǎn)品。除了各公司推出商用的視覺監(jiān)控系統(tǒng)外,國內(nèi)外一些大學和科研院所也在踴躍參與智能視頻監(jiān)控方法的研究,成果主要體現(xiàn)在學術論文和算法開發(fā),具體的課題包括背景建模、目標分類、目標跟蹤以及視頻內(nèi)容分析等。但是以上智能視頻監(jiān)控系統(tǒng),對于多攝像機、大范圍海量監(jiān)控視頻的針對性不足,無法有效用于海量大范圍場景的視頻監(jiān)控和深度挖掘。
運營商應建立開放式產(chǎn)業(yè)鏈,完善和繼續(xù)投資3G網(wǎng)絡,深化對智能視覺物聯(lián)網(wǎng)技術的研究開發(fā)。
(4)智能視覺物聯(lián)網(wǎng)相應的法律法規(guī)制度有待進一步制定和確認
應通過專業(yè)人士與專業(yè)機構對智能視覺物聯(lián)網(wǎng)進行研究,全面考慮縱向的深化與橫向涉及的其他各行業(yè),制定出相應的、行之有效的法律,為物聯(lián)網(wǎng)的深化發(fā)展提供保障和指導。
■《自動化博覽》:您如何看待智能視覺物聯(lián)網(wǎng)在未來的發(fā)展前景?
李子青:網(wǎng)絡攝像機未來勢必朝著高清、智能與更好的網(wǎng)絡性能方向發(fā)展,所對應的就是百萬高清、高壓縮比,以及集成的智能視頻分析與識別功能。2010年高清網(wǎng)絡攝像機平均每月出貨量超過1萬余臺,全年出貨總量將超過20萬臺,與2009年相比增長超過 200%,占網(wǎng)絡攝像機的比例約為34%。在高清網(wǎng)絡攝像機中,百萬像素占56%,200萬像素占37%,300萬像素或以上占7%。這也帶來了數(shù)據(jù)量的巨大增長。
根據(jù)政府、公安部門要求,當前攝像頭所采集的監(jiān)控視頻數(shù)據(jù)至少需要保存30天以上,故其產(chǎn)生的海量視頻數(shù)據(jù)是非常驚人的:如某監(jiān)控場所需要8路視頻監(jiān)控系統(tǒng)進行7×24小時不間斷的監(jiān)控,數(shù)據(jù)按3個月即可覆蓋來算,其需要的存儲空間大致為3.4TB,這么龐大的一個數(shù)據(jù)量只是監(jiān)控一個場所產(chǎn)生的,如果全國的工程完成,那么至少3000萬個攝像頭所產(chǎn)生的視頻文件,將達到上千萬個TB,并會因歸檔的需求而不斷增加下去。
在《國家中長期科學和技術發(fā)展規(guī)劃綱要(2006-2020年)》已明確指出智能信息處理是信息產(chǎn)業(yè)這一重點領域中的研究重點。傳統(tǒng)單純的視頻監(jiān)控系統(tǒng)存在諸多問題,大量的視頻監(jiān)控信息陳舊,缺乏有效利用方法。智能視頻分析基礎技術性能亟待提升與改善。因此,應圍繞智能信息處理,以突破視頻監(jiān)控的智能感知技術和加強海量數(shù)據(jù)處理能力為目標,以先進智能視頻分析技術為重點,加強安防智能識別軟件開發(fā),重點研究海量視頻下的智能化視頻分析和數(shù)據(jù)處理技術。
智能監(jiān)控市場目前還處于市場萌芽期,潛在市場空間巨大。政府和企業(yè)都存在充分的消費意愿。政府需要加強治安管理,提高監(jiān)控能力,強化對群體性事件和突發(fā)性事件的應對措施,保持社會穩(wěn)定。企業(yè)需要加強內(nèi)部安全防范,而且企業(yè)在管理、業(yè)務上對智能監(jiān)控的需求也正在開始增多。這些需求都蘊藏著巨大的商機,值得智能監(jiān)控廠商深度挖掘與開發(fā)。隨著“平安城市”建設等重大工程的順利推進及商業(yè)、民用需求的不斷增長,未來國內(nèi)智能監(jiān)控市場將持續(xù)升溫,并不斷創(chuàng)造出新的市場機會及應用價值,智能視頻監(jiān)控產(chǎn)業(yè)的美好前景值得期待。
摘自《自動化博覽》2014年3期