帳號:
密碼:
CTIMES / 新聞 /
NEC與東京工業大學共同研發多模態影像融合技術
 

【CTIMES 陳復霞整理 報導】   2017年07月10日 星期一

瀏覽人次:【893】
  

運用AI大幅提高惡劣條件下的辨別度,自動合成可見光與不可見光影像。

運用多模態影像融合技術的示意圖(註2)
運用多模態影像融合技術的示意圖(註2)

近年來,影像感測器的硬體不斷提升、成本持續下降,因此越來越常見將熱顯像攝影機、可拍出物體內部構造的X光/太赫茲波(THz波)/毫米波攝影機等不可見光攝影機,運用在夜晚、濃霧等惡劣天候,或是逆光、遮蔽等不利條件下,來進行監控與判斷。但是與可見光攝影機相比,這些不可見光攝影機的解析度與畫質較低,由於難以辨認,因此必須要搭配設置可見光攝影機共同使用,互相參照比較兩種攝影機拍下的影像來進行監控與判斷,所以很難迅速判別出正確的對象與狀況。傳統的情況下,會由熟悉不同種類的攝影機與攝影環境的專家,手動挑選各自適合的影像來進行合成。除此之外,包括不可視光影像在內,在手動合成的過程中,可能會遺漏掉影像中的異常、是否有危險物品的情況,這也是本次需要解決的課題。

NEC與東京工業大學,讓AI學習專家們的轉檔技巧,進而能夠將可視光與不可視光攝影機拍攝的影像自動合成,不僅拍攝對象與情況的辨別度也相當高,即使在惡劣的環境下也能迅速判斷是否有異常情況或危險物品,這就是本次所共同研發的「多模態影像融合技術」。

多模態影像融合技術

NEC與日本國立大學法人東京工業大學工學院奧富正敏教授、田中正行客座副教授等人的研究團隊(以下簡稱東京工業大學),共同研發「多模態(註1)影像融合技術」,運用AI技術將一般攝影機拍攝的可見光影像、熱顯像攝影機拍攝的不可見光影像進行自動合成,針對影像中拍攝的對象與狀況,大幅提高辨別度。

在各個需要以視覺瞬間辨別的領域中,運用本技術,即使在惡劣條件下也能夠做出正確判斷。舉例來說,在夜晚或濃霧等惡劣氣候狀況下,也能用於設施監控;對向來車的頭燈太過刺眼或暗處視覺死角的狀況,可用於支援自動駕駛;進行基礎設施維護點檢時,不僅可監測建築表面裂縫,還能找出內部異常等情形。

以往,想要將不同種類攝影機拍攝的影像合成,需要專家進行複雜的手動轉檔作業。本技術則能運用AI,將各種不同攝影機拍攝的影像,自動而高效率地進行合成,不需要任何手動作業。不僅如此,更能充分利用可見光影像與不可見光影像各自的優勢,傳統技術難以視覺化的環境條件下,也能獲得較高的視覺辨別度。

NEC與東京工業大學,未來也將透過產學合作的形式,針對各項社會基礎設施,作為能夠安全、安心運作的安全事業之關鍵,持續共同研發影像處理及AI相關技術。

技術特色

本技術能讓AI自動從多個影像中,挑選出較易辨別的影像進行合成,並強調不可見光影像之中的細小特徵,這樣的方式打破了傳統侷限,因此能合成做出高辨識度的影像。

AI會依據攝影機的種類(如熱顯像攝影機或太赫茲攝影機)、環境特徵(亮度、光線方向、是否有障礙物等),針對影像內各個部份的辨識程度進行評比,進而從不同影像中自動選出最適合的。

此外,AI在處理不可見光攝影機所拍攝的影像時,能夠針對異常或危險物品等細小特徵來解析,進行適當的強弱調整,避免產生過度曝光或曝光不足而破壞影像的情形,因而能自動產生以往無法達到的高辨識度多模態(可見光與不可見光)合成影像。

本次共同研發之技術,為NEC尖端AI技術群「NEC the WISE」其中之一。

註釋

1.Multimodal(多模態): 多種模式、形態。本文中提到的多模態,是指可見光攝影機拍攝的影像,與紅外線攝影機等不可見光攝影機所拍攝的影像。

2.已獲得創新研發推進計畫(ImPACT)Tough Robotics Challenge有關惡劣環境模擬設備的使用許可。

3.「NEC the WISE」是NEC尖端AI技術群的品牌名稱。”The WISE”有「智者們」的涵義,其中蘊含的強烈想法是,希望藉由人與AI的協調,運用更高層級的智慧,解決日益複雜高深的社會課題。

關鍵字: 多模態  影像融合  NEC  東京工業大學 
相關新聞
NEC通訊伺服器SL2100與整合通訊平台UC PBX雙強出擊
NEC人臉辨識技術協助維護夏季聽障奧運入場安全
NEC運用人臉辨識系統與英國南威爾斯警方合作
NEC人臉辨識系統於美國國際機場進行測試
NEC台灣於2017人工智慧創新應用國際論壇登場
comments powered by Disqus
相關討論
  相關產品
» ANSYS模擬技術為產品開發數位探索帶來突破進展
» 資策會與和成衛浴合作打造空總HCG智慧廁間新體驗
» NEC運用AI 協助製造業生產現場產品檢查
» 因應機器智慧應用 AMD推出Radeon Instinct加速器 
» 威聯通提供混合雲物聯網解決方案
  相關文章
» NEC SL2100/UC PBX打造智慧通訊
» 3D列印逐步化解發展阻力
» 從「教育+廣告」看VR發展前景
» IVS落實監控智慧願景
» 結合虛擬化技術與10G-EPON實證實驗有成

AD


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2017 遠播資訊股份有限公司版權所有 Powered by O3
地址:台北市中山北路三段29號11樓 / 電話 (02)2585-5526 / E-Mail: webmaster@ctimes.com.tw