我校信息學院在人工智能領域發表多篇重要科研成果

ON2019-06-12CATEGORY科研進展

  近期,我校信息學院智能視覺中心(vic.shanghaitech.edu.cn)多篇論文分別被4個人工智能領域頂級國際會議接收,包括:2019國際計算機視覺與模式識別會議(IEEE Conference on Computer Vision and Pattern RecognitionCVPR)接收7篇,2019國際計算語言學協會年會(Annual Meeting of the Association for Computational LinguisticsACL)接收3篇,2019國際機器學習大會(International Conference on Machine LearningICML)接收3篇,2019人工智能國際聯合大會(International Joint Conference on Artificial IntelligenceIJCAI)接收2篇。以上4個國際會議均被中國計算機學會(CCF)認定為人工智能領域最高級別,即A類國際學術會議。

  在計算機視覺領域,信息學院今年共有7篇論文被CVPR 2019接收。

  “Density Map Regression Guided Detection Network for RGB-D Crowd Counting and Localization”一文中提到為解決RGB-D場景下的人頭計數問題,提出了一個可同時人群計數并給出人頭位置的回歸引導檢測網絡(RDNet(見圖1)“Local to Global Learning: Gradually Adding Classes for Training Deep Neural Networks”一文中提出一種新型神經網絡數據選擇算法Local to Global LearningLGL)(見圖2),將其應用到深度神經網絡中,并且從信息論的角度發現LGL可以降低神經網絡初始訓練階段的熵,使其訓練更加穩定。“PPGNet: Learning Point-Pair Graph for Line Segment Detection”一文中提出使用簡單圖來表示連接點、線段和它們之間的關系(見圖3),并提出點對圖網絡(PPGNet)從圖像中檢測所有連接點,并輸出鄰接矩陣形式的線段檢測結果。“Single-Image Piece-wise Planar 3D Reconstruction via Associative Embedding”一文中研究了從單張RGB圖像,用非固定數量的平面提供三維場景簡潔表達。使用卷積神經網絡將像素映射到一個嵌入空間,并利用改進Mean Shift聚類算法得到平面實例分割(見圖4),該方法在公開數據集上達到最優性能,運行速度達到30FPS。上述研究成果出自高盛華教授課題組。

1. 用于人群計數的回歸引導檢測網絡(RDNet)

2. LGL與遷移學習的區別,A, B, C代表訓練集中的三個類

3. 點對圖網絡(PPGNet)網絡框架示意圖

4. 平面重建結果,從左至右分別為:輸入圖像,平面實例分割,深度圖,重建的三維平面模型

  “The Alignment of the Spheres: Globally-Optimal Spherical Mixture Alignment for Camera Pose Estimation”一文中,課題組研究在僅知3D模型純幾何信息情況下的跨模配準問題,并將其轉換為一個2D-3D混合模型的對齊任務,其求解依賴于全局最優的分支定界搜索算法,研究思路見圖5“Motion Estimation of Non-holonomic Ground Vehicles from a Single Feature Correspondences Measured over n Views”一文中提到受平面tri-focal tensor及其處理線特征能力的啟發,研究人員對車輛的局部圓周運動建立了可任意擴展的n維線性約束(見圖6)。上述研究成果出自Laurent Kneip教授課題組。

5.論文思路: 球體表示三維點云分布的高斯模型, 其目標是找到相機的位姿,使其在相機單元球面上的投影與測量到的投影點云分布一致

6.車輛運動的近似模型

  虞晶怡教授課題組在“Ray-Space Projection Model for Light Field Camera”一文中,提出一種從光線空間到光場相機坐標系下的新投影方式(見圖7)。根據MPC模型計算一個內參投影矩陣,利用光線空間的單應矩陣和投影矩陣估計不同光場相機間的對應關系。通過合成和真實數據驗證了新算法的有效性和魯棒性。

7. 兩個光場相機之間的光線空間投影模型和光線與光線之間的變換

  在自然語言處理領域,信息學院共有3篇論文被ACL 2019接收。

  “Enhancing Unsupervised Generative Dependency Parser with Contextual Information” 一文提出了一種無監督句法分析的新型概率模型:基于神經網絡的判別式價鍵依存模型(見圖8)。“Second-Order Semantic Dependency Parsing with End-To-End Neural Networks”一文研究了旨在識別自然語言句子中單詞間語義關系的語義依存分析,提出了一種二階語義依存分析器,將兩條依存邊之間的相互作用關系考慮在內;使用兩種推理算法對二階分析進行近似,并將其轉化為端到端神經網絡進行訓練,見圖9。上述研究成果出自屠可偉教授課題組。除此之外,屠可偉教授課題組在與西湖大學張岳教授合作完成的“Latent Variable Sentiment Grammar”一文中提出了一系列情感語法,用于使用神經網絡顯式地建模情感組合。

8.計算語法規則概率的神經網絡模型架構

   

9. 模型架構

  在機器學習領域,信息學院共有3篇論文被ICML 2019接收。

  “Noisy dual principal component pursuit”一文中提到對偶主成分追蹤(DPCP)是一個通過非凸優化從被異常值損壞的數據集中擬合線性子空間的魯棒子空間學習方法,本文將該方法的全局最優性和收斂理論延伸到了有噪音數據的情況,并且說明了該方法在3D路面檢測應用上優于RANSAC方法。“Homomorphic sensing ”一文提到給定一個線性子空間以及一個線性變換的有限集,作者發展了一個代數理論,這個理論確立了保證線性子空間里的點被某些線性變換的同態像唯一確定的條件。上述研究成果出自Manolis Tsakiris教授課題組。

  何旭明教授課題組在“LatentGNN: Learning Efficient Non-local Relations for Visual Recognition”一文中提出一種新穎的隱空間圖卷積網絡(見圖10),通過引入隱空間實現高效的上下文語義建模,最終在檢測與點云分割任務上以更低計算復雜度取得更優異的性能。

10. 隱空間圖卷積神經網絡框架

  在泛人工智能領域,信息學院共有2篇論文被IJCAI 2019接收。

  高盛華教授課題組在“Open-set Supervised Video Anomaly Detection with Margin Learning Embedded Prediction”一文中提出一種基于度量學習的視頻未來幀預測的開集(open-set)場景下的異常行為檢測框架(見圖11),大量的實驗證明了所提出方案的有效性。

11. MLEP網絡框架圖,包含編碼器,ConvLSTM與解碼器

  趙登吉教授課題組與合作者在“Diffusion and Auction on Graphs”一文中刻畫出了一類可以激勵參與者通過社交關系分享(銷售)信息的市場規則(趙登吉教授課題組和合作者于2017年最先開創在該領域的研究工作)。他們提出的市場規則很好地利用了網絡社交關系進行信息共享,對傳統的基于搜索引擎和社交媒體的互聯網廣告模型提出了新的挑戰和新的設計。

  除上述最新研究成果之外,信息學院虞晶怡教授課題組和Laurent Kneip教授課題組的相關研究工作近期分別以“Hyperspectral Light Field stereo Matching”和“Minimal Case Relative Pose Computation using Ray-Point-Ray Features”為題在人工智能領域國際知名期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)》(影響因子:9.455)上發表。上述科研成果充分展示了我校信息學院在人工智能領域一流的科研創新實力。