論文背景
人工皮膚在機器人感知和醫療保健方面顯示出巨大的潛力。它提供了包括三維形狀重建、接觸反饋和溫度感知在內的多功能觸覺感知，其中三維重建功能是靈巧手在觸覺認知和互動中不可或缺的。視覺觸覺傳感器（VTS）是一種創新的仿生觸覺傳感器，與電子觸覺傳感器相比，它支持高分辨率、高精度、高密度的觸覺重建。
圖1 基于視觸覺傳感三維重建技術概覽
論文概述
近期，北京郵電大學方斌教授團隊以視觸覺傳感為視角，總結了人工皮膚的三維重建功能的技術細節及發展脈絡。根據傳感方式、硬件類別和建模方式，將三維重建技術分成5類：1）光度立體；2）深度標定；3）光流；4）深度學習；5）深度相機。其次，從硬件角度闡述了重建方法的關聯和區別。結合近十五年的文獻調研，對三維重建的發展和技術迭代進行了討論。最后，總結現在三維重建研究的挑戰，并提出了未來發展趨勢。該工作以“Artificial Skin Based on Visuo-Tactile Sensing for 3D Shape Reconstruction: Material, Method, and Evaluation”為題發表在Advanced Functional Materials。該研究得到國家自然科學基金委的支持。
圖2 基于光度立體三維重建
光度立體法應用于涂層型視觸覺傳感器。通過多方向、不同光色的照明，在接觸區域提供鮮明的梯度變化。為了減少陰影的影響，通過光路設計和光學優化來提高光照的均勻性。使用特定尺寸的校準球可以標定出Gx和Gy。通過查找表（啞光涂層）或者MLP（半鏡面涂層）從光照強度預測梯度信息，并結合泊松求解器計算深度值。MLP對平面和曲面重建都具有通用性，并且簡化了查找表的生成。當成像環境足夠穩定，單色光也能提供足夠的梯度信息，并且RGB與梯度的映射關系趨近于線性擬合。
圖3 基于深度學習三維重建
深度標定和光流法適用于標記型視觸覺傳感器。深度標定依靠雙目視覺和標記層來獲取視差，進一步推導出深度信息。標記追蹤是標定的關鍵環節。標記物尺寸太小會導致圖像處理過程中出現漏點現象。在標記匹配階段，打亂標記陣列排序，導致左右相機不能追蹤到同一個標記。圖像分割網絡可以避免圖像處理的誤差，對微型化標記的追蹤提供支持。光流法是基于單目相機的深度預測。對流向量應用二維高斯分布核，并在每個點對分布進行累積，得到高斯密度。表面變形的相對深度可以直接從負高斯密度來估計。標記物的隨機性提高了觸覺數據的魯棒性。
深度學習方法具有高兼容性。通過數據驅動方式，直接構建RGB與深度信息的映射。深度信息的表達形式多樣，包括高度/深度圖、點云信息和梯度角。與上述重建方法結合，深度學習可以預測關鍵參數，簡化非線性模型的建立。深度相機可以直接輸出深度值，但是需要預留較大的傳感空間，導致傳感器體積龐大。這不符合視觸覺傳感器微型化的發展趨勢。對于未來發展，本文認為視觸覺傳感將關注多模態融合、曲面重建和高分辨率三維重建。這也符合機器人交互感知和自適應感知的需求。
原文鏈接：
https://advanced.onlinelibrary.wiley.com/doi/10.1002/adfm.202411686
