(1).png)
天下苦機器人看不清透明和反光物體久矣。
畢竟就連小動物甚至人,有時候一個不小心,都會搞笑地撞到干凈的玻璃門......
不僅如此,若是讓機器人拿起透明的玻璃杯、反光的不銹鋼物體,他們也會經(jīng)常出現(xiàn)“突然瞎了”的情況。
這一切的問題,正是出在了機器人的眼睛——深度相機。
因為無論是基于結(jié)構(gòu)光還是雙目立體視覺的深度相機,它們的工作原理都是依賴物體表面對光線的穩(wěn)定反射。
而透明材質(zhì)會讓光線直接穿透,高反光材質(zhì)則會將光線漫反射到四面八方,導(dǎo)致傳感器無法接收到有效的回波信號,從而產(chǎn)生大量缺失或錯誤的深度值。
對比一下我們?nèi)祟惪吹降膱鼍昂蜋C器人眼中的場景,就一目了然了:
毫不夸張地說,這類讓機器人睜眼瞎的問題,一直是阻礙它們安全地走進家庭、商場和醫(yī)院等場景的Big Big Big Problem!
但現(xiàn)在,隨著一項新技術(shù)的提出,機器人的眼疾終于算是被治好了——
螞蟻集團的具身智能公司螞蟻靈波(RobbyAnt),開源了全球看得最清楚的深度視覺模型,LingBot-Depth。
同樣是上面兩個場景,我們直接來看下在LingBot-Depth加持下的效果:
也正因如此,機器人現(xiàn)在不論是抓取反光的不銹鋼杯子,還是透明的玻璃杯,都是易如反掌:
用一句經(jīng)典歇后語來表達這個feel,或許就是“老太太戴眼鏡——不簡單”。
確實不簡單。
因為LingBot-Depth不僅解鎖了“全球看得最清楚”的頭銜,還是首次在不需要換硬件的條件下就能實現(xiàn)的那種。
那么螞蟻靈波到底是怎么做到的,我們這就細扒一下論文。
咋就一下子能看清了?
在很多非專業(yè)討論中,透明和反光常常被混為一談,統(tǒng)稱為視覺難點。
但若是從算法層面來看,它倆其實是兩類截然不同、甚至相反的問題。
首先,透明物體的問題在于信息缺失。
玻璃幾乎不提供穩(wěn)定的紋理,也不會像普通物體那樣反射環(huán)境光,相機看到的,更多是背景的延續(xù)。
對于深度模型來說,它既不知道玻璃本身到哪兒才算結(jié)束,也不知道真實厚度和形態(tài)。
而反光物體的問題,恰恰相反,是信息過載。
高反射率表面會把環(huán)境、光源、相機本身統(tǒng)統(tǒng)映射進畫面,導(dǎo)致同一物體在不同角度、不同時間下呈現(xiàn)完全不同的外觀。
因此,模型很難判斷,哪些像素屬于物體,哪些只是倒影。
這也意味著,如果用一套統(tǒng)一的假設(shè)去處理這兩類問題,往往兩頭都做不好。
LingBot-Depth的一個重要設(shè)計思想,正是明確區(qū)分透明和反光這兩種類型的物理成因,而不是把它們簡單當(dāng)成噪聲。
為此,螞蟻靈波團隊想到了一個非常反直覺的解法:
既然傳感器在這些地方失效了,那這個失效本身,不就是一種最有力的特征嗎?
因為傳感器輸出的那些缺失區(qū)域,其實是一個天然的掩碼(Natural Mask),起碼可以告訴模型這塊區(qū)域有問題。
受今年大火的MAE(Masked Autoencoders)的啟發(fā),團隊便提出了一種名為Masked Depth Modeling(MDM,掩碼深度建模)全新范式。
簡單來說,LingBot-Depth在訓(xùn)練的過程中,會把深度圖中那些天然缺失的區(qū)域作為掩碼,然后要求模型僅憑完整的RGB彩色圖像和剩余的有效深度信息,去腦補出被掩碼遮住的那部分深度。
但這個過程也是非常具備挑戰(zhàn)性的。
模型必須學(xué)會從RGB圖像中挖掘出極其細微的線索,比如玻璃邊緣的折射畸變、反光表面的環(huán)境倒影、物體的輪廓和陰影,然后將這些視覺上下文與已知的幾何信息進行深度融合,才能做出準(zhǔn)確的推斷。
為了實現(xiàn)這一目標(biāo),LingBot-Depth在技術(shù)架構(gòu)上也是做了一些小巧思:
首先是聯(lián)合嵌入的ViT架構(gòu)。
模型采用視覺Transformer(ViT-Large)作為主干網(wǎng)絡(luò),它會對輸入的RGB圖像和深度圖分別進行分塊(Patch Embedding),生成兩組Tokens。
為了區(qū)分這兩種模態(tài),模型還引入了模態(tài)編碼(Modality Embedding),告訴網(wǎng)絡(luò)哪些令牌來自顏色,哪些來自深度。隨后,通過自注意力機制,模型能夠自動學(xué)習(xí)顏色與深度之間的精細對應(yīng)關(guān)系,建立起跨模態(tài)的聯(lián)合表征。
其次是智能掩碼策略。
不同于MAE中完全隨機的掩碼,MDM的掩碼策略更聰明。它優(yōu)先使用傳感器天然產(chǎn)生的缺失區(qū)域作為掩碼;對于部分有效、部分無效的深度塊,則以高概率(如75%)進行掩碼;如果天然掩碼不夠,才會補充一些隨機掩碼。
這種策略確保了模型始終在解決最困難、最真實的問題。
最后是ConvStack解碼器。
在重建階段,模型放棄了傳統(tǒng)的Transformer解碼器,轉(zhuǎn)而采用一個名為ConvStack的卷積金字塔解碼器。
這種結(jié)構(gòu)在處理密集的幾何預(yù)測任務(wù)(如深度圖)時,能更好地保留空間細節(jié)和邊界銳度,輸出的深度圖更加清晰、連貫。
此外,在數(shù)據(jù)采集與實驗驗證環(huán)節(jié),團隊還使用了奧比中光(Orbbec)的Gemini 330系列雙目3D相機進行了大量真實場景的采集與測試。
這不僅保證了數(shù)據(jù)來源的多樣性與真實性,也為模型在實際硬件平臺上的部署提供了重要支持。
通過這種方式,LingBot-Depth不僅學(xué)會了補全深度,更重要的是,它將對3D幾何的深刻理解內(nèi)化到了模型的“骨髓”里。
即使在推理時只給它一張單目RGB圖片(沒有任何深度輸入),它也能憑借學(xué)到的先驗知識,估算出相當(dāng)準(zhǔn)確的深度圖,展現(xiàn)出強大的泛化能力。
200萬真實數(shù)據(jù)煉出來的
一個模型再強大,也離不開高質(zhì)量、大規(guī)模的數(shù)據(jù)。
螞蟻靈波團隊構(gòu)建了一套可擴展的數(shù)據(jù)采集與合成的pipeline,最終匯集了總計約300萬的高質(zhì)量RGB-D樣本用于模型預(yù)訓(xùn)練。
其中,200萬來自真實世界,100萬來自高保真仿真。
在真實數(shù)據(jù)方面,團隊設(shè)計了一套模塊化的3D打印采集裝置,可以靈活適配多種商用RGB-D相機(如Orbbec Gemini、Intel RealSense、ZED等)。
他們走遍了住宅、辦公室、商場、餐廳、健身房、醫(yī)院、停車場等數(shù)十種場景,系統(tǒng)性地收集了大量包含透明、反光、低紋理等挑戰(zhàn)性物體的真實數(shù)據(jù)。這些數(shù)據(jù)覆蓋了極其豐富的長尾場景,為模型的魯棒性打下了堅實基礎(chǔ)。
在仿真數(shù)據(jù)方面,為了模擬真實深度相機的成像缺陷,團隊沒有簡單地渲染完美的深度圖,而是在Blender中同時渲染RGB圖像和帶散斑的紅外立體圖像對。再通過經(jīng)典的半全局匹配(SGM)算法生成有缺陷的仿真深度圖。
這種方法能高度還原真實傳感器在面對復(fù)雜材質(zhì)時的失效模式。
值得注意的是,這套包含200萬真實和100萬仿真數(shù)據(jù)的龐大數(shù)據(jù)集,是螞蟻靈波團隊近期計劃開源的重要資產(chǎn),旨在降低整個行業(yè)在空間感知領(lǐng)域的研究門檻。
算法夠創(chuàng)新,數(shù)據(jù)夠硬核,這才有了LingBot-Depth突出的性能表現(xiàn)。
在多個權(quán)威的深度補全基準(zhǔn)測試(如iBims、NYUv2、DIODE)上,它全面碾壓了當(dāng)前最先進的SOTA。
尤其是在最嚴苛的極端設(shè)定下(深度圖大面積缺失并伴有嚴重噪聲),LingBot-Depth的RMSE指標(biāo)比此前最好的方法降低了超過40%。
除此之外,盡管模型是在靜態(tài)圖像上訓(xùn)練的,但它在視頻序列上展現(xiàn)出了驚人的時空一致性。
在一段包含玻璃大門、有鏡子和玻璃的健身房、海洋館隧道的視頻中,LingBot-Depth 輸出的深度流不僅填補了原始傳感器的大片空洞,而且在整個視頻過程中保持平滑、穩(wěn)定,沒有任何閃爍或跳變。
為了驗證LingBot-Depth 在真實世界中的價值,螞蟻靈波團隊將其部署到了一臺真實的機器人平臺上。
這套系統(tǒng)由Rokae(節(jié)卡)XMate-SR5機械臂、X Hand-1靈巧手和Orbbec Gemini 335 RGB-D相機組成。
實驗?zāi)繕?biāo)是抓取一系列對深度感知極具挑戰(zhàn)的物體:不銹鋼杯、透明玻璃杯、透明收納盒和玩具車。
在20次抓取嘗試中,使用LingBot-Depth的成功率遠高于使用原始深度數(shù)據(jù)。
缺點,有時也是一種優(yōu)勢
解決物理世界的感知難題,好的硬件固然重要,但不一定非要死磕。
這或許就是LingBot-Depth給行業(yè)帶來的一種啟發(fā)。
因為在過去,當(dāng)現(xiàn)有深度相機無法滿足需求時,唯一的出路往往是斥巨資更換更昂貴、更專業(yè)的硬件。
而LingBot-Depth提供了一條軟硬協(xié)同的路徑:它可以在不更換現(xiàn)有相機硬件的前提下,通過算法大幅提升深度感知的魯棒性與完整性。
它可以作為一個即插即用的算法模塊,無縫集成到現(xiàn)有的機器人、自動駕駛汽車或AR/VR設(shè)備的感知鏈路中,以極低的成本,顯著提升其在復(fù)雜真實環(huán)境下的3D感知魯棒性。
例如,在與奧比中光等硬件適配的過程中,團隊驗證了LingBot-Depth能夠在其現(xiàn)有消費級深度相機上實現(xiàn)接近專業(yè)級傳感器的感知效果。
這無疑將大大加速具身智能在家庭服務(wù)、倉儲物流、商業(yè)零售等場景的落地進程。
更重要的是,靈波團隊秉承開放精神,已經(jīng)開源了LingBot-Depth的代碼和模型權(quán)重,并計劃開源其龐大的300萬RGB-D數(shù)據(jù)集。
這一舉動將極大地降低學(xué)術(shù)界和工業(yè)界在空間感知領(lǐng)域的研究與開發(fā)門檻,有望催生更多創(chuàng)新應(yīng)用,共同推動整個行業(yè)的向前發(fā)展。
除此之外,LingBot-Depth也是有哲學(xué)意味在身上的:
有時候,缺點本身就是一種優(yōu)勢。
你覺得呢?
本文來源:
贊
.png)
682
收藏
