Facebook 于今日宣布開源旗下 Droidlet 機器人開發(fā)平臺，特點是能夠利用自然語言處理（NLP）和計算機視覺（CV）技術來感知周圍世界。其宣稱能夠簡化機器學習算法在機器人項目中的集成，并促進快速的軟件原型設計。盡管當前機器人已能夠通過編程來執(zhí)行舞蹈等特定應用，但還是缺乏可在更深層次上處理信息的能力。

　　當然，Droidlet 并不是所有問題的萬能解決方案，而是一種測試不同 NLP 和 CV 處理模型的方法。

　　其允許開發(fā)者構建能夠在現(xiàn)實世界中、或《我的世界》和 Facebook 的 Habitat 等模擬環(huán)境里完成相關任務的系統(tǒng)。開發(fā)者可按需更換組件，來支持可在不同機器人上使用的相同系統(tǒng)。

　　此外 Droidlet 平臺提供了一個儀表板，方便開發(fā)者添加調試與可視化小部件和相關工具，以及一個用于糾錯和注釋的界面。

　　除了用于測試針對機器人設置進行微調的視覺模型的環(huán)境之外，Droidlet 還附帶了用于將機器學習模型連接到機器人的封包器。

　　Droidlet 有一系列組件構成，其中某些為啟發(fā)式的、另一些則是學習向的，開發(fā)者可在方便時調用靜態(tài)數(shù)據(jù)、然后適當調用動態(tài)數(shù)據(jù)開展訓練。其設計由以下幾個模塊到模塊的接口組成：

　　● 一個存儲系統(tǒng)，用于跨各種模塊的信息存儲。

　　● 一組能夠處理來自外界信息、并將之存儲與內存中的感知模塊。

　　● 可讓機器人適應環(huán)境變化的一組較低級別的任務支持，比如‘向前移動三英尺’和‘將物品放在給定坐標處’。

　　● 一個控制器，可決定執(zhí)行哪些基于存儲系統(tǒng)狀態(tài)的任務。

　　Facebook 指出，這些模塊中的每一個，都可進一步分解為可訓練或啟發(fā)式的組件，且相關模塊與儀表板支持在 Droidlet 之外的生態(tài)系統(tǒng)中使用。

　　對于研究人員和愛好者，Droidlet 還提供了對“內置電池”系統(tǒng)的支持，可通過預訓練的物體檢測和姿態(tài)預估模型來感知環(huán)境，并將觀察結果存儲在機器人的內存中。

　　通過這種表示，系統(tǒng)可響應諸如“前往紅椅子處”之類的語音命令，利用預訓練的神經(jīng)語義解析器，將自然語言轉換為可由機器人執(zhí)行的程序。