機(jī)器人廣泛應(yīng)用于危險、骯臟和昏暗的環(huán)境中，在這些環(huán)境中人類極難或不可能存在，因此這些機(jī)器人需要完全任務(wù)自主。與機(jī)器人遙操作相關(guān)的挑戰(zhàn)之一是由機(jī)器人的機(jī)載傳感器引起的人類操作員的感知限制。例如，車載攝像頭只能為操作員提供第一人稱視角 (FPV)。FPV不包含任何深度信息，感知受相機(jī)視野的限制。如圖1a所示，操作員無法判斷機(jī)械臂固定的輻射傳感器是否已到達(dá)隔板。為了解決這個問題，機(jī)器人上安裝了多個攝像頭，以提供不同功能單元的多個視覺反饋。然而，在不同視點(diǎn)之間不斷切換會干擾操作員，并且環(huán)境中仍然存在多個固定攝像機(jī)視野之外的盲點(diǎn)。

　　地面機(jī)器人在國土安全應(yīng)用、災(zāi)難響應(yīng)和檢查任務(wù)中的常見做法是使用輔助機(jī)器人，由它們提供主機(jī)器人正在執(zhí)行的任務(wù)的視圖。在福島第一核電站，遙控機(jī)器人從響應(yīng)開始就成對使用，以減少完成任務(wù)所需的時間。圖1b展示了兩個 iRobot Packbot 在工廠設(shè)施內(nèi)進(jìn)行輻射調(diào)查和讀取刻度盤，其中第二個Packbot 提供第一個機(jī)器人的攝像頭視圖，以便更快地操縱門把手、閥門和傳感器。然而，這種方法的問題在于，執(zhí)行一項任務(wù)需要兩個機(jī)器人和 2-4 個操作員。兩組機(jī)器人操作員發(fā)現(xiàn)很難與另一個機(jī)器人協(xié)調(diào)以獲取并保持所需的視野，但單個操作員在嘗試操作兩個機(jī)器人時會感到困難。附加的團(tuán)隊合作需求和溝通不暢可能會導(dǎo)致問題：在 2014 年，一個價值超過 50 萬美元的 iRobot Warrior 因無法看到它即將執(zhí)行無法成功完成的動作而受損。

　　                                                                                   (a)車載攝像機(jī)FPV (b)兩個打包機(jī)打開一扇門

　　                                                                                              圖1 當(dāng)前機(jī)器人遙操作的問題

　　可以通過使用系在主機(jī)器人上的無人駕駛飛行器 (UAV) 來代替第二視覺輔助機(jī)器人和額外的操作員。視覺輔助過程是使用基于系繩的定位控制器和視覺伺服算法來實現(xiàn)的，以保持以恒定的6自由度姿態(tài)觀察操作員的興趣點(diǎn) (POI)。

　　異構(gòu)機(jī)器人團(tuán)隊由 UGV、iRobot Packbot 和系留無人機(jī)Fotokite Pro組成(圖2左)。圖2右側(cè)顯示了一個概念驗證場景，其中Fotokite 正在協(xié)助 Packbot 拾取輻射傳感器并將其放入白色垂直管道中。

　　                                                                                                                        圖2 異構(gòu)機(jī)器人團(tuán)隊

　　主機(jī)器人

　　iRobot Packbot 用作遠(yuǎn)程操作任務(wù)的主要代理。Packbot 已被用于不同的場景，包括伊拉克和阿富汗戰(zhàn)爭，2001年 9/11 后搜索世貿(mào)中心的廢墟，以及 2011 年東北地震和海嘯后的福島第一核電站。它至少有三個機(jī)載攝像頭，但是，仍然不足以提供良好的態(tài)勢感知(圖1a)。在受限且雜亂的搜救任務(wù)中，Packbot 總是成對部署(圖1b) 并需要 2-4個運(yùn)算符。

　　視覺助手

　　Fotokite 用作視覺助手。無人機(jī)的系繩角度傳感器和地面站的系繩卷軸編碼器使其能夠相對于其主地面機(jī)器人進(jìn)行定位和定位，而無需GPS信號和視覺里程計。Fotokite 的控制基于系繩角度、長度和慣性測量。飛機(jī)位置控制使用系繩長度 ,海拔 (系繩的垂直角度)和方位角 (系繩的水平角度)。飛機(jī)的位置可以用極坐標(biāo)系(圖 3)表示，并且很容易轉(zhuǎn)換到歐幾里得空間：

　                                                                                                                 　圖3 飛機(jī)位置坐標(biāo)

　　設(shè)置

　　Fotokite的地面站機(jī)械安裝在Packbot 上?，F(xiàn)階段項目尚未實現(xiàn)自動起降。由于視覺助手只向主機(jī)器人的操作員提供反饋，因此兩個代理之間不需要通信。服務(wù)器作為地面站和機(jī)外視覺輔助控制單元之間的中繼而構(gòu)建，它們通過2.4GHz 無線電相互通信。服務(wù)器從Fotokite地面站的串行端口接收狀態(tài)更新，并將它們無線傳送到控制單元。飛機(jī)運(yùn)動命令在控制單元計算，通過無線電傳輸?shù)椒?wù)器，然后發(fā)送到地面站。Fotokite 相機(jī)的視頻由板載媒體編碼器和流媒體無線傳輸。

　　圖4顯示了視覺伺服界面的示例時間步長及其在世界坐標(biāo)系中的實際姿態(tài)。在左側(cè)，綠色小框表示所需的標(biāo)簽姿態(tài)，彩色框(藍(lán)色、紅色和綠色線)是當(dāng)前檢測到的標(biāo)簽姿態(tài)(綠色大框僅用于可視化具有深度信息的 6-DOF 標(biāo)簽跟蹤)。當(dāng)前檢測到的位姿框應(yīng)該會收斂到所需的位姿框，并有一些由飛機(jī)振動引起的干擾。兩個方塊共心是不夠的，兩個方塊的四條線也應(yīng)該相互重疊，說明不僅POI位置，深度和方向都是伺服的。

　　圖4 視覺伺服(俯仰)的一個示例時間步長

　　使用系留無人機(jī)，地面機(jī)器人的操作員可以得到第三人稱視角的視覺輔助。視覺伺服方法能夠成功地將視覺助手驅(qū)動到移動的POI，同時保持操作員觀察所需的姿勢。這種方法為未來的遙操作視覺輔助研究奠定了基礎(chǔ)，并有可能提高遙操作性能。