TWI855413B

TWI855413B - 機器人系統、用以控制機器人系統之方法、及用以控制機器人系統之電腦程式產品

Info

Publication number: TWI855413B
Application number: TW111141377A
Authority: TW
Inventors: 周文孫; 羅伯特霍姆伯格; 唐寧塔爾伯特莫里斯; 哈利哲蘇; 托比倫納德貝克; 阿爾貝托萊瓦阿爾瓦約; 薩爾瓦多佩雷斯; 薩米爾梅農
Original assignee: 美商靈巧公司
Priority date: 2021-11-01
Filing date: 2022-10-31
Publication date: 2024-09-11
Also published as: TW202333924A; EP4426524A1; TW202446571A; WO2023076725A1; US20230150137A1; EP4426524A4; JP2024539840A

Abstract

本發明揭示一種用於控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之機器人系統。在各種實施例中，接收影像資料且將影像資料用於控制一第一機械臂及一第二機械臂以將物件裝載至該卡車或其他集裝箱子或自該卡車或其他集裝箱子卸載，包含藉由一起使用該第一機械臂及該第二機械臂以協同抓取及沿一對應軌跡移動該等物件之一或多者之各者而裝載或卸載該等物件之一或多者。

Description

機器人系統、用以控制機器人系統之方法、及用以控制機器人系統之電腦程式產品

本申請案係關於控制多台機器人協同卸載一卡車或其他集裝箱子。

已提供機器人以執行多種任務，諸如操縱物件。例如，具有一末端執行器之一機械臂可用於拾取及放置物品。此等機器人之商業應用之實例包含分類、套組、碼垛、卸垛、卡車或集裝箱子裝載及卸載等。

在一些上下文中，待處置之物件在大小、重量、封裝及其他屬性方面具有相當變化。通常，一機械臂經設計以處置一最大尺寸、重量等之物件。在一些上下文中，習知方法可需要能夠處置可需要處置之最大、最重及/或其他最困難物件之一機械臂。

在一些上下文中(諸如裝載或卸載一卡車或其他集裝箱子)，工作空間約束機器人移動。例如，系統必須限制機械臂之移動範圍以避免機器人之任何部分與卡車或集裝箱子之內壁或工作空間中之其他障礙物碰撞。另外，為在一卡車或其他集裝箱子內部工作，一機器人必須能夠在約束內部空間內安裝及移動以限制部署以在此一空間中工作之一個別機器人之大小及提升能力。

本發明可以多種方式實施，包含作為一程序；一設備；一系統；一物質之組成；體現在一電腦可讀儲存媒體上之一電腦程式產品；及/或一處理器，諸如經構形以執行儲存在耦合至處理器之一記憶體上及/或由該記憶體提供之指令之一處理器。在本說明書中，此等實施方案或本發明可採取之任何其他形式可指稱技術。一般而言，在本發明之範疇內可更改所揭示之程序之步驟之順序。除非另有說明，否則描述為經構形以執行一任務之一組件(諸如一處理器或一記憶體)可實施為經臨時構形以在一給定時間內執行任務之一一般組件或經製造以執行任務之一特定組件。如本文所使用，術語「處理器」係指經構形以處理資料(諸如電腦程式指令)之一或多個裝置、電路及/或處理核心。

下文提供本發明之一或多個實施例之一詳細描述連同繪示本發明之原理之附圖。連同此等實施例一起描述本發明，但本發明不受限於任何實施例。本發明之範疇僅由申請專利範圍界定且本發明涵蓋多種替代方案、修改及等效物。在以下描述中闡述多種具體細節以提供對本發明之一徹底理解。此等細節係為了實例之目的而提供且可根據申請專利範圍實踐本發明而不需要一些或所有此等具體細節。為了清楚起見，尚未詳細描述在與本發明相關之技術領域中已知之技術材料使得未不必要地致使本發明不清楚。

本發明揭示一種用於控制及使用多個機器人(例如兩個或兩個以上機械臂)協同卸載或裝載一卡車或其他集裝箱子之機器人系統。在各種實施例中，安裝於一框架或其他結構上之機械臂定位於一卡車或其他集裝箱子中。為卸載，機器人自卡車拾取物品且將物品放置於一機器人控制之輸送機或其他運輸工具上。對於較重或笨重物品，兩個或兩個以上機器人協同使用以拾取物品且將其放置於輸送機或其他目的地上。當卡車或其他集裝箱子之一區域之卸載完成時(例如機器人可觸及之物品已全部卸載但剩餘更多物品)，安裝於其上之框架及機械臂及輸送機進一步延伸(機器人地)至卡車或其他集裝箱子中，且移動包括機械臂可觸及之下一組物品之物品。為裝載，框架/機器人及輸送機延伸至卡車或其他集裝箱子中、延伸至卡車/集裝箱子之一遠端/後端附近之一位置且機器人協同工作以在物品經由輸送機到達時將物品裝載至卡車/集裝箱子中。

在各種實施例中，如本文所揭示之一系統包括具有一或若干輸送機之兩個機器人，其中在輸送機之間放置[拾取]封裝。

當將機器人端點/負載移動至與壁相對之機器人之側上之一位置時，安裝於一壁附近之大多數通用機械臂容易使其臂之一部分(例如機器人彎管)與壁碰撞。當使用最常見類型之工業機器人時，問題尤其嚴重，其中具有前三個接頭之運動學處於一翻滾-俯仰-偏擺(roll-pitch-yaw)構形。當使用此等臂之兩者時，問題更加嚴重使得其等與一中間輸送機並排放置且因此比一單一機器人/輸送機系統更靠近卡車之壁。以下描述與如在各種實施例中實施之作為此系統之部分之機器人位置及任務相匹配。

在各種實施例中，各機器人基座安裝於與卡車或其他集裝箱子之附近壁成一定角度之一安裝表面上。在各種實施例中，安裝表面與水平面成10°至20°之一角度大幅減少機器人彎管與卡車壁之間的潛在碰撞。此大幅增加在機器人前面拾取封裝及在卡車之中線附近之一或若干輸送機上放置箱子之可用工作空間。在各種實施例中，各機器人之工作空間之此放置大幅增加兩個機器人之可用(非壁碰撞)接頭工作空間以如上文所描述般協同拾取封裝。

在各種實施例中，機器人移動或被移動至集裝箱子/卡車中，當機器人卸載封裝且清理空間時，其等移動或被進一步移動至卡車中。在一些實施例中，其等附接至連同機器人一起移動之一傳送帶，且機器人將所拾取之封裝放置在傳送帶上以將其自卡車移除。替代地，機器人之間可存在一中央走道，一系列機器人車輛可停放於該中央走道中以接收放置於其上之封裝以自卡車取出及/或一機器人控制之輸送機可定位於其中及受控制。

一視覺系統識別場景中之可拾取封裝，視覺系統將封裝提供至機器人。接著，機器人優先拾取封裝，因此其等不會太靠近彼此以防止機器人之間的碰撞。運動計劃允許機器人計劃避免碰撞機器人之路徑。在一些實施例中，一分層計劃者/調度器使得各機器人能夠在知道其他機器人計畫做什麼之情況下計劃其運動，且可避免及/或識別潛在碰撞以觸發由一或兩個機器人重新計劃。

在僅放置於一條輸出皮帶上之情況中，機器人交替放置以防止碰撞。在其中各機器人具有其自身之輸出皮帶之情況中，允許其等以其自身之速度操作且不需要同步其等之放置運動。

在一些實施例中，對於堆疊於卡車/集裝箱子之頂部之物件，機器人可自側拾取物件。較低物件通常自頂部拾取。大型或不規則物件由兩個機器人協同拾取。

在卡車或集裝箱子裝載之情況中，在各種實施例中，最初機器人移動或被完全移動至集裝箱子/卡車中。當機器人裝載封裝且增加負載時，其等移動或被移動至卡車外部更遠。在各種實施例中，機器人可附接至及/或以其他方式結合連同機器人一起移動且機器人自其拾取封裝以裝載至卡車中之一機器人控制之傳送帶工作。封裝可自一輸送機或自卡車/集裝箱子延伸至一卸貨平台或卡車外部之其他區域之其他輸送結構饋送至位於機器人之間的輸送機。例如，封裝可由人類工人或其他機器人饋送至輸入輸送結構中。

如可當卸載具有包裝於其中之多種物品之一卡車時發生，自一無序混亂/堆之封裝中拾取可引起其他封裝移動/翻轉/掉落。在一些實施例中，一視覺系統用於識別新構形且在進行下一拾取之前瞄準下一封裝。

在一些實施例中，為接近以抓取夠不著之一封裝(諸如封裝之一堆疊之頂部之封裝)，系統可識別、計劃及拾取不在頂部之封裝以使一較高、夠不著之封裝移動(例如歸因於重力)至一較低、可拾取位置。

100:系統及環境

102:第一機械臂

104:吸入型末端執行器

106:第二機械臂

108:吸入型末端執行器

110:大箱子

112:控制電腦

114:感測器

202:機械臂

204:吸入型末端執行器

206:機械臂

208:吸入型末端執行器

210:大箱子

302:機器人控制系統

304:機器人協同促進模組

306:機器人特定控制器/機器人1控制器

308:機器人特定控制器/機器人2控制器

310:電腦視覺子系統

400:狀態圖

402:狀態

404:接收需要幫助以執行一任務之一指示

406:狀態

408:「取消幫助」轉變

410:轉變

412:「給予幫助」轉變

414:「開始協同」狀態

416:轉變

418:「做領導者」狀態

420:轉變

422:做跟隨者

424:轉變

426:轉變

500:程序

502:接收以「領導者」之角色開始一協同任務(使用一或多個其他機器人)之一指示

504:判定抓取物件之一位置且計劃一軌跡以將其末端執行器安全地移動至抓取物件之位置中

506:沿該軌跡將其末端執行器移動至該抓取位置

508:判定(獨立於任何其他機器人)將物件移動至一相關聯之目的地之一軌跡

510:自(若干)「跟隨者」機器人接收機器人實施程序500以將協同(若干)跟隨者機器人準備開始任務之協同執行之一指示

512:將其末端執行器(及(若干)領導者及跟隨者之接頭抓取中之物件)沿領導者判定之軌跡移動至目之地。

514:在將物件放置於目的地之後，領導者機器人即釋放其抓取且告知(若干)跟隨機器人任務已完成

520:程序

522:接收開始與處於「跟隨者」角色之一或多個其他機器人協同執行一任務之一指示

524:判定一抓取點-例如，與「領導者」已指示其將抓取物件之側相對之一側上之抓取點-且計劃一軌跡以移動至適當位置以在該點抓取物件

526:將其末端執行器移動至經判定之抓取位置且(例如)回應於接收領導者已完成其抓取之一指示而抓取物件

528:接收領導者之末端執行器位置及定向資訊，且跟隨者使用此資訊連同關於物件之資訊(例如使領導者之末端執行器與跟隨者之末端執行器分離之維度中之物件之大小)且計算一變換

530:告知領導者跟隨者「準備好」(例如跟隨者已抓取物件，計算變換，且準備好維持其末端執行器相對於(例如相反)領導者之末端執行器之位置

532:當領導者機器人開始沿由領導者獨立判定之軌跡移動時，跟隨者使用其計算之變換且當領導者之末端執行器透過工作空間移動時連續接收其位置及定向資訊

534:接收(例如自領導者)協同任務「完成」之一指示

600:系統及環境

602:集裝箱子

604:機器人卡車裝載/卸載系統

606:框架

608:底盤

610:第一機器人

612:第二機器人

614:3D攝影機

620:機器人控制之輸送機

622:輸送機

624:箱子

626:箱子

702:箱子

704:箱子

706:箱子

以下詳細描述及附圖中揭示本發明之各種實施例。

圖1係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一方塊圖。

圖2A至圖2C繪示在如本文所揭示之一機器人系統之一實施例中執行之一協同拾取及放置任務之一實例。

圖3係繪示一機器人控制系統之一實施例之一方塊圖。

圖4係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一狀態圖。

圖5A係繪示在如本文所揭示之一機器人系統之一實施例中作為一「領導者」機器人協同執行一任務的一程序之一實施例之一流程圖。

圖5B係繪示在如本文所揭示之一機器人系統之一實施例中作為一「跟隨者」機器人協同執行一任務的一程序之一實施例之一流程圖。

圖6A係繪示控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例之一圖式。

圖6B係繪示控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例之一圖式。

圖6C係繪示控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例之一圖式。

圖7A係繪示在控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例中獨立工作之機器人之一實例之一圖式。

圖7B係繪示在控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例中協同工作之機器人之一實例之一圖式。

其他申請案之交叉參考

本申請案主張2021年11月1日申請之名稱為「CONTROLLING MULTIPLE ROBOTS TO COOPERATIVELY UNLOAD A TRUCK OR OTHER CONTAINER」之美國臨時專利申請案第63/274,464號之優先權，該案為了所有目的以引用的方式併入本文中。

圖1係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一方塊圖。在圖中所展示之實例中，系統及環境100包含配備一吸入型末端執行器104之一第一機械臂102及配備一吸入型末端執行器108之一第二機械臂106。在圖中所展示之狀態中，機械臂102及機械臂106經定位以相對於一大箱子110協同執行一拾取及放置任務。一控制電腦112經構形以與工作空間中之機械臂102、機械臂106及一或多個攝影機或其他感測器114之一或多者無線通信。自攝影機114接收之影像資料(例如)可由控制電腦112使用以產生工作空間之一三維視圖且在適當時將命令及資訊發送至機械臂102及機械臂106以促進協同拾取及放置任務。

圖2A至圖2C繪示在如本文所揭示之一機器人系統之一實施例中執行之一協同拾取及放置任務之一實例。在圖中所展示實例中，在圖2A中，具有吸入型末端執行器204之機械臂202及具有吸入型末端執行器208之機械臂206經定位以開始協同執行相對於大箱子210之一拾取及放置任務，類似於圖1中所展示之開始狀態。在各種實施例中，如本文所揭示，在一協同拾取及放置中，機械臂202可為「領導者」且機械臂206可為「跟隨者」。可藉由任何適合方法選擇「領導者」，諸如藉由將「領導者」角色指派至起始協同任務之機器人、藉由將角色隨機指派至參與機器人之一或另一者、藉由一「選舉」或其他選擇方法。

為起始操作，在各種實施例中，作為「領導者」，機械臂202將其末端執行器204移動至圖中所展示位置且接著(例如)藉由將末端執行器204移動至與箱子210之側接觸或幾乎接觸之一位置中且施加吸力來抓取箱子210。可將一信號發送至另一機器人(及/或控制另一機器人之一程序)以指示領導者已完成其抓取。跟隨者(例如本實例中之機械臂206)接著將(例如)在與領導者(即，機械臂202)已抓取箱子之側相對之一側抓取箱子210。跟隨者將基於領導者之末端執行器204之位置及定向及箱子210之相關尺寸記錄一變換。例如，視覺系統及/或其他感測器可用於量測尺寸，或辨識箱子210(例如具體而言及/或按類型)且使用物品及/或類型資訊來判定尺寸(例如，藉由查找)。

如圖2B中所展示，一旦兩個機器人(202、206)已抓取箱子210。領導者(在此實例中，機械臂202)獨立於跟隨者機械臂206計算且沿由機械臂202(及/或與之相關聯之一控制程序)判定之一軌跡移動箱子。在各種實施例中，跟隨者機器人(在此實例中，機械臂206)接收(例如週期性地、連續地等)領導者機械臂202之末端執行器204之位置及定向資訊。跟隨者機械臂206(及/或與其相關聯之一控制程序)使用領導者機器人(202、204)之位置及定向資訊及先前判定及記錄之變換來計算跟隨者之末端執行器208之一新目標位置及定向且視需要計算且將扭矩施加於包括機械臂206之馬達以最小化跟隨者之末端執行器208之當前位置及定向與(最近更新)目標之間的誤差(差異)。

一旦物件(箱子210)已放置於目的地位置中，如(例如)圖2C中所展示，領導者機器人(機械臂202)釋放其抓取且告知跟隨者拾取及放置任務已完成。作為回應，跟隨者(機械臂206)釋放其抓取且兩個機器人(202、206)自由執行其他工作，諸如(返回)獨立地拾取及放置較小/較輕物件及/或協同執行另一較大或較重物件之下一拾取及放置任務。

圖3係繪示一機器人控制系統之一實施例之一方塊圖。在各種實施例中，圖3之機器人控制系統302包含或包含於圖1之控制電腦112中。在各種實施例中，包括圖3之機器人控制系統302之一或多個模組或子系統可跨多個計算節點分佈，諸如包括圖1之控制電腦112、機械臂102及/或機械臂106之電腦及/或處理器。

在圖中所展示之實例中，機器人控制系統302包含一分層計劃者、調度器及/或包括經構形以促進由兩個或兩個以上機器人協同執行任務之一機器人協同促進模組304(如本文所揭示)及機器人特定控制器306及308之控制模組。例如，機器人1控制器306可與圖1之機械臂102及/或圖2A至圖2C之機械臂202相關聯，而機器人2控制器308可與圖2之機械臂106及/或圖2A至圖2C之機械臂206相關聯。

在各種實施例中，分別與機器人1控制器306及機器人2控制器308關聯之各自機器人可獨立操作(例如)以拾取及放置機器人能夠單獨處置之物件。在各種實施例中，使用兩個或兩個以上機器人之協同任務可藉由機器人1控制器306與機器人2控制器308之間發送之通信之一或多者來起始及/或執行；(一方面)機器人協同促進模組304與(另一方面)各自機器人1控制器306及機器人2控制器308之間的雙邊通信；及/或所有三個(或三個以上)實體之間的通信。

在圖中所展示之實例中，機器人控制系統302進一步包含一電腦視覺子系統310，經構形以自一或多個3D攝影機及/或其他感測器(諸如圖1之攝影機114)接收影像及深度資料，且使用所接收之資料產生及/或更新工作空間之一三維視圖。電腦視覺子系統310之輸出可提供至機器人協同促進模組304、機器人1控制器306及機器人2控制器308之一或多者以使其等能夠起始及協同執行一任務以拾取及放置一物品。例如，影像資料可用於判定箱子或其他物件對於一單一機器人太大及/或太重而無法拾取及放置。工作空間及其內之物件之三維視圖亦可用於(例如)判定各機器人之各自抓取策略及/或位置、判定將各機器人之末端執行器移動至其對應拾取位置之無碰撞軌跡且判定透過其將物件協同移動至其待放置之目的地位置之一無碰撞軌跡。

圖4係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一狀態圖。在各種實施例中，圖4之狀態圖400可由經構形以使用兩個或兩個以上機器人協同執行一操作之一機器人來實施及/或相對於該機器人實施。在一些實施例中，圖4之狀態圖400可由圖1之控制電腦112及/或圖3之機器人協同促進模組304、機器人1控制器306及機器人2控制器308之一或多者實施。

在圖中所展示實例中，在狀態402中，一機器人獨立工作以執行任務。例如，機器人可獨立拾取及放置物品(諸如)以在一套組操作中填充一箱子或其他容器、在一分類操作中將物品放置於一傳送帶或其他運輸工具上，在一托板上堆疊物品等。在接收需要幫助以執行一任務之一指示(404)之後(諸如已感知且需要拾取及放置之一物品太大而無法抓取且與一個機器人一起移動之一指示)，機器人及/或控制器即轉變至其中起始協同執行任務之一狀態406。例如，可將一通信發送至另一機器人(例如自圖3之機器人1控制器306至機器人2控制器308)或發送至一更高層級之計劃器/調度器(例如圖3之機器協同促進模組304)，或更高層級計劃器/調度器可認識到協同執行任務之需要且可起始至狀態406之轉變。

在圖中所展示實例中，機器人及/或控制器可經由一「取消幫助」轉變408轉變回狀態402中之獨立工作。例如，機器人/控制器及/或一更高層級之計劃器/調度器可判定任務已由一或多個其他機器人執行及/或指派至一或多個其他機器人。

在一些實施例中，在「啟動協同」狀態406中，起始協同執行任務之機器人/控制器與一助手機器人直接或間接通信，例如藉由請求幫助。可指派另一機器人來幫助及/或可同意幫助。機器人可被指派及/或同意在一未來時間或在一未來條件(諸如完成助手機器人已開始之一任務及/或具有更高優先權之一任務)發生之後即幫助。例如，自大型或重型物件周圍清除其他物件以促進協同任務之一任務可具有一更高優先權且可因此首先完成。一旦助手機器人準備好執行協同任務，助手機器人即直接或間接地(例如經由一更高層級之計劃器/調度器，諸如圖3之機器人協同促進模組304)告知任務起始者助手機器人已準備號以提示至「開始協同」狀態412之一轉變410。助手可經由圖中所展示之實例中之「給予幫助」轉變414直接自狀態402中之獨立工作轉變至「開始協同」狀態412。

一旦所有參與機器人在「開始協同」狀態412準備好，即判定一「領導者」(若需要)且領導者轉變(416)至「做領導者」狀態418而跟隨者轉變(420)至「做跟隨者」狀態422。如在圖2A至圖2C中所繪示之實例中，在「做領導者」狀態418及「做跟隨者」狀態422中，領導者及(若干)跟隨者如本文所揭示般協同以協同執行任務(諸如)以拾取及放置一大型或重型物件。一旦任務已完成，領導者及(若干)跟隨者即轉變(424、426)回「獨立工作」狀態402且恢復獨立工作。

圖5A係繪示在如本文所揭示之一機器人系統之一實施例中作為一「領導者」機器人協同執行一任務的一程序之一實施例之一流程圖。在各種實施例中，圖5A之程序500可由與作為「領導者」參與由兩個或兩個億是機器人協同執行一任務之一機器人相關聯之一機器人控制器實施，如本文所揭示。

在圖中所展示實例中，在502處，接收以「領導者」之角色開始一協同任務(使用一或多個其他機器人)之一指示。例如，可接收協同執行一拾取及放置任務之一指示。在504處，領導者判定抓取物件之一位置且計劃一軌跡以將其末端執行器安全地移動至抓取物件之位置中且在506處，領導者沿該軌跡將其末端執行器移動至該抓取位置。在508處，領導者判定(獨立於任何其他機器人)將物件移動至一相關聯之目的地之一軌跡。例如，機器人之一模型及其運動學及影像及/或關於工作空間之其他資訊(例如構形資料、CAD檔案等)、物件之一或多個屬性(例如尺寸、剛度等)及影像/感測器資料可用於計劃軌跡。在510處，自(若干)「跟隨者」機器人接收機器人實施程序500以將協同(若干)跟隨者機器人準備開始任務之協同執行之一指示。作為回應，在512處，「領導者」機器人將其末端執行器(及領導者及跟隨者之關節抓取中之物件)沿領導者判定之軌跡移動至目的地。在514處，在將物件放置於目的地之後，領導者機器人即釋放其抓取且告知(若干)跟隨機器人任務已完成。在各種實施例中，領導者接著恢復獨立操作。

圖5B係繪示在如本文所揭示之一機器人系統之一實施例中作為一「跟隨者」機器人協同執行一任務的一程序之一實施例之一流程圖。在各種實施例中，圖5B之程序520可由與作為「跟隨者」參與由兩個或兩個以上機器人協同執行一任務之一機器人相關聯之一機器人控制器實施，如本文所揭示。

在圖中所展示實例中，在522處，接收開始與處於「跟隨者」角色之一或多個其他機器人協同執行一任務之一指示，如本文所揭示。在524處，跟隨者判定一抓取點-例如，與「領導者」已指示其將抓取物件之側相對之一側上之抓取點-且計劃一軌跡以移動至適當位置以在該點抓取物件。在526處，跟隨者將其末端執行器移動至經判定之抓取位置且(例如)回應於接收領導者已完成其抓取之一指示而抓取物件。在528處，接收領導者之末端執行器位置及定向資訊，且跟隨者使用此資訊連同關於物件之資訊(例如使領導者之末端執行器與跟隨者之末端執行器分離之維度中之物件之大小)且計算一變換。在各種實施例中，變換包括一矩陣或可應用於領導者之末端執行器(通常以領導者之參考框架表達)之其他數學構造以為跟隨者之末端執行器提供當末端執行器及夾持於其等之間的物件透過工作空間移動至物件待放置之目的地時將維持跟隨者之末端執行器相對於領導者之末端執行器之相對位置及定向之一對應位置及定向。在530處，跟隨者機器人告知領導者跟隨者「準備好」(例如跟隨者已抓取物件，計算變換，且準備好維持其末端執行器相對於(例如相反)領導者之末端執行器之位置。

在532處，當領導者機器人開始沿由領導者獨立判定之軌跡移動時，跟隨者使用其計算之變換且當領導者之末端執行器透過工作空間移動時連續接收其位置及定向資訊。例如，對於領導者之末端執行器之所接收之位置及/或定向之至少一子集中之各者，跟隨者計算其自身之末端執行器之一新目標位置及/或定向且將如判定為最小化其末端執行器之當前位置及/或定向與當前目標之間的誤差(例如差異)所需之扭矩施加於其馬達。

在534處，跟隨者接收(例如自領導者)協同任務「完成」之一指示，跟隨者回應於該指示釋放其抓取且程序520結束。

圖6A係繪示控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例之一圖式。在圖中所展示之實例中，系統及環境600包含內部堆疊諸多箱子之一卡車或其他集裝箱子602。儘管如圖6A中所展示之箱子大小均勻且其尺寸規則，但在各種實施例中，酬載可包含變化大小、重量、剛度、封裝類型及其他屬性之物件。儘管圖6A中所展示之箱子整齊地堆疊，但在各種實施例中，酬載可包含一堆無組織物品或相對有組織及不太有組織之物品集合之一混合。

圖6A在底部包含一機器人卡車裝載/卸載系統604之一後視圖(左下)及側視圖(右下)。在圖中所展示實例中，機器人卡車裝載/卸載系統604包含安置於一可移動及/或行動底盤608上之一框架606。在一些實施例中，底盤608使機器人卡車裝載及卸載系統604能夠(諸如)藉由由人類或機器人工人推動至適當位置而手動移動至適當位置。在一些實施例中，底盤608係自推進且可在機器人控制下定位(例如前進至一卡車或其他集裝箱子中或自一卡車或其他集裝箱子後退)。例如，一旦手動定位於一卡車或集裝箱子之最深部分(用於裝載)或在後出入開口(用於卸載)，底盤608可在機器人控制下推進以視需要前進以繼續卸載或返回一新位置以繼續裝載。

參考圖6A，在圖中所展示實例中，一第一機器人610及第二機器人612定位於由框架606界定之一孔徑(開口)之相對側上。在各種實施例中，機器人610、612經控制以協同裝載/卸載一卡車或其他集裝箱子，如本文所揭示。安裝於框架606之頂部橫樑上之一3D攝影機614提供可由一電腦視覺系統(諸如圖3之電腦視覺子系統310)使用之影像及深度資訊以提供其中機器人卡車裝載/卸載系統604當前正協同使用機器人610、612來裝載或卸載卡車之內部工作空間之一三維視圖。

圖6B係繪示控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例之一圖式。在圖中所展示之實例及狀態中，圖6A之機器人卡車裝載/卸載系統604已定位於一滿載卡車602之後開口中。例如，卡車602可已到達且返回一卸貨平台或海灣，諸如一倉庫或分佈中心。一機器人控制之輸送機620經定位以將自卡車602卸載且由機器人卡車裝載/卸載系統604放置於輸送機620上之箱子饋送至一下游位置。在一些實施例中，輸送機620包括與機器人卡車裝載/卸載系統604分離且移動至機器人610、612之間的一位置中(例如在機器人卡車裝載/卸載系統604已移動至適當位置之後)之一組件及/或系統。在其他實施例中，輸送機620包括機器人卡車裝載/卸載系統604之一整合部分且當底盤608移動以定位機器人卡車裝載/卸載系統604(例如，如圖中所展示)時保持在機器人610、612之間的適當位置中。

在圖6B中所展示之實例及狀態中，輸送機620將箱子饋送至將箱子(例如箱子624、626)攜帶至一進一步下游位置之一進一步輸送機622上。在進一步下游位置處，其他工人(例如人類、其他機器人)可相對於自卡車602卸載之箱子執行進一步任務，諸如將箱子拆包、進一步將箱子移動至儲存或暫存位置、發送箱子以運輸至其他目的地等。

圖6C係繪示控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例之一圖式。在圖6C中，卡車602之輪廓以一虛線展示且機器人卡車裝載/卸載系統604展示於卡車602內深處之一位置中以繼續一卸載操作。如圖中所展示，變化大小之箱子仍堆疊於卡車602內。箱子624及626已由機器人610、612自卡車內拾取且放置於輸送機620上，在此實例中，其將箱子自卡車602攜帶出去且將箱子沈積於輸送機622上。

在各種實施例中，當機器人卡車裝載/卸載系統604繼續卸載卡車602時，一旦範圍內之箱子已卸載，若進一步箱子保持卸載，則機器人卡車裝載/卸載系統604(例如)在機器人控制及自推進下進一步前進至卡車602中以將機器人610、612放置於適當位置以到達下一層或其他範圍或箱子或其他物件之集合。

在各種實施例中，如本文所揭示之一機器人卡車裝載/卸載系統(諸如機器人卡車裝載/卸載系統604)經構形以使用兩個或兩個以上機器人協同執行連同一卡車(或其他集裝箱子)裝載/卸載操作之一任務。例如，機器人610、612可獨立工作以裝載或卸載可由一單一機器人安全處置之物件但可用於協同執行一任務以裝載或卸載一大型、笨重及/或重型箱子或其他物件。

圖7A係繪示在控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例中獨立工作之機器人之一實例之一圖式。在圖中所展示之實例中，機器人610、612用於以一獨立操作模式(例如，如圖4之狀態402中)獨立裝載/卸載物件，諸如箱子702、704。在各種實施例中，當在「獨立」工作模式中操作時，機器人610、612獨立工作但以一協同方式工作。例如，在各種實施例中，機器人610、612交替拾取及放置物品以減少碰撞或必須等待以避免碰撞之風險。當一個機器人(例如610)將一物品放置於輸送機620上時，另一機器人(例如612)可正在伸手抓取待由該機器人抓取之下一物品。當後一機器人準備好放置時，前一機器人已移開輸送機之放置區域。在一些實施例中，各機器人610、612在計劃其自身之軌跡時考量其他機器人之計劃軌跡。例如，各機器人可計劃避免與另一機器人計畫橫穿之一軌跡相交之一軌跡。在一些實施例中，若偵測到碰撞之一風險，則一或兩個機器人可在恢復操作之前進入一短等待週期，一單獨判定之隨機長度之各者。

圖7B係繪示在控制多台機器人協同裝載/卸載一卡車或其他集裝箱子之一系統之一實施例中協同工作之機器人之一實例之一圖式。在圖中所展示之實例中，機器人610、612用於協同地裝載/卸載一大箱子706。在圖中所展示之實例及狀態中，機器人610、612已在相對側上抓取箱子706。上文所揭示之技術由機器人卡車裝載/卸載系統604、機器人610及機器人612之一或多者使用以移動箱子706來執行所需任務，例如將箱子706堆疊於一或多個其他箱子上以裝載卡車602或將箱子706放置於輸送機620上(為清楚起見，圖7B中未展示)以卸載。例如，機器人610可作為「領導者」操作以實施圖5A之程序500，而機器人612可充當「跟隨者」以實施圖5B之程序520，或反之亦然。

在各種實施例中，本文所揭示之技術可用於控制多個機器人協同裝載/卸載一卡車或其他集裝箱子。

儘管已為了清楚理解之目的而詳細描述前述實施例，但本發明不受限於所提供之細節。存在實施本發明之諸多替代方式。所揭示之實施例係繪示性而非限制性。