TW202413237A - 商品移動裝置、商品移動裝置之控制方法及電腦程式 - Google Patents

Abstract

本發明之課題在於提供一種能夠將在固持部固持之商品有可能在貨架擱板上翻倒之姿勢原樣下，執行將商品載置於貨架擱板上之動作防患於未然之商品移動裝置等。 根據本發明之一實施形態，提供一種商品移動裝置1，其包含：臂部20，其包含固持商品之固持部10；攝像部60，其取得包含固持於固持部10之商品之至少一部分之圖像資料；及控制部150。控制部150構成為執行如下步驟：使攝像部60取得包含為了將商品載置於陳列貨架之貨架擱板之上，而固持於固持部10並藉由臂部20配置於貨架擱板之上方之商品之至少一部分之圖像資料；及基於圖像資料，判定商品是否係可載置於貨架擱板之上之姿勢。

Description

商品移動裝置、商品移動裝置之控制方法及電腦程式

本發明係關於一種商品移動裝置、商品移動裝置之控制方法及電腦程式。

在專利文獻1中，揭示一種為了業務之省力化而以無人進行商品之補充之商品補充系統。該商品補充系統具有：攝影裝置，其拍攝補充對象之商品；及多關節機器人裝置，其使商品移動。多關節機器人裝置使補充對象之商品自預先配置之規定位置拾取並向陳列貨架移動。 [先前技術文獻] [專利文獻]

[專利文獻1] 日本特開2018-110755號公報

[發明所欲解決之課題]

在如專利文獻1之系統中，一般而言，有時在系統藉由圖像辨識技術等辨識出之陳列貨架或商品之位置、與現實之陳列貨架或商品之位置之間產生誤差。作為如此之誤差之一例，在產生現實之多關節機器人裝置之固持部固持之商品之高度低於相對於陳列貨架之規定高度之誤差時，若在該狀態原樣下執行由固持部使商品移動並載置於陳列貨架上之移動目的地之位置之動作，則有時固持部固持之商品之底部與陳列貨架之緣部接觸，商品成為相對於固持部斜向傾斜之狀態。在商品以如此般斜向傾斜之狀態固持於固持部而原樣被搬送至陳列貨架之上方之後，在為了載置於陳列貨架上而固持部鬆開商品之固持時，商品在陳列貨架之上翻倒。

若商品在陳列貨架之上翻倒，則產生需要遠端操作多關節機器人裝置由固持部再次固持商品，並調整商品之姿勢。然而，於在陳列貨架設置有用於使商品朝前面挨近之傾斜之情形下，有可能商品沿著該傾斜朝陳列貨架之前面側滑落，而固持部夠不到該商品。又，因陳列貨架之上下之貨架擱板之間之間隔不太寬，故為了拾取翻倒之商品而固持部難以接近商品，或者即便能夠接近亦需要多關節機器人裝置及固持部之高度之遠端操作技術。基於如此之理由，若商品一旦在陳列貨架之上翻倒，則藉由多關節機器人裝置及固持部之遠端操作調整商品之姿勢在事實上較為困難，可能產生以店鋪工作人員之手來調整翻倒之商品之姿勢之必要。因此，在固持部固持商品並移動之期間商品之姿勢發生變化之情形下，理想的是防患在該狀態下鬆開固持而商品翻倒於未然。

本揭示之目的在於提供一種能夠防患在固持部固持之商品有可能在貨架擱板上翻倒之姿勢原樣下執行將商品載置於貨架擱板上之動作於未然之商品移動裝置等。 [解決課題之技術手段]

根據本揭示之一態樣，提供一種商品移動裝置，其係將載置於庫存貨架之商品移動至與庫存貨架不同之陳列貨架者，且包含：臂部，其包含固持商品之固持部；攝像部，其取得包含固持於固持部之商品之至少一部分之圖像資料；及控制部，其控制固持部、臂部及攝像部之動作。控制部構成為執行如下步驟：使攝像部取得包含為了將商品載置於陳列貨架之貨架擱板之上、而固持於固持部並藉由臂部配置於貨架擱板之上方之商品之至少一部分之圖像資料；及基於圖像資料，判定商品是否係可載置於貨架擱板之上之姿勢。

本揭示之其他特徵事項及優點，可根據例示性且非全面性地給出之以下之說明及附圖而理解。 [發明之效果]

根據本揭示，提供一種能夠防患在固持部固持之商品有可能在貨架擱板上翻倒之姿勢原樣下執行將商品載置於貨架擱板上之動作於未然之商品移動裝置等。

以下，參照圖式就本發明之實施形態進行說明。

＜店鋪之配置構成＞ 首先，就店鋪之配置構成進行說明。圖1係示意性地顯示店鋪內之貨架之配置及配置於店鋪內之商品移動裝置之平面圖。圖2(a)係自前面側觀察陳列貨架之圖，圖2(b)係自後面側觀察陳列貨架之圖。

如圖1所示般，店鋪內分為店內空間SH1與後庭空間SH2。店內空間SH1係顧客進行商品T之選擇及購買之空間。後庭空間SH2係存放商品T之庫存之空間。在店鋪內配置：陳列貨架410、庫存貨架420、及商品移動裝置1。

陳列貨架410如圖2(a)及(b)所示般，具有複數個貨架擱板411(亦稱為陳列貨架之段)。在貨架擱板411之上配置有複數個種類之商品T。例如，相同種類之商品T排列為2行或3行。商品T亦可僅排列1行。在各貨架擱板411之上表面，設置有供分隔各行之商品T之複數個分隔板412。在圖2中圖示相同種類之商品T排列2行之例，在本例中就商品T之每2行而設置分隔板412。分隔板412之配置並不限於此，分隔板412亦可以1行或2以上之行之間隔而配置。

陳列貨架410之前面面向店內空間SH1，顧客可自陳列貨架410之前面側拿取商品T。貨架擱板411以陳列貨架410之前面側較後面側相對變低之方式傾斜。藉此，在顧客拿取商品T時，排列於該商品T之後之其他商品T在貨架擱板411上滑動而朝前面側移動。

陳列貨架410之後面面向後庭空間SH2，店員或商品移動裝置1將商品T自陳列貨架410之後面側補充至陳列貨架410。雖然圖示省略，但亦可在陳列貨架410之前面及後面設置門。在圖1中為了圖示之簡略化而僅繪製1個陳列貨架410，但可在店鋪內配置複數個陳列貨架410。

庫存貨架420在後庭空間SH2內以面向陳列貨架410之方式配置，庫存貨架420之前面與陳列貨架410之後面相互對向。庫存貨架420與陳列貨架410同樣地，具有沿高度方向配置之複數個貨架擱板(段)。在庫存貨架420之貨架擱板，排列有應補充至陳列貨架410之商品即補充對象商品。排列補充對象商品，可為店員，亦可為商品移動裝置1。 ＜商品移動裝置1之構成＞

對於商品移動裝置1，參照圖1、圖3～圖5說明如下。圖3係示意性地顯示商品移動裝置1之構成之側視圖。圖4係顯示商品移動裝置1之臂部前端之周邊構造之立體圖。圖5係顯示商品移動裝置1之構成之方塊圖。

商品移動裝置1包含：固持部10、臂部20、接觸檢測感測器30、第1相機50R、50L、第2相機60、第3相機70、水平移動機構80、升降機構90、及控制裝置150。商品移動裝置1係在陳列貨架410與庫存貨架420之間之空間移動之機器人。商品移動裝置1以固持部10固持庫存貨架420內之商品T，其後，使固持之商品T向陳列貨架410之該商品之陳列位置(陳列該商品T之陳列道)移動。

固持部10如圖4所示般，具有用於固持對象物之一對固持構件11a、11b。一對固持構件11a、11b具有可固持瓶裝飲料即商品T之蓋構件Tb之附近、且可固持罐裝飲料即商品T之外周部之形狀。固持部10除了係由一對固持構件11a、11b構成者以外，亦可係具有用於吸附並保持對象物之吸附構造者，亦可係具有利用黏著力或磁力等來保持對象物之構造者。

臂部20具有複數個連桿構件21、22、23。複數個連桿構件21、22、23構成多關節機器人臂。多關節機器人臂作為一例，可為在沿著X軸方向、Y軸方向、及Z軸方向各者之直線方向具有自由度、且在繞X軸、繞Y軸、及繞Z軸各者之方向具有自由度之6軸之臂。多關節機器人臂除此以外，亦可具有正交座標系機器人臂、極座標系機器人臂、圓筒座標系機器人臂、標量型機器人臂等任意之機構。臂部20之一端部固定於升降機構90。在臂部20之前端部設置有固持部10。臂部20之動作係由控制裝置150控制。

臂部20藉由使各個連桿構件21、22、23移動而可使固持部10朝庫存貨架420側移動，或朝陳列貨架410側移動。臂部20之方向未被固定為特定之方向，但為了便於說明，將延伸各連桿構件21、22、23之方向稱為臂部20之延伸方向Ax(參照圖4)。臂部20使固持部10向商品T前進並進行商品T之固持。臂部20之延伸方向Ax相當於固持動作之固持部10之前進方向。

接觸檢測感測器30係在將固持部10固持之商品T載置於陳列貨架410之貨架擱板411上時，檢測固持部10固持之商品T、固持部10或臂部20與陳列貨架410之壁或支柱等障礙物接觸之感測器。接觸檢測感測器30例如可使用轉矩感測器、加速度感測器、慣性計測裝置(IMU：Inertial Measurement Unit，慣性量測單元)、馬達輸入電流感測器等。

作為轉矩感測器，例如可使用供檢測在臂部20之各關節之軸上產生之轉矩之應變儀。作為加速度感測器，可使用設置於固持部10或臂部20之靜電容型或壓電電阻型等各種類型之加速度感測器。

慣性計測裝置(IMU)係檢測三維之慣性運動(直行3軸方向之並進運動及旋轉運動)之裝置，包含供檢測並進運動之加速度感測器、及供檢測旋轉運動之角速度(陀螺儀)感測器。其中，可藉由利用陀螺儀感測器來檢測角速度，而取得對象物之角度或角度變化。例如，在作為固持部10之手腕部分之驅動傳遞機構而使用齒輪或齒輪及齒形帶之情形下，起因於齒輪彼此之遊隙或齒形帶之伸長等，固持部10之手腕部分之動作有可能產生冗餘性。因此，例如，在將固持部10固持之商品T載置於陳列貨架410之貨架擱板411上之動作中，若在使商品T接觸於貨架擱板411上之狀態下使臂部20進一步動作而對固持部10進一步施加力，則由此在固持部10之手腕部分產生些許變位，固持部10之姿勢(即角度)變化。因此，藉由利用設置於固持部10之IMU檢測在將商品T載置於貨架擱板411上之動作中可能在固持部10產生之如此之角度變化，而可檢測商品T與貨架擱板411接觸。

在為了驅動臂部20之各關節而使用伺服馬達等之情形下，在產生自維持固持姿勢之角度產生角度偏差之外力時，為了維持原來之角度而以將角度偏差設為零之方式動作。在固持部10固持之商品T、固持部10或臂部20與陳列貨架410之壁或支柱等障礙物接觸之狀態下使臂部20進一步移動時，企圖扛著該負載使伺服馬達驅動之電流輸入至伺服馬達。因此，藉由利用馬達輸入電流感測器檢測為了如此之動作而輸入伺服馬達之電流，而可檢測出固持部10固持之商品T、固持部10或臂部20與陳列貨架410之壁或支柱等障礙物接觸。馬達輸入電流感測器例如可由後述之控制部151(參照圖5)構成。

2個第1相機50R、50L分別配置於臂部20之左右兩側。安裝於臂部20之左側即第1側面23a之第1相機50L朝向沿著與臂部20之延伸方向Ax正交之方向之第1方向A1(參照圖4)。第1相機50L主要為了拍攝陳列貨架410而使用。安裝於與第1側面23a平行之面且為與1側面23a為相反側之臂部20之右側即第2側面23b之第1相機50R朝向與第1方向A1為相反方向之第2方向A2。第1相機50R主要為了拍攝庫存貨架420而使用。藉由如此般第1相機50R、50L配置為互為相反方向，可在將臂部20保持為相同之姿勢原樣下，利用第1相機50R、50L，分別同時拍攝陳列貨架410及庫存貨架420。

第1相機50R、50L之性能可相同亦可不同，以下，為了將說明簡單化，就兩相機為相同之性能之例進行說明。不過，因拍攝陳列貨架410之目的或攝影條件、與拍攝庫存貨架420之目的或攝影條件不同，故當然亦可配合各者之目的或條件而利用性能不同之相機。

第1相機50R、50L例如可為具有產生二維地排列有像素之攝像圖像(一例為RGB圖像)之攝像元件、及產生距離資料之距離檢測器件即深度感測器者。深度感測器並不限定於特定之方式，只要係可取得與對象物相隔之距離資料者即可。例如，可利用立體透鏡方式、或LiDAR(Light Detection and Ranging，光探測及測距)方式。深度感測器例如亦可為產生深度(Depth)圖像者。在本發明之其他態樣中，第1相機50R、50L之任一者或兩者例如亦可為利用超音波元件取得距離資料者。

再者，第1相機50L朝向第1方向A1，此意指第1相機50L之攝像元件及深度感測器之攝像方向係方向A1。同樣地，第1相機50R朝向第2方向A2，意指第1相機50R之攝像元件及深度感測器之攝像方向係方向A2。方向A1與方向A2未必一定為180°相反方向，只要係可拍攝商品陳列貨架410與庫存貨架420之方向即可。

第1相機50R、50L之一者或兩者可設置於固持部10。第1相機50R、50L未必一定設置於同一構件，例如，可行的是，第1相機50R安裝於連桿構件21～23中之1個構件，第1相機50L安裝於連桿構件21～23中之其他構件。惟，在第1相機50R、50L設置於同一構件之情形下，與各相機50R、50L分別設置於不同之連桿構件之情形相比，有因座標系共通化故圖像處理之運算變得簡單之優點。

第2相機60係使用於拍攝固持部10固持商品T之狀態、及固持部10固持之商品T與陳列貨架410之貨架擱板411之相對之位置關係等者。第2相機60亦與上述之第1相機50R、50L同樣地，例如可為具有產生二維地排列有像素之攝像圖像(一例為RGB圖像)之攝像元件、及產生距離資料之深度感測器者。

第2相機60作為一例設置於臂20之連桿構件21～23中之最靠近固持部10之連桿構件23之下側之與固持部10接近之位置，該攝像元件及深度感測器之攝像方向朝向連桿構件23及固持部10之正下方(圖3、4之-z方向)或下側前方(較圖3、4之-z方向略微靠+x方向側)。藉此，第2相機60可拍攝由固持部10及固持部10固持之商品T之至少一部分。

第3相機70例如係根據遠端地之操作者之操作而改變方向以拍攝規定之對象物之相機。第3相機70作為一例安裝於升降機構90之一部分。第3相機70在陳列貨架410與庫存貨架420之間之空間內，能夠伴隨著水平移動機構80及升降機構90之動作而水平移動及升降移動。又，升降機構90之安裝有第3相機70之部分可以支柱95為中心而旋轉，第3相機70構成為可伴隨著該部分之旋轉，以支柱95為中心朝左右方向旋轉移動，根據需要拍攝陳列貨架410，或拍攝庫存貨架420。

第3相機70例如可為立體透鏡方式之相機。雖未限定，但第3相機70可具有較第1相機50R、50L或第2相機60廣之視野角。

水平移動機構80具有底板81、及驅動機構(未圖示)。底板81支持升降機構90，且沿著店鋪內之鋪設在陳列貨架410與庫存貨架420之間之軌道(未圖示)而滑動移動。驅動機構(未圖示)包含馬達或輥等，基於來自控制裝置150(參照圖5)之控制信號而動作，使升降機構90朝沿著軌道之規定位置移動。

升降機構90具有支柱95、第1升降機構91、及第2升降機構92。支柱95固定於底板81上，沿鉛直方向延伸。

第1升降機構91具有驅動機構(未圖示)。驅動機構(未圖示)包含馬達或線性導引件等，基於來自控制裝置150(參照圖5)之控制信號而動作。藉由使驅動機構(未圖示)動作，而第1升降機構91沿著支柱95於鉛直方向上下移動。安裝有第3相機70之第1升降機構91之上側部分構成為以支柱95為中心朝左右方向旋轉驅動。

第2升降機構92係由第1升降機構91保持。於第2升降機構92安裝有臂部20之一端部。第2升降機構92具有驅動機構(未圖示)。驅動機構(未圖示)包含馬達或線性導引件等，基於來自控制裝置150(參照圖5)之控制信號而動作。藉由使驅動機構(未圖示)動作，而第2升降機構92亦沿鉛直方向上下移動。

在固持位於規定高度之商品T之情形下，升降機構90藉由第1升降機構91使臂部20及固持部10移動至能夠固持該商品T之高度附近，藉由第2升降機構92將臂部20及固持部10之高度進行微調整。

再者，在本實施形態中，作為升降機構而設置第1升降機構91與第2升降機構92，但在本發明之其他態樣中，亦可設為僅設置1個升降機構之構成。

＜控制裝置150之構成＞ 如圖5所示般，控制裝置150具有：控制部151、記憶部160、輸入部191、輸出部193、及通訊部195。在圖5中，控制裝置150係作為單一之要件而描繪，但控制裝置150未必一定在實體上為1個要件，亦可由在實體上分離之複數個要件構成。

輸入部191係用於受理來自操作者之輸入之裝置。輸入部191可由鍵盤、滑鼠、觸控面板等用於對電腦進行輸入之器件構成。輸入部191亦可具有麥克風等聲音輸入器件。又，輸入部191亦可具有對操作者之動作進行圖像辨識並識別之手勢輸入器件。

輸出部193係用於讓商品移動裝置1對店員等發出警報者，例如由揚聲器、顯示器、發光器件及振動器件中之1者或組合而構成。通訊部195具有自外部接收資料之功能、及向外部發送資料之功能。在商品移動裝置1係可遠端操作之構成之情形下，由通訊部195接收經由外部裝置(未圖示)之操作部之來自操作者之輸入，控制裝置150基於該輸入使商品移動裝置1進行規定之動作。商品移動裝置1較佳的是可切換自律動作模式與遠端操作模式，其切換可藉由經由外部裝置(未圖示)之操作部之來自操作者之輸入而進行。再者，外部裝置之操作部與通訊部195之通訊可為有線通訊或無線通訊之任一者。

在商品移動裝置1為可遠端操作之構成之情形下，操作部191可為藉由操作者安裝之器件。該器件包含顯示器件(未圖示)及操作器件(未圖示)。顯示器件可為具有操作者可視認之顯示器之例如頭戴式顯示器(HMD)。操作器件例如可包含可檢測操作者之身體之部位(例如手或臂)之移動之1個或複數個輸入感測器。

記憶部160包含ROM(Read Only Memory，唯讀記憶體)、RAM(Random Access Memory，隨機存取記憶體)及HDD(Hard Disk Drive，硬碟機)等暫時性或非暫時性之記憶媒體。記憶部160記憶由控制部151執行之電腦程式或後述之學習畢模型等。記憶於記憶部160之電腦程式，包含會於之後參照圖8及圖9等而敘述之實施藉由控制部151來執行之商品移動裝置1之控制方法之命令。

記憶部160具有取得資料記憶部160a、及參考資料記憶部160b。於取得資料記憶部160a，例如儲存有由各相機50R及50L、60、70拍攝到之攝像圖像資料等。於參考資料記憶部160b，儲存有商品移動裝置1之動作所需之各種資料。於該等各種資料中，例如包含與商品陳列貨架410及庫存貨架420相關之資料(各自之形狀資料、位置資料、或陳列道座標資料等)、與商品T相關之資料(形狀資料、位置資料等)。

控制部151例如由1個或2個以上之CPU(Central processing Unit，中央處理單元)構成。控制部151藉由執行記憶於記憶部160之電腦程式而作為動作控制部152、攝像控制部153、及圖像資料處理部154發揮功能。

動作控制部152產生使固持部10、臂部20、水平移動機構80及升降機構90、及控制裝置150之各部動作之控制信號。動作控制部152參考來自操作部191之輸入信號或儲存於記憶部160之各種資料而產生控制信號。控制信號之產生可利用圖像資料處理部155之處理結果而進行。動作控制部152亦經由通訊部195進行資料之收發，且經由輸出部193進行規定之輸出。

攝像控制部153控制各相機50R、50L、60、70之動作。關於各相機50R、50L、60、70之攝像時序等，例如可使用預先儲存於參考資料記憶部160b之資料來決定。

圖像資料處理部155使用藉由各相機50R、50L、60、70拍攝到之攝像圖像資料或距離資料(深度資料)來進行各種資訊處理。作為一例，圖像資料處理部155對由第1相機50R拍攝到之圖像資料進行圖像解析，進行排列於庫存貨架420之商品之識別。圖像資料處理部155具有：可否陳列判定部155a、固持對象特定部155b及商品姿勢判定部155c。

可否陳列判定部155a基於由第1相機50L拍攝到之攝像圖像資料及距離資料之至少一者，例如，判定在排列於陳列貨架410之最末尾之商品T之後方是否存在可配置商品之空間Sp(參照圖6)。圖6係藉由商品移動裝置1之第1相機50L拍攝到之陳列貨架410之圖像。在存在空間Sp之情形下，需要補充該商品T。因此，可否陳列判定部155a在存在空間Sp時，將旨在告知應將該商品T補充至該空間Sp之下之貨架擱板411之上之通知發送至動作控制部151。動作控制部151在接收到該通知時，對於該商品T進行補充動作。

固持對象特定部155b基於由第1相機50R拍攝到之攝像圖像資料及距離資料之至少一者，進行於庫存貨架420是否存在固持對象即補充對象商品之判定、補充對象商品之尺寸或形狀之特定、及補充對象商品之固持位置之決定中之至少1個處理。在為如圖1所示之具有蓋構件Tb之商品T之情形下，固持對象特定部155b將固持位置例如設定在蓋構件Tb之附近。另一方面，在商品T為不具有蓋構件之罐裝飲料等之情形下，固持對象特定部155b可將容器之側面部分設定為固持位置。

商品姿勢判定部155c對由固持部10固持之商品T朝商品陳列貨架410之貨架擱板411之商品載置位置(載置對象之陳列道)之上方移動時由第2相機60拍攝到之攝像圖像資料進行解析，特定商品T對於固持部10(特別是該固持構件11a、11b)之姿勢是否係可將商品T載置於貨架擱板411上之姿勢。

圖7係顯示使由固持部10固持之商品T自商品陳列貨架410之後面側朝貨架擱板411上移動之樣態之圖。圖7(a)～(c)顯示固持罐裝飲料之商品T之外周部之例，圖7(d)顯示固持瓶裝飲料之商品T之蓋構件之外周部之例。

如圖7(a)所示般，在商品T之底面位於較設置於下側之貨架擱板411之後面側之保護部411a之高度高之規定高度範圍之狀態下，若維持該高度且使固持部10朝圖示箭頭方向不斷移動，則商品T之底部不與保護部411a接觸地、在保持最初固持於固持部10之姿勢原樣下，向下側貨架擱板411之商品載置位置之上方搬運。相對於此，如圖7(b)所示般，於在商品T之高度位置產生誤差，商品T之底面較設置於下側之貨架擱板411之後面側之保護部411a之高度低之狀態下，若維持該狀態且使固持部10朝圖示箭頭方向不斷移動，則商品T之底部與保護部411a接觸，以與固持構件11a、11b之接觸部分為支點而旋轉，成為相對於固持部10斜向傾斜之姿勢，向下側貨架擱板411之商品載置位置之上方搬運。又，如圖7(c)所示般，於在商品T之高度位置產生誤差，商品T之上部較上側之貨架擱板411之高度高之狀態下，若維持該狀態且使固持部10朝圖示箭頭方向不斷移動，則商品T之上部與上側之貨架擱板411之緣接觸，以與固持構件11a、11b之接觸部分為支點而旋轉，成為相對於固持部10朝與圖7(b)之情形為相反之方向斜向傾斜之姿勢，向下側貨架擱板411之商品載置位置之上方搬運。在固持部10固持罐裝飲料之商品T之外周部之情形下，因固持部位與商品T之重心比較接近，以及在為罐裝飲料之情形下外周部與固持構件11a、11b之接觸面積比較大，因此產生比較大之摩擦力，故若相對於固持部10一旦成為斜向傾斜之狀態，則難以憑藉自身重力回到原來之姿勢。

另一方面，在固持部10固持瓶裝飲料之商品T之蓋構件之外周部之情形下，因固持部位比較遠離商品T之重心，以及在為瓶裝飲料之情形下蓋構件之外周部與固持構件11a、11b之接觸面積比較小，因此產生之摩擦力比較小，故即便商品T與保護部411a接觸而相對於固持部10成為斜向傾斜之狀態，但有時在超過保護部411a之後藉由商品T之自身重力以與固持構件11a、11b之接觸部位為中心而旋轉，而回到原來之姿勢 (參照圖7(d))。

圖8係顯示在藉由固持部10固持之商品T朝陳列貨架410之貨架擱板411之商品載置位置之上方移動時拍攝到之攝像圖像之一例之圖。圖8(a)顯示如圖7(a)般由固持部10固持之商品T不與貨架擱板411接觸地、或者如圖7(d)般在藉由自身重力回到原來之姿勢之狀態下，朝貨架擱板411之商品載置位置之上方移動之狀態。該情形下，在顯現於攝像圖像之商品T之下側以曲線狀之輪廓劃定之商品T之底部，在固持構件11a、11b之下方位於自固持構件11a、11b離開相對距離之位置。

相對於此，圖8(b)顯示在如圖7(b)般由固持部10固持之商品T與下側之貨架擱板411接觸而相對於固持構件11a、11b斜向傾斜之狀態下，朝貨架擱板411之商品載置位置之上方移動之狀態。該情形下，顯現於攝像圖像之商品T之底部，在固持構件11a、11b之下方相對於固持構件11a、11b位於比較附近之位置。又，圖8(c)顯示在如圖7(c)所示般由固持部10固持之商品T與上側之貨架擱板411接觸，相對於固持構件11a、11b朝與圖7(b)之情形為相反之方向斜向傾斜之狀態下，向貨架擱板411之商品載置位置之上方移動之狀態。該情形下，顯現於攝像圖像之商品T之底部，在固持構件11a、11b之下方位於更遠離固持構件11a、11b之位置。

商品姿勢判定部155c藉由任意之圖像辨識技術，例如將商品T之下側之曲線狀之輪廓之形狀・大小、或商品T之左右兩側之2條直線狀之輪廓之長度・相互之間隔・傾斜方向等作為特徵資訊而取得，基於該取得之特徵資訊，特定出由固持部10固持之商品T相對於固持部10是否為傾斜之狀態，進而以哪種程度之角度傾斜。商品姿勢判定部155c在基於如此之特定結果，由固持部10固持之商品T相對於固持部10未成為傾斜之狀態時，或即便商品T為傾斜之狀態但傾斜角度小於規定角度時，判定為商品T相對於固持部10之姿勢係可將商品T載置於貨架擱板411上之姿勢。另一方面，在商品T相對於固持部10成為傾斜之狀態時，判定為商品T相對於固持部10之姿勢係不可將商品T載置於貨架擱板411上之姿勢。

商品姿勢判定部155c參考商品T之下側之曲線狀之輪廓之形狀・大小、商品T之左右兩側之2條直線狀之輪廓之長度・相互之間隔・傾斜之至少1者，判定商品T之姿勢。又，在藉由第2相機60亦取得距離(深度)資料之情形下，商品姿勢判定部155c可將該深度資料使用於商品T相對於固持部10之姿勢之判定。

在商品姿勢判定部155c判定為商品T相對於固持部10之姿勢非為可將商品T載置於貨架擱板411上之姿勢時，動作控制部152經由通訊部195對外部裝置(未圖示)發送告知商品T之姿勢異常之資訊。如此之資訊例如可設為文字訊息或警告警報等之形態。在外部裝置(未圖示)接收到如此之資訊時，操作者操作外部裝置將商品移動裝置1切換為遠端操作模式。經由外部裝置(未圖示)之操作部輸入之來自操作者之輸入由通訊部195接收，控制裝置150基於該輸入使商品移動裝置1動作。外部裝置之操作者對商品移動裝置1進行遠端操作，以將固持部10固持之商品T之姿勢修正為可載置於貨架擱板411上之姿勢。於在商品T之姿勢修正完成之後，操作者操作外部裝置將商品移動裝置1切換為原來之自律動作模式時，商品移動裝置1再次啟動將商品T載置於貨架擱板411上之動作。

(商品移動裝置1之商品補充動作) 圖9係顯示商品移動裝置1之商品T之補充動作之流程圖。

首先，在步驟S11中，藉由設置於商品移動裝置1之臂部20之第1相機50L拍攝陳列貨架410之後面。商品移動裝置1以可由第1相機50L拍攝陳列貨架410之各段之方式使臂部20、水平移動機構80及升降機構90移動。接著，商品移動裝置1使第1相機50L動作，取得陳列貨架410之後面之圖像，且取得與排列於陳列貨架410上之商品T相隔之距離資料。

接著，在步驟S12中，進行可否陳列之判定。「可否陳列之判定」係如下步驟：商品移動裝置1之圖像資料處理部155之可否陳列判定部155a對拍攝到之陳列貨架之後面之圖像進行解析，判定可將哪一商品T陳列於哪一貨架擱板411之上(換言之，哪一商品T係需要補充之商品)。商品移動裝置1取得如圖6之陳列貨架410之後面之圖像。

商品移動裝置1之圖像資料處理部155因可取得與商品T相隔之距離資料(圖6中可視化地顯示之深度資料Dpt)，故對於如陳列道「7」、「8」之商品T般陳列數減少者，可辨識別到在商品T之後方存在空間Sp。商品移動裝置1之可否陳列判定部155a基於與商品T相隔之距離資料而判定商品T之空間Sp之有無，判定在陳列道「7」、「8」是否可進一步陳列商品T。在步驟S12之工序中，判定需要在陳列貨架410之哪一貨架擱板411之上進行哪一商品T之補充。

再者，判定是否係需要補充之商品之方法並不限定於上述之方法，可利用各種方法。例如，亦可判定在規定之三維空間內商品T以百分之多少左右之占有率配置，在該值為規定之基準值以下時，判定為需要進行商品T之補充。

接著，在步驟S13中，拍攝庫存貨架420。商品移動裝置1使臂部20、水平移動機構80、升降機構90、及第1相機50R動作，自前面側拍攝庫存貨架420。商品移動裝置1作為一例而逐次一段地拍攝庫存貨架420，取得顯示商品T之庫存狀況之攝像圖像。庫存貨架420之攝影無需在陳列貨架410之攝影之後進行，亦可在陳列貨架410之攝影之前拍攝庫存貨架420。

接著，在步驟S14中，商品移動裝置1之圖像資料處理部155對在步驟S13中取得之庫存貨架420之攝像圖像進行分析，進行排列於庫存貨架420之商品之識別。又，圖像資料處理部155之固持對象特定部155b進行商品之固持位置之特定。藉由目前為止之工序，由商品移動裝置1取得表示在陳列貨架410之哪一貨架擱板411之哪一位置需要補充哪一商品T之資訊，及表示與該商品T對應之補充對象商品位於庫存貨架420之哪一位置，該補充對象商品之固持位置係何處之資訊。

接著，在步驟S15中，商品移動裝置1基於取得之上述資訊進行商品補充動作(拾取與放置動作)。具體而言，商品移動裝置1之控制部151(參照圖5)之動作控制部152使臂部20、水平移動機構80及升降機構90動作，使固持部10向庫存貨架420之規定之補充對象商品移動。然後，以固持部10固持補充對象商品之預先特定之固持位置，舉起補充對象商品。其後，動作控制部152使臂部20、水平移動機構80及升降機構90動作，使固持之商品T移動至陳列貨架410之規定之載置位置，並自固持部10釋放商品T，藉此將商品T載置於規定位置。之後，商品移動裝置1重複同樣之拾取與放置動作，完成商品T之補充。

上述一系列工序係用於商品移動裝置1將商品T自庫存貨架420向陳列貨架410自動補充之基本之動作。在如此之一系列工序之中之步驟S15中之商品補充動作(拾取與放置動作)中，在固持部10固持之商品T成為斜向傾斜之狀態之情形下，若在該狀態原樣下進行將商品T載置於商品陳列貨架410之貨架擱板411之上之動作，則有商品T翻倒而成為其他商品T之陳列或補充之妨礙之虞。本實施形態提供如下機構：在商品補充動作(拾取與放置動作)之商品載置動作之前，判定固持部10固持之商品T是否成為可載置於貨架擱板411之上之姿勢。

＜第1動作例＞ 圖10係用於說明本實施形態之商品移動裝置1之第1動作例之流程圖。

首先，在步驟S21中，商品移動裝置1之控制部151(參照圖5)之動作控制部152使固持部10、臂部20、水平移動機構80及升降機構90動作，以固持部10固持庫存貨架420之補充對象之商品T，使商品T移動至陳列貨架410之載置位置之上方。該步驟S21相當於在上述之步驟S15中自固持部10釋放商品T之前之動作。

接著，在步驟S22中，商品移動裝置1之控制部151(參照圖5)之攝像控制部153進行第2相機60之拍攝。藉此，藉由第2相機6取得包含固持部10、及由固持部10固持之商品T之下側及左右兩側之至少一部分之攝像圖像。在第2相機60具備深度感測器之情形下，亦一併取得距離資料。所取得之該等攝像圖像及距離資料記憶於記憶部160之取得資料記憶部160a。在藉由第2相機60取得之攝像圖像中，如圖8所示般，包含由固持部10固持之商品T之下側部分、及左右兩側之至少一部分。

接著，在步驟S23中，商品移動裝置1之圖像資料處理部155之商品姿勢判定部155c對於在步驟S22中由第2相機60拍攝到之攝像圖像資料進行解析，判定商品T相對於固持部10(特別是該固持構件11a、11b)之姿勢是否係可將商品T載置於貨架擱板411上之姿勢。

如上述般，商品姿勢判定部155c藉由任意之圖像辨識技術，取得與商品T相對於固持部10(特別是該固持構件11a、11b)之姿勢相關之特徵資訊，並基於該取得之特徵資訊，特定出由固持部10固持之商品T相對於固持部10是否成為傾斜之狀態，進而以哪種程度之角度傾斜。作為與固持於固持部10之商品T之姿勢相關之特徵資訊，例如，可使用商品T之下側之曲線狀之輪廓之形狀・大小、或商品T之左右兩側之2條直線狀之輪廓之長度・相互之間隔・傾斜方向等。作為特徵資訊，可單獨使用該等資訊，亦可適當組合使用。

所攝像之商品T之下側之曲線狀輪廓在固持於固持部10之商品T相對於固持部10未傾斜之狀態下，例如如圖8(a)所示般，具有曲率比較大之形狀，且大小為比較小。另一方面，在固持於固持部10之商品T相對於固持部10朝靠近之方向傾斜之狀態下，所拍攝之商品T之下側之曲線狀輪廓，例如如圖8(b)所示般，具有曲率比較小之形狀，且大小變得比較大。又，在固持於固持部10之商品T為朝遠離固持部10之方向傾斜之狀態下，所攝像之商品T之下側之曲線狀輪廓，例如如圖8(c)所示般，曲率較圖8(a)之情形大，且大小變小。

又，所拍攝之商品T之左右兩側之2條直線狀之輪廓，在固持於固持部10之商品T相對於固持部10未傾斜之狀態下，例如如圖8(a)所示般，比較長，且以隨著往向商品T之下側而彼此之間隔變窄之方式傾斜。另一方面，在固持於固持部10之商品T為相對於固持部10朝靠近之方向傾斜之狀態下，所拍攝之商品T之左右兩側之2條直線狀之輪廓，例如如圖8(b)所示般比較短，且以隨著往向商品T之下側而彼此之間隔變寬之方式傾斜。又，在固持於固持部10之商品T朝遠離固持部10之方向情形之狀態下，所拍攝之商品T之左右兩側之2條直線狀之輪廓，例如如圖8(c)所示般，較圖8(a)之情形短，且以隨著往向商品T之下側而彼此之間隔更縮窄之方式傾斜。

商品姿勢判定部155c在使用商品T之下側之曲線狀之輪廓之形狀・大小作為特徵資訊之情形下，在滿足1)曲線狀輪廓之曲率不在規定之曲率範圍內、或2)曲線狀輪廓之大小(例如，其橫向方向之長度)不在規定之大小之範圍內、或者該等之兩者之情形下，判定為商品T相對於固持部10之姿勢非為可將商品T載置於貨架擱板411上之姿勢。又，商品姿勢判定部155c在使用商品T之左右兩側之2條直線狀之輪廓之長度・彼此之間隔・傾斜方向等作為特徵資訊之情形下，在滿足 1)商品T之左右兩側之2條直線狀之輪廓不在規定之長度範圍內、或2)該等直線狀之輪廓所成之角度不在規定之角度範圍內、或者該等之兩者之情形下，判定為商品T相對於固持部10之姿勢非為可將商品T載置於貨架擱板411上之姿勢。在將商品T之下側之曲線狀之輪廓與左右兩側之2條直線狀之輪廓之兩者用作特徵資訊之情形下，可適當組合上述之各條件之一部分或全部來使用。

在步驟S23中，在判定為商品T相對於固持部10之姿勢非為可將商品T載置於貨架擱板411上之姿勢(N)時，處理前進至步驟S24，商品移動裝置1之動作控制部152經由通訊部195對外部裝置(未圖示)發送告知商品T之姿勢異常之資訊，操作者操作外部裝置而遠端操作商品移動裝置1，將固持部10固持之商品T之姿勢修正為可載置於貨架擱板411上之姿勢。告知商品T之姿勢異常之資訊，例如可設為如「商品之姿勢有異常產生」之文字訊息、或使外部裝置產生警告警報之信號等之形態。

在外部裝置(未圖示)接收到如此之姿勢異常資訊時，操作者操作外部裝置將商品移動裝置1切換為遠端操作模式，對商品移動裝置1之固持部10及臂部20等進行遠端操作，以將固持部10固持之商品T之姿勢修正為可載置於貨架擱板411上之姿勢。操作者一面觀察由商品移動裝置1之相機50～70拍攝並自商品移動裝置1發送至外部裝置(未圖示)、且顯示於外部裝置之顯示裝置之該等圖像一面遠端操作固持部10及臂部20等，例如，在使固持部10固持之商品T之底面與保護部411a(參照圖7)接觸之狀態下使固持部10以向近前側(圖7之圖示左側)拉回之方式移動，使商品T相對於固持部10之姿勢回到原來之姿勢。經由外部裝置(未圖示)之操作部輸入之來自操作者之遠端操作輸入由通訊部195接收，控制裝置150基於該輸入使商品移動裝置1動作。

在藉由來自外部裝置之遠端操作而完成商品T之姿勢修正之後，在操作者操作外部裝置而將商品移動裝置1切換為原來之自律動作模式時，商品移動裝置1之動作控制部152使固持部10及臂部20等動作，執行參照圖9而說明之處理之步驟S15中之商品T之載置動作(步驟S25)。

另一方面，在步驟S23中，在判定為商品T相對於固持部10之姿勢係可將商品T載置於貨架擱板411上之姿勢(Y)時，處理前進至步驟S25，商品移動裝置1之動作控制部152使固持部10及臂部20等動作，執行參照圖9而說明之處理之步驟S15中之商品T之載置動作。該情形下，藉由商品移動裝置1之一系列自律動作而將商品T載置於貨架擱板411上。

如此般，根據本動作例，在執行將由固持部10固持之商品T載置於貨架擱板411上之商品載置位置之動作之前，判定商品T是否係可載置於貨架擱板411上之姿勢，故可防患在商品T非為可載置於貨架擱板411上之姿勢之情形下以該姿勢原樣執行向貨架擱板411上之載置動作而商品T在貨架擱板411上翻倒此一事態於未然。若商品T在貨架擱板411上翻倒，則難以對商品移動裝置1進行遠端操作以使商品T回到貨架擱板411上之正確之載置位置。相對於此，藉由在商品T非為可載置於貨架擱板411上之姿勢之情形下，檢測出該情況，在固持部10固持商品T之狀態原樣下對商品移動裝置1之固持部10及臂部20進行遠端操作，而可返回該商品T相對於固持部10之姿勢，故可在不要求商品貨架410所在店鋪之工作人員之支援下，繼續商品移動裝置1之商品陳列作業。

＜第2動作例＞ 在上述之第1動作例中，就基於以第2相機60拍攝由固持部10固持之商品T配置於貨架擱板411上之商品載置位置之上方時之商品T而得之圖像，來判定商品T相對於固持部10之姿勢是否係可將商品T載置於貨架擱板411上之姿勢之例進行了說明。相對於此，第2動作例提供如下機構：基於以相機60拍攝由固持部10拾取商品T時之商品T而得之圖像、與以相機60拍攝由固持部10固持之商品T配置於貨架擱板411上之商品載置位置之上方時之商品T而得之圖像之差分，來判定商品T相對於固持部10之姿勢是否係可將商品T載置於貨架擱板411上之姿勢。

在沿著圖10所示之流程圖來說明本動作例時，在本動作例中，作為圖10所示之流程圖之步驟S21之前之動作，在固持部10自庫存貨架420拾取到商品T時，執行以第2相機60拍攝由固持部10固持之商品T之動作。然後，在圖10所示之流程圖之步驟S23中，商品姿勢判定部155c基於以相機60拍攝由固持部10拾取商品T時之商品T而得之圖像、與以相機60拍攝由固持部10固持之商品T配置於貨架擱板411上之商品載置位置之上方時之商品T而得之圖像之差分，來判定商品T相對於固持部10之姿勢是否係可將商品T載置於貨架擱板411上之姿勢。

圖11係顯示以商品移動裝置1之第2相機60拍攝到之固持於固持部10之商品T之姿勢之比較概念圖，實線表示由固持部10拾取商品T時之相對於固持部10無傾斜之姿勢之商品T，虛線表示相對於固持部10朝靠近之方向傾斜之姿勢之商品T，一點鏈線表示朝遠離固持部10之方向傾斜之姿勢之商品T。

在配置於貨架擱板上之商品載置位置之上方時之由固持部10固持之商品T之姿勢，從由固持部10拾取商品T時之商品T之姿勢發生變化時，如圖11所示般在顯現於圖像中之兩者之商品T之輪廓上產生差分。本動作例之商品姿勢判定部155c使用任意之圖像處理技術對商品T相對於固持部10之拾取時之姿勢、與配置於商品載置位置之上方時之姿勢中之上述之特徵資訊進行比較，在特徵資訊之變化量或者變化比例超過規定之基準時，判定為商品T相對於固持部10之姿勢非為可將商品T載置於貨架擱板411上之姿勢。作為與固持於固持部10之商品T之姿勢相關之特徵資訊，如上述般，可單獨或組合使用商品T之下側之曲線狀之輪廓之形狀・大小、或商品T之左右兩側之2條直線狀之輪廓之長度・彼此之間隔・傾斜方向等。

作為一例，在將商品T之下側之曲線狀之輪廓之形狀・大小用作特徵資訊之情形下，商品姿勢判定部155c在商品T之下側之曲線狀之輪廓之曲率之變化量或變化比例、與該輪廓之橫向方向之尺寸之變化量或變化比例之任一者或兩者超過規定之基準時，判定為商品T相對於固持部10之姿勢非為可將商品T載置於貨架擱板411上之姿勢。

本動作例中之其他處理與參照圖10所示之流程圖在第1動作例中所說明之處理相同。

＜第3動作例＞ 在上述之第1及第2動作例中，對於如下之例進行了說明：商品移動裝置1之商品姿勢判定部155c基於由第2相機60拍攝到之圖像資料，使用任意之圖像辨識技術，判定商品T相對於固持部10之姿勢是否係可將商品T載置於貨架擱板411上之姿勢。相對於此，第3動作例提供如下機構：商品姿勢判定部155c使用藉由機器學習進行學習而產生之學習畢模型，判定固持於固持部10之商品T是否係可載置於貨架擱板411上之姿勢。

使用於判定固持於固持部10之商品T是否係可載置於貨架擱板411上之姿勢之學習畢模型，作為一例，藉由以固持部10為了將商品T載置於貨架擱板411上之載置位置而藉由固持部10及臂部20在商品T配置於該載置位置之上方之狀態下如上述般藉由第2相機60拍攝之、如圖8所示般包含固持部10及固持於固持部10之商品T之至少一部分之各種圖像資料及/或深度資料、及和與各資料建立關聯之是否可載置之姿勢相關之注釋資訊為示教資料，以包含固持部10及固持於固持部10之商品T之至少一部分之圖像資料及/或深度資料為學習資料，利用以電腦構成之任意之學習機器進行機器學習而產生。

如此之學習畢模型例如可藉由以在各層中包含神經元之複數個層構成之神經網路執行機器學習而產生。作為如此之神經網路，例如可使用如包含20層以上之卷積神經網路(CNN：Convolutional Neural Network)之深度神經網路。使用如此之深度神經網路之機器學習被稱為深度學習。或者，如上述之學習畢模型亦可使用將主要基於自注意力機制之深度神經網路之一種即Transformer(變換器)應用於電腦視覺之領域之「Visual Transformer(視覺變換器)」而產生。如此般產生之學習畢模型記憶於商品移動裝置1之記憶部160，作為商品移動裝置1之商品姿勢判定部155c之功能模組而安裝。

在本例中，將上述之學習畢模型作為功能模組而安裝之商品移動裝置1之商品姿勢判定部155c，於在第1動作例中說明之步驟S23之處理中，對於由第2相機60拍攝到之圖像資料，使用上述學習畢模型，對於固持於固持部10並載置於貨架擱板411上之載置位置之前配置於載置位置之上方之商品T，判定商品T相對於固持部10之姿勢是否係可將商品T載置於貨架擱板411上之姿勢。在本例中使用學習畢模型進行商品T相對於固持部10之姿勢之判定，故與如第1及第2動作例般執行使用圖像辨識技術之處理、根據圖像資料等進行上述判定之情形相比，可降低計算成本且加快處理速度。

本動作例中之其他處理亦與參照圖10所示之流程圖在第1動作例中所說明之處理相同。

＜第4動作例＞ 在上述之各動作例中，對於進行如下動作之例進行了說明：在將由商品移動裝置1之固持部10固持之商品T移動至載置位置之上方(圖10之步驟S21)之後，藉由第2相機60取得包含固持部10、及由固持部10固持之商品T之下側及左右兩側之至少一部分之攝像圖像(步驟S22)，對該攝像圖像資料進行解析，判定商品T相對於固持部10之姿勢是否係可將商品T載置於貨架擱板411上之姿勢(步驟S23)。相對於此，第4動作例提供如下機構：在使由商品移動裝置1之固持部10固持之商品T移動至載置位置之上方之期間，亦能夠取得商品T之圖像並判定其姿勢，且在將商品T設為可載置於貨架擱板411上之姿勢之狀態下使商品T移動至載置位置之上方。

參照圖10所示之流程圖及圖12就本動作例進行說明。圖12係用於說明商品移動裝置1之第4動作例之概略圖。

本動作例之商品移動裝置1之控制部151(參照圖5)在使由商品移動裝置1之固持部10固持之商品T移動至載置位置之上方之(圖10之步驟S21)期間，亦執行藉由第2相機60進行之取得包含固持部10、及由固持部10固持之商品T之下側及左右兩側之至少一部分之攝像圖像之動作(步驟S22)，及對該攝像圖像資料進行解析，判定商品T相對於固持部10之姿勢是否係可將商品T載置於貨架擱板411上之姿勢之動作(步驟S23)。

因此，在本動作例中，如圖12(a)所示般，在使由固持部10固持之商品T移動至貨架擱板411之載置位置之上方之期間，在商品T與保護部411a接觸而成為相對於固持部10斜向傾斜之狀態之情形下，在該時點下，判定商品T相對於固持部10之姿勢是否係可載置於貨架擱板411上之姿勢(相對於固持部10，商品T是否傾斜)。然後，在判定為商品T之姿勢非為可載置於貨架擱板411上之姿勢(相對於固持部10，商品T傾斜)時，控制部151使固持商品T之狀態之固持部10朝上方移動，直至檢測及判定出避免商品T對於保護部411a之接觸，藉此商品T藉由自身重力以與固持構件11a、11b之接觸部位為中心進行旋轉而回到原來之直立姿勢為止(參照圖12(b))。

然後，控制部151將固持部10於貨架擱板411維持為圖12(b)所示之高度之狀態下，使固持部10移動至貨架擱板411之載置位置之上方(參照圖12(c))，進而，在藉由圖12(b)所示之動作使固持部10朝下方移動與使固持部10朝上方移動相應之量之後(參照圖12(d))，使固持部10及臂部20等動作，執行參照圖9而說明之處理之步驟S15中之商品T之載置動作。

本動作例中之其他處理亦與參照圖10所示之流程圖在第1動作例中所說明之處理相同。

如此般，根據本動作例，特別是在由固持部10固持作為商品T之瓶裝飲料之蓋構件之外周部並移動之情形下，即便在商品T相對於固持部10之姿勢發生變化之情形下，仍可利用商品T藉由自身重力以與固持構件11a、11b之接觸部位為中心進行旋轉而回到原來之直立姿勢之動作，而恢復商品T之姿勢。因此，在不將商品移動裝置1切換為遠端操作模式下藉由一系列自律動作，能夠在將商品T設為可載置於貨架擱板411上之姿勢之狀態下，將商品T載置於貨架擱板411上之載置位置。

以上，經由發明之實施形態對本發明進行了說明，但上述實施形態並非係限定申請專利範圍之發明者。又，組合在本發明之實施形態之中所說明之特徵的形態亦可包含於本發明之技術性範圍內。進而，可對上述實施形態施加多種變更或改良，對於本領域技術人員而言其理應屬明確。

1:商品移動裝置 10:固持部 11a,11b:固持構件 20:臂部 21,22,23:連桿構件 23a:第1側面 23b:第2側面 30:接觸檢測感測器 50R,50L:第1相機(相機) 60:第2相機(相機) 70:第3相機(相機) 80:水平移動機構 81:底板 90:升降機構 91:第1升降機構 92:第2升降機構 95:支柱 150:控制裝置 151:控制部 152:動作控制部 153:攝像控制部 155:圖像資料處理部 155a:可否陳列判定部 155b:固持對象特定部 155c:商品姿勢判定部 160:記憶部 160a:取得資料記憶部 160b:參考資料記憶部 191:輸入部 193:輸出部 195:通訊部 410:陳列貨架 411:貨架擱板 411a:保護部 412:分隔板 420:庫存貨架 A1:第1方向(方向) A2:第2方向(方向) Ax:臂部之延伸方向 Dpt:深度資料 S11~S15,S21~S25:步驟 SH1:店內空間 SH2:後庭空間 Sp:空間 T:商品 Tb:蓋構件 X,Y,Z:軸

圖1係示意性地顯示店鋪內之貨架之配置及配置於店鋪內之商品移動裝置之平面圖。 圖2(a)係自前面側觀察陳列貨架之圖，圖2(b)係自後面側觀察陳列貨架之圖。 圖3係示意性地顯示商品移動裝置之構成之側視圖。 圖4係顯示商品移動裝置之臂部前端之周邊構造之立體圖。 圖5係顯示商品移動裝置之構成之方塊圖。 圖6係藉由商品移動裝置之第1相機(左側)拍攝到之陳列貨架之圖像。 圖7係使由固持部固持之各種商品向陳列貨架之貨架擱板之商品載置位置之上方移動之樣態之圖，圖7(a)顯示使罐裝飲料之商品移動之例，圖7(b)顯示使罐裝飲料之商品移動時商品與貨架擱板之保護部接觸而成為傾斜之姿勢之例，圖7(c)顯示使罐裝飲料之商品移動時商品與上側之貨架擱板接觸而成為傾斜之姿勢之例，圖7(d)顯示使瓶裝飲料之商品移動時在商品與貨架擱板之保護部接觸而成為傾斜之姿勢之後藉由自身重力回到原來之姿勢之例。 圖8(a)～(c)係顯示在藉由固持部固持之商品朝陳列貨架之貨架擱板之商品載置位置之上方移動時拍攝到之攝像圖像之一例之圖。 圖9係顯示商品移動裝置之商品之補充動作之流程圖。 圖10係用於說明商品移動裝置之第1動作例之流程圖。 圖11係顯示由商品移動裝置之第2相機拍攝到之固持於固持部之商品之姿勢之比較概念圖，實線表示相對於固持部無傾斜之姿勢之商品，虛線表示相對於固持部朝靠近之方向傾斜之姿勢之商品，一點鏈線表示朝遠離固持部之方向傾斜之姿勢之商品。 圖12(a)～(d)係用於說明商品移動裝置之第4動作例之概略圖。

1:商品移動裝置

10:固持部

20:臂部

30:接觸檢測感測器

50R,50L:第1相機(相機)

60:第2相機(相機)

70:第3相機(相機)

80:水平移動機構

90:升降機構

150:控制裝置

151:控制部

152:動作控制部

153:攝像控制部

155:圖像資料處理部

155a:可否陳列判定部

155b:固持對象特定部

155c:商品姿勢判定部

160:記憶部

160a:取得資料記憶部

160b:參考資料記憶部

191:輸入部

193:輸出部

195:通訊部

Claims (7)

1. 一種商品移動裝置，其係將載置於庫存貨架之商品移動至與前述庫存貨架不同之陳列貨架者，且包含： 臂部，其包含固持前述商品之固持部； 攝像部，其取得包含前述固持部及固持於前述固持部之前述商品之至少一部分之圖像資料；及 控制部，其控制前述固持部、前述臂部及前述攝像部之動作；且 前述控制部係構成為執行如下步驟： 使前述攝像部取得包含為了將前述商品載置於前述陳列貨架之貨架擱板之上，而固持於前述固持部並藉由前述臂部配置於前述貨架擱板之上方之前述商品之至少一部分之圖像資料；及 基於前述圖像資料，判定前述商品是否係可載置於前述貨架擱板之上之姿勢。
2. 如請求項1之商品移動裝置，其中判定前述商品是否係可載置於前述貨架擱板之上之姿勢，包含特定出前述商品相對於前述固持部之姿勢。
3. 如請求項2之商品移動裝置，其中前述控制部構成為基於根據前述商品之輪廓而取得之特徵資訊，特定出前述商品相對於前述固持部之姿勢。
4. 如請求項2之商品移動裝置，其中前述攝像部係構成為在前述固持部固持載置於前述庫存貨架之前述商品時，亦取得包含前述商品之至少一部分之圖像資料， 前述控制部係構成為基於在前述固持部固持載置於前述庫存貨架之前述商品時取得之前述圖像資料中之前述商品相對於前述固持部之姿勢、與包含固持於前述固持部並藉由前述臂部配置於前述貨架擱板之上方之前述商品之至少一部分之前述圖像資料中之前述商品相對於前述固持部之姿勢之差分，來判定前述商品是否係可載置於前述貨架擱板之上之姿勢。
5. 如請求項1之商品移動裝置，其中前述控制部係構成為使用學習畢模型，來判定前述商品是否係可載置於前述貨架擱板之上之姿勢，該學習畢模型係以各種前述圖像資料、及與該各種圖像資料分別建立關聯之前述商品是否係可載置於前述貨架擱板之上之姿勢相關之注釋資訊為示教資料，以與該示教資料之前述各種圖像資料不同之各種前述圖像之資料為學習資料，預先進行機器學習而產生。
6. 一種商品移動裝置之控制方法，其係將載置於庫存貨架之商品移動至與前述庫存貨架不同之陳列貨架者， 前述商品移動裝置包含： 臂部，其包含固持前述商品之固持部； 攝像部，其取得包含固持於前述固持部之前述商品之至少一部分之圖像資料；及 控制部，其控制前述固持部、前述臂部及前述攝像部之動作；且 該商品移動裝置之控制方法，係包含藉由前述控制部而執行之如下步驟： 使前述攝像部取得包含為了將前述商品載置於前述陳列貨架之貨架擱板之上，而固持於前述固持部並藉由前述臂部配置於前述貨架擱板之上方之前述商品之至少一部分之圖像資料；及 基於前述圖像資料，判定前述商品是否係可載置於前述貨架擱板之上之姿勢。
7. 一種電腦程式，其係可藉由處理器執行之電腦程式，包含實施如請求項6之方法之命令。