特許 7579529 ロボットシステムの制御装置及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-30

(45)【発行日】2024-11-08

(54)【発明の名称】ロボットシステムの制御装置及び制御方法

(51)【国際特許分類】

   B65G 1/137 20060101AFI20241031BHJP

   B25J 13/00 20060101ALI20241031BHJP

【ＦＩ】

B65G1/137 Z

B25J13/00 Z

B65G1/137 G

【請求項の数】 18

(21)【出願番号】P 2020016803

(22)【出願日】2020-02-04

(62)【分割の表示】P 2019208587の分割

【原出願日】2019-11-19

(65)【公開番号】P2020196623

(43)【公開日】2020-12-10

【審査請求日】2022-11-14

(31)【優先権主張番号】16/428,809

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/428,714

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/428,843

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/428,645

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/428,870

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515182347

【氏名又は名称】株式会社Ｍｕｊｉｎ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100134371

【弁理士】

【氏名又は名称】中塚 隆志

(72)【発明者】

【氏名】荒瀬 勇

(72)【発明者】

【氏名】天道 悟之

(72)【発明者】

【氏名】デアンコウ，ロセン

【審査官】板澤 敏明

(56)【参考文献】

【文献】特開２０１８－０５２６９１（ＪＰ，Ａ）

【文献】特開２００４－３０７１１１（ＪＰ，Ａ）

【文献】特開昭６２－２５１８１１（ＪＰ，Ａ）

【文献】特開２００２－１５４６１６（ＪＰ，Ａ）

【文献】特開２００２－１５４６２０（ＪＰ，Ａ）

【文献】国際公開第２０１７／０１８１１３（ＷＯ，Ａ１）

【文献】特表２０１９－５３１９０８（ＪＰ，Ａ）

【文献】特表２０１８－５２５３０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６５Ｇ １／１３７

Ｂ６５Ｇ ５７／０３

Ｂ６５Ｇ ５９／００

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

操作対象を操作する操作ロボットの制御装置であって、
パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第１データを取得し、かつ、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以後に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第２データを取得するデータ取得部と、
前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うための制御シークエンスを作成又は取得し、並びに、前記制御シークエンスに基づいて、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うためのタスクを実行することの前記操作ロボットへの指令を作成する、ロボット制御部と、
を備え、
前記ロボット制御部は、前記第１データ及び／又は前記第２データ、並びに、複数の前記操作対象の在庫管理単位に基づいて、複数の前記操作対象のうちの少なくとも一部を、前記パレットの使用形態に応じて単載又は混載することにより前記パレット上に積載する前記制御シークエンスを作成又は取得する、制御装置。

【請求項2】

前記ロボット制御部は、前記第２データに基づいて、前記パレットから前記操作対象を荷下ろしする際の取扱性を示す指標を算出し、該指標に基づいて、前記操作対象、及び、該操作対象が積み付けられたパレットの特定を含む前記制御シークエンスを作成又は取得する、
請求項１に記載の制御装置。

【請求項3】

前記パレットにおける複数の前記操作対象に関する位置情報を、操作対象単位又はパレット単位で、かつ、２次元情報又は３次元情報として記憶するデータ記憶部を更に備える、
請求項１に記載の制御装置。

【請求項4】

前記ロボット制御部は、前記操作対象が前記パレットに積み付けられた後に、センサが前記操作対象の識別コード又は識別タグを計測可能なように、前記操作対象を前記パレットに積み付けるための前記制御シークエンスを作成又は取得し、
前記センサは、前記操作対象、又は、前記操作対象が積み付けられた前記パレットを撮像するように構成される、
請求項１に記載の制御装置。

【請求項5】

前記データ取得部は、前記操作対象に関する情報、及び／又は、前記パレットに関する情報の実測値又は推定値を取得する、
請求項１に記載の制御装置。

【請求項6】

前記ロボット制御部は、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしが実際に終了する前に、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしが完了したと判断する、
請求項１に記載の制御装置。

【請求項7】

当該制御装置は、前記操作ロボットを含むロボットシステム、及び、該ロボットシステムに関連する領域を識別し、前記制御シークエンスに基づくタスクを計算し、
前記タスクは、前記ロボットシステムによる前記パレットの搬送及び前記操作対象の操作に関連するタスク、並びに、隣接及び／又は重なり合う領域を横断して前記ロボットシステムによって実行される複数のタスクを含む、
請求項１に記載の制御装置。

【請求項8】

操作対象を操作する操作ロボットを含むロボットシステムの制御方法をコンピュータに実行させるプロセッサ指令を有する非一過性のコンピュータ読取可能な記録媒体であって、
前記制御方法は、
パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第１データを取得し、かつ、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以後に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第２データを取得すること、
前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うための制御シークエンスを作成又は取得すること、
前記制御シークエンスに基づいて、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うためのタスクを実行することの前記操作ロボットへの指令を作成すること、及び
前記第１データ及び／又は前記第２データ、並びに、複数の前記操作対象の在庫管理単位に基づいて、複数の前記操作対象のうちの少なくとも一部を、前記パレットの使用形態に応じて単載又は混載することにより前記パレット上に積載する前記制御シークエンスを作成又は取得すること、
を含む、非一過性のコンピュータ読取可能な記録媒体。

【請求項9】

前記制御方法は、前記第２データに基づいて、前記パレットから前記操作対象を荷下ろしする際の取扱性を示す指標を算出し、該指標に基づいて、前記操作対象、及び、該操作対象が積み付けられたパレットの特定を含む前記制御シークエンスを作成又は取得すること、を更に含む、
請求項８に記載の非一過性のコンピュータ読取可能な記録媒体。

【請求項10】

前記制御方法は、前記パレットにおける複数の前記操作対象に関する位置情報を、操作対象単位又はパレット単位で、かつ、２次元情報又は３次元情報として記憶すること、を更に含む、
請求項８に記載の非一過性のコンピュータ読取可能な記録媒体。

【請求項11】

前記制御方法は、前記操作対象が前記パレットに積み付けられた後に、センサが前記操作対象の識別コード又は識別タグを計測可能なように、前記操作対象を前記パレットに積み付けるための前記制御シークエンスを作成又は取得すること、を更に含む、
請求項８に記載の非一過性のコンピュータ読取可能な記録媒体。

【請求項12】

前記制御方法は、前記操作対象に関する情報、及び／又は、前記パレットに関する情報の実測値又は推定値を取得すること、を更に含む、
請求項８に記載の非一過性のコンピュータ読取可能な記録媒体。

【請求項13】

操作対象を操作する操作ロボットを含むロボットシステムの制御方法であって、データ取得部とロボット制御部とを有する制御装置を用いて実行され、
前記データ取得部が、パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第１データを取得し、かつ、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以後に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第２データを取得し、
前記ロボット制御部が、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うための制御シークエンスを作成又は取得し、
前記ロボット制御部が、前記制御シークエンスに基づいて、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うためのタスクを実行することの前記操作ロボットへの指令を作成し、
前記ロボット制御部が、前記第１データ及び／又は前記第２データ、並びに、複数の前記操作対象の在庫管理単位に基づいて、複数の前記操作対象のうちの少なくとも一部を、前記パレットの使用形態に応じて単載又は混載することにより前記パレット上に積載する前記制御シークエンスを作成又は取得する、
制御方法。

【請求項14】

前記ロボット制御部が、前記第２データに基づいて、前記パレットから前記操作対象を荷下ろしする際の取扱性を示す指標を算出し、該指標に基づいて、前記操作対象、及び、該操作対象が積み付けられたパレットの特定を含む前記制御シークエンスを作成又は取得する、
請求項１３に記載の制御方法。

【請求項15】

データ記憶部が、前記パレットにおける複数の前記操作対象に関する位置情報を、操作対象単位又はパレット単位で、かつ、２次元情報又は３次元情報として記憶する、
請求項１３に記載の制御方法。

【請求項16】

前記ロボット制御部が、前記操作対象が前記パレットに積み付けられた後に、センサが前記操作対象の識別コード又は識別タグを計測可能なように、前記操作対象を前記パレットに積み付けるための前記制御シークエンスを作成又は取得する、
請求項１３に記載の制御方法。

【請求項17】

前記データ取得部が、前記操作対象に関する情報、及び／又は、前記パレットに関する情報の実測値又は推定値を取得する、
請求項１３に記載の制御方法。

【請求項18】

前記制御装置が、前記操作ロボットを含むロボットシステム、及び、該ロボットシステムに関連する領域を識別し、前記制御シークエンスに基づくタスクを計算し、
前記タスクは、前記ロボットシステムによる前記パレットの搬送及び前記操作対象の操作に関連するタスク、並びに、隣接及び／又は重なり合う領域を横断して前記ロボットシステムによって実行される複数のタスクを含む、
請求項１３に記載の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、ロボットシステムに関し、特に、物品等の操作対象を操作するロボットシステムの制御装置、制御方法、物流システム、プログラム、及び記録媒体に関する。

【背景技術】

【0002】

多くのロボット（例えば、自動的に／独立して物理的動作を実行するように構成されたマシン）は、その絶えず向上する性能及び低下するコストにより、現在、多くの分野で広く使用されている。例えば、ロボットは、製造、組立て、梱包、移送、搬送、輸送等において、対象の操縦や移動といった様々な作業を実行するように使用することができる。作業の実行において、ロボットは、人間の動作を反復することができ、それにより、人間による危険な又は反復的な作業を置換したり、低減したりすることができる。

【0003】

このようなロボットを用いたシステム（ロボットシステム）として、例えば、特許文献１には、物品の入庫から出庫までを自動化及び省力化するために、搬送容器を一時的に格納する搬送容器格納機構と、搬送容器内の物品が、出庫情報に基づいて、出荷用容器に自動的に集約される物品自動送出機構とを備える自動物流システムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１６７９５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、技術の進歩にも拘わらず、ロボットは多くの場合、より大きな及び／又はより複雑なタスクを実行するための人間による関与作業を再現するために必要な洗練さを欠いている。そのため、ロボットシステムにおける自動化及び高機能化は未だ十分ではなく、人間の関与を置換することが困難な作業が少なからず存在し、また、例えば属性が異なる操作対象の取扱性や保管効率を十分に高めることが困難であった。従って、ロボット間の様々な動作及び／又は対話を管理し、ロボットシステムの自動化及び高機能化を更に促進するための技術改良が依然として必要とされている。そこで、本開示は、ロボットを含むユニット間の高度な連携を実現し、例えば属性が異なる操作対象の取扱性や保管効率を十分に高めることができるロボットシステムの制御装置及び制御方法等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上述した課題を解決するために、以下の構成を採用する。

【0007】

［１］すなわち、本開示に係る制御装置は、パレットへの操作対象の積み付け（パレタイズ）、及び／又は、パレットからの操作対象の荷下ろし（デパレタイズ）を行うために前記操作対象を操作する操作ロボット、例えば、パレタイジングロボット、デパレタイジングロボット、ピースピッキングロボット、フェッチングロボット、デバンニングロボット等のロボットアーム及びエンドエフェクタ等によって物品を操作するためのロボットを含むロボットシステムを制御するための装置である。そして、制御装置は、（１）前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第１データを取得するデータ取得部と、（２）前記第１データを記憶するデータ記憶部と、（３）前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記第１データに基づいて、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うための制御シークエンスを作成又は取得し、並びに、前記制御シークエンスに基づいて、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うためのタスクの実行を前記操作ロボットに指令するロボット制御部を備える。

【0008】

ここで、「操作対象」とは、ロボットシステムに備わる操作ロボットが操作する対象物を示し、例えば、１つ以上の物品（アイテム）、それらが載置又は収容されたビン、コンテナ、箱等の容器を含み、その容器は、梱包されていても、梱包が解かれていてもよく、また、容器の一部（例えば上面）が開放されていてもよい。また、他の実施形態及び実施例において、「操作対象」は、棚、パレット、コンベヤ、その他仮置き場等を含む概念であってもよい。また、「パレット」とは、物品を荷役・輸送・保管するために単位数量にまとめて載せる面を備える荷役台を示し、例えば、平パレット、ボックスパレット、ポストパレット等が挙げられ、フォーク等の差込口を有していてもいなくてもよい。さらに、「物品に関する情報」及び「パレットに関する情報」とは、それぞれ、物品の識別情報に関連付けられた情報、及び、パレットの識別情報に関連付けられた情報を示す。また、「制御シークエンス」とは、ロボットシステムに備わる１つ以上のユニットに個々のタスクを実行させるための制御を行う際に予め設定しておく動作の順序を示す（ロボットは「ユニット」の一種である。）。またさらに、「～以前」とは、その時点、及び、その時点よりも前であることを示し、「～以後」とは、その時点、及び、その時点よりも後であることを示す。

【0009】

また、「操作対象に関する情報」には、少なくとも、その操作対象の位置情報と、その操作対象の「在庫管理単位（ＳＫＵ：Stock Keeping Unit）」の情報が含まれる。「在庫管理単位（ＳＫＵ）」とは、操作対象の受発注及び在庫管理を行うときの最小の管理単位を示し、例えば、同じ操作対象でも、パッケージ、入り数、内容量等の属性の相違で区別され、ＳＫＵによって操作対象単位よりも小さい単位で操作対象を分類することができる。例えば、操作対象が衣類物品であり、同じ衣類であっても、カラーが３色あり、サイズがＳ・Ｍ・Ｌ・ＬＬの４種類ある場合、「1２ＳＫＵ」と捉えられる。なお、ＳＫＵは、事業者が自由に設定することができ、カラーやサイズを区別せずにＳＫＵが設定されることもある。但し、一般的に、以下のようなケースでは、ＳＫＵを区別して管理するべきと考えられている（財団法人流通システム開発センター：ＧＴＩＮ設定ガイドライン ～ＧＴＩＮアロケーションガイドライン改訂版～ ２０１８年１２月版、１０頁）。

【0010】

・取引上、別の商品として判別しなければいけない要素がある場合
・消費者に商品の違いを訴求したい場合
・商品の売上を分けて分析したい場合
（例）
・サイズが異なる場合：大袋、中袋、小袋
・正味内容量（重量、容量、個数等）が異なる場合：100g、200g、500ml、650ml
・包装形態が異なる場合：袋入り、缶詰、瓶詰
・色が異なる場合：ピンク、ブルー、ホワイト
・味が異なる場合：カレー味、バーベキュー味
・香りが異なる場合：ジャスミン、ブーケ
・販売単位が異なる場合：３個入り、５個入り、１５個入り
・セット商品で中身（組合せ）が異なる場合：調味料２個と食用油３本入りセット、調味料３個と食用油２本入りセット

【0011】

かかる構成によれば、操作対象をパレットに積み付け、及び／又は、操作対象をパレットから荷下ろし以前に、操作対象及びパレットのそれぞれに関する情報を把握し、それらの情報を含む第１データに基づいて作成等される制御シークエンスに基づくタスクが実行される。よって、操作対象をパレットに積み付け、及び／又は、操作対象をパレットから荷下ろしする操作を効率的かつ円滑に実施することができる。

【0012】

［２］上記構成において、前記データ取得部は、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以後に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第２データを取得し、前記データ記憶部は、前記第２データを記憶するように構成してもよい。

【0013】

かかる構成によれば、操作対象をパレットに積み付け、及び／又は、操作対象をパレットから荷下ろした以後に、操作対象及びパレットのそれぞれに関する情報を把握することができる。これにより、操作対象が積み付けられた、及び／又は、操作対象が荷下ろしされた後のパレットの状態又は状況を確実に把握して追跡することができる。

【0014】

［３］上記構成において、前記ロボット制御部は、前記第１データ及び／又は前記第２データに基づいて、ＳＫＵが互いに異なる複数種類の操作対象を前記パレット上に積載するように、前記制御シークエンスを作成又は取得するように構成してもよい。

【0015】

かかる構成によれば、第１データと第２データから、パレットに積み付ける操作対象、及び、パレットに積み付けられている操作対象のＳＫＵを把握することができるので、ＳＫＵが異なる操作対象同士を同じパレットに積載（いわゆる混載）した場合でも、それらの操作対象の積載状態を監視及び追跡することが可能となる。よって、パレットの積載率を高め、パレットの利用効率を向上させることができる。また、パレットの充填情報／空き情報を把握しておくことができるので、次の段階として、操作対象をパレットに積み付ける、及び／又は、操作対象をパレットから荷下ろしする際のパレットの選定を効率的に行うことができる。さらに、パレット上の無駄な空間が断片化することを防止（デフラグメンテーション）することができ、かつ、操作対象及びパレットの位置情報の一元的な管理を更に容易ならしめることができる。

【0016】

［４］上記構成において、前記第１データ及び前記第２データに基づいて、前記パレットにおける同一の又は近似する前記在庫管理単位（ＳＫＵ）を有する前記操作対象の配置が集約するように、前記制御シークエンスを作成又は取得するように構成してもよい。ここで、「近似する」とは、ＳＫＵを規定する属性（前述の如く、カラー、サイズ等）のうち、所定数以上の属性が共通することを示す。また、本構成は、ＳＫＵが同一又は近似する操作対象のみを同じパレット上に積載する場合（いわゆる単載）、及び、ＳＫＵが異なる操作対象同士を同じパレットに積載（いわゆる混載）する場合を含み、混載の場合には、ＳＫＵが同一又は近似する操作対象を集約して積載（例えば、縦方向に積み上げる等）することができる。

【0017】

かかる構成によれば、第１データと第２データから、パレットに積み付ける操作対象、及び、パレットに積み付けられている操作対象のＳＫＵを把握することができるので、パレット上において、同一の又は近似するＳＫＵを有する操作対象を集約して配置し易くなる。その結果、単載及び混載を問わず、パレットの積載率を高め、パレットの利用効率を向上させることができる。また、同一の又は近似するＳＫＵを有する操作対象が集約されるので、次の段階として、操作対象をパレットに積み付ける、及び／又は、操作対象をパレットから荷下ろしする際のパレットの選定を効率的に行うことができる。

【0018】

［５］上記構成において、前記ロボット制御部は、前記第２データに基づいて、前記パレットから前記操作対象を荷下ろしする際の取扱性を示す指標を算出し、該指標に基づいて、前記操作対象、及び、該操作対象が積み付けられたパレットの特定を含む前記制御シークエンスを作成又は取得するように構成してもよい。ここで、「取扱性」とは、ロボットによって操作対象を操作する作業の難易度を示し、特に制限されないが、具体的には、例えば、パレットに積み付けられた操作対象を操作ロボットが把持する際の難易度、操作ロボットが把持した操作対象を移動する際の難易度（経路の複雑さ等）等が挙げられる。また、「指標」は、定量的に数値化してもよく、定性的に例えばランク分け等してもよい。

【0019】

かかる構成によれば、荷下ろし対象の操作対象の候補が複数存在する場合、取扱性を示す指標に基づいて、操作ロボットが操作し易い操作対象を積載したパレットとその操作対象を選定することができる。これにより、ロボットが荷下ろし対象の操作対象をより確実に把持して移動し易くなるので、作業効率及び作業精度（成功率）を高めることができる。

【0020】

［６］上記構成において、前記データ記憶部は、前記パレットにおける複数の前記操作対象の位置情報（配置情報）を、操作対象単位又はパレット単位で、かつ、２次元情報又は３次元情報として記憶するように構成してもよい。

【0021】

かかる構成によれば、パレット上に載置された操作対象の位置を、操作対象単位で、又は、層（レイヤー）単位で把握することができる。また、パレット上に積み上げられた複数の操作対象の配置を、平面情報又は立体情報として一元的に管理することができる。よって、例えば、１つの操作対象を特定することにより、そのパレット上に積載されている操作対象を、一括で特定することができる。その結果、例えば、在庫管理や棚卸し時の作業工数を低減して作業効率を向上させることができる。

【0022】

［７］上記構成において、前記ロボットシステムは、前記操作対象、又は、前記操作対象が積み付けられた前記パレットを撮像するセンサを更に備え、前記ロボット制御部は、前記センサが前記操作対象の識別情報（を表す識別コード又は識別タグ）を計測可能なように、前記操作対象を前記パレットに積み付けるための前記制御シークエンスを作成又は取得するように構成してもよい。

【0023】

かかる構成によれば、操作対象がパレットに積載された状態でも、その操作対象の識別情報をセンサで計測して確認することができる。この場合、操作対象の識別情報が少なくとも側面に付されていれば、操作対象がパレット上に積み上げられていても、その識別情報が視認できるように露呈し得るので、操作対象に付された識別情報を、例えば、カメラ等のセンサで撮像することにより、認識し易くなる。よって、操作対象がパレットに積載されたままの状態でも、操作対象の識別及び特定を簡易に行うことができる。このとき、前記［６］の如く、パレットにおける複数の操作対象の位置情報を、２次元情報又は３次元情報として記憶しておけば、１つの操作対象を特定することにより、そのパレットに積載されている操作対象を、パレット単位で、一括でより簡便に特定することができる。その結果、在庫管理や棚卸し時の作業効率を一層向上させることができる。

【0024】

［８］上記構成において、前記ロボット制御部は、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしが終了する前に、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしが完了したと判断するように構成してもよい。

【0025】

かかる構成によれば、パレットへの操作対象の積み付け、及び／又は、パレットからの操作対象の荷下ろしが終了する前の段階で、それらの積み付け及び／又は荷下ろし操作の完了を判断することができる。よって、その次の段階として実行されるタスクの操作を円滑にかつ適時に開始することができ、作業遅れの発生を抑止して、ユニット間の高度な連携が可能となる。

【0026】

［９］上記構成において、前記データ取得部は、前記操作対象に関する情報、及び／又は、前記パレットに関する情報の実測値又は推定値を取得するように構成してもよい。これにより、パレット上／外にある操作対象の位置、パレットの位置、操作対象に付された識別情報の位置を、例えばカメラ等のセンサで実測して確認したり、実測しなくても例えばマスターデータに基づいて推定したりすることができる。

【0027】

［１０］また、本開示による物流システムは、上記各構成の制御装置と、前記操作ロボットを含むロボットシステムを備える。

【0028】

［１１］上記構成において、前記制御装置は、前記ロボットシステム、及び、該ロボットシステムに関連する領域を識別し、前記制御シークエンスに基づくタスク（単位タスク、複数の単位タスクを組み合わせて構成されるタスクを含む。）を計算し、前記タスクは、前記ロボットシステムによる前記パレットの搬送及び前記操作対象の操作に関連するタスク、並びに、隣接及び／又は重なり合う領域内において前記ロボットシステムによって横断して実行される複数のタスクを含むように構成してもよい。

【0029】

［１２］また、本開示によるプログラムは、コンピュータを、上記各構成の制御装置として機能させるためのプログラムとして構成される。

【0030】

［１３］また、本開示による記録媒体は、上記プログラムを記録した非一過性のコンピュータ読取可能な記録媒体として構成される。

【0031】

［１４］また、本開示による制御方法は、パレットへの操作対象の積み付け、及び／又は、パレットからの操作対象の荷下ろしを行うために前記操作対象を操作する操作ロボットを含むロボットシステムの制御方法であって、データ取得部と、データ記憶部と、ロボット制御部とを有する制御装置を用いて実行される。そして、（１）前記データ取得部が、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記操作対象に関する情報、及び、前記パレットに関する情報を含む第１データを取得し、（２）前記データ記憶部が、前記第１データを記憶し、（３）前記ロボット制御部が、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろし以前に、前記第１データに基づいて、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うための制御シークエンスを作成又は取得し、並びに、前記制御シークエンスに基づいて、前記パレットへの前記操作対象の積み付け、及び／又は、前記パレットからの前記操作対象の荷下ろしを行うためのタスクの実行を前記操作ロボットに指令する。

【図面の簡単な説明】

【0032】

【図1】本開示の一実施形態に係るロボットシステムが動作し得る例示的な作業シーケンスを示す概略フロー図である。

【図2】（Ａ）及び（Ｂ）は、本開示の１つ以上の実施形態における例示的な搬送ロボットの外観を概略的に示す斜視図である。

【図3】本開示の１つ以上の実施形態における例示的な操作ロボットの外観を概略的に示す斜視図である。

【図4】（Ａ）及び（Ｂ）は、本開示の１つ以上の実施形態における例示的な操作ロボットの外観を概略的に示す斜視図である。

【図5】本開示の一実施形態に係るロボットシステムのハードウェア構成及び機能構成の一例を示すブロック図である。

【図6】本開示の一実施形態に係るロボットシステムによって実行される作業のフローの一例、及び、ロボットシステムに備わる制御装置の機能構成の一例を示す正面図（一部機能構成図）である。

【図7】本開示による実施形態に係るロボットシステムを作動させて第１タスクを実行するための手順の一例を示すフロー図である。

【図8】本開示による実施形態に係るロボットシステムを作動させて第２タスクを実行するための手順の一例を示すフロー図である。

【図9】本開示の一実施形態に係るロボットシステムが動作し得る例示的な環境を示す概略平面図である。

【発明を実施するための形態】

【0033】

本開示によれば、複数のユニット（例えば、各種ロボット、各種デバイス、それらと一体又は別体に設けられた制御装置等）が高度に統合されたロボットシステム、その制御装置、及び、それらを備える物流システム、並びにそのための方法等が提供される。すなわち、本開示の実施形態に係るロボットシステムは、例えば、１つ以上のタスクを自律的に実行することができる統合システムである。

【0034】

ここで、「タスク」には、例えば、操作対象にロボット等がアクセスするタスク、それらの操作対象を、ある場所から別の場所に移動し、収納し、保管し、取り出し、整理等する等ためのタスク、それらの操作対象を複数のグループに分類するタスク、操作対象を撮像、観察、管理するタスク等が含まれ得る。

【0035】

また、「タスク」には、物流システムにおける操作対象の入庫（荷受け、搬送、積み付け（パレタイズ）、荷下ろし（デパレタイズ）、格納等）、操作対象の補充（開封、充填、補充等）、及び、操作対象の出庫（取り出し、ピックアップ、梱包、積み付け、パレタイズ等）において実行される複数のタスクの組み合わせが含まれ得る。さらに、「タスク」には、例えば、操作対象の並び替え、持ち替え、置き換え等のために、操作対象を、指定位置で把持したり持ち上げたりすること、指定経路で移動させること、及び、指定位置で解放したり降ろしたり載置したりすることが含まれ得る。

【0036】

さらに、本開示によるロボットシステムは、例えば、ロボット等の複数のユニットを介して、操作対象にアクセスすることができ、これにより、ロボットシステムは、操作対象の入庫プロセス、補充プロセス、及び出庫プロセス等の作業に自動化対応することができる。さらに、本開示によるロボットシステムは、操作対象を、例えばＳＫＵの異同に基づいて、適宜分類（グループ化）してそれらを目的位置又は指定場所に移動又は配置し、それらの操作対象にアクセスし、その場所で、又は、別の場所への再配置や再分類等を行うこともでき、操作対象の特性に応じて、それらを並び替え又は置き換えることができる。この場合、ロボットシステムは、操作対象の１以上の特定位置や表面上に付された１以上の識別情報（例えば、バーコード又はクイックレスポンス（ＱＲ）コード（登録商標）等）を読み取り、必要に応じてマスターデータと照合することにより、操作対象を識別及び／又は特定し、その物品等に関連付けられた情報を取得することができる。

【0037】

さらに、本開示によるロボットシステムは、操作対象の位置及び状態（例えば向き等の姿勢）、及び／又は、操作対象の周囲環境を識別するための撮像センサ等のセンサを備えることができる。撮像センサは、ロボットシステムの各ユニットが実行するタスクにおける作業位置（例えば操作対象のピックアップ位置、ドロップ位置、経路途中の位置等）の画像、及び、各位置における操作対象の画像を取得することができる。また、本開示によるロボットシステムは、所定の順番（例えば、操作対象の上から底、外側縁から、内側から等）に従って、操作対象の画像を処理することができる。この際、例えば、操作対象の画像における隣接するピクセルの色、輝度、それらの値の変化等に基づいて、操作対象の外形や環境を識別したり、分類したりすることにより、操作対象の状態や状況を適宜判定することができる。

【0038】

本開示によるロボットシステムは、操作対象にアクセスし操作するためのタスク、及び、操作対象を搬送、移動、載置、収納等するためのタスク等を実行するための制御シークエンスを取得して実行することができる。かかる制御シークエンスには、各ユニットの作動機構を駆動させるための基本的な制御シークエンスの組み合わせが含まれ得る。ロボットシステムは、種々のタスクを実行するための制御シークエンスを、例えば、モーションプランニング、ディープラーニング等の機械学習等によって作成又は取得することができる。

【0039】

ここで、例えば、典型的な物流システムで用いられる従来のロボットシステムでは、操作対象の入庫や補充や出庫に関するタスクを実行する際に、複数のユニット間での高度な相互作用を十分に行うことができず、連続して実行される異なるタスク間でオペレータの支援が欠かせないことが多くあった。また、例えば、従来のロボットシステムでは、注文に対応して例えば操作対象にアクセスすること自体はできたが、オペレータがその注文商品を分類したり、順序付けしたりする必要がある場合も多くあった。さらに、従来のロボットシステムでは、例えば、操作対象の操作を行うユニットを変更したり、操作対象の操作手順を変更したりする場合、ユニット間の自律的な対話によってそれらを変更することは困難な場合が多かった。特に、オペレータの介在や支援が必要であるタスクを含む作業が必要なユニットを含む場合、自律的に又は自動的に制御シークエンスを変更することは、極めて困難であった。さらに、従来、パレット等に操作対象を積載する場合、ＳＫＵが異なる操作対象を同一のパレットに混載する作業を自動化することは困難であり、オペレータによる介在が必要なり、物流システムの全自動化の妨げになっていた。

【0040】

また、従来のロボットシステムでは、基本的な制御シークエンスとして、操作対象をある位置で把持し、その状態で別のある位置へ移動して解放するようなタスクが実行される。しかし、そのような基本的な操作だけでは、操作対象の収納効率や各ユニットによる作業効率を十分に高めることができていたとはいえず、特に、操作対象の収納効率を高める観点から、オペレータによる介在や支援（調整、やり直し、補完、システム停止等）を必要とする場合があった。

【0041】

これに対し、以下に例示する様々な態様の本開示によるロボットシステムは、従来とは異なり、タスクを実行するために別々のユニット（例えば、操作ロボット及び搬送ロボット等）間の相互作用を調整及び制御し、異なるユニット間の連携を図ることができる。これにより、従来必要であったオペレータの介在や支援が削減され、操作対象の収納効率、作業効率、及び経済性を向上させることができる。また、操作対象のパレタイズ及びデパレタイズ時に適宜のタイミングで操作対象とパレットに関する情報を取得・管理することにより、ＳＫＵが異なる操作対象を同一のパレットに混載する作業の自動化を実現することができる。

【0042】

また、本開示によるロボットシステムは、各ユニットについて、動作領域、動作経路、操作対象の位置や状態、又は、それらの組み合わせを確実に識別し、異なるユニットで実行されるタスクを横断的にかつ円滑に実行することができる。また、その際に、操作対象の形状情報、識別情報、位置情報等に基づいて、操作対象の収納効率を最適化することができるので、空間の利用効率を更に高めることができる。そのために、本開示によるロボットシステムでは、異なるユニットにおけるタスクを順序付ける１つ以上のアルゴリズム、ユニット間の相互作用を制御するための１つ以上のプロトコル、及び、操作対象の状態に関する情報に基づいて、各ユニットを高度な連携動作を実現することができる好適な制御シークエンスを作成又は取得し、それを実行することができる。

【0043】

以下、本開示の一例に係る実施形態について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。また、以下に説明する実施形態は本開示の一部の実施形態であって、全ての実施形態ではないことは言うまでもない。さらに、本開示の実施形態に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施形態は、いずれも本開示の保護範囲に含まれる。

【0044】

また、各実施形態では、本明細書において導入された技術を、それら特定の詳細を伴わずに実施することができる。さらに、特定の機能又はルーチン等、よく知られている機能は、本開示を不要に理解しにくくすることを避けるため、詳細な説明を省略する。また、よく知られていてかつロボットシステム及びサブシステムとしばしば関連付けられる構造又はプロセスについてもまた、明確化の目的のために、詳細な説明を省略する場合がある。ここでの「実施形態（an embodiment）」、「１つの実施形態（one embodiment）」等の参照は、記載の特定の特徴、構造、材料、又は特性が、本開示の少なくとも１つの実施形態に含まれていることを意味する。このため、本明細書におけるそのようなフレーズの表示は、必ずしも、すべてが同じ実施形態を参照するわけではない。一方、そのような参照は、必ずしも相互に排他的であることもない。さらに、特定の特徴、構造、材料、又は特性は、１つ以上の実施形態において、任意の適切な方式で組み合わせることができる。図示の様々な実施形態は、説明的表示に過ぎず、必ずしも実際の縮尺で示されていないことを理解されたい。

【0045】

また、本開示における多くの実施形態又は態様は、プログラム可能なコンピュータ（computer）又は制御装置（コントローラ：controller）によって実行されるプロセス、ステップ、ルーチン、ブロック等を含み、コンピュータで実行可能であるか又は制御装置で実行可能である命令の形態を取ることができる。当該関連技術の当業者には、本開示の技術が、各実施形態において示すもの以外のコンピュータ又は制御装置のシステムで実施され得ることを理解されたい。本明細書に記載の技術は、以下に記載のコンピュータで実行可能な１つ以上の命令を実行するようにプログラムされたか、構成されたか、構築された、特定用途のコンピュータ又はデータプロセッサ内で実施することができる。

【0046】

従って、本明細書で通常使用される「コンピュータ」及び「制御装置」との用語は、任意のデータプロセッサを含み、インターネットの装置及びハンドヘルドデバイス（パームトップ型コンピュータ、ウェアラブルコンピュータ、セルラ又は移動電話、複数プロセッサシステム、プロセッサベースであるかプログラム可能な家庭用電気機械器具、ネットワークコンピュータ、ミニコンピュータ等を含む）を含む。これらコンピュータ及び制御装置によって扱われる情報は、例えば、液晶ディスプレイ（ＬＣＤ）を含む任意の適切な表示媒体に提供することができる。

【0047】

コンピュータ又は制御装置で実行可能な作業を実行するための命令は、ハードウェア、ファームウェア、又はハードウェアとファームウェアとの組合せを含む適宜のコンピュータ読取可能な非一過性の記録媒体に記憶することができる。また、各命令は、例えば、フラッシュドライブ、及び／又は他の適宜の媒体を含む、任意の適切なメモリデバイスに包含することができる。

【0048】

「結合された（coupled）」及び「接続された（connected）」並びに同種の用語は、構成要素間の構造的な関係を記載するために使用される場合がある。ただし、これらの用語が、互いに同義であることは意図するものではない。具体的には、特定の実施形態では、「接続された（connected）」は、２つ以上の要素が互いに直接接触していることを示すために使用することができる。文脈から別様に明確にされていない限り、「結合された（coupled）」との用語は、２つ以上の要素が直接的か（それらの間に他の介在要素を伴って）間接的に互いに接触していること、又は、（例えば、信号の送信／受信、若しくは、関数呼び出しに関するもの等、因果関係にあるように）２つ以上の要素が互いに協働するか相互作用すること、又はその両方を示すために使用することができる。

【0049】

［適用例］
図１は、本開示の一実施形態に係るロボットシステムを含む物流システムによる例示的な作業シーケンスを示す概略フロー図である。当該作業シーケンスは、例えば、操作対象（本実施形態では、例えば、物品が収容されたカートンボックス等の容器を物流センター等に受け入れる入庫プロセスＰ１０、例えばパレット等に載置した操作対象を、例えばラック等に補充して保管する補充プロセスＰ２０、及び、ラックに補充及び保管された操作対象から注文物品をピックアップして出庫する出庫プロセスＰ３０を含む。

【0050】

入庫プロセスはＰ１０では、まずステップＳ１０１において、車両等で運び込まれた操作対象を荷受けし、例えばデバンニングロボットを用いて荷下ろしを行う。ステップＳ１０２では、例えばソーティングシステムを用いて、操作対象を積み替え用のパレットの待機位置までコンベヤ等で搬送する。次に、ステップＳ１０３では、搬送されてきた操作対象を、例えばパレタイジングロボットにより適宜のパレットへ積み付ける。

【0051】

補充プロセスＰ２０では、ステップＳ１０４において、操作対象が積載されたパレットを、例えばパレットＡＧＶ（パレットを搭載又は持ち上げて移動させるように構成された自動搬送車）を用いて、操作対象を開梱するための位置まで搬送し、例えばデパレタイジングロボットによりパレットから荷下ろしする。ステップＳ１０５では、例えば天カットマシンを用いて、操作対象の上面を開放するように上面部分をカット（天カット）して開梱し、その操作対象を保管用のラックの待機位置までコンベヤ等で搬送するする。次いで、ステップＳ１０６では、例えばフェッチングロボットにより、操作対象をラックの適宜の位置へ収納し、例えばラックＡＧＶ（ラックを搭載又は持ち上げて移動させるように構成された自動搬送車）を用いて、ラックの保管位置まで搬送し、適宜の状態で保管する。

【0052】

出庫プロセスＰ３０では、物品の注文があった場合、ステップＳ１０７において、その注文物品が収容された操作対象が収納されたラックを、例えばラックＡＧＶを用いて、取出し位置まで搬送し、例えばフェッチングロボットにより、目的の操作対象をラックから取り出す。ステップＳ１０８では、例えばピースピッキングロボットを用いて、操作対象から注文物品をピックアップし、出荷用容器等へ移載する。そして、ステップＳ１０９において、例えばパッキングマシンを用いて出荷用容器等の梱包を行い、ステップＳ１１０において、例えば適宜のカートや車両等に、梱包済みの出荷用容器を積み付けて出庫（出荷）する。

【0053】

このとおり、本開示の一実施形態に係るロボットシステムは、異なる場所間で操作対象を移動するための操作を実行するように構成された移送／仕分けユニットである操作ロボットとして、デバンニングロボット、パレタイジングロボット、デパレタイジングロボット、フェッチングロボット、ピースピッキングロボット、パッキングマシン等を含むことができる。また、本開示の一実施形態に係るロボットシステムは、輸送ユニットである搬送ロボットとして、ソーティングシステム、パレットＡＧＶ、ラックＡＧＶ等を含むことができる。

【0054】

ここで、図２（Ａ）及び（Ｂ）は、本開示の１つ以上の実施形態における例示的な搬送ロボット１１，１２の外観を概略的に示す斜視図である。搬送ロボット１１，１２は、パレットを所定の位置間で搬送するように構成されたラックＡＧＶ等の移動式／車輪付きロボットを含むことができる。例えば、搬送ロボット１１，１２は、パレットの下及び／又はパレットの間を移動することが可能な外形寸法を有する。また、搬送ロボット１１，１２は、パレットを地面（搬送経路面）から持ち上げるように構成された持上機構（フォーク）を含むことができる。

【0055】

搬送ロボット１１，１２は、様々な機構によって誘導操縦する（ナビゲートする）ことができる。例えば、搬送ロボット１１，１２は、本開示の実施形態におけるロボットシステムの制御装置からの指令に基づいて、例えばフロアマーキング（例えば、塗装、テープ等）として施された所定の経路を辿るように自走し得る。また、搬送ロボット１１，１２は、マッピング／位置決め機構（例えば、デッドレコニングシステム、レーザに基づくシステム、及び／又は無線通信信号に基づくシステム）を介して現在位置を計算することができ、その現在位置に基づいて、指定された経路及びルートに沿って移動することができる。

【0056】

なお、本開示の実施形態におけるロボットシステムは、例えば、スタンドアロンデバイス又は別のユニットの一部としての制御装置を介して、搬送対象であるパレットの目標位置、そのパレットの保持位置、そのパレットの識別情報、経路、動作計画、又は、それらの組み合わせを、搬送ロボット１１，１２へ送信することができる。搬送ロボット１１，１２は、通信指令情報に基づいて、例えば、搬送対象であるパレットの保持位置へ移動し、そのパレットを持ち上げ、そのパレットを指定位置へ搬送し、及び／又は、そのパレットを指定位置に配置するといったタスクを実行することができる。さらに、搬送ロボット１１，１２は、搬送対象であるパレットを、例えば、元の保持位置、又は、異なる保管位置へ戻すことによってタスクを実行又は完了することができる。

【0057】

図３及び図４は、それぞれ、本開示の１つ以上の実施形態における例示的な操作ロボット１３，１４の外観を概略的に示す斜視図及び側面図である。操作ロボット１３，１４は、例えば、操作対象１６（図４参照）を所定の位置間で移送するように構成されたロボットを含むことができる。例えば、操作ロボット１３，１４は、操作対象を減圧吸着又は真空吸着により把持することができる把持具（グリッパ）、ピッキング用のハンドタイプ等のエンドエフェクタ１３１，１４１と、それが先端部に取り付けられたロボットアーム１３２，１４２といった構造部材を有する。これにより、操作ロボット１３，１４は、操作対象を上方向や横方向から把持することができる。また、操作ロボット１３，１４は、所定位置に固定して設けられてもよく、移動可能に設けられてもよい。加えて、操作ロボット１４のエンドエフェクタ１４１は、いわゆるデバンニンググリッパのように、操作対象１６を下方から支持（保持）するための板状ガイド等を有していてもよく、デバニングロボットやフェッチングロボットとして好適に機能する。

【0058】

操作ロボット１３，１４は、例えば、本開示の実施形態におけるロボットシステムの制御装置からの指令に基づいて、駆動することができる。また、操作ロボット１３，１４は、操作対象の現在位置を計算することができ、その現在位置に基づいて、指定された経路及びルートに沿って操作対象を操作することができる。本開示の実施形態におけるロボットシステムは、例えば、スタンドアロンデバイス又は別のユニットの一部としての制御装置を介して、操作対象の目標位置及びピックアップ位置、その操作対象の識別情報、経路、動作計画、又は、それらの組み合わせを、操作ロボット１３，１４へ送信することができる。操作ロボット１３，１４は、通信指令情報に基づいて、例えば、操作対象の把持位置へエンドエフェクタ１３１，１４１を移動させ、その操作対象を把持して持ち上げ、指定位置へ移送し、及び／又は、指定位置に配置するといったタスクを実行することができる。

【0059】

［構成例］
図５は、本開示の一実施形態に係るロボットシステムのハードウェア構成及び機能構成の一例を示すブロック図である。例えば、ロボットシステム５００は、プロセッサ５０２、ストレージデバイス５０４、通信デバイス５０６、入力－出力デバイス５０８、作動デバイス５１２、移送モータ５１４、センサ５１６、又はそれらの組合せ等の電子／電気機器を備えることができる。ロボットシステム５００は、これらの各要素及び各デバイスを、それぞれ１つ以上備えることができる。

【0060】

また、それらの各要素及び各デバイスは、有線接続及び／又は無線接続を介して互いに結合することができる。例えば、ロボットシステム５００は、システムバス、周辺部品相互接続（ＰＣＩ）バス又はＰＣＩ－エクスプレスバス、HyperTransport又は産業標準構成（ＩＳＡ）バス、小型コンピュータシステムインターフェース（ＳＣＳＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、ＩＩＣ（Ｉ２Ｃ）バス、又は電気電子技術者協会（ＩＥＥＥ）規格１３９４のバス（「Firewire」とも呼ばれる）等のバスを含むことができる。

【0061】

また、ロボットシステム５００は、デバイス間の有線接続を提供するために、例えば、ブリッジ、アダプタ、制御装置、又は他の信号に関するデバイスを含むことができる。無線接続は、例えば、セルラ通信プロトコル（例えば、３Ｇ、４Ｇ、ＬＴＥ、５Ｇ等）、無線ローカルエリアネットワーク（ＬＡＮ）プロトコル（例えば、忠実な無線通信環境（wireless fidelity（ＷＩＦＩ））、ピアツーピア又はデバイスツーデバイスの通信プロトコル（例えば、Bluetooth（登録商標）、Near-Field通信（ＮＦＣ）等）、モノのインターネット（ＩｏＴ）プロトコル（例えば、ＮＢ－ＩｏＴ、ＬＴＥ－Ｍ等）、及び／又は、他の無線通信プロトコルに基づくものとすることができる。

【0062】

プロセッサ５０２は、ストレージデバイス５０４（例えばコンピュータメモリ）に記憶された命令（例えば、ソフトウェア命令）を実行するように構成されたデータプロセッサ（例えば、中央処理ユニット（ＣＰＵ）、特定用途のコンピュータ、及び／又はオンボードサーバ）を含むことができる。プロセッサ５０２は、他のデバイスを制御／相互作用するようにプログラム命令を実施することができ、それにより、ロボットシステム５００に、タスクにおける各種動作、作業、及び／又は操作を実行させる。

【0063】

ストレージデバイス５０４は、そこに記憶されたプログラム命令（例えば、ソフトウェア）を有する非一過性のコンピュータ読取可能な記録媒体を含むことができる。ストレージデバイス５０４のいくつかの例としては、揮発性メモリ（例えば、キャッシュ及び／又はランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、フラッシュメモリ及び／又は磁気ディスクドライブ）、ポータブルメモリドライブ、クラウドストレージデバイス等が挙げられる。

【0064】

いくつかの実施形態では、ストレージデバイス５０４は、処理結果、所定のデータ、所定の閾値、所定のパラメータ等を更に記憶し、それらへのアクセスが適宜可能である。例えば、ストレージデバイス５０４は、ロボットシステム５００によって操縦され得る操作対象に関連付けられた情報データを含むマスターデータ５５２を記憶することができる。

【0065】

マスターデータ５５２は、ロボットシステム５００による操作対象に関する、寸法、形状（例えば、可能性のある状態に関するコンピュータ生成のテンプレート、異なる状態の操作対象を認識するためのコンピュータで生成されたモデル等）、配色、画像、識別情報（例えば、バーコード、クイックレスポンス（ＱＲ）コード（登録商標）、ロゴ等、それらが設けられたと予想される位置等）、予想重量、又はそれらの組合せを含むことができる。また、マスターデータ５５２は、操作対象各々の質量中心（重心）の位置、１つ以上の動作／動きに応じて予期されるセンサの測定値（例えば、力、トルク、圧力、接触基準値、それらに関する種々の測定値等）、又は、それらの組合せ等の対象及びその操縦に関する関連情報を含むことができる。

【0066】

また、例えば、ストレージデバイス５０４は、ロボットシステム５００による操作対象の追跡に関する対象追跡データ５５４を記憶することができる。対象追跡データ５５４には、スキャン又は操作された操作対象のログが含まれ得る。また、対象追跡データ５５４には、１つ以上の位置（例えば、指定されたピックアップ位置又はドロップ位置、及び／又はコンベヤベルト上の位置）における操作対象の画像データ（例えば、写真、ポイントクラウド、ライブビデオの提供等）、１つ以上の位置における操作対象の位置及び／又は状態（向き等）が含まれ得る。

【0067】

通信デバイス５０６は、ネットワークを介して外部装置又は遠隔装置と通信するように構成された回路を含むことができる。例えば、通信デバイス５０６は、受信機、送信機、調整器／復調器（モデム）、信号検出器、信号エンコーダ／デコーダ、コネクタポート、ネットワークカード等を含むことができる。通信デバイス５０６は、１つ以上の通信プロトコル（例えば、インターネットプロトコル（ＩＰ）、無線通信プロトコル等）に応じて電気信号を送信、受信、及び／又は処理するように構成することができる。ロボットシステム５００は、通信デバイス５０６を使用して、ロボットシステム５００のユニット間での情報の交換、及び／又は、例えば、データの収集、分析、報告、トラブルシューティング等の目的のために、ロボットシステム５００の外部システム／機器との情報の交換をすることができる。

【0068】

入力－出力デバイス５０８は、オペレータとの情報の通信及び／又はオペレータからの情報の受信を行うように構成されたユーザインターフェースデバイスを含むことができる。例えば、入力－出力デバイス５０８は、オペレータに情報を通信するためのディスプレイ５１０及び／又は他の出力デバイス、例えば、スピーカ、触覚回路、又はタクティールフィードバックデバイス等を含むことができる。また、入力－出力デバイス５０８は、キーボード、マウス、タッチスクリーン、マイク、ユーザインターフェース（ＵＩ）センサ（例えば、モーションコマンドを受信するためのカメラ）、ウェアラブル入力デバイス等の、制御又は受信デバイスを含むことができる。ロボットシステム５００は、入力－出力デバイス５０８を使用して、ロボットシステム５００で実行されるタスク、動作、作業、操作、又はそれらの組合せを実行する際に、オペレータと対話することができる。

【0069】

ロボットシステム５００における適宜のユニットは、動作（例えば、回転及び／又は並進）のために関節（ジョイント）で接続された構造部材、例えば、把持（ピックアップ、グリップ）、回転（スピン）、溶接等を実行するように構成されたエンドエフェクタ、及び、エンドエフェクタを操縦するように構成されたロボットアーム等）を含むことができる（例えば図３及び図４も参照されたい。）。また、ロボットシステム５００は、関節又はその周りにおいて、前記の構造部材を駆動又は操縦する（例えば、変位及び／又は方向付け）ように構成された作動デバイス５１２（例えば、モータ、アクチュエータ、ワイヤ、人工筋、電気活性ポリマ等）、及び、ある位置から位置にユニットを移送するように構成された移送モータ５１４を含むことができる。

【0070】

ロボットシステム５００は、前記の構造部材を駆動又は操縦するため、及び／又は、各ユニットの移送作業等を実施するために使用される情報を得るためのセンサ５１６を含むことができる。センサ５１６は、ロボットシステム５００の１つ以上の物理的特性（例えば、１つ以上の関節や構造部材の状態、条件、位置等）、及び／又は、周囲の環境の特性を検出又は測定するように構成された種々のデバイスを含むことができる。かかるセンサ５１６としては、加速度計、ジャイロスコープ、力センサ、ひずみゲージ、トルクセンサ等の他、撮像センサ５２２、位置センサ５２４、接触センサ５２６等を含むことができる。

【0071】

センサ５１６は、１つ以上の撮像センサ５２２として、周囲の環境を検出するように構成された、例えば、可視及び／又は赤外カメラ、２次元及び／又は３次元の撮像カメラ（２Ｄビジョン及び／又は３Ｄビジョン）、ライダー又はレーダー等の測距デバイス等を含むことができる。撮像センサ５２２は、例えば、自動検査、ロボットのガイダンス、又は他のロボットを適用する際に、各ユニット及び制御装置を制御するするために使用されるデジタル画像及び／又は点群（ポイントクラウド）等の表示データを生成することができる。

【0072】

ロボットシステム５００は、操作対象を操作するために、指定された領域（例えば、その操作対象の把持位置、ピックアップ位置、ドロップ位置、その他の作業位置等を含む領域）の画像を取得及び分析して、各位置を識別することができる。例えば、撮像センサ５２２は、指定された領域の画像データや距離データを生成するように構成された上記のカメラや測距デバイス等を含むことができる。ロボットシステム５００は、取得された画像及び／又は測距データに基づいて、例えば、操作対象の把持位置、ピックアップ位置、ドロップ位置、その他の作業位置等を判定することができる。なお、作業には、輸送／受領の際に操作対象のログをとるために、その操作対象をスキャンすることが含まれ得る。この場合、撮像センサ５２２は、操作対象の輸送の間に、操作対象の識別情報をスキャンするように構成された１つ以上のスキャナ（例えば、バーコードスキャナ及び／又はＱＲコードスキャナ（登録商標））を含むことができる。

【0073】

また、センサ５１６は、位置センサ５２４として、上記の構造部材（例えば、ロボットアーム及び／又はエンドエフェクタ）、及び／又は、ロボットシステム５００の各ユニットにおける関節の位置を検出するように構成された、例えば、位置エンコーダ、ポテンショメータ等を含むことができる。ロボットシステム５００は、タスクにおける作業を実行する間、構造部材及び／又は関節の位置及び／又は状態（向き等）を追跡するために、位置センサ５２４を使用することができる。

【0074】

さらに、センサ５１６は、接触センサ５２６として、複数の物理的構造又は表面間の直接の接触に関連する特性を測定するように構成された、例えば、圧力センサ、力センサ、ひずみゲージ、圧電抵抗性／圧電性センサ、容量性センサ、弾性抵抗性センサ、他の触覚センサ等を含むことができる。接触センサ５２６は、操作対象上のエンドエフェクタの例えば把持（グリップ）操作に対応する特性を測定することができる。従って、接触センサ５２６は、操作対象と把持具（グリッパ）との接触又は取付け度合いに対応した物理量を検出することができるように構成され、定量化された測定値（例えば、例えば、力、トルク、圧力、接触基準値、それらに関する種々の測定値等）を出力することができる。なお、接触基準値には、エンドエフェクタによって操作対象に印加された力に関する１つ以上の力又はトルクの読取り値を含む。

【0075】

なお、以上の説明及び以下の説明においては、ロボットシステム５００は、倉庫や物流システムにおける例として記載されるが、それに限定されず、製造、組立て、梱包、ヘルスケア、及び／又は他のタイプの自動化作業を実施するために、他の環境で／他の目的で種々のタスクを実行するように構成することができる。また、ロボットシステム５００は、図示されていない、マニピュレータ、サービスロボット、モジュール式ロボット等の他のユニットを含むことができる。また、ロボットシステム５００は、例えば、倉庫又は分配／輸送ハブ内で作動し、かつ、操作対象をケージカート又はパレットからコンベヤ又は他のパレットに移送するための種々の荷降ろし／荷積みロボット、ソーティングシステム、操作対象を開梱するための開梱ロボット、天カットマシン、操作対象を１つのコンテナから別のコンテナに移送するためのコンテナ切替えロボット、操作対象を梱包するための梱包ロボット、パッキングマシン、又はそれらの組合せを備えることができる。

【0076】

［動作例］
図６は、本開示の一実施形態に係るロボットシステムによって実行される作業のフローの一例、及び、ロボットシステムに備わる制御装置の機能構成の一例を示す正面図（一部機能構成図）である。本実施形態におけるロボットシステム６００は、例えば、物流システムの入庫、補充・保管、及び出庫拠点である倉庫等に設けられ、ロボットシステム６００における各ユニットの動作を調整制御する装置として制御装置６１０を含み得る。また、ロボットシステム６００は、図１に示す入庫プロセスは入庫プロセスＰ１０におけるパレットへの操作対象の積み付け、及び、パレットからの操作対象の荷下ろしに特に好適なシステムということができる。

【0077】

制御装置６１０は、前述の如く、スタンドアロンデバイス又は別のユニットの一部として構成され、搬送ロボット１１，１２（図６では搬送ロボット１１として例示する。以下同様。）や操作ロボット１３，１４（図６ではグリッパに代えてピッキング用のハンドタイプのエンドエフェクタを有する操作ロボット１３として例示する。以下同様。）といったユニット、さらには、他のロボットや搬送手段といったユニットが実行するタスクにおける動作を調整及び制御することができる。より具体的には、制御装置６１０は、搬送ロボット１１、操作ロボット１３、及び撮像センサ５２２を含むセンサ５１６に接続されており、また、必要に応じて、図示しない倉庫管理システム（ＷＭＳ：Warehouse Management System）、他の上位システム、及び／又は外部システムと相互に接続されている。

【0078】

また、制御装置６１０は、データ取得部６１２、データ記憶部６１４、及びロボット制御部６１６を含み、図５との対比から理解されるとおり、制御装置６１０は、主として、プロセッサ５０２、ストレージデバイス５０４、及び通信デバイス５０６から構成される。特に、プロセッサ５０２が、データ取得部６１２及びロボット制御部６１６として機能し、ストレージデバイス５０４が、データ記憶部６１４として機能することができる。ロボットシステム６００は、パレット１５へ操作対象１６を積み付けるための第１タスク、及び／又は、パレット１５から操作対象１６を荷下ろしするための第２タスクを実行するように構成することができる。

【0079】

［第１タスク：パレット１５への操作対象１６の積み付け］
第１タスクでは、以下に示すタスクＡ１乃至Ａ５が、適宜の順にかつ適宜のタイミングで組み合わせて実行される。
Ａ１：保管領域１０１に保管されているパレット１５を、搬送ロボット１１により、その保管位置から分類領域１０３におけるアクセス位置６０１（停止位置ＳＬ）へ搬送する。
Ａ２：分類領域１０３における例えばコンベヤ上の移載位置６０２（移載位置ＯＬ）上に仮置きされた操作対象１６を、操作ロボット１３で、ピックアップして把持する。
Ａ３：把持した操作対象１６を、移載位置６０２からアクセス位置６０１へ移動する。
Ａ４：その操作対象１６を、静止している搬送ロボット１１に保持されたパレット１５上の空いている指定位置に積み付ける。
Ａ５：操作対象１６が積み付けられたパレット１５を、搬送ロボット１１により、アクセス位置６０１から保管領域１０１における保管位置へ返却する。

【0080】

なお、本実施形態では、操作対象１６の積み付け先であるパレット１５を搬送ロボット１１で保持及び移動する例について説明するが、これに限定されない。例えば、搬送ロボット１１に載置できない構成のパレット１５が地面に置かれた状態で、操作対象１６の積み付け及び荷下ろしを行ってもよく、そのパレット１５を搬送ロボット１５とは異なる搬送手段（フォークリフト等）で移動させてもよい。また、パレット１５が他の搬送手段であるコンベヤ上に載置された状態で、操作対象１６の積み付け及び荷下ろしを行ってもよく、パレット１５はコンベヤで画定される搬送経路に沿って所定地点へ運ばれ、最終的にコンベア上から異なる搬送手段（フォークリフト等）で移動させてもよい。

【0081】

ここで、図７は、本開示による実施形態に係るロボットシステムを作動させて第１タスクを実行するための手順の一例を示すフロー図である。まず、ブロック７０１において、データ取得部６１２は、例えば、タスクＡ１を実行する以前における操作対象１６に関する情報、及び、各パレット１５に関する情報を含む第１データを取得し、データ記憶部６１４は、その第１データを操作対象１６及びパレット１５に関連付けて記憶する。

【0082】

例えば、データ取得部６１２は、分類領域１０３の移載位置６０２上に仮置きされた操作対象１６を、３Ｄビジョン等の撮像センサ５２２によって撮像し、その画像データを処理した結果と、必要に応じてマスターデータ５５２に基づいて、識別情報、位置情報、形状情報、重量、質量中心等の操作対象１６に関する情報を取得することができる。或いは、操作対象１６及びパレット１５に関する情報は、マスターデータ５５２における操作対象１６及びパレット１５の追跡情報から、推定又は特定することもできる。なお、操作対象１６を識別／追跡する手法としては、例えば、本出願人による特願２０１９－１１８６７８、特願２０１９－０８０２１３、米国特許出願１６／２５８，１２０等に記載された方法を適用することができる。或いは、データ取得部６１２は、それらの操作対象１６に関する情報をＷＭＳ等の上位システムから取得することもでき、この場合、操作対象１６が移載位置６０２に配置される前に、予め操作対象１６に関する情報を取得することもできる。

【0083】

次に、ブロック７０２において、ロボット制御部６１６は、操作対象１６に関する情報、及び、保管領域１０１に保管されている各パレット１５に関する情報に基づいて、操作対象１６を積み付けるためのパレット１５を決定する。それから、操作対象１６に関する情報（ＳＫＵ、大きさ、形状、重量、数量等）、パレット１５に関する情報（大きさ、形状、空き面積、耐荷重、数量、既に積み付けられた操作対象１６の平面及び高さ位置、等既に積み付けられた操作対象１６に関する情報等）等に基づいて、例えば、操作対象１６をＳＫＵ単位で可能な限り集約しつつ、倉庫全体での収納効率を高めるために好適なパレット１５の候補を選定することができる。

【0084】

この場合、パレット１５における同一の又は近似するＳＫＵを有する操作対象１６の配置が集約するようにしてもよく、また、そのような操作対象１６のみをパレット１５上に積載（単載）してもよく、或いは、ＳＫＵが互いに異なる複数種類の操作対象１６をパレット上に積載（混載）するようにしてもよい。これらは、パレット１５の使用形態によって、適宜選択することができる。例えば、パレット１５に操作対象１６を一時的に積み付けておく場合（仮置き）、上記の各情報に加え、仮置き後の操作対象１６の操作性（例えば、注文商品の荷下ろしの容易性等）等を考慮して、各パレット１５への単載／混載を選択して、パレット１５上に積み付ける操作対象１６を適宜選定したり、各操作対象１６の積み付け順を適宜決定したりといった制御を行うことができる。さらに、操作対象１６が積み付けられたパレット１５の分類領域１０３への搬送経路等を考慮して、１つ以上の最適なパレット１５を選定することもできる。

【0085】

また、上記の各情報に基づいて、また、仮置きのいかんに拘わらず、かつ、単載及び混載の何れにおいても、例えば、パレット１５上に関する情報（特に、空き面積、平面及や高さ位置等）を考慮して、操作対象１６を選定し、パレット１５上に積み上げていくことができる。さらに、例えば、入庫してくる操作対象１６に関する情報（条件）を考慮して、単載と混載の比率を調整したり、混載の際の各パレット１５における混載度合を調整したりといった制御を行うことができる。また、操作対象１６を積み付けることができるパレット１５を複数配置しておき、それらのパレット１５への積み付け操作を並行して行ってもよく、さらに、より好ましい条件のパレット１５を選択して作業効率を更に向上させることも可能である。またさらに、操作対象１６を直接パレット１５へ積み付ける前に、別の仮置き手段や仮置き場に操作対象１６を一旦載置してももちろんよい。

【0086】

次に、ブロック７０３において、ロボット制御部６１６は、決定した１つ以上のパレット１５を、その保管領域１０１から分類領域１０３のアクセス位置６０１へ搬送するための搬送ロボット１１の指定と、各搬送ロボット１１によるパレット１５の搬送経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、パレット１５のアクセス位置６０１への搬送を行うためのタスクＡ１の実行を、指定した搬送ロボット１１に指令する。

【0087】

タスクＡ１と同時に、又は、タスクＡ１と前後して、ブロック７０４において、ロボット制御部６１６は、操作対象１６に関する情報に基づいて、移載位置６０２に仮置きされたその操作対象１６を操作ロボット１３で、例えばピックアップして把持し、移載位置６０２からアクセス位置６０１へ移動するための制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、操作ロボット１３による操作対象１６の把持、及び、アクセス位置６０１への移動を行うためのタスクＡ２，Ａ３の実行を操作ロボット１３に指令する。

【0088】

これらのタスクＡ２，Ａ３を実行するタイミングは、特に制限されず、例えば、ロボット制御部６１６は、パレット１５がアクセス位置６０１へ到達する前に、上記制御シークエンスにおける少なくとも一部の操作の実行を操作ロボット１３に指令してもよい。この場合、パレット１５がアクセス位置６０１に到達する前に、操作ロボット１３による操作対象１６の把持とアクセス位置６０１への移動を完了し、パレット１５の到着後、直ちに、操作対象１６をパレットに積み付けるタスクＡ４を実行することができる。

【0089】

次いで、ブロック７０５において、制御装置６１０が、必要に応じて、３Ｄビジョン等の撮像センサ５２２により、アクセス位置６０１における操作対象１６及びパレット１５を撮像し、その画像データを処理することにより、操作対象１６とパレット１５の状態及び状況を確認する。ブロック７０５では、さらに、ロボット制御部６１６は、操作対象１６に関する情報、及び、パレット１５に関する情報（特に、パレットにおける操作対象１６の積載状況及び集約状況、並びに、パレット１５上の空き状況）に基づいて、操作対象１６を積み付けるためのパレット１５上の位置の指定と、その位置への操作対象１６の移動経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、静止している搬送ロボット１１に保持されたパレット１５上の空いている指定位置への操作対象１６のドロップを行うためのタスクＡ４の実行を操作ロボット１３に指令する。

【0090】

このとき、ロボット制御部６１６は、例えば、アクセス位置６０１で停止した搬送ロボット１１に保持されたパレット１５における任意の位置を、操作ロボット１３がパレット１５へアクセスする際の基準座標とすることができる。このパレット１５の静止位置は、パレット１５を保持する搬送ロボット１１が停止するアクセス位置６０１を基準に計算することができるが、搬送ロボット１１上のパレット１５位置が標準位置からずれる場合が生じ得る。そこで、制御装置６１０は、アクセス位置６０１におけるパレット１５の画像データから、搬送ロボット１１とパレット１５の位置を算出し、データ取得部６１２が、その搬送ロボット１１とパレット１５との相対的な位置情報を取得することができる。そして、ロボット制御部６１６は、その両者の相対的な位置情報に基づいて、アクセス位置６０１におけるパレット１５の位置情報を補正し、その補正されたパレット１５の位置情報に基づいて、タスクＡ４用の制御シークエンスを例えば機械学習等により作成又は取得すると好適である。

【0091】

こうして操作対象１６のパレット１５への積み付けが完了した後、ブロック７０６において、ロボット制御部６１６は、操作対象１６が積み付けられたパレット１５を搬送ロボット１１により、アクセス位置６０１から保管領域１０１における保管位置へ返却する搬送経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、パレット１５の保管領域１０１への搬送及び返却を行うためのタスクＡ５の実行を搬送ロボット１１に指令する。

【0092】

以上のパレット１５への操作対象１６の積み付けを行う第１タスクが完了した後、ブロック７０７において、データ取得部６１２は、操作対象１６が積み付けられたパレット１５に関する情報、及び、そのパレット１５における操作対象１６の積載位置の情報を含む第２データを取得し、データ記憶部６１４は、その第２データを操作対象１６及びパレット１５に関連付けて記憶する。

【0093】

ロボット制御部６１６は、次回以降に実施する操作対象１６のパレット１５への積み付け作業時に、その第２データに基づいて、パレット１５における操作対象１６の配置が集約するように、換言すれば、不要な空間を極力無くすように操作対象１６を密に保管するための制御シークエンスを作成又は取得することができる。また、この場合、操作対象１６の特性に基づいて、例えば、同一の又は近似するＳＫＵを有する操作対象１６が集合するように、又は、形状寸法が同一の又は近似する操作対象１６が集約して保管されるような制御シークエンスを作成又は取得することもできる。このように取得されるパレット１５における操作対象１６の積載状況に関する第２データは、操作対象１６毎に、かつ、操作対象１６の積み付け作業毎に更新され、後述する第２タスク（パレット１５からの操作対象１６の荷下ろし）において適宜利用することができる。

【0094】

さらに、データ記憶部６１４は、そうして得られた第２データに基づいて、パレット１５における複数の操作対象１６の位置（配置）情報を、操作対象１６単位又はパレット１５のレイヤー単位で２次元情報として、或いは、パレット１５の全体に亘って３次元情報として記憶することができる。

【0095】

また、操作対象１６は、識別情報として識別コード又は識別タグを、例えばその側面に有していてもよい。こうすれば、操作対象１６がパレット１５に積み上げられた状態でも、操作対象１６の識別情報がパレット１５の外部から視認可能に露呈し得る。そして、撮像センサ５２２等により、その操作対象１６の識別情報を確認することにより、操作対象１６がパレット１５に積載されたままの状態でも、操作対象１６の識別及び特定を簡易に行うことができる。この場合、前記の如く、パレット１５における複数の操作対象１６の位置情報を、２次元情報又は３次元情報として記憶しておけば、１つの操作対象１６を特定することにより、そのパレット１５に積載されている操作対象１６を、パレット１５上のレイヤー単位で又はパレット１５単位で、簡便に特定することができる。なお、撮像センサ５２２は、パレット１５を保持した搬送ロボット１１が静止した状態、又は、パレット１５を保持した搬送ロボット１１が移動している状態、すなわち、パレット１５が静止又は移動している状態の何れにおいても、パレット１５を撮像するように構成することができる。

【0096】

また、ロボット制御部６１６は、パレット１５への操作対象１６の積み付け作業（タスクＡ４）が実際に終了する前に、パレット１５への操作対象１６の積み付けが完了したと判断するように構成してもよい。例えば、操作ロボット１３のエンドエフェクタの作動状態により、又は、撮像センサ５２２で操作対象１６の移動を追跡することにより、操作対象１６の全部又は大部分がパレット１５上に移動したとき、又は、操作対象１６の一部がパレット１５又は既に積載されている操作対象１６に接触したとき等に、操作対象１６の積み付けが完了したと判断することができる。

【0097】

ロボットシステム６００は、第１タスク（パレット１５への操作対象１６の積み付け）と、以下に示す単位タスクＢ１乃至Ｂ５を適宜の順にかつタイミングで組み合わせて実行する第２タスク（パレット１５からの操作対象１６の荷下ろし）を実施することができる。

【0098】

［第２タスク：パレット１５からの操作対象１６の荷下ろし］
第２タスクでは、以下に示すタスクＢ１乃至Ｂ５が、適宜の順にかつ適宜のタイミングで組み合わせて実行される。
Ｂ１：保管領域１０１に保管されており、操作対象１６が積載されたパレット１５を、搬送ロボット１１により、その保管位置から分類領域１０３におけるアクセス位置６０１（停止位置ＳＬ）へ搬送する。
Ｂ２：アクセス位置６０１で静止している搬送ロボット１１に保持されたパレット１５上の操作対象１６を、操作ロボット１３で例えばピックアップして把持する。
Ｂ３：把持した操作対象１６を、アクセス位置６０１から移載位置６０２へ移動する。
Ｂ４：その操作対象１６を、移載位置６０２にドロップして仮置きする。
Ｂ５：操作対象１６が荷下ろしされたラック１５を、搬送ロボット１１により、アクセス位置６０１から保管領域１０１における保管位置へ返却する。

【0099】

なお、第１タスクに関する説明と同様に、本実施形態では、操作対象１６の荷下ろし対象であるパレット１５を搬送ロボット１１で保持及び移動する例について説明するが、これに限定されない。

【0100】

ここで、図８は、本開示による実施形態に係るロボットシステムを作動させて第２タスクを実行するための手順の一例を示すフロー図である。まず、ブロック８０１において、データ取得部６１２は、例えば、タスクＢ１を実行する以前における操作対象１６に関する情報、及び、各パレット１５に関する情報を含む第１データを取得し、データ記憶部６１４は、その第１データを操作対象１６及びパレット１５に関連付けて記憶する。

【0101】

例えば、データ取得部６１２は、データ記憶部６１４に記憶された第２データと、必要に応じてマスターデータ５５２に基づいて、識別情報、位置情報、形状情報、重量、質量中心等の操作対象１６に関する情報、及び、その操作対象１６が積載されているパレット１５の識別情報及び保管位置情報を取得することができる。そして、ブロック８０２において、ロボット制御部６１６は、これらの操作対象１６に関する情報、及び、保管領域１０１に保管されている各パレット１５に関する情報に基づいて、操作対象１６を荷下ろしするためのパレット１５を選定し、分類領域１０３への搬送経路等を考慮して、１つ以上の最適なパレット１５を決定することができる。

【0102】

次に、ブロック８０３において、ロボット制御部６１６は、決定した１つ以上のパレット１５を、その保管領域１０１から分類領域１０３のアクセス位置６０１へ搬送するための搬送ロボット１１の指定と、各搬送ロボット１１によるパレット１５の搬送経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、パレット１５のアクセス位置６０１への搬送を行うためのタスクＢ１の実行を、指定した搬送ロボット１１に指令する。

【0103】

操作ロボット１３のエンドエフェクタがアクセス位置６０１にない場合、タスクＢ１と同時に、又は、タスクＢ１と前後して、ロボット制御部６１６は、操作ロボット１３のエンドエフェクタをアクセス位置６０１へ移動させるタスクの実行を操作ロボット１３に指令する。この場合、パレット１５がアクセス位置６０１に到達する前に、操作ロボット１３の移動を完了しておくことにより、パレット１５の到着後、直ちに、操作対象１６をパレット１５から荷下ろしするタスクＢ２を実行することができる。

【0104】

搬送ロボット１１がアクセス位置６０１へ到着すると、ブロック８０４において、制御装置６１０は、３Ｄビジョン等の撮像センサ５２２により、アクセス位置６０１における操作対象１６及びパレット１５を撮像し、その画像データを処理することにより、操作対象１６とパレット１５の状態及び状況を確認する。ブロック８０４では、さらに、ロボット制御部６１６は、操作対象１６に関する情報、及び、パレット１５に関する情報（特に、パレットにおける操作対象１６の積載状況及び集約状況）に基づいて、操作対象１６のパレット１５における位置の指定と、その位置へのエンドエフェクタの移動経路を含み、その操作対象１６をピックアップし、アクセス位置６０１から移載位置６０２へ移動するための制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、アクセス位置６０１で静止している搬送ロボット１１に保持されたパレット１５上の操作対象１６の把持、及び、移載位置６０２への移動を行うためのタスクＢ２，Ｂ３の実行を操作ロボット１３に指令する。

【0105】

また、この場合、操作対象１６に関する情報とパレット１５に関する情報（第２データ）、及び／又は、画像データの処理結果に基づいて、パレット１５から操作対象１６を荷下ろしする際の取扱性を示す指標を算出してもよい。そして、その取扱性を示す指標に基づいて、操作対象１６、及び、操作対象１６が積み付けられたパレット１５の特定を含む制御シークエンスを、例えば機械学習等により作成又は取得するように構成してもよい。

【0106】

さらに、このとき、第１タスクと同様に、制御装置６１０は、アクセス位置６０１におけるパレット１５の画像データから、搬送ロボット１１とパレット１５の位置を算出し、データ取得部６１２が、その搬送ロボット１１とパレット１５との相対的な位置情報を取得することができる。そして、ロボット制御部６１６は、その両者の相対的な位置情報に基づいて、アクセス位置６０１におけるパレット１５の位置情報を補正し、その補正されたパレット１５の位置情報に基づいて、タスクＢ２用の制御シークエンスを、例えば機械学習等により作成又は取得すると好適である。

【0107】

次いで、ブロック８０５において、制御装置６１０は、必要に応じて、３Ｄビジョン等の撮像センサ５２２により、移載位置６０２で保持された操作対象１６、及び、移載位置６０２（例えばコンベヤ上、最終位置等）を撮像し、その画像データを処理することにより、操作対象１６及び移載位置６０２上の状態及び状況を確認する。ブロック８０５では、さらに、ロボット制御部６１６は、操作対象１６を移載する指定位置、及び、その指定位置への操作対象１６の移動経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、移載位置６０２におけるの指定位置への操作対象１６のドロップを行うためのタスクＢ４の実行を操作ロボット１３に指令する。なお、操作対象１６を移載位置６０２に用意された容器等に直接移載する場合には、撮像センサ５２２により、その容器内の空き状況を確認して、収納効率を高めるようにしてもよい。

【0108】

こうして操作対象１６のパレット１５からの荷下ろしが完了した後、ブロック８０６において、ロボット制御部６１６は、操作対象１６が荷下ろしされたパレット１５を搬送ロボット１１により、アクセス位置６０１から保管領域１０１における保管位置へ返却する搬送経路を含む制御シークエンスを、例えば機械学習等により作成又は取得する。ロボット制御部６１６は、その制御シークエンスに基づいて、パレット１５の保管領域１０１への搬送を行うためのタスクＢ５の実行を搬送ロボット１１に指令する。

【0109】

以上のパレット１５からの操作対象１６の荷下ろしを行う第２タスクが完了した後、ブロック８０７において、データ取得部６１２は、操作対象１６が荷下ろしされたパレット１５に関する情報、及び、そのパレット１５に積載されている他の操作対象１６の積載位置の情報を含む第２データを取得し、データ記憶部６１４は、その第２データを操作対象１６及びパレット１５に関連付けて記憶する。このとおり、パレット１５における操作対象１６の積載状況に関する第２データは、操作対象１６毎に、かつ、操作対象１６の荷下ろし作業毎にも更新される。また、データ記憶部６１４が、第２データに基づいて、パレット１５における複数の操作対象１６の位置情報を、操作対象１６単位又はパレット１５単位で記憶し、また、２次元情報又は３次元情報として記憶し得ることは、第１タスクの場合と同様である。

【0110】

また、第１タスクの場合と同様に、操作対象１６が例えば側面に識別情報を有していれば、操作対象１６がパレット１５上に積み上げられた状態でも、、操作対象１６の識別情報を撮像センサ５２２で確認することができ、操作対象１６がパレット１５上に積み上げられたままの状態でも、実測により操作対象１６の識別を簡易に行うこともできる。さらに、撮像センサ５２２が、パレット１５を保持した搬送ロボット１１が静止した状態、又は、パレット１５を保持した搬送ロボット１１が移動している状態で、ラック１５を撮像するように構成することができる。

【0111】

また、ロボット制御部６１６は、パレット１５からの操作対象１６の荷下ろし作業（タスクＢ２）が実際に終了する前に、パレット１５からの操作対象１６の荷下ろしが完了したと判断するように構成してもよい。例えば、操作ロボット１３のエンドエフェクタの作動状態により、又は、撮像センサ５２２で操作対象１６の移動を追跡することにより、操作対象１６の全部又は大部分がパレット１５の外部に移動したとき、又は、操作対象１６の全部又は一部がパレット１５又は下に積載されている操作対象１６からに離れたとき等に、操作対象１６の荷下ろしが完了したと判断することができる。

【0112】

以上のように構成されたロボットシステム５００，６００の制御装置６１０及び制御方法によれば、操作対象１６をパレット１５に積み付ける以前、又は、操作対象１６をパレット１５から荷下ろしする以前に、操作対象１６及びパレット１５のそれぞれに関する情報を把握し、それらの情報を含む第１データに基づいて例えば機械学習等により作成又は取得される制御シークエンスに基づくタスク（第１及び第２タスク）が実行される。これにより、操作対象１６をパレット１５に積み付ける操作、又は、操作対象１６をパレット１５から荷下ろしする操作を効率的かつ円滑に実施することができる。また、その際に、ロボットシステム５００，６００におけるユニット間（例えば、搬送ロボット１１と操作ロボット１３）の高度な連携を実現することができ、これにより、ロボットシステム５００，６００の高機能化を図ることができる。

【0113】

［他の適用例］
図９は、本開示の一実施形態に係るロボットシステムが動作し得る例示的な環境を示す概略平面図である。ロボットシステム１００も、ロボットシステム６００と同様に、例えば、物流システムの入庫、補充・保管、及び出庫拠点である倉庫等に設けられ得る。また、ロボットシステム１００は、１つ以上のタスク、及び／又は、適宜のタスクが複数組み合わされて構成されるタスクを実施又は実行するように構成され得る。それらのタスクは、１つ以上のユニット（例えば、各種ロボット、各種デバイス、それらと一体又は別体に設けられた制御装置等）を含むロボットシステム１００によって好適に実施又は実行され得る。

【0114】

図９に示すように、ロボットシステム１００は、輸送ユニットとしての１つ以上の搬送ロボット１１，１２（例えば、パレットＡＧＶ）、異なる場所間で操作対象を移動するように構成された移送／仕分けユニットとしての１つ以上の操作ロボット１３（例えば、ピースピッキングロボット）、及び、それらの制御装置（図９Ａには図示せず）を含むことができる。

【0115】

ロボットシステム１００が実行するタスクは、所定の目的を達成するために、各ユニットが個々のタスクを適宜の順番で実行するように組み合わせて構成したり、また、各ユニットが種々の異なるタスクを適宜選択して実行したりするように構成され得る。ロボットシステム１００において、各ユニットは、保管領域１０１において、パレット１５や容器１６に収納された状態で分散配置された種々の異なる物品、及び／又は、所定の入庫順序や梱包順序、或いは物品の特性（ＳＫＵ等）に基づいて分類された種々の異なる物品にアクセスするための１つ以上のタスクを実行することができる。

【0116】

搬送ロボット１１は、例えば、注文物品が収納された容器１６が積み付けられたパレット１５を、保管領域１０１と搬送領域１０２との間で移送するタスクを実行することができる。一方、搬送ロボット１２は、注文物品が収納された容器１６を、搬送されたラック１５から取り出す（ピックアップ）することができる。また、搬送ロボット１２は、その容器１６を、搬送領域１０２と分類領域１０３（物品をグルーピングするための領域：図９における容器１６の停止位置ＳＬ）との間で移送するタスクを実行することができる。他方、操作ロボット１３は、注文物品を、分類領域１０３における容器１６からピックアップし、移載位置ＯＬ（例えば、注文物品を梱包するコンテナ、箱、それらを載せたコンベヤや仮置き場等）及び／又は他の出荷用容器等に移動するタスクを実行することができる。

【0117】

タスクの実行に際し、例えば、出荷注文が出されたとき、保管された物品の並べ替えが行われるとき、物品の補充が行われるとき等に、ロボットシステム１００は、各ユニット、及び／又は、グループ化されたユニット群が作動する異なる領域を識別することができる。例えば、ロボットシステム１００は、搬送ロボット１１が作動する保管領域１０１、搬送ロボット１２が作動する搬送領域１０２、搬送ロボット１２及び／又は操作ロボット１３が作動する分類領域１０３を識別することができる。なお、搬送ロボット１１，１２、及び操作ロボット１３が作動する領域は、上記に限られず、例えば、適宜の制御シークエンスに従って、搬送ロボット１１が更に搬送領域１０２で作動してもよく、搬送ロボット１２が更に保管領域１０１で作動するように構成することもできる。

【0118】

また、各ユニットが作動する領域は、互いに隣接していてもよく、部分的に重なってもよい。例えば、保管領域１０１は、搬送領域１０２に隣接することができ、また、搬送領域１０２は、分類領域１０３と部分的に重なっていてもよい。この場合、搬送ロボット１１，１２は、例えば図９に示すように、搬送領域１０２内のパレット１５にアクセスすることにより、別々の領域内で作動することができる。その結果、ロボットシステム１００は、異なる種類のユニット同士による潜在的な衝突の可能性、及び／又は、互いの障害物となってしまう可能性を軽減することができる。なお、操作ロボット１３は、所定位置に固定配置することができ、この場合、搬送ロボット１２は、他のユニットに衝突したり、移動中に渋滞を引き起こしたりすることなく、分類領域１０３内に進入し易くなる。

【0119】

また、ロボットシステム１００は、搬送ロボット１１，１２等の輸送ユニットを誘導して操縦するために、適宜の経路を利用することができる。例えば、ロボットシステム１００は、１つ以上の搬送ロボット１１を操縦するための第１経路Ｐ１、及び／又は、１つ以上の搬送ロボット１２を操縦するための第２経路Ｐ２を使用することができる。なお、第１経路Ｐ１と第２経路Ｐ２は、例えば図９に示すように、互いに重ならないように、距離又は空間を開けて分離するように設定してもよいが、これに限定されない。

【0120】

また、第１経路Ｐ１及び第２経路Ｐ２には、搬送ロボット１１，１２等の輸送ユニットが、自走で移動する際に辿ることができるフロアマーキング（例えば、塗装、テープ等）が施されていてもよい。これにより、ロボットシステム１００は、フロアマーキングの形状／位置を識別し、経路計算、及び／又は、位置（例えば、輸送対象のピックアップ位置及び／又はドロップ位置）の順序付け等を輸送ユニットに指示する際に、その識別した情報を使用することができる。さらに、第１経路Ｐ１及び第２経路Ｐ２は、一連のリンク（例えばパレット１５間の経路）、及び、ノード（例えば、経路の交差位置、又は、移動方向を変更するときの指定位置）を含むことができる。

【0121】

また、ロボットシステム１００は、搬送ロボット１１，１２等の輸送ユニットが、輸送対象のピックアップ位置とドロップ位置との間を移動する際の効率的かつ他のユニットと干渉しない経路を計算することができる。それらの輸送ユニットは、例えば位置／ナビゲーションシステムを使用して、その経路内における現在位置を計算し、その現在位置に基づいて、指定された経路及びルートに沿って移動することができる。

【0122】

なお、ロボットシステム１００は、前述のように、タスクを、複数のユニットによって実行される一連のタスクとして設定することができ、それらの複数のユニットを、個々のタスクの特性に基づいて、統合タスクの実行を最適化することができるように、各ユニットを調整及び制御することができ、例えば、複数のユニットを必要とする範囲の動作を規定したり、複数の指定された領域に亘る動作の範囲を規定したりといった調整を行うことができる。

【0123】

例えば、出荷注文に対応するには、その注文を履行するために、保管領域１０１における注文物品の保管位置、例えば、その物品が積載されたパレット１５、又は、その注文物品が収納された容器１６が積載されたパレット１５を特定し、そのパレット１５を搬送領域１０２へ移送し、そのパレット１５からその容器１６を分類領域１０３へ移送し、その注文物品をその容器１６から目標位置、例えば、出荷用容器、及び／又はコンベヤへ移載し、その容器１６をパレット１５へ返却し、そのパレット１５を保管領域１０１へ返却すること、又は、それらのタスクの適宜の組み合わせを実行するタスクを設定し、実行することができる。

【0124】

また、物品の入庫や補充に対応するには、利用可能な保管位置を決定するために、例えば需要予測に従って、物品の保管位置として、その物品を収納可能な容器１６、及び、その容器１６を積載可能なパレット１５を決定すること、容器１６へ入庫又は補充物品を収納すること、物品が入庫又は補充された容器１６をパレット１５に積み付けること、そのパレット１５を所定の対応する保管位置へ移送すること、又は、それらのタスクの適宜の組み合わせを実行するタスクを設定し、実行することができる。

【0125】

また、ロボットシステム１００は、各ユニットを操縦するために、例えば各ユニット内の作動装置を動作させるための指令（コマンド）、設定条件、動作計画、位置、識別情報、経路、現在のユニット位置、状態及び進行情報、又は、それらの組み合わせを生成することができる。生成された情報は、各ユニット間で通信することができ、また、制御装置及び各ユニット間で、その生成された各種情報を共有してタスクを実行することができる。

【0126】

なお、以上のロボットシステム１００に関する説明においては、主として、物品の出庫（出荷）に関連するタスクを実行している状態について述べたが、物品の入庫や補充に関連するタスクを実行する場合には、基本的に、以上の説明とは逆の手順でロボットシステム１００を動作させる制御シークエンスを例えば機械学習等により作成又は取得し、その制御シークエンスに基づいたタスクを実行することにより対応することができる。

【0127】

以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明は、あらゆる点において本開示の一例を示したに過ぎず、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものや特定のものに限定されるわけではなく適宜変更することができる。

【0128】

換言すれば、本開示による実施形態は、他の構成を排除するものではなく、また、本開示を上記の実施形態に限定するものでもない。本開示による上記実施形態に均等な種々の変形形態が、本開示の範囲内で実現可能である。例えば、プロセス、ステップ、ルーチン、又はブロックの実施順序は、本開示の範囲内の代替的な実施態様により、異なる順番で実施することができ、また、いくつかのプロセス、ステップ、ルーチン、又はブロックは、本開示の範囲内で、削除、移動、追加、細分化、結合、及び／又は変形されてもよい。また、これらのプロセス、ステップ、ルーチン、又はブロックの各々は、様々な異なる方法で実施される場合がある。さらに、プロセス、ステップ、ルーチン、又はブロックが、上記実施形態において、連続して実施されるものであっても、それらのプロセス、ステップ、ルーチン、又はブロックは、並行して実施することができる場合があり、或いは、異なる時間に非連続的に実施される場合がある。またさらに、本明細書に示す特定の数は、異なる値又は異なる範囲であってもよい場合がある。

【0129】

また、上記実施形態は、本開示の特定の実施例として、想定され得る“ベストモード”として限定されるものではなく、多くの代替的な方法で実施することができる場合もある。さらに、上記実施形態の詳細は、その特定の実施態様において、著しく変化する場合があるが、依然として、本開示の技術に包含され得る。加えて、本開示の特定の特徴又は態様を記載する際に使用された特定の用語は、その用語が関連付けられた本開示における特定の特性、特徴、又は態様、或いは、特定の実施形態に限定されるものではなく、よって、本発明は、特許請求の範囲によるものを除き、特定の意味に限定されない。また、本発明は、任意数の請求項の形態で規定されているが、本開示の範囲内において、様々な態様が想定されていることは言うまでもない。

【符号の説明】

【0130】

１１，１２…搬送ロボット、１３，１４…操作ロボット、１５…パレット、１６…操作対象，容器、４０…車両、１００，５００，６００…ロボットシステム、１０１…保管領域、１０２…搬送領域、１０３…分類領域、１３１，１４１…エンドエフェクタ、１３２，１４２…ロボットアーム、５０２…プロセッサ、５０４…ストレージデバイス、５０６…通信デバイス、５０８…入力－出力デバイス、５１０…ディスプレイ、５１２…作動デバイス、５１４…移送モータ、５１６…センサ、５２２…撮像センサ、５２４…位置センサ、５２６…接触センサ、５５２…マスターデータ、５５４…対象追跡データ、６０１…アクセス位置、６０２…移載位置、６１０…制御装置、６１２…データ取得部、６１４…データ記憶部、６１６…ロボット制御部、ＯＬ…移載位置、Ｐ１…第１経路、Ｐ２…第２経路、ＳＬ…停止位置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】