特許 7494943 制御装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】制御装置、制御方法及びプログラム

(51)【国際特許分類】

   B25J 13/00 20060101AFI20240528BHJP

   B25J 13/08 20060101ALI20240528BHJP

【ＦＩ】

B25J13/00 Z

B25J13/08 Z

【請求項の数】 8

(21)【出願番号】P 2022577876

(86)(22)【出願日】2021-01-27

(86)【国際出願番号】 JP2021002823

(87)【国際公開番号】W WO2022162784

(87)【国際公開日】2022-08-04

【審査請求日】2023-07-20

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】一圓 真澄

(72)【発明者】

【氏名】小川 雅嗣

(72)【発明者】

【氏名】若山 永哉

【審査官】松浦 陽

(56)【参考文献】

【文献】特開２０２０－１４２３２３（ＪＰ，Ａ）

【文献】特開平１０－１０５２１７（ＪＰ，Ａ）

【文献】特開平０９－０５２６２３（ＪＰ，Ａ）

【文献】特開２０１０－２０２２９１（ＪＰ，Ａ）

【文献】特開２００７－０１５０５５（ＪＰ，Ａ）

【文献】特開２０１９－２００７９２（ＪＰ，Ａ）

【文献】特開２０１６－１０７３４９（ＪＰ，Ａ）

【文献】特開２０１８－００１３１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０１６５９７２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｇ０５Ｂ １９／１８ － １９／４１６

(57)【特許請求の範囲】

【請求項1】

物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定する状態設定手段と、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定する動作計画手段と、
を有し、
前記作業は、周期的に繰り返し実行され、
前記状態設定手段は、前のサイクルにおける前記動作計画に基づく前記作業の完了前に、現在のサイクルに対する前記開始予測状態と、前記目標状態とを設定し、
前記状態設定手段は、前記ロボットの可動範囲内に搬送された前記物品の状態と、前記前のサイクルにおける前記動作計画に基づく前記作業の完了後の前記仕分容器の状態とを表す前記開始予測状態を設定する制御装置。

【請求項2】

前記状態設定手段は、前記開始予測状態と、前記物品の分類とに基づき、前記目標状態を設定する、請求項１に記載の制御装置。

【請求項3】

前記作業空間を計測する計測装置が出力する計測信号に基づき、搬送機械により搬送される物品から、前記作業において仕分ける対象となる物品を決定する仕分対象決定手段をさらに有する、請求項１または２に記載の制御装置。

【請求項4】

前記動作計画手段は、前記動作計画として、前記開始予測状態と前記目標状態とにより特定される前記ロボットのタスクを時相論理により表した論理式に基づき、前記ロボットのタイムステップ毎の動作を表す動作シーケンスを生成する、請求項１～３のいずれか一項に記載の制御装置。

【請求項5】

前記動作シーケンスに基づいて、前記ロボットを制御するロボット制御手段をさらに有する、請求項４に記載の制御装置。

【請求項6】

前記物品及び前記仕分容器の状態の計測結果、又は、前記動作計画の少なくとも一方に基づき、前記仕分容器の搬出及び補充を制御する仕分容器制御手段をさらに有する、請求項１～５のいずれか一項に記載の制御装置。

【請求項7】

コンピュータが、
物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定し、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定し、
前記作業は、周期的に繰り返し実行され、
前のサイクルにおける前記動作計画に基づく前記作業の完了前に、現在のサイクルに対する前記開始予測状態と、前記目標状態とを設定し、
前記ロボットの可動範囲内に搬送された前記物品の状態と、前記前のサイクルにおける前記動作計画に基づく前記作業の完了後の前記仕分容器の状態とを表す前記開始予測状態を設定する制御方法。

【請求項8】

物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定し、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定し、
前記作業は、周期的に繰り返し実行され、
前のサイクルにおける前記動作計画に基づく前記作業の完了前に、現在のサイクルに対する前記開始予測状態と、前記目標状態とを設定し、
前記ロボットの可動範囲内に搬送された前記物品の状態と、前記前のサイクルにおける前記動作計画に基づく前記作業の完了後の前記仕分容器の状態とを表す前記開始予測状態を設定する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットに作業させるタスクに関する処理を行う制御装置、制御方法及び記憶媒体の技術分野に関する。

【背景技術】

【0002】

ロボットに作業させるタスクが与えられた場合に、当該タスクを実行するために必要なロボットの制御を行う制御手法が提案されている。例えば、特許文献１には、ハンドを有するロボットにより複数の物品を把持して容器に収容する場合に、ハンドが物品を把持する順序の組み合わせを決定し、組み合わせ毎に算出した指標に基づき、収容する物品の順序を決定するロボット制御装置が開示されている。また、特許文献２には、バラ品の詰め合わせ計画に従って、バラ品の仕分パレットへの詰め合わせをロボットに実行させるシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－５１６８４号公報

【文献】特開２０１０－２０２２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

段ボールなどの箱に収容された複数種類の物品を種類又はロット別に仕分ける作業は、箱から物品の取り出し、物品の種類等に応じた仕分容器（トレイ）への移動、トレイの搬送などの複数の作業が絡んでおり、ロボットによる作業自動化のための動作計画の策定が困難であった。

【0005】

本発明の目的の１つは、上述した課題を鑑み、物品の仕分けに関するタスクをロボットに好適に実行させることが可能な制御装置、制御方法及び記憶媒体を提供することである。

【課題を解決するための手段】

【0006】

制御装置の一の態様は、
物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定する状態設定手段と、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定する動作計画手段と、
を有し、
前記作業は、周期的に繰り返し実行され、
前記状態設定手段は、前のサイクルにおける前記動作計画に基づく前記作業の完了前に、現在のサイクルに対する前記開始予測状態と、前記目標状態とを設定し、
前記状態設定手段は、前記ロボットの可動範囲内に搬送された前記物品の状態と、前記前のサイクルにおける前記動作計画に基づく前記作業の完了後の前記仕分容器の状態とを表す前記開始予測状態を設定する制御装置である。

【0007】

制御方法の一の態様は、
コンピュータが、
物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定し、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定し、
前記作業は、周期的に繰り返し実行され、
前のサイクルにおける前記動作計画に基づく前記作業の完了前に、現在のサイクルに対する前記開始予測状態と、前記目標状態とを設定し、
前記ロボットの可動範囲内に搬送された前記物品の状態と、前記前のサイクルにおける前記動作計画に基づく前記作業の完了後の前記仕分容器の状態とを表す前記開始予測状態を設定する制御方法である。

【0008】

プログラムの一の態様は、
物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定し、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定し、
前記作業は、周期的に繰り返し実行され、
前のサイクルにおける前記動作計画に基づく前記作業の完了前に、現在のサイクルに対する前記開始予測状態と、前記目標状態とを設定し、
前記ロボットの可動範囲内に搬送された前記物品の状態と、前記前のサイクルにおける前記動作計画に基づく前記作業の完了後の前記仕分容器の状態とを表す前記開始予測状態を設定する処理をコンピュータに実行させるプログラムである。

【発明の効果】

【0009】

物品の仕分けに関するタスクをロボットに好適に実行させることができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における仕分制御システムの構成の一例を示す。

【図2】制御装置のハードウェア構成の一例を示す。

【図3】バラ仕分けの作業空間の俯瞰図の一例である。

【図4】（Ａ）パイプライン処理を行わない場合の作業サイクルを表す図である。（Ｂ）第１態様におけるパイプライン化された作業サイクルを表す図である。（Ｃ）第２態様におけるパイプライン化された作業サイクルを表す図である。

【図5】制御装置の機能ブロックの一例である。

【図6】アプリケーション情報のデータ構造の一例を示す。

【図7】動作計画部の機能ブロックの一例である。

【図8】図３に示すバラ仕分けの作業を簡略化したピックアンドプレイスの作業空間の俯瞰図の一例を示す。

【図9】第１実施形態において制御装置が実行するロボット制御処理の概要を示すフローチャートの一例である。

【図10】変形例における仕分制御システムの構成の一例を示す。

【図11】第２実施形態における制御装置のブロック構成の一例である。

【図12】第２実施形態において制御装置が実行するフローチャートの一例である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、制御装置、制御方法及び記憶媒体の実施形態について説明する。

【0012】

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係る仕分制御システム１００の構成を示す。仕分制御システム１００は、倉庫に運ばれた薬品などの物品（製品）を種類別又はロット別に仕分ける作業（「バラ仕分け」とも呼ぶ。）を自動又は半自動により実行するシステムであって、主に、制御装置１と、計測装置４と、被制御機器５と、を備える。制御装置１と計測装置４と被制御機器５とは、通信網３を介してデータ通信を行う。

【0013】

制御装置１は、計測装置４から供給される計測信号「Ｓ１」に基づき、バラ仕分けを実行するために必要な制御信号「Ｓ２」を、ロボット５１等の被制御機器５に対して供給する。この場合、制御装置１は、ロボット５１に実行させるタスク（「目的タスク」とも呼ぶ。）を設定し、設定した目的タスクを実行するためのロボット５１の動作計画を時相論理に基づき策定する。この場合、制御装置１は、ロボット５１が受付可能なタスクのタイムステップ（時間刻み）毎のシーケンスに目的タスクを変換する。そして、制御装置１は、生成した動作シーケンスを表す制御信号Ｓ２をロボット５１に供給することで、ロボット５１を制御する。以後では、ロボット５１が受付可能な単位により目的タスクを分解したタスク（コマンド）を、「サブタスク」とも呼び、目的タスクを達成するためにロボット５１が実行すべきサブタスクのシーケンスを「動作シーケンス」と呼ぶ。なお、本実施形態では、一例として、時相論理に基づき動作計画を策定する処理について説明するが、時相論理に基づく動作計画の策定に限らず、制御装置１は、他の任意の方法により動作計画を策定してもよい。

【0014】

計測装置４は、バラ仕分けの作業空間内の状態を検出するセンサである。計測装置４は、例えば、カメラ４１と、ライダ４２と、ＢＣＲ（Bar-Code Reader）４３とを含んでいる。計測装置４は、生成した計測信号Ｓ１を、通信網３を介して制御装置１に供給する。なお、計測装置４は、作業空間内で移動する自走式又は飛行式のセンサ（ドローンを含む）を含んでもよい。また、計測装置４は、ロボット５１などの被制御機器５に設けられたセンサ、及び作業空間内の他の物体に設けられたセンサなどを含んでもよい。また、計測装置４は、作業空間内の音を検出するセンサを含んでもよい。このように、計測装置４は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。

【0015】

被制御機器５は、バラ仕分けの作業空間において設けられ、制御装置１から供給される制御信号Ｓ２等に基づき制御される機器である。本実施形態では、一例として、被制御機器５は、ロボット５１と、倉庫内において物品を搬送する搬送機械（コンベア）５２と、ロボット５１が仕分けた物品を収容するトレイや折り畳みコンテナなどの仕分容器の管理を行う仕分容器管理機構５３とを有している。ロボット５１は、作業空間において１又は複数台存在し、複数台存在する場合には、バラ仕分けに関するタスクを必要に応じて協働して実行する。ロボット５１は、垂直多関節型ロボット、水平多関節型ロボット、又はその他の任意の種類のロボットであってもよい。ロボット５１は、ロボット５１の状態を示す状態信号を制御装置１に供給してもよい。この状態信号は、ロボット５１全体又は関節などの特定部位の状態（位置、角度等）を検出するセンサの出力信号であってもよく、ロボット５１の制御部が生成したロボット５１のサブタスクの進捗状態を示す信号であってもよい。

【0016】

なお、図１に示す仕分制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、制御装置１は、計測装置４及び被制御機器５と、通信網３を介すことなく、無線若しくは有線による直接通信により、データ通信を行ってもよい。また、制御装置１とロボット５１とは、一体に構成されてもよい。また、制御装置１は、複数の装置から構成されてもよい。この場合、制御装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、ロボット５１には、制御装置１の少なくとも一部又は全ての機能が組み込まれていてもよい。

【0017】

（２）ハードウェア構成
図２は、制御装置１のハードウェア構成を示す。制御装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。

【0018】

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、制御装置１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。

【0019】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、制御装置１が実行する処理を実行するためのプログラムが記憶される。また、メモリ１２は、アプリケーション情報ＩＡと、仕分情報ＩＢとを有する。

【0020】

アプリケーション情報ＩＡは、ロボット５１が実行すべきシーケンスである動作シーケンスを目的タスクから生成するために必要な種々の情報である。仕分情報ＩＢは、物品の仕分けに関する情報であり、例えば、計測装置４の計測信号Ｓ１に基づき特定される物品の識別情報（ＩＤ）と商品の分類とが紐付けられた情報である。上述の分類は、同一の仕分容器に区分け可能か否かに基づく分類であり、例えば、物品の種類又はロットに基づく分類である。なお、仕分容器にＩＤ（識別情報）が付されている場合には、仕分情報ＩＢは、物品のＩＤと当該物品の仕分先となる仕分容器のＩＤとを紐付けた情報であってもよい。

【0021】

なお、メモリ１２が記憶する情報の一部は、制御装置１と通信可能な１又は複数の外部記憶装置により記憶されてもよく、制御装置１に対して着脱自在なフラッシュメモリなどの記憶媒体により記憶されてもよい。

【0022】

インターフェース１３は、制御装置１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。

【0023】

なお、制御装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、制御装置１は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。

【0024】

（３）バラ仕分けの概要
図３は、仕分制御システム１００によるバラ仕分けの一例を概略的に表した作業空間の俯瞰図である。図３では、仕分けの対象となる複数種類の物品を梱包した梱包箱６がメーカ等から配送された倉庫内において、梱包箱６から取り出した物品７（７Ａ～７Ｇ，…）を複数の仕分容器８（８Ａ～８Ｄ，…）により仕分けする作業が概略的に示されている。カメラ４１は、この作業空間が撮影範囲に含まれるように設置されている。なお、カメラ４１は、撮影範囲が異なる複数台のカメラであって、作業空間の状態認識に必要な個所を分担して夫々撮影するものであってもよい。また、図３の作業空間には、カメラ４１以外の任意の計測装置４が設けられてもよい。

【0025】

図３に示す作業空間には、搬送機械５２の一態様である、第１搬送機械５２Ａと、第２搬送機械５２Ｂとが存在し、第１搬送機械５２Ａと第２搬送機械５２Ｂとの間には、仕分容器８を管理する仕分容器管理機構５３が設けられている。なお、図３では、第１搬送機械５２Ａ上での物品７の流れを矢印Ａ１、第２搬送機械５２Ｂ上での仕分容器８の流れを矢印Ａ４、Ａ５、仕分容器管理機構５３上での仕分容器８の流れを矢印Ａ２、Ａ３により夫々明示している。

【0026】

梱包箱６から取り出された各物品７は、第１搬送機械５２Ａに載置される。第１搬送機械５２Ａは、例えばベルトコンベアなどであり、梱包箱６から作業者又はロボットにより取り出された物品７（７Ａ～７Ｇ，…）をロボットアーム５１Ａ、５１Ｂが物品７を把持可能な範囲（「可動範囲」とも呼ぶ。）に向けて搬送する。なお、第１搬送機械５２Ａには、ロボットアーム５１Ａ、５１Ｂの可動範囲に到達する前に各物品のバーコードを読み取るＢＣＲ４３が設けられていてもよい。第１搬送機械５２Ａによる搬送速度は、一定速度であってもよく、制御装置１等の制御に基づき調整が行われてもよい。例えば、ロボットアーム５１Ａとロボットアーム５１Ｂとの動作中では、第１搬送機械５２Ａは、一時停止又は減速するように制御装置１により調整されてもよい。

【0027】

第２搬送機械５２Ｂは、仕分けされた物品７を収容した仕分容器８を、仕分容器８を収容する棚が存在するエリアに搬送するマテリアルハンドリング（マテハン）である。図３の例では、仕分容器管理機構５３から排出された仕分容器８を、矢印Ａ４及び矢印Ａ５が示す方向に搬送する。

【0028】

仕分容器管理機構５３は、第１搬送機械５２Ａと第２搬送機械５２Ｂとの間に設けられ、仕分容器８の第２搬送機械５２Ｂへの搬出及び仕分容器８の補充を行う。仕分容器管理機構５３は、補充用の空の仕分容器８が載せられる補充管理機構５４Ａと、ロボットアーム５１Ａ、５１Ｂによるピックアンドプレイスにより物品７が置かれる仕分容器８が載せられる搬出管理機構５４Ｂとを有する。

【0029】

補充管理機構５４Ａは、コンベアとして機能し、補充用の仕分容器８の搬送及び搬出管理機構５４Ｂへの搬出を行う。具体的には、補充管理機構５４Ａは、搬出管理機構５４Ｂに置かれたいずれかの仕分容器８が第２搬送機械５２Ｂに搬出された場合に、搬出管理機構５４Ｂに対して補充用の仕分容器８を供給する。この場合、補充管理機構５４Ａは、例えば、補充用の仕分容器８を供給先の搬出管理機構５４Ｂに押し出す（スライドさせる）ことで仕分容器８を供給する。例えば、図３の仕分容器８Ｂ～仕分容器８Ｄのいずれかが第２搬送機械５２Ｂに搬出された場合には、補充管理機構５４Ａは、補充用の仕分容器８を搬出管理機構５４Ｂに供給することで、仕分容器８Ａを図３の仕分容器８Ｂの位置に押し出し、補充用の仕分容器８を仕分容器８Ａが存在していた位置に配置する。

【0030】

搬出管理機構５４Ｂは、ロボットアーム５１Ａ、５１Ｂにより把持された物品７の移動先の候補となる仕分容器８が置かれる場所として機能し、かつ、個々の仕分容器８を第２搬送機械５２Ｂに搬出するコンベアとして機能する。例えば、搬出管理機構５４Ｂは、所定の基準状態（例えばさらなる物品７の収容ができない状態）となった仕分容器８が存在する場合、又は、追加の仕分容器８を搬出管理機構５４Ｂに載置する必要が生じた場合に、仕分容器８を第２搬送機械５２Ｂに搬出する。この場合、搬出管理機構５４Ｂは、例えば、仕分容器８の各々に対して個別にスライド自在な機構を有し、制御装置１から供給される制御信号Ｓ２に基づき、指定された仕分容器８を第２搬送機械５２Ｂの方向にスライドさせることで、当該仕分容器８を第２搬送機械５２Ｂに移動させる。

【0031】

なお、第２搬送機械５２Ｂへの仕分容器８の搬出作業は、手作業により行われてもよく、ロボットアーム５１Ａ又はロボットアーム５１Ｂなどのロボット５１により行われてもよい。後者の場合、ロボットアーム５１Ａ又はロボットアーム５１Ｂは、制御装置１から供給される制御信号Ｓ２に基づき、対象の仕分容器８を押し出す動作又はピックアンドプレイスにより第２搬送機械５２Ｂに移動させる。同様に、搬出管理機構５４Ｂへの仕分容器８の補充作業は、手作業により行われてもよく、ロボットアーム５１Ｂなどのロボット５１により行われてもよい。

【0032】

ロボットアーム５１Ａとロボットアーム５１Ｂは、第１搬送機械５２Ａを挟んで向かい合う位置に設けられている。好適には、ロボットアーム５１Ａの可動範囲とロボットアーム５１Ｂの可動範囲とは、第１搬送機械５２Ａ上において一部重複しており、かつ、互いの可動範囲外となる第１搬送機械５２Ａ上の範囲をカバーする位置に設けられているとよい。これにより、ロボットアーム５１Ａ又はロボットアーム５１Ｂの少なくともいずれかが第１搬送機械５２Ａ上の物品７を把持可能となる。また、可動範囲が重複することで、ロボットアーム５１Ａとロボットアーム５１Ｂは、互いに物品７の受渡しを行うことが可能となる。詳しくは、一方のロボットアームは、自身が届かない仕分容器８に収容すべき物品７が存在し、かつ、当該物品７が他方のロボットアームの可動範囲外である場合、当該物品７を他方のロボットアームの可動範囲内に移動させる。この場合、他方のロボットアームは、一方のロボットアームが移動させた物品７をピックアンドプレイスにより適切な仕分け先の仕分容器８に移動させる。制御装置１は、このような動作をロボットアーム５１Ａ、５１Ｂの動作計画に組み込むことで、ロボットアーム５１Ａ、５１Ｂは、第１搬送機械５２Ａ上の任意の位置に置かれた物品７を、適切な仕分容器８に移動するように仕分け作業を行うことができる。

【0033】

また、本実施形態では、制御装置１は、バラ仕分けに関する作業のサイクルを周期的に実行する。各サイクルには、動作計画の策定と、ロボット５１による動作計画の実行制御とが含まれる。制御装置１は、各サイクルにおいて、１回分の動作計画において仕分けを行う対象となる物品７（「仕分対象物品」とも呼ぶ。）を、物品７の個数又は範囲に基づいて決定し、決定した仕分対象物品に対する動作計画の策定及び動作計画の実行制御を行う。なお、図３では、仕分対象物品とみなす範囲（「仕分対象範囲Ｒｔａｇ」とも呼ぶ。）を、ロボットアーム５１Ａ，５１Ｂの可動範囲よりも手前の上流位置（即ち未だ可動範囲に物品７が到達しない位置）に設定している。制御装置１は、このような仕分対象範囲Ｒｔａｇ内に存在する物品７（図３では、物品７Ｃ～７Ｅ）を１回分の動作計画における仕分対象物品として認識する。ここで、例えば、仕分対象範囲Ｒｔａｇは、各サイクルにおいて同一位置に設けられ、かつ、第１搬送機械５２Ａの流れる搬送面（例えばベルト）上での位置が前後のサイクルで隣接している。即ち、仕分対象範囲Ｒｔａｇは、異なる動作計画において同一の物品７が仕分対象物品とならず、かつ、第１搬送機械５２Ａ上の物品５Ａが必ずいずれかの動作計画において仕分対象物品となるように設けられる。

【0034】

そして、図３の例では、制御装置１は、後述するパイプライン処理に基づき、前サイクルにおいて仕分対象物品として決定した物品７Ａ、７Ｂのピックアンドプレイスの作業が完了する前に、物品７Ｃ～７Ｅを現サイクルにおける仕分対象物品として決定している。

【0035】

（４）パイプライン処理の概要
制御装置１は、バラ仕分けに関する動作計画の策定及びロボット５１による動作計画の実行を含むバラ仕分けのサイクルを周期的に行う場合に、パイプライン処理を行う。

【0036】

図４（Ａ）は、パイプライン処理を行わない場合の３サイクル（第１サイクル～第３サイクル）分のバラ仕分けの処理を仕分対象物品と対応付けて示した図である。また、図４（Ｂ）は、パイプライン処理を行った第１態様に基づく３サイクル分のバラ仕分けの処理を仕分対象物品と対応付けて示した図であり、パイプライン処理を行った第２態様に基づく３サイクル分のバラ仕分けの処理を仕分対象物品と対応付けて示した図である。本実施形態において、制御装置１は、図４（Ｂ）又は図４（Ｃ）のいずれかの態様に基づくパイプライン処理を実現する。

【0037】

図４（Ａ）～図４（Ｃ）では、第１サイクルにおいて設定された仕分対象範囲Ｒｔａｇを「Ｒｔａｇ１」、第２サイクルにおいて設定された仕分対象範囲Ｒｔａｇを「Ｒｔａｇ２」、第３サイクルにおいて設定された仕分対象範囲Ｒｔａｇを「Ｒｔａｇ３」と表記している。そして、第１サイクルでは、物品７Ａ、７Ｂが仕分対象物品として認識され、第２サイクルでは、物品７Ｃ～７Ｅが仕分対象物品として認識され、第３サイクルでは、物品７Ｆ、７Ｇが仕分対象物品として認識されている。また、図４（Ａ）～図４（Ｃ）において、「搬送制御」は、第１搬送機械５２Ａにより物品７を搬送（移動）させる制御を指し、「認識」は、作業空間の状態を計測装置４の計測信号Ｓ１に基づき認識（仕分対象物品の特定を含む）する処理を指し、「動作計画」は、ロボットアーム５１Ａ、５１Ｂの動作計画に関する処理（即ち動作シーケンスの生成処理）を指し、「実行制御」は、動作計画に基づくロボットアーム５１Ａ、５１Ｂの制御を指す。なお、時間軸に対する図３に示すこれらの幅（即ち所要時間長）は一例であり、夫々必要な所要時間長が各処理に対して実際には割り当てられる。

【0038】

図４（Ａ）に示す例では、物品７Ａ、７Ｂに対するピックアンドプレイスの作業に関する第１サイクルが完全に完了した場合に、次のサイクルである物品７Ｃ～７Ｅに対するピックアンドプレイスの作業に関する第２サイクルが実行され、その完了後に物品７Ｆ、７Ｇに対するピックアンドプレイスの作業に関する第３サイクルが実行されている。このように、図４（Ａ）に示される例では、各サイクルにおいて、まず搬送制御によりロボットアーム５１Ａ，５１Ｂの可動範囲内に物品７が運ばれた後、搬送制御停止後において、仕分対象物品等の認識処理、仕分対象物品に対する動作計画の策定及び動作計画の実行制御が順次行われている。

【0039】

図４（Ｂ）に示す例では、第１サイクルの搬送制御及び動作計画の実行制御と並行して第２サイクルの認識処理及び動作計画が行われ、第２サイクルの搬送制御及び動作計画の実行制御と並行して第３サイクルの認識処理及び動作計画が行われている。ここで、制御装置１は、各サイクルにおいて、認識処理と動作計画を、搬送制御に先立って行っている。この場合、制御装置１は、認識処理及び動作計画において、当該動作計画に基づくロボットアーム５１Ａ，５１Ｂの実行制御の開始時点での作業空間の状態（例えば物品７の位置及び仕分容器８の状態）を予測し、予測した状態に基づいてロボットアーム５１Ａ、５１Ｂの動作シーケンスを生成する。なお、実行制御の開始時点では、直前の搬送制御により、ロボットアーム５１Ａ、５１Ｂの可動範囲内に仕分対象物品が搬送されており、ロボットアーム５１Ａ、５１Ｂの少なくともいずれかにより各仕分対象物品のピックアンドプレイスが可能な状態となっている。

【0040】

このように、図４（Ｂ）に示す例では、制御装置１は、認識処理及び動作計画を行う時点と当該動作計画に基づくロボットアーム５１Ａ，５１Ｂの実行制御開始時点とで仕分対象物品等の作業空間内の物体の状態が異なっていても、好適に動作計画を策定することができる。よって、この場合、前サイクルでの搬送制御及び動作計画の実行制御が完了していなくとも、その次のサイクルでの認識処理及び動作計画を開始することができ、好適にパイプライン処理が実現される。

【0041】

図４（Ｃ）に示す例では、搬送制御がバックグラウンド処理として常時実行されており、ロボットアーム５１Ａ，５１Ｂは、原則的に、第１搬送機械５２Ａにより搬送中の物品７のピックアンドプレイスを実行する。この場合においても、制御装置１は、認識処理及び動作計画において、当該動作計画に基づく実行制御開始時点での作業空間の状態を予測し、予測した状態に基づいてロボットアーム５１Ａ、５１Ｂの動作シーケンスを生成する。なお、この場合、仕分対象物品が所定速度により移動していることを前提としてロボットアーム５１Ａ，５１Ｂの動作計画を策定する。そして、図４（Ｃ）の例によれば、認識処理、動作計画及びその実行制御の各期間において物品７の搬送を止める必要がないため、１回あたりのサイクルの期間を短縮し、より高速にバラ仕分けを遂行することが可能となる。

【0042】

以後では、図４（Ｂ）又は図４（Ｃ）に示されるようなパイプライン処理を実現するための処理について具体的に説明する。

【0043】

（５）機能ブロック
図５は、制御装置１の処理の概要を示す機能ブロックの一例である。制御装置１のプロセッサ１１は、機能的には、認識部１４と、仕分対象決定部１５と、状態設定部１６と、動作計画部１７と、ロボット制御部１８と、搬送機械制御部１９と、仕分容器制御部２０とを有する。なお、図５では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図５に限定されない。後述する他の機能ブロックの図においても同様である。

【0044】

認識部１４は、計測装置４から供給される計測信号Ｓ１に基づき、作業空間内における物体の状態に関する認識結果（計測結果）「Ｉｍ」を生成する。具体的には、認識部１４は、計測信号Ｓ１を受信した場合に、アプリケーション情報ＩＡの物体モデル情報Ｉ６等を参照し、作業空間内の環境を認識する技術（画像処理技術、画像認識技術、音声認識技術、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）を用いる技術等）により計測信号Ｓ１を解析する。これにより、認識部１４は、作業空間内の各物体の種類毎の数、位置及び姿勢等を認識し、その認識結果Ｉｍを出力する。例えば、認識結果Ｉｍは、図３の場合、ロボットアーム５１Ａ、５１Ｂ、物品７、仕分容器８の各々の数、位置、姿勢等の状態（仕分容器８の場合には収容する物品７の状態を含む）に関する情報を含む。認識部１４は、生成した認識結果Ｉｍを、プロセッサ１１内の他の機能ブロックに供給する。

【0045】

仕分対象決定部１５は、認識部１４が出力する認識結果Ｉｍに基づき、仕分対象物品を決定する。この場合、仕分対象決定部１５は、例えば、図３に示すような仕分対象範囲Ｒｔａｇを設定し、当該仕分対象範囲Ｒｔａｇ内の物品７を仕分対象物品として決定する。なお、仕分対象決定部１５は、仕分対象範囲Ｒｔａｇを設定する代わりに、過去に策定された動作計画において仕分対象物品として指定されていない物品７のうち、ロボット５１に近い順に選択した所定個数の物品７を仕分対象物品として決定してもよい。

【0046】

状態設定部１６は、仕分対象決定部１５が決定した仕分対象物品に対する動作計画に基づくロボット５１の実行制御開始時点での作業空間の状態（「開始予測状態」とも呼ぶ。）の予測と、仕分対象物品の仕分けが行われた後の状態である目標状態の設定とを行う。この場合、状態設定部１６は、認識結果Ｉｍと、仕分情報ＩＢと、仕分対象物品の移動速度（即ち仕分対象物品を搬送する搬送機械５２の搬送速度）又は移動予定距離と、前サイクルの未実行の動作計画（仕分容器８の搬出・補充の計画も含む）等に基づき、開始予測状態の目標状態の設定を行う。ここで、目的タスクは、開始予測状態を目標状態にするタスクに相当し、開始予測状態と目標状態とにより一意に定まる。状態設定部１６は、開始予測状態及び目標状態に関する状態設定情報「Ｉｔｋ」を、動作計画部１７に供給する。

【0047】

動作計画部１７は、状態設定情報Ｉｔｋと、アプリケーション情報ＩＡと、認識結果Ｉｍとに基づき、仕分対象物品の分類に応じて仕分容器８に移動させるピックアンドプレイスに関するロボット５１の動作シーケンスを生成する。そして、動作計画部１７は、生成した動作シーケンスを、ロボット制御部１８に供給する。ここで、動作シーケンスには、各サブタスクの実行順序及び実行タイミングを示す情報が含まれている。

【0048】

ロボット制御部１８は、制御信号Ｓ２をロボット５１に送信することで、動作計画部１７が決定した動作計画に従いロボット５１を動作させるようにロボット５１を制御する。具体的には、ロボット制御部１８は、動作計画部１７が生成した動作シーケンスを構成する各サブタスクを、夫々定められた実行タイミング（タイムステップ）でロボット５１が実行するための制御（例えばロボット５１の関節の位置制御又はトルク制御など）を実行する。

【0049】

なお、ロボット制御部１８に相当する機能を、制御装置１に代えてロボット５１が有してもよい。この場合、ロボット５１は、動作計画部１７が生成した動作シーケンスを表す制御信号Ｓ２を受信することで、当該動作シーケンスを実現するための関節の位置制御又はトルク制御などを実行する。

【0050】

搬送機械制御部１９は、搬送機械５２に対して制御信号Ｓ２を送信することで、搬送機械５２による物品７の搬送制御を行う。例えば、搬送機械制御部１９は、図４（Ｂ）に示されるパイプライン処理においては、認識処理及び動作計画が行われた後（即ち動作計画部１７から動作計画の決定が通知された後）、認識処理及び動作計画において想定されている所定距離だけ物品７を移動させるように搬送機械５２を制御する。一方、搬送機械制御部１９は、図４（Ｃ）に示されるパイプライン処理においては、原則的に一定速度により物品７を移動させるように搬送機械５２を制御する。なお、搬送機械制御部１９は、動作計画に基づくロボット５１の動作期間では物品７の搬送を減速するように制御してもよく、所定の例外的なイベントを検知した場合に、搬送機械５２による物品７の搬送を減速又は停止するように制御してもよい。後者の例では、搬送機械制御部１９は、例えば、動作計画部１７が策定した動作計画の進捗状況を認識結果Ｉｍ等に基づき判定し、動作計画部１７が決定した動作計画よりも進捗が遅れている状況の場合に、搬送機械５２による物品７の搬送を減速又は停止するように制御してもよい。このように、搬送機械制御部１９は、仕分け作業の状態に基づいて、搬送機械５２の制御を行ってもよい。

【0051】

仕分容器制御部２０は、仕分容器８の搬出及び補充に関する制御を行う。図３の例では、仕分容器制御部２０は、所定の条件が満たされた場合に、制御信号Ｓ２に基づき、補充管理機構５４Ａ及び搬出管理機構５４Ｂを制御することで、仕分容器８を第２搬送機械５２Ｂに搬出し、新たな仕分容器８を補充する。以後では、ロボット５１により把持された物品７の仕分け先の候補となる位置に存在する仕分容器８（図３では仕分容器８Ａ～８Ｄ）を、「対象仕分容器８」とも呼ぶ。

【0052】

ここで、仕分容器制御部２０の処理の具体例について、図３の例を参照して説明する。仕分容器８の搬出・補充の第１の例では、仕分容器制御部２０は、更なる物品７の収容ができない状態（「基準状態」とも呼ぶ。）になった仕分容器８が存在する場合、当該仕分容器８を搬出対象として認識する。そして、仕分容器制御部２０は、搬出対象の仕分容器８を、搬出管理機構５４Ｂ等を制御することで第２搬送機械５２Ｂに搬出させ、かつ、新たな仕分容器８を補充する制御を補充管理機構５４Ａに対して行う。この場合、仕分容器制御部２０は、仕分容器８が基準状態になったか否かを、計測信号Ｓ１又は認識結果Ｉｍに基づき判定してもよく、ロボット制御部１８が策定した動作計画の進捗度合いに基づき判定してもよい。前者の判定方法では、仕分容器制御部２０は、例えば、計測信号Ｓ１又は認識結果Ｉｍに基づき対象の仕分容器８に収容された物品７の種類及び個数を認識し、認識した種類に応じた収容上限個数に達しているか否かを判定する。この場合、例えば、メモリ１２等には、上述の物品７の種類毎の仕分容器８の収容上限個数に関する情報が予め記憶されている。後者の判定方法では、仕分容器制御部２０は、動作計画部１７が策定した動作計画の進捗状況に基づき、現在の時刻において仕分容器８に載置されている物品７の種類及び個数を推定し、当該推定結果と上述の収容上限個数の情報とを照合することで、基準状態か否か判定する。

【0053】

仕分容器８の搬出・補充の第２の例では、仕分容器制御部２０は、仕分対象物品が、搬出管理機構５４Ｂ上に載置された仕分容器８Ａ～８Ｄのいずれにも仕分けできない新たな分類に属する場合、当該物品対象物品の仕分け先の候補が存在しないと判定する。例えば、仕分容器制御部２０は、仕分対象物品の識別情報と、仕分情報ＩＢとに基づき、いずれかの仕分対象物品が仕分容器８Ａ～８Ｄに収容されている物品７と異なる分類である（かつ仕分容器８Ａ～８Ｄがいずれも空ではない）場合に、仕分け先の候補が存在しないと判定する。そして、仕分容器制御部２０は、仕分容器８Ａ～８Ｄのいずれかを第２搬送機械５２Ｂに搬出し、新たな仕分容器８を搬出管理機構５４Ｂに補充する制御を行う。この場合、仕分容器制御部２０は、例えば、仕分容器８Ａ～８Ｄのうち最も物品７の収容率（収容上限個数に対する実際の収容数の比率）が高い、又は物品７の収容数が最も多い仕分容器８を、第２搬送機械５２Ｂに搬出する対象として選択する。このようにすることで、仕分容器制御部２０は、使用する仕分容器８の個数をなるべく少なくするようにしつつ、物品７の仕分けが適切に実行されるように仕分容器８の搬出及び補充を好適に制御する。

【0054】

なお、上述した仕分容器８の搬出・補充の要否判定は、状態設定部１６による目標状態の設定の過程において実行されてもよい。この場合、仕分容器制御部２０は、状態設定部１６からの仕分容器８の搬出・補充の要求に応じて、仕分容器８の搬出・補充を実行する。目標状態の設定時における搬出・補充の要否判定については「（６）状態設定部の処理」のセクションで説明する。

【0055】

ここで、認識部１４、仕分対象決定部１５、状態設定部１６、動作計画部１７、ロボット制御部１８、搬送機械制御部１９及び仕分容器制御部２０の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記憶しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子コンピュータ制御チップにより構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は，例えば，クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。

【0056】

（６）状態設定部の処理
まず、状態設定部１６による開始予測状態の予測について説明する。状態設定部１６は、開始予測状態として、少なくとも、実行制御開始時点での仕分対象物品と対象仕分容器８の状態を予測する。

【0057】

まず、実行制御開始時点での仕分対象物品の状態の予測について説明する。状態設定部１６は、例えば、認識結果Ｉｍが示す現在の仕分対象物品の状態（例えば位置及び姿勢）と、搬送機械５２による物品７の搬送速度と、動作計画の実行制御開始までの時間長とに基づき、実行制御開始時点での仕分対象物品の状態（例えば位置及び姿勢）を予測する。なお、状態設定部１６は、図４（Ｂ）に示すパイプライン処理の第１態様において、動作計画後の搬送制御による移動距離が予め定められている場合には、当該移動距離の情報と、認識結果Ｉｍが示す現在の仕分対象物品の状態とに基づき、実行制御開始時点での仕分対象物品の状態を認識してもよい。

【0058】

次に、実行制御開始時点での対象仕分容器８の状態の予測について説明する。図４（Ｂ）及び図４（Ｃ）に示されるように、認識処理及び動作計画の時点では、前サイクルでの実行制御が完了していない場合があり、現サイクルでの動作計画の実行開始時点までに対象仕分容器８（図３では仕分容器８Ａ～８Ｄ）が収容する物品７の増加又は対象仕分容器８の搬出・補充が発生する可能性がある。従って、状態設定部１６は、例えば、前サイクルにおいて動作計画部１７が決定した動作計画（動作シーケンス）に関する情報に基づき、実行制御開始時点での各対象仕分容器８の収容状態を予測する。また、状態設定部１６は、例えば、認識処理及び動作計画の時点から実行制御開始時点までの間に仕分容器８の搬出及び補充を行う計画があるか否かに関する情報を仕分容器制御部２０から受信することで、仕分容器８の搬出及び補充に伴う対象仕分容器８の状態変化（配置変更等を含む）の有無を判定する。そして、状態設定部１６は、対象仕分容器８の状態変化があると判定した場合には、状態変化後の対象仕分容器８の状態を予測する。なお、基準状態となった対象仕分容器８が発生した場合に仕分容器制御部２０が直ちに仕分容器８の搬出及補充を行う仕様の場合、状態設定部１６は、前サイクルでの実行制御により基準状態となる対象仕分容器８があると予測した場合に、対象仕分容器８の搬出及補充があると判定し、搬出及び補充後の対象仕分容器８の状態を予測する。

【0059】

次に、状態設定部１６による目標状態の設定について説明する。状態設定部１６は、開始予測状態と、各仕分対象物品の仕分上の分類とに基づき、目標状態を設定する。この場合、状態設定部１６は、仕分対象物品の仕分け先となる対象仕分容器８を決定し、仕分対象物品をピックアンドプレイスにより対象仕分容器８へ移動させた状態を目標状態として設定する。

【0060】

ここで、まず、各仕分対象物品の仕分上の分類の判定方法について説明する。例えば、仕分情報ＩＢが物品のＩＤと仕分上の分類（例えば種類又はロットによる分類）との対応関係を示す場合、状態設定部１６は、ＢＣＲ４３の読み取り等により特定される仕分対象物品のＩＤと、仕分情報ＩＢが示す対応関係とに基づき、仕分対象物品の仕分上の分類を認識する。他の例では、物品７の仕分けが物品７の種類に基づき行われる場合には、状態設定部１６は、カメラ４１等による仕分対象物品の種類の認識結果に基づき特定される仕分対象物品の種類を、仕分対象物品の仕分上の分類として認識する。即ち、この場合、状態設定部１６は、仕分情報ＩＢを利用することなく仕分対象物品の分類を認識する。

【0061】

次に、開始予測状態と、各仕分対象物品の分類とに基づき、各仕分対象物品の仕分け先となる対象仕分容器８を決定する方法について、場合分けして説明する。

【0062】

状態設定部１６は、開始予測状態において、仕分対象物品と同一分類となる物品７がいずれかの対象仕分容器８に収容されていると予測される場合、仕分対象物品の仕分け先を当該対象仕分容器８に設定する。なお、仕分け先として特定した対象仕分容器８が基準状態である場合の対応については後述する。

【0063】

また、状態設定部１６は、開始予測状態において、仕分対象物品と同一仕分け先となる物品７がいずれの対象仕分容器８にも収容されておらず、かつ、空の仕分容器８が存在すると予測される場合には、当該空の仕分容器８を仕分対象物品の仕分け先として決定する。

【0064】

また、状態設定部１６は、開始予測状態において、仕分対象物品と同一仕分け先となる物品７がいずれの対象仕分容器８にも収容されておらず、かつ、空の対象仕分容器８が存在しないと判定した場合、対象仕分容器８の搬出及び補充が必要であると判定する。よって、この場合、状態設定部１６は、対象仕分容器８の搬出及び補充の要求信号を、仕分容器制御部２０に供給する。この場合、好適には、状態設定部１６は、前サイクルでの実行制御の完了後に対象仕分容器８の搬出及び補充を行うように、対象仕分容器８の搬出開始タイミングを上記要求信号において指定するとよい。そして、状態設定部１６は、例えば、空の仕分容器８が補充されたことを計測信号Ｓ１又は仕分容器管理機構５３からの補充完了通知等に基づき検知した場合に、補充された空の仕分容器８を、仕分対象物品の仕分け先として決定する。他の例では、状態設定部１６は、現サイクルでの実行制御までに対象仕分容器８の搬出及び補充がなされることを前提として仕分対象物品の仕分け先を決定してもよい。この場合、状態設定部１６は、対象仕分容器８の搬出及び補充がなされた後の状態（即ち、空の対象仕分容器８の補充及び他の対象仕分容器８の配置変更後の状態）を開始予測状態として開始予測状態を再予測し、再予測した開始予測状態に基づき、仕分対象物品の仕分け先を決定する。

【0065】

また、状態設定部１６は、開始予測状態において、仕分対象物品と同一仕分け先となる物品７が既にいずれかの対象仕分容器８に収容され、かつ、当該対象仕分容器８が基準状態の場合、対象仕分容器８の搬出及び補充が必要であると判定する。よって、この場合、状態設定部１６は、基準状態の対象仕分容器８の搬出及び新たな対象仕分容器８の補充の要求信号を、仕分容器制御部２０に供給する。この場合、好適には、状態設定部１６は、前サイクルでの実行制御の完了後に対象仕分容器８の搬出及び補充を行うように、対象仕分容器８の搬出開始タイミングを指定した情報を、上記要求信号に含めるとよい。そして、状態設定部１６は、補充される空の対象仕分容器８を仕分対象物品の仕分け先として決定する。なお、状態設定部１６は、空の対象仕分容器８が存在する場合には、当該空の仕分容器８を仕分け先として目標状態を設定し、動作計画の策定を進めてもよい。

【0066】

なお、仕分容器８に識別情報（ＩＤ）が割り当てられており、各仕分容器８に収容すべき物品７の分類（種類又はロット）が仕分情報ＩＢにおいて指定されていた場合には、状態設定部１６は、仕分対象物品に対するＢＣＲ４３の読み取り情報と、仕分情報ＩＢとに基づき、仕分け先の仕分容器８を認識する。この場合、各仕分容器８は、ＡＲマーカなどが付されることにより、カメラ４１等による計測に基づいて、固有の識別情報（ＩＤ）が識別可能となっている。

【0067】

そして、状態設定部１６は、開始予測状態及び目標状態を表す状態設定情報Ｉｔｋを、動作計画部１７に供給する。これにより、開始予測状態と目標状態とから特定される目的タスクに対する動作計画が策定され、仕分対象物品に対するロボット５１の動作シーケンスが生成される。

【0068】

（７）動作計画の詳細
次に、動作計画部１７が実行するロボット５１の動作計画の詳細について説明する。以下では、一例として、時相論理により表した目的タスクに基づきロボット５１のタイムステップごとのサブタスクのシーケンスである動作シーケンスを生成する方法について説明する。

【0069】

（７－１）アプリケーション情報
まず、動作計画部１７による動作計画において使用するアプリケーション情報ＩＡのデータ構造について説明する。

【0070】

図６は、アプリケーション情報ＩＡのデータ構造の一例を示す。図６に示すように、アプリケーション情報ＩＡは、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６とを含む。

【0071】

抽象状態指定情報Ｉ１は、動作シーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。

【0072】

制約条件情報Ｉ２は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット５１（ロボットアーム）が接触してはいけないという制約条件、ロボット５１（ロボットアーム）同士が接触してはいけないという制約条件などを示す。

【0073】

動作限界情報Ｉ３は、制御装置１により制御が行われるロボット５１の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、ロボット５１の速度、加速度、又は角速度の上限を規定する情報である。なお、動作限界情報Ｉ３は、ロボット５１の可動部位又は関節ごとに動作限界を規定する情報であってもよい。

【0074】

サブタスク情報Ｉ４は、ロボット５１が受付可能なサブタスクの情報を示す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボット５１のロボットアームの移動であるリーチングと、ロボットアームによる把持であるグラスピングとをサブタスクとして規定する。

【0075】

抽象モデル情報Ｉ５は、作業空間におけるダイナミクスを抽象化した抽象モデルに関する情報である。例えば、抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、対象物をロボット５１が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物はロボット５１により把持されなければ移動できないという条件などが該当する。

【0076】

物体モデル情報Ｉ６は、計測装置４が生成した計測信号Ｓ１から認識すべき作業空間内の各物体の物体モデルに関する情報である。上述の各物体は、例えば、ロボット５１、障害物、ロボット５１が扱う工具その他の対象物、ロボット５１以外の作業体などが該当する。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、姿勢、現在実行中の動作などを制御装置１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。

【0077】

なお、アプリケーション情報ＩＡは、上述した情報の他、動作シーケンスの生成処理に関する種々の情報を記憶してもよい。

【0078】

（７－２）動作計画部の機能ブロック
図７は、動作計画部１７の処理の概要を示す機能ブロックの一例である。動作計画部１７は、機能的には、抽象状態設定部７１と、目標論理式生成部７２と、タイムステップ論理式生成部７３と、抽象モデル生成部７４と、制御入力生成部７５と、動作シーケンス生成部７６と、を有する。

【0079】

抽象状態設定部７１は、状態設定情報Ｉｔｋと、抽象状態指定情報Ｉ１とに基づき、作業空間内の抽象状態を設定する。この場合、抽象状態設定部７１は、状態設定情報Ｉｔｋが表す開始予測状態を抽象的に表した抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部７１は、設定した抽象状態を表す情報（「抽象状態設定情報ＩＳ」とも呼ぶ。）を、目標論理式生成部７２に供給する。

【0080】

目標論理式生成部７２は、状態設定情報Ｉｔｋが示す開始予測状態と目標状態とから特定される目的タスクを、抽象状態設定情報ＩＳに基づき、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部７２は、アプリケーション情報ＩＡの制約条件情報Ｉ２を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部７２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部７３に供給する。

【0081】

タイムステップ論理式生成部７３は、目標論理式生成部７２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部７３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部７５に供給する。

【0082】

抽象モデル生成部７４は、アプリケーション情報ＩＡの抽象モデル情報Ｉ５と、抽象状態設定部７１から供給される認識結果Ｉｍとに基づき、作業空間における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデル生成部７４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルΣを生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部７４は、生成した抽象モデルΣを、制御入力生成部７５へ供給する。

【0083】

制御入力生成部７５は、タイムステップ論理式生成部７３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部７４から供給される抽象モデルΣとを満たし、評価関数（例えば、ロボットによって消費されるエネルギー量を表す関数）を最適化するタイムステップ毎のロボット５１への制御入力を決定する。そして、制御入力生成部７５は、ロボット５１へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃｎ」とも呼ぶ。）を、動作シーケンス生成部７６へ供給する。

【0084】

動作シーケンス生成部７６は、制御入力生成部７５から供給される制御入力情報Ｉｃｎと、アプリケーション情報ＩＡのサブタスク情報Ｉ４とに基づき、サブタスクのシーケンスである動作シーケンスを生成し、動作シーケンスをロボット５１へ供給する。

【0085】

（７－３）抽象状態設定部
抽象状態設定部７１は、状態設定情報Ｉｔｋと、アプリケーション情報ＩＡの抽象状態指定情報Ｉ１とに基づき、予測された開始予測状態での作業空間内の抽象状態を設定する。この場合、まず、抽象状態設定部７１は、抽象状態指定情報Ｉ１を参照し、作業空間内において設定すべき抽象状態を認識する。

【0086】

図８は、図３に示すバラ仕分けの作業を簡略化したピックアンドプレイスの作業空間の俯瞰図を示す。図８に示す作業空間には、２つのロボットアーム５１ａ、５１ｂと、４つの仕分対象物品７ａ～７ｄと、障害物９と、仕分対象物品７ａ～７ｄの目的地である仕分容器８ａとが存在している。仕分対象物品７ａ～７ｄ等の各物体の位置は、状態設定情報Ｉｔｋに基づき特定される開始予測状態での予測位置となっている。図８では、対象仕分容器８を説明の簡略化のため仕分容器８ａの１個としている。以後では、仕分対象物品７ａ～７ｄを置くべき仕分容器８ａの内部領域を「領域Ｇ」とも呼ぶ。

【0087】

この場合、まず、抽象状態設定部７１は、状態設定情報Ｉｔｋに基づき、仕分対象物品７ａ～７ｄ、障害物９、ロボット５１、領域Ｇ等の各開始予測状態を認識する。

【0088】

ここでは、抽象状態設定部７１は、仕分対象物品７ａ～７ｄの各々の中心の位置ベクトル「ｘ_１」～「ｘ_４」を、仕分対象物品７ａ～７ｄの位置として定める。また、抽象状態設定部７１は、ロボットアーム５１ａのロボットハンドの位置ベクトル「ｘ_ｒ１」と、ロボットアーム５１ｂのロボットハンドの位置ベクトル「ｘ_ｒ２」とを、ロボットアーム５１ａとロボットアーム５１ｂの位置として定める。なお、仕分対象物品７ａ～７ｄが第１搬送機械５２Ａにより所定の搬送速度により搬送されている場合、抽象状態設定部７１は、位置ベクトルｘ_１～ｘ_４を、認識結果Ｉｍが示す初期位置と、第１搬送機械５２Ａの搬送速度と、初期位置からの経過時間長とをパラメータとする所定のモデル（関数）により表してもよい。上述のモデル（関数）の情報は、例えばアプリケーション情報ＩＡに予め含まれている。また、動作計画時及びロボット５１の作動時に第１搬送機械５２Ａによる搬送を制御装置１が停止させている場合、抽象状態設定部７１は、位置ベクトルｘ_１～ｘ_４を開始予測状態での位置に定める。

【0089】

また、抽象状態設定部７１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部７１は、作業空間内に存在する物体に関する認識結果Ｉｍ（例えば物体の種類毎の個数）と、抽象状態指定情報Ｉ１とに基づき、抽象状態を示す命題を定める。

【0090】

図８の例では、抽象状態設定部７１は、認識結果Ｉｍにより特定される仕分対象物品７ａ～７ｄに対し、夫々識別ラベル「１」～「４」を付す。また、抽象状態設定部７１は、物品「ｉ」（ｉ＝１～４）が最終的に載置されるべき目標地点である領域Ｇ内に存在するという命題「ｇ_ｉ」を定義する。また、抽象状態設定部７１は、障害物９に対して識別ラベル「Ｏ」を付し、仕分対象物品ｉが障害物Ｏに干渉しているという命題「ｏ_ｉ」を定義する。さらに、抽象状態設定部７１は、ロボットアーム５１ａ、５１ｂが互いに干渉するという命題「ｈ」を定義する。

【0091】

このように、抽象状態設定部７１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題（上述の例ではｇ_ｉ、ｏ_ｉ、ｈ等）を、物品７の数、ロボット５１の数、障害物９の数等に応じてそれぞれ定義する。そして、抽象状態設定部７１は、抽象状態を表す命題を示す情報を、抽象状態設定情報ＩＳとして目標論理式生成部７２に供給する。

【0092】

（７－４）目標論理式生成部
まず、目標論理式生成部７２は、状態設定情報Ｉｔｋが表す目的タスクを、時相論理を用いた論理式に変換する。

【0093】

例えば、図８の例において、「最終的に仕分対象物品（ｉ＝２）が領域Ｇに存在する」という目的タスクが与えられたとする。この場合、目標論理式生成部７２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）の「eventually」に相当する演算子「◇」と、抽象状態設定部７１により定義された命題「ｇ_ｉ」と用いて、論理式「◇ｇ_２」を生成する。また、目標論理式生成部７２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、always「□」、next「○」、until「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現してもよい。

【0094】

次に、目標論理式生成部７２は、制約条件情報Ｉ２が示す制約条件を、目的タスクを示す論理式に付加することで、目標論理式Ｌｔａｇを生成する。

【0095】

例えば、図８に示すピックアンドプレイスに対応する制約条件として、「ロボットアーム同士が常に干渉しない」、「仕分対象物品ｉは障害物Ｏに常に干渉しない」の２つが制約条件情報Ｉ２に含まれていた場合、目標論理式生成部７２は、これらの制約条件を論理式に変換する。具体的には、目標論理式生成部７２は、図８の説明において抽象状態設定部７１により定義された命題「ｏ_ｉ」及び命題「ｈ」を用いて、上述の２つの制約条件を、夫々以下の論理式に変換する。
□￢ｈ
∧_ｉ□￢ｏ_ｉ

【0096】

よって、この場合、目標論理式生成部７２は、「最終的に仕分対象物品（ｉ＝２）が領域Ｇに存在する」という目的タスクに対応する論理式「◇ｇ_２」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ｌｔａｇを生成する。
（◇ｇ_２）∧（□￢ｈ）∧（∧_ｉ□￢ｏ_ｉ）

【0097】

なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した２つに限られず、「ロボットアームが障害物Ｏに干渉しない」、「複数のロボットアームが同じ物品を掴まない」、「物品同士が接触しない」などの制約条件が存在する。このような制約条件についても同様に、制約条件情報Ｉ２に記憶され、目標論理式Ｌｔａｇに反映される。

【0098】

（７－５）タイムステップ論理式生成部
タイムステップ論理式生成部７３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部７３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５１に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。

【0099】

ここで、図８の説明において例示した「最終的に仕分対象物品（ｉ＝２）が領域Ｇに存在する」という目的タスクが設定された場合のタイムステップ論理式生成部７３の処理の具体例について説明する。

【0100】

この場合、以下の目標論理式Ｌｔａｇが目標論理式生成部７２からタイムステップ論理式生成部７３へ供給される。
（◇ｇ_２）∧（□￢ｈ）∧（∧_ｉ□￢ｏ_ｉ）
この場合、タイムステップ論理式生成部７３は、命題「ｇ_ｉ」をタイムステップの概念を含むように拡張した命題「ｇ_ｉ，ｋ」を用いる。ここで、命題「ｇ_ｉ，ｋ」は、「タイムステップｋで仕分対象物品ｉが領域Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ_２,３）∧（∧_{ｋ＝１,２,３}□￢ｈ_ｋ）∧（∧_{ｉ,ｋ＝１,２,３}□￢ｏ_ｉ，ｋ）

【0101】

また、◇ｇ_２,３は、以下の式に示すように書き換えることが可能である。

【0102】

【数1】

【0103】

このとき、上述した目標論理式Ｌｔａｇは、以下に示す４つの候補「φ_１」～「φ_４」の論理和（φ_１∨φ_２∨φ_３∨φ_４）により表される。

【0104】

【数2】

【0105】

よって、タイムステップ論理式生成部７３は、４つの候補φ_１～φ_４の論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、４つの候補φ_１～φ_４の少なくともいずれかが真となる場合に真となる。

【0106】

次に、目標タイムステップ数の設定方法について補足説明する。

【0107】

タイムステップ論理式生成部７３は、例えば、メモリ１２等に予め記憶された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部７３は、メモリ１２等に予め記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部７３は、設定すべき目標タイムステップ数を表す情報がメモリ１２等に予め記憶されている場合には、当該情報を参照することで、目標タイムステップ数を決定する。

【0108】

好適には、タイムステップ論理式生成部７３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部７３は、制御入力生成部７５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部７３は、設定した目標タイムステップ数により制御入力生成部７５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。

【0109】

（７－６）抽象モデル生成部
抽象モデル生成部７４は、抽象モデル情報Ｉ５と、認識結果Ｉｍと、状態設定情報Ｉｔｋが表す開始予測状態とに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、抽象モデルΣの生成に必要な情報が記録されている。例えば、仕分対象物品の位置や数、仕分対象物品を置く領域の位置、ロボット５１の台数等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部７４は、抽象モデル情報Ｉ５に記録された、ロボット５１のダイナミクスを含む汎用的な形式の抽象モデルに対し、認識結果Ｉｍ（及び状態設定情報Ｉｔｋが表す開始予測状態）を反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、作業空間内の物体の状態と、ロボット５１のダイナミクスとが抽象的に表されたモデルとなる。作業空間内の物体の状態は、仕分対象物品の位置及び数、仕分対象物品を置く領域（対象仕分容器８）の位置及び数、ロボット５１の台数等を示す。

【0110】

なお、制御対象となるロボット５１以外の他作業体が存在する場合、他作業体の抽象化されたダイナミクスに関する情報が抽象モデル情報Ｉ５に含まれてもよい。この場合、抽象モデルΣは、作業空間内の物体の状態と、ロボット５１のダイナミクスと、他作業体のダイナミクスとが抽象的に表されたモデルとなる。

【0111】

ここで、ロボット５１による目的タスクの作業時においては、作業空間内のダイナミクスが頻繁に切り替わる。例えば、ロボットアームが仕分対象物品ｉを掴んでいる場合には、当該仕分対象物品ｉを動かすことができるが、ロボットアームが仕分対象物品ｉを掴んでない場合には、当該仕分対象物品ｉを動かすことができない。

【0112】

以上を勘案し、本実施形態においては、仕分対象物品ｉを掴むという動作を論理変数「δ_ｉ」により抽象表現する。この場合、例えば、抽象モデル生成部７４は、図８に示す作業空間に対して設定すべき抽象モデルΣを、以下の式（１）により定めることができる。

【0113】

【数3】

【0114】

ここで、「ｕ_ｊ」は、ロボットハンドｊ（「ｊ＝１」はロボットアーム５１ａのロボットハンド、「ｊ＝２」はロボットアーム５１ｂのロボットハンド）を制御するための制御入力を示し、「Ｉ」は単位行列を示し、「０」は零行例を示す。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δ_ｊ,ｉ」は、ロボットハンドｊが仕分対象物品ｉを掴んでいる場合に「１」であり、その他の場合に「０」である論理変数である。また、「ｘ_ｒ１」、「ｘ_ｒ２」は、ロボットハンドｊ（ｊ＝１、２）の位置ベクトル、「ｘ_１」～「ｘ_４」は、仕分対象物品ｉ（ｉ＝１～４）の位置ベクトルを示す。また、「ｈ（ｘ）」は、物品を掴める程度に物品の近傍にロボットハンドが存在する場合に「ｈ（ｘ）≧０」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ＝１ ⇔ ｈ（ｘ）≧０
この式では、物品を掴める程度に物品の近傍にロボットハンドが存在する場合には、ロボットハンドが物品を掴んでいるとみなし、論理変数δを１に設定している。

【0115】

ここで、式（１）は、タイムステップｋでの物体の状態とタイムステップｋ＋１での物体の状態との関係を示した差分方程式である。そして、上記の式（１）では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式（１）はハイブリッドシステムを示している。

【0116】

式（１）では、ロボット５１全体の詳細なダイナミクスではなく、物品を実際に把持するロボット５１の手先であるロボットハンドのダイナミクスのみを考慮している。これにより、制御入力生成部７５による最適化処理の計算量を好適に削減することができる。

【0117】

また、抽象モデル情報Ｉ５には、ダイナミクスが切り替わる動作（ピックアンドプレイスの場合には仕分対象物品ｉを掴むという動作）に対応する論理変数、及び、認識結果Ｉｍ（及び開始予測状態）から式（１）の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部７４は、仕分対象物品の位置や数、仕分対象物品を置く領域（対象仕分容器８）の位置や数、ロボット５１の台数等が変動する場合であっても、抽象モデル情報Ｉ５と認識結果Ｉｍ（及び開始予測状態）とに基づき、対象の作業空間の環境に即した抽象モデルΣを決定することができる。

【0118】

なお、抽象モデル生成部７４は、式（１）に示されるモデルに代えて、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ Ｌｏｇｉｃａｌ Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。

【0119】

（７－７）制御入力生成部
制御入力生成部７５は、タイムステップ論理式生成部７３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部７４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５１に対する制御入力を決定する。この場合、制御入力生成部７５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、予めメモリ１２に記憶されている。

【0120】

例えば、ピックアンドプレイスを目的タスクとした場合、制御入力生成部７５は、運ぶ対象となる物品と当該物品を運ぶ目標地点との距離「ｄ_ｋ」と制御入力「ｕ_ｋ」とが最小となる（即ちロボット５１が費やすエネルギーを最小化する）ように評価関数を定める。上述の距離ｄ_ｋは、「最終的に仕分対象物品（ｉ＝２）が領域Ｇに存在する」という目的タスクの場合には、物品（ｉ＝２）と領域Ｇとのタイムステップｋでの距離に相当する。

【0121】

この場合、制御入力生成部７５は、全タイムステップにおける距離ｄ_ｋのノルムの２乗と制御入力ｕ_ｋのノルムの２乗との和を評価関数として定める。そして、制御入力生成部７５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓ（即ち候補φ_ｉの論理和）を制約条件とする以下の式（２）に示す制約付き混合整数最適化問題を解く。

【0122】

【数4】

【0123】

ここで、「Ｔ」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、後述するように、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部７５は、論理変数を連続値に近似する（連続緩和問題とする）。これにより、制御入力生成部７５は、計算量を好適に低減することができる。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。このような最適化により、ロボット５１同士の仕分対象物品７の受渡しを必要に応じて含んだロボット５１の動作を規定する制御入力が決定される。

【0124】

また、制御入力生成部７５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部７５は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ｕ_ｋを決定する。

【0125】

好適には、制御入力生成部７５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、使用すべき制御入力ｕ_ｋを決定してもよい。この場合、制御入力生成部７５は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、作業空間におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５１が仕分対象物品を掴む、ロボット５１が運ぶべき複数の仕分対象物品のうちの１つの仕分対象物品を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、予め定められており、イベントを特定する情報がメモリ１２等に予め記憶されている。

【0126】

（７－８）動作シーケンス生成部
動作シーケンス生成部７６は、制御入力生成部７５から供給される制御入力情報Ｉｃｎと、アプリケーション情報ＩＡのサブタスク情報Ｉ４とに基づき、動作シーケンスを生成する。この場合、動作シーケンス生成部７６は、サブタスク情報Ｉ４を参照することで、ロボット５１が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力をサブタスクに変換する。

【0127】

例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５１が受け付け可能なサブタスクとして、ロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の２つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５１の初期状態、当該関数実行後のロボット５１の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５１の状態、及び当該関数実行前の把持対象の仕分対象物品の状態、論理変数δをそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数δが「１」のときに掴む動作を行うこと表し、論理変数δが「０」のときに放す動作を行うこと表す。この場合、動作シーケンス生成部７６は、関数「Ｍｏｖｅ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の論理変数δの遷移に基づき決定する。

【0128】

そして、動作シーケンス生成部７６は、関数「Ｍｏｖｅ」と関数「Ｇｒａｓｐ」とにより構成される動作シーケンスを生成し、当該動作シーケンスをロボット５１に供給する。例えば、目的タスクが「最終的に仕分対象物品（ｉ＝２）が領域Ｇに存在する」の場合、動作シーケンス生成部７６は、仕分対象物品（ｉ＝２）に最も近いロボットハンドに対し、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」の動作シーケンスを生成する。この場合、仕分対象物品（ｉ＝２）に最も近いロボットハンドは、１回目の関数「Ｍｏｖｅ」により仕分対象物品（ｉ＝２）の位置まで移動し、１回目の関数「Ｇｒａｓｐ」により仕分対象物品（ｉ＝２）を把持し、２回目の関数「Ｍｏｖｅ」により領域Ｇまで移動し、２回目の関数「Ｇｒａｓｐ」により仕分対象物品（ｉ＝２）を領域Ｇに載置する。

【0129】

（８）処理フロー
図９は、第１実施形態において制御装置１が実行する処理の概要を示すフローチャートの一例である。

【0130】

まず、制御装置１は、計測装置４が生成する計測信号Ｓ１に基づき作業空間に関する認識を行う（ステップＳ１１）。これにより、制御装置１は、認識結果Ｉｍを生成する。ステップＳ１１の処理は、例えば、上述した認識部１４の処理に相当する。

【0131】

次に、制御装置１は、動作計画を行うタイミングであるか否か判定する（ステップＳ１２）。例えば、制御装置１は、所定の時間間隔により動作計画を行う場合には、前回の動作計画から所定時間長が経過したか否か判定する。そして、制御装置１は、動作計画を行うタイミングである場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１３に処理を進める。一方、制御装置１は、動作計画を行うタイミングではない場合（ステップＳ１２；Ｎｏ）、策定済みの動作計画に基づくロボット５１の実行制御、搬送機械５２の制御、及び仕分容器管理機構５３の制御を実行する（ステップＳ１６）。これにより、制御装置１は、策定済みの動作計画が実行されるように好適に制御を行う。

【0132】

そして、制御装置１は、動作計画のタイミングの場合、仕分対象物品を決定する（ステップＳ１３）。ステップＳ１３の処理は、例えば、仕分対象決定部１５の処理に相当する。

【0133】

そして、制御装置１は、ロボット５１による実行制御の開始時点での予測状態である開始予測状態と、目標状態とを夫々設定する（ステップＳ１４）。ステップＳ１４の処理は、例えば、状態設定部１６の処理に相当する。そして、制御装置１は、ステップＳ１４で設定した開始予測状態と目標状態とに基づき、動作計画の策定を行う（ステップＳ１５）。ステップＳ１５の処理は、例えば、動作計画部１７の処理に相当する。そして、制御装置１は、策定済みの動作計画に基づくロボット５１の実行制御、搬送機械５２の制御、及び仕分容器管理機構５３の制御を実行する（ステップＳ１６）。なお、制御装置１は、ロボット５１の実行制御、搬送機械５２の制御、及び仕分容器管理機構５３の制御を、必要に応じて他の処理ステップと並行して実行してもよい。

【0134】

そして、制御装置１は、ロボット５１等の制御処理を終了すべきか否か判定する（ステップＳ１７）。例えば、制御装置１は、ロボット５１等の制御処理を停止すべき旨の外部入力等を検知した場合、ロボット５１等の制御処理を終了すべきと判定する。そして、制御装置１は、ロボット５１等の制御処理を終了すべきと判定した場合（ステップＳ１７；Ｙｅｓ）、フローチャートの処理を終了する。一方、制御装置１は、ロボット５１等の制御処理を終了すべきでない場合（ステップＳ１７；Ｎｏ）、ステップＳ１１に処理を戻す。

【0135】

（９）変形例
次に、第１実施形態の変形例について説明する。以下の変形例は任意に組み合わせて適用してもよい。

【0136】

（変形例１）
図７に示す動作計画部１７のブロック構成は一例であり、種々の変更がなされてもよい。

【0137】

例えば、ロボット５１に命令する動作のシーケンスの候補φの情報がメモリ１２に予め記憶され、動作計画部１７は、当該情報に基づき、制御入力生成部７５の最適化処理を実行する。これにより、動作計画部１７は、最適な候補φの選定とロボット５１の制御入力の決定を行う。この場合、動作計画部１７は、抽象状態設定部７１、目標論理式生成部７２及びタイムステップ論理式生成部７３に相当する機能を有しなくともよい。このように、図７に示す動作計画部１７の一部の機能ブロックの実行結果に関する情報がアプリケーション情報ＩＡの一部として予め記憶されていてもよい。

【0138】

他の例では、アプリケーション情報には、目的タスクに対応する動作シーケンスを設計するためのフローチャートなどの設計情報が予め含まれており、動作計画部１７は、当該設計情報を参照することで、動作シーケンスを生成してもよい。なお、予め設計されたタスクシーケンスに基づきタスクを実行する具体例については、特開２０１７－３９１７０号に開示されている。

【0139】

（変形例２）
図３に示す作業空間は一例であり、図３に示す作業空間に対して種々の変更がなされてもよい。例えば、仕分容器管理機構５３は、いずれかの対象仕分容器８が第２搬送機械５２Ｂに搬出された場合に、当該対象仕分容器８が存在した位置に補充用の仕分容器８を内部から送り出す機構を有してもよい。また、倉庫内における入荷商品の仕分け作業に限らず、組み立て製造業、食品製造業、又は物流業での入荷作業等に適用されてもよい。

【0140】

（変形例３）
仕分制御システム１００には、倉庫管理システム（ＷＭＳ：Ｗａｒｅｈｏｕｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）が含まれ、制御装置１は倉庫管理システムと連携してバラ仕分けに関する処理を実行してもよい。

【0141】

図１０は、変形例３における仕分制御システム１００Ａの概略構成図である。図１０に示されるように、仕分制御システム１００Ａは、倉庫管理システムにおける情報を管理する倉庫管理装置２を含んでいる。そして、制御装置１と倉庫管理装置２は、図１に示す制御装置１が実行する処理を協働して実行する。例えば、倉庫管理装置２は、ＢＣＲ４３によるバーコードの読み取り結果及び仕分情報ＩＢを管理し、制御装置１は、カメラ４１等によりＢＣＲ４３を通過した物品７を仕分対象物品として検出し、当該仕分対象物品の仕分け先となる対象仕分容器８に関する情報を倉庫管理装置２から受信する。このように、本変形例によれば、制御装置１は、倉庫管理装置２とデータ通信を行うことで、仕分対象物品の仕分け先となる対象仕分容器８を好適に決定し、上述した実施形態に基づくロボット５１の動作計画を策定することができる。

【0142】

＜第２実施形態＞
図１１は、第２実施形態における制御装置１Ｘの概略構成図である。図１１に示すように、制御装置１Ｘは、主に、状態設定手段１６Ｘと、動作計画手段１７Ｘと、を有する。なお、制御装置１Ｘは、複数の装置から構成されてもよい。

【0143】

状態設定手段１６Ｘは、物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、作業により物品が仕分容器に置かれた状態を表す目標状態とを、物品と仕分容器とに関する情報に基づき設定する。「物品と仕分容器とに関する情報」は、例えば、第１実施形態における、物品７及び仕分容器８に関する認識結果Ｉｍ、仕分情報ＩＢなどが該当する。状態設定手段１６Ｘは、例えば、第１実施形態における状態設定部１６とすることができる。

【0144】

動作計画手段１７Ｘは、開始予測状態と、目標状態とに基づき、ロボットの動作計画を決定する。動作計画手段１７Ｘは、例えば、第１実施形態における動作計画部１７とすることができる。

【0145】

図１２は、第２実施形態において制御装置１Ｘが実行するフローチャートの一例である。まず、状態設定手段１６Ｘは、物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、作業により物品が仕分容器に置かれた状態を表す目標状態とを、物品と仕分容器とに関する情報に基づき設定する（ステップＳ２１）。そして、動作計画手段１７Ｘは、開始予測状態と、目標状態とに基づき、ロボットの動作計画を決定する（ステップＳ２２）。

【0146】

第２実施形態の構成によれば、制御装置１Ｘは、パイプライン化を考慮し、物品の仕分け作業に関するロボットの動作計画を好適に策定することができる。

【0147】

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0148】

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

【0149】

［付記１］
物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定する状態設定手段と、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定する動作計画手段と、
を有する制御装置。
［付記２］
前記作業は、周期的に繰り返し実行され、
前記状態設定手段は、前のサイクルにおける前記動作計画に基づく前記作業の完了前に、現在のサイクルに対する前記開始予測状態と、前記目標状態とを設定する、付記１に記載の制御装置。
［付記３］
前記状態設定手段は、前記ロボットの可動範囲内に搬送された前記物品の状態と、前記前のサイクルにおける前記動作計画に基づく前記作業の完了後の前記仕分容器の状態とを表す前記開始予測状態を設定する、付記２に記載の制御装置。
［付記４］
前記状態設定手段は、前記開始予測状態と、前記物品の分類とに基づき、前記目標状態を設定する、付記１～３のいずれか一項に記載の制御装置。
［付記５］
前記作業空間を計測する計測装置が出力する計測信号に基づき、搬送機械により搬送される物品から、前記作業において仕分ける対象となる物品を決定する仕分対象決定手段をさらに有する、付記１～４のいずれか一項に記載の制御装置。
［付記６］
前記動作計画手段は、前記動作計画として、前記開始予測状態と前記目標状態とにより特定される前記ロボットのタスクを時相論理により表した論理式に基づき、前記ロボットのタイムステップ毎の動作を表す動作シーケンスを生成する、付記１～５のいずれか一項に記載の制御装置。
［付記７］
前記動作シーケンスに基づいて、前記ロボットを制御するロボット制御手段をさらに有する、付記６に記載の制御装置。
［付記８］
前記物品及び前記仕分容器の状態の計測結果、又は、前記動作計画の少なくとも一方に基づき、前記仕分容器の搬出及び補充を制御する仕分容器制御手段をさらに有する、付記１～７のいずれか一項に記載の制御装置。
［付記９］
前記作業の状態に基づいて、前記物品を搬送する搬送機械を制御する搬送機械制御手段をさらに有する、付記１～８のいずれか一項に記載の制御装置。
［付記１０］
コンピュータが、
物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定し、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定する、
制御方法。
［付記１１］
物品を仕分ける作業をロボットが開始する時点での作業空間の状態を予測した開始予測状態と、前記作業により前記物品が仕分容器に置かれた状態を表す目標状態とを、前記物品と前記仕分容器とに関する情報に基づき設定し、
前記開始予測状態と、前記目標状態とに基づき、前記ロボットの動作計画を決定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。

【0150】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0151】

１、１Ｘ 制御装置
２ 倉庫管理装置
３ 通信網
４ 計測装置
５ 被制御機器
４１ カメラ
４２ ライダ
４３ ＢＣＲ
５１ ロボット
５２ 搬送機械
５３ 仕分容器管理機構
１００、１００Ａ 仕分制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】