知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-26
(45)【発行日】2025-06-03
(54)【発明の名称】動作計画装置、動作計画方法及びプログラム
(51)【国際特許分類】
B25J 5/00 20060101AFI20250527BHJP
B25J 13/00 20060101ALI20250527BHJP
B25J 13/06 20060101ALI20250527BHJP
【ＦＩ】
B25J5/00 E
B25J5/00 A
B25J13/00 Z
B25J13/06
【請求項の数】
9
(21)【出願番号】P 2023522009
(86)(22)【出願日】2021-05-17
(86)【国際出願番号】 JP2021018620
(87)【国際公開番号】W WO2022244060
(87)【国際公開日】2022-11-24
【審査請求日】2023-11-10
【前置審査】
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(72)【発明者】
【氏名】佐藤 峰斗
(72)【発明者】
【氏名】向後 卓磨
(72)【発明者】
【氏名】小川 雅嗣
【審査官】杉山 悟史
(56)【参考文献】
【文献】特開２０２０－０１１３２０（ＪＰ，Ａ）
【文献】特開２００６－０００９５４（ＪＰ，Ａ）
【文献】特許第６４５８０５２（ＪＰ，Ｂ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ ～ ２１／０２
(57)【特許請求の範囲】
【請求項1】
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定する状態設定手段と、前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有し、
前記動作計画手段は、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画装置。
【請求項2】
前記動作計画手段は、前記対象物の位置に基づき、前記基準点を設定する、請求項１に記載の動作計画装置。
【請求項3】
前記動作計画手段は、前記対象物の位置と、前記本体の移動誤差と、前記マニピュレータのリーチ範囲とに基づき、前記基準点を決定する、請求項２に記載の動作計画装置。
【請求項4】
前記状態設定手段は、前記第１動作計画に基づき前記本体が前記基準点に到達した場合に、前記ロボット及び前記対象物が少なくとも存在する状態設定空間を決定し、当該状態設定空間内での前記状態を設定する、請求項１～３のいずれか一項に記載の動作計画装置。
【請求項5】
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付けるエリア指定手段と、前記エリア内の対象物に関する指定を受け付ける対象物指定手段と、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有し、
前記動作計画手段は、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画装置。
【請求項6】
コンピュータが、対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定し、
前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定し、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画方法。
【請求項7】
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定し、前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させ、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、プログラム。
【請求項8】
コンピュータが、対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定し、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、動作計画方法。
【請求項9】
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付け、前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させ、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボットの動作計画を行う動作計画装置、動作計画方法及び記憶媒体の技術分野に関する。
【背景技術】
【0002】
移動型の作業ロボットが提案されている。例えば、特許文献１には、台車に設けられたロボットアームの動作軸と台車の動作軸とが協働して動作し、ロボットアームの各動作軸と台車の各動作軸を制御する制御ユニットが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６４５８０５２号
【発明の概要】
【発明が解決しようとする課題】
【0004】
マニピュレータを有する移動型ロボットでは、ロボット本体の移動とマニピュレータの動作は互いに影響があり、これらを同時に計画することが難しい。一方、ロボット本体の移動とマニピュレータの動作の夫々を独立に計画した場合には、非効率な計画が算出される場合がある。
【0005】
本開示の目的の１つは、上述した課題を鑑み、マニピュレータを有する移動型のロボットの動作計画を好適に決定することが可能な動作計画装置、動作計画方法及び記憶媒体を提供することである。
【課題を解決するための手段】
【0006】
動作計画装置の一の態様は、
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定する状態設定手段と、
前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有し、
前記動作計画手段は、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画装置である。
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定する状態設定手段と、
前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有し、
前記動作計画手段は、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画装置である。
【0007】
動作計画装置の他の態様は、
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付けるエリア指定手段と、
前記エリア内の対象物に関する指定を受け付ける対象物指定手段と、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有し、
前記動作計画手段は、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画装置である。
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付けるエリア指定手段と、
前記エリア内の対象物に関する指定を受け付ける対象物指定手段と、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有し、
前記動作計画手段は、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画装置である。
【0008】
動作計画方法の一の態様は、
コンピュータが、
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定し、
前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定し、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画方法。
コンピュータが、
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定し、
前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定し、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、
動作計画方法。
【0009】
動作計画方法の他の態様は、
コンピュータが、
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定し、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、動作計画方法である。
コンピュータが、
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定し、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、動作計画方法である。
【0010】
プログラムの一の態様は、
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定し、
前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させ、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、プログラムである。
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業する作業空間における状態を設定し、
前記状態と、前記本体の移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させ、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、プログラムである。
【0011】
プログラムの他の態様は、
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させ、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、プログラムである。
対象物を扱うマニピュレータと自走式の本体とを有するロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記本体の移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させ、
前記動作計画の決定では、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記本体を移動させる第１動作計画を決定し、前記ロボットが前記基準点に到達後の前記動作計画である第２動作計画を前記ロボットが前記基準点に到達後に決定する、プログラムである。
【発明の効果】
【0012】
マニピュレータを有する移動型のロボットの動作計画を好適に決定することができる。
【図面の簡単な説明】
【0013】
【図1】第１実施形態におけるロボット制御システムの構成を示す。
【図2】ロボットコントローラのハードウェア構成を示す。
【図3】アプリケーション情報のデータ構造の一例を示す。
【図4】ロボットコントローラの機能ブロックの一例である。
【図5】動作計画部の機能ブロックの一例である。
【図6】ロボットの作業空間を俯瞰的に表した概略図の一例である。
【図7】基準点及びロボット経路を明示した図である。
【図8】抽象状態設定空間の俯瞰図を示す。
【図9】ロボット本体及びロボットハンドの軌道を概略的に示した図である。
【図10】（Ａ）安全性優先が設定された場合のロボット本体の動作期間と、マニピュレータの動作期間とを明示した図である。（Ｂ）作業時間長優先が設定された場合のロボット本体の動作期間と、マニピュレータの動作期間とを明示した図である。
【図11】目的タスクを指定するタスク指定画面の第１表示例を示す。
【図12】目的タスクを指定するタスク指定画面の第２表示例を示す。
【図13】第１実施形態においてロボットコントローラ１が実行する処理の概要を示すフローチャートの一例である。
【図14】第２実施形態における動作計画装置の概略構成図を示す。
【図15】第２実施形態におけるフローチャートの一例である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら、動作計画装置、動作計画方法及び記憶媒体の実施形態について説明する。
【0015】
＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、ロボットコントローラ１と、指示装置２と、記憶装置４と、ロボット５と、センサ７と、を備える。
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、ロボットコントローラ１と、指示装置２と、記憶装置４と、ロボット５と、センサ７と、を備える。
【0016】
ロボットコントローラ１は、ロボット５に実行させるタスク（「目的タスク」とも呼ぶ。）が指定された場合に、ロボット５が受付可能な単純なタスクのタイムステップ（時間刻み）毎のシーケンスに目的タスクを変換し、生成したシーケンスに基づきロボット５を制御する。
【0017】
また、ロボットコントローラ１は、指示装置２、記憶装置４、ロボット５、及びセンサ７と、通信網を介し、又は、無線若しくは有線による直接通信により、データ通信を行う。例えば、ロボットコントローラ１は、指示装置２から、目的タスクの指定に関する入力信号「Ｓ１」を受信する。また、ロボットコントローラ１は、指示装置２に対し、出力制御信号「Ｓ２」を送信することで、指示装置２に所定の表示又は音出力を実行させる。さらに、ロボットコントローラ１は、ロボット５の制御に関する制御信号「Ｓ３」をロボット５に送信する。また、ロボットコントローラ１は、センサ７からセンサ信号「Ｓ４」を受信する。
【0018】
指示装置２は、作業者によるロボット５に対する指示を受け付ける装置である。指示装置２は、ロボットコントローラ１から供給される出力制御信号Ｓ２に基づき所定の表示又は音出力を行ったり、作業者の入力に基づき生成した入力信号Ｓ１をロボットコントローラ１へ供給したりする。指示装置２は、入力部と表示部とを備えるタブレット端末であってもよく、据置型のパーソナルコンピュータであってもよい。
【0019】
記憶装置４は、アプリケーション情報記憶部４１を有する。アプリケーション情報記憶部４１は、ロボット５が実行すべきシーケンスである動作シーケンスを目的タスクから生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は、図３を参照しながら後述する。記憶装置４は、ロボットコントローラ１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、ロボットコントローラ１と通信網を介してデータ通信を行うサーバ装置であってもよい。この場合、記憶装置４は、複数のサーバ装置から構成されてもよい。
【0020】
ロボット５は、ロボットコントローラ１から供給される制御信号Ｓ３に基づき、目的タスクに関する作業を行う移動型（自走式）のロボットである。図１は、一例として、ロボット５が対象物（ワーク）６のピックアンドプレイスを行う様子を示している。ロボット５は、例えば、組み立て工場、食品工場などの各種工場、又は、物流の現場などで動作を行うロボットである。ロボット５は、移動を行うロボット本体５０と、ロボットハンド（エンドエフェクタ）５３を有するマニピュレータ（ここではロボットアーム）５２とを有する。マニピュレータ５２は、垂直多関節型ロボット、水平多関節型ロボット、又はその他の任意の種類のロボットであってもよい。以後において、マニピュレータ５２は、ロボットアームと同義であるものとする。ロボット５は、ロボット５の状態を示す状態信号をロボットコントローラ１に供給してもよい。この状態信号は、ロボット５全体又は関節などの特定部位の状態（位置、角度等）を検出するセンサの出力信号であってもよく、ロボット５の制御部が生成したロボット５の動作シーケンスの進捗状態を示す信号であってもよい。
【0021】
なお、ロボット５は、ロボット本体５０とマニピュレータ５２とが一体化している必要はなく、ロボット本体５０とマニピュレータ５２とが別装置であってもよい。例えば、ロボット本体５０に相当する移動型ロボットにマニピュレータ５２が載置される構成であってもよい。
【0022】
センサ７は、目的タスクが実行される作業空間内の状態を検出するカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数のセンサである。本実施形態では、センサ７は、ロボット５の作業空間を撮像する少なくとも１台のカメラを含むものとする。センサ７は、生成したセンサ信号Ｓ４をロボットコントローラ１に供給する。センサ７は、作業空間内で移動する自走式又は飛行式のセンサ（ドローンを含む）であってもよい。また、センサ７は、ロボット５に設けられたセンサ、及び作業空間内の他の物体に設けられたセンサなどを含んでもよい。また、センサ７は、作業空間内の音を検出するセンサを含んでもよい。このように、センサ７は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。
【0023】
なお、図１に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボット５は、複数台存在してもよく、夫々が独立して動作するマニピュレータ５２を複数有してもよい。これらの場合であっても、ロボットコントローラ１は、目的タスクに基づき、ロボット５毎に（かつ、ロボット本体５０及びマニピュレータ５２の各々に対して）実行すべき動作シーケンスを生成し、当該動作シーケンスに基づく制御信号Ｓ３を、対象のロボット５に送信する。また、ロボット５は、作業空間内で動作する他のロボット、作業者又は工作機械と協働作業を行うものであってもよい。また、センサ７は、ロボット５の一部であってもよい。また、指示装置２は、ロボットコントローラ１と同一の装置として構成されてもよい。また、ロボットコントローラ１は、複数の装置から構成されてもよい。この場合、ロボットコントローラ１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、ロボットコントローラ１とロボット５とは、一体に構成されてもよい。
【0024】
（２）ハードウェア構成
図２（Ａ）は、ロボットコントローラ１のハードウェア構成を示す。ロボットコントローラ１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。
図２（Ａ）は、ロボットコントローラ１のハードウェア構成を示す。ロボットコントローラ１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。
【0025】
プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、ロボットコントローラ１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
【0026】
メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、ロボットコントローラ１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、ロボットコントローラ１と通信可能な１又は複数の外部記憶装置（例えば記憶装置４）により記憶されてもよく、ロボットコントローラ１に対して着脱自在な記憶媒体により記憶されてもよい。
【0027】
インターフェース１３は、ロボットコントローラ１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
【0028】
なお、ロボットコントローラ１のハードウェア構成は、図２（Ａ）に示す構成に限定されない。例えば、ロボットコントローラ１は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。また、ロボットコントローラ１は、指示装置２又は記憶装置４の少なくとも一方を含んで構成されてもよい。
【0029】
図２（Ｂ）は、指示装置２のハードウェア構成を示す。指示装置２は、ハードウェアとして、プロセッサ２１と、メモリ２２と、インターフェース２３と、入力部２４ａと、表示部２４ｂと、音出力部２４ｃと、を含む。プロセッサ２１、メモリ２２及びインターフェース２３は、データバス２０を介して接続されている。また、インターフェース２３には、入力部２４ａと表示部２４ｂと音出力部２４ｃとが接続されている。
【0030】
プロセッサ２１は、メモリ２２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ２１は、ＣＰＵ、ＧＰＵなどのプロセッサである。プロセッサ２１は、インターフェース２３を介して入力部２４ａが生成した信号を受信することで、入力信号Ｓ１を生成し、インターフェース２３を介してロボットコントローラ１に当該入力信号Ｓ１を送信する。また、プロセッサ２１は、インターフェース２３を介してロボットコントローラ１から受信した出力制御信号Ｓ２に基づき、表示部２４ｂ又は音出力部２４ｃの少なくとも一方を、インターフェース２３を介して制御する。
【0031】
メモリ２２は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ２２には、指示装置２が実行する処理を実行するためのプログラムが記憶される。
【0032】
インターフェース２３は、指示装置２と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。また、インターフェース２３は、入力部２４ａ、表示部２４ｂ及び音出力部２４ｃのインターフェース動作を行う。入力部２４ａは、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。表示部２４ｂは、例えば、ディスプレイ、プロジェクタ等であり、プロセッサ２１の制御に基づき表示を行う。また、音出力部２４ｃは、例えば、スピーカであり、プロセッサ２１の制御に基づき音出力を行う。
【0033】
なお、指示装置２のハードウェア構成は、図２（Ｂ）に示す構成に限定されない。例えば、入力部２４ａ、表示部２４ｂ又は音出力部２４ｃの少なくともいずれかは、指示装置２と電気的に接続する別体の装置として構成されてもよい。また、指示装置２は、カメラなどの種々の装置と接続してもよく、これらを内蔵してもよい。
【0034】
（３）アプリケーション情報
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。
【0035】
図３は、アプリケーション情報のデータ構造の一例を示す。図３に示すように、アプリケーション情報は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６と、マップ（地図）情報Ｉ７と、を含む。
【0036】
抽象状態指定情報Ｉ１は、動作シーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。
【0037】
制約条件情報Ｉ２は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット５が接触してはいけないという制約条件、ロボット５（マニピュレータ）同士が接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。
【0038】
動作限界情報Ｉ３は、ロボットコントローラ１により制御が行われるロボット５の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、ロボット５の速度、加速度、又は角速度の上限を規定する情報である。また、動作限界情報Ｉ３は、ロボット５の可動部位（ロボット本体５０を含む）又は関節ごとに動作限界を規定する情報を含む。本実施形態では、動作限界情報Ｉ３は、マニピュレータ５２のリーチ範囲に関する情報を含む。マニピュレータ５２のリーチ範囲は、対象物６に対してマニピュレータ５２が作業可能な範囲であって、ロボット５の基準位置からの最大距離により示されてもよく、ロボット５を基準とする座標系での領域により示されてもよい。
【0039】
サブタスク情報Ｉ４は、動作シーケンスの構成要素となるサブタスクの情報を示す。「サブタスク」は、ロボット５が受付可能な単位により目的タスクを分解したタスクであって、細分化されたロボット５の動作を指す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、マニピュレータ５２の移動であるリーチングと、マニピュレータ５２による把持であるグラスピングとをサブタスクとして規定する。また、ロボット本体５０の移動に対応するサブタスクについても、サブタスク情報Ｉ４において少なくとも規定されている。サブタスク情報Ｉ４は、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。なお、サブタスク情報Ｉ４には、外部入力による動作指令が必要なサブタスクに関する情報が含まれてもよい。
【0040】
抽象モデル情報Ｉ５は、作業空間におけるダイナミクスを抽象化した抽象モデルに関する情報である。例えば、抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、ロボット５により作業対象となる対象物６をロボット５が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物６はロボット５により把持されなければ移動できないという条件などが該当する。抽象モデル情報Ｉ５は、目的タスクの種類毎に適した抽象モデルに関する情報を有している。
【0041】
物体モデル情報Ｉ６は、センサ７が生成したセンサ信号Ｓ４から認識すべき作業空間内の各物体の物体モデルに関する情報である。上述の各物体は、例えば、ロボット５、障害物、ロボット５が扱う工具その他の対象物、ロボット５以外の作業体などが該当する。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、姿勢、現在実行中の動作などをロボットコントローラ１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。
【0042】
マップ情報Ｉ７は、ロボット５が存在する作業空間内のマップ（レイアウト）を示す情報である。マップ情報Ｉ７は、例えば、作業空間内において移動可能な範囲（通路）を示す情報、壁、設置物、階段などの固定物の位置（大きさ及び範囲を含む）、及び障害物を示す情報などを含んでいる。
【0043】
なお、アプリケーション情報記憶部４１は、上述した情報の他、動作シーケンスの生成処理及び出力制御信号Ｓ２の生成処理に関する種々の情報を記憶してもよい。
【0044】
（４）処理概要
次に、ロボットコントローラ１の処理概要について説明する。概略的には、ロボットコントローラ１は、入力信号Ｓ１に基づき指定されたエリア（「指定エリア」とも呼ぶ。）までロボット本体５０を移動させた後、ロボット本体５０の移動に関する動作計画とマニピュレータ５２の動作計画とを同時に実行する。これにより、ロボットコントローラ１は、効率的かつ確実に目的タスクをロボット５に遂行させる。
次に、ロボットコントローラ１の処理概要について説明する。概略的には、ロボットコントローラ１は、入力信号Ｓ１に基づき指定されたエリア（「指定エリア」とも呼ぶ。）までロボット本体５０を移動させた後、ロボット本体５０の移動に関する動作計画とマニピュレータ５２の動作計画とを同時に実行する。これにより、ロボットコントローラ１は、効率的かつ確実に目的タスクをロボット５に遂行させる。
【0045】
図４は、ロボットコントローラ１の処理の概要を示す機能ブロックの一例である。ロボットコントローラ１のプロセッサ１１は、機能的には、出力制御部１５と、動作計画部１６と、ロボット制御部１７と、を有する。なお、図４では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。後述する他の機能ブロックの図においても同様である。
【0046】
出力制御部１５は、マップ情報Ｉ７等に基づき、作業者が使用する指示装置２に所定の情報を表示又は音出力するための出力制御信号Ｓ２を生成し、インターフェース１３を介して当該出力制御信号Ｓ２を指示装置２へ送信する。
【0047】
例えば、出力制御部１５は、目的タスクの指定に関する入力画面（「タスク指定画面」とも呼ぶ。）を指示装置２に表示させるための出力制御信号Ｓ２を生成する。その後、出力制御部１５は、タスク指定画面での入力操作により指示装置２が生成した入力信号Ｓ１を、指示装置２からインターフェース１３を介して受信する。この場合、入力信号Ｓ１は、目的タスクを概略的に指定する情報（「タスク指定情報Ｉａ」とも呼ぶ。）を含んでいる。タスク指定情報Ｉａは、例えば、ロボット５への概略命令に相当する情報であり、ロボット５の具体的な動作を規定する情報（例えば後述する制御入力の情報やサブタスクの情報）を含まない。本実施形態では、タスク指定情報Ｉａは、ロボット５が作業を行う空間としてユーザにより指定された指定エリアを表す情報と、ユーザが指定した対象物６（例えば把持対象物）に関する情報と、を少なくとも含んでいる。対象物６に関する情報は、対象物６となる物体の位置、対象物６となる各物体を運ぶ搬送先（ゴール地点）を示す情報を含んでもよい。
【0048】
また、好適には、タスク指定情報Ｉａは、目的タスクの実行における優先事項を指定する情報をさらに含んでもよい。ここで、優先事項は、安全性優先、作業時間長優先、消費電力優先などの、目的タスクの実行において重視すべき事項を示す。優先事項は、例えば、タスク指定画面において、ユーザにより選択される。指定エリア、対象物６、及び優先事項に関する指定方法の具体例については図１１及び図１２を参照して後述する。
【0049】
そして、出力制御部１５は、指示装置２から供給される入力信号Ｓ１に基づくタスク指定情報Ｉａを、動作計画部１６へ供給する。
【0050】
動作計画部１６は、出力制御部１５から供給されるタスク指定情報Ｉａと、センサ信号Ｓ４と、記憶装置４が記憶するアプリケーション情報とに基づき、ロボット５に実行させる動作シーケンスを生成する。動作シーケンスは、目的タスクを達成するためにロボット５が実行すべきサブタスクのシーケンス（サブタスクシーケンス）に相当し、ロボット５の一連の動作を規定する。本実施形態では、動作計画部１６は、ロボット５をタスク指定情報Ｉａが示す指定エリアまで移動させる第１動作計画と、ロボット５が指定エリアに到着後からロボット５に目的タスクを完了させる第２動作計画とを夫々策定する。そして、動作計画部１６は、第１動作計画に基づく第１動作シーケンス「Ｓｒ１」を生成し、第２動作計画に基づく第２動作シーケンス「Ｓｒ２」を生成する。そして、動作計画部１６は、生成した第１動作シーケンスＳｒ１と第２動作シーケンスＳｒ２とを、ロボット制御部１７に順次供給する。ここで、各動作シーケンスには、各サブタスクの実行順序及び実行タイミングを示す情報が含まれている。
【0051】
ロボット制御部１７は、インターフェース１３を介して制御信号Ｓ３をロボット５に供給することで、ロボット５の動作を制御する。ロボット制御部１７は、動作シーケンスを動作計画部１６から受信した場合、動作シーケンスを構成する各サブタスクを夫々定められた実行タイミング（タイムステップ）でロボット５が実行するための制御を行う。具体的には、ロボット制御部１７は、制御信号Ｓ３をロボット５に送信することで、動作シーケンスを実現するためのロボット５の関節の位置制御又はトルク制御などを実行する。
【0052】
なお、ロボット制御部１７に相当する機能を、ロボットコントローラ１に代えてロボット５が有してもよい。この場合、ロボット５は、動作計画部１６が生成する動作シーケンスに基づく動作を実行する。また、ロボット制御部１７は、ロボット本体５０とマニピュレータ５２とで別々に設けられてもよい。この場合、例えば、ロボット制御部１７は、その一方がロボットコントローラ１内に存在し、他方がロボット５内に存在する構成であってもよい。
【0053】
ここで、出力制御部１５、動作計画部１６及びロボット制御部１７の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子コンピュータ制御チップにより構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は，例えば，クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
【0054】
（５）動作計画部の詳細
次に、動作計画部１６の詳細な処理について説明する。
次に、動作計画部１６の詳細な処理について説明する。
【0055】
（５－１）機能ブロック
図５は、動作計画部１６の機能的な構成を示す機能ブロックの一例である。動作計画部１６は、機能的には、経路設定部３０と、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６と、を有する。
図５は、動作計画部１６の機能的な構成を示す機能ブロックの一例である。動作計画部１６は、機能的には、経路設定部３０と、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６と、を有する。
【0056】
経路設定部３０は、第１動作計画において、タスク指定情報Ｉａが表す指定エリア内においてロボット５が到達すべき地点（「基準点」とも呼ぶ。）までのロボット５の経路を設定する。基準点は、第２動作シーケンスＳｒ２を生成する第２動作計画におけるロボット５の動作開始位置として適切な位置となるように設定される。言い換えると、経路設定部３０は、第２動作計画の策定に適したロボット５の動作開始位置となるように基準点を設定する。経路設定部３０は、例えば、タスク指定情報Ｉａが示す指定エリア及び対象物６の位置と、ロボット５に設けられたセンサ７が出力するセンサ信号Ｓ４に基づき推定した自己位置と、動作限界情報Ｉ３が示すロボット５（詳しくはマニピュレータ５２）のリーチ範囲とに基づき、基準点を設定する。さらに、経路設定部３０は、自己位置推定により得た自己位置と基準点と、マップ情報Ｉ７とに基づき、自己位置から基準点までの経路（「ロボット経路」とも呼ぶ。）を決定する。なお、自己位置推定は、ＧＰＳ受信機及び内界センサに基づくものであってもよく、カメラやその他の外界センサに基づくもの（ＳＬＡＭ（Simultaneous Localization and Mapping）などを含む）であってもよい。基準点及び経路の設定の具体例については後述する。経路設定部３０は、設定したロボット経路を示す情報（「経路情報Ｉｒｔ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。
【0057】
抽象状態設定部３１は、第２動作計画を策定する場合において、センサ７から供給されるセンサ信号Ｓ４と、出力制御部１５から供給されるタスク指定情報Ｉａと、抽象状態指定情報Ｉ１と、物体モデル情報Ｉ６と、に基づき、目的タスクに関連する物体等の抽象状態を設定する。この場合、抽象状態設定部３１は、まず、抽象状態を設定する空間（「抽象状態設定空間」とも呼ぶ。）を決定し、当該抽象状態設定空間内において、目的タスクを実行する際に考慮する必要がある物体を認識し、当該物体に関する認識結果「Ｉｍ」を生成する。なお、抽象状態設定空間は、指定エリア全体であってもよく、指定エリア内において、タスク指定情報Ｉａにおいて指定された対象物６の位置、搬送先の位置、及びロボット５を少なくとも含む矩形エリア等に設定されてもよい。そして、抽象状態設定部３１は、認識結果Ｉｍに基づいて、目的タスクを実行する際に考慮する必要がある各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部３１は、設定した抽象状態を示す情報（「抽象状態設定情報ＩＳ」とも呼ぶ。）を、目標論理式生成部３２に供給する。
【0058】
目標論理式生成部３２は、第２動作計画を策定する場合において、抽象状態設定情報ＩＳに基づき、タスク指定情報Ｉａが示す指定エリア内での目的タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、指定エリア内での目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部３２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部３３に供給する。
【0059】
タイムステップ論理式生成部３３は、第２動作計画を策定する場合において、目標論理式生成部３２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部３３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部３５に供給する。
【0060】
抽象モデル生成部３４は、第２動作計画を策定する場合において、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５と、抽象状態設定部３１から供給される認識結果Ｉｍとに基づき、抽象状態設定空間における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデル生成部３４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルΣを生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部３４は、生成した抽象モデルΣを、制御入力生成部３５へ供給する。
【0061】
制御入力生成部３５は、第２動作計画を策定する場合において、ロボット５へのタイムステップ毎の制御入力（即ち、ロボット５の軌道情報）を生成する。制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとを満たし、評価関数（たとえば、ロボットによって消費されるエネルギー量を表す関数）を最適化するタイムステップ毎のロボット５への制御入力を決定する。この場合、評価関数は、抽象モデルΣが表すロボット５のダイナミクスを間接的又は直接的に考慮した関数となっている。そして、制御入力生成部３５は、ロボット５へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃｎ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。
【0062】
サブタスクシーケンス生成部３６は、第１動作計画を策定する場合において第１動作シーケンスＳｒ１を生成し、第２動作計画を策定する場合において第２動作シーケンスＳｒ２を生成する。サブタスクシーケンス生成部３６は、第１動作計画の策定時に経路設定部３０から経路情報Ｉｒｔが供給された場合には、サブタスク情報Ｉ４に基づき、経路情報Ｉｒｔが示すロボット経路に沿ったロボット５の移動を指示するサブタスクのシーケンスである第１動作シーケンスＳｒ１を生成する。一方、サブタスクシーケンス生成部３６は、第２動作計画の策定時には、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、サブタスク情報Ｉ４とに基づき、ロボット本体５０の移動及びマニピュレータ５２の動作に関する第２動作シーケンスＳｒ２を生成する。サブタスクシーケンス生成部３６は、生成した動作シーケンスをロボット制御部１７へ順次供給する。
【0063】
（５－２）経路設定部
経路設定部３０が実行する処理について具体的に説明する。図６は、ロボット５の作業空間を俯瞰的に表した概略図の一例である。
経路設定部３０が実行する処理について具体的に説明する。図６は、ロボット５の作業空間を俯瞰的に表した概略図の一例である。
【0064】
図６に示される例では、作業空間内には、ロボット５と、作業台５４と、作業台５４以外の他作業台５４Ａ～５４Ｅとが存在しており、作業台５４上には、物体６１ａ（「対象物Ａ」とも呼ぶ。）と、物体６１ｂ（「対象物Ｂ」とも呼ぶ。）が存在する。また、作業台５４の横には、対象物Ａ及び対象物Ｂの搬送先となる第２作業台６３（「搬送先Ｇ」とも呼ぶ。）が存在している。さらに、説明便宜上、図６では、ロボット５に対してユーザが指定した概略命令を表す吹き出し５６が明示されている。ここでの概略命令は、破線枠５５を外縁とする「エリアＩ」を指定し、かつ、エリアＩ内の対象物Ａ１個（即ち物体６１ａ）と対象物Ｂ１個（即ち物体６１ｂ）を搬送先Ｇ（即ち台６３）に搬送することを指示するものとなっている。
【0065】
なお搬送先Ｇは、同一のエリアＩ内にある場合に限らない。搬送先ＧがエリアＩ以外の他のエリア（「他エリア」とも呼ぶ。）に指定されている場合は、例えば、ロボットコントローラ１は、エリアＩに存在する対象物を一度ロボット５に載置させてから他エリアにロボット５を移動させ、その後、他エリアの指定された搬送先Ｇに対象物をロボット５に載置させる動作計画を策定する。このようなロボット５の動作は、対象物を一度ロボット５に載置する第２動作計画に基づく動作が完了した後、再度、第１動作計画により該エリアに移動して、第２動作計画により搬送先に載置する動作のシーケンスを生成することで（即ち第１動作計画と第２動作計画とを交互に繰り返すことにより）実現できる。
【0066】
この場合、経路設定部３０は、まず、指定エリアであるエリアＩ内においてロボット５が移動すべき基準点を設定する。この場合、例えば、経路設定部３０は、エリアＩ内であって、ロボット５に近い対象物（ここでは対象物Ｂ）から所定距離離れた位置のうちロボット５に最も近い位置（又はロボット５が最も早く到達可能な位置）に基準点を設定する。ここで、上述の所定距離は、例えば、ロボット５（詳しくはマニピュレータ５２）のリーチ範囲（又はその所定倍数）と、ロボット５の移動誤差とを加算した値に設定される。上述のロボット５の移動誤差は、詳しくは、自己位置推定を行う過程において取得される自己位置推定精度の誤差とロボット５の移動制御に関する誤差の合計であり、これらの誤差情報は、例えば、記憶装置４に予め記憶されてもよい。なお、自己位置推定の誤差情報として、自己位置推定時に得られる誤差情報を用いてもよい。
【0067】
このように、経路設定部３０は、対象物の位置と、ロボット５の移動誤差と、ロボット５のリーチ範囲とに基づき基準点を決定する。これにより、経路設定部３０は、第２動作計画でのロボット５の動作開始地点として適切な位置に基準点を定めることができる。
【0068】
ここで、適切な基準点の設定の必要性について補足説明する。一般に、基準点が対象物６に近すぎると、ロボット本体５０の移動とマニピュレータ５２の動作とを夫々規定した最適な第２動作シーケンスＳｒ２を算出することができない。一方、基準点が対象物６から遠すぎると、第２動作シーケンスＳｒ２を算出するための計算量が増加してしまう。以上を勘案し、経路設定部３０は、対象物の位置と、ロボット５の移動誤差と、ロボット５のリーチ範囲とに基づき、第２動作計画においてロボット本体５０の移動をなるべく少なくするような基準点を決定する。これにより、上述の計算量増加を防ぎつつ、ロボット５の移動とマニピュレータ５２との動作計画を好適に策定することができる。
【0069】
また、経路設定部３０は、ロボット５がマップ情報Ｉ７に記録された障害物（ここでは、他作業台５４Ａ～５４Ｅ等）と衝突せずに基準点に最短の時間長にて到達可能な経路をロボット経路として決定する。この場合、経路設定部３０は、任意の経路探索手法に基づきロボット経路を決定してもよい。
【0070】
図７は、経路設定部３０が設定した基準点及びロボット経路を明示した図である。図７において、地点５７は、基準点を示し、経路線５８は、ロボット経路を示している。経路設定部３０は、図７に示す基準点及びロボット経路を決定し、決定したロボット経路を示す経路情報Ｉｒｔをサブタスクシーケンス生成部３６へ供給する。その後、サブタスクシーケンス生成部３６は、当該経路情報Ｉｒｔに基づく第１動作シーケンスＳｒ１を生成する。そして、ロボット制御部１７は、第１動作シーケンスＳｒ１に基づく制御信号Ｓ３をロボット５に供給することで、ロボット経路に沿って移動するようにロボット５を制御する。
【0071】
（５－３）抽象状態設定部
次に、抽象状態設定部３１の処理について説明する。抽象状態設定部３１は、第１動作シーケンスＳｒ１に基づくロボット５の動作が完了した（即ちロボット５が基準点に到達した）と判定した場合に、抽象状態設定空間の設定、認識結果Ｉｍの生成及び抽象状態の設定を行う。この場合、例えば、抽象状態設定部３１は、ロボット５又はロボット制御部１７から第１動作シーケンスＳｒ１の完了通知を受信した場合に、ロボット５が基準点に到達したと判定する。他の例では、抽象状態設定部３１は、カメラ画像などのセンサ信号Ｓ４に基づき、ロボット５が基準点に到達したか否か判定してもよい。
次に、抽象状態設定部３１の処理について説明する。抽象状態設定部３１は、第１動作シーケンスＳｒ１に基づくロボット５の動作が完了した（即ちロボット５が基準点に到達した）と判定した場合に、抽象状態設定空間の設定、認識結果Ｉｍの生成及び抽象状態の設定を行う。この場合、例えば、抽象状態設定部３１は、ロボット５又はロボット制御部１７から第１動作シーケンスＳｒ１の完了通知を受信した場合に、ロボット５が基準点に到達したと判定する。他の例では、抽象状態設定部３１は、カメラ画像などのセンサ信号Ｓ４に基づき、ロボット５が基準点に到達したか否か判定してもよい。
【0072】
認識結果Ｉｍの生成では、抽象状態設定部３１は、物体モデル情報Ｉ６を参照し、抽象状態設定空間の環境を認識する技術（画像処理技術、画像認識技術、音声認識技術、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）を用いる技術等）によりセンサ信号Ｓ４を解析する。これにより、抽象状態設定部３１は、抽象状態設定空間内の物体の種類、位置、及び姿勢などの情報を、認識結果Ｉｍとして生成する。また、抽象状態設定空間内の物体は、例えば、ロボット５、ロボット５が取り扱う工具又は部品などの対象物、障害物及び他作業体（ロボット５以外に作業を行う人又はその他の物体）などである。
【0073】
次に、抽象状態設定部３１は、認識結果Ｉｍと、アプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１とに基づき、抽象状態設定空間内の抽象状態を設定する。この場合、まず、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照し、抽象状態設定空間内において設定すべき抽象状態を認識する。なお、抽象状態設定空間内において設定すべき抽象状態は、目的タスクの種類によって異なる。よって、目的タスクの種類毎に設定すべき抽象状態が抽象状態指定情報Ｉ１に規定されている場合には、抽象状態設定部３１は、現在実行すべき目的タスクに対応する抽象状態指定情報Ｉ１を参照し、設定すべき抽象状態を認識する。
【0074】
図８は、抽象状態設定部３１が設定した抽象状態設定空間５９の俯瞰図を示す。図８に示す抽象状態設定空間５９には、２つのマニピュレータ５２ａ、５２ｂがロボット本体５０に取り付けられたロボット５と、２つの対象物６１（対象物Ａ及び対象物Ｂ）及び障害物６２が存在する作業台５４と、対象物６１の搬送先である第２作業台６３（搬送先Ｇ）とが存在している。
【0075】
この場合、まず、抽象状態設定部３１は、作業台５４の存在範囲、対象物Ａ及び対象物Ｂの状態、障害物６２の存在範囲、ロボット５の状態、搬送先Ｇの存在範囲等を認識する。そして、抽象状態設定部３１は、例えば、設定した抽象状態設定空間５９を基準とする座標系を用いて、認識した各要素の位置を表現する。例えば、この抽象状態設定空間５９における座標系の基準は、前述した基準点、すなわち第２動作計画の開始点とすることもできる。
【0076】
ここでは、抽象状態設定部３１は、対象物Ａ及び対象物Ｂの各々の中心の位置ベクトル「ｘ１」、「ｘ２」を、対象物Ａ及び対象物Ｂの位置として認識する。また、抽象状態設定部３１は、対象物を把持するロボットハンド５３ａの位置ベクトル「ｘｒ１」と、ロボットハンド５３ｂの位置ベクトル「ｘｒ２」とを、マニピュレータ５２ａとマニピュレータ５２ｂの位置として認識する。さらに、抽象状態設定部３１は、ロボット本体５０の位置ベクトル「ｘｒ」を、ロボット本体５０の位置として認識する。この場合、位置ベクトルｘｒ１及び位置ベクトルｘｒ２は、ロボット本体５０の位置ベクトルｘｒを基準とした相対ベクトルであってもよい。この場合、抽象状態設定空間５９の座標系におけるマニピュレータ５２ａの位置は「ｘｒ＋ｘｒ１」により表され、抽象状態設定空間５９の座標系におけるマニピュレータ５２ｂの位置は位置ベクトル「ｘｒ＋ｘｒ２」により表される。
【0077】
同様に、抽象状態設定部３１は、対象物Ａ及び対象物Ｂの姿勢、障害物６２の存在範囲、搬送先Ｇの存在範囲等を認識する。なお、抽象状態設定部３１は、例えば、障害物６２を直方体とみなし、搬送先Ｇを矩形とみなす場合には、障害物６２及び搬送先Ｇの各頂点の位置ベクトルを認識する。
【0078】
抽象状態設定部３１が設定した抽象状態は、例えば、以下の抽象状態ベクトル「ｚ」により表される。
ｚＴ＝（ｘｒ，ｘｒ１，ｘｒ２，ｘ１，ｘ２，…）
この抽象状態ベクトルには、マニピュレータ５２ａ、５２ｂの抽象状態に加え、ロボット本体５０の抽象状態も含まれている。そのため、抽象状態ベクトルｚは、拡大状態ベクトルとも呼ばれる。そして、このような抽象状態ベクトルｚを用いた制御入力生成部３５による最適化処理により、タイムステップごとのマニピュレータ５２ａ、５２ｂ及びロボット本体５０の軌道情報が好適に生成される。
ｚＴ＝（ｘｒ，ｘｒ１，ｘｒ２，ｘ１，ｘ２，…）
この抽象状態ベクトルには、マニピュレータ５２ａ、５２ｂの抽象状態に加え、ロボット本体５０の抽象状態も含まれている。そのため、抽象状態ベクトルｚは、拡大状態ベクトルとも呼ばれる。そして、このような抽象状態ベクトルｚを用いた制御入力生成部３５による最適化処理により、タイムステップごとのマニピュレータ５２ａ、５２ｂ及びロボット本体５０の軌道情報が好適に生成される。
【0079】
また、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部３１は、抽象状態設定空間内に存在する物体に関する認識結果Ｉｍ（例えば物体の種類毎の個数）と、抽象状態指定情報Ｉ１とに基づき、抽象状態を示す命題を定める。
【0080】
図８の例では、抽象状態設定部３１は、認識結果Ｉｍにより特定される対象物Ａ及び対象物Ｂに対し、夫々識別ラベル「１」、「２」を付す。また、抽象状態設定部３１は、対象物「ｉ」（ｉ＝１～２）が最終的に載置されるべき目標地点である搬送先Ｇ内に存在するという命題「ｇｉ」を定義する。また、抽象状態設定部３１は、障害物６２に対して識別ラベル「Ｏ」を付し、対象物ｉが障害物Ｏに干渉しているという命題「ｏｉ」を定義する。さらに、抽象状態設定部３１は、マニピュレータ５２同士が干渉するという命題「ｈ」を定義する。また命題「ｈ」には、マニピュレータ５２とロボット本体５０が干渉しないという条件を含めても良い。
なお、抽象状態設定部３１は、対象物「ｉ」が作業台５４（初期状態で対象物及び障害物が存在するテーブル）内に存在するという命題「ｖｉ」、作業台５４及び搬送先Ｇ以外の作業外領域に対象物が存在するという命題「ｗｉ」などをさらに定めてもよい。作業外領域は、例えば、対象物が作業台５４から落下した場合に対象物が存在する領域（床面等）である。
なお、抽象状態設定部３１は、対象物「ｉ」が作業台５４（初期状態で対象物及び障害物が存在するテーブル）内に存在するという命題「ｖｉ」、作業台５４及び搬送先Ｇ以外の作業外領域に対象物が存在するという命題「ｗｉ」などをさらに定めてもよい。作業外領域は、例えば、対象物が作業台５４から落下した場合に対象物が存在する領域（床面等）である。
【0081】
このように、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題（上述の例ではｇｉ、ｏｉ、ｈ等）を、対象物６１の数、マニピュレータ５２の数、障害物６２の数、ロボット５（マニピュレータ５２）の数等に応じてそれぞれ定義する。そして、抽象状態設定部３１は、抽象状態を表す命題を示す情報を、抽象状態設定情報ＩＳとして目標論理式生成部３２に供給する。
【0082】
（５－４）目標論理式生成部
まず、目標論理式生成部３２は、タスク指定情報Ｉａが示す目的タスクを、時相論理を用いた論理式に変換する。
まず、目標論理式生成部３２は、タスク指定情報Ｉａが示す目的タスクを、時相論理を用いた論理式に変換する。
【0083】
例えば、図８の例において、「最終的に対象物（ｉ＝２）が搬送先Ｇに存在する」という目的タスクが与えられたとする。この場合、目標論理式生成部３２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）の「eventually」に相当する演算子「◇」と、抽象状態設定部３１により定義された命題「ｇｉ」と用いて、論理式「◇ｇ２」を生成する。また、目標論理式生成部３２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、always「□」、next「○」、until「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現してもよい。
【0084】
なお、タスク指定情報Ｉａは、自然言語により目的タスクを指定する情報であってもよい。自然言語で表されたタスクを論理式に変換する方法は、種々の技術が存在する。
【0085】
次に、目標論理式生成部３２は、制約条件情報Ｉ２が示す制約条件を、目的タスクを示す論理式に付加することで、目標論理式Ｌｔａｇを生成する。
【0086】
例えば、図８に示すピックアンドプレイスに対応する制約条件として、「マニピュレータ５２同士が常に干渉しない」、「対象物ｉは障害物Ｏに常に干渉しない」の２つが制約条件情報Ｉ２に含まれていた場合、目標論理式生成部３２は、これらの制約条件を論理式に変換する。具体的には、目標論理式生成部３２は、図８の説明において抽象状態設定部３１により定義された命題「ｏｉ」及び命題「ｈ」を用いて、上述の２つの制約条件を、夫々以下の論理式に変換する。
□￢ｈ
∧ｉ□￢ｏｉ
□￢ｈ
∧ｉ□￢ｏｉ
【0087】
よって、この場合、目標論理式生成部３２は、「最終的に対象物（ｉ＝２）が搬送先Ｇに存在する」という目的タスクに対応する論理式「◇ｇ２」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ｌｔａｇを生成する。
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
【0088】
なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した２つに限られず、「マニピュレータ５２が障害物Ｏに干渉しない」、「複数のマニピュレータ５２が同じ対象物を掴まない」、「対象物同士が接触しない」などの制約条件が存在する。このような制約条件についても同様に、制約条件情報Ｉ２に記憶され、目標論理式Ｌｔａｇに反映される。
【0089】
（５－５）タイムステップ論理式生成部
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。
【0090】
ここで、図８の説明において例示した「最終的に対象物（ｉ＝２）が搬送先Ｇに存在する」という目的タスクが設定された場合のタイムステップ論理式生成部３３の処理の具体例について説明する。
【0091】
この場合、以下の目標論理式Ｌｔａｇが目標論理式生成部３２からタイムステップ論理式生成部３３へ供給される。
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
この場合、タイムステップ論理式生成部３３は、命題「ｇｉ」をタイムステップの概念を含むように拡張した命題「ｇｉ，ｋ」を用いる。ここで、命題「ｇｉ，ｋ」は、「タイムステップｋで対象物ｉが搬送先Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ２,３）∧（∧ｋ＝１,２,３□￢ｈｋ）∧（∧ｉ,ｋ＝１,２,３□￢ｏｉ，ｋ）
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
この場合、タイムステップ論理式生成部３３は、命題「ｇｉ」をタイムステップの概念を含むように拡張した命題「ｇｉ，ｋ」を用いる。ここで、命題「ｇｉ，ｋ」は、「タイムステップｋで対象物ｉが搬送先Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ２,３）∧（∧ｋ＝１,２,３□￢ｈｋ）∧（∧ｉ,ｋ＝１,２,３□￢ｏｉ，ｋ）
【0092】
また、◇ｇ２,３は、以下の式に示すように書き換えることが可能である。
【0093】
【数1】
【0094】
このとき、上述した目標論理式Ｌｔａｇは、以下に示す４つの候補「φ１」～「φ４」の論理和（φ１∨φ２∨φ３∨φ４）により表される。
【0095】
【数2】
【0096】
よって、タイムステップ論理式生成部３３は、４つの候補φ１～φ４の論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、４つの候補φ１～φ４の少なくともいずれかが真となる場合に真となる。
【0097】
次に、目標タイムステップ数の設定方法について補足説明する。
【0098】
タイムステップ論理式生成部３３は、例えば、指示装置２から供給される入力信号Ｓ１により指定された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部３３は、メモリ１２又は記憶装置４に記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部３３は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ１２又は記憶装置４に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。
【0099】
好適には、タイムステップ論理式生成部３３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部３３は、制御入力生成部３５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部３３は、設定した目標タイムステップ数により制御入力生成部３５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。
【0100】
このとき、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値に設定するとよい。これにより、タイムステップ論理式生成部３３は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。
【0101】
（５－６）抽象モデル生成部
抽象モデル生成部３４は、抽象モデル情報Ｉ５と、認識結果Ｉｍとに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はマニピュレータ５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。また、抽象モデル情報Ｉ５には、ロボット本体５０の移動に関する抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された、ロボット５のダイナミクス（詳しくはロボット本体５０の移動に関するダイナミクスとマニピュレータ５２のダイナミクス）を含む汎用的な形式の抽象モデルに対し、認識結果Ｉｍを反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、抽象状態設定空間内の物体の状態と、ロボット５のダイナミクスとが抽象的に表されたモデルとなる。抽象状態設定空間内の物体の状態は、ピックアンドプレイスの場合には、対象物の位置及び数、対象物を置く領域の位置、ロボット５（マニピュレータ５２）の数等を示す。
抽象モデル生成部３４は、抽象モデル情報Ｉ５と、認識結果Ｉｍとに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はマニピュレータ５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。また、抽象モデル情報Ｉ５には、ロボット本体５０の移動に関する抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された、ロボット５のダイナミクス（詳しくはロボット本体５０の移動に関するダイナミクスとマニピュレータ５２のダイナミクス）を含む汎用的な形式の抽象モデルに対し、認識結果Ｉｍを反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、抽象状態設定空間内の物体の状態と、ロボット５のダイナミクスとが抽象的に表されたモデルとなる。抽象状態設定空間内の物体の状態は、ピックアンドプレイスの場合には、対象物の位置及び数、対象物を置く領域の位置、ロボット５（マニピュレータ５２）の数等を示す。
【0102】
なお、他作業体が存在する場合、他作業体の抽象化されたダイナミクスに関する情報が抽象モデル情報Ｉ５に含まれてもよい。この場合、抽象モデルΣは、抽象状態設定空間内の物体の状態と、ロボット５のダイナミクスと、他作業体のダイナミクスとが抽象的に表されたモデルとなる。
【0103】
ここで、ロボット５による目的タスクの作業時においては、抽象状態設定空間内のダイナミクスが頻繁に切り替わる。例えば、ピックアンドプレイスでは、マニピュレータ５２が対象物ｉを掴んでいる場合には、当該対象物ｉを動かすことができるが、マニピュレータ５２が対象物ｉを掴んでない場合には、当該対象物ｉを動かすことができない。
【0104】
以上を勘案し、本実施形態においては、対象物ｉを掴むという動作を論理変数「δｉ」により抽象表現する。この場合、例えば、抽象モデル生成部３４は、図８に示す抽象状態設定空間に対して設定すべき抽象モデルΣを、以下の式（１）により定めることができる。
【0105】
【数3】
【0106】
ここで、「ｕ０」は、ロボット本体５０を制御するための制御入力を示し、「ｕ１」は、マニピュレータ５２ａを制御するための制御入力を示し、「ｕ２」は、マニピュレータ５２ｂを制御するための制御入力を示す。また、「Ｉ」は単位行列を示し、「０」は零行例を示す。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δｊ,ｉ」は、マニピュレータｊ（「ｊ＝１」はマニピュレータ５２ａ、「ｊ＝２」はマニピュレータ５２ｂを表す）が対象物ｉを掴んでいる場合に「１」であり、その他の場合に「０」である論理変数である。また、「δ１２,ｉ」は、マニピュレータ１又はマニピュレータ２が対象物ｉを掴んでいる場合にロボット本体５０が動くことにより対象物ｉが移動する場合に「１」となり、その他の場合に「０」となる論理変数である。また、「ｘｒ１」、「ｘｒ２」は、マニピュレータｊ（ｊ＝１、２）の位置ベクトル、「ｘ１」、「ｘ２」は、対象物ｉ（ｉ＝１，２）の位置ベクトルを示す。なお、ここでは、マニピュレータ５２の座標ｘｒ１，ｘｒ２や対象物ｉの座標ｘ１，ｘ２を抽象状態設定空間内の基準となる座標系で表しており、ロボット本体５０が動くと（即ち「ｕ０」によって）、マニピュレータ５２及びマニピュレータ５２が把持している対象物ｉの位置も動くことになる。
【0107】
また、「ｈ（ｘ）」は、対象物を掴める程度に対象物の近傍にロボットハンド（即ち、マニピュレータ５２の位置ベクトルｘｒ１又はｘｒ２）が存在する場合に「ｈ（ｘ）≧０」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ＝１ ⇔ ｈ（ｘ）≧０
この式では、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合には、ロボットハンドが対象物を掴んでいるとみなし、論理変数δを「１」に設定している。
δ＝１ ⇔ ｈ（ｘ）≧０
この式では、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合には、ロボットハンドが対象物を掴んでいるとみなし、論理変数δを「１」に設定している。
【0108】
ここで、式（１）は、タイムステップｋでの物体の状態とタイムステップｋ＋１での物体の状態との関係を示した差分方程式である。そして、上記の式（１）では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式（１）はハイブリッドシステムを示している。
【0109】
式（１）では、ロボット５全体の詳細なダイナミクスではなく、対象物を実際に把持するロボット５の手先であるロボットハンドのダイナミクス及びロボット本体５０のダイナミクスのみを考慮している。これにより、制御入力生成部３５による最適化処理の計算量を好適に削減することができる。
【0110】
また、抽象モデル情報Ｉ５には、ダイナミクスが切り替わる動作（ピックアンドプレイスの場合には対象物ｉを掴むという動作）に対応する論理変数、及び、認識結果Ｉｍから式（１）の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部３４は、対象物の位置や数、対象物を置く領域（図８では搬送先Ｇ）、ロボット５の台数等が変動する場合であっても、抽象モデル情報Ｉ５と認識結果Ｉｍとに基づき、対象の抽象状態設定空間の環境に即した抽象モデルΣを決定することができる。
【0111】
なお、抽象モデル生成部３４は、式（１）に示されるモデルに代えて、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ Ｌｏｇｉｃａｌ Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。
【0112】
（５－７）制御入力生成部
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５に対する制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５に対する制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。
【0113】
例えば、制御入力生成部３５は、運ぶ対象となる対象物と当該対象物を運ぶ目標地点との距離「ｄｋ」と制御入力「ｕｋ」の大きさが最小となる（即ちロボット５が費やすエネルギーを最小化する）ように評価関数を定める。上述の距離ｄｋは、「最終的に対象物（ｉ＝２）が搬送先Ｇに存在する」という目的タスクの場合には、対象物（ｉ＝２）と搬送先Ｇとのタイムステップｋでの距離に相当する。
【0114】
この場合、制御入力生成部３５は、全タイムステップにおける距離ｄｋのノルムの２乗と制御入力ｕｋのノルムの２乗との和を評価関数として定める。そして、制御入力生成部３５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓ（即ち候補φｉの論理和）を制約条件とする以下の式（２）に示す制約付き混合整数最適化問題を解く。
【0115】
【数4】
【0116】
ここで、「Ｔ」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、後述するように、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部３５は、論理変数を連続値に近似する（連続緩和問題とする）。これにより、制御入力生成部３５は、計算量を好適に低減することができる。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。
【0117】
また、制御入力生成部３５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部３５は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ｕｋを決定する。
【0118】
好適には、制御入力生成部３５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、使用すべき制御入力ｕｋを決定してもよい。この場合、制御入力生成部３５は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、抽象状態設定空間におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５が対象物を掴む、ロボット５が運ぶべき複数の対象物のうちの１つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置４に記憶されている。
【0119】
図９は、制御入力生成部３５が生成した制御入力情報Ｉｃｎに基づくロボット本体５０及びマニピュレータ５２ａ、５２ｂの軌道を概略的に示した図である。なお、図９では、マニピュレータ５２ａが対象物Ａを把持し、マニピュレータ５２ｂが対象物Ｂを把持する時点までのマニピュレータ５２ａ、５２ｂの軌道が示されている。点５６ａ～５６ｃは、ロボット本体５０のタイムステップ毎の予測位置（即ちｘｒの遷移）を示し、点５８ａ～５８ｅは、マニピュレータ５２ａのタイムステップ毎の予測位置（即ちｘｒ１の遷移）を示し、点５９ａ～５９ｄは、マニピュレータ５２ｂのタイムステップ毎の予測位置（即ちｘｒ２の遷移）を示している。なお、マニピュレータ５２ａ、５２ｂの位置は、ロボットハンド５３ａ、５３ｂの位置により抽象的に表されている。
【0120】
ここで、点５６ａ～５６ｃに対応するタイムステップと、点５８ａ～５８ｅに対応するタイムステップと、点５９ａ～５９ｄに対応するタイムステップとは、互いに重複する期間でのタイムステップであってもよく、重複していなくともよい。これらの重複の有無については、ユーザが設定する、目的タスクの実行における優先事項（安全性優先、タクトタイム優先等）の設定に応じて定まる。優先事項の設定については、「（６）優先事項の設定に応じた制約条件及び評価関数の決定」のセクションで詳しく説明する。
【0121】
制御入力生成部３５は、上述した最適化処理に基づき、タイムステップごとの抽象状態ベクトルｚ及び制御入力を決定することで、図９に示すようなロボット本体５０及びマニピュレータ５２ａ、５２ｂの各軌道を特定することができる。
【0122】
（５－８）サブタスクシーケンス生成部
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、動作シーケンスＳｒを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力をサブタスクに変換する。
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、動作シーケンスＳｒを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力をサブタスクに変換する。
【0123】
例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５が受け付け可能なサブタスクとして、ロボット本体５０の移動（ムービング）とロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の３つのサブタスクを示す関数が定義されている。この場合、ムービングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５の初期状態、経路情報Ｉｒｔが示す経路（又は当該関数実行後のロボット５の最終状態）、及び当該関数の実行に要する所要時間（又はロボット本体５０の移動速度）をそれぞれ引数とする関数である。リーチングを表す関数「Ｒｅａｃｈ」は、例えば、当該関数実行前のロボット５の初期状態、当該関数実行後のロボット５の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５の状態、及び当該関数実行前の把持対象の対象物の状態、論理変数δをそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数δが「１」のときに掴む動作を行うこと表し、論理変数δが「０」のときに放す動作を行うこと表す。この場合、サブタスクシーケンス生成部３６は、関数「Ｒｅａｃｈ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力により定まるマニピュレータ５２の軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の論理変数δの遷移に基づき決定する。また、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」を、経路情報Ｉｒｔ又は制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力により定まるロボット本体５０の軌道に基づき決定する。ここで、ロボット本体５０を移動（ムービング）させる関数「Ｍｏｖｅ」の引数、及び特性を調整するパラメータなどは、経路情報Ｉｒｔに基づきロボット本体５０を基準点まで移動させる際と、基準点到達以降に、制御入力情報Ｉｃｎに基づきマニピュレータ５２による移動（リーチング）や把持（グラスピング）と共にロボット本体５０を移動（ムービング）させる際とで、異なっていても良い。即ち、第１動作シーケンスＳｒ１の生成時に用いる関数「Ｍｏｖｅ」の形式（引数・パラメータ等）は、第２動作シーケンスＳｒ２の生成時に用いる関数「Ｍｏｖｅ」の形式と異なっていてもよい。
【0124】
そして、サブタスクシーケンス生成部３６は、経路設定部３０から経路情報Ｉｒｔが供給された場合には、関数「Ｍｏｖｅ」により構成される第１動作シーケンスＳｒ１を生成し、当該第１動作シーケンスＳｒ１をロボット制御部１７に供給する。また、サブタスクシーケンス生成部３６は、制御入力情報Ｉｃｎが制御入力生成部３５から供給された場合には、関数「Ｍｏｖｅ」と関数「Ｒｅａｃｈ」と関数「Ｇｒａｓｐ」とにより構成される第２動作シーケンスＳｒ２を生成し、当該第２動作シーケンスＳｒ２をロボット制御部１７に供給する。
【0125】
例えば、目的タスクが「最終的に対象物（ｉ＝２）が搬送先Ｇに存在する」の場合、サブタスクシーケンス生成部３６は、第２動作計画において、対象物（ｉ＝２）に最も近いマニピュレータ５２に対し、関数「Ｒｅａｃｈ」、関数「Ｇｒａｓｐ」、関数「Ｒｅａｃｈ」、関数「Ｇｒａｓｐ」のシーケンスを含む第２動作シーケンスＳｒ２を生成する。この場合、対象物（ｉ＝２）に最も近いマニピュレータ５２は、１回目の関数「Ｒｅａｃｈ」により対象物（ｉ＝２）の位置まで移動し、１回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を把持し、２回目の関数「Ｒｅａｃｈ」により搬送先Ｇまで移動し、２回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を搬送先Ｇに載置する。
【0126】
（６）優先事項の設定に応じた制約条件及び評価関数の決定
ロボットコントローラ１は、指示装置２から供給される入力信号Ｓ１に基づき、ユーザが指定した目的タスクの実行における優先事項の設定を認識し、優先事項の設定に応じた制約条件及び評価関数を決定する。ここで、設定される優先事項は、例えば、「安全性優先」、「作業時間長優先（タクトタイム優先）」、「消費電力優先」などが挙げられる。この場合、設定され得る各優先事項と、使用すべき制約条件又は評価関数の少なくとも一方とを対応付けた情報（「優先事項対応情報」とも呼ぶ。）がアプリケーション情報記憶部４１等に記憶されており、ロボットコントローラ１は、当該優先事項対応情報と、タスク指定情報Ｉａが示す優先事項とに基づき、使用する制約条件又は／及び評価関数を決定する。
ロボットコントローラ１は、指示装置２から供給される入力信号Ｓ１に基づき、ユーザが指定した目的タスクの実行における優先事項の設定を認識し、優先事項の設定に応じた制約条件及び評価関数を決定する。ここで、設定される優先事項は、例えば、「安全性優先」、「作業時間長優先（タクトタイム優先）」、「消費電力優先」などが挙げられる。この場合、設定され得る各優先事項と、使用すべき制約条件又は評価関数の少なくとも一方とを対応付けた情報（「優先事項対応情報」とも呼ぶ。）がアプリケーション情報記憶部４１等に記憶されており、ロボットコントローラ１は、当該優先事項対応情報と、タスク指定情報Ｉａが示す優先事項とに基づき、使用する制約条件又は／及び評価関数を決定する。
【0127】
図１０（Ａ）は、安全性優先が設定された場合のロボット本体５０の動作期間を示す帯６８Ａと、マニピュレータ５２の動作期間を示す帯６８Ｂとを、第２動作シーケンスＳｒ２の実行期間に相当するタイムステップ上で明示した図である。
【0128】
安全性優先が設定された場合、ロボットコントローラ１は、ロボット本体５０とマニピュレータ５２とを時間軸上で排他的に動作させる必要があると判定し、ロボット本体５０の移動が完了した後でマニピュレータ５２を動作させている。この場合、ロボットコントローラ１の目標論理式生成部３２は、例えば、「ロボット本体５０とマニピュレータ５２とを同時に動作させない」ことを表す制約条件の式を生成し、生成した制約条件の式を目標論理式Ｌｔａｇに加える。他の例では、制御入力生成部３５は、「ロボット本体５０の制御入力とマニピュレータ５２への制御入力が同一タイムステップにおいて発生しない」という制約条件を別途追加して最適化処理を行う。これにより、ロボットコントローラ１は、ユーザが指定した安全性優先を考慮して第２動作シーケンスＳｒ２を生成することができる。
【0129】
図１０（Ｂ）は、作業時間長優先が設定された場合のロボット本体５０の動作期間を示す帯６８Ｃと、マニピュレータ５２の動作期間を示す帯６８Ｄ及び帯６８Ｅとを、第２動作シーケンスＳｒ２において定められたタイムステップ上で明示した図である。
【0130】
作業時間長優先が設定された場合、ロボットコントローラ１は、ロボット本体５０とマニピュレータ５２とを時間軸上で積極的に重複して動作させるような第２動作シーケンスＳｒ２を生成する。この場合、制御入力生成部３５は、例えば、式（２）に示される評価関数に代えて、タイムステップ数Ｔの最小化に寄与する項を少なくとも含む評価関数（例えば、ｍｉｎ｛Ｔ｝）を設定するとよい。言い換えると、制御入力生成部３５は、タイムステップ数Ｔと正の相関（式（２）に代えて評価関数の最大化を行う場合には負の相関）を有する評価関数、すなわち、タイムステップに対してペナルティとなる項を追加で設定する。そのようなペナルティ項は、例えば、最初の対象物に到達するまでに要するタイムステップ数などとすることができる。これにより、制御入力生成部３５は、ロボット本体５０の動作とマニピュレータ５２の動作とを並列的に実行し、作業時間長をなるべく短くするような第２動作シーケンスＳｒ２を生成することができる。
【0131】
また、消費電力優先が設定された場合、制御入力生成部３５は、例えば、式（２）に示される評価関数をそのまま使用する、又は当該評価関数において、ｕｋに関する項の重みを他の項（ここではｄｋに関する項）よりも大きくするように設定する。または、制御入力生成部３５は、制御入力ｕの値と消費電力の関係を表す評価関数を設定しても良い。その場合、上述の関係はロボットによって異なり、ロボット種類ごとに設定すべき評価関数を表す情報がアプリケーション情報として記憶装置４に保存されていても良い。
これにより、ロボットコントローラ１は、消費電力を優先した動作計画を策定することができる。他の優先事項についても同様に、ロボットコントローラ１は、優先事項対応情報に基づき設定すべき制約条件又は／及び評価関数を認識し、動作計画に反映することで、指定された優先事項を考慮した動作計画を策定することができる。
これにより、ロボットコントローラ１は、消費電力を優先した動作計画を策定することができる。他の優先事項についても同様に、ロボットコントローラ１は、優先事項対応情報に基づき設定すべき制約条件又は／及び評価関数を認識し、動作計画に反映することで、指定された優先事項を考慮した動作計画を策定することができる。
【0132】
このように、制御入力生成部３５は、空間的制約に加えて、ユーザが指定した優先事項に基づき時間的制約を勘案してタイムステップごとのロボット５の軌道を決定することができる。
【0133】
（７）目的タスクに関する入力の受け付け
次に、タスク指定画面による目的タスクに関する入力の受け付け処理について説明する。以後では、出力制御部１５の制御に基づき指示装置２が表示するタスク指定画面の各表示例について、図１１及び図１２を参照して説明する。
次に、タスク指定画面による目的タスクに関する入力の受け付け処理について説明する。以後では、出力制御部１５の制御に基づき指示装置２が表示するタスク指定画面の各表示例について、図１１及び図１２を参照して説明する。
【0134】
図１１は、目的タスクを指定するタスク指定画面の第１表示例を示す。出力制御部１５は、出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２を指示装置２に送信することで、指示装置２に図１１に示すタスク指定画面を表示するよう制御している。図１１に示すタスク指定画面は、主に、エリア指定欄８０と、対象物指定欄８１と、優先事項指定欄８２と、実行ボタン８３と、中止ボタン８４とを有する。
【0135】
出力制御部１５は、エリア指定欄８０において、ロボット５が作業を行う指定エリアを指定する入力を受け付ける。ここでは、指定エリアの候補となるエリアに対して記号（「Ａ」、「Ｂ」、「Ｃ」等）が割り当てられており、出力制御部１５は、指定エリアとするエリアの記号（ここでは「Ｂ」）を選択する入力をエリア指定欄８０により受け付ける。なお、出力制御部１５は、各記号とエリアとの対応を表す作業空間のマップ等を、別ウィンドウによりポップアップ表示してもよい。
【0136】
出力制御部１５は、対象物指定欄８１において、対象物（ワーク）の搬送先（ゴール地点）を指定する入力を受け付ける。ここでは、対象物は形状ごとに分類されており、出力制御部１５は、分類された対象物ごとに搬送先を指定する入力を対象物指定欄８１において受け付ける。図１１の例では、出力制御部１５は、対象物指定欄８１において、立方体状の対象物２個を「搬送先２」に移動させ、かつ、直方体状の対象物３個を「搬送先１」に移動させ、円柱状の対象物１個を「搬送先１」に移動させ、円柱状の対象物１個を「搬送先２」に移動させる入力を受け付けている。
【0137】
また、出力制御部１５は、優先事項指定欄８２において、優先事項を選択する入力を受け付ける。ここでは、優先事項の複数の候補が優先事項指定欄８２において列挙されており、出力制御部１５は、その中から１つの優先事項（ここでは「安全性」）の選択を受け付ける。
【0138】
そして、出力制御部１５は、実行ボタン８３が選択されたことを検知した場合、エリア指定欄８０、対象物指定欄８１、及び優先事項指定欄８２において指定された内容を示す入力信号Ｓ１を指示装置２から受信し、受信した入力信号Ｓ１に基づきタスク指定情報Ｉａを生成する。また、出力制御部１５は、中止ボタン８４が選択されたことを検知した場合、動作計画の策定を中止する。
【0139】
図１２は、目的タスクを指定するタスク指定画面の第２表示例を示す。出力制御部１５は、出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２を指示装置２に送信することで、指示装置２に図１２に示すタスク指定画面を表示するよう制御している。図１２に示すタスク指定画面は、主に、エリア指定欄８０Ａと、対象物指定欄８１Ａと、搬送先マーク表示欄８１Ｂと、優先事項指定欄８２Ａと、実行ボタン８３Ａと、中止ボタン８４Ａとを有する。
【0140】
出力制御部１５は、エリア指定欄８０Ａにおいて、マップ情報Ｉ７を参照することで、作業空間のマップ（地図）を表示する。ここでは、出力制御部１５は、表示した作業空間を所定個数のエリア（ここでは６個のエリア）に分割し、各分割エリアを指定エリアとして選択可能に表示している。なお、出力制御部１５は、マップ情報Ｉ７に基づく作業空間のＣＧ（Computer Graphics）による地図を表示する代わりに、作業空間を撮影した実画像を地図として表示してもよい。
【0141】
また、出力制御部１５は、エリア指定欄８０Ａにおいて指定されたエリアに存在する対象物（ワーク）の実画像又はＣＧ画像を対象物指定欄８１Ａにおいて表示している。この場合、出力制御部１５は、エリア指定欄８０Ａにおいて指定されたエリアを撮影したカメラが生成した画像等をセンサ信号Ｓ４として取得し、取得したセンサ信号Ｓ４に基づき指定エリア内の最新の対象物の状態を対象物指定欄８１Ａに表示している。そして、出力制御部１５は、対象物指定欄８１Ａに表示した各対象物に対し、搬送先を指定するマークを付す入力を受け付ける。なお、搬送先を指定するマークは、搬送先マーク表示欄８１Ｂに示されるように、実線のマークが「搬送先１」に対応し、点線のマークが「搬送先２」に対応している。
【0142】
また、出力制御部１５は、優先事項指定欄８２Ａにおいて、優先事項を選択する入力を受け付ける。ここでは、優先事項の複数の候補が優先事項指定欄８２において列挙されており、出力制御部１５は、その中から１つの優先事項（ここでは「安全性」）の選択を受け付ける。
【0143】
そして、出力制御部１５は、実行ボタン８３が選択されたことを検知した場合、エリア指定欄８０Ａ、対象物指定欄８１Ａ、及び優先事項指定欄８２Ａにおいて指定された内容を示す入力信号Ｓ１を指示装置２から受信し、受信した入力信号Ｓ１に基づきタスク指定情報Ｉａを生成する。これにより、出力制御部１５は、タスク指定情報Ｉａを好適に生成することができる。また、出力制御部１５は、中止ボタン８４が選択されたことを検知した場合、動作計画の策定を中止する。
【0144】
以上のように、第１表示例又は第２表示例に示されるタスク指定画面によれば、出力制御部１５は、タスク指定情報Ｉａを生成するために必要なユーザ入力を受け付け、タスク指定情報Ｉａを好適に取得することができる。
【0145】
（８）処理フロー
図１３は、第１実施形態においてロボットコントローラ１が実行する処理の概要を示すフローチャートの一例である。
図１３は、第１実施形態においてロボットコントローラ１が実行する処理の概要を示すフローチャートの一例である。
【0146】
まず、ロボットコントローラ１は、タスク指定情報Ｉａを取得する（ステップＳ１１）。この場合、例えば、出力制御部１５は、図１１又は図１２に示されるようなタスク指定画面を指示装置２に表示させ、目的タスクの指定に関する入力信号Ｓ１を受信することで、タスク指定情報Ｉａを取得する。他の例では、タスク指定情報Ｉａが記憶装置４等に予め記憶されている場合には、ロボットコントローラ１は、当該記憶装置４等からタスク指定情報Ｉａを取得してもよい。
【0147】
次に、ロボットコントローラ１は、ステップＳ１１で取得したタスク指定情報Ｉａが示す指定エリアに対する基準点を決定し、決定した基準点への経路であるロボット経路を決定する（ステップＳ１２）。この場合、経路設定部３０は、対象物６の位置、自己位置、マニピュレータ５２のリーチ範囲等に基づき、基準点を設定し、基準点に到達するためのロボット経路を示す経路情報Ｉｒｔを生成する。
【0148】
そして、ロボットコントローラ１は、ロボット経路に基づく第１動作シーケンスＳｒ１によるロボット制御を行う（ステップＳ１３）。この場合、ロボット制御部１７は、経路情報Ｉｒｔが示すロボット経路に従いロボット５が移動するための第１動作シーケンスＳｒ１に基づく制御信号Ｓ３をロボット５へ順次供給し、生成された第１動作シーケンスＳｒ１に従いロボット５が動作するように制御する。
【0149】
そして、ロボットコントローラ１は、ロボット５が基準点に到達したか否か判定する（ステップＳ１４）。そして、ロボットコントローラ１は、ロボット５が基準点に到達していないと判定した場合（ステップＳ１４；Ｎｏ）、ステップＳ１３での第１動作シーケンスＳｒ１に基づくロボット制御を継続する。
【0150】
一方、ロボットコントローラ１は、ロボット５が基準点に到達したと判定した場合（ステップＳ１４；Ｙｅｓ）、ロボット本体５０の移動及びマニピュレータ５２の動作に関する第２動作シーケンスＳｒ２を生成する（ステップＳ１５）。この場合、抽象状態設定部３１による抽象状態設定情報ＩＳの生成、目標論理式生成部３２による目標論理式Ｌｔａｇの生成、タイムステップ論理式生成部３３によるタイムステップ論理式Ｌｔｓの生成、抽象モデル生成部３４による抽象モデルΣの生成、制御入力生成部３５による制御入力情報Ｉｃｎの生成、サブタスクシーケンス生成部３６による第２動作シーケンスＳｒ２の生成が順に実行される。
【0151】
次に、ロボットコントローラ１は、ステップＳ１５で生成した第２動作シーケンスＳｒ２によるロボット制御を行う（ステップＳ１６）。この場合、ロボット制御部１７は、第２動作シーケンスＳｒ２に基づく制御信号Ｓ３をロボット５へ順次供給し、生成された第２動作シーケンスＳｒ２に従いロボット５が動作するように制御する。
【0152】
そして、ロボットコントローラ１は、目的タスクが完了したか否か判定する（ステップＳ１７）。この場合、例えば、ロボットコントローラ１のロボット制御部１７は、第２動作シーケンスＳｒ２に基づくロボット５への制御信号Ｓ３の出力が完了した（出力が無くなった）場合に、目的タスクが完了したと判定する。他の例では、ロボット制御部１７は、対象物の状態が完了状態になったことをセンサ信号Ｓ４に基づき認識した場合に、目的タスクが完了したと判定する。そして、ロボットコントローラ１は、目的タスクが完了したと判定した場合（ステップＳ１７；Ｙｅｓ）、フローチャートの処理を終了する。一方、目的タスクが完了していないと判定した場合（ステップＳ１７；Ｎｏ）、ロボットコントローラ１は、ステップＳ１６での第２動作シーケンスＳｒ２に基づくロボット制御を継続する。
【0153】
（９）変形例
次に、第１実施形態の変形例について説明する。以下の変形例は任意に組み合わせて適用してもよい。
次に、第１実施形態の変形例について説明する。以下の変形例は任意に組み合わせて適用してもよい。
【0154】
（第１変形例）
ロボットコントローラ１は、指定エリア内の状態（対象物６の状態を含む）を観測できてい状況において第１動作シーケンスＳｒ１の生成及び第１動作シーケンスＳｒ１に基づくロボット５の制御を行ってもよい。
ロボットコントローラ１は、指定エリア内の状態（対象物６の状態を含む）を観測できてい状況において第１動作シーケンスＳｒ１の生成及び第１動作シーケンスＳｒ１に基づくロボット５の制御を行ってもよい。
【0155】
この場合、ロボットコントローラ１は、指定エリアを示すタスク指定情報Ｉａを受信した場合に、タスク指定情報Ｉａが示す指定エリアの任意の地点を基準点を定め、当該基準点までのロボット経路を示す第１動作シーケンスＳｒ１を生成することで、ロボット５を基準点まで移動させる。この場合、ロボットコントローラ１は、例えば、指定エリアのうち、ロボット５が到達するまでの所要時間が最も短い地点、又は、ロボット５の出発位置（現在位置）から最も近い地点を、基準点として設定する。
【0156】
そして、ロボットコントローラ１の抽象状態設定部３１は、ロボット５が基準点に到達後、ロボット５に備えられたセンサ７が生成するセンサ信号Ｓ４に基づき、指定エリア内の物体に関する認識結果Ｉｍを生成する。その後、ロボットコントローラ１は、上述した実施形態に基づく処理を実行し、第２動作シーケンスＳｒ２の生成及び第２動作シーケンスＳｒ２に基づくロボット５の制御を行う。
【0157】
このように、ロボットコントローラ１は、指定エリア内の基準点に到達後に対象物等の状態を認識する場合であっても、目的タスクをロボット５に好適に実行させることができる。
【0158】
（第２変形例）
図５に示す動作計画部１６のブロック構成は一例であり、種々の変更がなされてもよい。
図５に示す動作計画部１６のブロック構成は一例であり、種々の変更がなされてもよい。
【0159】
例えば、ロボット５に命令する動作のシーケンスの候補φの情報が記憶装置４に予め記憶され、動作計画部１６は、当該情報に基づき、制御入力生成部３５の最適化処理を実行する。これにより、動作計画部１６は、最適な候補φの選定とロボット５の制御入力の決定を行う。この場合、動作計画部１６は、動作シーケンスＳｒの生成において、抽象状態設定部３１、目標論理式生成部３２及びタイムステップ論理式生成部３３に相当する機能を有しなくともよい。このように、図５に示す動作計画部１６の一部の機能ブロックの実行結果に関する情報が予めアプリケーション情報記憶部４１に記憶されていてもよい。
【0160】
他の例では、アプリケーション情報には、目的タスクに対応する動作シーケンスＳｒを設計するためのフローチャートなどの設計情報が予め含まれており、動作計画部１６は、当該設計情報を参照することで、動作シーケンスを生成してもよい。なお、予め設計されたタスクシーケンスに基づきタスクを実行する具体例については、例えば特開２０１７－３９１７０号に開示されている。
【0161】
（第３変形例）
経路設定部３０が生成した経路情報Ｉｒｔは、サブタスクシーケンス生成部３６に供給される代わりに、他の処理ブロックに供給されてもよい。例えば、制御入力生成部３５は、経路情報Ｉｒｔを受信し、当該経路情報Ｉｒｔが示すロボット経路に沿ったタイムステップごとの制御入力を生成し、当該制御入力を示す制御入力情報Ｉｃｎをサブタスクシーケンス生成部３６へ供給してもよい。この場合、サブタスクシーケンス生成部３６は、制御入力情報Ｉｃｎに基づき、第１動作シーケンスＳｒ１を生成する。
経路設定部３０が生成した経路情報Ｉｒｔは、サブタスクシーケンス生成部３６に供給される代わりに、他の処理ブロックに供給されてもよい。例えば、制御入力生成部３５は、経路情報Ｉｒｔを受信し、当該経路情報Ｉｒｔが示すロボット経路に沿ったタイムステップごとの制御入力を生成し、当該制御入力を示す制御入力情報Ｉｃｎをサブタスクシーケンス生成部３６へ供給してもよい。この場合、サブタスクシーケンス生成部３６は、制御入力情報Ｉｃｎに基づき、第１動作シーケンスＳｒ１を生成する。
【0162】
＜第２実施形態＞
図１４は、第２実施形態における動作計画装置１Ｘの概略構成図を示す。動作計画装置１Ｘは、主に、状態設定手段３１Ｘと、動作計画手段１６Ｘとを有する。なお、動作計画装置１Ｘは、複数の装置から構成されてもよい。動作計画装置１Ｘは、例えば、第１実施形態におけるロボットコントローラ１とすることができる。
図１４は、第２実施形態における動作計画装置１Ｘの概略構成図を示す。動作計画装置１Ｘは、主に、状態設定手段３１Ｘと、動作計画手段１６Ｘとを有する。なお、動作計画装置１Ｘは、複数の装置から構成されてもよい。動作計画装置１Ｘは、例えば、第１実施形態におけるロボットコントローラ１とすることができる。
【0163】
状態設定手段３１Ｘは、対象物を扱うマニピュレータを有する移動型のロボットが作業する作業空間における状態を設定する。状態設定手段３１Ｘは、例えば、第１実施形態（変形例を含む、以下同じ。）における抽象状態設定部３１とすることができる。
【0164】
動作計画手段１６Ｘは、状態設定手段３１Ｘが設定した状態と、ロボットの移動及びマニピュレータの動作に関する制約条件と、ロボットのダイナミクスに基づく評価関数と、に基づいて、ロボットの移動及びマニピュレータの動作に関する動作計画を決定する。動作計画手段１６Ｘは、例えば、第１実施形態における動作計画部１６（抽象状態設定部３１を除く。）とすることができる。
【0165】
図１５は、第２実施形態におけるフローチャートの一例である。状態設定手段３１Ｘは、対象物を扱うマニピュレータを有する移動型のロボットが作業する作業空間における状態を設定する（ステップＳ２１）。動作計画手段１６Ｘは、状態設定手段３１Ｘが設定した状態と、ロボットの移動及びマニピュレータの動作に関する制約条件と、ロボットのダイナミクスに基づく評価関数と、に基づいて、ロボットの移動及びマニピュレータの動作に関する動作計画を決定する（ステップＳ２２）。
【0166】
第２実施形態によれば、動作計画装置１Ｘは、移動型ロボットの移動及び当該ロボットのマニピュレータの動作の両方を加味した最適な動作計画を策定することができる。
【0167】
なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Non-Transitory Computer Readable Medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（Tangible Storage Medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Transitory Computer Readable Medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0168】
その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【0169】
［付記１］
対象物を扱うマニピュレータを有する移動型のロボットが作業する作業空間における状態を設定する状態設定手段と、
前記状態と、前記ロボットの移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有する動作計画装置。
［付記２］
前記動作計画手段は、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記ロボットを移動させる第１動作計画と、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画とを夫々決定する、付記１に記載の動作計画装置。
［付記３］
前記動作計画手段は、前記対象物の位置に基づき、前記基準点を設定する、付記２に記載の動作計画装置。
［付記４］
前記動作計画手段は、前記対象物の位置と、前記ロボットの移動誤差と、前記マニピュレータのリーチ範囲とに基づき、前記基準点を決定する、付記３に記載の動作計画装置。
［付記１５］
前記状態設定手段は、前記第１動作計画に基づき前記ロボットが前記基準点に到達した場合に、前記ロボット及び前記対象物が少なくとも存在する状態設定空間を決定し、当該状態設定空間内での前記状態を設定する、付記２～４のいずれか一項に記載の動作計画装置。
［付記６］
前記動作計画手段は、前記動作計画において優先すべき優先事項が指定された場合に、前記優先事項に基づき、前記制約条件又は前記評価関数の少なくとも一方を決定する、付記１～５のいずれか一項に記載の動作計画装置。
［付記７］
前記動作計画手段は、前記優先事項が作業時間長である場合、前記作業時間長と正又は負の相関を有する前記評価関数を設定する、付記６に記載の動作計画装置。
［付記８］
前記動作計画手段は、前記優先事項が安全性である場合、前記ロボットの移動と前記マニピュレータの動作とを排他的に実行することを規定する前記制約条件を設定する、付記６に記載の動作計画装置。
［付記９］
前記動作計画手段は、
前記状態に基づき、前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作計画として生成するサブタスクシーケンス生成手段と、
を有する、付記１～８のいずれか一項に記載の動作計画装置。
［付記１０］
対象物を扱うマニピュレータを有する移動型のロボットが作業するエリアの指定を受け付けるエリア指定手段と、
前記エリア内の対象物に関する指定を受け付ける対象物指定手段と、
前記エリアの指定及び前記対象物に関する指定に基づき、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有する動作計画装置。
［付記１１］
前記動作計画手段は、前記エリア内の所定の基準点に前記ロボットを移動させる第１動作計画と、前記第１動作計画の前記ロボットによる実行後、前記ロボットの移動及び前記マニピュレータの動作に関する前記動作計画である第２動作計画と、を夫々決定する、付記１０に記載の動作計画装置。
［付記１２］
コンピュータが、
対象物を扱うマニピュレータを有する移動型のロボットが作業する作業空間における状態を設定し、
前記状態と、前記ロボットの移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する、
動作計画方法。
［付記１３］
対象物を扱うマニピュレータを有する移動型のロボットが作業する作業空間における状態を設定し、
前記状態と、前記ロボットの移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
［付記１４］
コンピュータが、
対象物を扱うマニピュレータを有する移動型のロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する、
動作計画方法。
［付記１５］
対象物を扱うマニピュレータを有する移動型のロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
対象物を扱うマニピュレータを有する移動型のロボットが作業する作業空間における状態を設定する状態設定手段と、
前記状態と、前記ロボットの移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有する動作計画装置。
［付記２］
前記動作計画手段は、前記ロボットが作業を行うエリアとして指定された指定エリア内の基準点まで前記ロボットを移動させる第１動作計画と、前記ロボットが前記基準点に到達後の前記状態と前記制約条件と前記評価関数とに基づく前記動作計画である第２動作計画とを夫々決定する、付記１に記載の動作計画装置。
［付記３］
前記動作計画手段は、前記対象物の位置に基づき、前記基準点を設定する、付記２に記載の動作計画装置。
［付記４］
前記動作計画手段は、前記対象物の位置と、前記ロボットの移動誤差と、前記マニピュレータのリーチ範囲とに基づき、前記基準点を決定する、付記３に記載の動作計画装置。
［付記１５］
前記状態設定手段は、前記第１動作計画に基づき前記ロボットが前記基準点に到達した場合に、前記ロボット及び前記対象物が少なくとも存在する状態設定空間を決定し、当該状態設定空間内での前記状態を設定する、付記２～４のいずれか一項に記載の動作計画装置。
［付記６］
前記動作計画手段は、前記動作計画において優先すべき優先事項が指定された場合に、前記優先事項に基づき、前記制約条件又は前記評価関数の少なくとも一方を決定する、付記１～５のいずれか一項に記載の動作計画装置。
［付記７］
前記動作計画手段は、前記優先事項が作業時間長である場合、前記作業時間長と正又は負の相関を有する前記評価関数を設定する、付記６に記載の動作計画装置。
［付記８］
前記動作計画手段は、前記優先事項が安全性である場合、前記ロボットの移動と前記マニピュレータの動作とを排他的に実行することを規定する前記制約条件を設定する、付記６に記載の動作計画装置。
［付記９］
前記動作計画手段は、
前記状態に基づき、前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作計画として生成するサブタスクシーケンス生成手段と、
を有する、付記１～８のいずれか一項に記載の動作計画装置。
［付記１０］
対象物を扱うマニピュレータを有する移動型のロボットが作業するエリアの指定を受け付けるエリア指定手段と、
前記エリア内の対象物に関する指定を受け付ける対象物指定手段と、
前記エリアの指定及び前記対象物に関する指定に基づき、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する動作計画手段と、
を有する動作計画装置。
［付記１１］
前記動作計画手段は、前記エリア内の所定の基準点に前記ロボットを移動させる第１動作計画と、前記第１動作計画の前記ロボットによる実行後、前記ロボットの移動及び前記マニピュレータの動作に関する前記動作計画である第２動作計画と、を夫々決定する、付記１０に記載の動作計画装置。
［付記１２］
コンピュータが、
対象物を扱うマニピュレータを有する移動型のロボットが作業する作業空間における状態を設定し、
前記状態と、前記ロボットの移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する、
動作計画方法。
［付記１３］
対象物を扱うマニピュレータを有する移動型のロボットが作業する作業空間における状態を設定し、
前記状態と、前記ロボットの移動及び前記マニピュレータの動作に関する制約条件と、前記ロボットのダイナミクスに基づく評価関数と、
に基づいて、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
［付記１４］
コンピュータが、
対象物を扱うマニピュレータを有する移動型のロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する、
動作計画方法。
［付記１５］
対象物を扱うマニピュレータを有する移動型のロボットが作業するエリアの指定を受け付け、
前記エリア内の対象物に関する指定を受け付け、
前記エリアの指定及び前記対象物に関する指定に基づき、前記ロボットの移動及び前記マニピュレータの動作に関する動作計画を決定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
【0170】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【0171】
１ ロボットコントローラ
１Ｘ 動作計画装置
２ 指示装置
４ 記憶装置
５ ロボット
７ センサ
４１ アプリケーション情報記憶部
１００ ロボット制御システム
１Ｘ 動作計画装置
２ 指示装置
４ 記憶装置
５ ロボット
７ センサ
４１ アプリケーション情報記憶部
１００ ロボット制御システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】