知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-04
(45)【発行日】2024-03-12
(54)【発明の名称】制御装置、制御方法及びプログラム
(51)【国際特許分類】
B25J 13/00 20060101AFI20240305BHJP
【ＦＩ】
B25J13/00 Z
【請求項の数】
9
(21)【出願番号】P 2022551062
(86)(22)【出願日】2020-09-25
(86)【国際出願番号】 JP2020036383
(87)【国際公開番号】W WO2022064653
(87)【国際公開日】2022-03-31
【審査請求日】2023-03-17
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】一圓 真澄
(72)【発明者】
【氏名】加美 伸治
(72)【発明者】
【氏名】若山 永哉
(72)【発明者】
【氏名】小川 雅嗣
【審査官】仁木 学
(56)【参考文献】
【文献】特開２０１６－０６８１６１（ＪＰ，Ａ）
【文献】特開平０７－２３７１０６（ＪＰ，Ａ）
【文献】特開２００３－３１１６６１（ＪＰ，Ａ）
【文献】特開２０１７－０３９１７０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ － ２１／０２
(57)【特許請求の範囲】
【請求項1】
ロボットの動作シーケンスを生成する動作シーケンス生成手段と、前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行う第１ロボット制御手段と、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定する切替判定手段と、
前記切替が必要と判定された場合、前記第２ロボット制御を行う第２ロボット制御手段と、を有し、
前記動作シーケンス生成手段は、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、
を有する制御装置。
【請求項2】
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記切替の要否を判定する、請求項１に記載の制御装置。
【請求項3】
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記動作シーケンスに基づく計画に対する時間的ずれ量を算出し、当該時間的ずれ量に基づき、前記切替の要否を判定する、請求項１または２に記載の制御装置。
【請求項4】
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記動作シーケンスに基づく計画に対する空間的ずれ量を算出し、当該空間的ずれ量に基づき、前記切替の要否を判定する、請求項1～３のいずれか一項に記載の制御装置。
【請求項5】
前記切替判定手段は、予測された前記ロボットの移動軌跡と計測された前記ロボットの移動軌跡との比較、又は、予測された前記ロボットの作業対象物の移動軌跡と計測された前記作業対象物の移動軌跡との比較に基づき、前記空間的ずれ量を算出する、請求項４に記載の制御装置。
【請求項6】
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスを構成するいずれかの動作が正常に完了しなかったと判定した場合に、前記切替が必要と判定する、請求項１～５のいずれか一項に記載の制御装置。
【請求項7】
前記動作シーケンス生成手段は、前記タスクに関する物体の抽象的な状態である抽象状態を、前記論理式において使用する命題として定める抽象状態設定手段をさらに有する、請求項１～６のいずれか一項に記載の制御装置。
【請求項8】
コンピュータが、ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行い、
前記動作シーケンスの生成において、前記コンピュータが、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換し、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成し、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成する、
制御方法。
【請求項9】
ロボットの動作シーケンスを生成し、前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行い、
前記動作シーケンスの生成において、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換し、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成し、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボットの動作を制御する制御装置、制御方法及び記憶媒体の技術分野に関する。
【背景技術】
【0002】
ロボットに作業させるタスクが与えられた場合に、当該タスクを実行するために必要なロボットの制御を行う制御手法が提案されている。例えば、特許文献１には、自動モードと協働モードとを有し、自動モードでは、シーケンス又はプログラムに従い、ロボットを自動制御し、協働モードでは、作業員によるオンハンド操作盤によりロボットを手動制御するシステムが開示されている。また、特許文献２には、ロボットのモーションプランニング（動作計画）の失敗を検知したとき、ロボットのタスク実行が失敗したと判定し、動作モードを自動選択するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１１－０９３０６２号公報
【文献】特開２０１６－０６８１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ロボットにタスクを実行させるシステムにおいて、タスクを完了するために必要な全ての動作をロボットが自律的に実行できることが望ましいが、一部の動作について作業者の操作が必要となる場合がある。このような場合に、タスクが完了するようにロボットを適切かつ円滑に動作させる必要がある。
【0005】
本開示の目的の１つは、上述した課題を鑑み、ロボットを好適に制御することが可能な制御装置、制御方法及び記憶媒体を提供することである。
【課題を解決するための手段】
【0006】
制御装置の一の態様は、
ロボットの動作シーケンスを生成する動作シーケンス生成手段と、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行う第１ロボット制御手段と、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定する切替判定手段と、
前記切替が必要と判定された場合、前記第２ロボット制御を行う第２ロボット制御手段と、を有し、
前記動作シーケンス生成手段は、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、
を有する制御装置である。
ロボットの動作シーケンスを生成する動作シーケンス生成手段と、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行う第１ロボット制御手段と、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定する切替判定手段と、
前記切替が必要と判定された場合、前記第２ロボット制御を行う第２ロボット制御手段と、を有し、
前記動作シーケンス生成手段は、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、
を有する制御装置である。
【0007】
制御方法の一の態様は、
コンピュータが、
ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行い、
前記動作シーケンスの生成において、前記コンピュータが、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換し、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成し、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成する、
制御方法である。
コンピュータが、
ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行い、
前記動作シーケンスの生成において、前記コンピュータが、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換し、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成し、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成する、
制御方法である。
【0008】
プログラムの一の態様は、
ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行い、
前記動作シーケンスの生成において、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換し、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成し、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成する処理をコンピュータに実行させるプログラムである。
ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行い、
前記動作シーケンスの生成において、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換し、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成し、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成する処理をコンピュータに実行させるプログラムである。
【発明の効果】
【0009】
ロボット制御の切替を円滑に行い、ロボットを好適に制御することができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態におけるロボット制御システムの構成を示す。
【図2】ロボットコントローラのハードウェア構成を示す。
【図3】アプリケーション情報のデータ構造の一例を示す。
【図4】ロボットコントローラの機能ブロックの一例である。
【図5】動作シーケンス生成部の機能ブロックの一例である。
【図6】ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。
【図7】目的タスクを指定するタスク指定画面の表示例を示す。
【図8】外部入力支援画面の第１表示例を示す。
【図9】外部入力支援画面の第２表示例を示す。
【図10】第１実施形態においてロボットコントローラが実行するロボット制御処理の概要を示すフローチャートの一例である。
【図11】第２実施形態における制御装置の概略構成図を示す。
【図12】第２実施形態において、制御装置が実行する処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、制御装置、制御方法及び記憶媒体の実施形態について説明する。
【0012】
＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、ロボットコントローラ１と、指示装置２と、記憶装置４と、ロボット５と、計測装置７と、を備える。
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、ロボットコントローラ１と、指示装置２と、記憶装置４と、ロボット５と、計測装置７と、を備える。
【0013】
ロボットコントローラ１は、ロボット５に実行させるタスク（「目的タスク」とも呼ぶ。）が指定された場合に、ロボット５が受付可能な単純なタスクのタイムステップ（時間刻み）毎のシーケンスに目的タスクを変換し、生成したシーケンスに基づきロボット５を制御する。
【0014】
また、ロボットコントローラ１は、指示装置２、記憶装置４、ロボット５、及び計測装置７と、通信網を介し、又は、無線若しくは有線による直接通信により、データ通信を行う。例えば、ロボットコントローラ１は、指示装置２から、目的タスクの指定又はロボット５の動作指令等に関する入力信号「Ｓ１」を受信する。また、ロボットコントローラ１は、指示装置２に対し、出力制御信号「Ｓ２」を送信することで、指示装置２に所定の表示又は音出力を実行させる。さらに、ロボットコントローラ１は、ロボット５の制御に関する制御信号「Ｓ３」をロボット５に送信する。また、ロボットコントローラ１は、計測装置７から計測信号「Ｓ４」を受信する。
【0015】
指示装置２は、作業者によるロボット５に対する指示を受け付ける装置である。指示装置２は、ロボットコントローラ１から供給される出力制御信号Ｓ２に基づき所定の表示又は音出力を行ったり、作業者の入力に基づき生成した入力信号Ｓ１をロボットコントローラ１へ供給したりする。指示装置２は、入力部と表示部とを備えるタブレット端末であってもよく、据置型のパーソナルコンピュータであってもよい。
【0016】
記憶装置４は、アプリケーション情報記憶部４１を有する。アプリケーション情報記憶部４１は、ロボット５が実行すべきシーケンスである動作シーケンスを目的タスクから生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は、図３を参照しながら後述する。記憶装置４は、ロボットコントローラ１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、ロボットコントローラ１と通信網を介してデータ通信を行うサーバ装置であってもよい。この場合、記憶装置４は、複数のサーバ装置から構成されてもよい。
【0017】
ロボット５は、ロボットコントローラ１から供給される制御信号Ｓ３に基づき目的タスクに関する作業を行う。ロボット５は、例えば、組み立て工場、食品工場などの各種工場、又は、物流の現場などで動作を行うロボットである。ロボット５は、垂直多関節型ロボット、水平多関節型ロボット、又はその他の任意の種類のロボットであってもよい。ロボット５は、ロボット５の状態を示す状態信号をロボットコントローラ１に供給してもよい。この状態信号は、ロボット５全体又は関節などの特定部位の状態（位置、角度等）を検出するセンサの出力信号であってもよく、ロボット５の制御部が生成したロボット５の動作シーケンスの進捗状態を示す信号であってもよい。
【0018】
計測装置７は、目的タスクが実行される作業空間内の状態を検出するカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数のセンサである。本実施形態では、計測装置７は、ロボット５の作業空間を撮像する少なくとも１台のカメラを含むものとする。計測装置７は、生成した計測信号Ｓ４をロボットコントローラ１に供給する。計測装置７は、作業空間内で移動する自走式又は飛行式のセンサ（ドローンを含む）であってもよい。また、計測装置７は、ロボット５に設けられたセンサ、及び作業空間内の他の物体に設けられたセンサなどを含んでもよい。また、計測装置７は、作業空間内の音を検出するセンサを含んでもよい。このように、計測装置７は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。
【0019】
なお、図１に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボット５は、複数台存在してもよく、ロボットアームなどの夫々が独立して動作する制御対象物を複数有してもよい。これらの場合であっても、ロボットコントローラ１は、目的タスクに基づき、ロボット５毎又は制御対象物毎に実行すべき動作シーケンスを生成し、当該動作シーケンスに基づく制御信号Ｓ３を、対象のロボット５に送信する。また、ロボット５は、作業空間内で動作する他のロボット、作業者又は工作機械と協働作業を行うものであってもよい。また、計測装置７は、ロボット５の一部であってもよい。また、指示装置２は、ロボットコントローラ１と同一の装置として構成されてもよい。また、ロボットコントローラ１は、複数の装置から構成されてもよい。この場合、ロボットコントローラ１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、ロボットコントローラ１とロボット５とは、一体に構成されてもよい。
【0020】
（２）ハードウェア構成
図２（Ａ）は、ロボットコントローラ１のハードウェア構成を示す。ロボットコントローラ１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。
図２（Ａ）は、ロボットコントローラ１のハードウェア構成を示す。ロボットコントローラ１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。
【0021】
プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、ロボットコントローラ１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
【0022】
メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、ロボットコントローラ１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、ロボットコントローラ１と通信可能な１又は複数の外部記憶装置（例えば記憶装置４）により記憶されてもよく、ロボットコントローラ１に対して着脱自在な記憶媒体により記憶されてもよい。
【0023】
インターフェース１３は、ロボットコントローラ１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
【0024】
なお、ロボットコントローラ１のハードウェア構成は、図２（Ａ）に示す構成に限定されない。例えば、ロボットコントローラ１は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。また、ロボットコントローラ１は、指示装置２又は記憶装置４の少なくとも一方を含んで構成されてもよい。
【0025】
図２（Ｂ）は、指示装置２のハードウェア構成を示す。指示装置２は、ハードウェアとして、プロセッサ２１と、メモリ２２と、インターフェース２３と、入力部２４ａと、表示部２４ｂと、音出力部２４ｃと、ロボット操作部２４ｄと、を含む。プロセッサ２１、メモリ２２及びインターフェース２３は、データバス２０を介して接続されている。また、インターフェース２３には、入力部２４ａと表示部２４ｂと音出力部２４ｃとロボット操作部２４ｄとが接続されている。
【0026】
プロセッサ２１は、メモリ２２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ２１は、ＣＰＵ、ＧＰＵなどのプロセッサである。プロセッサ２１は、インターフェース２３を介して入力部２４ａ又はロボット操作部２４ｄが生成した信号を受信することで、入力信号Ｓ１を生成し、インターフェース２３を介してロボットコントローラ１に当該入力信号Ｓ１を送信する。また、プロセッサ２１は、インターフェース２３を介してロボットコントローラ１から受信した出力制御信号Ｓ２に基づき、表示部２４ｂ又は音出力部２４ｃの少なくとも一方を、インターフェース２３を介して制御する。
【0027】
メモリ２２は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ２２には、指示装置２が実行する処理を実行するためのプログラムが記憶される。
【0028】
インターフェース２３は、指示装置２と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。また、インターフェース２３は、入力部２４ａ、表示部２４ｂ、音出力部２４ｃ及びロボット操作部２４ｄのインターフェース動作を行う。入力部２４ａは、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。表示部２４ｂは、例えば、ディスプレイ、プロジェクタ等であり、プロセッサ２１の制御に基づき表示を行う。また、音出力部２４ｃは、例えば、スピーカであり、プロセッサ２１の制御に基づき音出力を行う。
【0029】
ロボット操作部２４ｄは、ロボット５への動作を直接的に規定する指令を表すユーザの入力である外部入力を受け付け、当該外部入力の信号である入力信号Ｓ１を生成する。本実施形態においては、ロボット操作部２４ｄは、目的タスクの実行中において、外部入力に基づくロボット５の制御（即ちロボット５の手動制御）が必要と判定された場合に使用される。ここで、ロボット操作部２４ｄは、外部入力に基づくロボット５の制御においてユーザが操作するロボット用コントローラ（操作盤）であってもよく、ユーザの動きに即したロボット５への動作指令を生成するロボット用入力システムであってもよい。前者のロボット用コントローラは、例えば、動かすロボット５の部位等の指定や動きの指定などを行うための各種ボタン、及び、移動方向を指定するための操作バーなどを含む。後者のロボット用入力システムは、例えば、モーションキャプチャなどにおいて使用される各種センサ（例えば、カメラ、装着用センサ等を含む）を含む。
【0030】
以後では、ロボットコントローラ１が生成する動作シーケンスに基づくロボット５の制御（即ちロボット５の自動制御）を「第１ロボット制御」と呼び、ロボット操作部２４ｄを用いたロボット５の制御（即ち外部入力に基づくロボット５の制御）を「第２ロボット制御」と呼ぶ。
【0031】
なお、指示装置２のハードウェア構成は、図２（Ｂ）に示す構成に限定されない。例えば、入力部２４ａ、表示部２４ｂ、音出力部２４ｃ、又はロボット操作部２４ｄの少なくともいずれかは、指示装置２と電気的に接続する別体の装置として構成されてもよい。また、指示装置２は、カメラなどの種々の装置と接続してもよく、これらを内蔵してもよい。
【0032】
（３）アプリケーション情報
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。
【0033】
図３は、アプリケーション情報のデータ構造の一例を示す。図３に示すように、アプリケーション情報は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６とを含む。
【0034】
抽象状態指定情報Ｉ１は、動作シーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。
【0035】
制約条件情報Ｉ２は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット５（ロボットアーム）が接触してはいけないという制約条件、ロボット５（ロボットアーム）同士が接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。
【0036】
動作限界情報Ｉ３は、ロボットコントローラ１により制御が行われるロボット５の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、ロボット５の速度、加速度、又は角速度の上限を規定する情報である。なお、動作限界情報Ｉ３は、ロボット５の可動部位又は関節ごとに動作限界を規定する情報であってもよい。
【0037】
サブタスク情報Ｉ４は、動作シーケンスの構成要素となるサブタスクの情報を示す。「サブタスク」は、ロボット５が受付可能な単位により目的タスクを分解したタスクであって、細分化されたロボット５の動作を指す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボット５のロボットアームの移動であるリーチングと、ロボットアームによる把持であるグラスピングとをサブタスクとして規定する。サブタスク情報Ｉ４は、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。
【0038】
また、サブタスク情報Ｉ４には、外部入力による動作指令が必要な（即ち、第２ロボット制御での動作を前提とした）サブタスク（「外部入力型サブタスク」とも呼ぶ。）に関する情報が含まれている。この場合、外部入力型サブタスクに関するサブタスク情報Ｉ４には、例えば、外部入力型サブタスクであることを識別する情報（例えばフラグ情報）と、当該外部入力型サブタスクでのロボット５の動作内容を示す情報とが含まれる。
【0039】
抽象モデル情報Ｉ５は、作業空間におけるダイナミクスを抽象化した抽象モデルに関する情報である。例えば、抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、ロボット５により作業対象となる物（「対象物」とも呼ぶ。）をロボット５が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物はロボット５により把持されなければ移動できないという条件などが該当する。抽象モデル情報Ｉ５は、目的タスクの種類毎に適した抽象モデルに関する情報を有している。
【0040】
物体モデル情報Ｉ６は、計測装置７が生成した計測信号Ｓ４から認識すべき作業空間内の各物体の物体モデルに関する情報である。上述の各物体は、例えば、ロボット５、障害物、ロボット５が扱う工具その他の対象物、ロボット５以外の作業体などが該当する。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、姿勢、現在実行中の動作などをロボットコントローラ１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。
【0041】
なお、アプリケーション情報記憶部４１は、上述した情報の他、動作シーケンスの生成処理及び出力制御信号Ｓ２の生成処理に関する種々の情報を記憶してもよい。
【0042】
（４）処理概要
次に、ロボットコントローラ１の処理概要について説明する。概略的には、ロボットコントローラ１は、第１ロボット制御の実行中において、第２ロボット制御へ切り替える必要があると動作シーケンスに基づき判定した場合に、ロボット５の制御を第２ロボット制御へ切り替える。これにより、ロボットコントローラ１は、ロボット５の自動制御のみでは対応できない場合においても、ロボット５の制御モードを円滑に切り替えて目的タスクを好適に遂行する。
次に、ロボットコントローラ１の処理概要について説明する。概略的には、ロボットコントローラ１は、第１ロボット制御の実行中において、第２ロボット制御へ切り替える必要があると動作シーケンスに基づき判定した場合に、ロボット５の制御を第２ロボット制御へ切り替える。これにより、ロボットコントローラ１は、ロボット５の自動制御のみでは対応できない場合においても、ロボット５の制御モードを円滑に切り替えて目的タスクを好適に遂行する。
【0043】
図４は、ロボットコントローラ１の処理の概要を示す機能ブロックの一例である。ロボットコントローラ１のプロセッサ１１は、機能的には、出力制御部１５と、動作シーケンス生成部１６と、ロボット制御部１７と、切替判定部１８とを有する。なお、図４では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。後述する他の機能ブロックの図においても同様である。
【0044】
出力制御部１５は、作業者が使用する指示装置２に所定の情報を表示又は音出力するための出力制御信号Ｓ２を生成し、インターフェース１３を介して当該出力制御信号Ｓ２を指示装置２へ送信する。
【0045】
例えば、出力制御部１５は、目的タスクの指定に関する入力画面（「タスク指定画面」とも呼ぶ。）を指示装置２に表示させるための出力制御信号Ｓ２を生成する。その後、出力制御部１５は、タスク指定画面での入力操作により指示装置２が生成した入力信号Ｓ１を、指示装置２からインターフェース１３を介して受信する。この場合、入力信号Ｓ１は、目的タスクを概略的に指定する情報（「タスク指定情報Ｉａ」とも呼ぶ。）を含んでいる。タスク指定情報Ｉａは、例えば、ロボット５への概略命令に相当する情報であり、ロボット５の具体的な動作を規定する情報（例えば後述する制御入力の情報やサブタスクの情報）を含まない。そして、出力制御部１５は、指示装置２から供給される入力信号Ｓ１に基づくタスク指定情報Ｉａを、動作シーケンス生成部１６へ供給する。
【0046】
他の例では、出力制御部１５は、ロボット制御部１７が第２ロボット制御を行う制御モードとなった場合に、必要な外部入力を行うために作業者が実行すべき操作を支援する情報（「外部入力支援情報」とも呼ぶ。）を指示装置２に出力させる。この場合、出力制御部１５は、外部入力支援情報を表す画面（「外部入力支援画面」とも呼ぶ。）を指示装置２に表示させるための出力制御信号Ｓ２を生成し、出力制御信号Ｓ２を指示装置２に送信する。外部入力支援画面では、例えば、外部入力により指定すべきロボット５の動作内容に関する情報が外部入力支援情報として表示される。タスク指定画面及び外部入力支援画面については、「（７）ロボット制御部及び出力制御部の詳細」のセクションにおいて詳しく説明する。
【0047】
動作シーケンス生成部１６は、出力制御部１５から供給されるタスク指定情報Ｉａと、計測信号Ｓ４と、記憶装置４が記憶するアプリケーション情報とに基づき、ロボット５に実行させる動作シーケンス「Ｓｒ」を生成する。動作シーケンスＳｒは、目的タスクを達成するためにロボット５が実行すべきサブタスクのシーケンス（サブタスクシーケンス）に相当し、ロボット５の一連の動作を規定する。そして、動作シーケンス生成部１６は、生成した動作シーケンスＳｒをロボット制御部１７に供給する。ここで、動作シーケンスＳｒには、各サブタスクの実行順序及び実行タイミングを示す情報が含まれている。
【0048】
ロボット制御部１７は、インターフェース１３を介して制御信号Ｓ３をロボット５に供給することで、ロボット５の動作を制御する。ロボット制御部１７は、機能的には、第１ロボット制御部１７１と、第２ロボット制御部１７２とを有する。ロボット制御部１７は、動作シーケンスＳｒを動作シーケンス生成部１６から受信した後、第１ロボット制御部１７１によるロボット５の制御（即ち第１ロボット制御）を行う。そして、ロボット制御部１７は、切替判定部１８から供給される切替指令「Ｓｗ」に基づき、第２ロボット制御部１７２によるロボット５の制御（即ち第２ロボット制御）にロボット５の制御モードを切り替える。
【0049】
第１ロボット制御部１７１は、第１ロボット制御によりロボット５を制御する処理を行う。この場合、第１ロボット制御部１７１は、動作シーケンス生成部１６から供給される動作シーケンスＳｒに基づき、動作シーケンスＳｒを構成する各サブタスクを夫々定められた実行タイミング（タイムステップ）でロボット５が実行するための制御を行う。具体的には、ロボット制御部１７は、制御信号Ｓ３をロボット５に送信することで、動作シーケンスＳｒを実現するためのロボット５の関節の位置制御又はトルク制御などを実行する。
【0050】
第２ロボット制御部１７２は、第２ロボット制御によりロボット５を制御する処理を行う。この場合、第２ロボット制御部１７２は、指示装置２のロボット操作部２４ｄにより生成された入力信号Ｓ１を、指示装置２からインターフェース１３を介して受信する。この入力信号Ｓ１は、例えば、ロボット５の具体的な動作を規定する情報（例えば、ロボット５の動作を直接的に定めた制御入力に相当する情報）を含んでいる。そして、第２ロボット制御部１７２は、受信した入力信号Ｓ１に基づき制御信号Ｓ３を生成し、生成した制御信号Ｓ３をロボット５に送信することで、ロボット５を制御する。ここで、第２ロボット制御部１７２が生成する制御信号Ｓ３は、例えば、ロボット操作部２４ｄが生成した入力信号Ｓ１が表す動作指令をロボット５が受け付けることができるように入力信号Ｓ１に対して所定の変換処理を行った信号である。なお、このような変換処理がロボット５において行われる場合には、第２ロボット制御部１７２は、ロボット操作部２４ｄが生成した入力信号Ｓ１をそのまま制御信号Ｓ３としてロボット５に供給してもよい。
【0051】
なお、ロボット制御部１７に相当する機能を、ロボットコントローラ１に代えてロボット５が有してもよい。この場合、ロボット５は、動作シーケンス生成部１６が生成する動作シーケンスＳｒと、切替判定部１８が生成する切替指令Ｓｗと、ロボット操作部２４ｄが生成した入力信号Ｓ１とに基づき、第１ロボット制御と第２ロボット制御とを切り替えて実行する。
【0052】
切替判定部１８は、少なくとも動作シーケンスＳｒに基づいて、第１ロボット制御から第２ロボット制御への切替の要否判定を行う。そして、切替判定部１８は、第１ロボット制御から第２ロボット制御への切替が必要と判定した場合、第１ロボット制御から第２ロボット制御への切替を指示する切替指令Ｓｗをロボット制御部１７に供給する。切替判定部１８による判定処理の詳細は、「（６）切替判定部の詳細」のセクションにおいて詳しく説明する。なお、切替判定部１８は、第２ロボット制御から第１ロボット制御への切替の要否についても判定を行い、当該切替が必要と判定した場合に当該切替を指示する切替指令Ｓｗをロボット制御部１７に供給してもよい。
【0053】
ここで、出力制御部１５、動作シーケンス生成部１６、ロボット制御部１７及び切替判定部１８の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子コンピュータ制御チップにより構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は，例えば，クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
【0054】
（５）動作シーケンス生成部の詳細
次に、動作シーケンス生成部１６の詳細な処理について説明する。
次に、動作シーケンス生成部１６の詳細な処理について説明する。
【0055】
（５－１）機能ブロック
図５は、動作シーケンス生成部１６の機能的な構成を示す機能ブロックの一例である。動作シーケンス生成部１６は、機能的には、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６と、を有する。
図５は、動作シーケンス生成部１６の機能的な構成を示す機能ブロックの一例である。動作シーケンス生成部１６は、機能的には、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６と、を有する。
【0056】
抽象状態設定部３１は、計測装置７から供給される計測信号Ｓ４と、出力制御部１５から供給されるタスク指定情報Ｉａと、抽象状態指定情報Ｉ１と、物体モデル情報Ｉ６と、に基づき、作業空間内の抽象状態を設定する。この場合、抽象状態設定部３１は、目的タスクを実行する際に考慮する必要がある作業空間内の物体を認識し、当該物体に関する認識結果Ｉｍを生成する。そして、抽象状態設定部３１は、認識結果Ｉｍに基づいて、目的タスクを実行する際に考慮する必要がある各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部３１は、タスク指定情報Ｉａが供給された場合、設定した抽象状態を示す情報（「抽象状態設定情報ＩＳ」とも呼ぶ。）を、目標論理式生成部３２に供給する。
【0057】
目標論理式生成部３２は、抽象状態設定情報ＩＳに基づき、タスク指定情報Ｉａが示す目的タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部３２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部３３に供給する。
【0058】
タイムステップ論理式生成部３３は、目標論理式生成部３２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部３３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部３５に供給する。
【0059】
抽象モデル生成部３４は、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５と、抽象状態設定部３１から供給される認識結果Ｉｍとに基づき、作業空間における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデル生成部３４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルΣを生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部３４は、生成した抽象モデルΣを、制御入力生成部３５へ供給する。
【0060】
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとを満たし、評価関数（たとえば、ロボットによって消費されるエネルギー量を表す関数）を最適化するタイムステップ毎のロボット５への制御入力を決定する。そして、制御入力生成部３５は、ロボット５へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃｎ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。
【0061】
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクのシーケンスである動作シーケンスＳｒを生成し、動作シーケンスＳｒをロボット制御部１７及び切替判定部１８へ供給する。
【0062】
（５－２）抽象状態設定部
まず、抽象状態設定部３１は、物体モデル情報Ｉ６を参照し、作業空間の環境を認識する技術（画像処理技術、画像認識技術、音声認識技術、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）を用いる技術等）により計測信号Ｓ４を解析することで、認識結果Ｉｍを生成する。認識結果Ｉｍには、作業空間内の物体の種類、位置、及び姿勢などの情報が含まれている。また、作業空間内の物体は、例えば、ロボット５、ロボット５が取り扱う工具又は部品などの対象物、障害物及び他作業体（ロボット５以外に作業を行う人又はその他の物体）などである。
まず、抽象状態設定部３１は、物体モデル情報Ｉ６を参照し、作業空間の環境を認識する技術（画像処理技術、画像認識技術、音声認識技術、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）を用いる技術等）により計測信号Ｓ４を解析することで、認識結果Ｉｍを生成する。認識結果Ｉｍには、作業空間内の物体の種類、位置、及び姿勢などの情報が含まれている。また、作業空間内の物体は、例えば、ロボット５、ロボット５が取り扱う工具又は部品などの対象物、障害物及び他作業体（ロボット５以外に作業を行う人又はその他の物体）などである。
【0063】
次に、抽象状態設定部３１は、認識結果Ｉｍと、アプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１とに基づき、作業空間内の抽象状態を設定する。この場合、まず、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照し、作業空間内において設定すべき抽象状態を認識する。なお、作業空間内において設定すべき抽象状態は、目的タスクの種類によって異なる。よって、目的タスクの種類毎に設定すべき抽象状態が抽象状態指定情報Ｉ１に規定されている場合には、抽象状態設定部３１は、タスク指定情報Ｉａが示す目的タスクに対応する抽象状態指定情報Ｉ１を参照し、設定すべき抽象状態を認識する。
【0064】
図６は、ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。図６に示す作業空間には、２つのロボットアーム５２ａ、５２ｂと、４つの対象物６１（６１ａ～６１ｄ）と、障害物６２と、対象物６１の目的地である領域Ｇとが存在している。
【0065】
この場合、まず、抽象状態設定部３１は、対象物６１の状態、障害物６２の存在範囲、ロボット５の状態、領域Ｇの存在範囲等を認識する。
【0066】
ここでは、抽象状態設定部３１は、対象物６１ａ～６１ｄの各々の中心の位置ベクトル「ｘ１」～「ｘ４」を、対象物６１ａ～６１ｄの位置として認識する。また、抽象状態設定部３１は、対象物を把持するロボットハンド５３ａの位置ベクトル「ｘｒ１」と、ロボットハンド５３ｂの位置ベクトル「ｘｒ２」とを、ロボットアーム５２ａとロボットアーム５２ｂの位置として認識する。
【0067】
同様に、抽象状態設定部３１は、対象物６１ａ～６１ｄの姿勢（図６の例では対象物が球状のため不要）、障害物６２の存在範囲、領域Ｇの存在範囲等を認識する。なお、抽象状態設定部３１は、例えば、障害物６２を直方体とみなし、領域Ｇを矩形とみなす場合には、障害物６２及び領域Ｇの各頂点の位置ベクトルを認識する。
【0068】
また、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部３１は、作業空間内に存在する物体に関する認識結果Ｉｍ（例えば物体の種類毎の個数）と、抽象状態指定情報Ｉ１とに基づき、抽象状態を示す命題を定める。
【0069】
図６の例では、抽象状態設定部３１は、認識結果Ｉｍにより特定される対象物６１ａ～６１ｄに対し、夫々識別ラベル「１」～「４」を付す。また、抽象状態設定部３１は、対象物「ｉ」（ｉ＝１～４）が最終的に載置されるべき目標地点である領域Ｇ内に存在するという命題「ｇｉ」を定義する。また、抽象状態設定部３１は、障害物６２に対して識別ラベル「Ｏ」を付し、対象物ｉが障害物Ｏに干渉しているという命題「ｏｉ」を定義する。さらに、抽象状態設定部３１は、ロボットアーム５２同士が干渉するという命題「ｈ」を定義する。なお、抽象状態設定部３１は、対象物「ｉ」が作業テーブル（初期状態で対象物及び障害物が存在するテーブル）内に存在するという命題「ｖｉ」、作業テーブル及び領域Ｇ以外の作業外領域に対象物が存在するという命題「ｗｉ」などをさらに定めてもよい。作業外領域は、例えば、対象物が作業テーブルから落下した場合に対象物が存在する領域（床面等）である。
【0070】
このように、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題（上述の例ではｇｉ、ｏｉ、ｈ等）を、対象物６１の数、ロボットアーム５２の数、障害物６２の数、ロボット５の数等に応じてそれぞれ定義する。そして、抽象状態設定部３１は、抽象状態を表す命題を示す情報を、抽象状態設定情報ＩＳとして目標論理式生成部３２に供給する。
【0071】
（５－３）目標論理式生成部
まず、目標論理式生成部３２は、タスク指定情報Ｉａが示す目的タスクを、時相論理を用いた論理式に変換する。
まず、目標論理式生成部３２は、タスク指定情報Ｉａが示す目的タスクを、時相論理を用いた論理式に変換する。
【0072】
例えば、図６の例において、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが与えられたとする。この場合、目標論理式生成部３２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）の「eventually」に相当する演算子「◇」と、抽象状態設定部３１により定義された命題「ｇｉ」と用いて、論理式「◇ｇ２」を生成する。また、目標論理式生成部３２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、always「□」、next「○」、until「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現してもよい。
【0073】
なお、タスク指定情報Ｉａは、自然言語により目的タスクを指定する情報であってもよい。自然言語で表されたタスクを論理式に変換する方法は、種々の技術が存在する。
【0074】
次に、目標論理式生成部３２は、制約条件情報Ｉ２が示す制約条件を、目的タスクを示す論理式に付加することで、目標論理式Ｌｔａｇを生成する。
【0075】
例えば、図６に示すピックアンドプレイスに対応する制約条件として、「ロボットアーム５２同士が常に干渉しない」、「対象物ｉは障害物Ｏに常に干渉しない」の２つが制約条件情報Ｉ２に含まれていた場合、目標論理式生成部３２は、これらの制約条件を論理式に変換する。具体的には、目標論理式生成部３２は、図６の説明において抽象状態設定部３１により定義された命題「ｏｉ」及び命題「ｈ」を用いて、上述の２つの制約条件を、夫々以下の論理式に変換する。
□￢ｈ
∧ｉ□￢ｏｉ
□￢ｈ
∧ｉ□￢ｏｉ
【0076】
よって、この場合、目標論理式生成部３２は、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクに対応する論理式「◇ｇ２」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ｌｔａｇを生成する。
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
【0077】
なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した２つに限られず、「ロボットアーム５２が障害物Ｏに干渉しない」、「複数のロボットアーム５２が同じ対象物を掴まない」、「対象物同士が接触しない」などの制約条件が存在する。このような制約条件についても同様に、制約条件情報Ｉ２に記憶され、目標論理式Ｌｔａｇに反映される。
【0078】
（５－４）タイムステップ論理式生成部
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。
【0079】
ここで、図６の説明において例示した「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが設定された場合のタイムステップ論理式生成部３３の処理の具体例について説明する。
【0080】
この場合、以下の目標論理式Ｌｔａｇが目標論理式生成部３２からタイムステップ論理式生成部３３へ供給される。
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
この場合、タイムステップ論理式生成部３３は、命題「ｇｉ」をタイムステップの概念を含むように拡張した命題「ｇｉ，ｋ」を用いる。ここで、命題「ｇｉ，ｋ」は、「タイムステップｋで対象物ｉが領域Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ２,３）∧（∧ｋ＝１,２,３□￢ｈｋ）∧（∧ｉ,ｋ＝１,２,３□￢ｏｉ，ｋ）
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
この場合、タイムステップ論理式生成部３３は、命題「ｇｉ」をタイムステップの概念を含むように拡張した命題「ｇｉ，ｋ」を用いる。ここで、命題「ｇｉ，ｋ」は、「タイムステップｋで対象物ｉが領域Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ２,３）∧（∧ｋ＝１,２,３□￢ｈｋ）∧（∧ｉ,ｋ＝１,２,３□￢ｏｉ，ｋ）
【0081】
また、◇ｇ２,３は、以下の式に示すように書き換えることが可能である。
【0082】
【数1】
【0083】
このとき、上述した目標論理式Ｌｔａｇは、以下に示す４つの候補「φ１」～「φ４」の論理和（φ１∨φ２∨φ３∨φ４）により表される。
【0084】
【数2】
【0085】
よって、タイムステップ論理式生成部３３は、４つの候補φ１～φ４の論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、４つの候補φ１～φ４の少なくともいずれかが真となる場合に真となる。
【0086】
次に、目標タイムステップ数の設定方法について補足説明する。
【0087】
タイムステップ論理式生成部３３は、例えば、指示装置２から供給される入力信号Ｓ１により指定された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部３３は、メモリ１２又は記憶装置４に記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部３３は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ１２又は記憶装置４に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。
【0088】
好適には、タイムステップ論理式生成部３３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部３３は、制御入力生成部３５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部３３は、設定した目標タイムステップ数により制御入力生成部３５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。
【0089】
このとき、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値に設定するとよい。これにより、タイムステップ論理式生成部３３は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。
【0090】
（５－５）抽象モデル生成部
抽象モデル生成部３４は、抽象モデル情報Ｉ５と、認識結果Ｉｍとに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はロボットアーム５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された、ロボット５のダイナミクスを含む汎用的な形式の抽象モデルに対し、認識結果Ｉｍを反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、作業空間内の物体の状態と、ロボット５のダイナミクスとが抽象的に表されたモデルとなる。作業空間内の物体の状態は、ピックアンドプレイスの場合には、対象物の位置及び数、対象物を置く領域の位置、ロボット５の台数等を示す。
抽象モデル生成部３４は、抽象モデル情報Ｉ５と、認識結果Ｉｍとに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はロボットアーム５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された、ロボット５のダイナミクスを含む汎用的な形式の抽象モデルに対し、認識結果Ｉｍを反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、作業空間内の物体の状態と、ロボット５のダイナミクスとが抽象的に表されたモデルとなる。作業空間内の物体の状態は、ピックアンドプレイスの場合には、対象物の位置及び数、対象物を置く領域の位置、ロボット５の台数等を示す。
【0091】
なお、他作業体が存在する場合、他作業体の抽象化されたダイナミクスに関する情報が抽象モデル情報Ｉ５に含まれてもよい。この場合、抽象モデルΣは、作業空間内の物体の状態と、ロボット５のダイナミクスと、他作業体のダイナミクスとが抽象的に表されたモデルとなる。
【0092】
ここで、ロボット５による目的タスクの作業時においては、作業空間内のダイナミクスが頻繁に切り替わる。例えば、ピックアンドプレイスでは、ロボットアーム５２が対象物ｉを掴んでいる場合には、当該対象物ｉを動かすことができるが、ロボットアーム５２が対象物ｉを掴んでない場合には、当該対象物ｉを動かすことができない。
【0093】
以上を勘案し、本実施形態においては、ピックアンドプレイスの場合、対象物ｉを掴むという動作を論理変数「δｉ」により抽象表現する。この場合、例えば、抽象モデル生成部３４は、図６に示す作業空間に対して設定すべき抽象モデルΣを、以下の式（１）により定めることができる。
【0094】
【数3】
【0095】
ここで、「ｕｊ」は、ロボットハンドｊ（「ｊ＝１」はロボットハンド５３ａ、「ｊ＝２」はロボットハンド５３ｂ）を制御するための制御入力を示し、「Ｉ」は単位行列を示し、「０」は零行例を示す。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δｊ,ｉ」は、ロボットハンドｊが対象物ｉを掴んでいる場合に「１」であり、その他の場合に「０」である論理変数である。また、「ｘｒ１」、「ｘｒ２」は、ロボットハンドｊ（ｊ＝１、２）の位置ベクトル、「ｘ１」～「ｘ４」は、対象物ｉ（ｉ＝１～４）の位置ベクトルを示す。また、「ｈ（ｘ）」は、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合に「ｈ（ｘ）≧０」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ＝１ ⇔ ｈ（ｘ）≧０
この式では、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合には、ロボットハンドが対象物を掴んでいるとみなし、論理変数δを１に設定している。
δ＝１ ⇔ ｈ（ｘ）≧０
この式では、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合には、ロボットハンドが対象物を掴んでいるとみなし、論理変数δを１に設定している。
【0096】
ここで、式（１）は、タイムステップｋでの物体の状態とタイムステップｋ＋１での物体の状態との関係を示した差分方程式である。そして、上記の式（１）では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式（１）はハイブリッドシステムを示している。
【0097】
式（１）では、ロボット５全体の詳細なダイナミクスではなく、対象物を実際に把持するロボット５の手先であるロボットハンドのダイナミクスのみを考慮している。これにより、制御入力生成部３５による最適化処理の計算量を好適に削減することができる。
【0098】
また、抽象モデル情報Ｉ５には、ダイナミクスが切り替わる動作（ピックアンドプレイスの場合には対象物ｉを掴むという動作）に対応する論理変数、及び、認識結果Ｉｍから式（１）の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部３４は、対象物の位置や数、対象物を置く領域（図６では領域Ｇ）、ロボット５の台数等が変動する場合であっても、抽象モデル情報Ｉ５と認識結果Ｉｍとに基づき、対象の作業空間の環境に即した抽象モデルΣを決定することができる。
【0099】
なお、抽象モデル生成部３４は、式（１）に示されるモデルに代えて、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ Ｌｏｇｉｃａｌ Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。
【0100】
（５－６）制御入力生成部
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５に対する制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５に対する制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。
【0101】
例えば、ピックアンドプレイスを目的タスクとした場合、制御入力生成部３５は、運ぶ対象となる対象物と当該対象物を運ぶ目標地点との距離「ｄｋ」と制御入力「ｕｋ」とが最小となる（即ちロボット５が費やすエネルギーを最小化する）ように評価関数を定める。上述の距離ｄｋは、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクの場合には、対象物（ｉ＝２）と領域Ｇとのタイムステップｋでの距離に相当する。
【0102】
この場合、制御入力生成部３５は、全タイムステップにおける距離ｄｋのノルムの２乗と制御入力ｕｋのノルムの２乗との和を評価関数として定める。そして、制御入力生成部３５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓ（即ち候補φｉの論理和）を制約条件とする以下の式（２）に示す制約付き混合整数最適化問題を解く。
【0103】
【数4】
【0104】
ここで、「Ｔ」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、後述するように、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部３５は、論理変数を連続値に近似する（連続緩和問題とする）。これにより、制御入力生成部３５は、計算量を好適に低減することができる。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。
【0105】
また、制御入力生成部３５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部３５は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ｕｋを決定する。
【0106】
好適には、制御入力生成部３５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、使用すべき制御入力ｕｋを決定してもよい。この場合、制御入力生成部３５は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、作業空間におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５が対象物を掴む、ロボット５が運ぶべき複数の対象物のうちの１つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置４に記憶されている。
【0107】
（５－７）サブタスクシーケンス生成部
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、動作シーケンスＳｒを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力をサブタスクに変換する。
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、動作シーケンスＳｒを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力をサブタスクに変換する。
【0108】
例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５が受け付け可能なサブタスクとして、ロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の２つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５の初期状態、当該関数実行後のロボット５の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５の状態、及び当該関数実行前の把持対象の対象物の状態、論理変数δをそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数δが「１」のときに掴む動作を行うこと表し、論理変数δが「０」のときに放す動作を行うこと表す。この場合、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の論理変数δの遷移に基づき決定する。
【0109】
そして、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」と関数「Ｇｒａｓｐ」とにより構成される動作シーケンスＳｒを生成し、当該動作シーケンスＳｒをロボット制御部１７に供給する。例えば、目的タスクが「最終的に対象物（ｉ＝２）が領域Ｇに存在する」の場合、サブタスクシーケンス生成部３６は、対象物（ｉ＝２）に最も近いロボットハンドに対し、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」の動作シーケンスＳｒを生成する。この場合、対象物（ｉ＝２）に最も近いロボットハンドは、１回目の関数「Ｍｏｖｅ」により対象物（ｉ＝２）の位置まで移動し、１回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を把持し、２回目の関数「Ｍｏｖｅ」により領域Ｇまで移動し、２回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を領域Ｇに載置する。
【0110】
（６）切替判定部の詳細
切替判定部１８による第１ロボット制御から第２ロボット制御への切替の具体的形態である第１形態及び第２形態について順に説明する。第１形態では、ロボットコントローラ１は、動作シーケンスＳｒに組み込まれた外部入力型サブタスクに基づき、第２ロボット制御へのロボット５の制御の切替を計画的に実行する。一方、第２形態では、ロボットコントローラ１は、何らかの異常が発生した場合に、第２ロボット制御へのロボット５の制御の切替を緊急的に実行する。そして、これらのいずれの形態においても、切替判定部１８は、第１ロボット制御から第２ロボット制御への切替を円滑に行う。
切替判定部１８による第１ロボット制御から第２ロボット制御への切替の具体的形態である第１形態及び第２形態について順に説明する。第１形態では、ロボットコントローラ１は、動作シーケンスＳｒに組み込まれた外部入力型サブタスクに基づき、第２ロボット制御へのロボット５の制御の切替を計画的に実行する。一方、第２形態では、ロボットコントローラ１は、何らかの異常が発生した場合に、第２ロボット制御へのロボット５の制御の切替を緊急的に実行する。そして、これらのいずれの形態においても、切替判定部１８は、第１ロボット制御から第２ロボット制御への切替を円滑に行う。
【0111】
（６－１）第１形態
第１形態では、切替判定部１８は、第２ロボット制御による実行が予め定められている外部入力型サブタスクの実行の有無に基づき、第１ロボット制御から第２ロボット制御への切替の要否を判定する。なお、サブタスク情報Ｉ４には、外部入力型サブタスクに関する情報が含まれている。そして、切替判定部１８は、動作シーケンスＳｒの一部として組み込まれた外部入力型サブタスクの実行タイミングであると判定した場合、第１ロボット制御から第２ロボット制御への切替を指示する切替指令Ｓｗを、ロボット制御部１７に供給する。
第１形態では、切替判定部１８は、第２ロボット制御による実行が予め定められている外部入力型サブタスクの実行の有無に基づき、第１ロボット制御から第２ロボット制御への切替の要否を判定する。なお、サブタスク情報Ｉ４には、外部入力型サブタスクに関する情報が含まれている。そして、切替判定部１８は、動作シーケンスＳｒの一部として組み込まれた外部入力型サブタスクの実行タイミングであると判定した場合、第１ロボット制御から第２ロボット制御への切替を指示する切替指令Ｓｗを、ロボット制御部１７に供給する。
【0112】
ここで、第１形態における、外部入力型サブタスクの実行タイミングの認識方法について補足説明する。
【0113】
例えば、切替判定部１８は、動作シーケンスＳｒの各サブタスクに関連付けられたタイムステップの情報に基づき、外部入力型サブタスクの実行タイミングを認識する。この場合、切替判定部１８は、外部入力型サブタスクに対応するタイムステップに相当する時刻になった場合に、当該外部入力型サブタスクの実行タイミングとみなし、第１ロボット制御から第２ロボット制御への切替を指示する切替指令Ｓｗを、ロボット制御部１７に供給する。
【0114】
他の例では、切替判定部１８は、ロボット５又はロボット制御部１７から供給されるサブタスクの完了通知に基づき、動作シーケンスＳｒを構成する各サブタスクの完了判定を行い、ロボット５が現在どのサブタスクを実行中であるかを認識する。この場合においても、切替判定部１８は、外部入力型サブタスクの実行タイミングを好適に認識することができる。なお、切替判定部１８は、計測信号Ｓ４に基づき、ロボット５が現在どのサブタスクを実行中であるかを認識することで、外部入力型サブタスクの実行タイミングを認識してもよい。この場合、切替判定部１８は、例えば、深層学習などを用いたパターン認識技術を用い、作業空間を撮影した画像などの計測信号Ｓ４を解析し、ロボット５が実行中の又は実行すべきサブタスクを認識する。
【0115】
第１形態によれば、切替判定部１８は、第２ロボット制御が必要な動作をロボット５に計画的に実行させる場合に、第１ロボット制御から第２ロボット制御へのロボット５の制御の切替を円滑に実行することができる。
【0116】
（６－２）第２形態
次に、第２形態について説明する。第２形態では、切替判定部１８は、動作シーケンスＳｒと、計測されたロボット５の動作実行状況とに基づき、第１ロボット制御の継続の適否を判定する。この場合、切替判定部１８は、動作シーケンスＳｒの生成時の計画に従い動作シーケンスＳｒを実行した場合に予測される状況と、計測された動作実行状況との間に所定量以上の時間的なずれ又は空間的なずれが生じた場合に、第１ロボット制御の継続が不適当とみなす。そして、切替判定部１８は、第１ロボット制御の継続に支障があると判定した場合に、第１ロボット制御の継続が不適当とみなし、第２ロボット制御へ切り替える必要があると判定する。
次に、第２形態について説明する。第２形態では、切替判定部１８は、動作シーケンスＳｒと、計測されたロボット５の動作実行状況とに基づき、第１ロボット制御の継続の適否を判定する。この場合、切替判定部１８は、動作シーケンスＳｒの生成時の計画に従い動作シーケンスＳｒを実行した場合に予測される状況と、計測された動作実行状況との間に所定量以上の時間的なずれ又は空間的なずれが生じた場合に、第１ロボット制御の継続が不適当とみなす。そして、切替判定部１８は、第１ロボット制御の継続に支障があると判定した場合に、第１ロボット制御の継続が不適当とみなし、第２ロボット制御へ切り替える必要があると判定する。
【0117】
（６－２－１）時間的なずれに基づく第１ロボット制御の継続の適否判定
まず、第２形態において、時間的なずれに基づく第１ロボット制御の継続の適否判定の具体例について具体的に説明する。
まず、第２形態において、時間的なずれに基づく第１ロボット制御の継続の適否判定の具体例について具体的に説明する。
【0118】
この場合、例えば、切替判定部１８は、第１ロボット制御の実行中において、動作シーケンスＳｒと、ロボット５の動作実行状況とに基づき、動作シーケンスＳｒに基づく計画に対する時間的ずれ量である遅延時間長を算出する。そして、切替判定部１８は、算出した遅延時間長に基づき、第１ロボット制御の継続適否を判定する。そして、切替判定部１８は、ロボット５の動作実行状況が動作シーケンスＳｒに基づく計画よりも所定時間長以上遅延が生じている場合に、何らかの異常（エラー）が生じており、第１ロボット制御の継続が不適当であると判定する。
【0119】
例えば、切替判定部１８は、完了に必要なタイムステップ数（即ち所要時間長）よりも所定タイムステップ数以上の遅延が生じているサブタスクが存在する場合、当該サブタスクの実行に関してエラーが発生しており、第１ロボット制御の継続が不可能であると判定する。この場合、切替判定部１８は、遅延が生じているサブタスクについては、第２ロボット制御により実行すべきと判定し、当該サブタスクに関して第２ロボット制御から第１ロボット制御への切替を指示する切替指令Ｓｗを、ロボット制御部１７に送信する。上述の「所定タイムステップ数」については、例えば、記憶装置４又はメモリ１２等に予め適合値が記憶されている。この例によれば、切替判定部１８は、何らかの異常発生に起因して遅延が生じているサブタスクを的確に特定し、当該サブタスクを実行するための第１ロボット制御から第２ロボット制御への切替を円滑に行うことができる。
【0120】
なお、切替判定部１８は、サブタスク毎に動作シーケンスＳｒに基づく計画に対する遅延の有無を判定する代わりに、対象物ごとに上記遅延の有無を判定してもよい。この場合、切替判定部１８は、例えば、動作シーケンスＳｒに基づいて対象物ごとに必要なタイムステップ数を認識し、かつ、対象物ごとに実際に要しているタイムステップ数をカウントする。そして、切替判定部１８は、必要なタイムステップ数よりも実際に要しているタイムステップ数が所定数以上多くなった場合に、当該対象物に関して第２ロボット制御により実行する必要があると判定する。この場合、切替判定部１８は、例えば、当該対象物に関する動作については第２ロボット制御を実行すべきと判定し、第２ロボット制御への切替を指示する切替指令Ｓｗをロボット制御部１７に送信する。
【0121】
さらに別の例では、切替判定部１８は、目的タスクの開始（即ち、動作シーケンスＳｒがロボット制御部１７に供給された時点）から所定時間長が経過した場合に、遅延が発生していると判定し、第２ロボット制御への切り替えが必要と判定してもよい。上述の所定時間長は、動作シーケンスＳｒにおいて計画されるタイムステップ数に基づき設定されてもよく、記憶装置４等に予め記憶された目的タスクの予測される所要時間長に基づき設定されてもよい。
【0122】
このように、時間的なずれに基づく第１ロボット制御の継続の適否判定によれば、切替判定部１８は、異常状態に対処するための第１ロボット制御から第２ロボット制御への切替を円滑に行うことができる。
【0123】
（６－２－２）空間的なずれに基づく第１ロボット制御の継続の適否判定
次に、第２形態において、空間的なずれに基づく第１ロボット制御の継続の適否判定の具体例について具体的に説明する。
次に、第２形態において、空間的なずれに基づく第１ロボット制御の継続の適否判定の具体例について具体的に説明する。
【0124】
この場合、切替判定部１８は、第１ロボット制御の実行中において、動作シーケンスＳｒと、ロボット５の動作実行状況とに基づき、動作シーケンスＳｒに基づく計画に対する空間的ずれ量を算出し、当該空間的ずれ量に基づき、第１ロボット制御の継続適否を判定する。そして、切替判定部１８は、ロボット５の動作実行状況が動作シーケンスＳｒに基づく計画よりも所定量以上空間的ずれが生じている場合に、何らかの異常（エラー）が生じており、第１ロボット制御の継続が不適当であると判定する。
【0125】
具体的には、切替判定部１８は、動作シーケンスＳｒを正常に実行した場合に予測されるロボット５の位置の軌跡（「予測移動軌跡」とも呼ぶ。）と、計測信号Ｓ４に基づき計測されたロボット５の実際の位置の軌跡（「実移動軌跡」とも呼ぶ。）とを定量的に比較する。この場合の「移動軌跡」は、例えば、タイムステップごと又は所定時間間隔ごとの位置の軌跡を示す。そして、切替判定部１８は、ロボット５の予測移動軌跡とロボット５の実移動軌跡とが類似していないと判定した場合に、異常が発生しており、第１ロボット制御の継続が不可能であると判定する。なお、予測移動軌跡を構成するロボット５の位置情報は、例えば制御入力生成部３５による最適化処理により算出されている。
【0126】
ここで、上述した移動軌跡の類否判定の方法について補足説明する。切替判定部１８は、例えば、複数の移動軌跡の定量的な類似度を算出する任意の技術を用い、ロボット５の予測移動軌跡とロボット５の実移動軌跡との類似度を算出する。この場合、類似度は、例えばＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）などにより対応付けられた軌跡の点同士の距離の総和又は最大値等により表されてもよい。そして、切替判定部１８は、当該類似度が所定値以下の場合に、第１ロボット制御の継続が不可能であると判定する。この場合、切替判定部１８は、例えば、抽象状態を設定したロボット５の部位（図６の例では、ロボットハンド５３ａ、５３ｂ）について、予測移動軌跡と実移動軌跡との類似度を算出する。
【0127】
このように、空間的なずれに基づく第１ロボット制御の継続の適否判定によっても、切替判定部１８は、異常状態に対処するための第１ロボット制御から第２ロボット制御への切替を円滑に行うことができる。
【0128】
なお、切替判定部１８は、ロボット５の移動軌跡の代わりに、又は、これに加えて、対象物の移動軌跡に基づき、第１ロボット制御の継続可否を判定してもよい。この場合、切替判定部１８は、例えば、対象物の予測移動軌跡と、計測信号Ｓ４に基づき計測された対象物の実移動軌跡との類似度を算出し、当該類似度が所定値以下の場合に、第１ロボット制御の継続が不可能であると判定する。
【0129】
（６－２－３）他の判定方法
切替判定部１８は、目的タスクの完了までの１または複数の中間状態に基づき、複数の動作シーケンスＳｒが逐次的に生成される場合に、いずれかの動作シーケンスＳｒが正常に完了しなかったときに、第２ロボット制御への切替が必要と判定してもよい。
切替判定部１８は、目的タスクの完了までの１または複数の中間状態に基づき、複数の動作シーケンスＳｒが逐次的に生成される場合に、いずれかの動作シーケンスＳｒが正常に完了しなかったときに、第２ロボット制御への切替が必要と判定してもよい。
【0130】
この場合、前提として、動作シーケンス生成部１６は、目的タスクの完了状態（ゴール）に至るまでの１又は複数の中間状態（「サブゴール」とも呼ぶ。）を設定するものとする。そして、動作シーケンス生成部１６は、サブゴールに基づき、目的タスクの開始から完了までに必要な複数の動作シーケンスＳｒを逐次的に生成する。具体的には、動作シーケンス生成部１６は、初期状態からサブゴール、サブゴールから次のサブゴール、最後のサブゴールから完了状態（ゴール）へ夫々移行するための動作シーケンスＳｒを、逐次的に生成する。例えば、目的タスクごとにサブゴールの設定に必要な情報が予め記憶装置４に記憶されており、動作シーケンス生成部１６は、この情報を参照することで、サブゴールの設定を行う。上述の情報は、例えば、ピックアンドプレイスの場合には、１つの動作シーケンスＳｒにおいて対象物を移動させる最大個数の情報である。
【0131】
そして、切替判定部１８は、動作シーケンスＳｒごとにロボット制御部１７から供給される完了通知等に基づき、各動作シーケンスＳｒが正常完了したか否か判定し、いずれかの動作シーケンスＳｒが正常に完了しなかったときに、切替指令Ｓｗを生成する。切替判定部１８は、例えば、同一のサブゴールに対する動作シーケンスＳｒが連続して生成されたと判定した場合に、対象のサブゴールが完了しない何らかの異常が発生したと判定し、切替指令Ｓｗをロボット制御部１７に供給してもよい。
【0132】
この例においても、切替判定部１８は、第１ロボット制御から第２ロボット制御への切替の要否を的確に判定することができる。
【0133】
（７）ロボット制御部及び出力制御部の詳細
出力制御部１５の処理の詳細について説明する。以後では、出力制御部１５の制御に基づき指示装置２が表示するタスク指定画面と外部入力支援画面の各表示例について、図７～図９を参照して説明する。
出力制御部１５の処理の詳細について説明する。以後では、出力制御部１５の制御に基づき指示装置２が表示するタスク指定画面と外部入力支援画面の各表示例について、図７～図９を参照して説明する。
【0134】
図７は、目的タスクを指定するタスク指定画面の表示例を示す。出力制御部１５は、出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２を指示装置２に送信することで、指示装置２に図７に示すタスク指定画面を表示するよう制御している。図７に示すタスク指定画面は、主に、タスク種類指定欄２５と、作業空間表示欄２６と、各種ボタン２８（２８ａ、２８ｂ）とを有する。
【0135】
出力制御部１５は、タスク種類指定欄２５において、目的タスクの種類を指定する入力を受け付ける。ここでは、一例として、タスク種類指定欄２５はプルダウンメニュー形式の入力欄であり、出力制御部１５は、受付可能な目的タスクの種類の候補を、タスク種類指定欄２５において選択可能に一覧表示する。ここでは、タスク種類指定欄２５には、ピックアンドプレイスが目的タスクの種類として指定されている。
【0136】
また、出力制御部１５は、作業空間表示欄２６において、計測装置７が作業空間内を撮像した画像（作業空間画像）を表示し、タスク種類指定欄２５において指定された目的タスクの実行に必要な指定を受け付ける。図７の例では、出力制御部１５は、タスク種類指定欄２５で選択されたピックアンドプレイスに対応する抽象状態指定情報Ｉ１を参照し、ロボット５により作業対象となる対象物と、対象物の目的地とを定める必要があると認識する。よって、出力制御部１５は、作業空間表示欄２６上で対象物と目的地とを夫々指定する入力を受け付ける。ここでは、一例として、出力制御部１５は、対象物を指定したマーク２７ａ～２７ｄを実線により表示し、目的地を指定したマーク２７ｅを破線により表示している。そして、出力制御部１５は、対象物決定ボタン２８ａが選択されたことを検知した場合、ユーザが描いたマーク２７ａ～２７ｄの位置情報を、対象物の位置を特定する情報として認識する。また、出力制御部１５は、さらに目的地決定ボタン２８ｂが選択されたことを検知した場合、対象物決定ボタン２８ａの選択後にユーザが描いたマーク２７ｅの位置情報を、目的地を特定する情報として認識する。そして、出力制御部１５は、これらの対象物及び目的地を特定する情報（ここでは作業空間画像上での各マークの位置情報）を、タスク指定情報Ｉａとして動作シーケンス生成部１６に供給する。
【0137】
このように、図７に示されるタスク指定画面によれば、出力制御部１５は、目的タスクの種類の指定及び目的タスクに関連する物体の指定に関するユーザ入力を好適に受け付け、タスク指定情報Ｉａを好適に取得することができる。
【0138】
なお、出力制御部１５は、対象物及び目的地を丸印で囲む入力を受け付ける代わりに、タッチ操作又はクリック操作により対象物及び目的地を構成する一部の画素を夫々指定する入力を受け付けてもよい。この場合、出力制御部１５は、指定された各画素の位置情報を、対象物及び目的地を夫々特定する情報とみなし、タスク指定情報Ｉａとして動作シーケンス生成部１６に供給する。
【0139】
また、出力制御部１５は、対象物及び目的地に関する認識結果Ｉｍに基づき、作業空間表示欄２６上でのユーザ入力によらずにタスク指定情報Ｉａを生成してもよい。なお、出力制御部１５は、計測装置７が生成した作業空間画像を作業空間表示欄２６に表示する代わりに、作業空間内の環境を再現したＣＡＤ画像を作業空間表示欄２６に表示してもよい。この場合、出力制御部１５は、抽象状態設定部３１が生成した認識結果Ｉｍと、対象物等に関するＣＡＤデータを記録した物体モデル情報Ｉ６とに基づき、作業空間内の環境を再現したＣＡＤ画像を生成する。
【0140】
図８は、切替判定部１８による第１ロボット制御から第２ロボット制御の切替態様が第１形態である場合の外部入力支援画面の第１表示例を示す。出力制御部１５は、出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２を指示装置２に送信することで、指示装置２に図８に示す外部入力支援画面を表示するよう制御している。図８に示す外部入力支援画面は、主に、作業空間表示欄２６Ａと、動作内容表示領域２９とを有している。
【0141】
ここで、作業空間表示欄２６Ａには、現在の作業空間を撮影した画像又は現在の作業空間を模式的に表すＣＡＤ画像である作業空間画像が表示されており、動作内容表示領域２９には、外部入力によりロボット５を動作させる必要がある内容が表示されている。なお、ここでは、一例として、対象となる外部入力型サブタスクは、障害物に隣接してロボット５が直接把持することができない対象物を把持可能な位置まで移動させて掴むサブタスクであるものとする。また、図８では、図６におけるロボットアーム５２ａを「第１アーム」、ロボットアーム５２ｂを「第２アーム」と表記している。
【0142】
図８に示す外部入力支援画面が表示されるまでの処理の流れについて説明する。まず、切替判定部１８は、第２ロボット制御が必要な外部入力型サブタスク（ここでは、対象物を把持可能な位置まで移動させて掴む）の実行タイミングであると判定し、切替指令Ｓｗをロボット制御部１７に送信する。そして、ロボット制御部１７は、切替指令Ｓｗの受信後、第２ロボット制御部１７２による第２ロボット制御へ制御モードを移行する。そして、第２ロボット制御へ制御モードが移行した場合、出力制御部１５は、例えば、対象の外部入力型サブタスクの動作内容を示すサブタスク情報Ｉ４と、動作シーケンスＳｒとに基づき、外部入力により作業者が指示する必要があるロボット５の動作内容等を認識する。そして、出力制御部１５は、認識したロボット５の動作内容等に基づく外部入力支援画面を表示するための出力制御信号Ｓ２を生成し、生成した出力制御信号Ｓ２を指示装置２に供給する。
【0143】
図８の例では、出力制御部１５は、第２ロボット制御（マニュアル制御）に切り替わった旨、及び、ロボット５に実行させる動作内容（ここでは、対象物を所定位置まで移動させて第１アームにより掴むこと）を指示するガイド文章を動作内容表示領域２９上に表示している。また、出力制御部１５は、作業空間表示欄２６Ａに表示される作業空間画像上において、作業対象となる対象物を囲む太丸枠７１と、対象物の移動先を示す破線丸枠７２と、ロボット５の各アームの名称（第１アーム、第２アーム）とを表示している。作業空間表示欄２６Ａにおいてこのような表示を追加することで、出力制御部１５は、動作内容表示領域２９のテキスト文を参照する作業者に対し、作業に必要なロボットアーム、及び、作業対象となる対象物とその移動先を好適に認識させることができる。
【0144】
ここで、動作内容表示領域２９において示されるロボット５の動作内容は、対象の外部入力型サブタスクの次のサブタスクに遷移するための条件（「シーケンス遷移条件」とも呼ぶ。）を満たすものとなっている。シーケンス遷移条件は、生成された動作シーケンスＳｒにおいて想定されている対象の外部入力型サブタスクの終了状態（あるいは次のサブタスクの開始状態）を示す条件に相当する。図８の例におけるシーケンス遷移条件は、第１アームが所定位置において対象物を掴んだ状態であることを示す。このように、出力制御部１５は、シーケンス遷移条件を満たすために必要な動作を指示したガイド文章を動作内容表示領域２９において表示することで、次のサブタスクへ円滑に遷移するために必要な外部入力を好適に支援することができる。なお、図８の動作内容表示領域２９及び作業空間表示欄２６Ａに表示される情報は、外部入力支援情報の一例である。
【0145】
以上のように、図８に示す外部入力支援画面によれば、第２ロボット制御が必要な外部入力型サブタスクの実行時において、適切な外部入力がなされるように好適に作業者を支援することができる。
【0146】
図９は、切替判定部１８による第１ロボット制御から第２ロボット制御の切替態様が第２形態である場合の外部入力支援画面の第２表示例を示す。出力制御部１５は、出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２を指示装置２に送信することで、指示装置２に図９に示す外部入力支援画面を表示するよう制御している。図９に示す外部入力支援画面は、主に、作業空間表示欄２６Ａと、動作内容表示領域２９とを有している。
【0147】
図９の例では、何らかのアクシデントによって、１つの対象物が障害物の裏に転がってしまい、当該対象物がロボットアームにより直接把持ができない状態となっている。この場合、切替判定部１８は、動作シーケンスＳｒに基づく計画との時間的又は／空間的なずれが発生していること等を検知したことから、第１ロボット制御の継続が不適であると判定し、切替指令Ｓｗをロボット制御部１７に送信する。そして、ロボット制御部１７は、第２ロボット制御部１７２による第２ロボット制御へ制御モードを移行する。
【0148】
そして、出力制御部１５は、図９に示すように、対象物のピックアンドプレースに関して異常が発生したことにより第２ロボット制御に移行した旨、及び、当該対象物をゴール地点に移動させる外部入力が必要である旨を、動作内容表示領域２９上に表示する。また、出力制御部１５は、作業空間表示欄２６Ａに表示される画像上において、作業対象となる対象物を囲む太丸枠７３と、ロボット５の各アームの名称（第１アーム、第２アーム）とを表示している。
【0149】
このように、図９に示す外部入力支援画面によれば、異常の発生により第２ロボット制御が必要となった場合に、作業者による適切な外部入力がなされるように好適に作業者を支援することができる。
【0150】
ここで、第２ロボット制御の対象となるロボット５の動作について補足説明する。図９では、出力制御部１５は、作業対象となる対象物に対する作業完了までのロボット５の動作が第２ロボット制御により行われるように、対象物を第２ロボット制御によりゴール地点に移動させることを指示する情報を動作内容表示領域２９に表示した。しかし、第２ロボット制御の対象となるロボット５の動作はこれに限定されない。
【0151】
例えば、出力制御部１５は、現在停滞しているサブタスク（「停滞サブタスク」とも呼ぶ。）に関する動作のみ第２ロボット制御により行われるように、停滞サブタスクに対応する外部入力を促す情報を動作内容表示領域２９に表示してもよい。図９の例では、障害物に近接する対象物の把持のサブタスクが完了できないことから、出力制御部１５は、当該対象物の把持までの外部入力を促す情報を動作内容表示領域２９に表示してもよい。そして、切替判定部１８は、第２ロボット制御により対象物の把持が行われたことを検知した場合、第２ロボット制御から第１ロボット制御への切替を指示する切替指令Ｓｗをロボット制御部１７に送信する。その後、ロボット制御部１７の第１ロボット制御部１７１は、停滞サブタスクの次のサブタスクの実行を行う。
【0152】
他の例では、外部入力支援画面には、第２ロボット制御の終了を指示するボタンが設けられ、切替判定部１８は、当該ボタンが選択されたことを検知した場合に、第２ロボット制御を終了すべきと判定してもよい。この場合、例えば、切替判定部１８は、第２ロボット制御から第１ロボット制御への切替を指示する切替指令Ｓｗをロボット制御部１７に送信すると共に、動作シーケンス生成部１６に対して動作シーケンスＳｒの再生成指示を行う。そして、ロボット制御部１７の第１ロボット制御部１７１は、動作シーケンス生成部１６により再生成された動作シーケンスＳｒに基づき、第１ロボット制御を再開する。
【0153】
（８）処理フロー
図１０は、第１実施形態においてロボットコントローラ１が実行するロボット制御処理の概要を示すフローチャートの一例である。
図１０は、第１実施形態においてロボットコントローラ１が実行するロボット制御処理の概要を示すフローチャートの一例である。
【0154】
まず、ロボットコントローラ１は、タスク指定情報Ｉａを取得する（ステップＳ１１）。この場合、例えば、出力制御部１５は、目的タスクの指定に関する入力信号Ｓ１を受信することで、タスク指定情報Ｉａを取得する。他の例では、タスク指定情報Ｉａが記憶装置４等に予め記憶されている場合には、ロボットコントローラ１は、当該記憶装置４等からタスク指定情報Ｉａを取得してもよい。
【0155】
動作シーケンス生成部１６は、ステップＳ１１で取得したタスク指定情報Ｉａと、計測信号Ｓ４とに基づき、ロボット５の動作シーケンスである動作シーケンスＳｒを生成する（ステップＳ１２）。この場合、動作シーケンス生成部１６は、動作シーケンスＳｒの生成に必要な、作業空間における物体の認識を行い、タスク指定情報Ｉａが示す目的タスクの完了に必要な動作シーケンスＳｒを生成する。
【0156】
次に、ロボット制御部１７の第１ロボット制御部１７１は、生成された動作シーケンスＳｒに基づく第１ロボット制御を実行する（ステップＳ１３）。この場合、第１ロボット制御部１７１は、動作シーケンスＳｒに基づき生成した制御信号Ｓ３をロボット５へ順次供給し、生成された動作シーケンスＳｒに従いロボット５が動作するように制御する。
【0157】
次に、切替判定部１８は、動作シーケンスＳｒに基づくロボット制御の切替判定を行う（ステップＳ１４）。この場合、切替判定部１８は、例えば、「（６）切替判定部の詳細」のセクションで述べた第１形態又は第２形態に従い、少なくとも動作シーケンスＳｒに基づき、第１ロボット制御から第２ロボット制御への切替の要否を判定する。
【0158】
そして、第１ロボット制御から第２ロボット制御への切替が必要である場合（ステップＳ１５；Ｙｅｓ）、出力制御部１５は、外部入力により指定するロボット５の動作内容を作業者に指示する外部入力支援画面を、指示装置２に表示させる（ステップＳ１６）。この場合、出力制御部１５は、動作シーケンス生成部１６から供給される動作シーケンスＳｒ、サブタスク情報Ｉ４、及びロボット制御部１７から供給されるロボット５の状態等に基づき、外部入力により指定するロボット５の動作内容を認識する。そして、出力制御部１５は、上記の外部入力支援画面を表示するための出力制御信号Ｓ２を生成し、生成した出力制御信号Ｓ２を指示装置２に供給することで、指示装置２に外部入力支援画面を表示させる。
【0159】
そして、ロボット制御部１７の第２ロボット制御部１７２は、第２ロボット制御を実行する（ステップＳ１７）。この場合、第２ロボット制御部１７２は、指示装置２のロボット操作部２４ｄにより生成される入力信号Ｓ１に基づく制御信号Ｓ３を順次供給する。これにより、ロボット５は、作業者の操作に即した動作を実行する。
【0160】
そして、切替判定部１８は、第２ロボット制御を終了すべきか否か判定する（ステップＳ１８）。例えば、切替判定部１８は、第２ロボット制御により行うべきサブタスクが完了した（即ちシーケンス遷移条件が満たされた）と判定した場合、第２ロボット制御を終了すべきと判定する。この場合、第２ロボット制御により行うべきサブタスクは、複数のサブタスクの集合であってもよい。他の例では、切替判定部１８は、作業者による第２ロボット制御の明示的な終了指示に相当する入力信号Ｓ１を受信した場合、第２ロボット制御を終了すべきと判定する。
【0161】
そして、第２ロボット制御を終了すべきでないと切替判定部１８が判定した場合（ステップＳ１８；Ｎｏ）、第２ロボット制御部１７２は、引き続きステップＳ１７において、指示装置２から供給される入力信号Ｓ１に基づき第２ロボット制御を実行する。
【0162】
一方、第２ロボット制御を終了すべきと切替判定部１８が判定した場合（ステップＳ１８；Ｙｅｓ）、ロボット制御部１７は、ロボット５の制御を第２ロボット制御から第１ロボット制御へ切り替える（ステップＳ１９）。そして、ステップＳ１９の後、又は、ステップＳ１５において第２ロボット制御への切替が不要と判定した後、ロボットコントローラ１は、目的タスクが完了したか否か判定する（ステップＳ２０）。この場合、例えば、ロボットコントローラ１のロボット制御部１７は、動作シーケンスＳｒに基づくロボット５への制御信号Ｓ３の出力が完了した（出力が無くなった）場合に、目的タスクが完了したと判定する。他の例では、ロボット制御部１７は、対象物の状態が完了状態になったことを計測信号Ｓ４に基づき認識した場合に、目的タスクが完了したと判定する。そして、ロボットコントローラ１は、目的タスクが完了したと判定した場合（ステップＳ２０；Ｙｅｓ）、フローチャートの処理を終了する。
【0163】
一方、目的タスクが完了していないと判定した場合（ステップＳ２０；Ｎｏ）、動作シーケンス生成部１６は、動作シーケンスＳｒの生成が必要か否か判定する（ステップＳ２１）。例えば、動作シーケンス生成部１６は、第２形態に基づく第２ロボット制御への切替（即ち異常検知に基づく緊急的な第２ロボット制御への切替）後に再び第１ロボット制御を実行する場合には、動作シーケンスＳｒを再生成すべきと判定する。一方、ロボットコントローラ１は、第１形態に基づく第２ロボット制御への切替（即ち計画的な第２ロボット制御への切替）後に再び第１ロボット制御を実行する場合には、動作シーケンスＳｒを再生成する必要がないと判定する。他の例では、動作シーケンス生成部１６は、現在のサブゴールが完了した場合には、次のサブゴール（最終ゴールを含む）を実行するための動作シーケンスＳｒを生成する必要があると判定する。
【0164】
そして、動作シーケンス生成部１６は、動作シーケンスＳｒの生成が必要であると判定した場合（ステップＳ２１；Ｙｅｓ）、ステップＳ１２に処理を戻し、動作シーケンスＳｒの生成を行う。一方、動作シーケンス生成部１６は、動作シーケンスＳｒの生成が必要でないと判定した場合（ステップＳ２１；Ｎｏ）、ステップＳ１３へ処理を戻し、既存の動作シーケンスＳｒに基づく第１ロボット制御を実行する。
【0165】
（９）変形例
次に、第１実施形態の変形例について説明する。以下の変形例は任意に組み合わせて適用してもよい。
次に、第１実施形態の変形例について説明する。以下の変形例は任意に組み合わせて適用してもよい。
【0166】
（第１変形例）
ロボットコントローラ１は、第２ロボット制御において作業者による外部入力を支援する情報を外部入力支援画面上に表示する制御を行う代わりに、又は、これに加えて、第２ロボット制御において作業者による外部入力を支援する情報を音により出力する制御を行ってもよい。この場合、ロボットコントローラ１の出力制御部１５は、例えば、図８又は図９の外部入力支援画面を指示装置２に表示させる代わりに、又はこれに加えて、動作内容表示領域２９に表示した外部入力に関するガイド文章に相当するガイダンスを指示装置２に音声出力させる。本変形例によっても、ロボットコントローラ１は、第２ロボット制御に必要な外部入力の生成を好適に支援することができる。
ロボットコントローラ１は、第２ロボット制御において作業者による外部入力を支援する情報を外部入力支援画面上に表示する制御を行う代わりに、又は、これに加えて、第２ロボット制御において作業者による外部入力を支援する情報を音により出力する制御を行ってもよい。この場合、ロボットコントローラ１の出力制御部１５は、例えば、図８又は図９の外部入力支援画面を指示装置２に表示させる代わりに、又はこれに加えて、動作内容表示領域２９に表示した外部入力に関するガイド文章に相当するガイダンスを指示装置２に音声出力させる。本変形例によっても、ロボットコントローラ１は、第２ロボット制御に必要な外部入力の生成を好適に支援することができる。
【0167】
（第２変形例）
図５に示す動作シーケンス生成部１６のブロック構成は一例であり、種々の変更がなされてもよい。
図５に示す動作シーケンス生成部１６のブロック構成は一例であり、種々の変更がなされてもよい。
【0168】
例えば、ロボット５に命令する動作のシーケンスの候補φの情報が記憶装置４に予め記憶され、動作シーケンス生成部１６は、当該情報に基づき、制御入力生成部３５の最適化処理を実行する。これにより、動作シーケンス生成部１６は、最適な候補φの選定とロボット５の制御入力の決定を行う。この場合、動作シーケンス生成部１６は、動作シーケンスＳｒの生成において、抽象状態設定部３１、目標論理式生成部３２及びタイムステップ論理式生成部３３に相当する機能を有しなくともよい。このように、図５に示す動作シーケンス生成部１６の一部の機能ブロックの実行結果に関する情報が予めアプリケーション情報記憶部４１に記憶されていてもよい。
【0169】
他の例では、アプリケーション情報には、目的タスクに対応する動作シーケンスＳｒを設計するためのフローチャートなどの設計情報が予め含まれており、動作シーケンス生成部１６は、当該設計情報を参照することで、動作シーケンスＳｒを生成してもよい。なお、予め設計されたタスクシーケンスに基づきタスクを実行する具体例については、例えば特開２０１７－３９１７０号に開示されている。
【0170】
＜第２実施形態＞
図１１は、第２実施形態における制御装置１Ｘの概略構成図を示す。制御装置１Ｘは、主に、動作シーケンス生成手段１６Ｘと、第１ロボット制御手段１７１Ｘと、切替判定手段１８Ｘと、第２ロボット制御手段１７２Ｘとを有する。なお、制御装置１Ｘは、複数の装置から構成されてもよい。制御装置１Ｘは、例えば、第１実施形態におけるロボットコントローラ１とすることができる。
図１１は、第２実施形態における制御装置１Ｘの概略構成図を示す。制御装置１Ｘは、主に、動作シーケンス生成手段１６Ｘと、第１ロボット制御手段１７１Ｘと、切替判定手段１８Ｘと、第２ロボット制御手段１７２Ｘとを有する。なお、制御装置１Ｘは、複数の装置から構成されてもよい。制御装置１Ｘは、例えば、第１実施形態におけるロボットコントローラ１とすることができる。
【0171】
動作シーケンス生成手段１６Ｘは、ロボットの動作シーケンスを生成する。動作シーケンス生成手段１６Ｘは、例えば、第１実施形態における動作シーケンス生成部１６とすることができる。
【0172】
第１ロボット制御手段１７１Ｘは、動作シーケンスに基づくロボットの制御である第１ロボット制御を行う。第１ロボット制御手段１７１Ｘは、例えば、第１実施形態における第１ロボット制御部１７１とすることができる。
【0173】
切替判定手段１８Ｘは、第１ロボット制御の実行中において、外部入力に基づくロボットの制御である第２ロボット制御への切替の要否を、動作シーケンスに基づき判定する。切替判定手段１８Ｘは、例えば、第１実施形態における切替判定部１８とすることができる。
【0174】
第２ロボット制御手段１７２Ｘは、切替が必要と切替判定手段１８Ｘにより判定された場合、第２ロボット制御を行う。第２ロボット制御手段１７２Ｘは、例えば、第１実施形態における第２ロボット制御部１７２とすることができる。
【0175】
図１２は、第２実施形態におけるフローチャートの一例である。動作シーケンス生成手段１６Ｘは、ロボットの動作シーケンスを生成する（ステップＳ２１）。第１ロボット制御手段１７１Ｘは、動作シーケンスに基づくロボットの制御である第１ロボット制御を行う（ステップＳ２２）。切替判定手段１８Ｘは、第１ロボット制御の実行中において、外部入力に基づくロボットの制御である第２ロボット制御への切替の要否を、動作シーケンスに基づき判定する（ステップＳ２３）。切替が必要とステップＳ２３において判定された場合（ステップＳ２４；Ｙｅｓ）、第２ロボット制御手段１７２Ｘは、第２ロボット制御を行う（ステップＳ２５）。一方、切替が必要でないとステップＳ２３において判定された場合（ステップＳ２４；Ｎｏ）、フローチャートの処理を終了する。
【0176】
第２実施形態によれば、制御装置１Ｘは、動作シーケンスに基づく第１ロボット制御の実行中において、必要に応じて外部入力に基づく第２ロボット制御に切り替え、目的となるタスクを円滑に遂行することができる。
【0177】
なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Non-Transitory Computer Readable Medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（Tangible Storage Medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Transitory Computer Readable Medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0178】
その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【0179】
［付記１］
ロボットの動作シーケンスを生成する動作シーケンス生成手段と、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行う第１ロボット制御手段と、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定する切替判定手段と、
前記切替が必要と判定された場合、前記第２ロボット制御を行う第２ロボット制御手段と、
を有する制御装置。
［付記２］
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記切替の要否を判定する、付記１に記載の制御装置。
［付記３］
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記動作シーケンスに基づく計画に対する時間的ずれ量を算出し、当該時間的ずれ量に基づき、前記切替の要否を判定する、付記１または２に記載の制御装置。
［付記４］
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記動作シーケンスに基づく計画に対する空間的ずれ量を算出し、当該空間的ずれ量に基づき、前記切替の要否を判定する、付記１～３のいずれか一項に記載の制御装置。
［付記５］
前記切替判定手段は、予測された前記ロボットの移動軌跡と計測された前記ロボットの移動軌跡との比較、又は、予測された前記ロボットの作業対象物の移動軌跡と計測された前記作業対象物の移動軌跡との比較に基づき、前記空間的ずれ量を算出する、付記４に記載の制御装置。
［付記６］
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスを構成するいずれかの動作が正常に完了しなかったと判定した場合に、前記切替が必要と判定する、付記１～５のいずれか一項に記載の制御装置。
［付記７］
前記動作シーケンス生成手段は、前記ロボットが実行すべきタスクの完了までの１または複数の中間状態に基づき、前記タスクの開始から前記タスクの完了までに必要な複数の動作シーケンスを逐次的に生成し、
前記切替判定手段は、前記複数の動作シーケンスのいずれかの動作シーケンスが正常に完了しなかったと判定した場合に、前記切替が必要と判定する、付記１～５のいずれか一項に記載の制御装置。
［付記８］
前記動作シーケンス生成手段は、前記第２ロボット制御が必要な前記ロボットの動作を含む前記動作シーケンスを生成し、
前記切替判定手段は、前記第２ロボット制御が必要な前記動作の実行タイミングにおいて、前記切替が必要と判定する、付記１～７のいずれか一項に記載の制御装置。
［付記９］
前記第１ロボット制御手段は、前記第２ロボット制御が必要な前記動作が完了したと判定した場合、前記第１ロボット制御を再開する、付記８に記載の制御装置。
［付記１０］
前記外部入力を支援する外部入力支援情報を表示又は音出力する出力制御手段をさらに有する、付記１～９のいずれか一項に記載の制御装置。
［付記１１］
前記出力制御手段は、前記外部入力により指示する前記ロボットの動作内容に関する情報を、前記外部入力支援情報として表示又は音出力する、付記１０に記載の制御装置。
［付記１２］
前記動作シーケンス生成手段は、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、
を有する、付記１～１１のいずれか一項に記載の制御装置。
［付記１３］
前記動作シーケンス生成手段は、
前記タスクに関する物体の抽象的な状態である抽象状態を、前記論理式において使用する命題として定める抽象状態設定手段をさらに有する、付記１２に記載の制御装置。
［付記１４］
コンピュータが、
ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行う、
制御方法。
［付記１５］
ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行う処理をコンピュータに実行させるプログラムが格納された記憶媒体。
ロボットの動作シーケンスを生成する動作シーケンス生成手段と、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行う第１ロボット制御手段と、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定する切替判定手段と、
前記切替が必要と判定された場合、前記第２ロボット制御を行う第２ロボット制御手段と、
を有する制御装置。
［付記２］
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記切替の要否を判定する、付記１に記載の制御装置。
［付記３］
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記動作シーケンスに基づく計画に対する時間的ずれ量を算出し、当該時間的ずれ量に基づき、前記切替の要否を判定する、付記１または２に記載の制御装置。
［付記４］
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスと、前記ロボットの動作実行状況とに基づき、前記動作シーケンスに基づく計画に対する空間的ずれ量を算出し、当該空間的ずれ量に基づき、前記切替の要否を判定する、付記１～３のいずれか一項に記載の制御装置。
［付記５］
前記切替判定手段は、予測された前記ロボットの移動軌跡と計測された前記ロボットの移動軌跡との比較、又は、予測された前記ロボットの作業対象物の移動軌跡と計測された前記作業対象物の移動軌跡との比較に基づき、前記空間的ずれ量を算出する、付記４に記載の制御装置。
［付記６］
前記切替判定手段は、前記第１ロボット制御の実行中において、前記動作シーケンスを構成するいずれかの動作が正常に完了しなかったと判定した場合に、前記切替が必要と判定する、付記１～５のいずれか一項に記載の制御装置。
［付記７］
前記動作シーケンス生成手段は、前記ロボットが実行すべきタスクの完了までの１または複数の中間状態に基づき、前記タスクの開始から前記タスクの完了までに必要な複数の動作シーケンスを逐次的に生成し、
前記切替判定手段は、前記複数の動作シーケンスのいずれかの動作シーケンスが正常に完了しなかったと判定した場合に、前記切替が必要と判定する、付記１～５のいずれか一項に記載の制御装置。
［付記８］
前記動作シーケンス生成手段は、前記第２ロボット制御が必要な前記ロボットの動作を含む前記動作シーケンスを生成し、
前記切替判定手段は、前記第２ロボット制御が必要な前記動作の実行タイミングにおいて、前記切替が必要と判定する、付記１～７のいずれか一項に記載の制御装置。
［付記９］
前記第１ロボット制御手段は、前記第２ロボット制御が必要な前記動作が完了したと判定した場合、前記第１ロボット制御を再開する、付記８に記載の制御装置。
［付記１０］
前記外部入力を支援する外部入力支援情報を表示又は音出力する出力制御手段をさらに有する、付記１～９のいずれか一項に記載の制御装置。
［付記１１］
前記出力制御手段は、前記外部入力により指示する前記ロボットの動作内容に関する情報を、前記外部入力支援情報として表示又は音出力する、付記１０に記載の制御装置。
［付記１２］
前記動作シーケンス生成手段は、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、
を有する、付記１～１１のいずれか一項に記載の制御装置。
［付記１３］
前記動作シーケンス生成手段は、
前記タスクに関する物体の抽象的な状態である抽象状態を、前記論理式において使用する命題として定める抽象状態設定手段をさらに有する、付記１２に記載の制御装置。
［付記１４］
コンピュータが、
ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行う、
制御方法。
［付記１５］
ロボットの動作シーケンスを生成し、
前記動作シーケンスに基づく前記ロボットの制御である第１ロボット制御を行い、
前記第１ロボット制御の実行中において、外部入力に基づく前記ロボットの制御である第２ロボット制御への切替の要否を、前記動作シーケンスに基づき判定し、
前記切替が必要と判定された場合、前記第２ロボット制御を行う処理をコンピュータに実行させるプログラムが格納された記憶媒体。
【0180】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【0181】
１ ロボットコントローラ
１Ｘ 制御装置
２ 指示装置
４ 記憶装置
５ ロボット
７ 計測装置
４１ アプリケーション情報記憶部
１００ ロボット制御システム
１Ｘ 制御装置
２ 指示装置
４ 記憶装置
５ ロボット
７ 計測装置
４１ アプリケーション情報記憶部
１００ ロボット制御システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】