特許 7601215 制御装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】制御装置、制御方法及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20241210BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 10

(21)【出願番号】P 2023516008

(86)(22)【出願日】2021-04-23

(86)【国際出願番号】 JP2021016474

(87)【国際公開番号】W WO2022224447

(87)【国際公開日】2022-10-27

【審査請求日】2023-10-23

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】伊藤 岳大

(72)【発明者】

【氏名】若山 永哉

(72)【発明者】

【氏名】小川 雅嗣

【審査官】岩▲崎▼ 優

(56)【参考文献】

【文献】特開２０１０－２１１７４６（ＪＰ，Ａ）

【文献】特開平０３－０５５１９４（ＪＰ，Ａ）

【文献】特開２０１７－０９１０７８（ＪＰ，Ａ）

【文献】特開２０１３－０３１８９６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０９８５６１（ＷＯ，Ａ１）

【文献】特開２０１５－１７６２７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ －２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットが実行するタスクに関する物体の認識結果を取得する認識結果取得手段と、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示する表示制御手段と、
外部入力に基づく前記認識結果の修正を受け付ける修正受付手段と、を有し、
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記修正受付手段は、前記自信度に基づき、前記修正の要否を判定する、制御装置。

【請求項2】

前記表示制御手段は、前記認識結果に基づき前記物体を模したオブジェクトを、前記風景又は前記画像における当該物体に重ねて視認されるように表示する、請求項１に記載の制御装置。

【請求項3】

前記修正受付手段は、前記オブジェクトの位置又は姿勢の少なくとも一方を変更する前記外部入力に基づき、前記物体の位置又は姿勢の少なくとも一方に関する前記修正を受け付ける、請求項２に記載の制御装置。

【請求項4】

前記修正受付手段は、前記オブジェクトの削除を指示する前記外部入力に基づき、当該オブジェクトに対応する物体の認識結果の削除を示す前記修正を受け付ける、請求項２または３に記載の制御装置。

【請求項5】

前記修正受付手段は、前記オブジェクトの追加を指示する前記外部入力に基づき、当該オブジェクトに対応する物体の認識結果の追加を示す前記修正を受け付ける、請求項２～４のいずれか一項に記載の制御装置。

【請求項6】

前記表示制御手段は、前記認識結果に含まれる前記物体の属性に関する情報を、前記風景又は前記画像における当該物体と対応付けて表示し、
前記修正受付手段は、前記属性の変更を指示する前記外部入力に基づき、前記属性に関する前記修正を受け付ける、請求項１～５のいずれか一項に記載の制御装置。

【請求項7】

前記表示制御手段は、前記自信度に基づき、前記認識結果が表す情報の表示態様を決定する、請求項１～６のいずれか一項に記載の制御装置。

【請求項8】

ロボットが実行するタスクに関する物体の認識結果を取得する認識結果取得手段と、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示する表示制御手段と、
外部入力に基づく前記認識結果の修正を受け付ける修正受付手段と、を有し、
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記表示制御手段は、前記自信度が閾値未満となる前記認識結果を表す情報を強調表示する、制御装置。

【請求項9】

コンピュータが、
ロボットが実行するタスクに関する物体の認識結果を取得し、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示し、
外部入力に基づく前記認識結果の修正を受け付け、
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記自信度に基づき、前記修正の要否を判定する、
制御方法。

【請求項10】

ロボットが実行するタスクに関する物体の認識結果を取得し、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示し、
外部入力に基づく前記認識結果の修正を受け付け、
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記自信度に基づき、前記修正の要否を判定する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、タスクを実行するロボットに関する制御装置、制御方法及び記憶媒体の技術分野に関する。

【背景技術】

【0002】

ロボットの環境をセンサにより認識し、認識した環境に基づいてロボットにタスクを実行させるロボットシステムが提案されている。例えば、特許文献１には、周囲環境検出センサでの検出結果と、決定されたロボットの行動計画とに基づいて、ロボットの動作指令を行うロボットシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０４６７７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ロボットの環境の認識に誤りがあると、決定したロボットの動作（行動）計画が正しく実行されないおそれがある。一方、センサの出力信号に基づきロボットの環境を完璧な精度により認識することは場合によっては困難である。

【0005】

本開示の目的の１つは、上述した課題を鑑み、タスクに関する物体の的確な認識結果を得ることが可能な制御装置、制御方法及び記憶媒体を提供することである。

【課題を解決するための手段】

【0006】

制御装置の一の態様は、
ロボットが実行するタスクに関する物体の認識結果を取得する認識結果取得手段と、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示する表示制御手段と、
外部入力に基づく前記認識結果の修正を受け付ける修正受付手段と、を有し、
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記修正受付手段は、前記自信度に基づき、前記修正の要否を判定する、制御装置である。
制御装置の他の態様は、
ロボットが実行するタスクに関する物体の認識結果を取得する認識結果取得手段と、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示する表示制御手段と、
外部入力に基づく前記認識結果の修正を受け付ける修正受付手段と、を有し、
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記表示制御手段は、前記自信度が閾値未満となる前記認識結果を表す情報を強調表示する、制御装置である。

【0007】

制御方法の一の態様は、
コンピュータが、
ロボットが実行するタスクに関する物体の認識結果を取得し、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示し、
外部入力に基づく前記認識結果の修正を受け付け、
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記自信度に基づき、前記修正の要否を判定する、
制御方法である。

【0008】

プログラムの一の態様は、
ロボットが実行するタスクに関する物体の認識結果を取得し、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示し、
外部入力に基づく前記認識結果の修正を受け付け、
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記自信度に基づき、前記修正の要否を判定する処理をコンピュータに実行させるプログラムである。

【発明の効果】

【0009】

タスクに関する物体の正確な認識結果を好適に得ることができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態におけるロボット制御システムの構成を示す。

【図2】（Ａ）ロボットコントローラのハードウェア構成を示す。（Ｂ）指示装置のハードウェア構成を示す。

【図3】アプリケーション情報のデータ構造の一例を示す。

【図4】ロボットコントローラの機能ブロックの一例である。

【図5】（Ａ）修正の第１態様を示す。（Ｂ）修正の第２態様を示す。（Ｃ）修正の第３態様を示す。（Ｄ）修正の第４態様を示す。

【図6】ピックアンドプレイスを目的タスクとする場合において、作業者が視認する修正前の作業空間の状態を示す。

【図7】仮想オブジェクトに関する修正が行われた後において作業者が視認する作業空間の状態を示す。

【図8】動作計画部の機能的な構成を示す機能ブロックの一例である。

【図9】ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。

【図10】第１実施形態においてロボットコントローラが実行するロボット制御処理の概要を示すフローチャートの一例である。

【図11】第２実施形態におけるロボットコントローラの機能ブロックの一例である。

【図12】第１具体例における軌道情報を表した図である。

【図13】第１具体例においてロボットハンド及び対象物の軌道等を修正する入力に基づき修正されたロボットハンド及び対象物の修正済みの軌道（修正軌道）を概略的に示した図である。

【図14】（Ａ）第２具体例における修正前の軌道情報を第１の視点により表した図である。（Ｂ）第２具体例における修正前の軌道情報を第２の視点により表した図である。

【図15】（Ａ）第２具体例における軌道情報の修正に関する操作の概要を第１の視点により表した図である。（Ｂ）は、第２具体例における軌道情報の修正に関する操作の概要を第２の視点により表した図である。

【図16】（Ａ）第２具体例における修正後の軌道情報を第１の視点により表した図である。（Ｂ）第２具体例における修正後の軌道情報を第２の視点により表した図である。

【図17】第２実施形態においてロボットコントローラが実行するロボット制御処理の概要を示すフローチャートの一例である。

【図18】第３実施形態における制御装置の概略構成図を示す。

【図19】第３実施形態において制御装置が実行するフローチャートの一例である。

【図20】第４実施形態における制御装置の概略構成図を示す。

【図21】第４実施形態において制御装置が実行するフローチャートの一例である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、制御装置、制御方法及び記憶媒体の実施形態について説明する。

【0012】

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、ロボットコントローラ１と、指示装置２と、記憶装置４と、ロボット５と、センサ（検出装置）７と、を備える。

【0013】

ロボットコントローラ１は、ロボット５に実行させるタスク（「目的タスク」とも呼ぶ。）が指定された場合に、ロボット５が受付可能な単純なタスクのタイムステップ（時間刻み）毎のシーケンスに目的タスクを変換し、生成したシーケンスに基づきロボット５を制御する。

【0014】

また、ロボットコントローラ１は、指示装置２、記憶装置４、ロボット５、及びセンサ７と、通信網を介し、又は、無線若しくは有線による直接通信により、データ通信を行う。例えば、ロボットコントローラ１は、指示装置２から、ロボット５の動作計画に関する入力信号「Ｓ１」を受信する。また、ロボットコントローラ１は、指示装置２に対し、表示制御信号「Ｓ２」を送信することで、指示装置２に所定の表示又は音出力を実行させる。さらに、ロボットコントローラ１は、ロボット５の制御に関する制御信号「Ｓ３」をロボット５に送信する。また、ロボットコントローラ１は、センサ７からセンサ信号「Ｓ４」を受信する。

【0015】

指示装置２は、作業者によるロボット５の動作計画に関する指示を受け付ける装置である。指示装置２は、ロボットコントローラ１から供給される表示制御信号Ｓ２に基づき所定の表示又は音出力を行ったり、作業者の入力に基づき生成した入力信号Ｓ１をロボットコントローラ１へ供給したりする。指示装置２は、入力部と表示部とを備えるタブレット端末であってもよく、据置型のパーソナルコンピュータであってもよく、拡張現実に使用される任意の端末であってもよい。

【0016】

記憶装置４は、アプリケーション情報記憶部４１を有する。アプリケーション情報記憶部４１は、ロボット５が実行すべきシーケンスである動作シーケンスを目的タスクから生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は、図３を参照しながら後述する。記憶装置４は、ロボットコントローラ１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、ロボットコントローラ１と通信網を介してデータ通信を行うサーバ装置であってもよい。この場合、記憶装置４は、複数のサーバ装置から構成されてもよい。

【0017】

ロボット５は、ロボットコントローラ１から供給される制御信号Ｓ３に基づき目的タスクに関する作業を行う。ロボット５は、例えば、組み立て工場、食品工場などの各種工場、又は、物流の現場などで動作を行うロボットである。ロボット５は、垂直多関節型ロボット、水平多関節型ロボット、又はその他の任意の種類のロボットであってもよい。ロボット５は、ロボット５の状態を示す状態信号をロボットコントローラ１に供給してもよい。この状態信号は、ロボット５全体又は関節などの特定部位の状態（位置、角度等）を検出するセンサの出力信号であってもよく、ロボット５の制御部が生成したロボット５の動作シーケンスの進捗状態を示す信号であってもよい。

【0018】

センサ７は、目的タスクが実行される作業空間内の状態を検出するカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数のセンサである。例えば、センサ７は、ロボット５の作業空間を撮像する少なくとも１台のカメラを含む。センサ７は、生成したセンサ信号Ｓ４をロボットコントローラ１に供給する。センサ７は、作業空間内で移動する自走式又は飛行式のセンサ（ドローンを含む）であってもよい。また、センサ７は、ロボット５に設けられたセンサ、及び作業空間内の他の物体に設けられたセンサなどを含んでもよい。また、センサ７は、作業空間内の音を検出するセンサを含んでもよい。このように、センサ７は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。

【0019】

なお、図１に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボット５は、複数台存在してもよく、ロボットアームなどの夫々が独立して動作する制御対象物を複数有してもよい。これらの場合であっても、ロボットコントローラ１は、目的タスクに基づき、ロボット５毎又は制御対象物毎に実行すべき動作シーケンスを生成し、当該動作シーケンスに基づく制御信号Ｓ３を、対象のロボット５に送信する。また、ロボット５は、作業空間内で動作する他のロボット、作業者又は工作機械と協働作業を行うものであってもよい。また、センサ７は、ロボット５の一部であってもよい。また、指示装置２は、ロボットコントローラ１と同一の装置として構成されてもよい。また、ロボットコントローラ１は、複数の装置から構成されてもよい。この場合、ロボットコントローラ１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、ロボットコントローラ１とロボット５とは、一体に構成されてもよい。

【0020】

（２）ハードウェア構成
図２（Ａ）は、ロボットコントローラ１のハードウェア構成を示す。ロボットコントローラ１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。

【0021】

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、ロボットコントローラ１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。

【0022】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、ロボットコントローラ１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、ロボットコントローラ１と通信可能な１又は複数の外部記憶装置（例えば記憶装置４）により記憶されてもよく、ロボットコントローラ１に対して着脱自在な記憶媒体により記憶されてもよい。

【0023】

インターフェース１３は、ロボットコントローラ１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。

【0024】

なお、ロボットコントローラ１のハードウェア構成は、図２（Ａ）に示す構成に限定されない。例えば、ロボットコントローラ１は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。また、ロボットコントローラ１は、指示装置２又は記憶装置４の少なくとも一方を含んで構成されてもよい。

【0025】

図２（Ｂ）は、指示装置２のハードウェア構成を示す。指示装置２は、ハードウェアとして、プロセッサ２１と、メモリ２２と、インターフェース２３と、入力部２４ａと、表示部２４ｂと、音出力部２４ｃと、を含む。プロセッサ２１、メモリ２２及びインターフェース２３は、データバス２０を介して接続されている。また、インターフェース２３には、入力部２４ａと表示部２４ｂと音出力部２４ｃとが接続されている。

【0026】

プロセッサ２１は、メモリ２２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ２１は、ＣＰＵ、ＧＰＵなどのプロセッサである。プロセッサ２１は、インターフェース２３を介して入力部２４ａが生成した信号を受信することで、入力信号Ｓ１を生成し、インターフェース２３を介してロボットコントローラ１に当該入力信号Ｓ１を送信する。また、プロセッサ２１は、インターフェース２３を介してロボットコントローラ１から受信した表示制御信号Ｓ２に基づき、表示部２４ｂ又は音出力部２４ｃの少なくとも一方を、インターフェース２３を介して制御する。

【0027】

メモリ２２は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ２２には、指示装置２が実行する処理を実行するためのプログラムが記憶される。

【0028】

インターフェース２３は、指示装置２と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。また、インターフェース２３は、入力部２４ａ、表示部２４ｂ、音出力部２４ｃのインターフェース動作を行う。

【0029】

入力部２４ａは、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。また、入力部２４ａは、仮想現実において使用される種々の入力デバイス（操作用コントローラ等）を含んでもよい。この場合、入力部２４ａは、例えば、モーションキャプチャなどにおいて使用される各種センサ（例えば、カメラ、装着用センサ等を含む）であってもよく、表示部２４ｂが拡張現実を実現する眼鏡型端末である場合には、当該端末とセットとなる操作用コントローラであってもよい。

【0030】

表示部２４ｂは、プロセッサ２１の制御に基づき拡張現実による表示を行う。第１の例では、表示部２４ｂは、作業者が視認する風景（ここでは作業空間）に重ねて風景内の物体の状態に関する情報を表示する眼鏡型端末である。第２の例では、表示部２４ｂは、風景（ここでは作業空間）を撮影した画像（「実写画像」とも呼ぶ。）に物体の情報を重ねて表示するディスプレイ、プロジェクタ等である。上述の実写画像は、センサ７により供給される。音出力部２４ｃは、例えば、スピーカであり、プロセッサ２１の制御に基づき音出力を行う。

【0031】

なお、指示装置２のハードウェア構成は、図２（Ｂ）に示す構成に限定されない。例えば、入力部２４ａ、表示部２４ｂ、又は音出力部２４ｃの少なくともいずれかは、指示装置２と電気的に接続する別体の装置として構成されてもよい。また、指示装置２は、カメラなどの種々の装置と接続してもよく、これらを内蔵してもよい。

【0032】

（３）アプリケーション情報
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。

【0033】

図３は、アプリケーション情報のデータ構造の一例を示す。図３に示すように、アプリケーション情報は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６とを含む。

【0034】

抽象状態指定情報Ｉ１は、動作シーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。

【0035】

制約条件情報Ｉ２は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット５（ロボットアーム）が接触してはいけないという制約条件、ロボット５（ロボットアーム）同士が接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。

【0036】

動作限界情報Ｉ３は、ロボットコントローラ１により制御が行われるロボット５の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、ロボット５の速度、加速度、又は角速度の上限を規定する情報である。なお、動作限界情報Ｉ３は、ロボット５の可動部位又は関節ごとに動作限界を規定する情報であってもよい。

【0037】

サブタスク情報Ｉ４は、動作シーケンスの構成要素となるサブタスクの情報を示す。「サブタスク」は、ロボット５が受付可能な単位により目的タスクを分解したタスクであって、細分化されたロボット５の動作を指す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボット５のロボットアームの移動であるリーチングと、ロボットアームによる把持であるグラスピングとをサブタスクとして規定する。サブタスク情報Ｉ４は、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。なお、サブタスク情報Ｉ４には、外部入力による動作指令が必要なサブタスクに関する情報が含まれてもよい。この場合、外部入力型サブタスクに関するサブタスク情報Ｉ４には、例えば、外部入力型サブタスクであることを識別する情報（例えばフラグ情報）と、当該外部入力型サブタスクでのロボット５の動作内容を示す情報とが含まれる。

【0038】

抽象モデル情報Ｉ５は、作業空間におけるダイナミクスを抽象化した抽象モデルに関する情報である。例えば、抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、ロボット５により作業対象となる物（「対象物」とも呼ぶ。）をロボット５が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物はロボット５により把持されなければ移動できないという条件などが該当する。抽象モデル情報Ｉ５は、目的タスクの種類毎に適した抽象モデルに関する情報を有している。

【0039】

物体モデル情報Ｉ６は、センサ７が生成したセンサ信号Ｓ４から認識すべき作業空間内の各物体の物体モデルに関する情報である。上述の各物体は、例えば、ロボット５、障害物、ロボット５が扱う工具その他の対象物、ロボット５以外の作業体などが該当する。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、姿勢、現在実行中の動作などをロボットコントローラ１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。

【0040】

なお、アプリケーション情報記憶部４１は、上述した情報の他、動作シーケンスの生成処理及び表示制御信号Ｓ２の生成処理に関する種々の情報を記憶してもよい。

【0041】

（４）処理概要
次に、第１実施形態におけるロボットコントローラ１の処理概要について説明する。概略的には、ロボットコントローラ１は、センサ信号Ｓ４に基づき認識した作業空間内の物体の認識結果を拡張現実により指示装置２に表示させ、当該認識結果に関する修正の入力を受け付ける。これにより、ロボットコントローラ１は、作業空間内の物体に関する誤認識が発生した場合であっても、誤認識が発生した箇所をユーザ入力に基づき適切に修正し、正確なロボット５の動作計画の策定及び目的タスクの実行を実現する。

【0042】

図４は、ロボットコントローラ１の処理の概要を示す機能ブロックの一例である。ロボットコントローラ１のプロセッサ１１は、機能的には、認識結果取得部１４と、表示制御部１５と、修正受付部１６と、動作計画部１７と、ロボット制御部１８とを有する。なお、図４では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。後述する他の機能ブロックの図においても同様である。

【0043】

認識結果取得部１４は、センサ信号Ｓ４等に基づき、作業空間内の物体の状態及び属性等を認識し、その認識結果を表す情報（「第１認識結果Ｉｍ１」とも呼ぶ。）を表示制御部１５へ供給する。この場合、例えば、認識結果取得部１４は、抽象状態指定情報Ｉ１を参照し、目的タスクを実行する際に考慮する必要がある作業空間内の物体の状態及び属性等を認識する。作業空間内の物体は、例えば、ロボット５、ロボット５が取り扱う工具又は部品などの対象物、障害物及び他作業体（ロボット５以外に作業を行う人又はその他の物体）などである。例えば、認識結果取得部１４は、物体モデル情報Ｉ６を参照し、作業空間の環境を認識する任意の技術によりセンサ信号Ｓ４を解析することで、第１認識結果Ｉｍ１を生成する。環境を認識する技術は、例えば、画像処理技術、画像認識技術（ＡＲマーカを用いた物体認識を含む）、音声認識技術、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）を用いる技術などが挙げられる。

【0044】

本実施形態では、認識結果取得部１４は、少なくとも、物体の位置、姿勢、及び属性を認識する。属性は、例えば、物体の種類であり、認識結果取得部１４が認識する物体の種類は、実行する目的タスクの種類に応じた粒度により分類されている。例えば、目的タスクがピックアンドプレイスの場合には、物体は、「障害物」、「把持対象物」などに分類される。認識結果取得部１４は、生成した第１認識結果Ｉｍ１を、表示制御部１５に供給する。なお、第１認識結果Ｉｍ１は、物体の位置、姿勢、及び種類を表す情報に限らず、認識結果取得部１４が認識した種々の状態又は属性（例えば物体の大きさ、形状等）に関する情報を含んでもよい。

【0045】

また、認識結果取得部１４は、修正受付部１６から第１認識結果Ｉｍ１の修正内容を示す認識修正情報「Ｉａ」を受信した場合には、当該認識修正情報Ｉａを第１認識結果Ｉｍ１に反映した情報（「第２認識結果Ｉｍ２」とも呼ぶ。）を生成する。ここで、認識修正情報Ｉａは、例えば、修正の要否及び修正が必要な場合の修正対象の物体、修正する指標及び修正量を示す情報である。なお、「修正対象の物体」は、認識結果の修正が必要な物体であり、「修正する指標」は、位置に関する指標（例えば座標軸ごとの座標値）、姿勢に関する指標（例えばオイラー角）、属性を表す指標などが該当する。そして、認識結果取得部１４は、認識修正情報Ｉａを反映した第２認識結果Ｉｍ２を、動作計画部１７に供給する。なお、第２認識結果Ｉｍ２は、認識修正情報Ｉａが修正がないことを示す場合には、認識結果取得部１４がセンサ信号Ｓ４に基づき最初に生成した第１認識結果Ｉｍ１と同一となる。

【0046】

表示制御部１５は、作業者が使用する指示装置２に所定の情報を表示又は音出力するための表示制御信号Ｓ２を生成し、インターフェース１３を介して当該表示制御信号Ｓ２を指示装置２へ送信する。本実施形態では、表示制御部１５は、第１認識結果Ｉｍ１が示す作業空間内の物体の認識結果に基づき、各物体を仮想的に表したオブジェクト（「仮想オブジェクト」とも呼ぶ。）を生成する。そして、表示制御部１５は、各仮想オブジェクトが、現実の風景又は実写画像において対応する物体に重ねて作業者により視認されるように指示装置２の表示を制御する表示制御信号Ｓ２を生成する。表示制御部１５は、この仮想オブジェクトを、例えば、第１認識結果Ｉｍ１が示す物体の種類と、物体モデル情報Ｉ６に含まれる物体の種類ごとの３次元形状情報とに基づき生成する。他の例では、表示制御部１５は、プリミティブ形状（予め登録されたポリゴン）を第１認識結果Ｉｍ１が示す物体の形状に応じて組み合わせることで、仮想オブジェクトを生成する。

【0047】

修正受付部１６は、指示装置２を使用する作業者の操作による第１認識結果Ｉｍ１に関する修正を受け付ける。そして、修正受付部１６は、修正に関する操作が完了した場合、第１認識結果Ｉｍ１に関する修正内容を示した認識修正情報Ｉａを生成する。この場合、修正受付部１６は、拡張現実による物体の認識結果の表示制御中においてインターフェース１３を介して指示装置２が生成する入力信号Ｓ１を受信し、当該入力信号Ｓ１に基づき生成した認識修正情報Ｉａを認識結果取得部１４に供給する。また、修正受付部１６は、修正が確定する前では、指示装置２から供給された入力信号Ｓ１に基づく仮想オブジェクトの表示位置の修正等の指示信号を表示制御部１５に供給し、表示制御部１５は、当該指示信号に基づき修正を反映した表示制御信号Ｓ２を指示装置２に供給する。これにより、指示装置２は、作業者による操作を即時に反映した仮想オブジェクトの表示を行う。

【0048】

動作計画部１７は、認識結果取得部１４から供給される第２認識結果Ｉｍ２と、記憶装置４が記憶するアプリケーション情報と、に基づき、ロボット５の動作計画を決定する。この場合、動作計画部１７は、目的タスクを達成するためにロボット５が実行すべきサブタスクのシーケンス（サブタスクシーケンス）である動作シーケンス「Ｓｒ」を生成する。動作シーケンスＳｒは、ロボット５の一連の動作を規定しており、各サブタスクの実行順序及び実行タイミングを示す情報を含んでいる。動作計画部１７は、生成した動作シーケンスＳｒをロボット制御部１８に供給する。

【0049】

ロボット制御部１８は、インターフェース１３を介して制御信号Ｓ３をロボット５に供給することで、ロボット５の動作を制御する。ロボット制御部１８は、動作計画部１７から供給される動作シーケンスＳｒに基づき、動作シーケンスＳｒを構成する各サブタスクを夫々定められた実行タイミング（タイムステップ）でロボット５が実行するための制御を行う。具体的には、ロボット制御部１８は、制御信号Ｓ３をロボット５に送信することで、動作シーケンスＳｒを実現するためのロボット５の関節の位置制御又はトルク制御などを実行する。

【0050】

なお、ロボット制御部１８に相当する機能を、ロボットコントローラ１に代えてロボット５が有してもよい。この場合、ロボット５は、動作計画部１７が生成する動作シーケンスＳｒに基づき動作する。

【0051】

ここで、認識結果取得部１４、表示制御部１５、修正受付部１６、動作計画部１７、及びロボット制御部１８の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子コンピュータ制御チップにより構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は，例えば，クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。

【0052】

（５）修正情報の生成
次に、表示制御部１５及び修正受付部１６の制御に基づく認識修正情報Ｉａの生成方法について具体的に説明する。表示制御部１５は、認識した物体の位置及び姿勢に応じて作業者が視認する風景又は実写画像中の実際の物体（実物体）に重ねるように当該物体の仮想オブジェクトを指示装置２に表示させる。そして、修正受付部１６は、風景又は実写画像中の実物体と仮想オブジェクトとに相違が存在する場合に、これらが一致するように仮想オブジェクトの位置及び姿勢を修正する操作を受け付ける。

【0053】

まず、個々の物体の仮想オブジェクトに対する修正態様について説明する。図５（Ａ）～図５（Ｄ）は、修正受付部１６が受け付ける修正の態様（第１態様～第４態様）を夫々示している。図５（Ａ）～図５（Ｄ）において、矢印の左側は、修正前における実物体及び仮想オブジェクトの見え方を示し、矢印の右側は、修正後における実物体及び仮想オブジェクトの見え方を示している。また、ここでは、円柱状である実物体を実線により示し、仮想オブジェクトを破線により示している。

【0054】

図５（Ａ）に示す第１態様では、修正前の状態において、実物体と仮想オブジェクトとの位置及び姿勢がずれて視認されている。従って、この場合、作業者は、仮想オブジェクトが実物体と重なるように、位置及び姿勢（ロール、ピッチ、ヨー）を修正する操作を指示装置２の入力部２４ａに対して行う。修正後の状態では、上述の位置及び姿勢を修正する操作により生成された入力信号Ｓ１に基づき仮想オブジェクトの位置及び姿勢の変更が適切に行われている。そして、修正受付部１６は、対象の仮想オブジェクトに対応する物体の位置及び姿勢の修正を指示する認識修正情報Ｉａを生成し、当該認識修正情報Ｉａを認識結果取得部１４に供給する。これにより、仮想オブジェクトへの位置及び姿勢の修正は、対応する物体の位置及び姿勢の認識結果の修正として第２認識結果Ｉｍ２に反映される。

【0055】

図５（Ｂ）に示す第２態様では、修正前の状態において、対象の物体の存在をセンサ信号Ｓ４に基づき認識結果取得部１４が認識できなかったことにより、対象の物体に対する仮想オブジェクトが表示されていない。従って、この場合、作業者は、対象の物体に対する仮想オブジェクトの生成を指示する操作を指示装置２の入力部２４ａに対して行う。なお、この場合、作業者は、仮想オブジェクトを生成すべき物体の位置、姿勢、種類等の属性を直接的に指定する操作を行ってもよく、認識漏れがあった実物体の箇所を指定することで当該箇所を中心とする物体認識処理の再実行を指示する操作を行ってもよい。そして、修正後の状態では、上述の操作により生成された入力信号Ｓ１に基づき、対象物体に対する仮想オブジェクトが実物体と整合する位置及び姿勢により適切に生成されている。そして、修正受付部１６は、生成された仮想オブジェクトに対応する物体の認識結果の追加を示す認識修正情報Ｉａを生成し、当該認識修正情報Ｉａを認識結果取得部１４に供給する。これにより、仮想オブジェクトの追加は、対応する物体の認識結果の追加として第２認識結果Ｉｍ２において反映される。

【0056】

図５（Ｃ）に示す第３態様では、認識結果取得部１４での物体誤認識等に起因して、修正前の状態において、実際には存在しない物体に対する仮想オブジェクトが生成されている。この場合、作業者は、対象の仮想オブジェクトの削除を指示する操作を指示装置２の入力部２４Ａａに対して行う。そして、修正後の状態では、上述の操作により生成された入力信号Ｓ１に基づき、物体誤認識により生成された仮想オブジェクトが適切に削除されている。そして、修正受付部１６は、対象の仮想オブジェクトに対応する物体の認識結果の削除を指示する認識修正情報Ｉａを生成し、当該認識修正情報Ｉａを認識結果取得部１４に供給する。これにより、仮想オブジェクトの削除は、対応する物体の認識結果の削除として第２認識結果Ｉｍ２において反映される。

【0057】

図５（Ｄ）に示す第４態様では、認識結果取得部１４での物体の属性（ここでは種類）認識処理の誤差に起因して、修正前の状態において、対象の物体の本来の属性「障害物」と異なる属性「把持対象物体」を有する仮想オブジェクトが生成されている。この場合、作業者は、対象の仮想オブジェクトの属性の修正を指示する操作を指示装置２の入力部２４Ａａに対して行う。そして、修正後の状態では、上述の操作により生成された入力信号Ｓ１に基づき、仮想オブジェクトの属性が適切に修正されている。そして、修正受付部１６は、対象の仮想オブジェクトに対応する物体の属性の変更を示す認識修正情報Ｉａを生成し、当該認識修正情報Ｉａを認識結果取得部１４に供給する。これにより、仮想オブジェクトの属性変更は、対応する物体の属性に関する認識結果の修正として第２認識結果Ｉｍ２において反映される。

【0058】

次に、上述の第１態様～第４態様に基づく修正に関する具体例について説明する。図６は、ピックアンドプレイスを目的タスクとする場合において、作業者が視認する修正前の作業空間の状態を示す。図６では、作業テーブル７９上に、第１物体８１、第２物体８２、第３物体８３が存在している。そして、表示制御部１５は、物体の位置・姿勢・属性の修正を促すテキスト情報７８と共に、作業者が視認する風景（実世界）又は実写画像に重なるように仮想オブジェクト８１Ｖ、８２Ｖ及びその属性情報８１Ｔ、８２Ｔを表示している。なお、ここでは、拡張現実等において行われる任意のキャリブレーション処理が実行され、センサ７の座標系、仮想オブジェクトを表示する表示座標系等の各種座標系の間での座標変換等が適切に行われているものとする。

【0059】

この場合、仮想オブジェクト８１Ｖは、実物体の位置とずれが生じている。また、属性情報８２Ｔが示す仮想オブジェクト８２Ｖの属性（ここでは「把持対象物体」）は、本来の第２物体８２の属性（ここでは「障害物」）と異なっている。さらに、第３物体８３は、ロボットコントローラ１により認識されておらず、対応する仮想オブジェクトが生成されていない。そして、修正受付部１６は、指示装置２から供給される入力信号Ｓ１に基づくこれらの相違点の修正を受け付け、表示制御部１５は、当該修正を反映した最新の仮想オブジェクトを即時に表示する。

【0060】

図７は、仮想オブジェクトに関する修正が行われた後において作業者が視認する作業空間の状態を示す。図７では、仮想オブジェクト８１Ｖの移動を指示する操作に基づき、仮想オブジェクト８１Ｖが実物体と重なる位置に適切に配置されている。また、仮想オブジェクト８２Ｖに対する属性変更を指示する操作に基づき、属性情報８２Ｔが示す属性「障害物」は、第２物体８２の認識されるべき属性と一致している。さらに、第３物体８３に対する仮想オブジェクトの生成を指示する操作に基づき、第３物体８３に対する仮想オブジェクト８３Ｖが適切な位置及び姿勢により生成されている。また、属性情報８３Ｔが示す仮想オブジェクト８３Ｖの属性は、第３物体８３の認識されるべき属性と一致している。

【0061】

そして、図７の例では、各種の修正操作が行われた後、修正受付部１６は、修正を確定する旨の操作に対応する入力信号Ｓ１を受信し、受け付けた修正内容を示す認識修正情報Ｉａを認識結果取得部１４に供給する。その後、認識結果取得部１４は、認識修正情報Ｉａを反映した第２認識結果Ｉｍ２を動作計画部１７に供給し、動作計画部１７は、第２認識結果Ｉｍ２に基づきロボット５の動作計画の算出を開始する。また、この場合、表示制御部１５は、修正を受け付けた旨と、動作計画の策定及びロボット制御の開始を作業者に通知するテキスト情報７８Ａを表示する。

【0062】

このようにすることで、ロボットコントローラ１は、作業空間における物体の認識誤差を的確に修正し、正確な認識結果に基づき動作計画の策定及びロボット制御を的確に実行することができる。

【0063】

次に、修正受付部１６による修正の要否判定について補足説明する。第１の例では、修正受付部１６は、修正の要否を指定する入力を受け付け、当該入力に対応する入力信号Ｓ１に基づき、修正の要否を判定する。

【0064】

第２の例では、修正受付部１６は、修正の要否を、各物体の位置、姿勢、属性の認識（推定）の正しさに関する自信の度合いを表す自信度に基づき判定してもよい。この場合、修正受付部１６は、第１認識結果Ｉｍ１には、各物体の位置、姿勢、属性の夫々の推定結果に対して自信度が関連付けられており、これらの自信度がいずれも所定の閾値以上である場合には、第１認識結果Ｉｍ１の修正を行う必要がないと判定し、修正が必要ない旨の認識修正情報Ｉａを認識結果取得部１４に供給する。上述の閾値は、例えば、メモリ１２又は記憶装置４に記憶されている。

【0065】

一方、修正受付部１６は、上述の閾値よりも低い自信度が存在する場合には、修正を行う必要があると判定し、修正を受け付ける表示制御の指示を表示制御部１５に対して行う。その後、表示制御部１５は、図６に示されるような表示を実現するための表示制御を行う。

【0066】

好適には、第２の例において、表示制御部１５は、自信度に基づき、第１認識結果Ｉｍ１が表す各種情報の表示態様を決定するとよい。例えば、表示制御部１５は、図６の例において、第１物体８１の位置、姿勢のいずれか一方の自信度が閾値未満の場合には、第１物体８１の位置、姿勢を表す仮想オブジェクト８１Ｖを強調表示する。また、表示制御部１５は、第１物体８１の属性の自信度が閾値未満の場合には、第１物体８１の属性を表す属性情報８１Ｔを強調表示する。

【0067】

このように、表示制御部１５は、修正の必要性が特に高い（即ち自信度が閾値未満となる）認識結果に関する情報を強調表示する。これにより、修正漏れなどを好適に抑制し、作業者による修正を円滑に支援することができる。

【0068】

ここで、第１認識結果Ｉｍ１に含まれる自信度について補足説明する。認識結果取得部１４は、センサ信号Ｓ４に基づき検出した物体の位置、姿勢、属性を推定する場合に、推定した要素ごとに自信度を算出し、算出した自信度を、推定した物体の位置、姿勢、属性の各々に関連付けた第１認識結果Ｉｍ１を生成する。この場合、例えば、修正受付部１６は、ニューラルネットワークに基づく推定モデルを物体の位置、姿勢、属性の推定に用いる場合、当該推定モデルが推定結果と共に出力する確信度（信頼度）を、上述の自信度として用いる。例えば、物体の位置、姿勢を推定する推定モデルは、回帰型モデルであり、物体の属性を推定する推定モデルは、分類型モデルとなる。

【0069】

（６）動作シーケンス生成部の詳細
次に、動作計画部１７の詳細な処理について説明する。

【0070】

（５－１）機能ブロック
図８は、動作計画部１７の機能的な構成を示す機能ブロックの一例である。動作計画部１７は、機能的には、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６と、を有する。

【0071】

抽象状態設定部３１は、認識結果取得部１４から供給される第２認識結果Ｉｍ２に基づき、作業空間内の抽象状態を設定する。この場合、抽象状態設定部３１は、第２認識結果Ｉｍ２に基づいて、目的タスクを実行する際に考慮する必要がある各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部３１は、設定した抽象状態を示す情報（「抽象状態設定情報ＩＳ」とも呼ぶ。）を、目標論理式生成部３２に供給する。

【0072】

目標論理式生成部３２は、抽象状態設定情報ＩＳに基づき、目的タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。言い換えると、目標論理式生成部３２は、抽象状態設定情報ＩＳに基づき特定されるロボット５の動作前の作業空間の初期状態と、作業空間の最終的な達成状態とに基づき、目標論理式Ｌｔａｇを生成する。また、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部３２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部３３に供給する。

【0073】

なお、目標論理式生成部３２は、作業空間の最終的な達成状態を、記憶装置４に予め記憶された情報に基づき認識してもよく、指示装置２から供給される入力信号Ｓ１に基づき認識してもよい。

【0074】

タイムステップ論理式生成部３３は、目標論理式生成部３２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部３３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部３５に供給する。

【0075】

抽象モデル生成部３４は、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５と、抽象状態設定部３１から供給される第２認識結果Ｉｍ２とに基づき、作業空間における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデル生成部３４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルΣを生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部３４は、生成した抽象モデルΣを、制御入力生成部３５へ供給する。

【0076】

制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとを満たし、評価関数（たとえば、ロボットによって消費されるエネルギー量を表す関数）を最適化するタイムステップ毎のロボット５への制御入力を決定する。そして、制御入力生成部３５は、ロボット５へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃｎ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。

【0077】

サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクのシーケンスである動作シーケンスＳｒを生成し、動作シーケンスＳｒをロボット制御部１８へ供給する。

【0078】

（６－２）抽象状態設定部
抽象状態設定部３１は、第２認識結果Ｉｍ２と、アプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１とに基づき、作業空間内の抽象状態を設定する。この場合、まず、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照し、作業空間内において設定すべき抽象状態を認識する。なお、作業空間内において設定すべき抽象状態は、目的タスクの種類によって異なる。

【0079】

図９は、ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。図９に示す作業空間には、２つのロボットアーム５２ａ、５２ｂと、４つの対象物６１（６１ａ～６１ｄ）と、障害物６２と、対象物６１の目的地である領域Ｇとが存在している。

【0080】

この場合、まず、抽象状態設定部３１は、対象物６１の状態、障害物６２の存在範囲、ロボット５の状態、領域Ｇの存在範囲等を認識する。

【0081】

ここでは、抽象状態設定部３１は、対象物６１ａ～６１ｄの各々の中心の位置ベクトル「ｘ_１」～「ｘ_４」を、対象物６１ａ～６１ｄの位置として認識する。また、抽象状態設定部３１は、対象物を把持するロボットハンド（エンドエフェクタ）５３ａの位置ベクトル「ｘ_ｒ１」と、ロボットハンド５３ｂの位置ベクトル「ｘ_ｒ２」とを、ロボットアーム５２ａとロボットアーム５２ｂの位置として認識する。

【0082】

同様に、抽象状態設定部３１は、対象物６１ａ～６１ｄの姿勢（図９の例では対象物が球状のため不要）、障害物６２の存在範囲、領域Ｇの存在範囲等を認識する。なお、抽象状態設定部３１は、例えば、障害物６２を直方体とみなし、領域Ｇを矩形とみなす場合には、障害物６２及び領域Ｇの各頂点の位置ベクトルを認識する。

【0083】

また、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部３１は、作業空間内に存在する物体に関する第２認識結果Ｉｍ２（例えば物体の種類毎の個数）と、抽象状態指定情報Ｉ１とに基づき、抽象状態を示す命題を定める。

【0084】

図９の例では、抽象状態設定部３１は、第２認識結果Ｉｍ２により特定される対象物６１ａ～６１ｄに対し、夫々識別ラベル「１」～「４」を付す。また、抽象状態設定部３１は、対象物「ｉ」（ｉ＝１～４）が最終的に載置されるべき目標地点である領域Ｇ内に存在するという命題「ｇ_ｉ」を定義する。また、抽象状態設定部３１は、障害物６２に対して識別ラベル「Ｏ」を付し、対象物ｉが障害物Ｏに干渉しているという命題「ｏ_ｉ」を定義する。さらに、抽象状態設定部３１は、ロボットアーム５２同士が干渉するという命題「ｈ」を定義する。なお、抽象状態設定部３１は、対象物「ｉ」が作業テーブル（初期状態で対象物及び障害物が存在するテーブル）内に存在するという命題「ｖ_ｉ」、作業テーブル及び領域Ｇ以外の作業外領域に対象物が存在するという命題「ｗ_ｉ」などをさらに定めてもよい。作業外領域は、例えば、対象物が作業テーブルから落下した場合に対象物が存在する領域（床面等）である。

【0085】

このように、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題（上述の例ではｇ_ｉ、ｏ_ｉ、ｈ等）を、対象物６１の数、ロボットアーム５２の数、障害物６２の数、ロボット５の数等に応じてそれぞれ定義する。そして、抽象状態設定部３１は、抽象状態を表す命題を示す情報を、抽象状態設定情報ＩＳとして目標論理式生成部３２に供給する。

【0086】

（６－３）目標論理式生成部
まず、目標論理式生成部３２は、目的タスクを、時相論理を用いた論理式に変換する。

【0087】

例えば、図９の例において、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが与えられたとする。この場合、目標論理式生成部３２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）の「eventually」に相当する演算子「◇」と、抽象状態設定部３１により定義された命題「ｇ_ｉ」と用いて、論理式「◇ｇ_２」を生成する。また、目標論理式生成部３２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、always「□」、next「○」、until「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現してもよい。

【0088】

なお、目的タスクは、自然言語により指定されてもよい。自然言語で表されたタスクを論理式に変換する方法は、種々の技術が存在する。

【0089】

次に、目標論理式生成部３２は、制約条件情報Ｉ２が示す制約条件を、目的タスクを示す論理式に付加することで、目標論理式Ｌｔａｇを生成する。

【0090】

例えば、図９に示すピックアンドプレイスに対応する制約条件として、「ロボットアーム５２同士が常に干渉しない」、「対象物ｉは障害物Ｏに常に干渉しない」の２つが制約条件情報Ｉ２に含まれていた場合、目標論理式生成部３２は、これらの制約条件を論理式に変換する。具体的には、目標論理式生成部３２は、図９の説明において抽象状態設定部３１により定義された命題「ｏ_ｉ」及び命題「ｈ」を用いて、上述の２つの制約条件を、夫々以下の論理式に変換する。
□￢ｈ
∧_ｉ□￢ｏ_ｉ

【0091】

よって、この場合、目標論理式生成部３２は、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクに対応する論理式「◇ｇ_２」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ｌｔａｇを生成する。
（◇ｇ_２）∧（□￢ｈ）∧（∧_ｉ□￢ｏ_ｉ）

【0092】

なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した２つに限られず、「ロボットアーム５２が障害物Ｏに干渉しない」、「複数のロボットアーム５２が同じ対象物を掴まない」、「対象物同士が接触しない」などの制約条件が存在する。このような制約条件についても同様に、制約条件情報Ｉ２に記憶され、目標論理式Ｌｔａｇに反映される。

【0093】

（６－４）タイムステップ論理式生成部
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。

【0094】

ここで、図９の説明において例示した「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが設定された場合のタイムステップ論理式生成部３３の処理の具体例について説明する。

【0095】

この場合、以下の目標論理式Ｌｔａｇが目標論理式生成部３２からタイムステップ論理式生成部３３へ供給される。
（◇ｇ_２）∧（□￢ｈ）∧（∧_ｉ□￢ｏ_ｉ）
この場合、タイムステップ論理式生成部３３は、命題「ｇ_ｉ」をタイムステップの概念を含むように拡張した命題「ｇ_ｉ，ｋ」を用いる。ここで、命題「ｇ_ｉ，ｋ」は、「タイムステップｋで対象物ｉが領域Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ_２,３）∧（∧_{ｋ＝１,２,３}□￢ｈ_ｋ）∧（∧_{ｉ,ｋ＝１,２,３}□￢ｏ_ｉ，ｋ）

【0096】

また、◇ｇ_２,３は、以下の式に示すように書き換えることが可能である。

【0097】

【数1】

【0098】

このとき、上述した目標論理式Ｌｔａｇは、以下に示す４つの候補「φ_１」～「φ_４」の論理和（φ_１∨φ_２∨φ_３∨φ_４）により表される。

【0099】

【数2】

【0100】

よって、タイムステップ論理式生成部３３は、４つの候補φ_１～φ_４の論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、４つの候補φ_１～φ_４の少なくともいずれかが真となる場合に真となる。

【0101】

次に、目標タイムステップ数の設定方法について補足説明する。

【0102】

タイムステップ論理式生成部３３は、例えば、指示装置２から供給される入力信号Ｓ１により指定された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部３３は、メモリ１２又は記憶装置４に記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部３３は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ１２又は記憶装置４に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。

【0103】

好適には、タイムステップ論理式生成部３３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部３３は、制御入力生成部３５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部３３は、設定した目標タイムステップ数により制御入力生成部３５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。

【0104】

このとき、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値に設定するとよい。これにより、タイムステップ論理式生成部３３は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。

【0105】

（６－５）抽象モデル生成部
抽象モデル生成部３４は、抽象モデル情報Ｉ５と、第２認識結果Ｉｍ２とに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はロボットアーム５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された、ロボット５のダイナミクスを含む汎用的な形式の抽象モデルに対し、第２認識結果Ｉｍ２を反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、作業空間内の物体の状態と、ロボット５のダイナミクスとが抽象的に表されたモデルとなる。作業空間内の物体の状態は、ピックアンドプレイスの場合には、対象物の位置及び数、対象物を置く領域の位置、ロボット５の台数等を示す。

【0106】

なお、他作業体が存在する場合、他作業体の抽象化されたダイナミクスに関する情報が抽象モデル情報Ｉ５に含まれてもよい。この場合、抽象モデルΣは、作業空間内の物体の状態と、ロボット５のダイナミクスと、他作業体のダイナミクスとが抽象的に表されたモデルとなる。

【0107】

ここで、ロボット５による目的タスクの作業時においては、作業空間内のダイナミクスが頻繁に切り替わる。例えば、ピックアンドプレイスでは、ロボットアーム５２が対象物ｉを掴んでいる場合には、当該対象物ｉを動かすことができるが、ロボットアーム５２が対象物ｉを掴んでない場合には、当該対象物ｉを動かすことができない。

【0108】

以上を勘案し、本実施形態においては、ピックアンドプレイスの場合、対象物ｉを掴むという動作を論理変数「δ_ｉ」により抽象表現する。この場合、例えば、抽象モデル生成部３４は、図９に示す作業空間に対して設定すべき抽象モデルΣを、以下の式（１）により定めることができる。

【0109】

【数3】

【0110】

ここで、「ｕ_ｊ」は、ロボットハンドｊ（「ｊ＝１」はロボットハンド５３ａ、「ｊ＝２」はロボットハンド５３ｂ）を制御するための制御入力を示し、「Ｉ」は単位行列を示し、「０」は零行例を示す。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δ_ｊ,ｉ」は、ロボットハンドｊが対象物ｉを掴んでいる場合に「１」であり、その他の場合に「０」である論理変数である。また、「ｘ_ｒ１」、「ｘ_ｒ２」は、ロボットハンドｊ（ｊ＝１、２）の位置ベクトル、「ｘ_１」～「ｘ_４」は、対象物ｉ（ｉ＝１～４）の位置ベクトルを示す。なお、対象物ｉが球体ではない形状を有し、姿勢を考慮する必要がある場合には、ベクトル「ｘ_１」～「ｘ_４」には、オイラー角などの姿勢を表す要素が含まれている。また、「ｈ（ｘ）」は、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合に「ｈ（ｘ）≧０」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ＝１ ⇔ ｈ（ｘ）≧０
この式では、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合には、ロボットハンドが対象物を掴んでいるとみなし、論理変数δを１に設定している。

【0111】

ここで、式（１）は、タイムステップｋでの物体の状態とタイムステップｋ＋１での物体の状態との関係を示した差分方程式である。そして、上記の式（１）では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式（１）はハイブリッドシステムを示している。

【0112】

式（１）では、ロボット５全体の詳細なダイナミクスではなく、対象物を実際に把持するロボット５の手先であるロボットハンドのダイナミクスのみを考慮している。これにより、制御入力生成部３５による最適化処理の計算量を好適に削減することができる。

【0113】

また、抽象モデル情報Ｉ５には、ダイナミクスが切り替わる動作（ピックアンドプレイスの場合には対象物ｉを掴むという動作）に対応する論理変数、及び、第２認識結果Ｉｍ２から式（１）の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部３４は、対象物の位置や数、対象物を置く領域（図９では領域Ｇ）、ロボット５の台数等が変動する場合であっても、抽象モデル情報Ｉ５と第２認識結果Ｉｍ２とに基づき、対象の作業空間の環境に即した抽象モデルΣを決定することができる。

【0114】

なお、抽象モデル生成部３４は、式（１）に示されるモデルに代えて、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ Ｌｏｇｉｃａｌ Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。

【0115】

（６－６）制御入力生成部
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５に対する制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。

【0116】

例えば、ピックアンドプレイスを目的タスクとした場合、制御入力生成部３５は、運ぶ対象となる対象物と当該対象物を運ぶ目標地点との距離「ｄ_ｋ」と制御入力「ｕ_ｋ」とが最小となる（即ちロボット５が費やすエネルギーを最小化する）ように評価関数を定める。上述の距離ｄ_ｋは、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクの場合には、対象物（ｉ＝２）と領域Ｇとのタイムステップｋでの距離に相当する。

【0117】

この場合、制御入力生成部３５は、全タイムステップにおける距離ｄ_ｋのノルムの２乗と制御入力ｕ_ｋのノルムの２乗との和を評価関数として定める。そして、制御入力生成部３５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓ（即ち候補φ_ｉの論理和）を制約条件とする以下の式（２）に示す制約付き混合整数最適化問題を解く。

【0118】

【数4】

【0119】

ここで、「Ｔ」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、後述するように、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部３５は、論理変数を連続値に近似する（連続緩和問題とする）。これにより、制御入力生成部３５は、計算量を好適に低減することができる。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。

【0120】

また、制御入力生成部３５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部３５は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ｕ_ｋを決定する。

【0121】

好適には、制御入力生成部３５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、使用すべき制御入力ｕ_ｋを決定してもよい。この場合、制御入力生成部３５は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、作業空間におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５が対象物を掴む、ロボット５が運ぶべき複数の対象物のうちの１つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置４に記憶されている。

【0122】

（６－７）サブタスクシーケンス生成部
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、動作シーケンスＳｒを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力をサブタスクに変換する。

【0123】

例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５が受け付け可能なサブタスクとして、ロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の２つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５の初期状態、当該関数実行後のロボット５の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５の状態、及び当該関数実行前の把持対象の対象物の状態、論理変数δをそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数δが「１」のときに掴む動作を行うこと表し、論理変数δが「０」のときに放す動作を行うこと表す。この場合、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の論理変数δの遷移に基づき決定する。

【0124】

そして、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」と関数「Ｇｒａｓｐ」とにより構成される動作シーケンスＳｒを生成し、当該動作シーケンスＳｒをロボット制御部１８に供給する。例えば、目的タスクが「最終的に対象物（ｉ＝２）が領域Ｇに存在する」の場合、サブタスクシーケンス生成部３６は、対象物（ｉ＝２）に最も近いロボットハンドに対し、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」の動作シーケンスＳｒを生成する。この場合、対象物（ｉ＝２）に最も近いロボットハンドは、１回目の関数「Ｍｏｖｅ」により対象物（ｉ＝２）の位置まで移動し、１回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を把持し、２回目の関数「Ｍｏｖｅ」により領域Ｇまで移動し、２回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を領域Ｇに載置する。

【0125】

（７）処理フロー
図１０は、第１実施形態においてロボットコントローラ１が実行するロボット制御処理の概要を示すフローチャートの一例である。

【0126】

まず、ロボットコントローラ１は、センサ７からセンサ信号Ｓ４を取得する（ステップＳ１１）。そして、ロボットコントローラ１の認識結果取得部１４は、取得したセンサ信号Ｓ４に基づき、作業空間内の物体の状態（位置、姿勢を含む）及び属性等を認識する（ステップＳ１２）。これにより、認識結果取得部１４は、作業空間内の物体に関する第１認識結果Ｉｍ１を生成する。

【0127】

次に、表示制御部１５は、第１認識結果Ｉｍ１に基づき、風景又は実写画像の実物体と重ねて仮想オブジェクトを指示装置２に表示させる（ステップＳ１３）。この場合、表示制御部１５は、第１認識結果Ｉｍ１により特定される各物体に対応する仮想オブジェクトを表示するための表示制御信号Ｓ２を生成し、表示制御信号Ｓ２を指示装置２に供給する。

【0128】

そして、修正受付部１６は、第１認識結果Ｉｍ１の修正の要否を判定する（ステップＳ１４）。この場合、修正受付部１６は、第１認識結果Ｉｍ１に含まれる自信度に基づき修正要否を判定してもよく、修正要否を指定する入力を受け付け、受け付けた入力に基づき修正要否を判定してもよい。

【0129】

そして、修正受付部１６は、第１認識結果Ｉｍ１の修正が必要であると判定した場合（ステップＳ１４；Ｙｅｓ）、第１認識結果Ｉｍ１の修正を受け付ける（ステップＳ１５）。この場合、修正受付部１６は、指示装置２が備える任意のユーザインタフェースとなる入力部２４ａを用いた任意の操作方法に基づく修正（詳しくは、修正する対象の指定及び修正する内容の指定等）を受け付ける。そして、認識結果取得部１４は、修正受付部１６が生成した認識修正情報Ｉａを反映した第２認識結果Ｉｍ２を生成する（ステップＳ１６）。一方、修正受付部１６は、第１認識結果Ｉｍ１の修正が必要ではないと判定した場合（ステップＳ１４；Ｎｏ）、ステップＳ１７へ処理を進める。この場合、修正受付部１６は、修正が不要である旨の認識修正情報Ｉａを認識結果取得部１４に供給し、認識結果取得部１４は、第１認識結果Ｉｍ１を第２認識結果Ｉｍ２として動作計画部１７に供給する。

【0130】

そして、動作計画部１７は、第２認識結果Ｉｍ２に基づき、ロボット５の動作計画を決定する（ステップＳ１７）。これにより、動作計画部１７は、ロボット５の動作シーケンスである動作シーケンスＳｒを生成する。そして、ロボット制御部１８は、決定した動作計画に基づくロボット制御を行う（ステップＳ１８）。この場合、ロボット制御部１８は、動作シーケンスＳｒに基づき生成した制御信号Ｓ３をロボット５へ順次供給し、生成された動作シーケンスＳｒに従いロボット５が動作するように制御する。
（８）変形例
図８に示す動作計画部１７のブロック構成は一例であり、種々の変更がなされてもよい。

【0131】

例えば、ロボット５に命令する動作のシーケンスの候補φの情報が記憶装置４に予め記憶され、動作計画部１７は、当該情報に基づき、制御入力生成部３５の最適化処理を実行する。これにより、動作計画部１７は、最適な候補φの選定とロボット５の制御入力の決定を行う。この場合、動作計画部１７は、動作シーケンスＳｒの生成において、抽象状態設定部３１、目標論理式生成部３２及びタイムステップ論理式生成部３３に相当する機能を有しなくともよい。このように、図８に示す動作計画部１７の一部の機能ブロックの実行結果に関する情報が予めアプリケーション情報記憶部４１に記憶されていてもよい。

【0132】

他の例では、アプリケーション情報には、目的タスクに対応する動作シーケンスＳｒを設計するためのフローチャートなどの設計情報が予め含まれており、動作計画部１７は、当該設計情報を参照することで、動作シーケンスＳｒを生成してもよい。なお、予め設計されたタスクシーケンスに基づきタスクを実行する具体例については、例えば特開２０１７－３９１７０号に開示されている。

【0133】

＜第２実施形態＞
第２実施形態に係るロボットコントローラ１は、第１認識結果Ｉｍ１の修正を受け付ける処理に代えて、又はこれに加えて、動作計画の策定後において策定した動作計画に基づく物体（対象物、ロボット５）の軌跡に関する情報（「軌道情報」とも呼ぶ。）を表示し、当該軌道に関する修正を受け付ける処理を行う。これにより、第２実施形態に係るロボットコントローラ１は、作業者が意図する流れにより目的タスクが実行されるように動作計画を好適に修正する。

【0134】

以後では、ロボット制御システム１００において、第１実施形態と同様の構成要素については、適宜同一の符号を付し、その説明を省略する。なお、第２実施形態におけるロボット制御システム１００の構成は、図１に示される構成と同一である。

【0135】

図１１は、第２実施形態におけるロボットコントローラ１Ａの機能ブロックの一例である。ロボットコントローラ１Ａは、図２（Ａ）に示されるハードウェア構成を有し、ロボットコントローラ１Ａのプロセッサ１１は、機能的には、認識結果取得部１４Ａと、表示制御部１５Ａと、修正受付部１６Ａと、動作計画部１７Ａと、ロボット制御部１８Ａとを有する。

【0136】

認識結果取得部１４Ａは、第１実施形態と同様、第１認識結果Ｉｍ１の生成、及び認識修正情報Ｉａに基づく第２認識結果Ｉｍ２の生成を行う。

【0137】

表示制御部１５Ａは、第１実施形態において表示制御部１５が実行する処理に加えて、動作計画部１７Ａが決定した動作計画から特定される軌道情報を動作計画部１７Ａから取得し、軌道情報に関する指示装置２の表示制御を行う。この場合、表示制御部１５Ａは、動作シーケンスＳｒが示すタイムステップごとの対象物等の軌道に関する軌道情報を指示装置２が表示するための表示制御信号Ｓ２を生成し、表示制御信号Ｓ２を指示装置２に供給する。この場合、表示制御部１５Ａは、対象物の軌道に加えて、ロボット５の軌道を表す軌道情報を表示してもよい。ここで、表示制御部１５Ａは、軌道情報として、１タイムステップ数ごとの対象物等の状態遷移を表す情報を表示してもよく、所定タイムステップ数ごとの対象物等の状態遷移を表す情報を表示してもよい。

【0138】

修正受付部１６Ａは、第１実施形態において修正受付部１６が実行する認識修正情報Ｉａの生成処理に加えて、指示装置２を使用する作業者の操作による軌道情報の修正を受け付ける。そして、修正受付部１６Ａは、修正に関する操作が完了した場合、対象物等の軌道に関する修正内容を示した軌道修正情報「Ｉｂ」を生成し、軌道修正情報Ｉｂを動作計画部１７Ａへ供給する。なお、修正受付部１６Ａは、修正に関する入力がなかった場合、修正がない旨の軌道修正情報Ｉｂを動作計画部１７Ａへ供給する。

【0139】

動作計画部１７Ａは、第１実施形態において動作計画部１７が実行する動作シーケンスＳｒの生成処理に加えて、修正受付部１６Ａから供給された軌道修正情報Ｉｂを反映した動作シーケンスＳｒ（「第２動作シーケンスＳｒｂ」とも呼ぶ。）を生成する。これにより、動作計画部１７Ａは、修正により指定された対象物の状態等が実現されるように当初の動作計画を修正した新たな動作計画を策定する。そして、動作計画部１７Ａは、生成した第２動作シーケンスＳｒｂをロボット制御部１８に供給する。以後では、便宜上、軌道修正情報Ｉｂを反映前の動作シーケンスＳｒを「第１動作シーケンスＳｒ」とも呼ぶ。また、第１動作シーケンスＳｒに基づく動作計画を「第１動作計画」、第２動作シーケンスＳｒｂに基づく動作計画を「第２動作計画」と呼ぶ。第２動作シーケンスＳｒｂは、第１動作計画の修正が不要である旨の軌道修正情報Ｉｂが生成された場合には、第１動作シーケンスＳｒと同一となる。

【0140】

なお、動作計画部１７Ａは、軌道修正情報Ｉｂを反映した第２動作シーケンスＳｒｂが制約条件を満たすか否か判定し、制約条件情報Ｉ２が示す制約条件を満たす場合に限り、生成した第２動作シーケンスＳｒｂをロボット制御部１８に供給してもよい。これにより、制約条件を満たす動作計画のみを好適にロボット５に実行させることができる。なお、動作計画部１７Ａは、第２動作シーケンスＳｒｂが制約条件を満たさないと判定した場合、表示制御部１５Ａ及び動作計画部１７Ａに再修正を受け付ける処理の実行を指示する。

【0141】

ロボット制御部１８Ａは、動作計画部１７Ａから供給される第２動作シーケンスＳｒｂに基づき、インターフェース１３を介して制御信号Ｓ３をロボット５に供給することで、ロボット５の動作を制御する。

【0142】

ここで、軌道情報の生成について補足説明する。動作計画部１７Ａは、第１動作シーケンスＳｒの生成後、表示制御部１５Ａによる表示制御に必要な対象物（及びロボット５）の軌道情報を表示制御部１５Ａに供給する。この場合、第１動作計画の策定において実行した式（２）に基づく最適化処理により、タイムステップごとのロボット５（詳しくはロボットハンド）及び対象物の位置（姿勢）ベクトル（式（１）参照）が求まっている。よって、動作計画部１７Ａは、これらの位置（姿勢）ベクトルを、軌道情報として表示制御部１５Ａに供給する。ここで、動作計画部１７Ａが表示制御部１５Ａに供給する軌道情報には、ロボットハンドが対象物を掴む（及び離す）タイミングに関する情報（即ち式（１）のδ_ｊ,ｉにより特定される情報）、掴む（及び離す）方向、及び掴む（及び離す）際のロボットハンドの姿勢に関する情報が含まれてもよい。なお、対象物を掴む（及び離す）方向については、例えば、ロボットハンドの位置ベクトルの軌跡及び掴む（及び離す）タイミングに基づき特定されてもよい。

【0143】

なお、図１１に示す機能ブロックでは、第１実施形態の処理を行うことが前提となっているが、これに限らず、ロボットコントローラ１Ａは、第１認識結果Ｉｍ１の修正に関する処理（修正受付部１６Ａによる認識修正情報Ｉａの生成、認識結果取得部１４Ａによる第２認識結果Ｉｍ２の生成、表示制御部１５による第１認識結果Ｉｍ１に関する表示制御等）を実行しなくともよい。

【0144】

次に、第２実施形態における対象物等の軌道情報の表示及び修正に関する処理の具体例（第１具体例、第２具体例）について説明する。

【0145】

図１２は、第１具体例における軌道情報を表した図である。第１具体例は、対象物８５を箱８６に載置するという目的タスクに関する具体例であり、ロボットコントローラ１Ａは、動作計画部１７Ａが決定した第１動作計画により特定されるロボット５のロボットハンド５３及び対象物８５の軌道を概略的に表示している。

【0146】

図１２において、位置「Ｐ１」～「Ｐ９」は、第１動作計画に基づく所定タイムステップ数ごとのロボットハンド５３の位置を示しており、軌跡線８７は、第１動作計画に基づくロボットハンド５３の軌跡（経路）を示している。また、仮想オブジェクト「８５Ｖａ」～「８５Ｖｅ」は、第１動作計画に基づく所定タイムステップ数ごとの対象物８５の位置及び姿勢を表した仮想オブジェクトを示す。また、矢印「Ａｗ１」は、第１動作計画に基づきロボットハンド５３が把持状態に切り替わる際の対象物８５を掴む方向を示し、矢印「Ａｗ２」は、第１動作計画に基づきロボットハンド５３が非把持状態に切り替わる際の対象物８５から離れる方向を示す。また、仮想ロボットハンド「５３Ｖａ」～「５３Ｖｈ」は、第１動作計画に基づきロボットハンド５３が把持状態と非把持状態との間で切り替わる直前及び直後のロボットハンド５３の姿勢を表す仮想オブジェクトである。なお、動作計画部１７Ａが策定する第１動作計画において、ロボット５のエンドエフェクタであるロボットハンド５３の軌道をロボット５の軌道として生成していることから、ここではロボットハンド５３の軌道がロボット５の軌道として示されている。

【0147】

表示制御部１５Ａは、動作計画部１７Ａから受信する軌道情報に基づき、ロボットハンド５３に関する軌道を表す位置Ｐ１～Ｐ９、軌跡線８７、矢印Ａｗ１、Ａｗ２と、把持状態と非把持状態との間で切り替わる直前及び直後でのロボットハンド５３の姿勢を示す仮想ロボットハンド５３Ｖａ～５３Ｖｈと、対象物８５の軌道を表す仮想オブジェクト８５Ｖａ～８５Ｖｅとを、指示装置２に表示させる。これにより、表示制御部１５Ａは、策定された第１動作計画の概要を好適に作業者に把握させることができる。なお、第１動作計画においてロボット５の各関節の軌道が求められている場合には、表示制御部１５Ａは、ロボットハンド５３の軌道に加えて、ロボット５の各関節の軌道についても表示してもよい。

【0148】

そして、修正受付部１６Ａは、図１２に示される第１動作計画に基づく各要素の修正を受け付ける。この場合の修正対象は、ロボットハンド５３又は対象物８５の任意のタイムステップでの状態（仮想ロボットハンド５３Ｖａ～５３Ｖｈにより特定されるロボットハンド５３の姿勢を含む）であってもよく、把持・非把持の各タイミング等であってもよい。

【0149】

ここで、図１２に示す第１動作計画では、ロボットハンド５３が対象物８５の取っ手部分を把持したまま箱８６に収容しようとしており、ロボットハンド５３が箱８６に当接する等に起因して箱８６に正しく対象物８５を収容できずにタスクが失敗に終わる可能性がある。以上を勘案し、作業者は、対象物８５を箱８６付近までロボットハンド５３により対象物８５の取っ手を掴んだ状態で運んだ後、対象物８５の上部を掴むように対象物８５を持ち替える動作を追加する修正を生成する操作を指示装置２により行う。そして、修正受付部１６Ａは、上述の操作により生成される入力信号Ｓ１に基づき軌道修正情報Ｉｂを生成し、生成した動作計画部１７Ａへ供給する。そして、動作計画部１７Ａは、軌道修正情報Ｉｂを反映した第２動作シーケンスＳｒｂを生成し、表示制御部１５Ａは、第２動作シーケンスＳｒｂにより特定される軌道情報を再び指示装置２に表示させる。

【0150】

図１３は、第１具体例においてロボットハンド５３及び対象物８５の軌道等を修正する入力に基づき修正されたロボットハンド５３及び対象物８５の修正済みの軌道情報を概略的に示した図である。

【0151】

図１３において、位置「Ｐ１１」～「Ｐ２０」は、修正された第２動作計画に基づく所定タイムステップ数ごとのロボットハンド５３の位置を示しており、軌跡線８８は、修正された第２動作計画に基づくロボットハンド５３の軌跡（経路）を示している。また、仮想オブジェクト「８５Ｖｆ」～「８５Ｖｊ」は、第２動作計画に基づく所定タイムステップ数ごとの対象物８５の位置及び姿勢を表した仮想オブジェクトを示す。また、矢印「Ａｗ１１」、「Ａｗ１３」は、第２動作計画に基づきロボットハンド５３が非把持状態から把持状態に切り替わる際に対象物８５を掴む方向を示し、矢印「Ａｗ１２」、「Ａｗ１４」は、第２動作計画に基づきロボットハンド５３が把持状態から非把持状態に切り替わる際に対象物８５から離れる方向を示す。また、仮想ロボットハンド「５３Ｖｊ」～「５３Ｖｍ」は、第２動作計画に基づきロボットハンド５３が把持状態と非把持状態との間で切り替わる直前のロボットハンド５３の姿勢を表す仮想オブジェクトである。なお、図１３の例に代えて、修正受付部１６Ａは、第２動作計画に基づきロボットハンド５３が把持状態と非把持状態との間で切り替わる直後のロボットハンド５３の姿勢を表す仮想オブジェクトについても、図１２と同様に表示してもよい。

【0152】

図１３の例では、修正受付部１６Ａは、作業者の操作に基づき、図１２の位置Ｐ６又は位置Ｐ７に対応するタイムステップにおいて、対象物８５を水平面に置く動作及び対象物８５の上部を掴む動作の追加（即ち対象物８５を持ち替える動作の追加）を示す軌道修正情報Ｉｂを生成する。対象物８５を水平面に置く動作は、位置Ｐ１６、仮想オブジェクト８５Ｖｇ、仮想ロボットハンド５３Ｖｋ及び矢印Ａｗ１２に関する動作であり、対象物８５の上部を掴む動作は、位置Ｐ１７、仮想ロボットハンド５３Ｖｌ及び矢印Ａｗ１３に関する動作である。また、軌道修正情報Ｉｂには、これらの動作の変更に付随して修正される対象物８５を箱８６に置く動作の修正に関する情報も含まれる。例えば、対象物８５を箱８６に置く動作に関し、図１２に示される仮想ロボットハンド５３Ｖｇ、５３Ｖｈにより特定されるロボットハンド５３の姿勢と異なる姿勢を示す仮想ロボットハンド５３Ｖｍが図１３において表示されている。そして、動作計画部１７Ａは、この軌道修正情報Ｉｂに基づき、図１３に示される第２動作計画を決定する。

【0153】

ここで、第２動作計画の決定方法について補足説明する。第１の例では、動作計画部１７Ａは、軌道修正情報Ｉｂに示される修正内容を追加の制約条件として認識する。そして、動作計画部１７Ａは、追加の制約条件と、制約条件情報Ｉ２が示す既存の制約条件とに基づき、式（２）に示される最適化処理を再び実行することで、タイムステップごとのロボットハンド５３及び対象物８５の状態を算出する。そして、表示制御部１５は、上述の算出結果に基づく軌道情報を指示装置２に再び表示させる。また、動作計画部１７Ａは、再表示させたロボットハンド５３及び対象物８５の軌道を承認する旨の入力信号Ｓ１等を受信した場合には、上述の算出結果に基づく第２動作シーケンスＳｒｂを、ロボット制御部１８Ａに供給する。

【0154】

第２動作計画の生成の第２の例では、修正後のロボットハンド５３及び対象物８５の軌道が指示装置２での操作に基づき指定された場合、修正受付部１６Ａは、修正後のロボットハンド５３及び対象物８５の軌道情報を含む軌道修正情報Ｉｂを動作計画部１７Ａに供給する。そして、動作計画部１７Ａは、この場合、軌道修正情報Ｉｂにより特定される修正後のロボットハンド５３及び対象物８５の軌道情報が既存の制約条件（即ち、制約条件情報Ｉ２が示す制約条件）を満たすか判定し、満たす場合に、当該軌道情報に基づく第２動作シーケンスＳｒｂを生成し、当該第２動作シーケンスＳｒｂを、ロボット制御部１８Ａに供給する。

【0155】

これらの第１の例及び第２の例によれば、動作計画部１７Ａは、修正により指定された物体の状態が実現されるように第１動作計画を修正した第２動作計画を好適に策定することができる。

【0156】

なお、図１３に示す修正態様は一例であり、ロボットコントローラ１Ａは、ロボットハンド５３及び対象物８５の軌道に関する種々の修正を受け付けてもよい。例えば、ロボットコントローラ１Ａは、把持状態での対象物８５の姿勢の修正として、途中で縦の状態から斜め４５度に傾ける修正、箱８６に対象物８５を入れやすいように箱８６の近傍に到達したときに対象物８５の向きを変える修正等を受け付けてもよい。

【0157】

このように、第２実施形態に係るロボットコントローラ１Ａは、対象物の位置及び姿勢等の状態の修正、対象物を掴むポイントの修正等を好適に受け付け、これらの修正を反映した第２動作計画を決定することができる。

【0158】

図１４（Ａ）は、第２具体例における修正前の軌道情報を第１の視点により表した図であり、図１４（Ｂ）は、第２具体例における修正前の軌道情報を第２の視点により表した図である。ここで、第２具体例は、対象物９３を、第１障害物９１及び第２障害物９２の裏の作業テーブル７９上の位置に移動させるという目的タスクに関する具体例であり、ロボットコントローラ１Ａは、動作計画部１７Ａが決定した第１動作計画により特定される対象物９３の軌道を表示する。仮想オブジェクト９３Ｖａ～９３Ｖｄは、第１動作計画に基づく所定タイムステップ数ごとの対象物８５の位置及び姿勢を表した仮想オブジェクトを示す。なお、仮想オブジェクト９３Ｖｄは、目的タスク達成時の対象物９３（即ち目的位置に存在する対象物９３）の位置及び姿勢を表している。

【0159】

図１４（Ａ）及び図１４（Ｂ）に示されるように、第１動作計画では、第１障害物９１と第２障害物９２との間のスペースを対象物９３が通るように対象物９３の軌道が設定されている。一方、このような軌道の場合には、図示しないロボット５のロボットハンドが第１障害物９１又は第２障害物９２に接触する可能性があり、作業者は、対象物９３の軌道を修正する必要があると判断する。

【0160】

図１５（Ａ）は、第２具体例における軌道情報の修正に関する操作の概要を第１の視点により表した図であり、図１５（Ｂ）は、第２具体例における軌道情報の修正に関する操作の概要を第２の視点により表した図である。この場合、作業者は、第１障害物９１と第２障害物９２との間のスペースを対象物９３が通らずに第２障害物９２の横を通過するように対象物９３の軌道を修正するための操作を指示装置２に対して行っている。具体的には、作業者は、第１障害物９１と第２障害物９２の間に存在する仮想オブジェクト９３Ｖｂを、第２障害物９２の横の位置に配置する操作をドラッグアンドドロップ操作等により行う。そして、表示制御部１５Ａは、上述の操作により生成された入力信号Ｓ１に基づき、第２障害物９２の横に位置する仮想オブジェクト９３Ｖｙを新たに生成・表示している。この場合、作業者は、対象物９３の位置に加えて、対象物９３が所望の姿勢となるように仮想オブジェクト９３Ｖｙの姿勢を調整する。

【0161】

そして、修正受付部１６Ａは、仮想オブジェクト９３Ｖｙの位置及び姿勢に関する情報を含む軌道修正情報Ｉｂを動作計画部１７Ａに供給する。この場合、動作計画部１７Ａは、例えば、軌道修正情報Ｉｂに基づき、仮想オブジェクト９３Ｖｙの状態に対象物９３が遷移することを追加の制約条件として認識する。そして、動作計画部１７Ａは、追加の制約条件に基づき、式（２）に示される最適化処理を行い、修正後の対象物９３の軌道（及びロボット５の軌道）等を決定する。なお、変更前の仮想オブジェクト９３Ｖｂに対応する動作予定時刻（即ちタイムステップの）に関する情報が軌道修正情報Ｉｂに含まれている場合には、動作計画部１７Ａは、上述の動作予定時刻において仮想オブジェクト９３Ｖｙの状態に対象物９３が遷移することを、上述の追加の制約条件として設定してもよい。

【0162】

図１６（Ａ）は、第２具体例における第２動作計画に基づく軌道情報を第１の視点により表した図であり、図１６（Ｂ）は、第２具体例における第２動作計画に基づく軌道情報を第２の視点により表した図である。図１６（Ａ）及び図１６（Ｂ）において、仮想オブジェクト９３Ｖｘ～９３Ｖｚは、第２動作計画に基づく所定タイムステップ数ごとの対象物９３の位置及び姿勢を表している。

【0163】

図１６（Ａ）及び図１６（Ｂ）に示されるように、この場合、表示制御部１５Ａは、動作計画部１７Ａが再生成した第２動作計画に基づく軌道情報を用い、修正を反映した対象物９３の遷移を仮想オブジェクト９３Ｖｘ～９３Ｖｚ、９３Ｖｄにより示している。なお、ここでは、仮想オブジェクト９３Ｖｙの状態になることが制約条件（サブゴール）として第２動作計画において考慮されていることにより、第２障害物９２の横を対象物９３が通過するように対象物９３の軌道が適切に修正されている。そして、ロボットコントローラ１Ａは、このように第２動作計画に基づきロボット５を制御することで、適切に目的タスクをロボット５に完了させることができる。

【0164】

図１７は、第２実施形態においてロボットコントローラ１が実行するロボット制御処理の概要を示すフローチャートの一例である。

【0165】

まず、ロボットコントローラ１は、センサ７からセンサ信号Ｓ４を取得する（ステップＳ２１）。そして、ロボットコントローラ１Ａの認識結果取得部１４Ａは、取得したセンサ信号Ｓ４に基づき、作業空間内の物体の状態（位置、姿勢を含む）及び属性等を認識する（ステップＳ２２）。さらに、認識結果取得部１４Ａは、第１実施形態の処理に基づき第１認識結果Ｉｍ１を修正した第２認識結果Ｉｍ２を生成する。なお、第２実施形態において、第１実施形態の処理に基づく第１認識結果Ｉｍ１の修正処理は、必須の処理ではない。

【0166】

そして、動作計画部１７Ａは、第１動作計画を決定する（ステップＳ２３）。そして、表示制御部１５Ａは、動作計画部１７Ａが決定した第１動作計画に基づく軌道情報を取得し、軌道情報を指示装置２に表示させる（ステップＳ２４）。この場合、表示制御部１５Ａは、少なくとも対象物に関する軌道情報を、指示装置２に表示させる。

【0167】

そして、修正受付部１６Ａは、軌道情報の修正の要否を判定する（ステップＳ２５）。この場合、修正受付部１６Ａは、例えば、軌道情報の修正要否を指定する入力を受け付け、受け付けた入力に基づき修正要否を判定する。

【0168】

そして、修正受付部１６Ａは、軌道情報の修正が必要であると判定した場合（ステップＳ２５；Ｙｅｓ）、軌道情報に関する修正を受け付ける（ステップＳ２６）。この場合、修正受付部１６Ａは、指示装置２が備える任意のユーザインタフェースとなる入力部２４ａを用いた任意の操作方法に基づく修正を受け付ける。そして、動作計画部１７Ａは、修正受付部１６Ａが生成する軌道修正情報Ｉｂに基づき、受け付けた修正を反映した第２動作計画を決定する（ステップＳ２７）。そして、動作計画部１７Ａは、決定した第２動作計画が制約条件を満たすか否か判定する（ステップＳ２８）。そして、動作計画部１７Ａは、第２動作計画が制約条件を満たす場合（ステップＳ２８；Ｙｅｓ）、ステップＳ２９へ処理を進める。一方、第２動作計画が制約条件を満たさない場合（ステップＳ２８；Ｎｏ）、修正受付部１６Ａは、前回の修正は無効であるとみなし、軌道情報に関する修正をステップＳ２６において再び受け付ける。なお、ステップＳ２７において追加の制約条件を満たすように第２動作計画が動作計画部１７Ａにより決定されている場合には、第２動作計画はステップＳ２８において制約条件を満たすとみなされる。

【0169】

そして、軌道情報の修正が必要でなかった場合（ステップＳ２５；Ｎｏ）、又は、ステップＳ２８において制約条件を満たすと判定された場合（ステップＳ２８；Ｙｅｓ）、ロボット制御部１８Ａは、動作計画部１７Ａが決定した第２動作計画に基づく第２動作シーケンスＳｒｂに基づき、ロボット制御を行う（ステップＳ２９）。この場合、ロボット制御部１８Ａは、第２動作シーケンスＳｒｂに基づき生成した制御信号Ｓ３をロボット５へ順次供給し、生成された第２動作シーケンスＳｒｂに従いロボット５が動作するように制御する。なお、ロボットコントローラ１Ａは、軌道情報の修正が必要でなかった場合には、第１動作計画を第２動作計画とみなしてステップＳ１８の処理を実行する。

【0170】

なお、第２実施形態において、ロボットコントローラ１Ａは、拡張現実により軌道情報を表示する代わりに、作業空間を模式的に表したＣＧ（computer graphics）画像等に軌道情報を重ねて指示装置２に表示させ、対象物又はロボット５の軌道に関する種々の修正を受け付けてもよい。この態様においても、ロボットコントローラ１Ａは、作業者による軌道情報の修正を好適に受け付けることができる。

【0171】

＜第３実施形態＞
図１８は、第３実施形態における制御装置１Ｘの概略構成図を示す。制御装置１Ｘは、主に、認識結果取得手段１４Ｘと、表示制御手段１５Ｘと、修正受付手段１６Ｘとを有する。なお、制御装置１Ｘは、複数の装置から構成されてもよい。制御装置１Ｘは、例えば、第１実施形態におけるロボットコントローラ１又は第２実施形態におけるロボットコントローラ１Ａとすることができる。

【0172】

認識結果取得手段１４Ｘは、ロボットが実行するタスクに関する物体の認識結果を取得する。「タスクに関する物体」は、ロボットが実行するタスクに関連する任意の物体を指し、ロボットによる把持や加工などが行われる対象物（ワーク）、他作業体、ロボットなどが該当する。認識結果取得手段１４Ｘは、タスクが実行される環境をセンシングするセンサが生成する情報に基づき物体の認識結果を生成することで取得してもよく、認識結果を生成する外部装置から物体の認識結果を受信することで取得してもよい。前者の認識結果取得手段１４Ｘは、例えば、第１実施形態における認識結果取得部１４又は第２実施形態における認識結果取得部１４Ａとすることができる。

【0173】

表示制御手段１５Ｘは、認識結果を表す情報を、現実の風景又は風景の画像と重なって視認されるように表示する。「風景」は、ここではタスクが実行される作業空間が該当する。なお、表示制御手段１５Ｘは、自ら表示を行う表示デバイスであってもよく、外部の表示装置に表示信号を送信することで表示を実行させるものであってもよい。表示制御手段１５Ｘは、例えば、第１実施形態における表示制御部１５又は第２実施形態における表示制御部１５Ａとすることができる。

【0174】

修正受付手段１６Ｘは、外部入力に基づく認識結果の修正を受け付ける。修正受付手段１６Ｘは、例えば、第１実施形態における修正受付部１６又は第２実施形態における修正受付部１６Ａとすることができる。

【0175】

図１９は、第３実施形態におけるフローチャートの一例である。認識結果取得手段１４Ｘは、ロボットが実行するタスクに関する物体の認識結果を取得する（ステップＳ３１）。表示制御手段１５Ｘは、認識結果を表す情報を、現実の風景又は風景の画像と重なって視認されるように表示する（ステップＳ３２）。修正受付手段１６Ｘは、外部入力に基づく認識結果の修正を受け付ける（ステップＳ３３）。

【0176】

第３実施形態によれば、制御装置１Ｘは、ロボットが実行するタスクに関する物体の認識結果の修正を好適に受け付け、当該修正に基づく正確な認識結果を取得することができる。

【0177】

＜第４実施形態＞
図２０は、第４実施形態における制御装置１Ｙの概略構成図を示す。制御装置１Ｙは、主に、動作計画手段１７Ｙと、表示制御手段１５Ｙと、修正受付手段１６Ｙとを有する。なお、制御装置１Ｙは、複数の装置から構成されてもよい。制御装置１Ｘは、例えば、第１実施形態におけるロボットコントローラ１とすることができる。

【0178】

動作計画手段１７Ｙは、物体を用いたタスクを実行するロボットの第１動作計画を決定する。また、動作計画手段１７Ｙは、後述する修正受付手段１６Ｙが受け付けた修正に基づき、ロボットの第２動作計画を決定する。動作計画手段１７Ｙは、例えば、第２実施形態における動作計画部１７Ａとすることができる。

【0179】

表示制御手段１５Ｙは、第１動作計画に基づく物体の軌道に関する軌道情報を表示する。なお、表示制御手段１５Ｙは、自ら表示を行う表示デバイスであってもよく、外部の表示装置に表示信号を送信することで表示を実行させるものであってもよい。表示制御手段１５Ｙは、例えば、第２実施形態における表示制御部１５Ａとすることができる。

【0180】

修正受付手段１６Ｙは、外部入力に基づく軌道情報に関する修正を受け付ける。修正受付手段１６Ｙは、例えば、第２実施形態における修正受付部１６Ａとすることができる。

【0181】

図２１は、第４実施形態におけるフローチャートの一例である。動作計画手段１７Ｙは、物体を用いたタスクを実行するロボットの動作計画を決定する（ステップＳ４１）。表示制御手段１５Ｙは、動作計画に基づく物体の軌道に関する軌道情報を表示する（ステップＳ４２）。修正受付手段１６Ｙは、外部入力に基づく軌道情報に関する修正を受け付ける（ステップＳ４３）。そして、動作計画手段１７Ｙは、修正受付手段１６Ｙが受け付けた修正に基づき、ロボットの第２動作計画を決定する（ステップＳ４４）。

【0182】

第４実施形態によれば、制御装置１Ｘは、決定したロボットの動作計画に基づく物体の軌道に関する軌道情報を表示し、その修正を好適に受け付けて動作計画に反映させることができる。

【0183】

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Non-Transitory Computer Readable Medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（Tangible Storage Medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Transitory Computer Readable Medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0184】

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

【0185】

［付記１］
ロボットが実行するタスクに関する物体の認識結果を取得する認識結果取得手段と、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示する表示制御手段と、
外部入力に基づく前記認識結果の修正を受け付ける修正受付手段と、
を有する制御装置。
［付記２］
前記表示制御手段は、前記認識結果に基づき前記物体を模したオブジェクトを、前記風景又は前記画像における当該物体に重ねて視認されるように表示する、付記１に記載の制御装置。
［付記３］
前記修正受付手段は、前記オブジェクトの位置又は姿勢の少なくとも一方を変更する前記外部入力に基づき、前記物体の位置又は姿勢の少なくとも一方に関する前記修正を受け付ける、付記２に記載の制御装置。
［付記４］
前記修正受付手段は、前記オブジェクトの削除を指示する前記外部入力に基づき、当該オブジェクトに対応する物体の認識結果の削除を示す前記修正を受け付ける、付記２または２に記載の制御装置。
［付記５］
前記修正受付手段は、前記オブジェクトの追加を指示する前記外部入力に基づき、当該オブジェクトに対応する物体の認識結果の追加を示す前記修正を受け付ける、付記２～４のいずれか一項に記載の制御装置。
［付記６］
前記表示制御手段は、前記認識結果に含まれる前記物体の属性に関する情報を、前記風景又は前記画像における当該物体と対応付けて表示し、
前記修正受付手段は、前記属性の変更を指示する前記外部入力に基づき、前記属性に関する前記修正を受け付ける、付記１または２に記載の制御装置。
［付記７］
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記修正受付手段は、前記自信度に基づき、前記修正の要否を判定する、付記１～６のいずれか一項に記載の制御装置。
［付記８］
前記認識結果には、前記物体の認識の正しさに関する自信の度合いを表す自信度が含まれ、
前記表示制御手段は、前記自信度に基づき、前記認識結果が表す情報の表示態様を決定する、付記１～７のいずれか一項に記載の制御装置。
［付記９］
前記表示制御手段は、前記自信度が閾値未満となる前記認識結果が表す情報を強調表示する、付記８に記載の制御装置。
［付記１０］
前記認識結果に対して前記修正を反映した第２認識結果に基づき、前記ロボットの動作計画を決定する動作計画手段をさらに有する、付記１～９のいずれか一項に記載の制御装置。
［付記１１］
前記動作計画手段は、
前記第２認識結果に基づき、前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを生成するサブタスクシーケンス生成手段と、
を有する、付記１０に記載の制御装置。
［付記１２］
コンピュータが、
ロボットが実行するタスクに関する物体の認識結果を取得し、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示し、
外部入力に基づく前記認識結果の修正を受け付ける、
制御方法。
［付記１３］
ロボットが実行するタスクに関する物体の認識結果を取得し、
前記認識結果を表す情報を、現実の風景又は前記風景の画像と重なって視認されるように表示し、
外部入力に基づく前記認識結果の修正を受け付ける処理をコンピュータに実行させるプログラムが格納された記憶媒体。

【0186】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0187】

１、１Ａ ロボットコントローラ
１Ｘ、１Ｙ 制御装置
２ 指示装置
４ 記憶装置
５ ロボット
７ センサ
４１ アプリケーション情報記憶部
１００ ロボット制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】