特開 2024-31218 ロボット制御システム、ロボット制御方法、およびロボット制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031218

(43)【公開日】2024-03-07

(54)【発明の名称】ロボット制御システム、ロボット制御方法、およびロボット制御プログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240229BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022134639

(22)【出願日】2022-08-26

(71)【出願人】

【識別番号】000006622

【氏名又は名称】株式会社安川電機

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100145012

【弁理士】

【氏名又は名称】石坂 泰紀

(74)【代理人】

【識別番号】100171099

【弁理士】

【氏名又は名称】松尾 茂樹

(74)【代理人】

【識別番号】100144440

【弁理士】

【氏名又は名称】保坂 一之

(72)【発明者】

【氏名】橘▲高▼ 達也

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS12

3C707JS07

3C707JU02

3C707KS39

3C707LS15

3C707LV14

3C707WL06

3C707WL07

(57)【要約】

【課題】ロボットにタスクを簡単に教示すること。
【解決手段】ロボット制御システムは、ロボットがタスクを実行中に、ユーザへの問合せを実行する問合せ部と、問合せに対するユーザのアクションを、センサを用いて特定する特定部と、特定されたアクションに基づいてタスクの少なくとも一部を補完する補完部と、補完されたタスクをロボットが実行するようにロボットを制御するロボット制御部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットがタスクを実行中に、ユーザへの問合せを実行する問合せ部と、
前記問合せに対する前記ユーザのアクションを、センサを用いて特定する特定部と、
前記特定されたアクションに基づいて前記タスクの少なくとも一部を補完する補完部と、
前記補完されたタスクを前記ロボットが実行するように前記ロボットを制御するロボット制御部と、
を備えるロボット制御システム。

【請求項2】

前記センサはカメラであり、
前記特定部は、
前記アクションに関して予め設定された認識対象を、前記カメラによって撮影された画像から抽出し、
前記抽出された認識対象に基づいて前記アクションを特定する、
請求項１に記載のロボット制御システム。

【請求項3】

前記特定部は、
前記ユーザが前記アクションの前に行った先行アクションに応じて前記カメラを移動し、
前記認識対象を、前記移動したカメラによって撮影された前記画像から抽出する、
請求項２に記載のロボット制御システム。

【請求項4】

前記カメラは前記ロボットに搭載され、
前記先行アクションは、前記ユーザにより発せられた音を含み、
前記特定部は、前記音が発せられた方向に前記カメラを向ける、
請求項３に記載のロボット制御システム。

【請求項5】

前記カメラは前記ロボットに搭載され、
前記特定部は、
前記認識対象に向けて前記カメラを近づけるように前記ロボットを動作させ、
前記認識対象に近づいたカメラによって撮像された画像から前記認識対象を抽出する、
請求項３に記載のロボット制御システム。

【請求項6】

前記特定部は、前記認識対象が前記カメラの被写範囲の中央に位置するように前記ロボットを動作させる、
請求項５に記載のロボット制御システム。

【請求項7】

前記認識対象は前記ユーザの手であり、
前記特定部は、前記画像から抽出された前記手の形状を前記アクションとして特定する、
請求項２～６のいずれか一項に記載のロボット制御システム。

【請求項8】

前記補完部は、前記手の形状に基づいて、前記ロボットによって実行される前記タスクの目標位置を、前記タスクの少なくとも一部として補完する、
請求項７に記載のロボット制御システム。

【請求項9】

前記特定部は、
前記手の第１形状を第１画像から抽出して、該第１形状を前記アクションとして特定し、
前記特定されたアクションを確定させるか否かの追加問合せを前記ユーザに対して実行し、
前記追加問合せに対する前記手の第２形状を第２画像から抽出して、前記特定されたアクションを確定し、
前記補完部は、前記確定されたアクションに基づいて前記タスクの前記少なくとも一部を補完する、
請求項７に記載のロボット制御システム。

【請求項10】

前記補完されたタスクの少なくとも一部をタスクパーツとして記憶する記憶部を更に備え、
前記補完部は、前記特定されたアクションが、予め設定された手形状に対応する場合に、前記タスクパーツを前記記憶部から取得し、
前記ロボット制御部は、前記タスクパーツを含むタスクを前記ロボットが実行するように、前記ロボットを制御する、
請求項７に記載のロボット制御システム。

【請求項11】

前記特定部は、
前記ユーザによって提示された参照オブジェクトを前記画像から抽出し、
前記参照オブジェクトの特徴量を前記アクションとして特定し、
前記補完部は、前記特徴量に基づいて、前記ロボットによって処理されるワークを前記タスクの少なくとも一部として補完する、
請求項２～６のいずれか一項に記載のロボット制御システム。

【請求項12】

前記タスクを定義する定義部を更に備え、
前記問合せ部は、前記タスクを示すドキュメントを前記ユーザに問い合わせ、
前記定義部は、前記ユーザによって提示された前記ドキュメントに基づいて前記タスクを定義し、
前記補完部は、前記特定されたアクションに基づいて、前記定義されたタスクの少なくとも一部を補完する、
請求項１～６のいずれか一項に記載のロボット制御システム。

【請求項13】

前記ドキュメントは、前記タスクに関する構文および変数を含み、
前記定義部は、前記構文に基づいて前記タスクを定義し、
前記問合せ部は、前記変数に関して前記ユーザへの前記問合せを実行し、
前記特定部は、前記問合せに対する前記ユーザの前記アクションを特定し、
前記補完部は、前記特定されたアクションに基づいて、前記変数に代入する値を補完する、
請求項１２に記載のロボット制御システム。

【請求項14】

前記問合せ部は、
前記問合せに対応する姿勢である問合せ姿勢を前記ロボットが取るように前記ロボットを動作させ、
前記ロボットが前記問合せ姿勢を取った後に、前記問合せを実行する、
請求項１～６のいずれか一項に記載のロボット制御システム。

【請求項15】

ロボットによって実行されるタスクを示すドキュメントをユーザに問い合わせる問合せ部と、
前記ユーザによって提示された前記ドキュメントを、カメラによって撮影された画像から特定する特定部と、
前記特定されたドキュメントに基づいて前記タスクを定義する定義部と、
前記定義されたタスクを前記ロボットが実行するように前記ロボットを制御するロボット制御部と、
を備えるロボット制御システム。

【請求項16】

少なくとも一つのプロセッサを備えるロボット制御システムによって実行されるロボット制御方法であって、
ロボットがタスクを実行中に、ユーザへの問合せを実行するステップと、
前記問合せに対する前記ユーザのアクションを、センサを用いて特定するステップと、
前記特定されたアクションに基づいて前記タスクの少なくとも一部を補完するステップと、
前記補完されたタスクを前記ロボットが実行するように前記ロボットを制御するステップと、
を含むロボット制御方法。

【請求項17】

ロボットがタスクを実行中に、ユーザへの問合せを実行するステップと、
前記問合せに対する前記ユーザのアクションを、センサを用いて特定するステップと、
前記特定されたアクションに基づいて前記タスクの少なくとも一部を補完するステップと、
前記補完されたタスクを前記ロボットが実行するように前記ロボットを制御するステップと、
をコンピュータに実行させるロボット制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の一側面は、ロボット制御システム、ロボット制御方法、およびロボット制御プログラムに関する。

【背景技術】

【0002】

特許文献１には、ユーザの操作負担の増加を抑制するためのロボット教示システムが記載されている。このシステムは、教示位置を指定するためにユーザにより操作される操作部を含む教示ツールと、教示ツールにより指定された教示位置の位置および姿勢を計測する計測部と、その位置および姿勢に基づいてロボットの教示位置を決定する制御部とを備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５５４９７４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ロボットにタスクを簡単に教示するための仕組みが望まれている。

【課題を解決するための手段】

【0005】

本開示の一側面に係るロボット制御システムは、ロボットがタスクを実行中に、ユーザへの問合せを実行する問合せ部と、問合せに対するユーザのアクションを、センサを用いて特定する特定部と、特定されたアクションに基づいてタスクの少なくとも一部を補完する補完部と、補完されたタスクをロボットが実行するようにロボットを制御するロボット制御部とを備える。

【0006】

本開示の一側面に係るロボット制御方法は、少なくとも一つのプロセッサを備えるロボット制御システムによって実行されるロボット制御方法であって、ロボットがタスクを実行中に、ユーザへの問合せを実行するステップと、問合せに対するユーザのアクションを、センサを用いて特定するステップと、特定されたアクションに基づいてタスクの少なくとも一部を補完するステップと、補完されたタスクをロボットが実行するようにロボットを制御するステップとを含む。

【0007】

本開示の一側面に係るロボット制御プログラムは、ロボットがタスクを実行中に、ユーザへの問合せを実行するステップと、問合せに対するユーザのアクションを、センサを用いて特定するステップと、特定されたアクションに基づいてタスクの少なくとも一部を補完するステップと、補完されたタスクをロボットが実行するようにロボットを制御するステップとをコンピュータに実行させる。

【発明の効果】

【0008】

本開示の一側面によれば、ロボットにタスクを簡単に教示できる。

【図面の簡単な説明】

【0009】

【図1】ロボット制御システムの適用の一例を示す図である。

【図2】ロボット制御システムのために用いられるコンピュータのハードウェア構成の一例を示す図である。

【図3】ロボット制御システムでの処理の一例を示すフローチャートである。

【図4】タスクを定義する処理の一例を示すフローチャートである。

【図5】ワークを補完する処理の一例を示すフローチャートである。

【図6】目標位置を補完する処理の一例を示すフローチャートである。

【図7】ドキュメントの一例を示す図である。

【図8】ドキュメントの特定に関連する場面を示す図である。

【図9】ワークの補完に関連する場面を示す図である。

【図10】目標位置の補完に関連する場面を示す図である。

【図11】目標位置の補完に関連する場面を示す図である。

【図12】目標位置の補完に関連する場面を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

【0011】

［システムの構成］
一例では、本開示に係るロボット制御システムをロボットシステム１の一構成要素として示す。ロボットシステム１は、所与の目的を達成するための動作をロボットに実行させることにより、所与の作業を自動化する仕組みである。

【0012】

図１は、ロボットシステム１の構成の一例を示すと共に、ロボット制御システムの適用の一例も示す図である。この例では、ロボットシステム１は、ロボット制御システム１０と、１以上のロボット２と、１以上のロボット２に対応する１以上のロボットコントローラ３とを備える。図１は一つのロボット２および一つのロボットコントローラ３を示し、一つのロボットコントローラ３に一つのロボット２が接続される構成を示す。別の例として、ロボット制御システム１０はロボット２とロボットコントローラ３との複数のペアに接続してもよい。あるいは、一つのロボットコントローラ３が複数のロボット２と接続してもよい。装置間を接続する通信ネットワークは、有線ネットワークでも無線ネットワークでもよい。通信ネットワークはインターネットおよびイントラネットの少なくとも一方を含んで構成されてもよい。あるいは、通信ネットワークは単純に１本の通信ケーブルによって実現されてもよい。

【0013】

ロボット制御システム１０は、少なくとも一部の状況においてロボット２を自律的に動作させるためのコンピュータシステムである。ロボット制御システム１０は所与の演算を実行して、ロボット２を制御するための指令信号を生成する。一例では、指令信号はロボット２を制御するためのデータを含み、例えば、ロボット２の軌道を示すパスを含む。ロボット２の軌道とは、ロボット２またはその構成要素の動きの経路のことをいう。例えば、ロボット２の軌道は先端部の軌道であり得る。ロボット制御システム１０は生成された指令信号をロボットコントローラ３に向けて送信する。

【0014】

ロボットコントローラ３は、ロボット制御システム１０からの指令信号に従ってロボット２を動作させる装置である。一例では、ロボットコントローラ３は、指令信号で示される目標値に先端部の位置および姿勢を一致させるための関節角度目標値（ロボット２の各関節の角度目標値）を算出し、その角度目標値に従ってロボット２を制御する。

【0015】

ロボット２は、人に代わって作業する装置または機械である。一例では、ロボット２は多軸のシリアルリンク型の垂直多関節ロボットである。ロボット２は、マニピュレータ２ａと、該マニピュレータ２ａの先端に取り付けられたツールであるエンドエフェクタ２ｂとを備える。ロボット２はそのエンドエフェクタ２ｂを用いて様々な処理を実行できる。ロボット２は、所与の範囲内においてエンドエフェクタ２ｂの位置および姿勢を自在に変更し得る。ロボット２は、６軸の垂直多関節ロボットでもよいし、６軸に１軸の冗長軸を追加した７軸の垂直多関節ロボットでもよい。

【0016】

ロボット２はロボット制御システム１０による制御に基づいて動作して所与のタスクを実行する。本開示においてタスクとは、或る目的を達成するためにロボット２に実行させる一連の処理をいう。ロボット２がタスクを実行することで、ロボットシステム１のユーザが望む結果が得られる。例えば、タスクは何らかのワークを処理するために設定される。タスクの例として「ワークを把持してコンベヤ上に置く」、「ワークを掴んでそのワークを別の構造物に取り付ける」、「ワークにスプレーで塗装する」が挙げられる。ワークとはロボット２によって処理される有体物をいう。

【0017】

ロボット制御システム１０はユーザからロボット２へのティーチングを支援する。ティーチングとは、実行すべき作業をロボットに直接にまたは間接的に伝達する作業をいう。ユーザは従来、プログラミングペンダント、キーボード、マウス、専用コントローラなどのユーザインタフェースを介してロボットに対するティーチングを実行する。しかし、その従来手法では、ユーザはティーチングのために、直感的な理解が難しい複雑なコマンドを覚えたり、ユーザインタフェースの複雑な操作方法を習得したりする必要がある。そのため、ユーザがティーチングできるようになるまでに多くの時間が費やされてしまう。加えて、専用のユーザインタフェースを導入するためのコストが生じてしまう。

【0018】

ロボット制御システム１０は、ロボット２へのティーチングをユーザとの対話に基づいて実行する。ロボット制御システム１０は、ロボット２がタスクを実行中にユーザへの問合せを実行する。ロボット２がタスクを実行中であるということは、ロボット２が所定のプログラムに基づいて動作を開始したことを意味する。したがって、ロボット制御システム１０は、ロボット２がオンラインの状態にあるときにユーザへの問合せを実行する。ロボット２がタスクを実行中であることは、ロボット２が待機姿勢を取っている場合を含む。ユーザへの問合せとは、ユーザに指示の入力を求める処理をいう。ロボット制御システム１０は問合せに対するユーザのアクションを、センサを用いて特定する。ロボット制御システム１０はそのアクションに基づいてタスクの一部を補完し、補完されたタスクをロボット２に実行させる。アクションとは、ユーザの行動に起因する表現をいう。例えば、アクションは人の視覚または聴覚を介して知覚可能な表現である。アクションの例として、ジェスチャ、音の発生（例えば、拍手、発声など）、および物体の提示が挙げられる。アクションはユーザからの指示を示す。ロボット制御システム１０は、ロボット２がタスクを実行中にユーザとの対話によってタスクを生成する。一例では、この仕組みによって、ロボット２が存在する現実の作業空間の環境の変化に柔軟に適応しつつ、該ロボット２にワークを処理させることが可能になる。

【0019】

ロボット制御システム１０では、ユーザはティーチングのために、その作業空間においてセンサに向かって所定のアクションを行えば十分である。ユーザはティーチングのためにユーザインタフェースを操作する必要がない。一例では、アクションはユーザの普段の動作に近く、ユーザに特別な技能を要求しない。したがって、ユーザは簡単に所定のアクションを取って、より直感的にロボット２に指示することができる。したがって、ロボット操作に不慣れなユーザもロボット２にタスクを簡単に教示できる。具体性が高く機械中心的である従来のティーチングに対して、ロボット制御システム１０におけるティーチングは抽象的であり人間中心的であるといえる。

【0020】

ユーザのアクションを特定するためのセンサの例として、カメラなどの視覚センサと、マイクロフォンなどの聴覚センサとが挙げられる。一例では、ロボット制御システム１０はセンサとしてカメラ２０およびスピーカフォン３０を用いる。カメラ２０は、エンドエフェクタ２ｂの周辺を撮影する撮像装置である。カメラ２０はマニピュレータ２ａ上に配置されてもよく、例えばマニピュレータ２ａの先端付近に取り付けられてもよい。カメラ２０はロボット２の動作に対応して移動する。この移動は、カメラ２０の位置および姿勢の少なくとも一方の変化を含み得る。ロボット２の動作に対応して移動する限り、カメラ２０はロボット２とは異なる場所に設けられてもよい。スピーカフォン３０はマイクロフォンとスピーカとを一体化した装置である。スピーカフォン３０はロボット２の周囲の音を検知し、ユーザに向けて音声を出力する。スピーカフォン３０は床面に設けられてもよいし、マニピュレータ２ａ上に配置されてもよい。

【0021】

図１はロボット制御システム１０の機能構成の一例も示す。一例では、ロボット制御システム１０は機能的構成要素として問合せ部１１、特定部１２、タスク管理部１３、およびロボット制御部１４を備える。問合せ部１１は、ロボットがタスクを実行中にユーザへの問合せを実行する機能モジュールである。特定部１２は、その問合せに対するユーザのアクションを、センサを用いて特定する機能モジュールである。タスク管理部１３は、そのアクションに基づいてタスクを生成する機能モジュールである。一例では、タスク管理部１３は定義部１５、補完部１６、および記憶部１７を備える。定義部１５はタスクを定義する機能モジュールである。補完部１６は、定義されたタスクを補完して該タスクを生成する機能モジュールである。記憶部１７は、補完されたタスクの少なくとも一部をタスクパーツとして記憶する機能モジュールである。ロボット制御部１４は、生成されたタスクをロボット２が実行するように該ロボット２を制御する機能モジュールである。

【0022】

タスクの定義とは、タスクを構成するロボットの１以上の動作を設定する処理をいう。一例では、タスクの定義は、タスクのすべてではなくタスクの一部を設定する処理である。例えば、定義部１５は、タスクによって処理されるワークと、タスクの目標位置とのうちの少なくとも一方を設定することなく、タスクを定義する。タスクの補完とは、タスクにおける未設定の部分を設定する処理をいう。補完部１６によってタスクが補完されることで、タスクが生成される。例えば、定義部１５は「＜物体Ａ＞を＜場所Ｐ＞に置く」および「物体が見つからなかったら終了する」という２個の指示によって構成されるタスクを定義する。この指示における「～を…に置く」および「物体が見つからなかったら終了する」は、タスクに関する構文である。定義部１５はその構文に基づいてタスクを定義する。一方、その指示における「物体Ａ」および「場所Ｐ」は、未設定の部分として定義が保留された変数に相当する。補完部１６はこれらの未設定の部分を設定する。例えば、補完部１６は「物体Ａ」に「赤い物体」を設定し、「場所Ｐ」に特定の場所を設定する。その場所を便宜的に位置（Ｘａ，Ｙａ）と表すとすると、補完部１６は「＜物体Ａ＞を＜場所Ｐ＞に置く」を最終的に「赤い物体を位置（Ｘａ，Ｙａ）に置く」と補完してタスクを生成する。

【0023】

ロボット制御システム１０は任意の種類のコンピュータによって実現され得る。そのコンピュータは、パーソナルコンピュータ、業務用サーバなどの汎用コンピュータでもよいし、特定の処理を実行する専用装置に組み込まれてもよい。

【0024】

図２は、ロボット制御システム１０のために用いられるコンピュータ１００のハードウェア構成の一例を示す図である。この例では、コンピュータ１００は本体１１０、モニタ１２０、および入力デバイス１３０を備える。

【0025】

本体１１０は回路１６０を有する装置である。回路１６０は、少なくとも一つのプロセッサ１６１と、メモリ１６２と、ストレージ１６３と、入出力ポート１６４と、通信ポート１６５とを有する。ストレージ１６３は、本体１１０の各機能モジュールを構成するためのプログラムを記録する。ストレージ１６３は、ハードディスク、不揮発性の半導体メモリ、磁気ディスク、光ディスクなどの、コンピュータ読み取り可能な記録媒体である。メモリ１６２は、ストレージ１６３からロードされたプログラム、プロセッサ１６１の演算結果などを一時的に記憶する。プロセッサ１６１は、メモリ１６２と協働してプログラムを実行することで各機能モジュールを構成する。入出力ポート１６４は、プロセッサ１６１からの指令に応じて、モニタ１２０または入力デバイス１３０との間で電気信号の入出力を行う。入出力ポート１６４はロボットコントローラ３、カメラ２０、スピーカフォン３０などの他の装置との間で電気信号の入出力を行ってもよい。通信ポート１６５は、プロセッサ１６１からの指令に従って、通信ネットワークＮを介して他の装置との間でデータ通信を行う。

【0026】

モニタ１２０は、本体１１０から出力された情報を表示するための装置である。例えばモニタ１２０は、液晶パネルのような、グラフィック表示が可能な装置である。

【0027】

入力デバイス１３０は、本体１１０に情報を入力するための装置である。入力デバイス１３０の例として、キーパッド、マウス、操作コントローラなどの操作インタフェースが挙げられる。

【0028】

モニタ１２０および入力デバイス１３０はタッチパネルとして一体化されていてもよい。例えばタブレットコンピュータのように、本体１１０、モニタ１２０、および入力デバイス１３０が一体化されていてもよい。

【0029】

ロボット制御システム１０の各機能モジュールは、プロセッサ１６１またはメモリ１６２の上にロボット制御プログラムを読み込ませてプロセッサ１６１にそのプログラムを実行させることで実現される。ロボット制御プログラムは、ロボット制御システム１０の各機能モジュールを実現するためのコードを含む。プロセッサ１６１はロボット制御プログラムに従って入出力ポート１６４および通信ポート１６５を動作させ、メモリ１６２またはストレージ１６３におけるデータの読み出しおよび書き込みを実行する。

【0030】

ロボット制御プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの非一時的な記録媒体に記録された上で提供されてもよい。あるいは、ロボット制御プログラムは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

【0031】

［ロボット制御方法］
本開示に係るロボット制御方法の一例として、図３～図６を参照しながら、ロボット制御システム１０により実行される処理を説明する。図３はその処理の一例を処理フローＳ１として示すフローチャートである。すなわち、ロボット制御システム１０は処理フローＳ１を実行する。図４～図６はいずれも、処理フローＳ１の一部の詳細を示すフローチャートである。図４はタスクを定義する処理の一例を示し、図５はワークを補完する処理の一例を示し、図６は目標位置を補完する処理の一例を示す。

【0032】

ステップＳ１１では、ロボット制御システム１０がドキュメントに基づいてタスクを定義する。ドキュメントとはタスクを定義するための情報の記録をいう。したがって、ドキュメントはタスクを示す。ドキュメントはロボット２への指示書であるともいえる。図４を参照しながらタスクの定義について詳細に説明する。

【0033】

ステップＳ１１１では、問合せ部１１がユーザにドキュメントを問い合わせる。ドキュメントの問合せとは、ユーザにドキュメントの入力を求める処理をいう。一例では、問合せ部１１は、問合せに対応する姿勢である所定の問合せ姿勢をロボット２が取るようにロボット２を動作させる。問合せ部１１は、ロボット２が問合せ姿勢を取ったときに、「指示書を見せてください」というような案内音声をスピーカフォン３０から出力してもよい。一例では、問合せ部１１はロボット２が問合せ姿勢を取った後に問合せを実行する。

【0034】

ステップＳ１１２では、特定部１２が、カメラ２０によって撮影された画像からドキュメントを特定する。ユーザはドキュメントをカメラ２０に向けて提示する。ドキュメントは、ボード、シートなどのような媒体上に記述されてもよいし、表示装置上に電子的に表示されてもよい。ドキュメントの提示は、問合せに対するユーザのアクションの一例である。一例では、特定部１２は画像からドキュメントを特定するために設定された認識対象を予め記憶する。認識対象とは、ユーザのアクションに関して予め設定される情報をいう。特定部１２は画像からその認識対象を抽出し、その認識対象に基づいてドキュメントを特定する。

【0035】

ステップＳ１１３では、定義部１５がドキュメントに基づいてタスクを定義する。定義部１５はドキュメントにより示される構文に従って、タスクを構成するロボット２の１以上の動作を設定する。例えば、定義部１５は、ロボット２の動作速度、タスクの終了条件などのような、ロボット２の動作に関する各種のパラメータまたは条件を設定する。この段階ではタスクは未設定の部分を含む。定義部１５は、タスク開始時点でのロボット２の動作、すなわち、タスクにおけるロボット２の初期動作を設定する。定義部１５は、タスクが定義されたことを示す音声をスピーカフォン３０から出力してもよい。

【0036】

ステップＳ１１４では、ロボット制御部１４が定義されたタスクの実行を開始する。この段階ではタスクの全体は完成していないが、タスクを開始するための動作は設定されている。したがって、ロボット制御部１４はタスクの実行を開始できる。ただし、ロボット２がタスクの全体を実行するためには、ドキュメントにより示される変数に値が代入されてタスクが補完される必要がある。その補完はステップＳ１２以降で実行される。

【0037】

図３に戻って、ステップＳ１２では、ロボット制御システム１０が、定義されたタスクによって処理されるワークを補完する。一例では、問合せ部１１が、ワークに対応する変数に関してユーザへの問合せを実行する。続いて、特定部１２が、その問合せに対するユーザのアクションを特定する。そして、補完部１６が、そのアクションに基づいて、ロボット２によって処理されるワークを変数に代入して、タスクを補完する。図５を参照しながら、ワークによるタスクの補完について詳細に説明する。

【0038】

ステップＳ１２１では、問合せ部１１がユーザに参照オブジェクトを問い合わせる。参照オブジェクトとは、ワークを特定するために必要な情報を示すオブジェクトをいう。参照オブジェクトは、処理されようとするワークと同じ物体でもよいし、該ワークと異なる物体でもよい。参照オブジェクトの問合せとは、ユーザに参照オブジェクトの入力を求める処理をいう。一例では、問合せ部１１は、所定の問合せ姿勢をロボット２が取るようにロボット２を動作させる。問合せ部１１は、ロボット２が問合せ姿勢を取ったときに、「参照オブジェクトを見せてください」というような案内音声をスピーカフォン３０から出力してもよい。一例では、問合せ部１１はロボット２が問合せ姿勢を取った後に問合せを実行する。

【0039】

ステップＳ１２２では、特定部１２が、カメラ２０によって撮影された画像から被写体を特定する。一例では、ユーザは参照オブジェクトをカメラ２０に向けて提示する。参照オブジェクトは実物であってもよいし、ボード、シートなどのような媒体上に記述されてもよいし、表示装置上に電子的に表示されてもよい。あるいは、ユーザは、ワークをタスクの一部として補完するために予め設定されたショートカットジェスチャをカメラに向けて提示する。ショートカットジェスチャは手のジェスチャ、すなわち手形状によって表される。参照オブジェクトの提示もショートカットジェスチャも、問合せに対するユーザのアクションの一例である。一例では、特定部１２は画像から被写体を特定するために設定された認識対象を予め記憶する。特定部１２は参照オブジェクトとユーザの手とのいずれかをその認識対象として画像から抽出し、その認識対象に基づいて被写体を特定する。参照オブジェクトが抽出された場合には、特定部１２はその参照オブジェクトの特徴量をユーザのアクションとして特定する。参照オブジェクトの特徴量とは、参照オブジェクトの特徴または性質を示す物理量である。例えば、物理量は色、形状、質感、または物体の種類を示してもよい。ユーザの手が抽出され、その手形状がショートカットジェスチャに対応する場合には、特定部１２はそのショートカットジェスチャをユーザのアクションとして特定する。

【0040】

ステップＳ１２３に示すように、特定部１２は参照オブジェクトの特徴量とショートカットジェスチャとのいずれか一方を被写体として特定する。参照オブジェクトの特徴量が特定された場合には、処理はステップＳ１２４に進む。ショートカットジェスチャが特定された場合には、処理はステップＳ１２５に進む。

【0041】

ステップＳ１２４では、補完部１６が参照オブジェクトの特徴量に基づいてワークを設定し、そのワークによってタスクを補完する。すなわち、補完部１６はワークをタスクの少なくとも一部として補完する。例えば、補完部１６は「赤の物体」、「Ｔ字状の物体」のようにワークを設定し、ドキュメントの変数にそのワークを代入してタスクを補完する。補完部１６は、ワークによってタスクが補完されたことを示す音声をスピーカフォン３０から出力してもよい。

【0042】

ステップＳ１２５では、補完部１６が、ショートカットジェスチャに対応するタスクパーツとして記憶部１７に記憶されているワークを取得し、そのワークによってタスクを補完する。例えば、補完部１６はドキュメントの変数にそのワークを代入してタスクを補完する。この場合には、タスクはタスクパーツを含む。ステップＳ１２４と同様に、補完部１６は、ワークによってタスクが補完されたことを示す音声をスピーカフォン３０から出力してもよい。

【0043】

図３に戻って、ステップＳ１３では、ロボット制御システム１０がタスクの目標位置を補完する。タスクの目標位置とは、ワークに対する処理が完了する位置をいう。例えば、タスクがピックアンドプレイスであれば、目標位置は、ロボット２によって把持されたワークが置かれる位置である。一例では、問合せ部１１が、目標位置に対応する変数に関してユーザへの問合せを実行する。続いて、特定部１２が、その問合せに対するユーザのアクションを特定する。そして、補完部１６がそのアクションに基づいて目標位置を変数に代入して、タスクを補完する。図６を参照しながら、目標位置によるタスクの補完について詳細に説明する。

【0044】

ステップＳ１３１では、問合せ部１１がユーザに目標位置を問い合わせる。目標位置の問合せとは、ユーザに目標位置の入力を求める処理をいう。一例では、問合せ部１１は、所定の問合せ姿勢をロボット２が取るようにロボット２を動作させる。問合せ部１１は、ロボット２が問合せ姿勢を取ったときに、「目標位置を教えてください」というような案内音声をスピーカフォン３０から出力してもよい。一例では、問合せ部１１はロボット２が問合せ姿勢を取った後に問合せを実行する。

【0045】

ステップＳ１３２では、特定部１２が誘導音に基づいてカメラ２０の向きを変更する。一例では、ユーザは、目標位置を示すアクションの前に行う先行アクションとして、手を叩いたり声を出したりすることで誘導音を発する。特定部１２はスピーカフォン３０を介してその誘導音を取得して、その誘導音が発せられた方向を推定する。そして、特定部１２は、ロボット２に搭載されたカメラ２０をその方向に向けるようにロボット２を制御する。一例では、特定部１２はカメラ２０の向きを変えるためのロボット２のパスをプランニングにより生成し、そのパスを示す指令信号をロボットコントローラ３に出力する。ロボットコントローラ３はその指令信号に従ってロボット２を制御する。ロボット２はそのパスに沿って移動し、その結果、カメラ２０が、誘導音が発せられた方向を向くように移動する。

【0046】

ステップＳ１３３では、特定部１２が、移動したカメラ２０によって撮影された画像から被写体を特定する。一例では、ユーザはカメラ２０に向けて目標位置を手で指し示す。あるいは、ユーザは、目標位置をタスクの一部として補完するために予め設定されたショートカットジェスチャをカメラに向けて提示する。目標位置を示す手形状もショートカットジェスチャも、問合せに対するユーザのアクションの一例である。一例では、特定部１２は画像から被写体を特定するために設定された認識対象を予め記憶する。特定部１２はユーザの手をその認識対象として画像から抽出し、その認識対象に基づいて被写体を特定する。手形状がショートカットジェスチャに対応する場合には、特定部１２はそのショートカットジェスチャをユーザのアクションとして特定する。手形状がショートカットジェスチャに対応しない場合には、その手形状をユーザのアクションとして特定する。

【0047】

ステップＳ１３４に示すように、特定部１２はショートカットジェスチャと、ショートカットジェスチャ以外の手形状とのいずれか一方を被写体として特定する。

【0048】

ステップＳ１３４においてショートカットジェスチャ以外の手形状が特定された場合には、処理はステップＳ１３５に進む。ステップＳ１３５では、特定部１２が手形状に基づいて目標位置を推定する。一例では、特定部１２は手形状に対して基準軸を設定し、この基準軸に基づいて目標位置を推定する。例えば、特定部１２は手形状の長手方向に沿って基準軸を設定し、その基準軸と画像に映る領域との交点を目標位置として推定する。基準軸と交わる領域は、例えば、ワークが置かれようとする場所に対応する。

【0049】

ステップＳ１３６では、特定部１２が、カメラ２０が目標位置に接近したか否かを判定する。一例では、特定部１２はカメラ２０と目標位置との距離を算出し、この距離に基づいてその判定を実行する。特定部１２はカメラ２０から提供された深度画像に基づいてその距離を算出してよい。あるいは、特定部１２は、カメラ２０からの画像と、該画像とは別に提供された深度情報とに基づいてその距離を算出してもよい。算出された距離が所与の閾値以下である場合には、特定部１２はカメラ２０が目標位置に接近したと判定する。一方、算出された距離がその閾値より大きい場合には、特定部１２はカメラ２０が目標位置に接近していないと判定する。

【0050】

カメラ２０が目標位置に接近していないと判定された場合には（ステップＳ１３６においてＮＯ）、処理はステップＳ１３７に進む。ステップＳ１３７では、特定部１２が目標位置に向けてカメラ２０を移動するようにロボット２を制御し、移動したカメラ２０によって撮影された画像から被写体を特定する。一例では、特定部１２は、認識対象であるユーザの手に向けてカメラ２０を近づけるためのロボット２のパスをプランニングにより生成し、そのパスを示す指令信号をロボットコントローラ３に出力する。ロボットコントローラ３はその指令信号に従ってロボット２を制御する。ロボット２はそのパスに沿って移動し、その結果、カメラ２０がユーザの手および目標位置に近づく。特定部１２は、認識対象（ユーザの手）がカメラ２０の被写範囲の中央に位置するようにロボット２を動作させてもよい。特定部１２は、認識対象に近づいたカメラ２０によって撮像された画像からその認識対象を抽出し、目標位置を示している手形状をユーザのアクションとして特定する。

【0051】

ステップＳ１３７の後に処理はステップＳ１３５に戻り、特定部１２が、新たに特定された手形状について目標位置を推定する。カメラ２０が目標位置に接近するまでステップＳ１３５～Ｓ１３７の処理が繰り返される。

【0052】

カメラ２０が目標位置に接近したと判定された場合には（ステップＳ１３６においてＹＥＳ）、処理はステップＳ１３８に進む。ステップＳ１３８では、補完部１６が、手形状に基づいて推定された目標位置によってタスクを補完する。すなわち、補完部１６は目標位置をタスクの少なくとも一部として補完する。例えば、補完部１６はドキュメントの変数にその目標位置を代入してタスクを補完する。補完部１６は、目標位置によってタスクが補完されたことを示す音声をスピーカフォン３０から出力してもよい。

【0053】

ステップＳ１３４においてショートカットジェスチャが特定された場合には、処理はステップＳ１３９に進む。ステップＳ１３９では、補完部１６が、そのショートカットジェスチャに対応するタスクパーツとして記憶部１７に記憶されている目標位置を取得し、その目標位置によってタスクを補完する。例えば、補完部１６はドキュメントの変数にその目標位置を代入してタスクを補完する。この場合には、タスクはタスクパーツを含む。ステップＳ１３８と同様に、補完部１６は、目標位置によってタスクが補完されたことを示す音声をスピーカフォン３０から出力してもよい。

【0054】

図３に戻って、ステップＳ１４では、ロボット制御部１４が、補完されたタスクを実行するようにロボット２を制御する。一例では、ロボット制御部１４は、作業空間においてワークを探索するためのパスをパスプランニングにより生成し、そのパスを示す指令信号をロボットコントローラ３に出力する。ロボットコントローラ３はその指令信号に従ってロボット２を制御する。ロボット２はそのパスに沿って移動し、ワークを探索する。ワークを見つけた場合には、ロボット制御部１４は補完されたタスクをそのワークに対して実行するためのパスをプランニングにより生成し、その新たなパスを示す指令信号をロボットコントローラ３に出力する。ロボットコントローラ３はその指令信号に従ってロボット２を制御する。ロボット２はその新たなパスに沿って移動し、その結果、ロボット２がワークを処理する。例えば、ロボット２はワークを目標位置に運ぶピックアンドプレイスを実行する。作業空間に複数のワークが存在する場合には、ロボット制御部１４はワークの探索と、探索されたワークについてのタスクの実行とを繰り返し得る。

【0055】

一例では、補完部１６は、補完されたタスクの少なくとも一部をタスクパーツとして記憶部１７に格納する。例えば、そのタスクパーツは、補完されたワークまたは目標位置でもよいし、タスクの全体でもよい。

【0056】

ステップＳ１５に示すように、ロボット制御システム１０は、補完されたタスクを実行して１以上のワークを処理した後に、次の補完を実行してもよい。例えば、ロボット制御システム１０は、補完されるべき新たな対象に応じて、必要な処理を繰り返し実行する。一例として、ワークを新たに補完する場合には、処理はステップＳ１２に戻る。繰り返されるステップＳ１２では、ロボット制御システム１０は、ワークに対応する変数に関してユーザへの問合せを実行し、その問合せに対するユーザのアクションを特定し、そのアクションに基づいてワークを変数に代入してタスクを補完する。変数に代入されるワークは、前の補完で用いられたワークと同じでもよいし異なってもよい。繰り返されるステップＳ１３では、ロボット制御システム１０は、目標位置に対応する変数に関してユーザへの問合せを実行し、その問合せに対するユーザのアクションを特定し、そのアクションに基づいて目標位置を変数に代入して、タスクを補完する。変数に代入される目標位置は、前の補完で用いられた目標位置と同じでもよいし異なってもよい。繰り返されるステップＳ１４では、ロボット制御部１４が、新たに補完されたタスクを実行するようにロボット２を制御する。別の例として、目標位置を新たに補完する場合には、処理はステップＳ１３に戻り、ロボット制御システム１０はステップＳ１３，Ｓ１４を実行する。

【0057】

処理フローＳ１の全体が繰り返し実行されてもよい。すなわち、ロボット制御システム１０は、別のドキュメントに基づいて次のタスクを定義し（ステップＳ１１）、該次のタスクを補完し（ステップＳ１２，Ｓ１３）、補完された次のタスクを実行するようにロボット２を制御してもよい（ステップＳ１４）。

【0058】

処理フローＳ１において、特定部１２は、特定されたアクションを確定させるか否かの追加問合せをユーザに対して実行し、その追加問合せに対するユーザからの応答に基づいて、そのアクションを確定してもよい。追加問合せは、ロボット制御システム１０に入力するアクションについて再考する機会をユーザに与える処理であるといえる。一例では、特定部１２は手の第１形状をカメラ２０の第１画像から抽出し、その第１形状をアクションとして特定する。例えば、第１形状は、目標位置を指す手形状である。特定部１２はそのアクションを確定させるか否かの追加問合せをユーザに対して実行する。例えば、特定部１２は追加問合せのための音声をスピーカフォン３０から出力する。特定部１２は、第１画像の後にカメラ２０によって撮影された第２画像から、追加問合せに対する手の第２形状を抽出する。そして、特定部１２はその第２形状に応答して、特定されたアクションを確定する。補完部１６はその確定されたアクションに基づいてタスクを補完する。例えば、補完部１６はそのアクションに基づいて目標位置をタスクの少なくとも一部として補完する。

【0059】

ステップＳ１３２に関連して、特定部１２はスピーカフォン３０ではなくカメラ２０によって検出された先行アクションに基づいて、該カメラ２０の向きを変更してもよい。例えば、ユーザはカメラ２０に向かって手または指で目標位置の方向を指し示す。特定部１２はそのジェスチャに基づいて、指し示された方向にカメラ２０を向けるようにロボット２を制御する。

【0060】

ステップＳ１３２はステップＳ１３における任意の時点で再び実行され得る。例えば、ステップＳ１３３以降においてユーザが目標位置を指定し直すために誘導音を発したことに応答して、ステップＳ１３において処理がステップＳ１３２に戻ってもよい。この場合には、特定部１２はその誘導音に基づいてカメラ２０の向きを再び変更する。そして、ステップＳ１３３以降の処理が改めて実行される。

【0061】

図７～図１２を参照しながら、処理フローＳ１に関連する例を説明する。図７～図１２のいずれも、作業空間においてユーザ３００がロボット２にティーチングする場面を示す図である。図７はドキュメントの一例を示す図である。図８はドキュメントの特定に関連する場面を示す図である。図９はワークの補完に関連する場面を示す図である。図１０～図１２はいずれも、目標位置の補完に関連する場面を示す図である。

【0062】

図７の例では、ドキュメント２００はボード上に配置された二次元コードによって表現される。例えば、ユーザは二次元コードが記述されたマグネットシートをボード上に並べてドキュメント２００を作成する。ボードの四隅に位置する４個の二次元コードは、ボードの全体を映すようにカメラ２０を位置させるための目印である。この例では、ドキュメント２００は構文を示す二次元コード２１０，２２０，２３０，２４０と、変数を示す二次元コード２１１，２１２とにより構成される。二次元コード２１０は「＜物体Ａ＞を＜場所Ｐ＞に置く」という構文を示す。この二次元コード２１０に関連して、「物体Ａ」という変数を示す二次元コード２１１と、「場所Ｐ」という変数を示す二次元コード２１２とが配置される。二次元コード２２０は「物体は正面にある」という構文を示す。二次元コード２３０は「物体が見つからなかったら終了する」という構文を示す。二次元コード２４０は「素早く作業すること」という構文を示す。

【0063】

図８に示す場面では、問合せ部１１はドキュメントを問い合わせる（ステップＳ１１１）。ユーザ３００はその問合せに対してボード上のドキュメント２００をカメラ２０に提示する。特定部１２はカメラ２０の画像からそのドキュメント２００を特定する（ステップＳ１１２）。定義部１５はそのドキュメント２００に基づいてタスクを定義する。ロボット制御部１４はそのタスクの実行を開始する（ステップＳ１１４）。例えば、ロボット制御部１４はタスクの開始として、ユーザに対して参照オブジェクトを問い合わせるための問合せ姿勢をロボット２に実行させる。

【0064】

図９に示す場面では、問合せ部１１は参照オブジェクトを問い合わせる（ステップＳ１２１）。ユーザ３００はその問合せに対して参照オブジェクト４００をカメラ２０に提示する。特定部１２はカメラ２０の画像からその参照オブジェクト４００の特徴量を特定する（ステップＳ１２２）。補完部１６はその特徴量に基づいてワークを設定し、そのワークをタスクの少なくとも一部として補完する（ステップＳ１２４）。

【0065】

図１０に示す場面では、ユーザ３００がカメラ２０の向きを変えるために手を叩く場面を示す。問合せ部１１は目標位置を問い合わせる（ステップＳ１３１）。ユーザ３００はその問合せに対して、ワークが置かれるべき傾斜面５００の近くで手を叩く。特定部１２はスピーカフォン３０から取得したその音の方向を推定し、カメラ２０をその方向に向けるようにロボット２を制御する（ステップＳ１３２）。図１１に示すように、ユーザ３００は、カメラ２０の向きが変わった後に、傾斜面５００を目標位置として手で指し示す。特定部１２はカメラ２０の画像からその手形状を特定し（ステップＳ１３３）、その手形状に基づいて目標位置を推定する（ステップＳ１３５）。図１２に示すように、特定部１２はカメラ２０が目標位置に接近していないと判定し、その目標位置に向けてカメラ２０を移動させる（ステップＳ１３６，Ｓ１３７）。図１２の例では、特定部１２は目標位置に向けてカメラ２０を移動するようにロボット２を制御する。その後、カメラ２０が目標位置に接近したと判定されると、補完部１６は目標位置をタスクの少なくとも一部として補完する（ステップＳ１３８）。

【0066】

その後、ロボット制御部１４は補完されたタスクを実行するようにロボット２を制御する（ステップＳ１４）。ロボット２はロボット制御部１４からの指令信号に従って、作業空間内でワークを探索し、見つけたワークを把持して、目標位置である傾斜面５００にそのワークを置く。そのワークは、傾斜面５００の下にある箱に収容される。

【0067】

［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示の技術事項は上記実施形態に限定されるものではない。本開示の技術事項は、その要旨を逸脱しない範囲で様々な変形が可能である。

【0068】

タスクの定義はタスクの全体を設定する処理であってもよい。この場合には、補完部によるタスクの補完は不要である。ロボット制御部は、定義されたタスクをロボットが実行するように該ロボットを制御する。定義部は、ユーザがドキュメントに代えて所定の手形状をカメラに向けて提示した場合に、その手形状に対応するタスクパーツとしてタスクの全体を記憶部から取得して、そのタスクをそのまま再定義してもよい。この場合には、ロボット制御部は再定義されたタスクをロボットが実行するように該ロボットを制御する。

【0069】

システムのハードウェア構成は、プログラムの実行により各機能モジュールを実現する態様に限定されない。例えば、上述した機能モジュール群の少なくとも一部が、その機能に特化した論理回路により構成されてもよいし、該論理回路を集積したＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により構成されてもよい。

【0070】

少なくとも一つのプロセッサにより実行される方法の処理手順は上記の例に限定されない。例えば、上述したステップまたは処理の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

【0071】

コンピュータシステムまたはコンピュータ内で二つの数値の大小関係を比較する際には、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」という二つの基準のうちのどちらを用いてもよい。

【0072】

［付記］
上記の様々な例から把握されるとおり、本開示は以下に示す態様を含む。
（付記１）
ロボットがタスクを実行中に、ユーザへの問合せを実行する問合せ部と、
前記問合せに対する前記ユーザのアクションを、センサを用いて特定する特定部と、
前記特定されたアクションに基づいて前記タスクの少なくとも一部を補完する補完部と、
前記補完されたタスクを前記ロボットが実行するように前記ロボットを制御するロボット制御部と、
を備えるロボット制御システム。
（付記２）
前記センサはカメラであり、
前記特定部は、
前記アクションに関して予め設定された認識対象を、前記カメラによって撮影された画像から抽出し、
前記抽出された認識対象に基づいて前記アクションを特定する、
付記１に記載のロボット制御システム。
（付記３）
前記特定部は、
前記ユーザが前記アクションの前に行った先行アクションに応じて前記カメラを移動し、
前記認識対象を、前記移動したカメラによって撮影された前記画像から抽出する、
付記２に記載のロボット制御システム。
（付記４）
前記カメラは前記ロボットに搭載され、
前記先行アクションは、前記ユーザにより発せられた音を含み、
前記特定部は、前記音が発せられた方向に前記カメラを向ける、
付記３に記載のロボット制御システム。
（付記５）
前記カメラは前記ロボットに搭載され、
前記特定部は、
前記認識対象に向けて前記カメラを近づけるように前記ロボットを動作させ、
前記認識対象に近づいたカメラによって撮像された画像から前記認識対象を抽出する、
付記３または４に記載のロボット制御システム。
（付記６）
前記特定部は、前記認識対象が前記カメラの被写範囲の中央に位置するように前記ロボットを動作させる、
付記５に記載のロボット制御システム。
（付記７）
前記認識対象は前記ユーザの手であり、
前記特定部は、前記画像から抽出された前記手の形状を前記アクションとして特定する、
付記２～６のいずれか一つに記載のロボット制御システム。
（付記８）
前記補完部は、前記手の形状に基づいて、前記ロボットによって実行される前記タスクの目標位置を、前記タスクの少なくとも一部として補完する、
付記７に記載のロボット制御システム。
（付記９）
前記特定部は、
前記手の第１形状を第１画像から抽出して、該第１形状を前記アクションとして特定し、
前記特定されたアクションを確定させるか否かの追加問合せを前記ユーザに対して実行し、
前記追加問合せに対する前記手の第２形状を第２画像から抽出して、前記特定されたアクションを確定し、
前記補完部は、前記確定されたアクションに基づいて前記タスクの前記少なくとも一部を補完する、
付記７または８に記載のロボット制御システム。
（付記１０）
前記補完されたタスクの少なくとも一部をタスクパーツとして記憶する記憶部を更に備え、
前記補完部は、前記特定されたアクションが、予め設定された手形状に対応する場合に、前記タスクパーツを前記記憶部から取得し、
前記ロボット制御部は、前記タスクパーツを含むタスクを前記ロボットが実行するように、前記ロボットを制御する、
付記７～９のいずれか一つに記載のロボット制御システム。
（付記１１）
前記特定部は、
前記ユーザによって提示された参照オブジェクトを前記画像から抽出し、
前記参照オブジェクトの特徴量を前記アクションとして特定し、
前記補完部は、前記特徴量に基づいて、前記ロボットによって処理されるワークを前記タスクの少なくとも一部として補完する、
付記２～１０のいずれか一つに記載のロボット制御システム。
（付記１２）
前記タスクを定義する定義部を更に備え、
前記問合せ部は、前記タスクを示すドキュメントを前記ユーザに問い合わせ、
前記定義部は、前記ユーザによって提示された前記ドキュメントに基づいて前記タスクを定義し、
前記補完部は、前記特定されたアクションに基づいて、前記定義されたタスクの少なくとも一部を補完する、
付記１～１１のいずれか一つに記載のロボット制御システム。
（付記１３）
前記ドキュメントは、前記タスクに関する構文および変数を含み、
前記定義部は、前記構文に基づいて前記タスクを定義し、
前記問合せ部は、前記変数に関して前記ユーザへの前記問合せを実行し、
前記特定部は、前記問合せに対する前記ユーザの前記アクションを特定し、
前記補完部は、前記特定されたアクションに基づいて、前記変数に代入する値を補完する、
付記１２に記載のロボット制御システム。
（付記１４）
前記問合せ部は、
前記問合せに対応する姿勢である問合せ姿勢を前記ロボットが取るように前記ロボットを動作させ、
前記ロボットが前記問合せ姿勢を取った後に、前記問合せを実行する、
付記１～１３のいずれか一つに記載のロボット制御システム。
（付記１５）
ロボットによって実行されるタスクを示すドキュメントをユーザに問い合わせる問合せ部と、
前記ユーザによって提示された前記ドキュメントを、カメラによって撮影された画像から特定する特定部と、
前記特定されたドキュメントに基づいて前記タスクを定義する定義部と、
前記定義されたタスクを前記ロボットが実行するように前記ロボットを制御するロボット制御部と、
を備えるロボット制御システム。
（付記１６）
少なくとも一つのプロセッサを備えるロボット制御システムによって実行されるロボット制御方法であって、
ロボットがタスクを実行中に、ユーザへの問合せを実行するステップと、
前記問合せに対する前記ユーザのアクションを、センサを用いて特定するステップと、
前記特定されたアクションに基づいて前記タスクの少なくとも一部を補完するステップと、
前記補完されたタスクを前記ロボットが実行するように前記ロボットを制御するステップと、
を含むロボット制御方法。
（付記１７）
ロボットがタスクを実行中に、ユーザへの問合せを実行するステップと、
前記問合せに対する前記ユーザのアクションを、センサを用いて特定するステップと、
前記特定されたアクションに基づいて前記タスクの少なくとも一部を補完するステップと、
前記補完されたタスクを前記ロボットが実行するように前記ロボットを制御するステップと、
をコンピュータに実行させるロボット制御プログラム。

【0073】

付記１，１６，１７によれば、ロボットが実行しているタスクの少なくとも一部が、センサを用いて特定されたユーザのアクションに基づいて補完されるので、ユーザのティーチングの負荷を低減できる。ユーザのアクションはセンサを用いて特定されるので、ユーザは入出力装置の操作方法を学習することなく、早期にロボットへのティーチングに慣れることができる。また、入出力装置が不要になるので、その分だけシステムの構成を簡略化して、システムの開発費用を低減することが期待できる。

【0074】

付記２によれば、ユーザのアクションがカメラを用いて特定されるので、ユーザは、カメラに向かってアクションをするという自然な動作によって、ティーチングを行うことができる。また、アクションを特定するために必要な認識対象が予め設定されるので、その認識対象を画像からより確実に抽出できる。その結果、アクションをより確実に特定できる。

【0075】

付記３によれば、認識対象を撮影するためのカメラがユーザの動作によって自動的に動くので、ユーザのティーチングの負荷を更に低減できる。

【0076】

付記４によれば、ユーザによって発せられる音の方向にカメラが向くので、ユーザは簡単にカメラを所望の位置に向けることができ、その分、ユーザのティーチングの負荷を更に低減できる。

【0077】

付記５によれば、認識対象に向けてカメラが近づくので、アクションを特定するために必要な認識対象をより確実に抽出することができる。加えて、カメラを認識対象に近づけるようにロボットを動作させることで、ロボットがユーザのアクションを特定しようとしている状況を該ユーザに示すことができる。その結果、対話型のティーチングが行われていることをユーザに視覚的に伝えることができる。

【0078】

付記６によれば、カメラが認識対象を確実に捉えるので、ユーザのアクションをより確実に特定できる。

【0079】

付記７によれば、ユーザの手が認識対象として処理されるので、ユーザは自身の手を使って簡単にティーチングできる。

【0080】

付記８によれば、タスクの目標位置を簡単にロボットに指示することができる。

【0081】

付記９によれば、特定されたユーザのアクションを採用する前に、そのアクションを確定させるための問合せが実行される。したがって、そのアクションを再考する機会をユーザに与えると共に、間違ったティーチングが行われてしまう確率を低減することができる。

【0082】

付記１０によれば、過去に用いられたタスクの少なくとも一部が記憶部から取得されて用いられる。したがって、ユーザは過去の指示を簡単にロボットに再度伝えることができる。

【0083】

付記１１によれば、参照オブジェクトの特徴量に基づいてタスクの少なくとも一部が補完されてタスクが定義される。したがって、ロボットによって処理されるべきワークを簡単にティーチングすることができる。参照オブジェクトの特徴量が用いられるので、ワークがその特徴量を有する限り、様々なワークをロボットに処理させることができる。すなわち、ユーザはワークに関する抽象的な指示をロボットに伝えれば足りるので、ティーチングの負荷を下げることができる。特徴量が色である場合には、作業空間における色の見え方が特徴量として特定される。したがって、光量などの光の特性に起因する色の見え方の違いを吸収して、個々の作業空間においてワークを確実に特定することができる。

【0084】

付記１２によれば、ユーザがドキュメントを提示するだけでタスクが定義されるので、ユーザのティーチングの負荷を低減できる。

【0085】

付記１３によれば、タスクを構文および変数によって示すドキュメントを用いて、まずは構文に基づいてタスクが定義される。続いて、ユーザのアクションに基づいて変数に値が設定されてタスクが補完される。このようにタスクを段階的に設定することで、タスクが複雑であってもロボットに簡単にティーチングすることが可能になる。

【0086】

付記１４によれば、ユーザへの問合せの前にロボットが特定の姿勢を取るので、アクションを取るべきタイミングをユーザに対して視覚的に明確に伝えることができる。

【0087】

付記１５によれば、ユーザがドキュメントを提示するだけでタスクが定義されるので、ユーザのティーチングの負荷を低減できる。ドキュメントはカメラを用いて特定されるので、ユーザは入出力装置の操作方法を学習することなく、ロボットへのティーチングを簡単に行うことができる。また、入出力装置が不要になるので、その分だけシステムの構成を簡略化して、システムの開発費用を低減することが期待できる。

【符号の説明】

【0088】

１…ロボットシステム、２…ロボット、３…ロボットコントローラ、１０…ロボット制御システム、２０…カメラ、３０…スピーカフォン、１１…問合せ部、１２…特定部、１３…タスク管理部、１４…ロボット制御部、１５…定義部、１６…補完部、１７…記憶部、２００…ドキュメント、４００…参照オブジェクト。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】