ホーム > 特許ランキング > ＪＯＨＮＡＮ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022156506
(43)【公開日】2022-10-14
(54)【発明の名称】ロボット制御システム、および制御装置
(51)【国際特許分類】
B25J 13/08 20060101AFI20221006BHJP
【ＦＩ】
B25J13/08 A
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021060233
(22)【出願日】2021-03-31
(71)【出願人】
【識別番号】391053696
【氏名又は名称】ＪＯＨＮＡＮ株式会社
(74)【代理人】
【識別番号】100148275
【弁理士】
【氏名又は名称】山内 聡
(74)【代理人】
【識別番号】100136319
【弁理士】
【氏名又は名称】北原 宏修
(74)【代理人】
【識別番号】100142745
【弁理士】
【氏名又は名称】伊藤 世子
(74)【代理人】
【識別番号】100143498
【弁理士】
【氏名又は名称】中西 健
(72)【発明者】
【氏名】森山 孝三
(72)【発明者】
【氏名】亀山 晋
(72)【発明者】
【氏名】ヴ ヤ チュン
(72)【発明者】
【氏名】ルーカス ブルックス
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707KS02
3C707KS03
3C707KS04
3C707KS11
3C707KT02
3C707KT05
3C707KT06
3C707KT09
3C707LV01
(57)【要約】
【課題】必要な箇所の撮影画像が取得できない不具合を低減するための技術を提供する。
【解決手段】ロボット２００と、ロボットに取り付けられた、または固定された、少なくとも１つの第１のカメラ３００と、作業者に取り付けられる第２のカメラ４００と、制御装置１００とを備えるロボット制御システム１が提供される。制御装置は、第１のカメラの画像と、第２のカメラの画像と、に基づいてワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによってロボットを制御する。
【選択図】図１
【解決手段】ロボット２００と、ロボットに取り付けられた、または固定された、少なくとも１つの第１のカメラ３００と、作業者に取り付けられる第２のカメラ４００と、制御装置１００とを備えるロボット制御システム１が提供される。制御装置は、第１のカメラの画像と、第２のカメラの画像と、に基づいてワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによってロボットを制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ロボットと、
前記ロボットに取り付けられた、または固定された、少なくとも１つの第１のカメラと、
作業者に取り付けられる第２のカメラと、
制御装置とを備え、
前記制御装置は、前記第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御する、ロボット制御システム。
前記ロボットに取り付けられた、または固定された、少なくとも１つの第１のカメラと、
作業者に取り付けられる第２のカメラと、
制御装置とを備え、
前記制御装置は、前記第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御する、ロボット制御システム。
【請求項2】
前記制御装置は、
所定の条件を満たす場合に、前記少なくとも１つの第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、
前記所定の条件を満たさない場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する、請求項１に記載のロボット制御システム。
所定の条件を満たす場合に、前記少なくとも１つの第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、
前記所定の条件を満たさない場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する、請求項１に記載のロボット制御システム。
【請求項3】
前記第２のカメラは、加速度センサを含み、
前記制御装置は、
前記所定の条件として、前記第２のカメラの位置や姿勢の変化が所定の程度よりも小さい場合に、前記少なくとも１つの第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、
前記第２のカメラの動きが所定の程度よりも大きい場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する、請求項２に記載のロボット制御システム。
前記制御装置は、
前記所定の条件として、前記第２のカメラの位置や姿勢の変化が所定の程度よりも小さい場合に、前記少なくとも１つの第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、
前記第２のカメラの動きが所定の程度よりも大きい場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する、請求項２に記載のロボット制御システム。
【請求項4】
前記制御装置は、
前記所定の条件として、前記作業者の体によって前記少なくとも１つの第１のカメラから作業対象の一部が撮影できない場合に、前記少なくとも１つの第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、
前記少なくとも１つの第１のカメラから前記作業対象の全てが撮影できる場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する、請求項２または３に記載のロボット制御システム。
前記所定の条件として、前記作業者の体によって前記少なくとも１つの第１のカメラから作業対象の一部が撮影できない場合に、前記少なくとも１つの第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、
前記少なくとも１つの第１のカメラから前記作業対象の全てが撮影できる場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する、請求項２または３に記載のロボット制御システム。
【請求項5】
第１のカメラと第２のカメラとロボットとの通信インターフェイスと、
メモリと、
プロセッサとを備え、
前記プロセッサは、前記第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御する、制御装置。
メモリと、
プロセッサとを備え、
前記プロセッサは、前記第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御する、制御装置。
【請求項6】
ロボットと、
固定カメラまたは前記ロボットに取り付けられた少なくとも１つの第１のカメラと、
作業者に取り付けられる第２のカメラと、
制御装置とを備え、
前記制御装置は、
所定の条件を満たす場合に、前記第２のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御し、
前記所定の条件を満たさない場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御する、ロボット制御システム。
固定カメラまたは前記ロボットに取り付けられた少なくとも１つの第１のカメラと、
作業者に取り付けられる第２のカメラと、
制御装置とを備え、
前記制御装置は、
所定の条件を満たす場合に、前記第２のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御し、
前記所定の条件を満たさない場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御する、ロボット制御システム。
【請求項7】
第１のカメラと第２のカメラとロボットとの通信インターフェイスと、
メモリと、
プロセッサとを備え、
前記プロセッサは、
所定の条件を満たす場合に、前記第２のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御して、
前記所定の条件を満たさない場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御する、制御装置。
メモリと、
プロセッサとを備え、
前記プロセッサは、
所定の条件を満たす場合に、前記第２のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御して、
前記所定の条件を満たさない場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによって前記ロボットを制御する、制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、各種のロボットの制御システムの技術に関し、特にカメラの撮影画像に基づいてロボットを制御するための技術に関する。
【背景技術】
【0002】
従前より、カメラの撮影画像に基づいてロボットを制御するための技術が知られている。たとえば、特開２０１８－５８１７８号公報（特許文献１）には、機械学習部を備えた作業補助システムが開示されている。特許文献１によると、作業者の体の少なくとも一つの部位の位置姿勢を検出するセンサ部と、作業者に部品又は工具を供給する供給部と、供給部を制御するセルコントローラと、を備え、セルコントローラが、検出された位置姿勢に基づいて作業者の作業状態を学習してモデルを構築する機械学習部と、構築されたモデルを用いて、作業者の作業状態を判断する作業状態判断部と、を備え、供給部が、判断された作業状態に基づいて部品又は工具を選択し、少なくとも一つの部位の位置姿勢に基づいて、部品又は工具の位置姿勢を変化させる作業補助システムを提供する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－５８１７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、必要な箇所の撮影画像が取得できない不具合を低減するための技術を提供することにある。
【課題を解決するための手段】
【0005】
本発明の一態様に従うと、ロボットと、ロボットに取り付けられた、または固定された、少なくとも１つの第１のカメラと、作業者に取り付けられる第２のカメラと、制御装置とを備えるロボット制御システムが提供される。制御装置は、第１のカメラの画像と、第２のカメラの画像と、に基づいてワーク、部品の位置や姿勢や状態および作業者の骨格姿勢や状態を特定することで作業状況を判断し、状況に応じてロボットを制御する。
【発明の効果】
【0006】
以上のように、本発明によれば、必要な箇所の撮影画像が取得できない不具合を低減することができる。
【図面の簡単な説明】
【0007】
【図1】第１の実施の形態にかかるロボット制御システムの全体構成を示すブロック図である。
【図2】第１の実施の形態にかかるロボットカメラとウェアラブルカメラによる撮影を示すイメージ図である。
【図3】第１の実施の形態にかかるロボット制御の情報処理を示すフローチャートである。
【図4】第１の実施の形態にかかるマージ処理を示すフローチャートである。
【図5】第１の実施の形態にかかるマージ処理の方法を示すイメージ図である。
【図6】第２の実施の形態にかかるロボット制御の情報処理を示すフローチャートである。
【図7】第３の実施の形態にかかるロボット制御の情報処理を示すフローチャートである。
【図8】第４の実施の形態にかかるロボット制御の情報処理を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ロボット制御システムの全体構成＞
＜第１の実施の形態＞
＜ロボット制御システムの全体構成＞
【0009】
まず図１を参照して、本実施の形態にかかるロボット制御システム１の全体構成について説明する。ロボット制御システム１は、主たる装置として、ロボット２００と、第１のカメラ３００と、第２のカメラ４００と、撮影画像に基づいてロボット２００の動作を制御するための制御装置１００とを含む。
【0010】
本実施の形態にかかるロボット制御システム１は、たとえば工場の生産現場に適用されるものであり、生産現場においてロボット２００に所定のタスクを実行させるように構成されている。また、本実施の形態にかかるロボット制御システム１は、ロボット２００が柵などによって仕切られておらず、人がロボット２００の作業領域にアクセス可能であり、人とロボット２００とが協働して作業を進めていくものである。
【0011】
第１のカメラ３００は、図２に示すように、ロボット２００に取り付けられるカメラであったり、作業台や天井などに固定されるカメラであったりする。第１のカメラ３００は、作業台の上に置かれた対象物すなわちワークＷ、部品、および／または、そこで作業する作業者を撮影する。
【0012】
第２のカメラ４００は、図２に示すように、作業者の体や作業服や眼鏡や帽子やヘルメットなどに取り付けられるものであって、いわゆるウェアラブルカメラである。作業者の作業中に、第２のカメラ４００の撮影範囲内にワークＷ、部品および／または作業者自身の手や腕などの体の部位が収まることが好ましい。
【0013】
図１に戻って、制御装置１００は、第１のカメラ３００や第２のカメラ４００の撮影画像に基づいて、ロボット２００に各種のタスクを実行させる。タスクとは、たとえばある地点のワークを別の地点に移動させる処理であったり、ワークＷに応じた道具を作業者に手渡す処理であったりする。
【0014】
制御装置１００は、主に、ＣＰＵ１１０、メモリ１２０、ディスプレイ１３０、操作部１４０、スピーカ１５０、通信インターフェイス１６０を含む。ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、ロボット２００や制御装置１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の情報処理を実行する。
【0015】
メモリ１２０は、各種のＲＡＭ、各種のＲＯＭなどによって実現される。メモリ１２０は、ＣＰＵ１１０によって実行されるロボット２００のタスクなどのプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、たとえば、ロボット２００の動作状態や現在位置や姿勢や目標位置などを記憶する。
【0016】
ディスプレイ１３０は、ＣＰＵ１１０の信号に基づいて、テキストや画像を表示する。
【0017】
操作部１４０は、ユーザの指示を受け付けて、ＣＰＵ１１０に入力する。
【0018】
スピーカ１５０は、ＣＰＵ１１０の信号に基づいて、各種の音声を出力する。
【0019】
通信インターフェイス１６０は、コネクタやアンテナなどによって実現されて、通信ケーブルや無線ＬＡＮなどを介してロボット２００や第１のカメラ３００や第２のカメラ４００などの他の装置と、各種データをやり取りする。本実施の形態においては、ＣＰＵ１１０は、通信インターフェイス１６０としてのコネクタを介して、通信ケーブルを利用して、第１のカメラ３００の撮影画像を取得する。ＣＰＵ１１０は、通信インターフェイス１６０としての無線アンテナを介して、第２のカメラ４００の撮影画像を取得する。
【0020】
本実施の形態においては、第２のカメラ４００は、無線アンテナ４６０や、電池４５０を搭載する。第１のカメラ３００は、信号ケーブルや電力ケーブルのコネクタを有し、ロボット２００から電力を取得したり、電源ケーブルから電力を取得したりする。
【0021】
このようにして、制御装置１００のＣＰＵ１１０は、メモリ１２０のロボット制御用のプログラムに従って、通信インターフェイス１６０を介して第１のカメラ３００および第２のカメラ４００から取得した画像に基づいて、通信インターフェイス１６０を介してロボット２００に各種の動作を実行させる。
＜ロボット制御システムの動作概要＞
＜ロボット制御システムの動作概要＞
【0022】
制御装置１００は、第１のカメラ３００の撮影画像に基づいて、作業スペースにおける作業者の作業状況や作業台上のワークや部品の状況などを判断して、ロボット２００を制御するものであるが、作業者の体や頭などが邪魔になって、第１のカメラ３００が作業者の手や作業台上のワークＷや部品の全てをうまく撮影できない場合がある。そこで、本実施の形態においては、作業者が身に着けている第２のカメラ４００の撮影画像によって、第１のカメラ３００の撮影画像からは得られない情報を補完することによって、ワークの正確な状況を把握できるものである。
＜制御装置１００の情報処理＞
＜制御装置１００の情報処理＞
【0023】
以下では、図３、図４、図５を参照して、本実施の形態における制御装置１００の情報処理について詳述する。制御装置１００のＣＰＵ１１０は、メモリ１２０のプログラムに従って、たとえばロボット２００にタスクを実行させるためのプログラムを読みだして、以下の処理を実行する。
【0024】
まず、ＣＰＵ１１０は、第１のカメラ３００による撮影を開始する（ステップＳ１１０）。図５（Ａ）は、天井に取り付けた第１のカメラ３００の撮影画像を示すものである。
【0025】
ＣＰＵ１１０は、第２のカメラ４００による撮影を開始する（ステップＳ１２０）。
【0026】
ＣＰＵ１１０は、第１のカメラ３００の撮影画像と第２のカメラ４００のそれぞれの撮影画像において作業スペースの状況を解析することができ、その解析結果をマージすることによって複数の視点により情報の欠損が少ない解析結果を得ることができる（ステップＳ１３０）。これによって、ＣＰＵ１１０は、タスクの実行に必要な情報、たとえばワークの部品の位置や姿勢、および／または、ワーク自体の位置や姿勢、および／または、作業者の姿勢など、を認識することができる。
【0027】
ここで、図４を参照しながら、本実施の形態にかかるマージ処理（ステップＳ１３０）について説明する。
【0028】
ＣＰＵ１１０は、第１のカメラ３００の位置がワールド座標系においてどこに設定されているかを取得する（ステップＳ１３１）。作業台に固定されているカメラの場合は、ワールド座標系におけるカメラの位置や姿勢が予め定められている。ロボット２００に取り付けられているカメラの場合は、ＣＰＵ１１０は、ワールド座標系におけるロボット２００の位置や姿勢と、ロボット２００に対する第１のカメラ３００の位置や姿勢とに基づいて、ワールド座標系における第１のカメラ３００の位置や姿勢や画角などを計算する。
【0029】
ＣＰＵ１１０は、ワールド座標系におけるカメラの画角などの情報に基づいて、第１のカメラ３００から見た座標から、ワールド座標系への第１の変換行列を算出する（ステップＳ１３２）。
【0030】
図５（Ｂ）に示すように、ＣＰＵ１１０は、第１のカメラ３００の画像に基づいて、第１のカメラ３００の視点からの２次元画像から、ワークＷや部品の検出や作業者の骨格姿勢の検出などを行なう（ステップＳ１３３）。
【0031】
たとえば、ＲＧＢ－Ｄカメラなどのような、３次元カメラを用いる場合には、ＣＰＵ１１０は、上記で得られた２次元座標に、深さ情報を付記することによって、第１のカメラ３００の座標としてのワークＷ、部品や作業者の骨格姿勢の３次元座標が得られる。
【0032】
２次元カメラを用いる場合には、ＣＰＵ１１０は、複数の第１のカメラ３００，３００・・・によって同じ点を検出することができるため、三角推量などによって、ワークＷ、部品や作業者の骨格姿勢の３次元座標を得ることができる。
【0033】
ＣＰＵ１１０は、第１の変換行列を用いて、第１のカメラ３００の視点からのワークＷ、部品や作業者の骨格姿勢の座標をワールド座標へ変換する（ステップＳ１３４）。
【0034】
たとえば、ＣＰＵ１１０は、図５（Ｃ）に示すように、第１のカメラ３００からの画像からＡＲマーカＭを認識する（ステップＳ１３６）。
【0035】
ＣＰＵ１１０は、第１のカメラ３００から見たＡＲマーカＭの位置と形状に基づいて、ＡＲマーカ基準の第１のカメラ３００の位置と姿勢とを計算する（ステップＳ１３７）。
【0036】
そして、ＣＰＵ１１０は、図５（Ｄ）に示すように、第２のカメラ４００からの画像からＡＲマーカＭを認識する（ステップＳ１３８）。
【0037】
ＣＰＵ１１０は、第２のカメラ４００から見たＡＲマーカＭの位置と形状に基づいて、ＡＲマーカ基準の第２のカメラ４００の位置と姿勢とを計算する（ステップＳ１３９）。なお、ＡＲマーカを利用する形態に限らず、作業台の外枠や部品などを介して、基準に対する第２のカメラ４００の位置と姿勢とを計算してもよい。
【0038】
ＣＰＵ１１０は、第２のカメラ４００から見た座標からワールド座標への第２の変換行列を計算する（ステップＳ１４０）。より詳細には、ＣＰＵ１１０は、第１のカメラ３００の位置と姿勢に対する第２のカメラ４００の位置と姿勢に基づいて、第１の変換行列から第２の変換行列を計算する。
【0039】
図５（Ｄ）に示すように、ＣＰＵ１１０は、第２のカメラ４００の画像に基づいて、第２のカメラ４００の視点からの２次元画像から、ワークＷや部品の検出や作業者の骨格姿勢の検出などを行なう（ステップＳ１４１）。
【0040】
たとえば、ＲＧＢ－Ｄカメラを用いる場合には、ＣＰＵ１１０は、上記で得られた２次元座標に、深さ情報を付記することによって、第２のカメラ４００の座標としてのワークＷ、部品や作業者の骨格姿勢の３次元座標が得られる。
【0041】
２次元カメラを用いる場合には、ＣＰＵ１１０は、複数の第２のカメラ４００，４００・・・によって同じ点を検出することができるため、三角推量などによって、ワークＷ、部品や作業者の骨格姿勢の３次元座標を得ることができる。
【0042】
ＣＰＵ１１０は、第２の変換行列を用いて、第２のカメラ４００の視点からの各検出結果の座標をワールド座標へ変換する（ステップＳ１４２）。
【0043】
ＣＰＵ１１０は、第１のカメラ３００からの画像によって取得されたワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態のデータと、第２のカメラ４００からの画像によって取得されたワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態のデータとに基づいて、これら全ての位置や姿勢や状態を示す３次元データを作成する（ステップＳ１４３）。なお、第１のカメラ３００からの画像と、第２のカメラ４００からの画像と、から同じ部品に関する異なる位置や姿勢や状態が得られた場合には、状況を理解する上でより重要なワークＷ、部品や作業者の手に近い位置にある第１のカメラ３００の画像から得られた位置や姿勢や状態を優先することが好ましい。
【0044】
図３に戻って、ＣＰＵ１１０は、ワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態のデータに基づいて、各種のタスクの制御データに従って、ワークＷや部品に対する次の処理を決定する（ステップＳ１５０）。
【0045】
ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボット２００に制御命令を送信する（ステップＳ１５２）。
【0046】
なお、第１のカメラ３００に関して、事前にキャリブレーション(変換行列算出)されており、カメラの位置・姿勢が変化しない場合は、ステップＳ１３６の処理は不要である。また、第1のカメラ３００がロボット２００などに取り付けられて移動する場合においても、第１のカメラ３００の位置・姿勢が正確に算出できる場合には、キャリブレーションで取得した変換行列を第１のカメラ３００の位置・姿勢に応じて補正することが可能であるため、同様にステップＳ１３６の処理は不要である。
【0047】
さらに、第２のカメラ４００においても、一度でも変換行列を算出できていれば、その後第１のカメラ３００の位置・姿勢が変化しても、加速度センサや画像変化の解析により、第１のカメラ３００の位置・姿勢を推定し、取得済みの変換行列を補正することが可能である。そのためＡＲマーカが検出できるときはステップＳ１３８により変換行列算出を行い、検出できないときは、ステップＳ１３８の処理の代わりに自己位置推定により取得済み変換行列を補正するようにしてもよい。
＜第２の実施の形態＞
＜第２の実施の形態＞
【0048】
上記の実施の形態においては、常に、第１のカメラ３００によるデータと第２のカメラ４００によるデータとをマージするものであった。本実施の形態においては、第２のカメラ４００の位置や姿勢が安定している場合に、第１のカメラ３００によるデータと第２のカメラ４００によるデータとを利用するものである。逆に、第２のカメラ４００が移動していたり振動したりしている場合には、両者の画像を利用して得られたデータの信頼性が低い可能性があるため、第１のカメラ３００の画像のみに基づいて、ワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態を判断するものである。
【0049】
本実施の形態においては、第２のカメラは、加速度センサ４７０や、振動センサなどを搭載する。
【0050】
図６に示すように、ＣＰＵ１１０は、加速度センサ４７０を利用して、第２のカメラ４００が振動しているときや、第２のカメラ４００の位置や姿勢が変化しているときには（ステップＳ２１２にてＹＥＳである場合）、１または複数の第１のカメラ３００，３００・・・の画像に基づいて、ワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態などを特定する（ステップＳ１３１～ステップＳ１３４）。
【0051】
ＣＰＵ１１０は、第２のカメラ４００の振動が小さく、位置や姿勢の変化も小さい場合には（ステップＳ２１２にてＮＯである場合）、ステップＳ１２０からの処理を実行する。
【0052】
ただし、加速度センサ４７０を利用する形態に限らず、ＣＰＵ１１０は、第２のカメラ４００の撮影画像中における変化が大きい場合に（ステップＳ２１２にてＹＥＳである場合）、ステップＳ１３１からの処理を実行し、第２のカメラ４００の撮影画像中における変化が小さい場合に（ステップＳ２１２にてＮＯである場合）、ステップＳ１２０からの処理を実行してもよい。
【0053】
あるいは、ＣＰＵ１１０は、第２のカメラ４００よりも第１のカメラ３００の方が変化が大きい場合に（ステップＳ２１２にてＹＥＳである場合）、ステップＳ１２０からの処理を実行し、第２のカメラ４００よりも第１のカメラ３００の方が変化が小さい場合に（ステップＳ２１２にてＮＯである場合）、ステップＳ１３１からの処理を実行してもよい。
【0054】
本実施の形態においては、第２のカメラ４００の精度が低い可能性が高い場合（ステップＳ２１２にてＹＥＳである場合）、ＣＰＵ１１０は、第２のカメラ４００を起動させない、あるいは撮影を行わせない、あるいは画像の送信を行わせないため、電池４５０の消耗を抑えることができる。
＜第３の実施の形態＞
＜第３の実施の形態＞
【0055】
あるいは、図７を参照して、ＣＰＵ１１０は、第１のカメラ３００の画像に基づいて、第１のカメラ３００の撮影画像中に、作業者の頭や体などの部位が映っているエリアが所定の割合よりも大きく、かつ手や腕などの映っているエリアが小さい場合に（ステップＳ３１２にてＹＥＳである場合）、第２のカメラ４００に撮影させたり、第１のカメラ３００によるデータと第２のカメラ４００によるデータとをマージしたりしてもよい。
【0056】
他にも、振動の判定の代わりに、あるいは振動の判定に加えて、ＣＰＵ１１０は、第２のカメラ４００の位置が、所定の位置、たとえば作業台の位置と第１のカメラ３００の間など、である場合に、第２のカメラ４００に撮影させたり、第１のカメラ３００の検出結果と第２のカメラ４００の検出結果とをマージしたりしてもよい。
【0057】
換言すれば、ＣＰＵ１１０は、第２のカメラ４００の位置が第１のカメラ３００の位置よりも低い位置にある場合に、第２のカメラ４００に撮影させたり、第１のカメラ３００の検出結果と第２のカメラ４００の検出結果とをマージしたりして、第２のカメラ４００の位置が第１のカメラ３００の位置よりも高い位置にある場合に、第２のカメラ４００の検出結果を利用しないようにしてもよい。
【0058】
あるいは、ＣＰＵ１１０は、第２のカメラ４００の姿勢が所定の方向である場合、たとえば第２のカメラ４００が下方を向いている場合などに、第２のカメラ４００に撮影させたり、第１のカメラ３００の画像と第２のカメラ４００の画像によるそれぞれの検出結果をマージしたりしてもよい。
【0059】
その他、対象領域のカバー範囲（隠れ、見切れ）、第２のカメラ４００の自己位置推定の信頼度（マーカが最後に検出できてからの位置・姿勢の変化量が多いなど）、画像品質（ボケ、露出オーバー/アンダー）などに基づいて、ＣＰＵ１１０は、第１のカメラ３００の検出結果と第２のカメラ４００の検出結果とをマージするか否かを決定してもよい。
＜第４の実施の形態＞
＜第４の実施の形態＞
【0060】
上記の実施の形態においては、第１のカメラ３００によるデータと第２のカメラ４００によるデータとをマージするものであった。しかしながら、所定の条件を満たす場合に、第２のカメラ４００によってワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態のデータを取得して、所定の条件を満たさない場合に、第１のカメラ３００によってワークＷ若しくは部品の位置または作業者の骨格姿勢若しくは状態のデータを取得してもよい。
【0061】
たとえば、図８を参照して、ＣＰＵ１１０は、第１のカメラ３００による撮影を開始する（ステップＳ１１０）。
【0062】
ＣＰＵ１１０は、第１のカメラ３００の画像に基づいて、第１のカメラ３００の撮影画像中に、作業者の頭や体などの部位が映っているエリアが所定の割合よりも大きいかあるいは、手や腕などの映っているエリアが小さいか否かを判断する（ステップＳ３１２）。
【0063】
作業者の頭や体などの部位が映っているエリアが所定の割合よりも小さく、あるいは手や腕などの映っているエリアが大きい場合（ステップＳ３１２にてＮＯである場合）、ＣＰＵ１１０は、第１のカメラ３００の位置がワールド座標系においてどこに設定されているかを取得する（ステップＳ１３１）。作業台に固定されているカメラの場合は、ワールド座標系におけるカメラの位置や姿勢が予め定められている。ロボット２００に取り付けられているカメラの場合は、ＣＰＵ１１０は、ワールド座標系におけるロボット２００の位置や姿勢と、ロボット２００に対する第１のカメラ３００の位置や姿勢とに基づいて、ワールド座標系における第１のカメラ３００の位置や姿勢や画角などを計算する。
【0064】
ＣＰＵ１１０は、ワールド座標系におけるカメラの画角などの情報に基づいて、第１のカメラ３００から見た座標から、ワールド座標系への第１の変換行列を算出する（ステップＳ１３２）。
【0065】
ＣＰＵ１１０は、第１のカメラ３００の画像に基づいて、第１のカメラ３００の視点からの２次元画像から、ワークＷや部品の検出や作業者の骨格姿勢の検出などを行なう（ステップＳ１３３）。
【0066】
たとえば、３次元カメラを用いる場合には、ＣＰＵ１１０は、上記で得られた２次元座標に、深さ情報を付記することによって、第１のカメラ３００の座標としてのワークＷ、部品や作業者の骨格姿勢の３次元座標が得られる。
【0067】
２次元カメラを用いる場合には、ＣＰＵ１１０は、複数の第１のカメラ３００，３００・・・によって同じ点を検出することができるため、三角推量などによって、ワークＷ、部品や作業者の骨格姿勢の３次元座標を得ることができる。
【0068】
ＣＰＵ１１０は、第１の変換行列を用いて、第１のカメラ３００の視点からのワークＷ、部品や作業者の骨格姿勢の座標をワールド座標へ変換する（ステップＳ１３４）。
【0069】
ＣＰＵ１１０は、ワークＷや部品の状態および作業者の骨格姿勢や状態に基づいて、各種のタスクの制御データに従って、ワークＷや部品に対する次の処理を決定する（ステップＳ１５０）。
【0070】
ＣＰＵ１１０は、通信インターフェイス１６０を介して、ロボット２００に制御命令を送信する（ステップＳ１５２）。
【0071】
一方、作業者の頭や体などの部位が移っているエリアが所定の割合よりも大きくかつ手や腕などの映っているエリアが小さい場合（ステップＳ３１２にてＹＥＳである場合）、ＣＰＵ１１０は、第２のカメラ４００が振動したり位置や姿勢が変化したりしているか否かを判断する（ステップＳ２１２）。
【0072】
第２のカメラ４００が振動したり位置や姿勢が変化したりしている場合は（ステップＳ２１２にてＹＥＳである場合）、ステップＳ１３１からの処理を実行する。
【0073】
第２のカメラ４００が安定している場合は（ステップＳ２１２にてＮＯである場合）、ＣＰＵ１１０は、第１のカメラ３００からの画像からＡＲマーカＭを認識する（ステップＳ１３６）。なお、第１のカメラ３００に関して、事前にキャリブレーション(変換行列算出)をしている場合は、ステップＳ１３６，ステップＳ１３８の処理は不要である。
【0074】
ＣＰＵ１１０は、第１のカメラ３００から見たＡＲマーカＭの位置と形状に基づいて、ＡＲマーカ基準の第１のカメラ３００の位置と姿勢とを計算する（ステップＳ１３７）。
【0075】
そして、ＣＰＵ１１０は、第２のカメラ４００からの画像からＡＲマーカＭを認識する（ステップＳ１３８）。
【0076】
ＣＰＵ１１０は、第２のカメラ４００から見たＡＲマーカＭの位置と形状に基づいて、ＡＲマーカ基準の第２のカメラ４００の位置と姿勢とを計算する（ステップＳ１３９）。
【0077】
ＣＰＵ１１０は、第２のカメラ４００から見た座標からワールド座標への第２の変換行列を計算する（ステップＳ１４０）。より詳細には、本実施の形態においては、ＣＰＵ１１０は、ステップＳ１３１とステップＳ１３２を実行することによって第１の変換行列を計算してから、第１のカメラ３００の位置と姿勢に対する第２のカメラ４００の位置と姿勢に基づいて、第１の変換行列から第２の変換行列を計算する。
【0078】
ＣＰＵ１１０は、第２のカメラ４００の画像に基づいて、第２のカメラ４００の視点からの２次元画像から、ワークＷや部品の検出や作業者の骨格姿勢の検出などを行なう（ステップＳ１４１）。
【0079】
たとえば、３次元カメラを用いる場合には、ＣＰＵ１１０は、上記で得られた２次元座標に、深さ情報を付記することによって、第２のカメラ４００の座標としてのワークＷ、部品や作業者の骨格姿勢の３次元座標が得られる。
【0080】
２次元カメラを用いる場合には、ＣＰＵ１１０は、複数の第２のカメラ４００，４００・・・によって同じ点を検出することができるため、三角推量などによって、ワークＷ、部品や作業者の骨格姿勢の３次元座標を得ることができる。
【0081】
ＣＰＵ１１０は、第２の変換行列を用いて、第２のカメラ４００の視点からのワークＷ、部品や作業者の骨格姿勢の座標をワールド座標へ変換する（ステップＳ１４２）。
【0082】
ＣＰＵ１１０は、ステップＳ１５０からの処理を実行する。
【0083】
なお、本実施の形態においても、振動の有無の判断に加速度センサ４７０を利用する形態だけでなく、ＣＰＵ１１０が、第２のカメラ４００の撮影画像中における変化が大きい場合に（ステップＳ２１２にてＹＥＳである場合）、ステップＳ１３１からの処理を実行し、第２のカメラ４００の撮影画像中における変化が小さい場合に（ステップＳ２１２にてＮＯである場合）、ステップＳ１２０からの処理を実行してもよい。
【0084】
あるいは、ＣＰＵ１１０は、第２のカメラ４００よりも第１のカメラ３００の方が変化が大きい場合に（ステップＳ２１２にてＹＥＳである場合）、ステップＳ１２０からの処理を実行し、第２のカメラ４００よりも第１のカメラ３００の方が変化が小さい場合に（ステップＳ２１２にてＮＯである場合）、ステップＳ１３１からの処理を実行してもよい。
【0085】
他にも、上記の判定の代わりに、あるいは上記の判定に加えて、ＣＰＵ１１０は、第２のカメラ４００の位置が、所定の位置、たとえば作業台の位置と第１のカメラ３００の間など、である場合に、ステップＳ１２０からの処理を実行し、そうでない場合にステップＳ１３１からの処理を実行してもよい。
【0086】
換言すれば、ＣＰＵ１１０は、第２のカメラ４００の位置が第１のカメラ３００の位置よりも低い位置にある場合に、ステップＳ１２０からの処理を実行し、そうでない場合にステップＳ１３１からの処理を実行してもよい。
【0087】
あるいは、ＣＰＵ１１０は、第２のカメラ４００の姿勢が所定の方向である場合、たとえば第２のカメラ４００が下方を向いている場合などに、ステップＳ１２０からの処理を実行し、そうでない場合にステップＳ１３１からの処理を実行してもよい。
【0088】
その他、対象領域のカバー範囲（隠れ、見切れ）、第２のカメラ４００の自己位置推定の信頼度（マーカが最後に検出できてからの位置や姿勢の変化量が多いなど）、画像品質（ボケ、露出オーバー/アンダー）などに基づいて、ＣＰＵ１１０は、ステップＳ１２０からの処理を実行するか、ステップＳ１３１からの処理を実行するかを判断してもよい。
＜第６の実施の形態＞
＜第６の実施の形態＞
【0089】
上記の実施の形態のロボット制御システム１の制御装置１００やロボット２００などの各装置の役割の一部または全部を他の装置が実行してもよい。たとえば、制御装置１００の役割の一部をロボット２００が担ったり、制御装置１００の役割を複数のパーソナルコンピューターで担ったり、制御装置１００の情報処理のクラウド上のサーバで実行してもよい。
＜まとめ＞
＜まとめ＞
【0090】
上記の実施の形態においては、ロボットと、ロボットに取り付けられた、または固定された、少なくとも１つの第１のカメラと、作業者に取り付けられる第２のカメラと、制御装置とを備えるロボット制御システムが提供される。制御装置は、第１のカメラの画像と、第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによってロボットを制御する。
【0091】
好ましくは、前記制御装置は、所定の条件を満たす場合に、前記少なくとも１つの第１のカメラの画像と、前記第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、前記所定の条件を満たさない場合に、前記少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する
【0092】
好ましくは、第２のカメラは、加速度センサを含む。制御装置は、前記所定の条件として、第２のカメラの位置や姿勢の変化が所定の程度よりも小さい場合に、少なくとも１つの第１のカメラの画像と、第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、第２のカメラの動きが所定の程度よりも大きい場合に、少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する。
【0093】
好ましくは、制御装置は、前記所定の条件として、作業者の体や頭によって少なくとも１つの第１のカメラから作業対象の一部が撮影できない場合に、少なくとも１つの第１のカメラの画像と、第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定し、少なくとも１つの第１のカメラから作業対象の全てが撮影できる場合に、少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定する。
【0094】
上記の実施の形態においては、第１のカメラと第２のカメラとロボットとの通信インターフェイスと、メモリと、プロセッサとを備える制御装置が提供される。プロセッサは、第１のカメラの画像と、第２のカメラの画像と、に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによってロボットを制御する。
【0095】
上記の実施の形態においては、ロボットと、固定カメラまたはロボットに取り付けられた少なくとも１つの第１のカメラと、作業者に取り付けられる第２のカメラと、制御装置とを備えるロボット制御システムが提供される。制御装置は、所定の条件を満たす場合に、第２のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによってロボットを制御し、前記所定の条件を満たさない場合に、少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによってロボットを制御する。
【0096】
上記の実施の形態においては、第１のカメラと第２のカメラとロボットとの通信インターフェイスと、メモリと、プロセッサとを備えるロボット制御システムが提供される。プロセッサは、所定の条件を満たす場合に、第２のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによってロボットを制御して、前記所定の条件を満たす場合に、少なくとも１つの第１のカメラの画像に基づいてワーク若しくは部品の位置または作業者の骨格姿勢若しくは状態を特定することによってロボットを制御する。
【0097】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0098】
１ ：ロボット制御システム
１００ ：制御装置
１１０ ：ＣＰＵ
１２０ ：メモリ
１３０ ：ディスプレイ
１４０ ：操作部
１５０ ：スピーカ
１６０ ：通信インターフェイス
２００ ：ロボット
３００ ：第１のカメラ
４００ ：第２のカメラ
４５０ ：電池
４６０ ：無線アンテナ
４７０ ：加速度センサ
１００ ：制御装置
１１０ ：ＣＰＵ
１２０ ：メモリ
１３０ ：ディスプレイ
１４０ ：操作部
１５０ ：スピーカ
１６０ ：通信インターフェイス
２００ ：ロボット
３００ ：第１のカメラ
４００ ：第２のカメラ
４５０ ：電池
４６０ ：無線アンテナ
４７０ ：加速度センサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】