特許 7517803 ロボット教示システム、画像生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】ロボット教示システム、画像生成方法、及びプログラム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20240709BHJP

   B25J 19/06 20060101ALI20240709BHJP

   G05B 19/42 20060101ALI20240709BHJP

【ＦＩ】

B25J9/22 A

B25J19/06

G05B19/42 H

【請求項の数】 10

(21)【出願番号】P 2019192908

(22)【出願日】2019-10-23

(65)【公開番号】P2021065971

(43)【公開日】2021-04-30

【審査請求日】2022-08-19

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100169856

【弁理士】

【氏名又は名称】尾山 栄啓

(72)【発明者】

【氏名】吉野 聖

【審査官】神山 貴行

(56)【参考文献】

【文献】特開２０１９－０９８５１３（ＪＰ，Ａ）

【文献】特開２０１８－１４７０３５（ＪＰ，Ａ）

【文献】中国特許出願公開第１０８８９８６７６（ＣＮ，Ａ）

【文献】特開２０１７－０９４４６６（ＪＰ，Ａ）

【文献】特開２０１５－１１４９０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０５Ｂ １９／１８－１９／４１６

Ｇ０５Ｂ １９／４２－１９／４６

(57)【特許請求の範囲】

【請求項1】

実空間内の所定の作業領域に配置された１以上のロボットを含む物体群の各々の前記実空間に設定した基準座標系内での配置情報と、前記所定の作業領域を撮影するカメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定し、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成する死角領域画像生成部と、
前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する拡張現実画像処理部と、を備え、
前記特定された物体が前記ロボット又は周辺装置である場合に、前記死角領域画像生成部は、前記ロボット又は前記周辺装置の動作プログラムから取得される前記ロボット又は前記周辺装置の位置及び姿勢に基づいて、前記ロボット又は前記周辺装置の画像を生成する、
ロボット教示システム。

【請求項2】

前記死角領域画像生成部は、前記ロボット又は前記周辺装置の前記動作プログラムから予測される、前記ロボット又は前記周辺装置の現在よりも先の時刻における位置及び姿勢に基づいて、前記ロボット又は前記周辺装置の画像を更に生成し、
前記拡張現実画像処理部は、前記先の時刻における前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像に更に重畳する、請求項１に記載のロボット教示システム。

【請求項3】

実空間内の所定の作業領域に配置された１以上のロボットを含む物体群の各々の前記実空間に設定した基準座標系内での配置情報と、前記所定の作業領域を撮影するカメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定し、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成する死角領域画像生成部と、
前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する拡張現実画像処理部と、を備え、
前記死角領域画像生成部は、前記死角の領域を撮影範囲に含むように配置された深度カメラにより得られる距離画像を前記特定された物体の位置及び姿勢に関する情報として用いると共に、前記深度カメラと前記カメラとの相対位置関係にさらに基づいて、前記死角の領域に少なくとも一部が含まれると特定された物体の画像を生成する、
ロボット教示システム。

【請求項4】

前記拡張現実画像処理部により前記実空間の画像に前記特定された物体の画像が重畳された拡張現実画像を表示する表示装置を更に備える、請求項１から３のいずれか一項に記載のロボット教示システム。

【請求項5】

前記表示装置は頭部装着型の表示装置である、請求項４に記載のロボット教示システム。

【請求項6】

実空間内の所定の作業領域に１以上のロボットを含む物体群が配置されて構成されたロボット教示システムにおいて用いられる画像生成方法であって、
前記実空間に設定した基準座標系に対する、前記所定の作業領域を撮影するカメラの位置及び姿勢を計測し、
前記物体群の各々の前記基準座標系内での配置情報と、前記カメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定すると共に、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成し、
前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する、ことを含み、
前記特定された物体の前記画像を生成することは、
前記特定された物体が前記ロボット又は周辺装置である場合に、前記ロボット又は前記周辺装置の動作プログラムから取得される前記ロボット又は前記周辺装置の位置及び姿勢に基づいて、前記ロボット又は前記周辺装置の画像を生成することを含む、
画像生成方法。

【請求項7】

実空間内の所定の作業領域に１以上のロボットを含む物体群が配置されて構成されたロボット教示システムにおいて用いられる画像生成方法であって、
前記実空間に設定した基準座標系に対する、前記所定の作業領域を撮影するカメラの位置及び姿勢を計測し、
前記物体群の各々の前記基準座標系内での配置情報と、前記カメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定すると共に、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成し、
前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する、ことを含み、
前記特定された物体の前記画像を生成することは、
前記死角の領域を撮影範囲に含むように配置された深度カメラにより得られる距離画像を前記特定された物体の位置及び姿勢に関する情報として用いると共に、前記深度カメラと前記カメラとの相対位置関係にさらに基づいて、前記死角の領域に少なくとも一部が含まれると特定された物体の画像を生成することを含む、
画像生成方法。

【請求項8】

実空間内の所定の作業領域に１以上のロボットを含む物体群が配置されて構成されたロボット教示システムにおいて用いられる画像生成のためのプログラムであって、
前記実空間に設定した基準座標系に対する、前記所定の作業領域を撮影するカメラの位置及び姿勢を計測する手順と、
前記物体群の各々の前記基準座標系内での配置情報と、前記カメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定すると共に、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成する手順と、
前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する手順と、
をコンピュータに実行させ、
前記特定された物体が前記ロボット又は周辺装置である場合に、前記画像を生成する手順において、前記ロボット又は前記周辺装置の動作プログラムから取得される前記ロボット又は前記周辺装置の位置及び姿勢に基づいて、前記ロボット又は前記周辺装置の画像を生成する、
プログラム。

【請求項9】

実空間内の所定の作業領域に１以上のロボットを含む物体群が配置されて構成されたロボット教示システムにおいて用いられる画像生成のためのプログラムであって、
前記実空間に設定した基準座標系に対する、前記所定の作業領域を撮影するカメラの位置及び姿勢を計測する手順と、
前記物体群の各々の前記基準座標系内での配置情報と、前記カメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定すると共に、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成する手順と、
前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する手順と、
をコンピュータに実行させ、
前記画像を生成する手順において、前記死角の領域を撮影範囲に含むように配置された深度カメラにより得られる距離画像を前記特定された物体の位置及び姿勢に関する情報として用いると共に、前記深度カメラと前記カメラとの相対位置関係にさらに基づいて、前記死角の領域に少なくとも一部が含まれると特定された物体の画像を生成する、
プログラム。

【請求項10】

少なくともロボット又は周辺装置の動作プログラムを記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
１以上のロボットを含む物体群の各々の基準座標系内での配置情報と、カメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定し、
前記特定された物体が前記ロボット又は前記周辺装置の場合に、前記動作プログラムに基づいて、前記ロボット又は前記周辺装置の位置及び姿勢の情報を取得し、
前記ロボット又は前記周辺装置の位置及び姿勢の情報に基づいて、前記ロボット又は前記周辺装置の前記カメラの位置から見た状態の画像を生成する、制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット教示システム、画像生成方法、及びプログラムに関する。

【背景技術】

【0002】

産業用ロボットの教示のための様々なシステムが提案されている。例えば、特許文献１は、「マニピュレータと該マニピュレータのコントローラ、該マニピュレータに保持された効果器、該効果器近傍に保持されたセンサ、該センサから得られる情報をモニタするモニタ手段より構成され、該マニピュレータを被作業対象物上を所定の経路に沿って動作するように教示データを作成する教示装置であって、前記効果器及び前記センサの位置・姿勢を決定するために前記マニピュレータに付設されている前記センサの情報をフィードバックするセンサデータ転送手段と、フィードバックされた情報を２次元及び３次元のグラフィックス指示、音声指示にマルチモーダル変換する変換手段と、変換された情報をオペレータに提示するオペレータ提示手段を有することを特徴とする教示装置」を記載する（特許文献１、請求項１）。

【0003】

特許文献２は、「ロボットに動作を教示するためのロボット装置であって、前記ロボットの動作を規定する動作プログラムを保持するプログラム保持部を有し、前記ロボットを前記動作プログラムに基づいて動作させるロボット制御部と、前記ロボットが含まれている画像データを取得するロボット撮像部と、仮想空間データを保持する仮想空間データ保持部、及び少なくとも前記画像データ及び前記仮想空間データを利用して拡張現実空間データを生成する拡張現実空間データ生成部を有するデータ処理部と、前記拡張現実空間データを利用して拡張現実空間の画像を表示する表示部と、を備え、前記仮想空間データは、前記ロボットの実作業空間に存在する物体を前記仮想空間において模擬した仮想物体の情報を含むロボット装置」を記載する（特許文献２、請求項１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平９－１３１６８１号公報

【文献】特開２０１４－１８０７０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

産業用ロボットの教示システムでは、安全性の観点から、安全柵内で教示作業を行う教示作業者の作業状況を、安全柵の外側から別の作業者が監視する構成とする場合がある。このような教示システムにおいては、例えば、教示作業者の視野外にあるロボットや周辺装置等の動きに伴い教示作業者に危険が及ぶ可能性が有ると判断した場合、外部の作業者は非常停止装置を作動させてロボットシステム全体を停止させる。しかしながら、非常停止装置と教示システム内に配置される物体の配置関係によっては、外部の作業者が安全柵内を視認し難い領域が発生し得る。このような教示システムにおいて、安全柵の外側から教示作業者を見守る外部の作業者が、迅速かつ確実に作業状況を把握することのできるロボット教示システム、画像生成方法、及びプログラムが望まれる。

【課題を解決するための手段】

【0006】

本開示の一態様は、実空間内の所定の作業領域に配置された１以上のロボットを含む物体群の各々の前記実空間に設定した基準座標系内での配置情報と、前記所定の作業領域を撮影するカメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定し、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成する死角領域画像生成部と、前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する拡張現実画像処理部と、を備え、前記特定された物体が前記ロボット又は周辺装置である場合に、前記死角領域画像生成部は、前記ロボット又は前記周辺装置の動作プログラムから取得される前記ロボット又は前記周辺装置の位置及び姿勢に基づいて、前記ロボット又は前記周辺装置の画像を生成する、ロボット教示システムである。

【0007】

本開示の別の態様は、実空間内の所定の作業領域に１以上のロボットを含む物体群が配置されて構成されたロボット教示システムにおいて用いられる画像生成方法であって、前記実空間に設定した基準座標系に対する、前記所定の作業領域を撮影するカメラの位置及び姿勢を計測し、前記物体群の各々の前記基準座標系内での配置情報と、前記カメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定すると共に、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成し、前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する、ことを含み、前記特定された物体の前記画像を生成することは、前記特定された物体が前記ロボット又は周辺装置である場合に、前記ロボット又は前記周辺装置の動作プログラムから取得される前記ロボット又は前記周辺装置の位置及び姿勢に基づいて、前記ロボット又は前記周辺装置の画像を生成することを含む、画像生成方法である。

【0008】

本開示の更に別の態様は、実空間内の所定の作業領域に１以上のロボットを含む物体群が配置されて構成されたロボット教示システムにおいて用いられる画像生成のためのプログラムであって、前記実空間に設定した基準座標系に対する、前記所定の作業領域を撮影するカメラの位置及び姿勢を計測する手順と、前記物体群の各々の前記基準座標系内での配置情報と、前記カメラの前記基準座標系に対する位置及び姿勢とに基づいて、前記物体群のうち前記カメラからみて死角の領域に少なくとも一部が含まれる物体を特定すると共に、前記特定された物体の位置及び姿勢に関する情報に基づいて、前記特定された物体の前記カメラの位置から見た状態の画像を生成する手順と、前記特定された物体の前記画像を、前記カメラにより撮像された前記実空間の画像上の、前記特定された物体の前記基準座標系内での位置に対応する画素位置に重畳する手順と、をコンピュータに実行させ、前記特定された物体が前記ロボット又は周辺装置である場合に、前記画像を生成する手順において、前記ロボット又は前記周辺装置の動作プログラムから取得される前記ロボット又は前記周辺装置の位置及び姿勢に基づいて、前記ロボット又は前記周辺装置の画像を生成する、プログラムである。

【発明の効果】

【0009】

以上の構成によれば、安全柵の外側から教示作業者を見守る外部の作業者が、迅速かつ確実に作業状況を把握することが可能となる。

【0010】

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係るロボット教示システムの各物体及び作業者の配置状態を模式的に示す図である。

【図2】第１実施形態に係るロボット教示システムのシステム構成図である。

【図3】ロボット制御装置の機能ブロック図である。

【図4】第１実施形態に係るＡＲ表示機器の機能ブロック図である。

【図5】図１のような物体の配置状態においてＡＲ表示機器に表示されている拡張現実画像の例を示している。

【図6】図５の拡張現実画像に更にロボットの予測姿勢を表す画像を重畳して表示する場合の拡張現実画像の例を表している。

【図7】第１実施形態に係る拡張現実画像生成処理の流れを表すフローチャートである。

【図8】第２実施形態に係るロボット教示システムの各物体及び作業者の配置状態を模式的に示す図である。

【図9】第２実施形態に係るロボット教示システムのシステム構成図である。

【図10】第１実施形態に係るＡＲ表示機器の機能ブロック図である。

【図11】図８のような物体の配置状態においてＡＲ表示機器に表示されている拡張現実画像の例を示している。

【図12】第２実施形態に係る拡張現実画像生成処理の流れを表すフローチャートである。

【発明を実施するための形態】

【0012】

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

【0013】

第１実施形態
図１は第１実施形態に係るロボット教示システム１０を上方から見た場合の各物体及び作業者の配置状態を模式的に示している。なお、図１では、便宜上、ロボット制御装置及び教示操作盤を省略している。図２は、ロボット教示システム１０のシステム構成図である。ロボット教示システム１０では、安全柵１５の内部（所定の作業領域）で教示作業を行う作業者３１（以下、内部作業者３１と記す）の教示作業の状況を、安全柵１５の外側にいる作業者３２（以下、外部作業者３２と記す）が見守る。以下で詳細に説明するように、外部作業者３２は、一例として頭部装着型の表示装置（ヘッドマウントディスプレイ）であるＡＲ表示機器９０の表示画面を通して作業状況を見守る。ＡＲ表示機器９０の表示画面には外部作業者３２からみて死角となる領域に存在する物体の画像が拡張現実画像として表示され、それにより外部作業者３２が作業状況を迅速に把握することが可能とされる。外部作業者３２は、非常停止ボタン６１の傍で教示作業を見守り、内部作業者３１に危険が及ぶ可能性が有ると判断した場合には非常停止ボタン６１を操作しロボット教示システム１０を停止させることができる。

【0014】

図１及び図２に示されるように、ロボット教示システム１０は、２台のロボット１、２と、ロボット１、２をそれぞれ制御するロボット制御装置１５０、２５０と、ロボット制御装置１５０、２５０にそれぞれ接続された教示操作盤１２０、２２０と、周辺装置３０と、拡張現実画像を生成する機能を有するＡＲ表示機器９０と、非常停止ボタン６１とを備える。ロボット制御装置１５０、２５０、周辺装置３０、及びＡＲ表示機器９０は、ネットワーク回線８を介して有線又は無線により互いに接続される。なお、ロボット教示システム１０におけるロボットや周辺装置の数は例示であり、これに限られるものではない。

【0015】

ロボット１、２は、本実施形態では垂直多関節ロボットであるが、他のタイプのロボットが用いられても良い。ロボット制御装置１５０は、ロボット１の動作プログラム、或いは、教示操作盤１２０を介した教示操作にしたがってロボット１の動作を制御する。ロボット制御装置２５０は、ロボット２の動作プログラム、或いは、教示操作盤２２０を介した教示操作にしたがってロボット２の動作を制御する。

【0016】

教示操作盤１２０、２２０は、教示に関する各種情報を表示する表示部と、操作入力を行うための操作部とを備える。周辺装置３０は、ワークを搬送するベルトコンベアやレール式搬送台車等の様々な機器である。非常停止ボタン６１は、ロボット制御装置１５０、２５０、及び周辺装置３０に接続され、非常停止ボタン６１を操作することでロボット１、２及び周辺装置３０を非常停止させることができる。

【0017】

外部作業者３２は、非常時には非常停止ボタン６１を操作する必要があるため、非常停止ボタン６１の傍で教示作業を見守る。そのため、ロボット教示システム１０内に配置された物体の位置に依存して、安全柵１５内の領域のうち外部作業者３２からは見えない死角が生じ得る。図１に示した状況では、周辺装置３０の存在により、外部作業者３２からみて周辺装置３０の背後が死角となり得る。この場合、ロボット２側に向かう外部作業者３２の視線ＳＨは周辺装置３０により遮られる。ＡＲ表示機器９０は本実施形態ではヘッドマウントディスプレイであり、外部作業者３２が装着する。ＡＲ表示機器９０は、外部作業者３２から安全柵１５内を見た場合の死角となる領域に存在する物体（例えば、ロボット２）の画像を生成して外部作業者３２がみる実空間の画像に重畳表示させる。これにより、外部作業者３２は、ＡＲ表示機器９０により生成される拡張現実画像を見ることで教示作業の状況を迅速書く確実に把握することができる。

【0018】

図３は、ロボット制御装置１５０の機能ブロック図である。なお、ロボット制御装置２５０も図３で示す構成と同様の機能構成を有しているため、以下で説明するロボット制御装置１５０に関する内容はロボット制御装置２５０にも同様に当てはまる。記憶部５１は、不揮発性記憶媒体であり、ロボット１の動作プログラム、ロボット１に関する各種設定情報を記憶する。プログラム読み取り部５２は、記憶部５１から動作プログラムを読み取る機能を担う。ロボット動作計算部５３は、プログラム読み取り部５２が読み取った動作プログラムの内容を解釈し、ロボット１の動作内容を計算する。具体的には、ロボット動作計算部５３は、動作プログラムに記述された動作指令を実現するための、ロボット１の各軸に備わるサーボモータの駆動装置の動作内容を計算する。

【0019】

ロボット動作指令部５４は、ロボット１の各軸のサーボモータに対してどの位置に移動するかの指令を出力する。情報入出力部５５は、教示操作盤１２０との情報のやり取りや、ネットワーク回線を介した外部機器（ＡＲ表示機器９０、周辺装置３０等）との情報のやり取りを司る。電源部６２は、入力電源から受け取った電源電圧をロボット１に必要な電源電圧に調整する機能を担う。非常停止部６３は、非常停止ボタン６１が押された際に、ロボット電力供給部６４への電源供給を遮断する機能を担う。ロボット電力供給部６４は、ロボット１の各軸のサーボモータへ電力を供給する機能を担う。

【0020】

図４は、ＡＲ表示機器９０の機能ブロック図である。ＡＲ表示機器９０は、撮像装置としてのカメラ９１と、情報記憶部９２と、動作プログラム取得部９３、カメラ位置姿勢計測部９４と、死角領域画像生成部９５と、拡張現実画像処理部９６と、装着者の眼前に配置されたディスプレイ９７とを備える。カメラ９１は、ＡＲ表示機器９０の前方に撮影レンズを向けて配置され、装着者（外部作業者３２）の視界に相当する実空間の画像（映像）を取得する。情報記憶部９２は、ロボット教示システム１０内のロボット１、２、周辺装置３０等の各物体の実空間に設定された基準座標系（以下、ワールド座標系と記す）内での配置情報、各物体の３Ｄモデルデータ等を記憶する。なお、これらの情報は、ＡＲ表示機器９０において予め記憶しておくようにしておいても良いし、ＡＲ表示機器９０がネットワーク回線８を介して外部機器（ロボット制御装置等）から取得するようにしても良い。

【0021】

動作プログラム取得部９３は、ロボット１、２及び周辺装置３０が実行する動作プログラムをネットワーク回線８を介して外部機器（ロボット制御装置１５０、２５０等）から取得して記憶する。このような動作プログラムを用いて、ＡＲ表示機器９０は、ロボット１，２及び周辺装置３０の現在位置や姿勢を知ると共に、先の時刻における位置や姿勢を予測することができる。動作プログラムを用いたロボット等の現在の又は先の時刻における位置及び姿勢の算出は、ＡＲ表示機器９０が各動作プログラムのサイクルタイム、動作開始タイミング、プログラム実行箇所等を必要に応じロボット制御装置１５０、２５０等から取得して実行するようにしても良い。

【0022】

カメラ位置姿勢計測部９４は、カメラ９１とロボット１、２等との相対位置関係を算出する。すなわち、カメラ位置姿勢計測部９４は、ワールド座標系に対するカメラ９１（すなわち、ＡＲ表示機器９０）の位置及び姿勢を算出する。本実施形態では、カメラ位置姿勢計測部９４は、実空間（ワールド座標系）内の既知の位置に配置された複数の視覚マーカの位置をカメラ９１により撮像された画像内で検出することにより、カメラ９１のワールド座標系内での位置及び姿勢を算出する。なお、カメラ９１のワールド座標系内での位置及び姿勢を計測する手法として、他の手法、例えば加速度センサやジャイロセンサを用いた手法が用いられても良い。

【0023】

死角領域画像生成部９５は、ワールド座標系内での各物体の配置情報（形状に関する情報を含む）と、ワールド座標系内でのカメラ９１の位置及び姿勢とに基づいて、物体群のうちカメラ９１からみて死角の領域に少なくとも一部が含まれる物体を特定し、その物体の位置及び姿勢に関する情報に基づいて、その物体をカメラ９１の位置から見た状態の画像を生成する。死角領域は、例えば、外部作業者３２から見た物体の背後側であって、外部作業者３２の視線がその物体により遮られることとなる領域である。死角領域は、３次元領域として、或いはカメラ９１により撮像される画像上の２次元領域として算出されても良い。そして、死角領域画像生成部９５は、外部作業者３２の死角領域に存在する物体の３Ｄモデルデータを用い、その物体の位置及び姿勢に関する情報に基づいて、その物体のカメラ９１の位置から見た状態の画像を生成する。

【0024】

拡張現実画像処理部９６は、死角領域画像生成部９５により生成された死角領域に存在する物体の画像を、カメラ９１からの実空間の映像上のその物体のワールド座標系内での位置に対応する画素位置に重畳する。このように生成された拡張現実画像が、ディスプレイ９７に表示される。

【0025】

図５は、図１のような物体群の配置状態において安全柵１５内を見守る外部作業者３２が装着するＡＲ表示機器９０に表示されている拡張現実画像の例を示している。ここでは、太枠Ｆ１で囲われる部分がＡＲ表示機器９０に表示される画像投影範囲である。カメラ位置姿勢計測部９４は、図５に示す画像内における視覚マーカＭ１、Ｍ２、Ｍ３の位置を検出することで、ワールド座標系内でのカメラ９１の位置及び姿勢を求める。図１の物体の配置状況の場合、死角領域画像生成部９５は、外部作業者３２からみて周辺装置３０の背後の領域を死角領域として求め、この死角領域に存在するロボット２の現在の位置及び姿勢に基づいてロボット２の画像を生成する。

【0026】

拡張現実画像処理部９６は、図５に示すように、ロボット２の画像を、カメラ９１からの実空間の映像内で、ロボット２のワールド座標系内での位置に対応する画素位置に重畳する。これにより、ディスプレイ９７上には、周辺装置３０に遮られているロボット２の画像が現在の姿勢で拡張現実画像として表示されることとなる。なお、ロボット２の画像は、半透過画像として重畳表示されても良い。

【0027】

図５のような拡張現実画像を見ながら内部作業者３１の教示作業を見守る外部作業者３２は、迅速かつ確実に作業状況を把握することが可能となる。

【0028】

死角領域画像生成部９５は、ロボット２の動作プログラムから、ロボット２が現在実行中の動作指令に対して先の動作指令を読み取ることで、ロボット２の先の時刻（例えば数秒後）の予測姿勢を表す画像を生成するようにしても良い。図６は、ＡＲ表示機器９０が図５のような拡張現実画像に更に予測姿勢を表す画像を重畳して表示する場合の拡張現実画像の例を表している。死角領域画像生成部９５は、ロボット２の動作プログラムのうち現在実行中の動作指令に対して先の動作指令を読み取り、先の時刻におけるロボット２の予測姿勢（詳細には、ロボット２の各軸の予測角度）を算出し、ロボット２の３Ｄモデルを用いて、予測姿勢を表す予測姿勢画像２Ａを生成する。拡張現実画像処理部９６は、このような予測姿勢画像２Ａをプレビュー画像として実空間の映像に更に重畳する。

【0029】

図６に示したような拡張現実画像を見ることで、外部作業者３２は、ロボット２の今後の動作を視覚的に捉え、より迅速かつ的確に作業状況を把握できることとなる。プレビュー画像は、ロボット２の現在の姿勢から予測姿勢までの動きを動画として表現するものであっても良い。或いは、死角領域画像生成部９５は、ロボット２の動作プログラムを読み取ることでロボット２のアームの姿勢変化を解釈し、ロボット２のアームの可動範囲を表す画像を生成するようにしても良い。この場合、拡張現実画像には、ロボット２のアームの可動範囲を示す画像を重畳することができる。

【0030】

図７は、以上説明したＡＲ表示機器９０による拡張現実画像生成処理の流れを表すフローチャートである。図７の処理は、ＡＲ表示機器９０のＣＰＵによる制御の下で実行される。例えば、ＡＲ表示機器９０の起動により本処理が開始されると、はじめに動作プログラム取得部９３により、ロボット制御装置１５０、２５０、及び周辺装置３０の動作プログラムの取得が行われる（ステップＳ１１）。次に、カメラ位置姿勢計測部９４より、ワールド座標系におけるカメラ９１（ＡＲ表示機器９０）の位置及び姿勢の計測が行われる（ステップＳ１２）。次に、死角領域画像生成部９５は、上述したように、物体群の各々のワールド座標系内での配置情報と、カメラ９１のワールド座標系に対する位置及び姿勢とに基づいて、物体群のうちカメラ９１からみて死角の領域に少なくとも一部が含まれる物体を特定すると共に、特定された物体の位置及び姿勢に関する情報に基づいて、その物体の前記カメラの位置から見た状態の画像を生成する（ステプＳ１３）。

【0031】

次に、拡張現実画像処理部９６は、ステップＳ１３において生成された死角領域に存在する物体の画像を、カメラ９１により撮像された実空間の画像上の、その物体のワールド座標系内で位置に対応する画素位置に重畳する（ステップＳ１４）。そして、このように生成された拡張現実画像が、ディスプレイ９７に表示される（ステップＳ１５）。

【0032】

第２実施形態
第１実施形態はＡＲ表示機器９０が動作プログラムをロボット制御装置等から取得することでロボットの現在位置及び姿勢の把握や動作予測を行う構成であった。ロボット教示システム内の装置がネットワーク接続されていなかったり、各ロボットの製造元が異なっていたりする場合など、ＡＲ表示機器９０において各装置の動作プログラムを利用できない場合が考えられる。第２実施形態に係るロボット教示システム１０Ａは、このような各装置からの動作プログラムが取得できない状況においても、外部作業者３２の死角の領域に存在する物体の画像を拡張現実画像として生成することができるように構成される。

【0033】

図８は、第２実施形態に係るロボット教示システム１０Ａを上方から見た場合の各物体及び作業者の配置状態を模式的に示している。なお、図８では、便宜上、ロボット制御装置及び教示操作盤を省略している。図９は、ロボット教示システム１０Ａのシステム構成図である。図８に示される通り、本実施形態においても、ロボット１、２、周辺装置３０、非常停止ボタン６１、内部作業者３１、及び外部作業者３２の配置状態は図１の場合と同様である。図８及び図９に示される通り、第２実施形態では、ロボット教示システム１０Ａ内に深度カメラ８０が配置され、ＡＲ表示機器９０Ａは、深度カメラ８０が取得する距離画像を用いることで、外部作業者３２の死角領域の物体の画像を生成する。以下では、説明の重複を避けるため、深度カメラ８０の距離画像の利用による外部作業者３２の死角領域の物体の画像を生成という点に焦点を当てて説明することとする。

【0034】

図８及び図９に示すように、ロボット教示システム１０Ａは、２台のロボット１、２と、ロボット１、２をそれぞれ制御するロボット制御装置１５０、２５０と、ロボット制御装置１５０、２５０にそれぞれ接続された教示操作盤１２０、２２０と、周辺装置３０と、ＡＲ表示機器９０Ａと、深度カメラ８０とを備える。深度カメラ８０は、ＡＲ表示機器９０Ａ、ロボット制御装置１５０、２５０、及び周辺装置３０とネットワーク回線８を介して接続されている。深度カメラ８０は、撮影対象物までの距離情報を表す距離画像を生成する、いわゆる３次元カメラである。なお、深度カメラ８０として、撮影対象物に投影パターンを投射しステレオ法により距離を計測するステレオカメラ、光の飛行時間を利用して対象物までの距離を計測するいわゆるＴＯＦ（Time-of-Flight）カメラ等の各種方式のものを用いることができる。

【0035】

図８に示すように、深度カメラ８０は、外部作業者３２の死角の領域を撮影範囲としてカバー可能な、ロボット教示システム１０Ａ内における既知の位置に既知の姿勢で配置される。例えば、深度カメラ８０は、ロボット教示システム１０Ａ全体を撮影範囲としてカバーできる天井の中央部に配置される（図１１参照）。

【0036】

図１０は、ＡＲ表示機器９０Ａの機能ブロック図である。ＡＲ表示機器９０Ａは、カメラ９１と、情報記憶部９２Ａと、距離画像取得部９８と、カメラ位置姿勢計測部９４と、死角領域画像生成部９５Ａと、拡張現実画像処理部９６と、ディスプレイ９７とを備える。カメラ９１と、カメラ位置姿勢計測部９４と、拡張現実画像処理部９６と、ディスプレイ９７は、第１実施形態の場合と同じ機能を有する。距離画像取得部９８は、深度カメラ８０が生成した距離画像を取得する。情報記憶部９２Ａは、ロボット教示システム１０内のロボット１、２、周辺装置３０等の各物体のワールド座標系内での配置情報（形状情報を含む）を記憶する。深度カメラ８０のロボット教示システム１０Ａ内（すなわち、ワールド座標系内）での位置及び姿勢（光軸の方向）の情報は、ＡＲ表示機器９０は例えば情報記憶部９２Ａ内に予め保有しているとする。したがって、深度カメラ８０とＡＲ表示機器９０Ａとの相対位置関係は、ＡＲ表示機器９０Ａにおいて既知である。死角領域画像生成部９５Ａは、深度カメラ８０が計測した物体までの距離情報（３次元位置）を、ＡＲ表示機器９０の位置から物体までの距離情報（３次元位置）に変換することができる。

【0037】

死角領域画像生成部９５Ａは、外部作業者３２の死角となる領域を第１実施形態で説明したやり方で求めている。死角領域画像生成部９５Ａは、距離画像を用いて、外部作業者３２の死角領域に存在する物体の画像を生成する。例えば、距離画像における３次元点群のうち死角領域に存在する点群を抽出することで、死角領域の存在する物体の画像を得て、更にこの物体画像をカメラ９１の位置から見た状態の画像として生成することができる。すなわち、死角領域画像生成部９５Ａは、距離画像を、死角領域の存在する物体の位置及び姿勢に関する情報として用いる。

【0038】

拡張現実画像処理部９６は、死角領域画像生成部９５Ａにより生成された死角領域に存在する物体の画像を、カメラ９１により撮像された実空間の画像上の、その物体の３次元位置に対応する画素位置に重畳する。図１１は、図８のような物体の配置状態において安全柵１５内を見守る外部作業者３２が装着するＡＲ表示機器９０Ａに表示されている拡張現実画像の例を示している。なお、ここでは、太枠Ｆ２で囲われる部分がＡＲ表示機器９０Ａに表示される画像投影範囲である。図１１の画像では、外部作業者３２の死角となる周辺装置３０の背後に、死角領域画像生成部９５Ａにより生成されたロボット２の画像２Ｂが重畳表示されている。

【0039】

図１１のような拡張現実画像を見ながら内部作業者３１の教示作業を見守る外部作業者３２は、迅速かつ確実に作業状況を把握することが可能となる。

【0040】

図１２は、以上説明したＡＲ表示機器９０Ａによる拡張現実画像生成処理の流れを表すフローチャートである。図１２の処理は、ＡＲ表示機器９０ＡのＣＰＵによる制御の下で実行される。例えば、ＡＲ表示機器９０Ａの起動により本処理が開始されると、はじめに距離画像取得部９８により、深度カメラ８０からの距離画像の取得が行われる（ステップＳ２１）。次に、カメラ位置姿勢計測部９４により、ワールド座標系におけるカメラ９１（ＡＲ表示機器９０Ａ）の位置及び姿勢の計測が行われる（ステップＳ２２）。次に、死角領域画像生成部９５Ａは、ステップＳ２１で取得した距離画像と、深度カメラ８０とカメラ９１との相対位置関係とに基づいて、死角領域に少なくとも一部が含まれると特定された物体のカメラ９１の位置から見た状態の画像を生成する（ステップＳ２３）。

【0041】

次に、拡張現実画像処理部９６は、ステップＳ２３において生成された死角領域に存在する物体の画像を、カメラ９１により撮像された実空間の画像上の、その物体の３次元位置に対応する画素位置に重畳する（ステップＳ２４）。そして、このように生成された拡張現実画像が、ディスプレイ９７に表示される（ステップＳ２５）。

【0042】

以上説明したように、各実施形態によれば、安全柵の外側から教示作業者を見守る外部の作業者が、迅速かつ確実に作業状況を把握することが可能となる。

【0043】

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

【0044】

上述の各実施形態におけるロボット制御装置とＡＲ表示機器との機能の配分は例示であって、これに限るものではない。例えば、ＡＲ表示機器に配置された機能の一部（例えば、死角領域画像生成部の機能）がロボット制御装置側に配置されていても良い。

【0045】

ＡＲ表示機器は、カメラを搭載したタブレット端末等の情報処理機器で実現されても良い。

【0046】

上述の実施形態においてＡＲ表示機器が有するものとして説明した各機能ブロックは、ＡＲ表示機器のＣＰＵが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated IC）等のハードウェアを主体とした構成により実現されても良い。

【0047】

ロボット制御装置及びＡＲ表示機器は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、操作部、表示部、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。図７や図１２で示した拡張現実画像生成処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

【符号の説明】

【0048】

１、２ ロボット
１０、１０Ａ ロボット教示システム
３０ 周辺装置
６１ 非常停止ボタン
９０、９０Ａ ＡＲ表示機器
９１ カメラ
９２、９２Ａ 情報記憶部
９３ 動作プログラム取得部
９４ カメラ位置姿勢計測部
９５、９５Ａ 死角領域画像生成部
９６ 拡張現実画像処理部
９７ ディスプレイ
９８ 距離画像取得部
１２０、２２０ 教示操作盤
１５０、２５０ ロボット制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】