知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】拡張現実表示装置、及び拡張現実表示システム
(51)【国際特許分類】
B25J 19/06 20060101AFI20241022BHJP
【ＦＩ】
B25J19/06
【請求項の数】
5
(21)【出願番号】P 2022569889
(86)(22)【出願日】2021-12-07
(86)【国際出願番号】 JP2021044866
(87)【国際公開番号】W WO2022131068
(87)【国際公開日】2022-06-23
【審査請求日】2023-05-19
(31)【優先権主張番号】P 2020206847
(32)【優先日】2020-12-14
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100160794
【弁理士】
【氏名又は名称】星野 寛明
(72)【発明者】
【氏名】中田 洋平
(72)【発明者】
【氏名】本▲高▼ 丈士
【審査官】松浦 陽
(56)【参考文献】
【文献】特開２０１８－００８３４７（ＪＰ，Ａ）
【文献】国際公開第２０１１／０８０８８２（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０９２７９２（ＷＯ，Ａ１）
【文献】特開２０２０－１２１３５１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ － ２１／０２
Ｇ０５Ｂ １９／１８ － １９／４１６
Ｇ０５Ｂ １９／４２ － １９／４２７
(57)【特許請求の範囲】
【請求項1】
カメラと、表示部と、
前記カメラにより撮影されたロボットの画像と、前記ロボットの動作領域の拡張現実画像と、を前記表示部に表示する表示制御部と、
を備える拡張現実表示装置であって、
前記カメラにより撮影された前記ロボットの画像の特徴量と、予め設定された前記ロボットの３次元認識モデルの特徴量とのマッチングに基づいて、ワールド座標系におけるロボット原点の３次元座標を取得する座標取得部と、
前記カメラの３次元座標を取得する情報取得部と、
前記ロボット原点の３次元座標と前記カメラの３次元座標とに基づいて前記ロボットと前記拡張現実表示装置との間の距離を算出する距離算出部と、をさらに備え、
前記表示制御部は、前記座標取得部により取得された前記ロボット原点の３次元座標を基準として前記ロボットの画像に前記ロボットの動作領域の拡張現実画像を配置して前記表示部に表示するとともに、算出された前記ロボットと前記拡張現実表示装置との間の距離に応じて前記ロボットの動作領域の表示形態を変更する拡張現実表示装置。
【請求項2】
外部装置との間で通信する通信部を備え、前記情報取得部は、前記外部装置から前記ロボットの動作領域を示す設定情報を取得する、請求項１に記載の拡張現実表示装置。
【請求項3】
ユーザからの入力を受け付ける入力部を備え、前記情報取得部は、前記入力部を介して前記ユーザから前記ロボットの動作領域を示す設定情報を取得する、請求項１又は請求項２に記載の拡張現実表示装置。
【請求項4】
前記情報取得部は、少なくとも前記ロボットの次の目標位置座標を取得し、前記表示制御部は、前記ロボットの動作領域の拡張現実画像とともに前記次の目標位置座標までの動作軌跡の拡張現実画像を前記表示部に表示する、請求項１から請求項３のいずれか１項に記載の拡張現実表示装置。
【請求項5】
ロボットと、請求項１から請求項４のいずれか１項に記載の拡張現実表示装置と、
を備える拡張現実表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実表示装置、及び拡張現実表示システムに関する。
【背景技術】
【0002】
ロボットの動作領域内に安全監視対象である作業者が入る可能性がある場合、作業者の周りにロボットの動作領域が設定され、ロボットが動作領域に侵入した際にロボットの安全動作制御や、緊急停止制御等を行う技術が知られている。例えば、特許文献１参照。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００４－２４３４２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、作業者がロボットの動作領域を視認できないため、誤って動作領域に侵入してロボットを停止させてしまうことがある。これにより、ロボットの作業効率が低下してしまう。
【0005】
そこで、ロボットの動作領域を容易に確認することが望まれている。
【課題を解決するための手段】
【0006】
（１） 本開示の拡張現実表示装置は、カメラと、表示部と、前記カメラにより撮影されたロボットの画像と、前記ロボットの動作領域の拡張現実画像と、を前記表示部に表示する表示制御部と、を備える。
【0007】
（２） 本開示の拡張現実表示システムは、ロボットと、（１）の拡張現実表示装置と、を備える。
【発明の効果】
【0008】
一態様によれば、ロボットの動作領域を容易に確認することができる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る拡張現実表示システムの機能的構成例を示す機能ブロック図である。
【図2A】動作プログラムの一例を示す図である。
【図2B】動作プログラムにおいて教示された目標位置座標のリストの一例を示す図である。
【図3】ロボットの動作領域のＡＲ画像の表示の一例を示す図である。
【図4】次の目標位置座標までの動作軌跡のＡＲ画像の表示の一例を示す図である。
【図5】ロボットの動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像の表示の一例を示す図である。
【図6】拡張現実表示装置の表示処理について説明するフローチャートである。
【発明を実施するための形態】
【0010】
＜一実施形態＞
以下、一実施形態について図面を用いて説明する。
図１は、一実施形態に係る拡張現実表示システムの機能的構成例を示す機能ブロック図である。
図１に示すように、拡張現実表示システム１は、ロボット１０、及び拡張現実表示装置２０を有する。
以下、一実施形態について図面を用いて説明する。
図１は、一実施形態に係る拡張現実表示システムの機能的構成例を示す機能ブロック図である。
図１に示すように、拡張現実表示システム１は、ロボット１０、及び拡張現実表示装置２０を有する。
【0011】
＜ロボット１０＞
ロボット１０は、例えば、当業者にとって公知の産業用ロボット等である。ロボット１０は、ロボット制御装置（図示しない）からの駆動指令に基づいて、ロボット１０に含まれる図示しない複数の関節軸の各々に配置される図示しないサーボモータを駆動することにより、ロボット１０の可動部材（図示しない）を駆動する。
ロボット１０は、例えば、当業者にとって公知の産業用ロボット等である。ロボット１０は、ロボット制御装置（図示しない）からの駆動指令に基づいて、ロボット１０に含まれる図示しない複数の関節軸の各々に配置される図示しないサーボモータを駆動することにより、ロボット１０の可動部材（図示しない）を駆動する。
【0012】
＜拡張現実表示装置２０＞
拡張現実表示装置２０は、例えば、スマートフォン、タブレット端末、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス等である。
図１に示すように、本実施形態に係る拡張現実表示装置２０は、制御部２１、カメラ２２、入力部２３、表示部２４、記憶部２５、及び通信部２６を有する。また、制御部２１は、座標取得部２１１、情報取得部２１２、距離算出部２１３、ＡＲ画像生成部２１４、及び表示制御部２１５を有する。
拡張現実表示装置２０は、例えば、スマートフォン、タブレット端末、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス等である。
図１に示すように、本実施形態に係る拡張現実表示装置２０は、制御部２１、カメラ２２、入力部２３、表示部２４、記憶部２５、及び通信部２６を有する。また、制御部２１は、座標取得部２１１、情報取得部２１２、距離算出部２１３、ＡＲ画像生成部２１４、及び表示制御部２１５を有する。
【0013】
カメラ２２は、例えば、デジタルカメラ等であり、ユーザである作業者の操作に基づいてロボット１０を撮影し、カメラ２２の光軸に対して垂直な平面に投影した２次元の画像データを生成する。カメラ２２により生成される画像データは、ＲＧＢカラー画像等の可視光画像でもよい。
【0014】
入力部２３は、例えば、後述する表示部２４に配置されたタッチパネル（図示しない）等であり、ユーザである作業者からの入力操作を受け付ける。
【0015】
表示部２４は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等である。表示部２４は、後述する表示制御部２１５の制御指令に基づいて、カメラ２２が撮影したロボット１０の画像と、後述の通信部２６を介して後述の情報取得部２１２がロボット制御装置（図示しない）から取得したロボット１０の動作領域の拡張現実画像（ＡＲ画像）と、を表示する。
【0016】
記憶部２５は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等であり、後述する制御部２１が実行するシステムプログラム及び拡張現実表示アプリケーションプログラム等を格納する。また、記憶部２５は、３次元認識モデルデータ２５１が記憶されてもよい。
３次元認識モデルデータ２５１は、例えば、予めロボット１０の姿勢や方向を変化させ、カメラ２２により様々な距離、角度（傾き）で撮影されたロボット１０の複数の画像それぞれから抽出されたエッジ量等の特徴量を、３次元認識モデルとして格納する。また、３次元認識モデルデータ２５１は、各３次元認識モデルの画像が撮影された時のワールド座標系におけるロボット１０のロボット座標系の原点（以下、「ロボット原点」ともいう）の３次元座標、及びワールド座標系におけるロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報も、３次元認識モデルに対応付けして格納するようにしてもよい。
なお、ワールド座標系の原点、及びＸ軸、Ｙ軸、Ｚ軸の各方向は、拡張現実表示装置２０が上述の拡張現実表示アプリケーションプログラムを実行した時の拡張現実表示装置２０の位置、すなわちカメラ２２のカメラ座標系の原点、及びＸ軸、Ｙ軸、Ｚ軸の各方向と一致するように定義される。そして、拡張現実表示アプリケーションプログラムを実行した後に拡張現実表示装置２０（カメラ２２）が移動すると、カメラ座標系における原点はワールド座標系における原点から移動する。
３次元認識モデルデータ２５１は、例えば、予めロボット１０の姿勢や方向を変化させ、カメラ２２により様々な距離、角度（傾き）で撮影されたロボット１０の複数の画像それぞれから抽出されたエッジ量等の特徴量を、３次元認識モデルとして格納する。また、３次元認識モデルデータ２５１は、各３次元認識モデルの画像が撮影された時のワールド座標系におけるロボット１０のロボット座標系の原点（以下、「ロボット原点」ともいう）の３次元座標、及びワールド座標系におけるロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報も、３次元認識モデルに対応付けして格納するようにしてもよい。
なお、ワールド座標系の原点、及びＸ軸、Ｙ軸、Ｚ軸の各方向は、拡張現実表示装置２０が上述の拡張現実表示アプリケーションプログラムを実行した時の拡張現実表示装置２０の位置、すなわちカメラ２２のカメラ座標系の原点、及びＸ軸、Ｙ軸、Ｚ軸の各方向と一致するように定義される。そして、拡張現実表示アプリケーションプログラムを実行した後に拡張現実表示装置２０（カメラ２２）が移動すると、カメラ座標系における原点はワールド座標系における原点から移動する。
【0017】
通信部２６は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、及び４Ｇや５Ｇ等の規格に準拠した携帯電話網等のネットワークとデータの送受信を行う通信制御デバイスである。通信部２６は、ロボット１０の動作を制御する、外部装置としてのロボット制御装置（図示しない）と通信するようにしてもよい。
【0018】
＜制御部２１＞
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは拡張現実表示装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及び拡張現実表示アプリケーションプログラムを、バスを介して読み出し、システムプログラム及び拡張現実表示アプリケーションプログラムに従って拡張現実表示装置２０全体を制御する。これにより、図１に示すように、制御部２１が、座標取得部２１１、情報取得部２１２、距離算出部２１３、ＡＲ画像生成部２１４、及び表示制御部２１５の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、拡張現実表示装置２０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは拡張現実表示装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及び拡張現実表示アプリケーションプログラムを、バスを介して読み出し、システムプログラム及び拡張現実表示アプリケーションプログラムに従って拡張現実表示装置２０全体を制御する。これにより、図１に示すように、制御部２１が、座標取得部２１１、情報取得部２１２、距離算出部２１３、ＡＲ画像生成部２１４、及び表示制御部２１５の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、拡張現実表示装置２０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
【0019】
＜座標取得部２１１＞
座標取得部２１１は、例えば、カメラ２２により撮影されたロボット１０の画像に基づいて、ワールド座標系におけるロボット原点の３次元座標を取得する。
具体的には、座標取得部２１１は、例えば、公知のロボットの３次元座標認識の方法（例えば、https://linx.jp/product/mvtec/halcon/feature/3d_vision.html）を用いて、カメラ２２により撮影されたロボット１０の画像からエッジ量等の特徴量を抽出する。座標取得部２１１は、抽出した特徴量と、３次元認識モデルデータ２５１に格納された３次元認識モデルの特徴量とのマッチングを行う。座標取得部２１１は、マッチングの結果に基づいて、例えば、一致度が最も高い３次元認識モデルにおけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
なお、座標取得部２１１は、ロボットの３次元座標認識の方法を用いて、ワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得したが、これに限定されない。例えば、座標取得部２１１は、ロボット１０にチェッカーボード等のマーカーを取り付け、公知のマーカー認識技術に基づいてカメラ２２により撮影された当該マーカーの画像からワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得するようにしてもよい。
あるいは、ロボット１０にＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の屋内測位デバイスが取り付けられ、座標取得部２１１は、屋内測位デバイスからワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得するようにしてもよい。
座標取得部２１１は、例えば、カメラ２２により撮影されたロボット１０の画像に基づいて、ワールド座標系におけるロボット原点の３次元座標を取得する。
具体的には、座標取得部２１１は、例えば、公知のロボットの３次元座標認識の方法（例えば、https://linx.jp/product/mvtec/halcon/feature/3d_vision.html）を用いて、カメラ２２により撮影されたロボット１０の画像からエッジ量等の特徴量を抽出する。座標取得部２１１は、抽出した特徴量と、３次元認識モデルデータ２５１に格納された３次元認識モデルの特徴量とのマッチングを行う。座標取得部２１１は、マッチングの結果に基づいて、例えば、一致度が最も高い３次元認識モデルにおけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
なお、座標取得部２１１は、ロボットの３次元座標認識の方法を用いて、ワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得したが、これに限定されない。例えば、座標取得部２１１は、ロボット１０にチェッカーボード等のマーカーを取り付け、公知のマーカー認識技術に基づいてカメラ２２により撮影された当該マーカーの画像からワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得するようにしてもよい。
あるいは、ロボット１０にＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の屋内測位デバイスが取り付けられ、座標取得部２１１は、屋内測位デバイスからワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得するようにしてもよい。
【0020】
＜情報取得部２１２＞
情報取得部２１２は、例えば、拡張現実表示装置２０に含まれるＧＰＳセンサや電子ジャイロ等のセンサ（図示しない）からの信号に基づいて、ワールド座標系におけるカメラ２２のカメラ座標系の原点の３次元座標（以下、「カメラ２２の３次元座標」ともいう）を取得する。
また、情報取得部２１２は、通信部２６を介してロボット制御装置（図示しない）に問い合わせし、ロボット制御装置（図示しない）からロボット１０の動作領域を示す設定情報を取得してもよい。なお、ロボット１０の動作領域は、ロボット１０の一部及びロボット１０の全てが通過し得る領域であり、ロボット座標系で予め定義されている。このため、後述するＡＲ画像生成部２１４は、ワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向に基づいて、ロボット１０の動作領域の設定情報をワールド座標系に変換する。
また、情報取得部２１２は、入力部２３を介して作業者の入力操作に応じてロボット１０の動作領域の設定情報を取得するようにしてもよい。
情報取得部２１２は、例えば、拡張現実表示装置２０に含まれるＧＰＳセンサや電子ジャイロ等のセンサ（図示しない）からの信号に基づいて、ワールド座標系におけるカメラ２２のカメラ座標系の原点の３次元座標（以下、「カメラ２２の３次元座標」ともいう）を取得する。
また、情報取得部２１２は、通信部２６を介してロボット制御装置（図示しない）に問い合わせし、ロボット制御装置（図示しない）からロボット１０の動作領域を示す設定情報を取得してもよい。なお、ロボット１０の動作領域は、ロボット１０の一部及びロボット１０の全てが通過し得る領域であり、ロボット座標系で予め定義されている。このため、後述するＡＲ画像生成部２１４は、ワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向に基づいて、ロボット１０の動作領域の設定情報をワールド座標系に変換する。
また、情報取得部２１２は、入力部２３を介して作業者の入力操作に応じてロボット１０の動作領域の設定情報を取得するようにしてもよい。
【0021】
また、情報取得部２１２は、通信部２６を介してロボット制御装置（図示しない）に問い合わせし、ロボット制御装置（図示しない）から実行している動作プログラムにおいて教示された少なくとも次の目標位置座標を取得するようにしてもよい。
図２Ａは、動作プログラムの一例を示す図である。図２Ｂは、動作プログラムにおいて教示された目標位置座標のリストの一例を示す図である。
例えば、情報取得部２１２は、ロボット制御装置（図示しない）に次の目標位置座標を問い合わせしたとき、ロボット制御装置（図示しない）は、図２Ａのプログラムの「ＭＯＶＥ Ｐ２」のブロックを実行している場合、次のブロック「ＭＯＶＥ Ｐ３」における目標位置Ｐ３の座標を図２Ｂのリストから読み出す。これにより、情報取得部２１２は、次の目標位置座標として目標位置Ｐ３の座標をロボット制御装置（図示しない）から取得する。
なお、図２Ｂの目標位置Ｐ１～Ｐ４等の座標は、ロボット座標系におけるＸ座標、Ｙ座標、Ｚ座標、Ｘ軸周りの回転角Ｒ、Ｙ軸周りの回転角Ｐ、及びＺ軸周りの回転角Ｗの成分を含む。
図２Ａは、動作プログラムの一例を示す図である。図２Ｂは、動作プログラムにおいて教示された目標位置座標のリストの一例を示す図である。
例えば、情報取得部２１２は、ロボット制御装置（図示しない）に次の目標位置座標を問い合わせしたとき、ロボット制御装置（図示しない）は、図２Ａのプログラムの「ＭＯＶＥ Ｐ２」のブロックを実行している場合、次のブロック「ＭＯＶＥ Ｐ３」における目標位置Ｐ３の座標を図２Ｂのリストから読み出す。これにより、情報取得部２１２は、次の目標位置座標として目標位置Ｐ３の座標をロボット制御装置（図示しない）から取得する。
なお、図２Ｂの目標位置Ｐ１～Ｐ４等の座標は、ロボット座標系におけるＸ座標、Ｙ座標、Ｚ座標、Ｘ軸周りの回転角Ｒ、Ｙ軸周りの回転角Ｐ、及びＺ軸周りの回転角Ｗの成分を含む。
【0022】
＜距離算出部２１３＞
距離算出部２１３は、座標取得部２１１により取得されたワールド座標系におけるロボット原点の３次元座標と、情報取得部２１２により取得されたワールド座標系におけるカメラ２２の３次元座標とに基づいてロボット１０と拡張現実表示装置２０との間の距離を算出する。
距離算出部２１３は、座標取得部２１１により取得されたワールド座標系におけるロボット原点の３次元座標と、情報取得部２１２により取得されたワールド座標系におけるカメラ２２の３次元座標とに基づいてロボット１０と拡張現実表示装置２０との間の距離を算出する。
【0023】
＜ＡＲ画像生成部２１４＞
ＡＲ画像生成部２１４は、例えば、ロボット１０のロボット原点の３次元座標、ロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向、カメラ２２の３次元座標、ロボット１０の動作領域を示す設定情報、及びロボット１０の次の目標位置座標に基づいて、ロボット１０の動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像を逐次生成する。
具体的には、ＡＲ画像生成部２１４は、例えば、ワールド座標系におけるロボット１０のロボット原点の３次元座標、ロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向に基づいて、ロボット１０の動作領域の設定情報を、ロボット座標系からワールド座標系に変換し、ロボット１０の動作領域のＡＲ画像を生成する。
また、ＡＲ画像生成部２１４は、例えば、ワールド座標系におけるロボット１０のロボット原点の３次元座標、ロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向に基づいて、ロボット１０の次の目標位置座標を、ロボット座標系からワールド座標系に変換し、ロボット１０の次の目標位置座標までの動作軌跡のＡＲ画像を生成する。
ＡＲ画像生成部２１４は、例えば、ロボット１０のロボット原点の３次元座標、ロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向、カメラ２２の３次元座標、ロボット１０の動作領域を示す設定情報、及びロボット１０の次の目標位置座標に基づいて、ロボット１０の動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像を逐次生成する。
具体的には、ＡＲ画像生成部２１４は、例えば、ワールド座標系におけるロボット１０のロボット原点の３次元座標、ロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向に基づいて、ロボット１０の動作領域の設定情報を、ロボット座標系からワールド座標系に変換し、ロボット１０の動作領域のＡＲ画像を生成する。
また、ＡＲ画像生成部２１４は、例えば、ワールド座標系におけるロボット１０のロボット原点の３次元座標、ロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向に基づいて、ロボット１０の次の目標位置座標を、ロボット座標系からワールド座標系に変換し、ロボット１０の次の目標位置座標までの動作軌跡のＡＲ画像を生成する。
【0024】
＜表示制御部２１５＞
表示制御部２１５は、例えば、カメラ２２により撮影されたロボット１０の画像と、ＡＲ画像生成部２１４により生成されたロボット１０の動作領域のＡＲ画像と、を表示部２４に表示する。
図３は、ロボット１０の動作領域のＡＲ画像の表示の一例を示す図である。
図３に示すように、表示制御部２１５は、例えば、座標取得部２１１により取得されたワールド座標系におけるロボット原点を基準としてＡＲ画像生成部２１４により生成されたＡＲ画像の位置及び姿勢をワールド座標系に基づいて調整し、カメラ２２が撮影したロボット１０の画像と、ロボット１０の動作領域のＡＲ画像とを重畳して表示する。
なお、表示制御部２１５は、距離算出部２１３により算出されたロボット１０と拡張現実表示装置２０との距離に基づいて、ロボット１０の動作領域のＡＲ画像の表示形態を変更するようにしてもよい。例えば、ロボット１０から離れていて安全であることを示す距離αと、ロボット１０に近く危険であることを示す距離β（β＜α）と、が作業者等のユーザにより予め設定されている場合に、表示制御部２１５は、ロボット１０と拡張現実表示装置２０との距離が距離α以上離れている場合、安全であることを示すためにロボット１０の動作領域のＡＲ画像を青色で表示するようにしてもよい。また、表示制御部２１５は、ロボット１０と拡張現実表示装置２０との距離が距離β以上距離α未満の場合、ロボット１０と拡張現実表示装置２０とが近いことを示すためにロボット１０の動作領域のＡＲ画像を黄色で表示するようにしてもよい。また、表示制御部２１５は、ロボット１０と拡張現実表示装置２０との距離が距離β未満の場合、拡張現実表示装置２０がロボット１０の近傍にいて危険であることを示すためにロボット１０の動作領域のＡＲ画像を赤色で表示するようにしてもよい。
そうすることで、作業者が誤ってロボット１０の動作領域に侵入することを未然に防ぐことができる。
表示制御部２１５は、例えば、カメラ２２により撮影されたロボット１０の画像と、ＡＲ画像生成部２１４により生成されたロボット１０の動作領域のＡＲ画像と、を表示部２４に表示する。
図３は、ロボット１０の動作領域のＡＲ画像の表示の一例を示す図である。
図３に示すように、表示制御部２１５は、例えば、座標取得部２１１により取得されたワールド座標系におけるロボット原点を基準としてＡＲ画像生成部２１４により生成されたＡＲ画像の位置及び姿勢をワールド座標系に基づいて調整し、カメラ２２が撮影したロボット１０の画像と、ロボット１０の動作領域のＡＲ画像とを重畳して表示する。
なお、表示制御部２１５は、距離算出部２１３により算出されたロボット１０と拡張現実表示装置２０との距離に基づいて、ロボット１０の動作領域のＡＲ画像の表示形態を変更するようにしてもよい。例えば、ロボット１０から離れていて安全であることを示す距離αと、ロボット１０に近く危険であることを示す距離β（β＜α）と、が作業者等のユーザにより予め設定されている場合に、表示制御部２１５は、ロボット１０と拡張現実表示装置２０との距離が距離α以上離れている場合、安全であることを示すためにロボット１０の動作領域のＡＲ画像を青色で表示するようにしてもよい。また、表示制御部２１５は、ロボット１０と拡張現実表示装置２０との距離が距離β以上距離α未満の場合、ロボット１０と拡張現実表示装置２０とが近いことを示すためにロボット１０の動作領域のＡＲ画像を黄色で表示するようにしてもよい。また、表示制御部２１５は、ロボット１０と拡張現実表示装置２０との距離が距離β未満の場合、拡張現実表示装置２０がロボット１０の近傍にいて危険であることを示すためにロボット１０の動作領域のＡＲ画像を赤色で表示するようにしてもよい。
そうすることで、作業者が誤ってロボット１０の動作領域に侵入することを未然に防ぐことができる。
【0025】
また、表示制御部２１５は、例えば、カメラ２２により撮影されたロボット１０の画像と、ＡＲ画像生成部２１４により生成された次の目標位置座標までの動作軌跡のＡＲ画像と、を重畳して表示部２４に表示するようにしてもよい。
図４は、次の目標位置座標までの動作軌跡のＡＲ画像の表示の一例を示す図である。
図４に示すように、表示制御部２１５は、ロボット１０の現在の目標位置Ｐ２とともに次の目標位置Ｐ３の座標も表示する。そうすることで、作業者は、ロボット１０の次の動作を予測することができ、ロボット１０との衝突を回避することができる。
なお、表示制御部２１５は、過去の目標位置Ｐ１の座標も表示してもよい。この場合、目標位置Ｐ１の座標は、目標位置Ｐ２、Ｐ３の座標と異なる色や形状で表示されることが好ましい。
また、表示制御部２１５は、例えば、カメラ２２により撮影されたロボット１０の画像と、ＡＲ画像生成部２１４により生成されたロボット１０の動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像と、を重畳して表示部２４に表示するようにしてもよい。
図５は、ロボット１０の動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像の表示の一例を示す図である。
図４は、次の目標位置座標までの動作軌跡のＡＲ画像の表示の一例を示す図である。
図４に示すように、表示制御部２１５は、ロボット１０の現在の目標位置Ｐ２とともに次の目標位置Ｐ３の座標も表示する。そうすることで、作業者は、ロボット１０の次の動作を予測することができ、ロボット１０との衝突を回避することができる。
なお、表示制御部２１５は、過去の目標位置Ｐ１の座標も表示してもよい。この場合、目標位置Ｐ１の座標は、目標位置Ｐ２、Ｐ３の座標と異なる色や形状で表示されることが好ましい。
また、表示制御部２１５は、例えば、カメラ２２により撮影されたロボット１０の画像と、ＡＲ画像生成部２１４により生成されたロボット１０の動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像と、を重畳して表示部２４に表示するようにしてもよい。
図５は、ロボット１０の動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像の表示の一例を示す図である。
【0026】
＜拡張現実表示装置２０の表示処理＞
次に、一実施形態に係る拡張現実表示装置２０の表示処理に係る動作について説明する。
図６は、拡張現実表示装置２０の表示処理について説明するフローチャートである。ここで示すフローは、表示処理が行われる間繰り返し実行される。
次に、一実施形態に係る拡張現実表示装置２０の表示処理に係る動作について説明する。
図６は、拡張現実表示装置２０の表示処理について説明するフローチャートである。ここで示すフローは、表示処理が行われる間繰り返し実行される。
【0027】
ステップＳ１において、カメラ２２は、入力部２３を介して作業者の指示に基づいてロボット１０を撮影する。
【0028】
ステップＳ２において、座標取得部２１１は、ステップＳ１で撮影されたロボット１０の画像と、３次元認識モデルデータ２５１と、に基づいて、ワールド座標系におけるロボット原点の３次元座標、及びロボット座標のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
【0029】
ステップＳ３において、情報取得部２１２は、ワールド座標系におけるカメラ２２の３次元座標を取得する。
【0030】
ステップＳ４において、情報取得部２１２は、通信部２６を介してロボット制御装置（図示しない）に問い合わせし、ロボット制御装置（図示しない）からロボット１０の動作領域の設定情報を取得する。
【0031】
ステップＳ５において、情報取得部２１２は、通信部２６を介してロボット制御装置（図示しない）に問い合わせし、ロボット制御装置（図示しない）から実行している動作プログラムにおいて教示された少なくとも次の目標位置座標を取得する。
【0032】
ステップＳ６において、距離算出部２１３は、ステップＳ２で取得されたワールド座標系におけるロボット原点の３次元座標と、ステップＳ３で取得されたワールド座標系におけるカメラ２２の３次元座標と、に基づいてロボット１０と拡張現実表示装置２０との間の距離を算出する。
【0033】
ステップＳ７において、ＡＲ画像生成部２１４は、ロボット１０のロボット原点の３次元座標、ロボット座標のＸ軸、Ｙ軸、Ｚ軸の方向、カメラ２２の３次元座標、ロボット１０の動作領域を示す設定情報、及びロボット１０の次の目標位置座標に基づいて、ロボット１０の動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像を生成する。
【0034】
ステップＳ８において、表示制御部２１５は、ステップＳ１で撮影されたロボット１０の画像と、ステップＳ７で生成されたロボット１０の動作領域のＡＲ画像及び次の目標位置座標までの動作軌跡のＡＲ画像と、を表示部２４に表示する。
なお、ステップＳ２からステップＳ５の処理は、順序に沿って時系列的に行われてもよく、並列に実行されてもよい。
なお、ステップＳ２からステップＳ５の処理は、順序に沿って時系列的に行われてもよく、並列に実行されてもよい。
【0035】
以上により、一実施形態に係る拡張現実表示装置２０は、ロボット１０の動作領域の拡張現実表示で可視化することにより、ロボットの動作領域を容易に確認することができる。これにより、拡張現実表示装置２０は、作業者が誤って動作領域に侵入することを防ぎ、高い作業効率を確保しつつ、作業の安全性を向上させることができる。
【0036】
以上、一実施形態について説明したが、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
【0037】
＜変形例１＞
上述の一実施形態では、拡張現実表示装置２０は、ロボット１０の動作領域のＡＲ画像を、ロボット１０との距離に応じて色を変更して表示したが、これに限定されない。例えば、拡張現実表示装置２０は、ロボット１０の動作領域のＡＲ画像とともに、ロボット１０との距離に応じた「ロボットの動作領域に近づいています」等のメッセージを表示部２４に表示するようにしてもよい。
あるいは、拡張現実表示装置２０は、ロボット１０の動作領域のＡＲ画像を表示部２４に表示するとともに、ロボット１０との距離に応じた「ロボットの動作領域に近づいています」等のメッセージや、アラーム音を拡張現実表示装置２０に含まれるスピーカ（図示しない）から出力するようにしてもよい。
上述の一実施形態では、拡張現実表示装置２０は、ロボット１０の動作領域のＡＲ画像を、ロボット１０との距離に応じて色を変更して表示したが、これに限定されない。例えば、拡張現実表示装置２０は、ロボット１０の動作領域のＡＲ画像とともに、ロボット１０との距離に応じた「ロボットの動作領域に近づいています」等のメッセージを表示部２４に表示するようにしてもよい。
あるいは、拡張現実表示装置２０は、ロボット１０の動作領域のＡＲ画像を表示部２４に表示するとともに、ロボット１０との距離に応じた「ロボットの動作領域に近づいています」等のメッセージや、アラーム音を拡張現実表示装置２０に含まれるスピーカ（図示しない）から出力するようにしてもよい。
【0038】
＜変形例２＞
また例えば、上述の実施形態では、拡張現実表示装置２０は、カメラ２２の３次元座標を、拡張現実表示アプリケーションプログラムの実行時にワールド座標系と関係付けるとしたが、これに限定されない。例えば、拡張現実表示装置２０は、公知の自己位置推定方法を用いて、ワールド座標系におけるカメラ２２の３次元座標を取得してもよい。
また例えば、上述の実施形態では、拡張現実表示装置２０は、カメラ２２の３次元座標を、拡張現実表示アプリケーションプログラムの実行時にワールド座標系と関係付けるとしたが、これに限定されない。例えば、拡張現実表示装置２０は、公知の自己位置推定方法を用いて、ワールド座標系におけるカメラ２２の３次元座標を取得してもよい。
【0039】
＜変形例３＞
また例えば、上述の実施形態では、拡張現実表示装置２０は、ロボット制御装置（図示しない）から次の目標位置座標を取得したが、全ての目標位置座標を取得するようにしてもよい。
また例えば、上述の実施形態では、拡張現実表示装置２０は、ロボット制御装置（図示しない）から次の目標位置座標を取得したが、全ての目標位置座標を取得するようにしてもよい。
【0040】
なお、一実施形態に係る拡張現実表示装置２０に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0041】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
【0042】
なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0043】
以上を換言すると、本開示の拡張現実表示装置、及び拡張現実表示システムは、次のような構成を有する各種各様の実施形態を取ることができる。
【0044】
（１）本開示の拡張現実表示装置２０は、カメラ２２と、表示部２４と、カメラ２２により撮影されたロボット１０の画像と、ロボット１０の動作領域の拡張現実画像と、を表示部２４に表示する表示制御部２１５と、を備える。
この拡張現実表示装置２０によれば、ロボットの動作領域を容易に確認することができる。
この拡張現実表示装置２０によれば、ロボットの動作領域を容易に確認することができる。
【0045】
（２） （１）に記載の拡張現実表示装置２０において、カメラ２２により撮影されたロボット１０の画像に基づいて、ロボット原点の３次元座標を取得する座標取得部２１１を備え、表示制御部２１５は、取得されたロボット原点を基準としてロボットの画像にロボットの動作領域の仮想現実画像を配置して表示部２４に表示してもよい。
そうすることで、拡張現実表示装置２０は、ロボット１０の実際の動作領域と、ＡＲ画像の動作領域と、を対応付けすることができる。
そうすることで、拡張現実表示装置２０は、ロボット１０の実際の動作領域と、ＡＲ画像の動作領域と、を対応付けすることができる。
【0046】
（３） （２）に記載の拡張現実表示装置２０において、カメラ２２の３次元座標を取得する情報取得部２１２と、ロボット原点の３次元座標とカメラ２２の３次元座標とに基づいてロボット１０と拡張現実表示装置２０との間の距離を算出する距離算出部２１３と、を備え、表示制御部２１５は、算出された距離に応じてロボットの動作領域の表示形態を変更してもよい。
そうすることで、拡張現実表示装置２０は、作業者が誤ってロボット１０の動作領域に侵入することを未然に防ぐことができる。
そうすることで、拡張現実表示装置２０は、作業者が誤ってロボット１０の動作領域に侵入することを未然に防ぐことができる。
【0047】
（４） （３）に記載の拡張現実表示装置２０において、外部装置との間で通信する通信部２６を備え、情報取得部２１２は、ロボット制御装置からロボット１０の動作領域を示す設定情報を取得してもよい。
そうすることで、拡張現実表示装置２０は、正確なロボット１０の動作領域の設定情報を取得することができる。
そうすることで、拡張現実表示装置２０は、正確なロボット１０の動作領域の設定情報を取得することができる。
【0048】
（５） （３）又は（４）に記載の拡張現実表示装置２０において、ユーザからの入力を受け付ける入力部２３を備え、情報取得部２１２は、入力部２３を介してユーザからロボット１０の動作領域を示す設定情報を取得してもよい。
そうすることで、拡張現実表示装置２０は、ユーザが所望する任意のロボット１０の動作領域の設定情報を取得することができる。
そうすることで、拡張現実表示装置２０は、ユーザが所望する任意のロボット１０の動作領域の設定情報を取得することができる。
【0049】
（６） （３）から（５）のいずれかに記載の拡張現実表示装置２０において、情報取得部２１２は、少なくともロボット１０の次の目標位置座標を取得し、表示制御部２１５は、ロボット１０の動作領域の拡張現実画像とともに次の目標位置座標までの動作軌跡の拡張現実画像を表示部２４に表示してもよい。
そうすることで、拡張現実表示装置２０は、ロボット１０の次の動作を予測することができ、ロボット１０と作業者との衝突を回避することができる。
そうすることで、拡張現実表示装置２０は、ロボット１０の次の動作を予測することができ、ロボット１０と作業者との衝突を回避することができる。
【0050】
（７） 本開示の拡張現実表示システム１は、ロボット１０と、（１）から（６）のいずれかに記載の拡張現実表示装置２０と、を備える。
この拡張現実表示システム１は、（１）から（６）と同様の効果を奏することができる。
この拡張現実表示システム１は、（１）から（６）と同様の効果を奏することができる。
【符号の説明】
【0051】
１ 拡張現実表示システム
１０ ロボット
２０ 拡張現実表示装置
２１ 制御部
２１１ 座標取得部
２１２ 情報取得部
２１３ 距離算出部
２１４ ＡＲ画像生成部
２１５ 表示制御部
２２ カメラ
２３ 入力部
２４ 表示部
２５ 記憶部
２５１ ３次元認識モデルデータ
２６ 通信部
１０ ロボット
２０ 拡張現実表示装置
２１ 制御部
２１１ 座標取得部
２１２ 情報取得部
２１３ 距離算出部
２１４ ＡＲ画像生成部
２１５ 表示制御部
２２ カメラ
２３ 入力部
２４ 表示部
２５ 記憶部
２５１ ３次元認識モデルデータ
２６ 通信部
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】