特開 2023-47376 立体画像制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023047376

(43)【公開日】2023-04-06

(54)【発明の名称】立体画像制御方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230330BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021156249

(22)【出願日】2021-09-27

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100131495

【弁理士】

【氏名又は名称】前田 健児

(72)【発明者】

【氏名】内田 雄之

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS10

3C707JU02

3C707JU12

3C707KS36

3C707KT03

3C707KT06

3C707KV18

3C707KX07

3C707MT01

(57)【要約】

【課題】ユーザーの操作時の負担を軽減する立体画像制御方法を提供する。
【解決手段】立体画像を撮影可能な複数のカメラと、立体画像の表示が可能な表示部と、対象物に対して作業するエンドエフェクタと、に接続された制御装置の立体画像制御方法であって、エンドエフェクタと対象物との距離に関する情報を含む第１の距離情報と、対象物とカメラとの距離に関する情報を含む第２の距離情報と、を取得し、第１の距離情報が第１の閾値未満かつ第２の距離情報が第２の閾値未満の場合、第２の距離情報に基づいて、表示部で表示される立体画像を調整することを特徴とする。
【選択図】図５

【特許請求の範囲】

【請求項1】

立体画像を撮影可能な複数のカメラと、前記立体画像の表示が可能な表示部と、対象物に対して作業するエンドエフェクタと、に接続された制御装置の立体画像制御方法であって、
前記エンドエフェクタと前記対象物との距離に関する情報を含む第１の距離情報と、前記対象物と前記カメラとの距離に関する情報を含む第２の距離情報と、を取得し、
前記第１の距離情報が第１の閾値未満かつ前記第２の距離情報が第２の閾値未満の場合、前記第２の距離情報に基づいて、前記表示部で表示される立体画像を調整することを特徴とする立体画像制御方法。

【請求項2】

前記第１の閾値は、前記対象物に対して前記エンドエフェクタが作業していると判断される前記エンドエフェクタと前記対象物との距離であることを特徴とする請求項１に記載の立体画像制御方法。

【請求項3】

前記作業していると判断される前記エンドエフェクタと前記対象物との距離は、ゼロであることを特徴とする請求項２に記載の立体画像制御方法。

【請求項4】

前記第２の閾値は、前記表示部おいて、ユーザーが立体視を継続することが可能な前記対象物と前記カメラとの距離であることを特徴とする請求項１から請求項３のいずれか１項に記載の立体画像制御方法。

【請求項5】

前記第２の閾値は、前記表示部の表示位置とユーザーとの距離、および前記ユーザーと前記表示部から認識される前記対象物の位置との距離に基づく所定値である請求項１から３いずれか１項に記載の立体画像制御方法。

【請求項6】

前記第１の距離情報は、前記エンドエフェクタの先端の向きを示す方向情報を含み、前記第１の距離情報が第１の閾値未満かつ前記第２の距離情報が第２の閾値未満、かつ前記方向情報が所定の方向の場合、前記第２の距離情報に基づいて、前記表示部で表示される立体画像を調整することを特徴とする請求項１から５いずれか１項に記載の立体画像制御方法。

【請求項7】

前記立体画像の調整は、前記複数のカメラ間の距離を小さくするように制御することを特徴とする請求項１から請求項６のいずれか１項に記載の立体画像制御方法。

【請求項8】

前記立体画像の調整は、前記複数のカメラの光軸がなす角度を大きくするように制御することを特徴とする請求項１から請求項７のいずれか１項に記載の立体画像制御方法。

【請求項9】

前記立体画像の調整は、前記複数のカメラのレンズの倍率を小さくするように制御することを特徴とする請求項１から請求項８のいずれか１項に記載の立体画像制御方法。

【請求項10】

前記立体画像の調整は、前記立体画像に使用される複数の画像を近づける方向に移動する、または前記立体画像に使用される複数の画像のサイズを小さくすることを特徴とする請求項１から請求項９のいずれか１項に記載の立体画像制御方法。

【請求項11】

前記表示部はヘッドマウントディスプレイであり、
前記立体画像の調整は、前記ヘッドマウントディスプレイの光学系の制御することを特徴とする請求項１から請求項１０のいずれか１項に記載の立体画像制御方法。

【請求項12】

前記光学系の制御は、前記ヘッドマウントディスプレイのレンズの倍率を大きくするよう制御することを特徴とする請求項１１に記載の立体画像制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔制御における立体画像制御方法に関する。

【背景技術】

【0002】

特許文献１は、ディスプレイの画像の中でマニピュレータを動作させることのできる遠隔操作装置を開示する。この遠隔操作装置は、マニピュレータと、作業空間を撮影する複数のカメラユニットと撮影された画像を表示するヘッドマウントディスプレイとユーザーがヘッドマウントディスプレイの画像を見ながら操作するための入力装置とロボット制御用コンピュータとを備える。これにより、ディスプレイの中で常に指示通りの方向へマニピュレータを動作させることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００－４２９６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、ユーザーの操作時の負担を軽減する立体画像制御方法を提供する。

【課題を解決するための手段】

【0005】

本開示における立体画像制御方法は、立体画像を撮影可能な複数のカメラと、立体画像の表示が可能な表示部と、対象物に対して作業するエンドエフェクタと、に接続された制御装置の立体画像制御方法であって、エンドエフェクタと対象物との距離に関する情報を含む第１の距離情報と、対象物とカメラとの距離に関する情報を含む第２の距離情報と、を取得し、第１の距離情報が第１の閾値未満かつ第２の距離情報が第２の閾値未満の場合、第２の距離情報に基づいて、表示部で表示される立体画像を調整することを特徴とする。

【発明の効果】

【0006】

本開示における立体画像制御方法は、ユーザーの操作時の負担を軽減することができる。

【図面の簡単な説明】

【0007】

【図1】実施の形態１における遠隔制御ロボットの概念図

【図2】実施の形態１における画像調整装置の構成例を示す図

【図3】実施の形態１におけるユーザーに認識される対象物の距離の関係を説明するための図

【図4】遠隔操作実施時の対象物の位置を説明する図

【図5】右眼カメラと左眼カメラの距離を調整する動作を説明するためのフローチャート

【図6】画像位置変更時の操作者に認識される対象物位置の変化を説明する図

【図7】エンドエフェクタとして高圧洗浄機を取り付けた場合のロボットの概念図

【発明を実施するための形態】

【0008】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0009】

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0010】

（実施の形態１）
以下、図１～６を用いて、実施の形態１を説明する。

【0011】

［１－１．構成］
［１－１－１．遠隔操作ロボットの概要図］
図１は、実施の形態１における遠隔制御ロボットの概念図である。ロボットアーム１０１はユーザーからの入力に応じて駆動するロボットアームである。ロボットアーム１０１の各関節には関節の角度を取得するセンサが取り付けられている。ロボットアーム１０１の先にはエンドエフェクタであるロボットハンド１１１が取り付けられている。ロボットアームの底部は固定部１０２に固定されている。ユーザーの操作に応じてロボットアーム１０１とロボットハンド１１１を動かすことにより、ユーザーが遠隔制御ロボットの周囲の対象物を把持することが可能となる。

【0012】

ＨＭＤ（ヘッドマウントディスプレイ）１４１はカメラモジュール１２０で撮影された立体画像を、視差を利用して表示するための表示装置である。ユーザーはＨＭＤ１４１に表示された立体画像を見ながらコントローラ１５１を操作することで、作業現場にいる感覚で、ロボットハンド１１１とロボットアーム１０１とを操作することができる。カメラモジュール１２０は、対象物、ロボットハンド１１１、ロボットアーム１０１が撮影可能な位置に設けられ、ユーザーの頭部に固定したＨＭＤ１４１の動きに追従して撮影範囲を変更することができる。

【0013】

図２は、実施の形態１における画像調整装置の構成例を示す図である。カメラモジュール１２０は左眼カメラ１２１と、右眼カメラ１２２と、カメラ調整部１２３で構成される。カメラ調整部１２３は、左眼カメラ１２１と右眼カメラ１２２との間の幅と角度を変更することができる。幅と角度を調整することにより、ユーザーに表示する立体画像を調整することが可能である。

【0014】

制御装置１３１はコントローラ１５１からの入力に基づき、ロボットアーム１０１およびロボットハンド１１１を制御する装置である。また、近接センサ１１２で取得する距離情報、または、左眼カメラ１２１、右眼カメラ１２２から求められる距離情報に基づいて、カメラ間の距離、カメラ間の角度、ＨＭＤのレンズ倍率等、を制御し、ユーザーに表示する立体画像を調整する装置である。

【0015】

近接センサ１１２は、例えば超音波センサなどの、周囲との距離を計測するセンサである。ロボットハンド１１１の先端に近接センサ１１２を取り付けることでロボットハンド１１１の周辺にある対象物とロボットハンドとの第１の距離の計測が可能である。

【0016】

光学系調整部１４２は、ＨＭＤ１４１のレンズの倍率と両眼のレンズの間隔を変更する装置である。レンズの倍率と両眼のレンズの間隔を変更することにより、ユーザーに表示する立体画像を調整することが可能である。なお、立体画像の調整はカメラ調整部１２３による調整と同時に行うことが可能である。

【0017】

［１－１－２．ＨＭＤ装着時における立体画像の認識］
図３は実施の形態１におけるユーザーに認識される対象物の距離の関係を説明するための図である。ユーザーの目の至近距離にＨＭＤ１４１の光学レンズとディスプレイが設置されている。この光学レンズとディスプレイにより、ユーザーは、ユーザーからの距離Ｌｓの位置に仮想スクリーン２２０を認識する。距離Ｌｓはユーザーの両目の中間の点から仮想スクリーン２２０の距離である。立体画像（立体視）は仮想スクリーン２２０上に、左眼用画像２２１と右眼用画像２２２とを表示して実現する。

【0018】

右眼用画像２２２に表示された右眼に認識される対象物２３２と、左眼用画像２２１に表示された左眼に認識される対象物２３１との視差により、ユーザーは、ユーザーからの距離Ｌｔの位置にユーザーに認識される対象物２３０を認識する。距離Ｌｔはユーザーの両目の中間の点からユーザーに認識される対象物２３０との距離である。

【0019】

［１－２．課題］
［１－２－１．対象物認識時の焦点調整動作によるユーザーへの負担の理由］
図３において、仮想スクリーン２２０に表示された右眼に認識される対象物２３２と、左眼に認識される対象物２３１の画像は、ユーザーには、視差によりユーザーに認識される対象物２３０として認識される。ユーザーに認識される対象物２３０は距離Ｌｔの位置にある。

【0020】

この時、ユーザーの目の焦点は距離Ｌｔの位置に調整される（焦点の状態１）。焦点の状態１の時、実際の画像は距離Ｌｓの位置にある仮想スクリーン上に表示されており、距離Ｌｔに焦点を合わせた状態では、仮想スクリーン２２０上の対象物の画像がぼやけて見える。

【0021】

この時、ユーザーの目の焦点は、ぼやけた画像を鮮明にするために、実際の画像が表示されている距離Ｌｓの位置に調整される（焦点の状態２）。

【0022】

焦点の状態２の時、ユーザーに認識される対象物２３０の距離Ｌｔと調整された焦点距離Ｌｓが異なる。そのため、ユーザーの認識と焦点距離を合わせるため、ユーザーの目の焦点は、再び距離Ｌｔの位置に調整される（焦点の状態１）。この焦点調整の繰り返しによる眼球運動をユーザーに強いることがユーザーの負担になる。

【0023】

しかしながら、実用上、距離Ｌｓと距離Ｌｔの差が許容範囲内であれば、眼球運動が抑制され、この負担を軽減することができる。この許容範囲は、ユーザーの個人差やカメラの画角・カメラ間距離・スクリーンのサイズ等によって変化する。実施の形態１においては、ユーザーの頭に固定されるＨＭＤ１４１を用いており、距離Ｌｓが固定されているため、距離Ｌｔを考慮すればよい。例えば、本実施形態においては、距離Ｌｔが１５０［ｍｍ］以上であれば、ユーザーの負担を軽減できる。この１５０［ｍｍ］を本実施形態におけるユーザーの負担を軽減できる閾値（距離Ｌｔにおける第２の閾値）とする。

【0024】

［１－２－２．対象物位置のＨＭＤへの再現］
図４は遠隔操作実施時の対象物の位置を説明する図である。ユーザーは、ＨＭＤ１４１に表示されたユーザーからの距離Ｌｔにあるユーザーに認識される対象物２３０を見ながら、カメラモジュール１２０から第２の距離Ｌｔｒに存在する対象物を操作する。この時、カメラモジュール１２０で撮影した立体画像をＨＭＤ１４１にそのまま再現した場合、ユーザーに認識される対象物２３０はユーザーから距離Ｌｔ＝Ｌｔｒの位置に表示される。そのため、カメラモジュール１２０から対象物が近い場合つまり、第２の距離Ｌｔｒが小さい場合、ＨＭＤ１４１に表示されたユーザーからの距離Ｌｔも小さくなり、焦点調整の繰り返しによる眼球運動により、ユーザーへの負担が大きくなる。

【0025】

［１－３．動作］
以上のように構成された遠隔制御ロボットについて、その動作を以下説明する。遠隔制御ロボットは対象物とロボットハンドとの距離に基づくカメラ部の各動作を行う。以下、それぞれの動作について詳細に説明する。

【0026】

［１－３－１．対象物把持動作とユーザーの視点の変化］
本実施の形態では、遠隔制御システムを用いて対象物を把持する。ユーザーはＨＭＤ１４１に表示された立体画像を見ながら、ロボットハンド１１１とロボットアーム１０１を用いて、遠隔制御を行う。ＨＭＤ１４１は、カメラモジュール１２０で撮影した立体画像を、表示する。

【0027】

動作開始時に、ユーザーは対象物を探すために、周囲を俯瞰的に見渡す。この時、ユーザーの視点は特定の対象に定まっておらず、遠くを見ている。

【0028】

次に、ユーザーはＨＭＤ１４１を通してカメラモジュール１２０から距離Ｌｔｒ（図
４参照）にある対象物を認識し、周囲を確認し、衝突を避けながら、対象物の方向へロボットハンド１１１が近づくように、視点を変えながら、ロボットアーム１０１を操作する。ロボットアーム１０１の操作により、ロボットハンド１１１と対象物との距離である第１の距離が近づいた時、ユーザーはロボットハンド１１１と対象物の詳細な位置関係を把握するために、対象物とロボットハンド１１１に視点を定める。このユーザーが対象物とロボットハンド１１１に視点を定めるときのロボットハンド１１１と対象物である第１の距離を第１の閾値として設定する。

【0029】

なお、ユーザーが対象物とロボットハンド１１１に視点を定めるときをロボットハンド１１１が作業を開始するタイミングとしている。つまり、第１の閾値はロボットハンド１１１が作業していると判断される距離となる。

【0030】

この時、対象物とカメラモジュール１２０の距離Ｌｔｒが第２の閾値よりも小さかった場合には、焦点調整の繰り返しによる眼球運動が発生し、ユーザーに負担が生じ、その結果、ユーザーが立体視を継続することが難しくなる。そのため、第２の閾値以上である場合は、立体視を継続することが可能な距離であり、第２の閾値未満の場合は、ユーザーが立体視を継続するのが難しい距離となる。

【0031】

対象物の把持後は把持した対象物に着目しながら、対象物の移動・対象物を用いた作業・対象物の解放を行う。対象物を解放した直後は、対象物付近に着目しながらロボットハンドを遠ざけ、対象物からロボットハンド１１１が離れた場合には、周囲を確認するために、対象物とロボットハンド以外の点にユーザーの視点が移動する。

【0032】

つまり、対象物をロボットハンド１１１にて把持するなど、対象物に対して直接的に作業を行う場合には、ユーザーの視点は対象物にあり、対象物を探す、対象物をロボットハンド１１１から解放し後、周囲を確認するなど、対象物に対して直接的な作業を行っていない場合には、ユーザーの視点は対象物にないことになる。そして、ユーザーの視点が対象物にあり、その対象物においてカメラモジュール１２０との距離Ｌｔｒが第２の閾値未満の場合、上述したように、焦点調整の繰り返しによる眼球運動が発生し、ユーザーに負担が生じることになる。

【0033】

［１－３－２．対象物との距離とユーザーの視点とに応じた立体画像の調整］
前述のように、遠隔制御実施時には、作業によりカメラモジュール１２０に対する対象物そのものの距離、遠隔制御中の操作内容によりユーザーの視点が変化する。それに伴い遠隔制御中の操作内容によっては、ユーザーの焦点調整の繰り返しによる眼球運動が発生し、その負担を軽減するために、立体画像の調整を行う。本実施の形態では、立体画像を調整する方法の一例として、カメラ間距離の調整を行う場合を説明する。

【0034】

図５は右眼カメラ１２２と左眼カメラ１２１の距離を調整する動作を説明するためのフローチャートである。ユーザーはＨＭＤ１４１に表示された情報（立体画像）をみながらコントローラ１５１を操作し、ロボットアーム１０１、及び、ロボットハンド１１１を操作する。

【0035】

ユーザーによる遠隔制御実施中に、制御装置１３１は図５に示す処理を繰り返し行う。ロボットハンド１１１の指先に搭載された近接センサ１１２によりロボットハンド１１１と対象物との第１の距離を取得する（Ｓ５０１）。

【0036】

ロボットハンドで対象物をつかむために、ロボットハンドと対象物の第１の距離が第１の閾値以下になった場合（Ｓ５０２におけるＹｅｓの場合）、対象物とカメラモジュール１２０との第２の距離Ｌｔｒを取得する（Ｓ５０３）。

【0037】

ここで、例えば、第２の距離Ｌｔｒは、対象物の位置を右眼カメラ１２２と左眼カメラ１２１を用いた三角測量の原理により計測し、計測した対象物の位置を用いて、算出する。

【0038】

第２の距離が第２の閾値未満であった場合（Ｓ５０４におけるＹｅｓの場合）、カメラ調整部１２３によって左眼カメラ１２１と右眼カメラ１２２との距離を、ユーザーに認識される対象物２３０とユーザーの距離Ｌｔが第２の閾値以上となるように、小さくする（Ｓ５０５）。なお、ユーザーに認識される対象物２３０とユーザーの距離Ｌｔの調整の原理については後述する。

【0039】

カメラ調整部１２３によって調整された立体画像を、ＨＭＤ１４１を通してユーザーに提示する（Ｓ５０６）。

【0040】

一方、ロボットハンドと対象物との距離が閾値を超える場合（Ｓ５０２におけるＮｏの場合）、または、ロボットハンド１１１と右眼カメラ１２２の距離が閾値を超える場合（Ｓ５０４におけるＮｏの場合）、カメラ間距離の調整は行わず、調整されていない立体画像を、ＨＭＤ１４１を通してユーザーに提示する（Ｓ５０６）。

【0041】

ここで、ユーザーに認識される対象物２３０とユーザーの距離Ｌｔの調整方法について、図６を用いて説明する。図６は画像位置変更時のユーザーに認識される対象物位置の変化を説明する図である。

【0042】

カメラ間距離の調整を行わない場合、図３に示すようになるが、距離Ｌｔを調整する場合、つまりカメラ間距離を小さくした場合、図６に示すように、それぞれの画像内において右眼用画像２２２に表示されている右眼に認識される対象物２３２が右に移動し、左眼用画像２２１に表示されている左眼に認識される対象物２３１が左に移動する。

【0043】

これによって、実際の対象物とカメラモジュール１２０と距離Ｌｔｒは変わっていないにもかかわらず、ユーザーに認識される対象物２３０は仮想スクリーン２２０側に移動し、その結果、距離Ｌｔが大きくなる。つまり、カメラ間距離を小さくすることによって、距離Ｌｔを大きくすることができ、実際の距離Ｌｔｒが小さくても、ユーザーに認識される対象物２３０の距離Ｌｔを常に第２の閾値以上に調整することができる。

【0044】

［１－４．効果等］
［１－４－１．遠隔制御システムの効果］
以上のように、本実施の形態において、遠隔制御システムはカメラモジュール１２０と、ロボットハンド１１１と、近接センサ１１２と、ロボットアーム１０１と、ＨＭＤ１４１と、コントローラ１５１と、を備える。カメラモジュール１２０はロボットアーム１０１周辺の立体画像を撮影する。

【0045】

カメラ調整部１２３は、対象物とカメラモジュール１２０との第２の距離情報に基づいて、左眼カメラ１２１と右眼カメラ１２２の距離を、ユーザーに認識される対象物の距離Ｌｔが第２の閾値以上となるように小さくする。

【0046】

そのため、焦点調整の繰り返しによるユーザーの眼球運動を抑制し、ユーザーの操作時の負担を軽減することができる。

【0047】

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。そこで、以下、他の実施の形態を例示する。

【0048】

実施の形態１では、立体画像を調整する方法の一例としてカメラ間距離の変更を説明した。立体画像を調整する方法は、ユーザーに認識される立体画像を調整可能であればよい。したがって、立体画像を調整する方法はカメラ間距離の変更に限定されない。

【0049】

例えば、カメラ間角度の変更を、立体画像を調整する方法として用いてもよい。ユーザーに認識される対象物の距離Ｌｔが第２の閾値以上となるように、光軸がなす角が大きくなる方向にカメラを回転させる。具体的には、左眼カメラ１２１を時計回りに回転し、右眼カメラ１２２を反時計周りに回転させる。これにより、カメラ間距離を調整した場合と同じく、右眼用画像２２２に表示されている右眼に認識される対象物２３２が右に移動し、左眼用画像２２１に表示されている左眼に認識される対象物２３１が左に移動する。そのため、ユーザーに認識される対象物の距離Ｌｔが第２の閾値以上となり、ユーザーの負担が軽減される。

【0050】

また、カメラのレンズの倍率の変更を、立体画像を調整する方法として用いてもよい。ユーザーに認識される対象物の距離Ｌｔが第２の閾値以上となるように、左眼カメラ１２１と右眼カメラ１２２のレンズ倍率を小さくする。これにより、右眼用画像２２２に表示されている右眼に認識される対象物２３２と、左眼用画像２２１に表示されている左眼に認識される対象物２３１が中心に近づく。そのため、ユーザーに認識される対象物の距離Ｌｔが第２の閾値以上となり、ユーザーの負担が軽減される。

【0051】

また、ＨＭＤ１４１のレンズの倍率の変更を、立体画像を調整する方法として用いてもよい。仮想スクリーン２２０の距離Ｌｓが小さくなるように、ＨＭＤのレンズのレンズ倍率を大きくする。これにより、仮想スクリーンまでの距離Ｌｓとユーザーに認識される対象物の距離Ｌｔの差を小さくすることができ、ユーザーの眼球運動が抑制され、ユーザーの負担が軽減される。

【0052】

また、表示画像の線形変換処理を、立体画像を調整する方法として用いてもよい。仮想スクリーン上に表示されている右眼用画像２２２と左眼用画像２２１の画像を互いに近づける。これにより、右眼に認識される対象物２３２と、左眼に認識される対象物２３１との距離が小さくなり、ユーザーに認識される対象物の距離Ｌｔが第２の閾値以上となり、ユーザーの負担が軽減される。

【0053】

また、仮想スクリーン上に表示されている右眼用画像２２２と左眼用画像２２１の画像を縮小し、立体画像を調整する。これにより、右眼に認識される対象物２３２と、左眼に認識される対象物２３１との距離が小さくなり、ユーザーに認識される対象物の距離Ｌｔが第２の閾値以上となり、ユーザーの負担が軽減される。

【0054】

また、これらの手法を組み合わせることによって画像の調整を行ってもよい。

【0055】

実施の形態１では、対象物とカメラモジュール１２０との距離を第２の距離として使用したが、第２の距離は、ロボットハンド１１１とカメラモジュール１２０との距離であってもよい。つまり、第２の距離はカメラモジュール１２０からからユーザーが着目する対象までの距離であればよい。特に、第１の距離が小さい場合、ロボットハンド１１１と対象物が近い位置にあるため有用である。

【0056】

なお、ロボットハンド１１１とカメラモジュール１２０との距離を第２の距離として用いる場合、三角測量ではなく、カメラモジュール１２０と相対位置を活用して行うことができる。具体的には、ロボットアーム１０１の関節角情報と、ロボットアーム１０１とロボットハンド１１１とカメラモジュール１２０との部品寸法情報から計算することができる。

【0057】

実施の形態１では、ユーザーに立体画像を提示する装置としてＨＭＤを説明した。ユーザーに立体画像を提示する方法は、ユーザーに視差による立体視を可能にするものであればよい。したがって、ユーザーに立体画像を提示する装置はＨＭＤに限定されない。ただし、ユーザーに立体画像を提示する装置として、ＨＭＤを用いれば、没入感を高め、現場での操作感に近づけることが可能である。具体的には、３Ｄディスプレイをユーザーに立体画像を提示する装置として用いてもよい。ユーザーに立体画像を提示する装置として３Ｄディスプレイを用いればユーザーが身に着ける装置の軽量化が可能である。

【0058】

実施の形態１では、第１の閾値の一例として、ユーザーの視点が変化するロボットハンド１１１と対象物の距離を説明した。第１の閾値はユーザーの視点がエンドエフェクタ付近に移動したと判断可能であればよい。例えば、ロボットハンドで対象物を把持する際に、ロボットハンドを開く方向に動作させた場合、ロボットハンドの開き幅が対象物の幅以上であることを第１の閾値としてもよい。また、ハンドを閉じる方向に動作させた時を第１の閾値としてもよい。また、把持後に対象物とロボットハンドの距離がゼロになった時、つまり、対象物とロボットハンドが接触している時を第１の閾値としてもよい。

【0059】

また、第１の閾値はユーザーがエンドエフェクタの付近に着目していると判断可能であればよい。例えば、ロボットハンドでドライバーを把持し、ねじ締を行う場合、第１の閾値をゼロとする。つまり、把持している時のみに立体画像の調整を行う。第１の閾値をゼロにすれば、測距センサを用いずに、安価な接触センサを使用することが可能である。

【0060】

実施の形態１では、エンドエフェクタの一例としてロボットハンドを説明した。エンドエフェクタは対象に対して作業を行うものであればよい。また、作業は把持に限定されず、作業に合わせて第１の距離の設定方法は変化する。

【0061】

例えば、他のエンドエフェクタとして、高圧洗浄機が考えられる。図７にエンドエフェクタとして高圧洗浄機を取り付けた場合のロボットの概念図を示す。高圧洗浄機１１４はロボットアーム１０１の先端に取り付けられており、水を噴射することで洗浄対象１８１を洗浄する。高圧洗浄機では、水の噴射方向にのみ、作用を及ぼすことが可能である。そのため、水の噴射方向に一定の距離以内に洗浄対象がある場合に視点が移動し、噴射方向以外に他の対象物が近づいた場合は視点が移動しないと考えられる。

【0062】

つまり、エンドエフェクタ（高圧洗浄機）と対象物との距離だけではなく、エンドエフェクタの先端の方向（高圧洗浄機では水を噴射する先端方向）に基づいて、ユーザーが対象物（ここでは洗浄対象１８１）に着目しているか否か判断する。

【0063】

エンドエフェクタの作業として高圧洗浄機による洗浄を設定した場合、第１の距離情報は、水の噴射方向に存在する対象までの距離とすることができる。第１の閾値は、水の噴射方向の洗浄可能な距離とする。ただし、第１の閾値は、高圧洗浄機１１４の水圧の設定に追従し、変更することができる。

【0064】

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0065】

本開示は、対象物とカメラとの距離に応じて立体画像の調整を行うシステムに適用可能である。具体的には、遠隔操作ロボット、作業用ロボットの画像撮影などに、本開示は適用可能である。

【符号の説明】

【0066】

１０１ ロボットアーム
１０２ 固定部
１１１ ロボットハンド
１１２ 近接センサ
１１４ 高圧洗浄機
１２０ カメラモジュール
１２１ 左眼カメラ
１２２ 右眼カメラ
１２３ カメラ調整部
１３１ 制御装置
１４１ ＨＭＤ（ヘッドマウントディスプレイ）
１４２ 光学系調整部
１５１ コントローラ
１８１ 洗浄対象
２２０ 仮想スクリーン
２２１ 左眼用画像
２２２ 右眼用画像
２３０ ユーザーに認識される対象物
２３１ 左眼に認識される対象物
２３２ 右眼に認識される対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】