特許 7122863 画像表示装置、画像表示方法および遠隔操縦システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-12

(45)【発行日】2022-08-22

(54)【発明の名称】画像表示装置、画像表示方法および遠隔操縦システム

(51)【国際特許分類】

   B25J 5/00 20060101AFI20220815BHJP

   F41H 11/16 20110101ALI20220815BHJP

   B25J 3/00 20060101ALI20220815BHJP

   E02F 9/26 20060101ALI20220815BHJP

【ＦＩ】

B25J5/00 Z

F41H11/16

B25J3/00 Z

E02F9/26 A

【請求項の数】 8

(21)【出願番号】P 2018093244

(22)【出願日】2018-05-14

(65)【公開番号】P2019198905

(43)【公開日】2019-11-21

【審査請求日】2021-03-09

(73)【特許権者】

【識別番号】500302552

【氏名又は名称】株式会社ＩＨＩエアロスペース

(74)【代理人】

【識別番号】100097515

【弁理士】

【氏名又は名称】堀田 実

(74)【代理人】

【識別番号】100136700

【弁理士】

【氏名又は名称】野村 俊博

(72)【発明者】

【氏名】岡本 伸也

(72)【発明者】

【氏名】齋藤 浩明

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開２０１６－１６０７４１（ＪＰ，Ａ）

【文献】特開２０１７－１１０４９２（ＪＰ，Ａ）

【文献】特開平０５－１６２６９５（ＪＰ，Ａ）

【文献】特開２０１３－２０１９５８（ＪＰ，Ａ）

【文献】特開２００６－０５８０６４（ＪＰ，Ａ）

【文献】特開２０１５－２１９７８２（ＪＰ，Ａ）

【文献】特開２０１７－０５２０５３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／０２５６６０７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００５１４４６（ＵＳ，Ａ１）

【文献】韓国公開特許第１０－２０１７－０００４５２６（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ３／００－ ５／００

Ｂ６４Ｄ ４５／０８

Ｅ０２Ｆ ９／１６－ ９／２６

Ｆ４１Ｈ １１／１６

Ｇ０１Ｃ ２１／００

Ｇ０６Ｔ １／００

Ｇ０６Ｆ ７／００

(57)【特許請求の範囲】

【請求項1】

移動ロボットに設けられ対象物を把持して持ち上げる持上機構の遠隔操縦時に当該対象物を含む領域の画像データを表示する画像表示装置であって、
前記移動ロボットに設けたカメラにより撮像された、前記対象物を含む領域の画像データを受ける通信部と、
前記通信部が受けた前記画像データを表示するディスプレイと、
水平面に対する前記カメラの姿勢を特定可能な情報を姿勢情報として、前記移動ロボットに設けられた姿勢センサが検出した前記姿勢情報に基づいて、水平面を表わす水平面指標と鉛直方向を示す鉛直指標を、前記画像データとともに前記ディスプレイに表示させる表示制御装置とを備え、
前記水平面指標は、前記画像データにおける前記水平面に位置するように３次元的に表示される格子の画像であり、前記画像データに重ねて表示される、画像表示装置。

【請求項2】

前記表示制御装置は、
前記姿勢情報に基づいて、前記画像データにおける水平面の方向と鉛直方向を求める方向計算部と、
該方向計算部が求めた水平面の方向と鉛直方向に基づいて、前記水平面指標と前記鉛直指標を前記画像データとともに前記ディスプレイに表示させる表示制御部とを含む、請求項１に記載の画像表示装置。

【請求項3】

前記鉛直指標は矢印である、請求項１又は２に記載の画像表示装置。

【請求項4】

移動ロボットに設けられ対象物を把持して持ち上げる持上機構の遠隔操縦時に当該対象物を含む領域の画像データを表示する画像表示装置であって、
前記移動ロボットに設けたカメラにより撮像された、前記対象物を含む領域の画像データを受ける通信部と、
前記通信部が受けた前記画像データを表示するディスプレイと、
水平面に対する前記カメラの姿勢を特定可能な情報を姿勢情報として、前記移動ロボットに設けられた姿勢センサが検出した前記姿勢情報に基づいて、水平面の方向を示す水平面指標を、前記画像データとともに前記ディスプレイに表示させる表示制御装置とを備え、
前記表示制御装置は、
前記姿勢情報に基づいて、前記画像データにおける水平面の方向を求める方向計算部と、
該方向計算部が求めた水平面の方向に基づいて、前記水平面指標を前記画像データとともに前記ディスプレイに表示させる表示制御部とを含み、
前記表示制御部は、前記水平面指標を前記画像データに重ねて前記ディスプレイに表示させ、かつ、前記水平面指標の寸法を前記ディスプレイに表示させ、該寸法は、対応する現実世界の寸法である、画像表示装置。

【請求項5】

移動ロボットに設けられ対象物を把持して持ち上げる持上機構の遠隔操縦時に当該対象物を含む領域の画像データを表示する画像表示装置であって、
前記移動ロボットに設けたカメラにより撮像された、前記対象物を含む領域の画像データを受ける通信部と、
前記通信部が受けた前記画像データを表示するディスプレイと、
水平面に対する前記カメラの姿勢を特定可能な情報を姿勢情報として、前記移動ロボットに設けられた姿勢センサが検出した前記姿勢情報に基づいて、水平面の方向を示す水平面指標と鉛直方向を示す鉛直指標の一方または両方を、前記画像データとともに前記ディスプレイに表示させる表示制御装置とを備え、
前記表示制御装置は、
前記姿勢情報に基づいて、前記画像データにおける水平面の方向と鉛直方向の一方または両方を求める方向計算部と、
該方向計算部が求めた水平面の方向と鉛直方向の一方または両方に基づいて、前記水平面指標と前記鉛直指標の一方または両方を前記画像データとともに前記ディスプレイに表示させる表示制御部とを含み、
前記表示制御部は、前記水平面指標と前記鉛直指標の一方または両方を、前記画像データとともに前記ディスプレイに表示させ、かつ、移動ロボットの本体上の設定点から、表示された前記水平面指標または前記鉛直指標までの距離を指標距離として前記ディスプレイに表示させる、画像表示装置。

【請求項6】

前記持上機構の各部の動作量が、前記移動ロボットの検出部で検出されて前記表示制御部に入力され、
前記表示制御部は、
当該動作量と、前記持上機構の各部の既知の寸法と、前記本体上の前記設定点の既知の位置とに基づいて、前記本体上の前記設定点から前記持上機構の先端部までの距離を先端部距離として算出し、
当該先端部距離と、前記指標距離と、前記水平面指標と前記鉛直指標の一方または両方とを、前記画像データとともに前記ディスプレイに表示させる、請求項５に記載の画像表示装置。

【請求項7】

移動ロボットに設けられ対象物を把持して持ち上げる持上機構の遠隔操縦時に当該対象物を含む領域の画像データを表示する画像表示方法であって、
（Ａ）前記移動ロボットに設けたカメラにより撮像された、前記対象物を含む領域の画像データを受け、
（Ｂ）水平面に対する前記カメラの姿勢を特定可能な情報を姿勢情報として、前記移動ロボットに設けられた姿勢センサが検出した前記姿勢情報に基づいて、水平面を表わす水平面指標と鉛直方向を示す鉛直指標を、前記画像データとともにディスプレイに表示させ、
前記水平面指標は、前記画像データにおける前記水平面に位置するように３次元的に表示される格子の画像であり、前記（Ｂ）において前記画像データに重ねて表示される、画像表示方法。

【請求項8】

対象物を把持して持ち上げる持上機構が設けられた移動ロボットと、前記持上機構を遠隔操縦するための遠隔操縦側装置とを備える遠隔操縦システムであって、
前記遠隔操縦側装置は、
請求項１～６のいずれか一項に記載の画像表示装置と、
前記持上機構を遠隔操縦するために操作され、なされた操作に応じた動作指令を生成する操作装置と、を備え、
前記移動ロボットは、
前記遠隔操縦側装置から送信された前記動作指令に従って前記持上機構の動作を制御する動作制御部を備える、遠隔操縦システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動ロボットに設けられ対象物を把持して持ち上げる持上機構（例えばロボットアームを用いた機構）を、人が遠隔操縦する際に人が参照するための画像データを表示する画像表示装置と画像表示方法に関する。また、本発明は、当該画像表示装置と、移動ロボットと、移動ロボットの持上機構を遠隔操縦するために人に操作される操作装置とを備える遠隔操縦システムに関する。

【背景技術】

【0002】

対象物が地表面または他の箇所に置かれている場合に、移動ロボットを用いて、次のように対象物を把持して別の場所へ運ぶことができる。対象物が置かれている場所へ移動ロボットが移動する。移動ロボットに設けたカメラにより対象物を含む領域を撮像し、これにより得た画像データを、遠隔操縦側の装置へ送信する。遠隔操縦側の装置では、送信されてきた画像データをディスプレイに表示し、人は、表示された画像データを見て、操作部（例えば操作レバーやボタン）を操作することにより、移動ロボットの持上機構（例えばロボットアーム）を遠隔操縦する。この操縦に従って、持上機構が、対象物を把持して持ち上げ、この状態で、移動ロボットが別の場所まで移動する。なお、移動ロボットは、例えば、人が遠隔操縦することにより又は自律移動により移動可能である。

【0003】

上述した対象物は、例えば危険物である。危険物が、人の往来する場所に置かれている場合には、移動ロボットにより、上述のように人が存在しない別の場所へ運ぶことができる。危険物としては、例えば、即席爆発装置（ＩＥＤ：Ｉｍｐｒｏｖｉｓｅｄ Ｅｘｐｌｏｓｉｖｅ Ｄｅｖｉｃｅ）または不発弾がある。

【0004】

下記の特許文献１には、クローラ式走行体である移動ロボットを用いて、次のように不発弾を撤去することが記載されている。移動ロボットに設けた作業機により不発弾を持ち上げる際に、移動ロボットに設けたカメラで不発弾を撮像し、これにより得た画像データを遠隔操縦側の装置に送信している。遠隔操縦側の装置では、この画像データがディスプレイに表示される。人は、表示された画像データを見て作業機を遠隔操縦できるようになっている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００５－１２１３４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

水平面に対して傾いた斜面に対象物が置かれており、この対象物を上述の持上機構により把持して持上げる場合には、表示された画像データにおいて、人は水平面の方向または鉛直方向を認識しにくい。そのため、人の遠隔操縦により、対象物を適切に把持して持ち上げる動作を持上機構に行わせるのに時間がかかってしまう可能性がある。例えば、持上機構の先端部に設けたロボットハンドで対象物を適切に把持するには、ロボットハンドの向きを例えば鉛直にすべき場合に、人は、鉛直方向を認識しにくいので、遠隔操縦により、ロボットハンドの向きを鉛直にするのに時間がかかってしまう可能性がある。

【0007】

また、人が、表示された画像データを見ても、水平面の方向または鉛直方向を認識できない場合や、水平面の方向または鉛直方向を誤って認識した場合には、人の遠隔操縦により、持上機構が対象物を把持しても対象物を鉛直方向に持ち上げられず落としてしまう可能性がある。例えば、上述のロボットハンドで対象物を把持して鉛直方向に持ち上げるべき場合に、鉛直方向から大きく傾いた方向に対象物を持ち上げてしまったことにより対象物がロボットハンドから抜け落ちてしまう可能性がある。

【0008】

そこで、本発明の目的は、対象物が水平面に対して傾いた斜面に置かれている場合であっても、対象物を含む領域を撮像した画像データにおける水平面の方向または鉛直方向を人が容易に認識できるようにすることにある。

【課題を解決するための手段】

【0009】

上述の目的を達成するため、本発明によると、移動ロボットに設けられ対象物を把持して持ち上げる持上機構の遠隔操縦時に対象物を含む領域の画像データを表示する画像表示装置であって、
移動ロボットに設けたカメラにより撮像された、対象物を含む領域の画像データを受ける通信部と、
通信部が受けた画像データを表示するディスプレイと、
水平面に対するカメラの姿勢を特定可能な情報を姿勢情報として、移動ロボットに設けられた姿勢センサが検出した姿勢情報に基づいて、水平面の方向を示す水平面指標と鉛直方向を示す鉛直指標の一方または両方を、画像データとともにディスプレイに表示させる表示制御装置とを備える、画像表示装置が提供される。

【0010】

また、本発明によると、移動ロボットに設けられ対象物を把持して持ち上げる持上機構の遠隔操縦時に対象物を含む領域の画像データを表示する画像表示方法であって、
（Ａ）移動ロボットに設けたカメラにより撮像された、対象物を含む領域の画像データを受け、
（Ｂ）水平面に対するカメラの姿勢を特定可能な情報を姿勢情報として、移動ロボットに設けられた姿勢センサが検出した姿勢情報に基づいて、水平面の方向を示す水平面指標と鉛直方向を示す鉛直指標の一方または両方を、画像データとともにディスプレイに表示させる、画像表示方法が提供される。

【0011】

さらに、本発明によると、対象物を把持して持ち上げる持上機構が設けられた移動ロボットと、持上機構を遠隔操縦するための遠隔操縦側装置とを備える遠隔操縦システムであって、
遠隔操縦側装置は、
上述の画像表示装置と、
持上機構を遠隔操縦するために操作され、なされた操作に応じた動作指令を生成する操作装置と、を備え、
移動ロボットは、
遠隔操縦側装置から送信された動作指令に従って持上機構の動作を制御する動作制御部を備える、遠隔操縦システムが提供される。

【発明の効果】

【0012】

上述した本発明によると、水平面に対するカメラの姿勢を特定可能な情報を姿勢情報として、移動ロボットに設けられた姿勢センサが検出した姿勢情報に基づいて、水平面の方向を示す水平面指標と鉛直方向を示す鉛直指標の一方または両方を、画像データとともにディスプレイに表示させる。したがって、人は、持上機構を遠隔操縦する際に、表示された水平面指標と鉛直指標の一方または両方を見ることで画像データにおける水平面の方向または鉛直方向を容易に認識できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態による遠隔操縦システムを示すブロック図である。

【図2】移動ロボットの一例を示す。

【図3】ディスプレイの画面に表示された、カメラの画像データの一例を示す。

【図4】ディスプレイの画面に表示された、カメラの画像データと水平面指標と鉛直指標の一例を示す。

【図5】図４の指標距離の説明図であり、水平方向から見た概念図である。

【図6】本発明の実施形態による画像表示方法を示すフローチャートである。

【発明を実施するための形態】

【0014】

本発明の実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

【0015】

図１は、本発明の実施形態による遠隔操縦システム１００を示すブロック図である。遠隔操縦システム１００は、移動ロボット１０と遠隔操縦側装置２０を備える。

【0016】

＜移動ロボットの構成＞
移動ロボット１０の一例を図２に示す。移動ロボット１０は、地表面２または他の箇所に置かれた対象物１を持ち上げて運ぶことに用いられる。すなわち、移動ロボット１０は、対象物１が置かれた場所まで移動可能であり、当該場所において対象物１を持ち上げて、他の場所まで移動することにより、対象物１を運ぶ。図２では、対象物１は、水平面に対して傾いた地表面２に置かれている。対象物１は、例えば危険物である。危険物は、例えば、即席爆発装置または不発弾である。対象物１が危険物である場合、移動ロボット１０は、例えば人が通る地表面２に置かれた危険物を持ち上げて運ぶことにより、危険物を撤去することに用いられる。

【0017】

移動ロボット１０は、地表面２を移動する移動機構５が設けられた本体３を含む。移動機構５は、地表面２に接しながら回転駆動されることにより本体３を移動させる回転体５ａであってよい、回転体５ａは、図２の例では、クローラベルト（すなわち無端状のベルト）であるが、車輪であってもよい。

【0018】

なお、移動ロボット１０の移動は、人による遠隔操縦または自律移動制御により行われてよい。前者の場合、例えば、人は図示しない移動操縦装置を操作することにより、移動ロボット１０を所望の場所まで移動させることができる。後者の場合、例えば移動ロボット１０に設けられた移動制御部に、所望の場所を示す情報を送信することにより、この移動制御部が、当該情報が示す場所へ移動ロボット１０を移動させるように移動ロボット１０の移動を制御する。移動ロボット１０の移動の遠隔操縦と、移動ロボット１０の自律移動は、例えば公知の技術により行うことができるので、その詳細な説明は省略する。

【0019】

・持上機構の構成
移動ロボット１０の本体３には持上機構７が設けられる。持上機構７は、地表面２または他の箇所に置かれた対象物１を持ち上げる動作を行う。持上機構７は、本体３に連結された基端部７ａと、先端部７ｂと、先端部７ｂに取り付けられ対象物１に接触して対象物１を把持する把持装置７ｃと、基端部７ａと先端部７ｂとを連結する中間部７ｄとを含む。把持装置７ｃは、例えば対象物１を挟んで把持する１対の把持部材７ｃ１（後述の図３を参照）を有するものであってよい。中間部７ｄは、基端部７ａに対して動作することにより、先端部７ｂが基端部７ａと本体３に対して移動する。中間部７ｄは、例えば、図２のように互いに回転可能に連結した複数のアームを含んでいてよく、基端部７ａと先端部７ｂと中間部７ｄによりロボットアームが構成されてよい。

【0020】

なお、基端部７ａは、軸Ｃまわりに回転可能に本体３に連結されていてもよい。軸Ｃは、本体３に固定された方向を向いている。軸Ｃは、本体３の左右方向と前後方向の両方に交差（例えば直交）する方向を向いていてよい。なお、本体３の左右方向と前後方向は、本体３が水平姿勢にある状態では水平方向を向いている。また、先端部７ｂは、中間部７ｄに対して回転可能に連結されていてよい。中間部７ｄは、基端部７ａに対して回転可能に連結されていてよい。

【0021】

移動ロボット１０が対象物１から上限距離以内の範囲に位置している状態で、持上機構７は次のように動作可能である。持上機構７が動作することにより、その先端部７ｂの把持装置７ｃ（図２の例では、ロボットハンドを構成する１対の把持部材７ｃ１）が対象物１を把持できる位置へ移動させられる。図２の例では、開いた状態の１対の把持部材７ｃ１が、これらの間に対象物１が位置するようになる位置へ移動させられる。次いで、把持装置７ｃは対象物１を把持するように動作する。図２の例では、１対の把持部材７ｃ１が閉じるように動作することで、１対の把持部材７ｃ１で対象物１を挟んで把持する。次いで、把持装置７ｃが対象物１を把持した状態で、持上機構７が動作することにより、対象物１が地表面２から持ち上げられる。

【0022】

移動ロボット１０には、図１のように、持上機構７の動作を制御する動作制御部９が設けられる。動作制御部９は、後述する操作装置２０Ｂにより生成された動作指令を、操縦側の通信部１９と移動ロボット側の通信部１５を介して受ける。動作制御部９は、受けた動作指令が示す動作を持上機構７が行うように持上機構７を制御する。この時、動作制御部９は、持上機構７を駆動する駆動装置１１を制御することにより持上機構７の動作を制御する。駆動装置１１は、図２の例では、中間部７ｄを構成するアーム同士の連結部に設けられ両アームを互いに対して回転駆動するアクチュエータと、本体３に対して基端部７ａを軸Ｃ回りに回転駆動するアクチュエータと、中間部７ｄに対して先端部７ｂを回転駆動するアクチュエータと、１対の把持部材７ｃ１を開閉させるアクチュエータとを含んでよい。各アクチュエータは、例えばサーボモータであってよいが、他の装置であってもよい。

【0023】

・画像表示装置に用いられるデータを取得する構成
移動ロボット１０には、カメラ１３が設けられる。カメラ１３は、対象物１を含む領域を撮像して当該領域の画像データを生成する。カメラ１３は、図２の例では、移動ロボット１０の本体３に設けられたものであるが、図２の破線で示すように持上機構７（例えば先端部７ｂ）に設けられたものであってもよい。また、複数のカメラが移動ロボット１０に設けられ、これらの中から使用するカメラを、操作装置２０Ｂの操作により選択してもよい。この場合、以下においてカメラ１３は、選択されたカメラである。カメラ１３が生成した画像データは、図１のように、移動ロボット１０に設けられた移動ロボット側の通信部１５から画像表示装置２０Ａへ送信される。通信部１５による送信は、無線通信を利用して行われてよい。

【0024】

移動ロボット１０には、図１のように姿勢センサ１７が設けられる。姿勢センサ１７は、水平面に対するカメラ１３の姿勢を特定可能な情報（以下で姿勢情報という）を検出する。姿勢センサ１７が検出した姿勢情報は、移動ロボット側の通信部１５から画像表示装置２０Ａへ送信される。

【0025】

カメラ１３が本体３に設けられている場合には、姿勢センサ１７は、本体３またはカメラ１３に設けられたジャイロスコープ１７ａを用いたものであってよい。

【0026】

カメラ１３が持上機構７の先端部７ｂに設けられている場合には、姿勢センサ１７は、例えば、本体３に設けられたジャイロスコープ１７ａと、本体３に対する持上機構７の各部の動作量を検出する動作量検出部１７ｂを含む。この場合、姿勢情報は、ジャイロスコープ１７ａを用いて検出した、水平面に対する本体３の姿勢と、動作量検出部１７ｂが検出した持上機構７の各部の動作量とを含む。持上機構７の各部の動作量は、図２の例では、中間部７ｄを構成する複数のアームの互いに対する回転角度、基端部７ａの軸Ｃ回りの回転角度、および中間部７ｄに対する先端部７ｂの回転角度を含む。これらの回転角度は、それぞれ、アームと基端部７ａと先端部７ｂの予め定めた基準回転位置からの回転角度を意味してよい。

【0027】

＜遠隔操縦側装置の構成＞
遠隔操縦側装置２０は、図１のように、画像表示装置２０Ａと操作装置２０Ｂとを備える。画像表示装置２０Ａは、操縦側の通信部１９とディスプレイ２１と表示制御装置２３を備える。

【0028】

操縦側の通信部１９は、移動ロボット１０のカメラ１３により生成され移動ロボット側の通信部１５から送信された画像データを受ける。この画像データは、操縦側の通信部１９から表示制御装置２３（表示制御部２３ｂ）に入力される。操縦側の通信部１９は、移動ロボット１０の姿勢センサ１７により検出され移動ロボット側の通信部１５から送信された姿勢情報を受ける。この姿勢情報は、操縦側の通信部１９から表示制御装置２３（すなわち、後述の方向計算部２３ａと表示制御部２３ｂ）に入力される。

【0029】

ディスプレイ２１は、操縦側の通信部１９が受けた画像データを表示するためのものである。この画像データは、移動ロボット１０の持上機構７を人が遠隔操縦する際に人が参照するために表示される。図３（Ａ）は、ディスプレイ２１の画面２１ａに表示された画像データを示す。

【0030】

表示制御装置２３は、入力された姿勢情報に基づいて、水平面を示す水平面指標Ｍｈと鉛直方向を示す鉛直指標Ｍｖを、入力された画像データとともにディスプレイ２１に表示させる。表示制御装置２３は、方向計算部２３ａと表示制御部２３ｂを含む。水平面指標Ｍｈは、互いに交差する複数の水平方向を示す。

【0031】

方向計算部２３ａは、入力された姿勢情報に基づいて、上述の画像データにおける水平面の方向と鉛直方向の一方または両方を求める。図３（Ｂ）は、図３（Ａ）の画像データにおいて、方向計算部２３ａが求めた水平面Ｈの方向（互いに直交する２つの水平方向）Ｄｈ１，Ｄｈ２と鉛直方向Ｄｖを表わしたものである。

【0032】

一例では、方向計算部２３ａは、姿勢情報に基づいて、図３（Ｂ）に示すように画像データにおける設定位置Ｐｓ（設定画素）での水平面Ｈの方向Ｄｈ１，Ｄｈ２と鉛直方向Ｄｖを求める。ただし、設定位置Ｐｓは、表示される上述の画像データにおいては定められた画素の位置であり、当該位置に対応する現実世界の位置は、当該画像データの取得時にカメラ１３から設定距離だけ離れているとする。すなわち、上述の画像データが、現実世界における対象物１と、ある位置を撮像したものと仮定して、画像データにおける当該ある位置が設定位置Ｐｓとなり、当該撮像時における当該ある位置とカメラ１３との現実世界の距離が設定距離である。このような設定位置と設定距離は、予め定められて方向計算部２３ａに設定されていてよい。

【0033】

なお、図３（Ｂ）の水平方向Ｄｈ１，Ｄｈ２、鉛直方向Ｄｖ、設定位置Ｐｓ、水平面Ｈ（図３（Ｂ）では水平面に含まれる破線の水平フレームＨ）は、説明のために図示したものであり、実際にはディスプレイ２１に表示されなくてもよい。

【0034】

カメラ１３が本体３に設けられている場合には、方向計算部２３ａは、姿勢情報と、本体３に対するカメラ１３の既知の向きに基づいて、画像データにおける、設定位置Ｐｓでの水平面Ｈの方向Ｄｈ１、Ｄｈ２と鉛直方向Ｄｖの一方または両方を求める。カメラ１３が持上機構７の先端部７ｂに設けられている場合には、方向計算部２３ａは、姿勢情報（水平面に対する本体３の姿勢と持上機構７の各部の動作量を含む）と、先端部７ｂに対するカメラ１３の既知の向きと、先端部７ｂにおけるカメラ１３の既知の位置と、持上機構７の各部の既知の寸法（図の例では、各アームの長さ、基端部７ａの寸法など）に基づいて、設定位置Ｐｓでの水平面Ｈの方向Ｄｈ１、Ｄｈ２と鉛直方向Ｄｖの一方または両方を求める。

【0035】

表示制御部２３ｂは、方向計算部２３ａが求めた、設定位置Ｐｓでの水平面Ｈの方向Ｄｈ１、Ｄｈ２と鉛直方向Ｄｖの一方または両方に基づいて、設定位置Ｐｓを含む水平面を表わす水平面指標Ｍｈと、鉛直指標Ｍｖを上述の画像データとともにディスプレイ２１に表示させる。例えば、表示制御部２３ｂは、水平面指標Ｍｈと鉛直指標Ｍｖを上述の画像データの上に重ねて表示させる。鉛直指標Ｍｖは、上述の設定位置Ｐｓに表示されてよい。図４は、表示制御部２３ｂによりディスプレイ２１に表示させられた画像データと水平面指標Ｍｈと鉛直指標Ｍｖなどの一例を示す。

【0036】

水平面指標Ｍｈは、画像データにおいて表示される水平面の画像であってよい。この場合、水平面指標Ｍｈは、例えば、図４のように、当該水平面に位置するように３次元的に表示される格子の画像であってよい。この格子は、例えば、図４のように、画面２１ａの左右方向に沿う方向に延び画像データの奥行方向に格子間隔をおいて配置された複数の線と、画像データの奥行方向に延び画面２１ａの左右方向に沿う方向に格子間隔をおいて配置された複数の線とを含んでよい。なお、表示制御部２３ｂは、水平面指標Ｍｈとしての水平面の画像（例えば上記格子の画像）を、画像データにおける設定範囲にわたって表示してよい。設定範囲は、当該画像データの取得時におけるカメラ１３からの距離の指定範囲（例えば１ｍから２ｍである範囲）に対応する範囲である。

【0037】

表示制御部２３ｂは、上述のように画像データと水平面指標Ｍｈと鉛直指標Ｍｖに加えて、更に次の水平面指標Ｍｈの寸法と本体３からの距離の一方または両方を、ディスプレイ２１に表示させてもよい。

【0038】

・水平面指標の寸法の表示
表示制御部２３ｂは、水平面指標Ｍｈを画像データに重ねてディスプレイ２１に表示させ、かつ、水平面指標Ｍｈの寸法を水平面指標Ｍｈと関連付けてディスプレイ２１に表示させる。水平面指標Ｍｈの寸法は、水平面指標Ｍｈの一部の寸法であってもよいし、水平面指標Ｍｈの全体の寸法であってもよい。表示制御部２３ｂは、前者の場合、水平面指標Ｍｈの一部（図４の例では、画面２１ａの左右方向に沿った格子間隔と画像データの奥行方向に沿った格子間隔）の寸法を当該一部と関連付けてディスプレイ２１に表示させ、後者の場合、水平面指標Ｍｈの全体の寸法を当該全体と関連付けてディスプレイ２１に表示させてよい。なお、水平面指標Ｍｈの寸法とは、対応する現実世界の寸法を意味する。すなわち、水平面指標Ｍｈが現実世界にあると仮定し、かつ、上述の画像データが、対象物１と水平面指標Ｍｈを撮像したものであると仮定して、現実世界の水平面指標Ｍｈの寸法（一部または全体の寸法）が、ディスプレイ２１に表示される上記寸法である。

【0039】

図４の例では、水平面指標Ｍｈの一部である格子間隔の寸法は、格子間隔を表わす矢印Ａ１，Ａ２と、矢印Ａ１，Ａ２にそれぞれ付した数値Ｐ，Ｑにより表示されている。矢印Ａ１は、画像データの左右方向に沿った格子間隔を表わし、矢印Ａ２は、画像データの奥行方向に沿った格子間隔を表わす。図４において、矢印Ａ１，Ａ２は、表示される位置により、格子間隔の寸法と関連付けられている。

【0040】

表示制御部２３ｂは、例えば、上述した設定位置Ｐｓと設定距離とカメラ１３の特性などに基づいて、水平面指標Ｍｈの寸法を算出して、当該寸法を上述のようにディスプレイ２１に表示させる。

【0041】

・本体からの距離の表示
表示制御部２３ｂは、本体３上の設定点（例えば本体３の前端）から、表示された水平面指標Ｍｈまたは鉛直指標Ｍｖまでの距離（単に指標距離ともいう）を、当該水平面指標Ｍｈまたは鉛直指標Ｍｖ（例えば当該指標Ｍｈ，Ｍｖ上の設定点）と関連付けてディスプレイ２１に表示させる。指標距離は、画像データにおける水平面指標Ｍｈまたは鉛直指標Ｍｖ上の設定点に対応する現実世界での位置と、本体３上の設定点との実際の距離であってよい。指標距離は、水平方向の距離であってよい。２つの位置の水平方向の距離（指標距離または後述の先端部距離）とは、当該２つの位置（例えば本体３上の設定点と後述の設定点Ｐ１又はＰ２）を１つの水平面に鉛直方向に投影した場合に、投影された当該２つの位置同士の距離である（以下、同様）。図４（Ａ）又は図４（Ｂ）の例では、指標距離は、本体３上の設定点から水平面指標Ｍｈ上の設定点Ｐ１又はＰ２までの水平方向の距離である。図５は、図４（Ａ）又は図４（Ｂ）の場合について、水平方向（本体３の前後方向を含む鉛直面と直交する水平方向）から見た概念図である。

【0042】

図４（Ａ）では、設定点Ｐ１は、水平面指標Ｍｈ（例えば格子の画像の水平面指標Ｍｈ）における中間位置にある点である。この中間位置は、水平面指標Ｍｈの中央部にある位置（例えば水平面指標Ｍｈの中心）であってよいが、これに限定されない。図４（Ａ）では、指標距離は、矢印Ａ３の表示位置により水平面指標Ｍｈ上の設定点Ｐ１と関連付けて、矢印Ａ３に付した数値Ｒ１により表示されている。

【0043】

図４（Ｂ）では、設定点Ｐ２は、水平面指標Ｍｈ（例えば格子の画像の水平面指標Ｍｈ）において最も手前側の点である。ここで、「手前側」とは、本体３に近い側を意味する。すなわち、「最も手前側の点」は、水平面指標Ｍｈ上の各点が対応する現実世界の各点のうち本体３の上記設定点に最も近い点に対応する点であってよい。図４（Ｂ）では、指標距離は、矢印Ａ３の表示位置により水平面指標Ｍｈ上の設定点Ｐ２と関連付けて、矢印Ａ３に付した数値Ｒ２により表示されている。

【0044】

指標距離は、カメラ１３の特性などに基づいて表示制御部２３ｂにより求められてよい。カメラ１３が本体３に設けられている場合には、表示制御部２３ｂは、本体３上の設定点の既知の位置と、本体３に対するカメラ１３の既知の取付位置及び取付姿勢と、水平面に対する本体３の姿勢と、上記設定位置Ｐｓと設定距離と、水平面指標Ｍｈまたは鉛直指標Ｍｖ上の設定点（図４（Ａ）（Ｂ）では、設定点Ｐ１又はＰ２）の位置と、カメラ１３の特性とに基づいて、指標距離を求めてよい。カメラ１３が持上機構７の先端部７ｂに設けられている場合には、表示制御部２３ｂは、本体３上の設定点の既知の位置と、先端部７ｂに対するカメラ１３の既知の取付位置及び取付姿勢と、水平面に対する本体３の姿勢と、上記設定位置Ｐｓと設定距離と、水平面指標Ｍｈまたは鉛直指標Ｍｖ上の設定点（図４（Ａ）（Ｂ）では、設定点Ｐ１又はＰ２）の位置と、カメラ１３の特性と、持上機構７の各部の動作量と、当該各部の既知の寸法に基づいて、指標距離を求めてよい。ここで、指標距離を求めるのに用いられる「水平面に対する本体３の姿勢と持上機構７の各部の動作量」は、該当する画像データをカメラ１３が取得した時に移動ロボットの検出部（例えば上述のジャイロスコープ１７ａや動作量検出部１７ｂ）により検出されたものであり、表示制御装置２３に入力された上述の姿勢情報に含まれているものであってよい。なお、指標距離が、水平方向の距離ではなく、３次元的な距離である場合には、指標距離を求めるのに、水平面に対する本体３の姿勢を用いなくてもよい。

【0045】

また、表示制御部２３ｂは、上述の指標距離とともに、本体３上の上記設定点から持上機構７の先端部７ｂまでの距離（先端部距離という）をディスプレイ２１に表示させてもよい。この場合、表示制御部２３ｂは、入力された持上機構７の各部の動作量と、持上機構７の各部の既知の寸法と、本体３上の上記設定点の既知の位置と、水平面に対する本体３の姿勢とに基づいて、本体３上の上記設定点から持上機構７の先端部７ｂまでの先端部距離を算出する。例えば図４のように、先端部距離としてＳｃｍが予め定めた位置（例えば画像データの右下）に表示されてよい。ここで、先端部距離の算出に用いられる「水平面に対する本体３の姿勢と持上機構７の各部の動作量」は、該当する画像データをカメラ１３が取得した時に移動ロボットの検出部（例えば上述のジャイロスコープ１７ａや動作量検出部１７ｂ）により検出されたものであり、表示制御装置２３に入力された上述の姿勢情報に含まれているものであってよい。なお、上述の指標距離が水平方向の距離である場合には、先端部距離は、水平方向の距離であり、上述の指標距離が３次元的な距離である場合には、先端部距離は、３次元的な距離であるのがよい。なお、先端部距離が、水平方向の距離ではなく、３次元的な距離である場合には、先端部距離を求めるのに、水平面に対する本体３の姿勢を用いなくてもよい。

【0046】

＜操作装置の構成＞
操作装置２０Ｂは、人が持上機構７を遠隔操縦するためのものである。図１において、操作装置２０Ｂは、人に操作される操作部２５と、操作部２５になされた操作に応じた動作指令を生成する指令生成部２７とを含む。

【0047】

操縦側の通信部１９は、指令生成部２７により生成された動作指令を、無線で移動ロボット１０へ送信する。移動ロボット側の通信部１５は、操縦側の通信部１９から送信された動作指令を受信して動作制御部９へ入力する。

【0048】

操作部２５として、持上機構７の先端部７ｂを本体３に対して移動させるための移動操作部２５ａと、把持装置７ｃに把持動作を実行させるための把持操作部２５ｂとが設けられていてよい。

【0049】

移動操作部２５ａの操作によって指令生成部２７が生成する動作指令は、例えば、移動ロボット１０の本体３に対する設定方向（以下で単に設定方向という）における先端部７ｂの移動を示してよい。すなわち、設定方向の移動を指令する操作を移動操作部２５ａに行うことができ、当該操作により、指令生成部２７は、当該設定方向の移動を示す動作指令を生成する。

【0050】

複数の設定方向があり、各設定方向について当該設定方向の移動を指令する操作を人が移動操作部２５ａに行えるように移動操作部２５ａが構成されていてよい。この場合、２つ以上の設定方向の各々の移動を指令する操作を人が移動操作部２５ａに同時に行えるように移動操作部２５ａが構成されていてもよい。

【0051】

移動操作部２５ａは、例えば、１つ又は複数のレバーを含むものであってよい。この場合、各設定方向は、レバーが操作されるいずれかの方向（例えばレバーを基準姿勢から傾ける方向）に対応していてよい。レバーが、いずれかの設定方向に対応する方向に操作されると、設定方向の移動を示す動作指令が指令生成部２７により生成される。なお、レバーが、２つの設定方向にそれぞれ対応する２つの方向の成分を有する方向に操作された場合、指令生成部２７は、当該２つの設定方向の各々の移動を示す動作指令を同時に生成してよい。なお、レバーが設定方向に対応する方向に操作されている時間だけ、指令生成部２７は当該設定方向の移動を示す動作指令を生成してよい。これにより、当該時間だけ先端部７ｂは当該設定方向に移動する。

【0052】

一例では、複数の設定方向は、次の（１）～（３）であってよい。
（１）本体３の左右方向
（２）本体３の前後方向
（３）本体３の左右方向と本体３の前後方向の両方に交差（例えば直交）する方向

【0053】

この場合、移動操作部２５ａは、例えば第１および第２のレバーを含んでよい。第１のレバーを操作者から見て右側に傾けると、上記（１）の左右方向のうち右方向への先端部７ｂの移動を示す動作指令が指令生成部２７により生成される。第１のレバーを操作者から見て左側に傾けると、上記（１）の左右方向のうち左方向への先端部７ｂの移動を示す動作指令が指令生成部２７により生成される。同様に、第１のレバーを操作者から見て前側に傾けると、上記（２）の前後方向のうち前方向への先端部７ｂの移動を示す動作指令が指令生成部２７により生成され、第１のレバーを操作者から見て後側に傾けると、上記（２）の前後方向のうち後方向への先端部７ｂの移動を示す動作指令が指令生成部２７により生成される。また、同様に、第２のレバーを操作者から見て前側に傾けると、上記（３）の方向（互いに逆向きの２方向）のうち一方の方向への先端部７ｂの移動を示す動作指令が指令生成部２７により生成され、第２のレバーを操作者から見て後側に傾けると、上記（３）の方向のうち他方の方向への先端部７ｂの移動を示す動作指令が指令生成部２７により生成される。ただし、移動操作部２５ａは、他の構成を有していてもよい。

【0054】

別の例では、複数の設定方向は、次の（４）～（６）であってもよい。
（４）持上機構７の基端部７ａの軸Ｃまわりの方向。
（５）持上機構７が向いている方向。ここで、持上機構７が向いている方向とは、持上機構７の基端部７ａから先端部７ｂに向かう方向であって、本体３の左右方向と本体３の前後方向を含む平面と平行な方向である。
（６）本体３の左右方向と本体３の前後方向の両方に交差（例えば直交）する方向。

【0055】

この場合においても、上記（４）～（６）の各設定方向について、当該設定方向の移動を指令する操作を人が移動操作部２５ａに行えるように移動操作部２５ａが構成されている。

【0056】

また、把持操作部２５ｂは、把持装置７ｃが対象物１を把持する動作を指令するための操作ができるように構成されていてよい。例えば、移動操作部２５ａの操作により先端部７ｂの把持装置７ｃが対象物１を把持できる位置に移動させられた状態で、把持を実行するための操作が把持操作部２５ｂ（例えばボタン）になされることにより、把持装置７ｃは、対象物１を把持する動作を行う。当該動作は、図２と図３の例では、開いている１対の把持部材７ｃ１が閉じることにより対象物１を挟んで把持する動作であってよい。

【0057】

＜画像表示方法＞
図６は、上述した遠隔操縦システム１００において行われる画像表示方法を示すフローチャートである。

【0058】

ステップＳ１において、移動ロボット１０が、遠隔操縦されることにより又は自律移動により、対象物１が置かれている場所へ移動し、持上機構７で対象物１を把持して持ち上げられる位置で停止する。なお、自律移動の場合には、当該場所を示す位置情報が移動ロボット１０の移動制御部（図示せず）に与えられる。

【0059】

ステップＳ２において、移動ロボット１０のカメラ１３が、対象物１を含む領域を撮像して、この領域の画像データを生成する。

【0060】

ステップＳ３において、ステップＳ２を行う時に、移動ロボット１０の姿勢センサ１７が上述の姿勢情報を検出する。ステップＳ２とステップＳ３は同時に行われてよい。

【0061】

ステップＳ４において、ステップＳ２、Ｓ３でそれぞれ得た画像データと姿勢情報が、移動ロボット側の通信部１５から遠隔操縦側装置２０へ送信される。

【0062】

ステップＳ５では、ステップＳ４で送信された画像データと姿勢情報が操縦側の通信部１９に受信されて表示制御装置２３に入力される。

【0063】

ステップＳ６において、表示制御装置２３の方向計算部２３ａは、上述したように、ステップＳ５で入力された姿勢情報などに基づいて、ステップＳ５で入力された画像データにおける設定位置Ｐｓでの水平面の方向と鉛直方向の一方または両方を求める。

【0064】

ステップＳ７において、表示制御部２３ｂは、ステップＳ５で入力された画像データをディスプレイ２１に表示させるとともに、ステップＳ６で求めた設定位置Ｐｓでの水平面の方向と鉛直方向の一方または両方に基づいて、水平面指標Ｍｈと鉛直指標Ｍｖをディスプレイ２１に表示させる。この時、表示制御部２３ｂは、水平面指標Ｍｈと鉛直指標Ｍｖを当該画像データにおける上記設定位置Ｐｓに表示させてよい。

【0065】

また、ステップＳ７において、表示制御装置２３の表示制御部２３ｂは、上述のように、カメラ１３の特性などに基づいて水平面指標Ｍｈの寸法を算出して、水平面指標Ｍｈの寸法を水平面指標Ｍｈと関連付けてディスプレイ２１に表示させてもよい。

【0066】

また、ステップＳ７において、表示制御装置２３の表示制御部２３ｂは、上述のように、カメラ１３の特性などに基づいて、本体３上の設定点から水平面指標Ｍｈまたは鉛直指標Ｍｖ上の設定点までの距離（指標距離）を求め、指標距離を、水平面指標Ｍｈまたは鉛直指標Ｍｖ上の設定点と関連付けてディスプレイ２１に表示させてもよい。
また、表示制御部２３ｂは、上述のように、指標距離とともに、本体３上の上記設定点から持上機構７の先端部７ｂまでの距離（先端部距離）をディスプレイ２１に表示させてもよい。

【0067】

上述したステップＳ２～Ｓ７は、繰り返し行われる。これによりディスプレイ２１に表示される画像データ、水平面指標Ｍｈ、鉛直指標Ｍｖ、水平面指標Ｍｈの寸法、および指標距離を見ながら、操作者は操作部２５を操作することにより、持上機構７により対象物１を把持して持ち上げる。

【0068】

＜実施形態の効果＞
上述した実施形態では、例えば以下の効果が得られる。

【0069】

水平面に対するカメラ１３の姿勢を特定可能な情報を姿勢情報として、移動ロボット１０に設けられた姿勢センサ１７が検出する。この姿勢情報に基づいて、水平面の方向を示す水平面指標Ｍｈと鉛直方向を示す鉛直指標Ｍｖの一方または両方を、対象物１の領域を撮像した画像データとともにディスプレイ２１に表示させる。したがって、人は、持上機構７を遠隔操縦する際に、表示された水平面指標Ｍｈと鉛直指標Ｍｖの一方または両方を見ることで画像データにおける水平面の方向または鉛直方向を容易に認識できる。したがって、対象物１が水平面に対して傾いた斜面に置かれている場合であっても、対象物１を把持して持ち上げるように移動ロボット１０の持上機構７を遠隔操縦することが容易になる。例えば、操作者は、持上機構７が対象物１を鉛直方向に持ち上げるように持上機構７を遠隔操縦することが容易になる。

【0070】

対象物１を含む領域をカメラ１３で撮像する時に姿勢センサ１７で検出した姿勢情報に基づいて、方向計算部２３ａが、画像データにおける水平面の方向と鉛直方向の一方または両方を求める。このように求めた水平面の方向と鉛直方向の一方または両方に基づいて、表示制御部２３ｂが、水平面指標Ｍｈと鉛直指標Ｍｖをディスプレイ２１に表示させることができる。

【0071】

水平面指標Ｍｈが、画像データにおける水平面に位置するように３次元的に表示される格子の画像である場合には、人は、このような格子が延びている方向を見ることで、水平面が延びている方向を認識しやすくなる。

【0072】

表示制御部２３ｂは、水平面指標Ｍｈを画像データに重ねてディスプレイ２１に表示させ、かつ、水平面指標Ｍｈまたは鉛直指標Ｍｖの寸法をディスプレイ２１に表示させる場合には、人は、この寸法を参照して、画像データにおいて水平面指標Ｍｈまたは鉛直指標Ｍｖと対象物１との大きさを比較することで、対象物１の寸法を認識しやすくなる。

【0073】

表示制御部２３ｂは、本体３上の設定点から、表示された水平面指標Ｍｈまたは鉛直指標Ｍｖ上の設定点までの距離をディスプレイ２１に表示させる場合には、人は、この距離を参照して、画像データにおいて水平面指標Ｍｈまたは鉛直指標Ｍｖの位置と対象物１の位置とを比較することで、本体３から対象物１までの距離を認識しやすくなる。

【0074】

表示制御部２３ｂは、指標距離とともに、本体３上の上記設定点から持上機構７の先端部７ｂまでの距離（先端部距離）をディスプレイ２１に表示させる場合には、人は、指標距離と先端部距離を参照することで、水平面指標Ｍｈまたは鉛直指標Ｍｖと先端部７ｂ（把持装置７ｃ）との距離の差を確認できる。この場合、人は、さらに、画像データにおける水平面指標Ｍｈまたは鉛直指標Ｍｖと対象物１との位置関係を見ることで、対象物１と先端部７ｂ（把持装置７ｃ）との位置関係を認識しやすくなる。その結果、把持装置７ｃで対象物１の所望の箇所を把持するように持上機構７を遠隔操縦しやすくなる。

【0075】

＜変更例＞
本発明は上述した実施の形態に限定されず、本発明の技術的思想の範囲内で種々変更を加え得ることは勿論である。例えば、以下の変更例１～３のいずれかを採用してもよいし、変更例１～３の複数を任意に組わせて採用してもよい。この場合、以下で説明しない点は、上述と同じであってよい。

【0076】

（変更例１）
方向計算部２３ａは、移動ロボット１０に設けられていてもよい。この場合、画像データにおける水平面の方向と鉛直方向の一方または両方は、方向計算部２３ａにより求められて、移動ロボット側の通信部１５と操縦側の通信部１９を介して表示制御部２３ｂへ入力される。

【0077】

（変更例２）
表示制御部２３ｂは、水平面指標Ｍｈと鉛直指標Ｍｖのうち一方（水平面指標Ｍｈまたは鉛直指標Ｍｖ）のみをディスプレイ２１に表示させてもよい。

【0078】

（変更例３）
なお、上述のカメラ１３の代わりに、レーザセンサ（例えばレーザレンジファインダＬＲＦ）を用いてもよい。この場合、上述において、画像データは、レーザセンサの計測により生成された距離画像データとなる。

【符号の説明】

【0079】

１ 対象物、２ 地表面、３ 本体、５ 移動機構、５ａ 回転体、７ 持上機構、７ａ 基端部、７ｂ 先端部、７ｃ 把持装置、７ｃ１ 把持部材、７ｄ 中間部、９ 動作制御部、１０ 移動ロボット、１１ 駆動装置、１３ カメラ、１５ 移動ロボット側の通信部、１７ 姿勢センサ、１７ａ ジャイロスコープ、１７ｂ 動作量検出部、１９ 操縦側の通信部、２０ 遠隔操縦側装置、２０Ａ 画像表示装置、２０Ｂ 操作装置、２１ ディスプレイ、２１ａ 画面、２３ 表示制御装置、２３ａ 方向計算部、２３ｂ 表示制御部、２５ 操作部、２５ａ 移動操作部、２５ｂ 把持操作部、２７ 指令生成部、１００ 遠隔操縦システム、Ｃ 軸、Ｄｈ１，Ｄｈ２ 水平面の方向（水平方向）、Ｄｖ 鉛直方向、Ｈ 水平面（水平フレーム）、Ｐｓ 設定位置、Ｍｈ 水平面指標、Ｍｖ 鉛直指標

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】