特許 7303008 画像表示方法及び遠隔操縦システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-26

(45)【発行日】2023-07-04

(54)【発明の名称】画像表示方法及び遠隔操縦システム

(51)【国際特許分類】

   G05D 1/00 20060101AFI20230627BHJP

   G01S 17/93 20200101ALI20230627BHJP

【ＦＩ】

G05D1/00 B

G01S17/93

【請求項の数】 6

(21)【出願番号】P 2019070565

(22)【出願日】2019-04-02

(65)【公開番号】P2020170293

(43)【公開日】2020-10-15

【審査請求日】2022-02-16

(73)【特許権者】

【識別番号】500302552

【氏名又は名称】株式会社ＩＨＩエアロスペース

(73)【特許権者】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(74)【代理人】

【識別番号】110002664

【氏名又は名称】弁理士法人相原国際知財事務所

(72)【発明者】

【氏名】中島 忠弘

(72)【発明者】

【氏名】矢代 裕之

(72)【発明者】

【氏名】寺内 強

【審査官】大古 健一

(56)【参考文献】

【文献】特開２０１６－４５８２５（ＪＰ，Ａ）

【文献】特開２０１８－１１０３５２（ＪＰ，Ａ）

【文献】特開２０１５－１７４１５５（ＪＰ，Ａ）

【文献】国際公開第２０１７／０４２８７３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ － １／１２

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ －１７／９５

(57)【特許請求の範囲】

【請求項1】

レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサ、自己位置データを取得する自己位置計測部、及び、カラーデジタルカメラを搭載したロボットを、遠隔操縦用画像が表示されるディスプレーを有する遠隔操縦装置によって遠隔操縦するに際して、
前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置データに基づくセンサ座標系からグローバル座標系への変換を行い、
色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示する画像表示方法。

【請求項2】

前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する請求項１に記載の画像表示方法。

【請求項3】

前記ロボットは作動部を有し、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する請求項１に記載の画像表示方法。

【請求項4】

ロボットを遠隔操縦装置によって遠隔操縦する遠隔操縦システムであって、
前記ロボットには、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサと、自己位置データを取得する自己位置計測部と、カラーデジタルカメラが搭載され、
前記遠隔操縦装置には、遠隔操縦用画像が表示されるディスプレーが搭載され、
前記ロボット及び前記遠隔操縦装置のいずれかには、前記ロボットの前記レーザセンサで得た前記レーザ計測点群のデータが入力されると共に前記自己位置計測部で得た自己位置データが入力される制御部が具備され、
前記制御部は、前記ロボットの前記レーザセンサにより取得されるレーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示させる遠隔操縦システム。

【請求項5】

前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる請求項４に記載の遠隔操縦システム。

【請求項6】

前記ロボットは作動部を有し、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる請求項４に記載の遠隔操縦システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディスプレーを有する遠隔操縦装置によってロボットである車両や建機を遠隔操縦する際に用いるのに好適な画像表示方法及び遠隔操縦システムに関するものである。

【背景技術】

【0002】

従来、上記したようなロボットとしては、例えば、特許文献１に記載された車両タイプの移動ロボットがある。

【0003】

この移動ロボットは、レーザ光を走査して進行方向側のレーザ計測点群を取得するレーザレンジファインダと、自己位置を求めるＧＰＳ等の自己位置計測部と、レーザレンジファインダで得た進行方向側のレーザ計測点群のデータが入力されると共に自己位置計測部で得た自己位置データが入力される制御部を備えている。

【0004】

レーザレンジファインダで取得される進行方向側のレーザ計測点群のデータは、制御部において、移動ロボットが移動する度に自己位置計測部で取得されるレーザレンジファインダの位置を原点とするレーザ計測点群のデータに更新され、制御部から遠隔操縦装置に送信されてディスプレーにリアルタイムで表示される。

【0005】

この場合、遠隔操縦装置のディスプレーに表示されるレーザ計測点群の画像をよりリアルなものにするための手法として、レーザレンジファインダで得たプロファイルデータであるレーザ計測点群を座標（高さや距離）に基づいて色付けする方法がある。

【先行技術文献】

【特許文献】

【0006】

【文献】特開2012-159954号

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところが、上記したレーザレンジファインダで取得するプロファイルデータは、レーザ計測点群の密度が薄いことから、レーザ計測点の位置情報に基づいて色付け処理を施したとしても、遠隔操縦に有用な画像を遠隔操縦装置のディスプレーに表示することができないという問題があり、この問題を解決することが従来の課題となっている。

【0008】

本発明は、上記した従来の課題に着目してなされたもので、ディスプレーを有する遠隔操縦装置によって、例えば、ロボットを遠隔操縦するに際して、遠隔操縦装置のディスプレーに有用な画像をリアルタイムで表示することが可能である画像表示方法及び遠隔操縦システムを提供することを目的としている。

【課題を解決するための手段】

【0009】

本発明の第１の態様は、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサ、自己位置データを取得する自己位置計測部、及び、カラーデジタルカメラを搭載したロボットを、遠隔操縦用画像が表示されるディスプレーを有する遠隔操縦装置によって遠隔操縦するに際して、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置データに基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示する構成としている。

【0011】

また、本発明の第２の態様は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する構成としている。

【0012】

さらに、本発明の第３の態様において、前記ロボットは作動部を有し、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する構成としている。

【0013】

一方、本発明の第４の態様は、ロボットを遠隔操縦装置によって遠隔操縦する遠隔操縦システムであって、前記ロボットには、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサと、自己位置データを取得する自己位置計測部と、カラーデジタルカメラが搭載され、前記遠隔操縦装置には、遠隔操縦用画像が表示されるディスプレーが搭載され、前記ロボット及び前記遠隔操縦装置のいずれかには、前記ロボットの前記レーザセンサで得た前記レーザ計測点群のデータが入力されると共に前記自己位置計測部で得た自己位置データが入力される制御部が具備され、前記制御部は、前記ロボットの前記レーザセンサにより取得されるレーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。

【0015】

また、本発明の第５の態様において、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。

【0016】

さらに、本発明の第６の態様において、前記ロボットは作動部を有し、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。

【0017】

本発明に係る画像表示方法及び遠隔操縦システムにおいて、ロボットの周囲のレーザ計測点群（プロファイルデータ）を取得するレーザセンサとしては、例えば、水平ラインスキャンタイプの１軸レーザレンジファインダであれば事足りる。

【0018】

また、自己位置データ（自己位置の他に姿勢角及び方位を含む）を求める自己位置計測部としては、例えば、ＧＰＳや、ＩＮＳ（慣性航法装置）やＩＭＵ（慣性計測装置）やデッドレコニングを用いることができる。

【発明の効果】

【0019】

本発明の第１の態様に係る画像表示方法及び第４の態様に係る遠隔操縦システムでは、ディスプレーを有する遠隔操縦装置によってロボットを遠隔操縦するに際して、計測対象物を区別できるカメラ画像のような画像、すなわち、遠隔操縦に有用な画像を遠隔操縦装置のディスプレーにリアルタイムで表示することが可能であるという非常に優れた効果がもたらされる。

【0020】

また、本発明の第１の態様に係る画像表示方法及び第４の態様に係る遠隔操縦システムは、ロボットを移動させる場合において、ロボットの移動速度にマッチした画像を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。

【0021】

さらに、本発明の第２の態様に係る画像表示方法及び第５の態様に係る遠隔操縦システムでは、密な情報を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。

【0022】

さらにまた、本発明の第３の態様に係る画像表示方法及び第６の態様に係る遠隔操縦システムは、ロボットの作動部を動作させる場合において、ロボットの作動部の動きにマッチした画像を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施例による画像表示方法及び遠隔操縦システムを採用した車両の概要を示す構成説明図である。

【図2】図１における車両の制御機器の接続ブロック図である。

【図3】本発明の一実施例による画像表示方法の色付け処理が成されて表示された画像のイメージ図である。

【図4】本発明の一実施例による画像表示方法の動作フローチャートである。

【図5】図４に示した画像表示方法の動作フローチャートにおける色付け処理の動作フローチャートである。

【図6】図４に示した画像表示方法の動作フローチャートにおける速度対応処理の動作フローチャートである。

【図7】図４に示した画像表示方法の動作フローチャートにおける位置の表示視点変更処理の動作フローチャートである。

【図8】図４に示した画像表示方法の動作フローチャートに沿って実行した際のディスプレー表示状態を示す実行前の表示状態（ａ）及び実行後の表示状態（ｂ）である。

【図9】本発明の他の実施例による画像表示方法及び遠隔操縦システムを採用した建機を側面方向から見たイメージ図である。

【図10】図７に示した位置の表示視点変更処理の動作フローチャートに相当する他の表示視点変更処理の動作フローチャートである。

【図11】図１０における他の表示視点変更処理の動作フローチャートに沿って実行した際のディスプレー表示状態を示す実行前の表示状態（ａ）及び実行後の表示状態（ｂ）である。

【発明を実施するための形態】

【0024】

以下、本発明の実施例を図面に基づいて説明する。
図１～図８は、本発明の一実施例による画像表示方法及び遠隔操縦システムを採用した車両を示している。

【0025】

この遠隔操縦システムは、図１に示すように、携帯型の遠隔操縦装置Ａによって車両Ｂの移動をコントロールする際に用いられるシステムであって、図２に示すように、車両制御用コンピュータ１０及びこの車両制御用コンピュータ１０とＬＡＮ１１を介して接続されるセンサデータ処理用コンピュータ３０が備えられている。なお、遠隔操縦装置Ａは携帯型に限定されない。

【0026】

車両制御用コンピュータ１０の入力側には、アンテナ１２が入出力回路１５を介して接続されていると共に、位置情報取得用のＧＰＳ１６と、姿勢制御用のバーチカルジャイロ１７と、移動速度測定用の車速パルス（移動速度測定手段）１８がシリアル回線を介して接続されている。

【0027】

また、車両制御用コンピュータ１０の出力側には、モータドライバ２１を介して操舵用アクチュエータ２２及びブレーキ／アクセル用アクチュエータ２３が接続されており、モータドライバ２１とアクチュエータ２２，２３と車輪２４とで駆動ユニット２０を構成している。

【0028】

車両制御用コンピュータ１０は、ＧＰＳ１６やバーチカルジャイロ１７で取得した自己位置や姿勢等の各種情報をセンサデータ処理用コンピュータ３０にＬＡＮ１１を介して送信する機能を有していると共に、遠隔操縦装置Ａから送信される操作情報に基づいて、モータドライバ２１を介して操舵用アクチュエータ２２及びブレーキ／アクセル用アクチュエータ２３を作動、停止させる機能を有している。

【0029】

一方、センサデータ処理用コンピュータ３０の入力側には、レーザ光を走査して車両Ｂの周囲のレーザ計測点群を取得するレーザレンジファインダ（レーザセンサ）３１と、このレーザレンジファインダ３１により取得されるレーザ計測点群に対して色付け処理を行うためのレーザ計測点色付け用カメラ（デジタルカメラ）３２が接続されており、このセンサデータ処理用コンピュータ３０は、レーザ計測点色付け用カメラ３２で色付したレーザ計測点群データを遠隔操縦装置Ａに送信する機能を有している。

【0030】

遠隔操縦装置Ａは、車両Ｂのレーザ計測点色付け用カメラ３２で色付されたレーザ計測点群データを表示するディスプレー４０と、車両制御用コンピュータ１０及びセンサデータ処理用コンピュータ３０に対してデータのやり取りをする制御部６０を具備しており、ディスプレー４０は、図示しないＣＰＵやキーボード６１やアンテナ６２とともに制御部６０に組み込まれている。

【0031】

この場合、車両Ｂに搭載された上記センサデータ処理用コンピュータ３０は、レーザレンジファインダ３１により取得されるレーザ計測点群に対してレーザ計測点色付け用カメラ３２の画像に基づく色付け処理を行う機能を有している。なお、このセンサデータ処理用コンピュータ３０は、レーザ計測点色付け用カメラ３２の画像に基づく色付け機能に加えて、レーザ計測点群の位置情報に基づく色付け機能も有している。

【0032】

この色付け処理とは、車両Ｂの周囲のレーザ計測点群に、ＲＧＢ（赤緑青の各成分）情報を付与することである。このＲＧＢ情報が、レーザ計測点色付け用カメラ３２の画像に基づくものであれば、計測対象物を明瞭に区別可能なカメラ画像のような位置情報となり、一方、ＲＧＢ情報が、レーザ計測点群の位置情報に基づくものであれば、標高によって異なるＲＧＢ情報が付与されて、地面と障害物（穴等の凹みを含む）との区別が可能な位置情報となる。
このように、センサデータ処理用コンピュータ３０は、レーザ計測点群の位置情報に基づいて画像を作成し、作成された画像は、図３に示すように、遠隔操縦装置Ａのディスプレー４０にて表示される。図３の画像は、カメラ画像に基づくＲＧＢ情報をレーザ計測点群に付与することで作成された画像である。

【0033】

この色付け処理が成されたレーザ計測点群のデータは、レーザレンジファインダ３１とレーザ計測点群との間の相対距離なので、上記センサデータ処理用コンピュータ３０において、色付け処理後のレーザ計測点群に対してＧＰＳ１６で取得した自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行って、遠隔操縦装置Ａのディスプレー４０に表示させるようにしている。

【0034】

また、上記センサデータ処理用コンピュータ３０は、レーザレンジファインダ３１により取得するレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Ｂの移動速度に応じて決定する。
ここで、レーザレンジファインダ３１により取得するレーザ計測点群の表示データの範囲とは、表示するレーザ計測点群の座標の範囲であり、この表示データの範囲を決定すると、例えば、車両Ｂの前方における所定距離までの範囲内のレーザ計測点群の座標や、車両Ｂの前方における所定角度内のレーザ計測点群の座標を表示することになる。
一方、計測フレームの範囲とは、表示するレーザ計測点群の計測フレーム（レーザレンジファインダ３１による１計測）の数であり、データを表示しようとする場合に、現在の計測フレームにそれ以前の計測フレームを重畳する（同時に表示する）ことになる。
つまり、車両Ｂの移動速度が遅い場合には、レーザレンジファインダ３１による計測対象物の変化が少ないので、広い表示範囲で且つ少ない計測フレームを重ねて遠隔操縦装置Ａのディスプレー４０に表示させ、車両Ｂの移動速度が速い場合には、レーザレンジファインダ３１による計測対象物の変化が大きいので、無駄に表示するデータの量を減らすべく狭い表示範囲で且つ多くの計測フレームを重ねて遠隔操縦装置Ａのディスプレー４０に表示させるようにしている。

【0035】

さらに、上記センサデータ処理用コンピュータ３０は、車両Ｂのレーザレンジファインダ３１により取得されるレーザ計測点群のうちの高さが予め設定した範囲内にあるレーザ計測点を抽出し、この抽出したレーザ計測点について車両Ｂの周辺における分布を算出して、予め設定した閾値以上のレーザ計測点が多く存在する側に表示視点を変更して遠隔操縦装置Ａのディスプレー４０に表示させる機能を有している。
車両Ｂの周辺におけるレーザ計測点の分布の算出は、車両Ｂに最も近いレーザ計測点、及び、予め設定した閾値以上のレーザ計測点全体の統計値（平均値、分散共分散値等の統計値）に基づいて、閾値以上のレーザ計測点の代表値等の値を得る。

【0036】

そこで、上記センサデータ処理用コンピュータ３０による画像表示要領を説明する。まず、図４に示すように、ステップＳ１において、レーザレンジファインダ３１によりレーザ光を走査して車両Ｂの周囲のレーザ計測点群を取得すると共に、ＧＰＳ１６等の自己位置計測部で自己位置情報を取得する。

【0037】

次いで、ステップＳ２においてレーザ計測点群に対してレーザ計測点色付け用カメラ３２の画像に基づく色付け処理を行うと共に、色付け処理が成されたレーザ計測点群に対して座標変換を行う。

【0038】

続いて、ステップＳ３において車両Ｂの移動速度に応じたレーザ計測点群の更新処理を行うのに続いて、ステップＳ４において遠隔操縦装置Ａのディスプレー４０における表示視点の変更処理を行う。

【0039】

このステップＳ２～Ｓ４における各処理の後、ステップＳ５において処理後の色付けされたレーザ計測点群が遠隔操縦装置Ａのディスプレー４０に表示され、ステップＳ１においてレーザレンジファインダ３１により新たなレーザ計測点群の取得が成される都度、ステップＳ２～５が繰り返し実行される。

【0040】

具体的には、ステップ２の色付け処理及び座標変換処理は、図５に示すように、ステップＳ２１においてカラーデジタルカメラであるレーザ計測点色付け用カメラ３２を用いる選択（Ｙｅｓを選択）を操縦者Ｃが行うことで、遠隔操縦装置Ａからセンサデータ処理用コンピュータ３０に信号が送られ、レーザレンジファインダ３１により取得されるレーザ計測点群に対して、ステップＳ２２においてレーザ計測点色付け用カメラ３２の画像に基づく色付け処理を行う。

【0041】

次に、色付け処理が成されたレーザ計測点群に対して、ＧＰＳ１６で取得した自己位置情報に基づいて、ステップＳ２３においてセンサ座標系からグローバル座標系への変換を行う。

【0042】

なお、ステップＳ２４の処理は、レーザ計測点色付け用カメラ３２を利用する色付けの代替処理であり、ステップＳ２１においてカラーデジタルカメラであるレーザ計測点色付け用カメラ３２を利用しない方を操縦者Ｃが選択（Ｎｏを選択）することで、このステップＳ２４において、レーザ計測点群をＧＰＳ１６で取得した自己位置情報（地面からの高さや距離）に基づいた色付けが成される、例えば、標高が高い部位は赤く、標高が低い部位は青く色付けされる。

【0043】

また、ステップ３の移動速度に応じた更新処理は、図６に示すように、ステップＳ３１において車両Ｂの移動速度を車速パルス１８から取得し、ステップＳ３２において、レーザレンジファインダ３１によるレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Ｂの移動速度に応じて決定する処理である。例えば、車両Ｂの移動速度が遅い場合には、レーザ計測点群の表示範囲を広くすると共に計測フレームを少なくし、一方、車両Ｂの移動速度が速い場合には、レーザ計測点群の表示範囲を絞ると共に計測フレームを多くする。

【0044】

そして、ステップＳ３３において、車両Ｂの移動に伴って逐次取得するレーザ計測点群を更新する毎に、最新の計測データである現在の計測フレーム（レーザレンジファインダ３１による１計測）に対して、それ以前の計測データである計測フレームを重ねて遠隔操縦装置Ａのディスプレー４０に表示する。

【0045】

さらに、ステップ４の表示視点変更処理は、図７に示すように、ステップＳ４１において、レーザレンジファインダ３１により取得するレーザ計測点群のうちの高さが予め設定した車両Ｂにとって走行に支障を来す範囲（例えば、車両Ｂの最低地上高さ～車両Ｂの最高地上高さ＋α）内のレーザ計測点を抽出する。例えば、図８（ａ）に示すように、車両Ｂの左方に壁Ｗがある場合には、遠隔操縦装置Ａのディスプレー４０に表示される多数のレーザ計測点Ｐは、壁Ｗにおける反射点であるレーザ計測点Ｐ１と、壁Ｗ以外の地面や遠方の対象物（障害物）の反射点であるレーザ計測点Ｐ２とから成り、多数のレーザ計測点Ｐのうちの抽出されるレーザ計測点Ｐは、車両Ｂの左方の壁Ｗからのレーザ計測点Ｐ１となる。

【0046】

続いて、多数のレーザ計測点Ｐのうちの抽出された壁Ｗにおけるレーザ計測点Ｐ１に対して、ステップＳ４２において車両Ｂの周辺における分布を算出する。この分布の算出においては、車両Ｂに最も近いレーザ計測点Ｐ、及び、壁Ｗのレーザ計測点Ｐ１全体の統計値（平均値、分散共分散値等の統計値）に基づいて、壁Ｗのレーザ計測点Ｐ１の代表値等の値を得る。
そして、最後に、上記のようにして得られた値に基づいて（抽出したレーザ計測点Ｐ１がディスプレー４０の左側の部分に多く存在することを認識して）、ステップＳ４３において、抽出したレーザ計測点Ｐ１が多く存在するディスプレー４０の左側に表示視点を変更して遠隔操縦装置Ａのディスプレー４０に表示させる。具体的には、車両Ｂの位置及び壁Ｗと見なしたレーザ計測点Ｐ１の位置（座標）がいずれも既知なので、例えば、図８（ｂ）に示すように、ディスプレー４０の壁Ｗと見なした左側の部分と車両Ｂとの中間線Ｌが画面の中央に来るように表示させる。

【0047】

このように、上記した実施例では、センサデータ処理用コンピュータ３０によって、レーザレンジファインダ３１により取得されるレーザ計測点群に対して、レーザ計測点色付け用カメラ３２で得た画像に基づいて色情報を付与する色付け処理を行うと共に、色付け処理後のレーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行うようにしている。
したがって、密度が薄いレーザ計測点群であったとしても、計測対象物である壁Ｗを明瞭に認識できるカメラ画像のような画像、すなわち、遠隔操縦に有用な画像として遠隔操縦装置Ａのディスプレー４０にリアルタイムで表示させ得ることとなる。

【0048】

加えて、色付け処理後のレーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、レーザレンジファインダ３１により取得するレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Ｂの移動速度に応じて決定して、車両Ｂの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて遠隔操縦装置Ａのディスプレー４０に表示させるようにしている。
つまり、車両Ｂの移動速度が遅い場合には、広い表示範囲で且つ少ない計測フレームを重ねて遠隔操縦装置Ａのディスプレー４０に表示させ、車両Ｂの移動速度が速い場合には、狭い表示範囲で且つ多くの計測フレームを重ねて遠隔操縦装置Ａのディスプレー４０に表示させるようにしているので、車両Ｂを移動させる場合において、車両Ｂの移動速度にマッチした密な情報を遠隔操縦装置Ａのディスプレー４０にリアルタイムで表示させ得ることとなる。

【0049】

さらに、上記した実施例では、センサデータ処理用コンピュータ３０によって、車両Ｂのレーザレンジファインダ３１により取得されるレーザ計測点群のうちの高さを予め設定した範囲内（車両Ｂにとって走行に支障を来す範囲内）にあるレーザ計測点Ｐ１を抽出し、この抽出したレーザ計測点Ｐ１の車両Ｂの周辺における分布を算出するようにしているので、車両Ｂと周囲のレーザ計測点Ｐとの関係に基づいて、遠隔操縦装置Ａのディスプレー４０の表示視点を単一視点のカメラ画像と比べて自由且つ簡単に変更し得ることとなり、その結果、車両Ｂを安全に走行させるための遠隔操縦に適した画像を遠隔操縦装置Ａのディスプレー４０にリアルタイムで表示させ得ることとなる。

【0050】

図９～図１１は、本発明の他の実施例による画像表示方法及び遠隔操縦システムを示しており、この実施例では、図９に示すように、ロボットが走行可能で且つ作動部としてのバケットＢａを有する建機ＢＫである場合を示している。

【0051】

この実施例における建機ＢＫは、先の実施例における車両Ｂと同様にセンサデータ処理用コンピュータ３０を有しているほか、アームＢｃを介してバケットＢａを支持するブームＢｂの角度及び向きを検出するセンサや、ブームＢｂ及びアームＢｃ間の角度を検出するセンサ（いずれも図示省略）を有しており、このセンサデータ処理用コンピュータ３０では、図７に示した画像表示方法の動作フローチャートにおける位置の表示視点変更処理（ステップＳ４）に代えて、図１０に示す他の表示視点変更処理（ステップＳ４Ａ）が行われる。

【0052】

すなわち、このステップＳ４Ａの表示視点変更処理は、ステップＳ４１Ａにおいて、建機ＢＫのレーザレンジファインダ３１により取得される複数のレーザ計測点ＰのうちのバケットＢａにもっとも近いレーザ計測点ＰＭを抽出する。例えば、図１１（ａ）に示すように、遠隔操縦装置Ａにおけるディスプレー４０にバケットＢａが表示されている場合に、このバケットＢａにもっとも近いレーザ計測点ＰＭを抽出する。
この際、レーザレンジファインダ３１により取得される複数のレーザ計測点Ｐの各グローバル座標系での位置は既知であり、一方、バケットＢａのグローバル座標系での位置もブームＢｂ及びアームＢｃ周りに配置したセンサにより認識し得るので、バケットＢａにもっとも近いレーザ計測点ＰＭは、例えば、公知の最近傍探索法を用いて抽出することができる。

【0053】

次いで、ステップＳ４２Ａにおいて、この抽出したレーザ計測点ＰＭとバケットＢａとの距離が予め設定した閾値ｄ以下の場合に、この抽出したレーザ計測点ＰＭ側に表示視点を変更して遠隔操縦装置Ａにおけるディスプレー４０に表示する。例えば、図１１（ｂ）に示すように、遠隔操縦装置Ａにおけるディスプレー４０上のバケットＢａ近傍に視点をずらして表示させる。

【0054】

このように、上記した実施例では、建機ＢＫのバケットＢａを動作させる場合において、センサデータ処理用コンピュータ３０によって、レーザレンジファインダ３１により取得される多数のレーザ計測点ＰのうちのバケットＢａにもっとも近いレーザ計測点ＰＭを抽出し、この抽出したレーザ計測点ＰＭ側に表示視点を変更するようにしているので、建機ＢＫのバケットＢａと周囲との関係に基づいて遠隔操縦装置Ａのディスプレー４０の表示視点を変更し得ることとなり、その結果、建機ＢＫのバケットＢａの動きにマッチした画像を遠隔操縦装置Ａのディスプレー４０にリアルタイムで表示させ得ることとなる。

【0055】

上記した実施例では、色付け処理や座標変換処理や移動速度に応じた更新処理や表示視点変更処理をセンサデータ処理用コンピュータ３０で行う構成としているが、上記した各処理は遠隔操縦装置Ａの制御部６０で行う構成としてもよい。

【0056】

また、上記した実施例では、移動速度に応じた更新処理（ステップ３）や表示視点変更処理（ステップ４）を色付け処理及び座標変換処理（ステップ２）に続いて行う構成としているが、色付け処理及び座標変換処理の両処理のみとしたり、色付け処理及び座標変換処理に続いて移動速度に応じた更新処理だけを行ったり、色付け処理及び座標変換処理に続いて表示視点変更処理だけを行ったりしてもよい。

【0057】

本発明に係る画像表示方法及び遠隔操縦システムの構成は、上記した実施例に限定されるものではない。

【符号の説明】

【0058】

１６ ＧＰＳ（自己位置計測部）
１８ 車速パルス（移動速度測定手段）
３０ センサデータ処理用コンピュータ（制御部）
３１ レーザレンジファインダ（レーザセンサ）
３２ レーザ計測点色付け用カメラ（カラーデジタルカメラ）
４０ ディスプレー
Ａ 遠隔操縦装置
Ｂ 車両（ロボット）
ＢＫ 建機（ロボット）
Ｂａ バケット（作動部）
ｄ 閾値
Ｐ レーザ計測点（レーザ計測点群）
Ｐ１ 車両（ロボット）にとって移動に支障を来す範囲内のレーザ計測点
ＰＭ バケットにもっとも近いレーザ計測点
Ｗ 壁（車両（ロボット）にとって移動に支障を来す範囲）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】