(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-26
(45)【発行日】2023-07-04
(54)【発明の名称】画像表示方法及び遠隔操縦システム
(51)【国際特許分類】
G05D 1/00 20060101AFI20230627BHJP
G01S 17/93 20200101ALI20230627BHJP
【FI】
G05D1/00 B
G01S17/93
(21)【出願番号】P 2019070565
(22)【出願日】2019-04-02
【審査請求日】2022-02-16
(73)【特許権者】
【識別番号】500302552
【氏名又は名称】株式会社IHIエアロスペース
(73)【特許権者】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】110002664
【氏名又は名称】弁理士法人相原国際知財事務所
(72)【発明者】
【氏名】中島 忠弘
(72)【発明者】
【氏名】矢代 裕之
(72)【発明者】
【氏名】寺内 強
【審査官】大古 健一
(56)【参考文献】
【文献】特開2016-45825(JP,A)
【文献】特開2018-110352(JP,A)
【文献】特開2015-174155(JP,A)
【文献】国際公開第2017/042873(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/00 - 1/12
G01S 7/48 - 7/51
G01S 17/00 -17/95
(57)【特許請求の範囲】
【請求項1】
レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサ、自己位置データを取得する自己位置計測部、及び、カラーデジタルカメラを搭載したロボットを、遠隔操縦用画像が表示されるディスプレーを有する遠隔操縦装置によって遠隔操縦するに際して、
前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置データに基づくセンサ座標系からグローバル座標系への変換を行
い、
色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示する画像表示方法。
【請求項2】
前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する請求項
1に記載の画像表示方法。
【請求項3】
前記ロボットは作動部を有し、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する請求項1に記載の画像表示方法。
【請求項4】
ロボットを遠隔操縦装置によって遠隔操縦する遠隔操縦システムであって、
前記ロボットには、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサと、自己位置データを取得する自己位置計測部と、カラーデジタルカメラが搭載され、
前記遠隔操縦装置には、遠隔操縦用画像が表示されるディスプレーが搭載され、
前記ロボット及び前記遠隔操縦装置のいずれかには、前記ロボットの前記レーザセンサで得た前記レーザ計測点群のデータが入力されると共に前記自己位置計測部で得た自己位置データが入力される制御部が具備され、
前記制御部は、前記ロボットの前記レーザセンサにより取得されるレーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行
い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示させる遠隔操縦システム。
【請求項5】
前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる請求項
4に記載の遠隔操縦システム。
【請求項6】
前記ロボットは作動部を有し、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる請求項
4に記載の遠隔操縦システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレーを有する遠隔操縦装置によってロボットである車両や建機を遠隔操縦する際に用いるのに好適な画像表示方法及び遠隔操縦システムに関するものである。
【背景技術】
【0002】
従来、上記したようなロボットとしては、例えば、特許文献1に記載された車両タイプの移動ロボットがある。
【0003】
この移動ロボットは、レーザ光を走査して進行方向側のレーザ計測点群を取得するレーザレンジファインダと、自己位置を求めるGPS等の自己位置計測部と、レーザレンジファインダで得た進行方向側のレーザ計測点群のデータが入力されると共に自己位置計測部で得た自己位置データが入力される制御部を備えている。
【0004】
レーザレンジファインダで取得される進行方向側のレーザ計測点群のデータは、制御部において、移動ロボットが移動する度に自己位置計測部で取得されるレーザレンジファインダの位置を原点とするレーザ計測点群のデータに更新され、制御部から遠隔操縦装置に送信されてディスプレーにリアルタイムで表示される。
【0005】
この場合、遠隔操縦装置のディスプレーに表示されるレーザ計測点群の画像をよりリアルなものにするための手法として、レーザレンジファインダで得たプロファイルデータであるレーザ計測点群を座標(高さや距離)に基づいて色付けする方法がある。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところが、上記したレーザレンジファインダで取得するプロファイルデータは、レーザ計測点群の密度が薄いことから、レーザ計測点の位置情報に基づいて色付け処理を施したとしても、遠隔操縦に有用な画像を遠隔操縦装置のディスプレーに表示することができないという問題があり、この問題を解決することが従来の課題となっている。
【0008】
本発明は、上記した従来の課題に着目してなされたもので、ディスプレーを有する遠隔操縦装置によって、例えば、ロボットを遠隔操縦するに際して、遠隔操縦装置のディスプレーに有用な画像をリアルタイムで表示することが可能である画像表示方法及び遠隔操縦システムを提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明の第1の態様は、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサ、自己位置データを取得する自己位置計測部、及び、カラーデジタルカメラを搭載したロボットを、遠隔操縦用画像が表示されるディスプレーを有する遠隔操縦装置によって遠隔操縦するに際して、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置データに基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示する構成としている。
【0011】
また、本発明の第2の態様は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する構成としている。
【0012】
さらに、本発明の第3の態様において、前記ロボットは作動部を有し、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示する構成としている。
【0013】
一方、本発明の第4の態様は、ロボットを遠隔操縦装置によって遠隔操縦する遠隔操縦システムであって、前記ロボットには、レーザ光を走査して周囲のレーザ計測点群を取得するレーザセンサと、自己位置データを取得する自己位置計測部と、カラーデジタルカメラが搭載され、前記遠隔操縦装置には、遠隔操縦用画像が表示されるディスプレーが搭載され、前記ロボット及び前記遠隔操縦装置のいずれかには、前記ロボットの前記レーザセンサで得た前記レーザ計測点群のデータが入力されると共に前記自己位置計測部で得た自己位置データが入力される制御部が具備され、前記制御部は、前記ロボットの前記レーザセンサにより取得されるレーザ計測点群に対して前記カラーデジタルカメラによる画像に基づく色付け処理を行うと共に、該色付け処理が成された前記レーザ計測点群に対して前記自己位置計測部で得た自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行い、色付け処理後の前記レーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、前記レーザセンサにより取得する前記レーザ計測点群の表示データの範囲及び計測フレームの範囲を前記ロボットの移動速度が遅い場合には広い表示範囲に決定すると共に、ロボットの移動速度が速い場合には狭い表示範囲に決定して、該ロボットの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて、前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。
【0015】
また、本発明の第5の態様において、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの高さが予め設定した前記ロボットにとって移動に支障を来す範囲内のレーザ計測点を抽出し、前記設定した範囲内のレーザ計測点が多く存在する側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。
【0016】
さらに、本発明の第6の態様において、前記ロボットは作動部を有し、前記制御部は、前記ロボットの前記レーザセンサにより取得される前記レーザ計測点群のうちの前記作動部にもっとも近いレーザ計測点を抽出し、該抽出したレーザ計測点と前記作動部との距離が予め設定した閾値以下の場合に該抽出したレーザ計測点側に表示視点を変更して前記遠隔操縦装置の前記ディスプレーに表示させる構成としている。
【0017】
本発明に係る画像表示方法及び遠隔操縦システムにおいて、ロボットの周囲のレーザ計測点群(プロファイルデータ)を取得するレーザセンサとしては、例えば、水平ラインスキャンタイプの1軸レーザレンジファインダであれば事足りる。
【0018】
また、自己位置データ(自己位置の他に姿勢角及び方位を含む)を求める自己位置計測部としては、例えば、GPSや、INS(慣性航法装置)やIMU(慣性計測装置)やデッドレコニングを用いることができる。
【発明の効果】
【0019】
本発明の第1の態様に係る画像表示方法及び第4の態様に係る遠隔操縦システムでは、ディスプレーを有する遠隔操縦装置によってロボットを遠隔操縦するに際して、計測対象物を区別できるカメラ画像のような画像、すなわち、遠隔操縦に有用な画像を遠隔操縦装置のディスプレーにリアルタイムで表示することが可能であるという非常に優れた効果がもたらされる。
【0020】
また、本発明の第1の態様に係る画像表示方法及び第4の態様に係る遠隔操縦システムは、ロボットを移動させる場合において、ロボットの移動速度にマッチした画像を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。
【0021】
さらに、本発明の第2の態様に係る画像表示方法及び第5の態様に係る遠隔操縦システムでは、密な情報を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。
【0022】
さらにまた、本発明の第3の態様に係る画像表示方法及び第6の態様に係る遠隔操縦システムは、ロボットの作動部を動作させる場合において、ロボットの作動部の動きにマッチした画像を遠隔操縦装置のディスプレーにリアルタイムで表示させることができる。
【図面の簡単な説明】
【0023】
【
図1】本発明の一実施例による画像表示方法及び遠隔操縦システムを採用した車両の概要を示す構成説明図である。
【
図2】
図1における車両の制御機器の接続ブロック図である。
【
図3】本発明の一実施例による画像表示方法の色付け処理が成されて表示された画像のイメージ図である。
【
図4】本発明の一実施例による画像表示方法の動作フローチャートである。
【
図5】
図4に示した画像表示方法の動作フローチャートにおける色付け処理の動作フローチャートである。
【
図6】
図4に示した画像表示方法の動作フローチャートにおける速度対応処理の動作フローチャートである。
【
図7】
図4に示した画像表示方法の動作フローチャートにおける位置の表示視点変更処理の動作フローチャートである。
【
図8】
図4に示した画像表示方法の動作フローチャートに沿って実行した際のディスプレー表示状態を示す実行前の表示状態(a)及び実行後の表示状態(b)である。
【
図9】本発明の他の実施例による画像表示方法及び遠隔操縦システムを採用した建機を側面方向から見たイメージ図である。
【
図10】
図7に示した位置の表示視点変更処理の動作フローチャートに相当する他の表示視点変更処理の動作フローチャートである。
【
図11】
図10における他の表示視点変更処理の動作フローチャートに沿って実行した際のディスプレー表示状態を示す実行前の表示状態(a)及び実行後の表示状態(b)である。
【発明を実施するための形態】
【0024】
以下、本発明の実施例を図面に基づいて説明する。
図1~
図8は、本発明の一実施例による画像表示方法及び遠隔操縦システムを採用した車両を示している。
【0025】
この遠隔操縦システムは、
図1に示すように、携帯型の遠隔操縦装置Aによって車両Bの移動をコントロールする際に用いられるシステムであって、
図2に示すように、車両制御用コンピュータ10及びこの車両制御用コンピュータ10とLAN11を介して接続されるセンサデータ処理用コンピュータ30が備えられている。なお、遠隔操縦装置Aは携帯型に限定されない。
【0026】
車両制御用コンピュータ10の入力側には、アンテナ12が入出力回路15を介して接続されていると共に、位置情報取得用のGPS16と、姿勢制御用のバーチカルジャイロ17と、移動速度測定用の車速パルス(移動速度測定手段)18がシリアル回線を介して接続されている。
【0027】
また、車両制御用コンピュータ10の出力側には、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23が接続されており、モータドライバ21とアクチュエータ22,23と車輪24とで駆動ユニット20を構成している。
【0028】
車両制御用コンピュータ10は、GPS16やバーチカルジャイロ17で取得した自己位置や姿勢等の各種情報をセンサデータ処理用コンピュータ30にLAN11を介して送信する機能を有していると共に、遠隔操縦装置Aから送信される操作情報に基づいて、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23を作動、停止させる機能を有している。
【0029】
一方、センサデータ処理用コンピュータ30の入力側には、レーザ光を走査して車両Bの周囲のレーザ計測点群を取得するレーザレンジファインダ(レーザセンサ)31と、このレーザレンジファインダ31により取得されるレーザ計測点群に対して色付け処理を行うためのレーザ計測点色付け用カメラ(デジタルカメラ)32が接続されており、このセンサデータ処理用コンピュータ30は、レーザ計測点色付け用カメラ32で色付したレーザ計測点群データを遠隔操縦装置Aに送信する機能を有している。
【0030】
遠隔操縦装置Aは、車両Bのレーザ計測点色付け用カメラ32で色付されたレーザ計測点群データを表示するディスプレー40と、車両制御用コンピュータ10及びセンサデータ処理用コンピュータ30に対してデータのやり取りをする制御部60を具備しており、ディスプレー40は、図示しないCPUやキーボード61やアンテナ62とともに制御部60に組み込まれている。
【0031】
この場合、車両Bに搭載された上記センサデータ処理用コンピュータ30は、レーザレンジファインダ31により取得されるレーザ計測点群に対してレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行う機能を有している。なお、このセンサデータ処理用コンピュータ30は、レーザ計測点色付け用カメラ32の画像に基づく色付け機能に加えて、レーザ計測点群の位置情報に基づく色付け機能も有している。
【0032】
この色付け処理とは、車両Bの周囲のレーザ計測点群に、RGB(赤緑青の各成分)情報を付与することである。このRGB情報が、レーザ計測点色付け用カメラ32の画像に基づくものであれば、計測対象物を明瞭に区別可能なカメラ画像のような位置情報となり、一方、RGB情報が、レーザ計測点群の位置情報に基づくものであれば、標高によって異なるRGB情報が付与されて、地面と障害物(穴等の凹みを含む)との区別が可能な位置情報となる。
このように、センサデータ処理用コンピュータ30は、レーザ計測点群の位置情報に基づいて画像を作成し、作成された画像は、
図3に示すように、遠隔操縦装置Aのディスプレー40にて表示される。
図3の画像は、カメラ画像に基づくRGB情報をレーザ計測点群に付与することで作成された画像である。
【0033】
この色付け処理が成されたレーザ計測点群のデータは、レーザレンジファインダ31とレーザ計測点群との間の相対距離なので、上記センサデータ処理用コンピュータ30において、色付け処理後のレーザ計測点群に対してGPS16で取得した自己位置情報に基づくセンサ座標系からグローバル座標系への変換を行って、遠隔操縦装置Aのディスプレー40に表示させるようにしている。
【0034】
また、上記センサデータ処理用コンピュータ30は、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定する。
ここで、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲とは、表示するレーザ計測点群の座標の範囲であり、この表示データの範囲を決定すると、例えば、車両Bの前方における所定距離までの範囲内のレーザ計測点群の座標や、車両Bの前方における所定角度内のレーザ計測点群の座標を表示することになる。
一方、計測フレームの範囲とは、表示するレーザ計測点群の計測フレーム(レーザレンジファインダ31による1計測)の数であり、データを表示しようとする場合に、現在の計測フレームにそれ以前の計測フレームを重畳する(同時に表示する)ことになる。
つまり、車両Bの移動速度が遅い場合には、レーザレンジファインダ31による計測対象物の変化が少ないので、広い表示範囲で且つ少ない計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させ、車両Bの移動速度が速い場合には、レーザレンジファインダ31による計測対象物の変化が大きいので、無駄に表示するデータの量を減らすべく狭い表示範囲で且つ多くの計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしている。
【0035】
さらに、上記センサデータ処理用コンピュータ30は、車両Bのレーザレンジファインダ31により取得されるレーザ計測点群のうちの高さが予め設定した範囲内にあるレーザ計測点を抽出し、この抽出したレーザ計測点について車両Bの周辺における分布を算出して、予め設定した閾値以上のレーザ計測点が多く存在する側に表示視点を変更して遠隔操縦装置Aのディスプレー40に表示させる機能を有している。
車両Bの周辺におけるレーザ計測点の分布の算出は、車両Bに最も近いレーザ計測点、及び、予め設定した閾値以上のレーザ計測点全体の統計値(平均値、分散共分散値等の統計値)に基づいて、閾値以上のレーザ計測点の代表値等の値を得る。
【0036】
そこで、上記センサデータ処理用コンピュータ30による画像表示要領を説明する。まず、
図4に示すように、ステップS1において、レーザレンジファインダ31によりレーザ光を走査して車両Bの周囲のレーザ計測点群を取得すると共に、GPS16等の自己位置計測部で自己位置情報を取得する。
【0037】
次いで、ステップS2においてレーザ計測点群に対してレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行うと共に、色付け処理が成されたレーザ計測点群に対して座標変換を行う。
【0038】
続いて、ステップS3において車両Bの移動速度に応じたレーザ計測点群の更新処理を行うのに続いて、ステップS4において遠隔操縦装置Aのディスプレー40における表示視点の変更処理を行う。
【0039】
このステップS2~S4における各処理の後、ステップS5において処理後の色付けされたレーザ計測点群が遠隔操縦装置Aのディスプレー40に表示され、ステップS1においてレーザレンジファインダ31により新たなレーザ計測点群の取得が成される都度、ステップS2~5が繰り返し実行される。
【0040】
具体的には、ステップ2の色付け処理及び座標変換処理は、
図5に示すように、ステップS21においてカラーデジタルカメラであるレーザ計測点色付け用カメラ32を用いる選択(Yesを選択)を操縦者Cが行うことで、遠隔操縦装置Aからセンサデータ処理用コンピュータ30に信号が送られ、レーザレンジファインダ31により取得されるレーザ計測点群に対して、ステップS22においてレーザ計測点色付け用カメラ32の画像に基づく色付け処理を行う。
【0041】
次に、色付け処理が成されたレーザ計測点群に対して、GPS16で取得した自己位置情報に基づいて、ステップS23においてセンサ座標系からグローバル座標系への変換を行う。
【0042】
なお、ステップS24の処理は、レーザ計測点色付け用カメラ32を利用する色付けの代替処理であり、ステップS21においてカラーデジタルカメラであるレーザ計測点色付け用カメラ32を利用しない方を操縦者Cが選択(Noを選択)することで、このステップS24において、レーザ計測点群をGPS16で取得した自己位置情報(地面からの高さや距離)に基づいた色付けが成される、例えば、標高が高い部位は赤く、標高が低い部位は青く色付けされる。
【0043】
また、ステップ3の移動速度に応じた更新処理は、
図6に示すように、ステップS31において車両Bの移動速度を車速パルス18から取得し、ステップS32において、レーザレンジファインダ31によるレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定する処理である。例えば、車両Bの移動速度が遅い場合には、レーザ計測点群の表示範囲を広くすると共に計測フレームを少なくし、一方、車両Bの移動速度が速い場合には、レーザ計測点群の表示範囲を絞ると共に計測フレームを多くする。
【0044】
そして、ステップS33において、車両Bの移動に伴って逐次取得するレーザ計測点群を更新する毎に、最新の計測データである現在の計測フレーム(レーザレンジファインダ31による1計測)に対して、それ以前の計測データである計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示する。
【0045】
さらに、ステップ4の表示視点変更処理は、
図7に示すように、ステップS41において、レーザレンジファインダ31により取得するレーザ計測点群のうちの高さが予め設定した車両Bにとって走行に支障を来す範囲(例えば、車両Bの最低地上高さ~車両Bの最高地上高さ+α)内のレーザ計測点を抽出する。例えば、
図8(a)に示すように、車両Bの左方に壁Wがある場合には、遠隔操縦装置Aのディスプレー40に表示される多数のレーザ計測点Pは、壁Wにおける反射点であるレーザ計測点P1と、壁W以外の地面や遠方の対象物(障害物)の反射点であるレーザ計測点P2とから成り、多数のレーザ計測点Pのうちの抽出されるレーザ計測点Pは、車両Bの左方の壁Wからのレーザ計測点P1となる。
【0046】
続いて、多数のレーザ計測点Pのうちの抽出された壁Wにおけるレーザ計測点P1に対して、ステップS42において車両Bの周辺における分布を算出する。この分布の算出においては、車両Bに最も近いレーザ計測点P、及び、壁Wのレーザ計測点P1全体の統計値(平均値、分散共分散値等の統計値)に基づいて、壁Wのレーザ計測点P1の代表値等の値を得る。
そして、最後に、上記のようにして得られた値に基づいて(抽出したレーザ計測点P1がディスプレー40の左側の部分に多く存在することを認識して)、ステップS43において、抽出したレーザ計測点P1が多く存在するディスプレー40の左側に表示視点を変更して遠隔操縦装置Aのディスプレー40に表示させる。具体的には、車両Bの位置及び壁Wと見なしたレーザ計測点P1の位置(座標)がいずれも既知なので、例えば、
図8(b)に示すように、ディスプレー40の壁Wと見なした左側の部分と車両Bとの中間線Lが画面の中央に来るように表示させる。
【0047】
このように、上記した実施例では、センサデータ処理用コンピュータ30によって、レーザレンジファインダ31により取得されるレーザ計測点群に対して、レーザ計測点色付け用カメラ32で得た画像に基づいて色情報を付与する色付け処理を行うと共に、色付け処理後のレーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行うようにしている。
したがって、密度が薄いレーザ計測点群であったとしても、計測対象物である壁Wを明瞭に認識できるカメラ画像のような画像、すなわち、遠隔操縦に有用な画像として遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
【0048】
加えて、色付け処理後のレーザ計測点群に対してセンサ座標系からグローバル座標系への変換を行ったうえで、レーザレンジファインダ31により取得するレーザ計測点群の表示データの範囲及び計測フレームの範囲を車両Bの移動速度に応じて決定して、車両Bの移動に伴って逐次取得するレーザ計測点群を更新する毎に重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしている。
つまり、車両Bの移動速度が遅い場合には、広い表示範囲で且つ少ない計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させ、車両Bの移動速度が速い場合には、狭い表示範囲で且つ多くの計測フレームを重ねて遠隔操縦装置Aのディスプレー40に表示させるようにしているので、車両Bを移動させる場合において、車両Bの移動速度にマッチした密な情報を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
【0049】
さらに、上記した実施例では、センサデータ処理用コンピュータ30によって、車両Bのレーザレンジファインダ31により取得されるレーザ計測点群のうちの高さを予め設定した範囲内(車両Bにとって走行に支障を来す範囲内)にあるレーザ計測点P1を抽出し、この抽出したレーザ計測点P1の車両Bの周辺における分布を算出するようにしているので、車両Bと周囲のレーザ計測点Pとの関係に基づいて、遠隔操縦装置Aのディスプレー40の表示視点を単一視点のカメラ画像と比べて自由且つ簡単に変更し得ることとなり、その結果、車両Bを安全に走行させるための遠隔操縦に適した画像を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
【0050】
図9~
図11は、本発明の他の実施例による画像表示方法及び遠隔操縦システムを示しており、この実施例では、
図9に示すように、ロボットが走行可能で且つ作動部としてのバケットBaを有する建機BKである場合を示している。
【0051】
この実施例における建機BKは、先の実施例における車両Bと同様にセンサデータ処理用コンピュータ30を有しているほか、アームBcを介してバケットBaを支持するブームBbの角度及び向きを検出するセンサや、ブームBb及びアームBc間の角度を検出するセンサ(いずれも図示省略)を有しており、このセンサデータ処理用コンピュータ30では、
図7に示した画像表示方法の動作フローチャートにおける位置の表示視点変更処理(ステップS4)に代えて、
図10に示す他の表示視点変更処理(ステップS4A)が行われる。
【0052】
すなわち、このステップS4Aの表示視点変更処理は、ステップS41Aにおいて、建機BKのレーザレンジファインダ31により取得される複数のレーザ計測点PのうちのバケットBaにもっとも近いレーザ計測点PMを抽出する。例えば、
図11(a)に示すように、遠隔操縦装置Aにおけるディスプレー40にバケットBaが表示されている場合に、このバケットBaにもっとも近いレーザ計測点PMを抽出する。
この際、レーザレンジファインダ31により取得される複数のレーザ計測点Pの各グローバル座標系での位置は既知であり、一方、バケットBaのグローバル座標系での位置もブームBb及びアームBc周りに配置したセンサにより認識し得るので、バケットBaにもっとも近いレーザ計測点PMは、例えば、公知の最近傍探索法を用いて抽出することができる。
【0053】
次いで、ステップS42Aにおいて、この抽出したレーザ計測点PMとバケットBaとの距離が予め設定した閾値d以下の場合に、この抽出したレーザ計測点PM側に表示視点を変更して遠隔操縦装置Aにおけるディスプレー40に表示する。例えば、
図11(b)に示すように、遠隔操縦装置Aにおけるディスプレー40上のバケットBa近傍に視点をずらして表示させる。
【0054】
このように、上記した実施例では、建機BKのバケットBaを動作させる場合において、センサデータ処理用コンピュータ30によって、レーザレンジファインダ31により取得される多数のレーザ計測点PのうちのバケットBaにもっとも近いレーザ計測点PMを抽出し、この抽出したレーザ計測点PM側に表示視点を変更するようにしているので、建機BKのバケットBaと周囲との関係に基づいて遠隔操縦装置Aのディスプレー40の表示視点を変更し得ることとなり、その結果、建機BKのバケットBaの動きにマッチした画像を遠隔操縦装置Aのディスプレー40にリアルタイムで表示させ得ることとなる。
【0055】
上記した実施例では、色付け処理や座標変換処理や移動速度に応じた更新処理や表示視点変更処理をセンサデータ処理用コンピュータ30で行う構成としているが、上記した各処理は遠隔操縦装置Aの制御部60で行う構成としてもよい。
【0056】
また、上記した実施例では、移動速度に応じた更新処理(ステップ3)や表示視点変更処理(ステップ4)を色付け処理及び座標変換処理(ステップ2)に続いて行う構成としているが、色付け処理及び座標変換処理の両処理のみとしたり、色付け処理及び座標変換処理に続いて移動速度に応じた更新処理だけを行ったり、色付け処理及び座標変換処理に続いて表示視点変更処理だけを行ったりしてもよい。
【0057】
本発明に係る画像表示方法及び遠隔操縦システムの構成は、上記した実施例に限定されるものではない。
【符号の説明】
【0058】
16 GPS(自己位置計測部)
18 車速パルス(移動速度測定手段)
30 センサデータ処理用コンピュータ(制御部)
31 レーザレンジファインダ(レーザセンサ)
32 レーザ計測点色付け用カメラ(カラーデジタルカメラ)
40 ディスプレー
A 遠隔操縦装置
B 車両(ロボット)
BK 建機(ロボット)
Ba バケット(作動部)
d 閾値
P レーザ計測点(レーザ計測点群)
P1 車両(ロボット)にとって移動に支障を来す範囲内のレーザ計測点
PM バケットにもっとも近いレーザ計測点
W 壁(車両(ロボット)にとって移動に支障を来す範囲)