特許 6139740 作業機械の周囲監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6139740

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】作業機械の周囲監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20170522BHJP

   E02F 9/26 20060101ALI20170522BHJP

   B60R 1/00 20060101ALI20170522BHJP

【ＦＩ】

   H04N7/18 J

   E02F9/26 A

   B60R1/00 A

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2016-86114(P2016-86114)

(22)【出願日】2016年4月22日

(62)【分割の表示】特願2012-31295(P2012-31295)の分割

【原出願日】2012年2月16日

(65)【公開番号】特開2016-149803(P2016-149803A)

(43)【公開日】2016年8月18日

【審査請求日】2016年4月22日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】稲野辺 慶仁

(72)【発明者】

【氏名】古渡 陽一

(72)【発明者】

【氏名】石本 英史

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００４−１６１２１５（ＪＰ，Ａ）

【文献】 特開２０１０−１２１２７０（ＪＰ，Ａ）

【文献】 特開２０１１−１５５６５１（ＪＰ，Ａ）

【文献】 特開２００７−２９５０４３（ＪＰ，Ａ）

【文献】 特開２００４−０８２８７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｅ０２Ｆ ９／２６

(57)【特許請求の範囲】

【請求項1】

作業機械の少なくとも後方および左右側方を視野とするカメラと、
前記作業機械の運転室に備えられるモニタと、
前記作業機械の前進および後進の走行を操作するシフトレバーと、
前記カメラが撮影した複数の第１の画像及び、前記複数の第１の画像に基づいて上方視点となるように視点変換した仮想視点画像としての第２の画像からなる画像データであって、前記作業機械の走行方向に関連した第１の画像を含む画像データを画像データ群として生成する画像データ群生成部と、
前記シフトレバーの操作情報に基づいて、前記画像データ群生成部により生成された前記画像データ群のうち、前記作業機械の走行方向に関連した前記第１の画像を含む画像データのみを選択してグループ化する画像選択部と、
前記画像選択部により選択された画像データのグループの中から目的となる画像データを選択する作業を行うための入力部と、
前記入力部により選択された画像データを前記モニタに表示する表示画像生成部と、
を備えたことを特徴とする作業機械の周囲監視装置。

【請求項2】

前記画像データ群生成部により前記作業機械の使用時に表示が必要と想定される画像データをオペレータないしはユーザが予め設定できることを特徴とする請求項１記載の作業機械の周囲監視装置。

【請求項3】

前記作業機械の走行速度を検出する速度検出部を備え、この走行速度に応じて前記画像選択部はグループ化する画像データを決定すること
を特徴とする請求項１記載の作業機械の周囲監視装置。

【請求項4】

前記作業機械の左右の走行は前記運転室に備えられるステアリングハンドルにより操作され、このステアリングハンドルの操舵角度に応じて前記画像選択部はグループ化する画像データを決定すること
を特徴とする請求項１記載の作業機械の周囲監視装置。

【請求項5】

前記画像選択部により選択された画像データをリスト化して前記モニタに表示して、前記画像データの入力操作を行う入力部を用いて前記リスト化された画像データの中から目的となる画像データを選択すること
を特徴とする請求項１乃至４の何れか１項に記載の作業機械の周囲監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、土砂等を運搬する運搬車両や油圧ショベル等の建設機械等の作業機械の周囲を監視する作業機械の周囲監視装置に関するものである。

【背景技術】

【0002】

ダンプトラックに代表される運搬車両は、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えており、このベッセルに砕石物や土砂等の運搬対象物を積載する。そして、ダンプトラックは所定の集積場に土砂等を運搬して排土する。ベッセルに積載された土砂等を排土するときには、ダンプトラックを排土位置まで後進させて、停止させる。この状態でベッセルを傾斜させて土砂等を排土する。そして、排土を終えるとベッセルを元の位置に戻して、ダンプトラックを前進させる。

【0003】

一方、油圧ショベル等に代表される建設機械は、クローラ式またはホイール式の走行手段を有する下部走行体と下部旋回体に対して旋回可能な上部旋回体とを有している。上部旋回体には運転室（キャブ）が設けられており、上部旋回体に対して俯抑動作可能に連結したブームと、ブームの先端に上下方向に回動可能に連結したアームと、土砂の掘削等の作業を行うバケットとが作業手段として上部旋回体に設けられている。

【0004】

運搬車両や建設機械等の作業機械に設けられる運転室に搭乗するオペレータにとって、前方の視野は良好ではあるが、後方の視野は殆どの部分が死角となり、オペレータが目視して後方の状況を認識することができない。このために、作業機械の後方を視野とするカメラを設置して、カメラが撮影している映像を運転室に設けたモニタに表示することで、オペレータに後方の状況をリアルタイムに認識させることができる。この種の技術として、シフトレバーを「Ｒ」（後方）に入れたときに、ダンプトラックの後方に設置したカメラからの映像をモニタに表示する技術が特許文献１に開示されている。

【0005】

また、油圧ショベルの後方および左右側方を視野とする３台のカメラを油圧ショベルに設けて、これら３台のカメラの視点を上方に仮想的に配置して、油圧ショベルを中心とした俯瞰画像をモニタに表示する技術が特許文献２に開示されている。オペレータはこの俯瞰画像を視認することで、油圧ショベルの周囲の状況を正確に認識することができ、動的或いは固定的な障害物（作業員等）と油圧ショベルとの位置関係を認識することができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−１９９３９２号公報

【特許文献2】特開２００８−２４８６１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

作業機械の後方および左右側方を視野とする３台のカメラを設けて、特許文献１のように、何れか１つのカメラの画像をモニタに表示することができる。また、作業機械の前方の視野は広範に確保されているものの、それでも死角を生じる部分が存在するため、前方にカメラを設置する場合もある。また、特許文献２のように、仮想視点画像（俯瞰画像）を表示することで、オペレータに作業機械の周囲の状況を認識させることができる。従って、モニタには、前後左右を視野とするカメラからの画像（カメラスルー画像）および仮想視点画像を表示することができる。

【0008】

運転室に備えられるモニタは、オペレータの前方の視界を妨げないように、小型サイズのモニタが用いられるが、作業機械の状況に応じて、モニタの表示領域を分割して、それぞれの領域に異なる画像データを表示させる場合がある。例えば、作業機械が停止している状態から後進させるときには、最も注意すべきは作業機械の周囲の状況であり、従って仮想視点画像を表示する。また、作業機械を走行させる方向を視野とするカメラの画像データを仮想視点画像と共に表示させる。従って、この場合には、モニタの表示部の領域を２分割して、仮想視点画像と後方画像（後方のカメラが視野とする画像）とを表示することが望ましい。

【0009】

また、作業機械を左斜め後方に走行させるときには、後方画像だけではなく、左方画像（左方のカメラが視野とする画像）を表示することが望ましい。これにより、進行方向に応じた視界を確保することができる。さらに、場合によっては、前後左右の全てのカメラの画像を表示させることが望ましい場合もある。

【0010】

従って、状況に応じて、モニタに表示させる画像データは多種多様になる。オペレータは多数の画像データの中から、所望の１つの画像データを探し出して、モニタに表示させる。このとき、画像データが多数になると、多数の画像データの中から目的の画像データを特定することが困難になる。このような画像データを探し出す作業は、オペレータに過度な負担を強いることになる。

【0011】

そこで、本発明は、作業機械に備えられる複数のカメラにより撮影される多数の画像データの中から目的の画像を迅速に且つ簡単に選択することを目的とする。

【課題を解決するための手段】

【0012】

以上の課題を解決するため、本発明の作業機の周囲監視装置は、作業機械の少なくとも後方および左右側方を視野とするカメラと、前記作業機械の運転室に備えられるモニタと、前記作業機械の前進および後進の走行を操作するシフトレバーと、前記カメラが撮影した複数の第１の画像及び、前記複数の第１の画像に基づいて上方視点となるように視点変換した仮想視点画像としての第２の画像からなる画像データであって、前記作業機械の走行方向に関連した第１の画像を含む画像データを画像データ群として生成する画像データ群生成部と、前記シフトレバーの操作情報に基づいて、前記画像データ群生成部により生成された前記画像データ群のうち、前記作業機械の走行方向に関連した前記第１の画像を含む画像データのみを選択してグループ化する画像選択部と、前記画像選択部により選択された画像データのグループの中から目的となる画像データを選択する作業を行うための入力部と、前記入力部により選択された画像データを前記モニタに表示する表示画像生成部と、を備えたことを特徴とする。

【0013】

後方および左右側方を視野とする複数のカメラにより生成される画像データは多数になる。このときに、画像選択部は多数の画像データの中から作業機械の走行方向に関連した画像データのみを選択対象とするため、目的となる画像データを容易且つ迅速に選択することができる。

【0014】

また、前記作業機械の前方を視野とするカメラが撮影した画像データを前記画像データ群に含めたことを特徴とする。

【0015】

作業機械の運転室から前方の視界は広範に確保されているが、それでも死角となる部分を生じることがある。このために、前方を視野とするカメラを設けている。この前方を視野とするカメラの画像データを含めると、画像データはより多数になる。このときに、作業機械の走行方向に関連した画像データのみを選択対象とすることで、目的となる画像データを容易且つ迅速に選択することができる。

【0016】

また、少なくとも前記後方および左右側方を視野とするカメラに基づいて上方視点となるように視点変換した仮想視点画像を前記画像データ群に含めたことを特徴とする。

【0017】

仮想視点画像は作業機械の周囲の状況をオペレータに認識させる。この仮想視点画像を画像データ群に含めることにより、さらに画像データが多くなる。この場合でも、作業機械の走行方向に関連した画像データのみが選択対象となるため、目的となる画像データを容易且つ迅速に選択することができる。

【0018】

また、前記作業機械の前進および後進の走行は前記運転室に備えられるシフトレバーにより操作され、このシフトレバーの位置に応じて前記画像選択部はグループ化する画像データを決定することを特徴とする。

【0019】

ダンプカーのような運搬車両は、シフトレバーにより前進、停止、後進が操作される。従って、作業機の走行方向はシフトレバーの位置によって特定され、シフトレバーの位置が示す走行方向の画像データのみを選択対象とすることができる。

【0020】

また、前記作業機械の左右の走行は前記運転室に備えられるステアリングハンドルにより操作され、このステアリングハンドルの操舵角度に応じて前記画像選択部はグループ化する画像データを決定することを特徴とする。

【0021】

ダンプカーのような運搬車両は、ステアリングハンドルにより左右方向を操舵する。従って、ステアリングハンドルにより左右の走行方向が定まるため、これによって走行方向の画像データのみを選択対象とすることができる。

【0022】

また、前記画像選択部により選択された画像データをリスト化して前記モニタに表示して、前記画像データの入力操作を行う入力部を用いて前記リスト化された画像データの中から目的となる画像データを選択することを特徴とする。

【0023】

モニタに表示される画像データのリストは、走行方向に関連した画像データだけで構成されているため、選択対象となる画像データの数は少なくなる。これにより、目的となる画像データを容易に且つ迅速に選択することができる。

【発明の効果】

【0024】

本発明は、少なくとも後方および左右側方を視野とするカメラにより生成される多数の画像データの中から、作業機械の走行方向に関連した画像データのみを選択対象とすることで、目的となる画像データを容易且つ迅速に選択することができる。

【図面の簡単な説明】

【0025】

【図1】ダンプトラックの左側面図である。

【図2】表示コントローラおよび車体コントローラのブロック図である。

【図3】仮想視点画像を表示しているときのモニタの一例を示す図である。

【図4】画像データ群生成部が生成する画像データの一覧を示した図である。

【図5】表示部に表示される画像データのリストの一例を示した図である。

【図6】表示部に表示される画像データのリストの他の例を示した図である。

【図7】表示部に表示される画像データのリストのさらに他の例を示した図である。

【発明を実施するための形態】

【0026】

以下、図面を参照して、本発明の実施形態について説明する。本実施形態では作業機械として運搬車両のダンプトラックを適用しているが、ダンプトラックには限定されない。作業機械としては、他に油圧ショベル等を適用することもできる。また、ダンプトラックとしてはリジットダンプとアーティキュレートダンプとがあるが、何れを適用してもよい。なお、本実施形態で「左」とは運転室から見た左方であり、「右」とは運転室から見た右方である。

【0027】

図１はダンプトラック１の左側面図を示しており、この図に示すように、ダンプトラック１は車体フレーム２と前輪３と後輪４とベッセル５とホイストシリンダ６と運転室７と４台のカメラ（前方カメラ８Ｆ、右方カメラ８Ｒ、左方カメラ８Ｌ、後方カメラ８Ｂ）とを有している。なお、図１はダンプトラック１の左側面図を示しており、右方カメラ８Ｒは表れていないが、左方カメラ８Ｌの反対側に右方カメラ８Ｒが設けられている。

【0028】

車体フレーム２はダンプトラック１の本体を形成するものであり、車体フレーム２の前方には前輪３が設けられており、後方には後輪４が設けられている。ベッセル５は荷台であり、土砂や鉱物等を積載する。ホイストシリンダ６は左右一対に設けられており、伸縮可能なホイストシリンダ６によりベッセル５を起伏させる。

【0029】

運転室７はオペレータが搭乗してダンプトラック１を操作するものであり、運転室７には後述するモニタが配置されている。また、ダンプトラック１を操作する操作手段として、ダンプトラック１を前進、停止または後進させるシフトレバー２１、操舵角度を変えるステアリングハンドル２２、ダンプトラック１を加速させるためのアクセルペダル等が設けられている。オペレータは運転室７に搭乗して、各種操作手段を用いて走行ないしは作業を行う。そして、オペレータは必要があるときに、モニタの確認を行う。

【0030】

ダンプトラック１の周囲を監視するために設けられる４つのカメラのうち前方カメラ８Ｆはダンプトラック１の前方から斜め下方に向けた範囲を視野としている。右方カメラ８Ｒはダンプトラック１の右側部に取り付けられており、ダンプトラック１の右側部から斜め下方に向けた範囲を視野としている。左方カメラ８Ｌはダンプトラック１の左側部に取り付けられており、ダンプトラック１の左側部から斜め下方に向けた範囲を視野としている。後方カメラ８Ｂはダンプトラック１の後方に取り付けられており、斜め下方に向けた範囲を視野とする。

【0031】

そして、各カメラ（前方カメラ８Ｆ、右方カメラ８Ｒ、左方カメラ８Ｌ、後方カメラ８Ｂ）はダンプトラック１から所定の範囲を視野としているが、各カメラの一部にはダンプトラック１の車体２や前輪３、後輪４等が部分的に映し出されるようにしている。そして、ダンプトラック１に設置される４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂはそれぞれ撮影する方向が概ね９０度異なるようにしている。これにより、ダンプトラック１のほぼ全周に渡る視野を得ることができる。

【0032】

また、４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂはそれぞれ斜め下方を視野としており、例えば、図１に示すように、前方カメラ８Ｆは接地面をＬとしたときに角度θを持った斜め下方に対物レンズの光軸を向けている。これにより、接地面Ｌに対して角度θを持ったカメラ画像を得ることができる。この接地面Ｌを仮想平面とした画像は、仮想視点ＶＦの光軸が垂直方向（水平面と直交する方向）になるように座標変換した画像が仮想視点画像として生成される。つまり、仮想視点ＶＦから接地面Ｌを見下ろした仮想的な平面画像が仮想視点画像となる。この仮想視点画像が俯瞰画像となる。

【0033】

図２は車体コントローラ２０と表示コントローラ３０とにより構成されるコントローラを示しており、表示コントローラ３０がモニタ１４に接続される。モニタ１４は運転室７に配置されるものであり、搭乗するオペレータの前方の視界を妨げない位置に配置される。このモニタ１４は画像データを表示する表示部１５と入力部１６とを有している。図３に示すように、入力部１６はアップスイッチ１６Ｕとダウンスイッチ１６Ｄと決定ボタン１６Ａとを有して構成している。

【0034】

表示部１５は所定の情報を表示する表示画面であり、４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂが撮影した画像（カメラスルー画像）を表示することもでき、視点変換した仮想視点画像を表示することもできる。カメラスルー画像および仮想視点画像は画像データであり、この画像データが表示画像として表示部１５に表示される。表示部１５は縦横に所定の表示領域を有しており、表示部１５の全領域にカメラスルー画像または仮想視点画像を表示することもできるが、表示部１５の表示領域を分割して、分割したそれぞれの領域に異なる画像を配した画像データとすることもできる。

【0035】

車体コントローラ２０は主に車体制御部２０Ｃを有して構成される。車体コントローラ２０には運転室７に備えられるシフトレバー２１からシフトレバー情報が入力される。シフトレバー２１は前進（Ｆ）、中立（Ｎ）、後進（Ｒ）の３段階に変化する。従って、シフトレバー２１が「Ｆ」のときにはダンプトラック１は前進し、「Ｎ」のときにはダンプトラック１は停止し、「Ｒ」のときにはダンプトラック１は後進する。

【0036】

また、運転室７にはステアリングハンドル２２が設けられており、このステアリングハンドル２２の操舵角度を示すステアリング情報が車体コントローラ２０に入力される。そして、前輪３および後輪４の回転速度に基づいて、ダンプトラック１の走行速度を検出する速度検出部２３が設けられている。速度検出部２３が検出した走行速度情報は車体コントローラ２０に入力される。

【0037】

また、運転室７にはベッセル５を操作するためのベッセル操作手段２４が設けられている。このベッセル操作手段２４を操作することにより、ホイストシリンダ６の伸縮制御を行う。ホイストシリンダ６を伸張させたときにはベッセル５は傾斜して、積載している土砂等を排土する。一方、ホイストシリンダ６を収縮させたときにはベッセル５は平行になり、排土は行われない。このベッセル操作手段２４の操作情報がベッセル操作情報として車体コントローラ２０に入力される。

【0038】

以上のシフトレバー情報とステアリング情報と走行速度情報とベッセル操作情報とが車体情報として、車体コントローラ２０から表示コントローラ３０に入力される。表示コントローラ３０はモニタ１４に表示させる内容を制御する。この表示コントローラ３０は記憶保持部３１と画像補正部３２と視点変換部３３と画像合成部３４と画像データ群生成部３５と画像選択部３６と画像リスト生成部３７と表示画像生成部３８とを備えて構成している。

【0039】

表示コントローラ３０には後方カメラ８Ｂ、左方カメラ８Ｌ、右方カメラ８Ｒ、前方カメラ８Ｆが撮影している視野の映像が入力される。各カメラは連続して視野を撮影することで、各カメラの映像を動画とすることができる。これにより、各カメラが撮影している映像をリアルタイムに認識することができる。

【0040】

記憶保持部３１は４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂの撮影画角やレンズ歪み等のカメラ光学系パラメータ、搭載位置・姿勢情報、仮想視点画像に変換する際の仮想視点情報、ダンプトラック１のシンボルマークＭ（後述する）や縮尺値等の各種情報を記憶している。記憶保持部３１は画像補正部３２と視点変換部３３と画像合成部３４と表示画像生成部３８とに情報を出力している。

【0041】

画像補正部３２は４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂに接続されており、これら４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂから取り込んだカメラ画像に対して、記憶保持部３１に記憶されているカメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の画像補正を行う。これにより、カメラ画像の画質を向上させている。画像補正部３１が補正処理したカメラ画像は視点変換部３３と画像データ群生成部３５とに出力される。

【0042】

視点変換部３３は、画像補正部３２が補正処理した各カメラ画像（前方画像、右方画像、左方画像、後方画像）に基づいて、上方視点となるように視点変換を行う。４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂは接地面Ｌに対して斜め下方に視野を向けて撮影し、このときに得られるカメラ画像を画像変換処理して、仮想視点ＶＦからの画像（仮想視点画像）に変換することができる。仮想視点画像は視点を上方位置とした俯瞰画像になり、この俯瞰画像に基づいてダンプトラック１の周囲の状況が正確に認識できるようになる。

【0043】

４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂの撮影視野の境界を重複させることで、ダンプトラック１の周囲の状況に死角を生じることがなくなる。前方画像、右方画像、左方画像、後方画像のうち、前方画像については運転室７からオペレータが視認することができるため、前方カメラ８Ｆを設置せずに前方画像を省略することもできる。この場合には、後方画像、左方画像および右方画像の３枚の画像データにより仮想視点画像が生成される。ただし、運転室７の前方視野にも死角を生じる場合があり、前方カメラ８Ｆを設置して死角部分を表示することで、オペレータに死角部分を表示させることができる。この場合には、前方のカメラ８Ｆによる仮想視点画像も表示をするように制御する。

【0044】

画像合成部３４は、４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂの仮想視点画像を、ダンプトラック１のキャラクタをシンボルマークＭとして中心に配置し、このシンボルマークを中心として前後および左右に領域を４分割する。例えば、図３に示すように、シンボルマークＭを中心に上側の領域Ａ１には前方のカメラ８Ｆの画像データを視点変換した仮想視点前方画像を表示し、左側の領域Ａ２には左方のカメラ８Ｌの画像データを視点変換した仮想視点左方画像を表示し、右側の領域Ａ３には右方のカメラ８Ｒの画像データを視点変換した仮想視点右方画像を表示し、下側の領域Ａ４には後方のカメラ８Ｂの画像データを視点変換した仮想視点後方画像を表示する。

【0045】

ダンプトラック１のシンボルマークＭを中心として仮想視点前方画像と仮想視点左方画像と仮想視点右方画像と仮想視点後方画像とを画像合成部３４が合成して表示することで、ダンプトラック１を中心とした全周の仮想視点画像を生成することができる。この仮想視点画像を表示することで、ダンプトラック１と作業員等の動的或いは固定的な障害物との位置関係をオペレータに認識させることができる。

【0046】

図２に戻って、画像データ群生成部３５は画像補正部３２から出力された前方画像、左方画像、右方画像、後方画像を入力し、また画像合成部３４から仮想視点画像を入力する。前方画像、左方画像、右方画像、後方画像は画像データであり、仮想視点画像も画像データである。従って、５つの画像データを得ることができる。これにより、複数の画像データからなる画像データ群を生成する。モニタ１４の表示部１５には画像データ群のうち何れか１つの画像データを表示することができる。

【0047】

一方、モニタ１４の表示部１５を分割して異なる画像データを同時に表示することもできる。例えば、表示部１５を２分割して、１つの領域に仮想視点画像を表示し、もう１つの領域に後方画像（カメラスルー画像）を表示することもできる。これも画像データとなる。また、表示部１５を２分割して、１つの領域に後方画像を表示して、もう１つの領域に左方画像を表示することもできる。これも画像データになる。さらには、表示部１５を４分割して、前方画像、左方画像、右方画像、後方画像を割り当てた画像データを生成することもできる。

【0048】

画像選択部３６は、画像データ群生成部３５が生成した多数の画像データの中から、ダンプトラック１の走行方向に関連した画像のみを選択する。走行方向に関連した画像データは１つのグループを構成する。このグループの画像データが画像リスト生成部３７に出力される。画像リスト生成部３７は画像選択部３６から出力されたグループに属する画像データをリスト形式で表示部１５に表示する。

【0049】

表示部１５に表示されるリスト化した画像データに基づいて、オペレータは入力部１６を操作して、モニタ１４に表示させる画像を選択する。選択された画像の情報は表示画像生成部３８に出力され、表示画像生成部３８は選択された画像データを表示部１５に表示させる制御を行う。

【0050】

以上が構成である。次に、動作について説明する。オペレータは運転室７に搭乗して、ダンプトラック１を稼動させる。このとき、ダンプトラック１の前方カメラ８Ｆ、左方カメラ８Ｌ、右方カメラ８Ｒ、後方カメラ８Ｂが撮影する視野の画像データを取得する。これら４つの画像データは画像補正部３２に入力されて、記憶保持部３１に記憶されているカメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の画像補正を行う。これにより、画像データの画質を向上させる。

【0051】

補正処理された４つの画像データは視点変換部３３および画像データ群生成部３５に入力される。視点変換部３３では４つの画像データの視点変換を行い、仮想視点前方画像、仮想視点左方画像、仮想視点右方画像、仮想視点後方画像の４つを生成する。そして、ダンプトラック１のシンボルマークＭを中心として、仮想視点前方画像、仮想視点左方画像、仮想視点右方画像、仮想視点後方画像を合成することで、仮想視点画像が生成される。この仮想視点画像が画像データ群生成部３５に出力される。

【0052】

画像データ群生成部３５では、補正処理された前方画像、左方画像、右方画像、後方画像の４つの画像データおよび仮想視点画像の画像データを入力する。これらの画像データにより画像データ群が構成される。また、前述したように、前方画像、左方画像、右方画像、後方画像および仮想視点画像をそれぞれ１つの画像データとして表示部１５に表示することもできるが、複数の画像データを合成して１つの画像データとして生成することもできる。

【0053】

従って、５つの画像データの全ての組み合わせを考慮すると、画像データ群生成部３５が生成する画像データは多数になる。このため、ダンプトラック１の使用時に必要となる画像データだけが選択対象となるように画像データ群生成部３５に予め設定することができる。勿論、全ての組み合わせの画像データを対象とすることもできるが、ダンプトラック１の使用時に必要になると想定される画像データだけを対象となるように画像データ群生成部３５に設定を行う。要は、表示することがない画像データは予め省略するように画像データ群生成部３５に設定を行う。オペレータないしはユーザはこの設定を、ダンプトラック１の運用前に予め設定しておく。なお、５つの画像データの全ての組み合わせにより画像データ群を構成してもよい。

【0054】

図４は画像データ群生成部３５が生成する画像データのグループの一例を示している。つまり、ダンプトラック１の使用時（運用時）に表示することが必要になると想定される画像データのグループを示している。画像データＧ１は領域を２分割し、１つの領域に仮想視点画像、もう１つの領域に後方画像を表示した画像データになる。画像データＧ２は後方画像のみを表示した画像データになる。なお、この画像データＧ２にはダンプトラック１の車体の一部としてリンク機構が映し出されている。画像データＧ３は右方画像のみを表示した画像データになる。画像データＧ４は左方画像のみを表示した画像データになる。画像データＧ３、Ｇ４にはダンプトラック１の車体の一部として前輪３が映し出されている。

【0055】

画像データＧ５は前方画像のみを表示した画像データになる。画像データＧ６は領域を２分割して右方画像と後方画像とを表示した画像データになる。画像データＧ７は領域を２分割して左方画像と後方画像とを表示した画像データになる。画像データＧ８は領域を４分割して、前方画像、左方画像、右方画像、後方画像の４つの画像を配置した画像データになる。なお、画像データＧ１乃至Ｇ８において、前方画像および後方画像には動的な障害物として作業員が映し出されている。

【0056】

同図にも示すように、各画像データには「ＢＡＣＫ」、「ＬＥＦＴ」、「ＲＩＧＨＴ」、「ＦＲＯＮＴ」を方向情報として、画像データに重畳して表示している。これにより、画像データが前方画像、左方画像、右方画像、後方画像の何れの画像であるかを一見して認識することができる。なお、仮想視点画像は、一見して仮想視点画像であることが認識されるため、方向情報を付していない。ただし、仮想視点情報にも方向情報を付してもよい。

【0057】

画像データ群生成部３５は８つの画像データを画像選択部３６に出力する。画像選択部３６には、車体コントローラ２０より車体情報が入力されている。この車体情報のうちシフトレバー情報とステアリング情報とに基づいて、８つの画像データの中から表示部１５にリストとして表示する画像データを選択する。

【0058】

シフトレバー２１が「Ｒ」に入っているときには、ダンプトラック１の走行方向は後進になる。従って、図４に示した８枚の画像データのうち走行方向が後進に関連する画像データのみを選択する。選択した画像を図５に示す。図４に示した各画像データのうち、画像データＧ３は右方画像のみの画像データであり、画像データＧ４は左方画像のみの画像データであり、画像データＧ５は前方画像のみの画像である。

【0059】

一方、画像データＧ１、Ｇ２、Ｇ６乃至Ｇ８は後方画像を含んでいる。そこで、画像選択部３６は画像データＧ１、Ｇ２、Ｇ６乃至Ｇ８を画像リスト生成部３７に出力する。画像リスト生成部３７はリスト形式で表示部１５に各画像データを表示させる。ここでは、画像データＧ１、Ｇ２、Ｇ６乃至Ｇ８がリスト形式で表示部１５に表示される。

【0060】

オペレータはモニタ１４の表示部１５を視認して、入力部１６を操作して目的となる画像データを選択する。入力部１６のアップスイッチ１６Ｕまたはダウンスイッチ１６Ｄにより矢印アイコンを上下させることで、目的となる画像データを選択する。そして、目的となる画像データを選択した後に、決定ボタン１６Ａを押下することで、表示部１５に表示される画像データが決定される。図５の例では、後方画面の画像データＧ２が選択されている（矢印アイコンにより選択されている）。従って、表示画像生成部３８は画像データＧ２を表示部１５に表示させる制御を行う。

【0061】

従って、シフトレバー情報に基づいて、前進または後進に関連した画像のみをグループ化することで、選択対象の画像データを少なくすることができ、オペレータが容易且つ迅速に目的となる画像データを表示部１５に表示させることができる。これにより、オペレータに画像データを検索させる負担を軽減することができ、容易且つ迅速に目的の画像データを選択することができる。

【0062】

ここで、画像選択部３６にはステアリング情報も入力されている。ステアリング情報は運転室７に備えられるステアリングハンドル２２の操舵情報である。ステアリングハンドル２２の操舵角度が所定角度以上のときには、大きく左右に走行するため、後方画像だけでなく、操舵する方向の画像（左方画像または右方画像）を表示することが望ましい。シフトレバー２１が「Ｒ」であり、操舵する方向が左方であれば、画像データ群生成部３５が生成した８つの画像データの中から、後方画像と左方画像とに関連する画像を選択してグループ化する。

【0063】

この場合には、後方画像と左方画像とに関連する画像であることから、図６に示すように、画像データＧ１乃至Ｇ３、Ｇ６乃至Ｇ８が選択対象となる。オペレータは入力部１６を用いて、何れかの画像データを選択して、表示部１５に表示させる。これにより、斜めに後進するような場合でも、走行方向に関連する画像データのみを選択対象とすることができる。

【0064】

従って、ダンプトラック１の周囲４箇所に前方カメラ８Ｆ、右方カメラ８Ｒ、左方カメラ８Ｌ、後方カメラ８Ｂを配置した場合、各カメラが撮影する画像データだけではなく、複数のカメラの画像を組み合わせた画像データを生成できる。また、視点変換した仮想視点画像を画像データとして生成することができる。このため、組み合わせにより多数の画像データが選択対象となるが、このうち走行方向に関連した画像データのみを選択対象とすることで、選択対象となる画像データを少なくすることができる。これにより、オペレータが表示させたい画像データを選択する作業を軽減できる。

【0065】

なお、シフトレバー２１が「Ｒ」であり、ステアリングハンドル２２の操舵角度が所定角度未満の場合には、ほぼ真っ直ぐに後進することになる。この場合には、左方画像および右方画像、そして前方画像を表示する必要はなく、図５に示すように、後方画像に関連した画像データのみが選択対象となる。

【0066】

以上において、図５および図６に示すように、画像選択部３６が選択した画像データのみを表示して目的の画像データを選択させるようにしているが、画像データ群生成部３５が生成する全ての画像データを表示させて、その中から走行方向に関連しない画像を選択不能にすることもできる。

【0067】

図７はその一例を示している。図７では画像データ群生成部３５が生成した全ての画像データがリスト形式で表示されているが、走行方向に関連しない右方画像からなる画像データＧ３、左方画像からなる画像データＧ４、前方画像からなる画像データＧ５を選択不能にする。オペレータは入力部１６のアップスイッチ１６Ｕまたはダウンスイッチ１６Ｄを操作することにより、選択する画像の矢印アイコンを移動させるが、画像データＧ２の次に遷移させるときには、画像データＧ３乃至Ｇ５をスキップして、画像データＧ６に矢印アイコンを移動させることができる。これにより、走行方向に関連する画像データのみを選択対象とすることができる。

【0068】

また、ダンプトラック１の積載物を排土するときには、後方の視野が重要となる。このため、運転室７のベッセル操作手段が操作されて、ベッセル５が傾斜状態になったときは自動的に後方画像のみを表示する画像データＧ２が表示させるように制御する。これにより、積載物の排土を行うときの後方の状況を運転室７に搭乗しているオペレータが認識することができる。

【0069】

また、前述した実施形態においては、画像リスト生成部３７は画像選択部３６が選択した一連の画像データを表示部１５に表示して、入力部１６（アップスイッチ１６Ｕ、ダウンスイッチ１６Ｄ）を操作することで、目的となる画像データを選択する例を示していた。このとき、画像リスト生成部３７は所定時間ごとに画像データを切り替えて表示することで、目的の画像を選択させるようにしてもよい。

【0070】

また、オペレータによる画像の選択は入力部１６を用いて行っているが、入力部１６を設けずにタッチパネル式にしてもよい。表示部１５に表示される画像データをタッチパネルで選択することで、アップスイッチ１６Ｕやダウンスイッチ１６Ｄを用いて矢印アイコンを移動させる必要はなくなる。

【0071】

また、画像選択部３６にはダンプトラック１の走行速度を示す走行速度情報が入力されている。この走行速度情報が所定速度以上になったときは仮想視点画像を選択の対象から外すことができる。仮想視点画像はダンプトラック１を中心とした周囲の状況を表示することができるが、その表示範囲は狭小である。従って、ダンプトラック１が停止或いは低速に走行しているときには仮想視点画像を選択対象とすることが望ましいが、所定速度以上になったときには遠方を視野とすることができる各カメラ８Ｆ、８Ｒ、８Ｌ、８Ｂのカメラ画像を表示して、仮想視点画像は選択対象に含めないこともできる。

【0072】

また、画像リスト生成部３７が表示部１５に表示させる画像データのリストは任意の順番としてもよいが、使用頻度の高い画像データから順番に表示するようにしてもよい。これにより、オペレータは使用頻度の高い画像データを表示するときには１度の操作で目的の画像データを表示することができる。また、アップスイッチ１６Ｕ、ダウンスイッチ１６Ｄにより操作される矢印アイコンにより目的の画像データを選択したが、矢印アイコンとは異なる方法で目的の画像データを選択するようにしてもよい。

【符号の説明】

【0073】

１ ダンプトラック
５ ベッセル
７ 運転室
８Ｂ 後方カメラ
８Ｆ 前方カメラ
８Ｌ 左方カメラ
８Ｒ 右方カメラ
１４ モニタ
１５ 表示部
１６ 入力部
１６Ａ 決定ボタン
１６Ｄ ダウンスイッチ
１６Ｕ アップスイッチ
２０ 車体コントローラ
２１ シフトレバー
２２ ステアリングハンドル
２２ ステアリングハンドル
２３ 速度検出部
２４ ベッセル操作手段
３０ 表示コントローラ
３２ 画像補正部
３３ 視点変換部
３４ 画像合成部
３５ 画像データ生成部
３６ 画像選択部
３７ 画像リスト生成部
３８ 表示画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】