特許 5938222 運搬車両の周囲監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5938222

(24)【登録日】2016年5月20日

(45)【発行日】2016年6月22日

(54)【発明の名称】運搬車両の周囲監視装置

(51)【国際特許分類】

   B60R 1/00 20060101AFI20160609BHJP

   B60R 11/02 20060101ALI20160609BHJP

   B60R 21/00 20060101ALI20160609BHJP

【ＦＩ】

   B60R1/00 A

   B60R11/02 C

   B60R21/00 626G

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2012-23843(P2012-23843)

(22)【出願日】2012年2月7日

(65)【公開番号】特開2013-159257(P2013-159257A)

(43)【公開日】2013年8月19日

【審査請求日】2015年2月4日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(74)【代理人】

【識別番号】100089749

【弁理士】

【氏名又は名称】影井 俊次

(72)【発明者】

【氏名】稲野辺 慶仁

(72)【発明者】

【氏名】古渡 陽一

(72)【発明者】

【氏名】石本 英史

【審査官】 加藤 信秀

(56)【参考文献】

【文献】 特開２０１１−１５１７３１（ＪＰ，Ａ）

【文献】 特開２００３−１４６１３３（ＪＰ，Ａ）

【文献】 特開２００５−２２３５２４（ＪＰ，Ａ）

【文献】 特開２０１１−１９９３９２（ＪＰ，Ａ）

【文献】 特開２０１０−０６４７５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

運搬車両の少なくとも後方および左右側方を視野とするカメラと、
前記運搬車両の運転室に備えられるモニタと、
前記運転室に備えられ、前記運搬車両の前進および後進を操作するシフトレバーと、
前記運搬車両の左右の方向の操舵情報であるステアリング情報と前記シフトレバーの情報とに基づいて、前記運搬車両の走行方向に応じた１または複数のカメラ画像を前記モニタに表示させるコントローラと、を備え、
前記コントローラは、
前記運搬車両が停止しているときに、前記モニタの画面の領域を２つに分割して、１つの領域に前記後方および左右側方のうちの１つのカメラからのカメラ画像を表示し、他の領域に前記各カメラで取得したカメラ画像に基づいて、上方視点となるように視点変換した仮想視点画像を表示させる制御を行うこと
を特徴とする運搬車両の周囲監視装置。

【請求項2】

前記コントローラは、
前記ステアリング情報の左右の操舵角度が所定角度未満であり、且つ前記シフトレバーが後進操作のときには前記モニタの画面に前記後方のカメラからのカメラ画像だけを表示し、前記ステアリング情報の左右の操舵角度が前記所定角度以上であり、且つ前記シフトレバーが後進操作のときには前記１つの領域に前記後方のカメラからのカメラ画像を表示し、前記他の領域に前記ステアリング情報に応じた左右側方の何れかのカメラからのカメラ画像を表示させる制御を行うこと
を特徴とする請求項１記載の運搬車両の周囲監視装置。

【請求項3】

前記コントローラは、
前記運搬車両の速度が所定速度以上となったときに、前記仮想視点画像から前記カメラ画像に切り換えて前記モニタに表示させる制御を行うこと
を特徴とする請求項１または２記載の運搬車両の周囲監視装置。

【請求項4】

運搬車両の少なくとも後方および左右側方を視野とするカメラと、
前記運搬車両の運転室に備えられるモニタと、
前記運転室に備えられ、前記運搬車両の前進および後進を操作するシフトレバーと、
前記運搬車両の左右の方向の操舵情報であるステアリング情報と前記シフトレバーの情報とに基づいて、前記運搬車両の走行方向に応じた１または複数のカメラ画像を前記モニタに表示させるコントローラと、を備え、
前記コントローラは、
前記ステアリング情報の左右の操舵角度が所定角度未満であり、且つ前記シフトレバーが前進操作のときには前記モニタの画面に前記運搬車両の前方に設置されるカメラからのカメラ画像だけを表示し、前記ステアリング情報の左右の操舵角度が前記所定角度以上であり、且つ前記シフトレバーが前進操作のときには前記モニタの画面の領域を２つに分割して、１つの領域に前記前方に設置されるカメラからのカメラ画像を表示し、他の領域に前記ステアリング情報に応じた左右側方の何れかのカメラからのカメラ画像を表示させる制御を行うこと
を特徴とする運搬車両の周囲監視装置。

【請求項5】

前記運搬車両は、積載物を積載するためのベッセルを有し、
前記コントローラは、
前記ベッセルを傾斜状態にして積載物を排土するときには、前記ベッセルの操作情報に基づいて、前記モニタに前記後方のカメラの映像を映し出すこと
を特徴とする請求項１〜４の何れか１項記載の運搬車両の周囲監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、土砂等の運搬対象物を運搬する運搬車両に関し、特に運搬車両の周囲を監視する運搬車両の周囲監視装置に関するものである。

【背景技術】

【0002】

ダンプトラックに代表される運搬車両は、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えており、このベッセルに砕石物や土砂等の運搬対象物を多量に積載することができる。ベッセルの運搬対象物は集積場に向けて運搬され、所定位置で排土される。ベッセル上に積載された土砂等を排土するときには、ダンプトラックを排土位置まで後進させて、停止させる。この状態でベッセルを傾斜させて土砂等を排土する。そして、排土を終えるとベッセルを元の位置に戻して、ダンプトラックを前進させる。

【0003】

ダンプトラックの運転室に搭乗したオペレータの前方の視野は良好であるが、後方の視野は殆どが死角となり、オペレータの目視によっては後方の状況を殆ど確認することができない。そこで、ダンプトラックの後方にカメラ（後方カメラ）を設置して、この後方カメラのカメラ画像を運転室のモニタに表示する。これにより、ダンプトラックの後方の状況をリアルタイムで確認することができる。

【0004】

運転室にモニタを備えて、後方カメラの画像を表示させる技術が特許文献１に開示されている。特許文献１の技術では、ダンプトラックの後輪タイヤの土砂等が付着しない位置にカメラを取り付け、このカメラが撮影している映像を運転室に設けたモニタ（リヤビューモニタ）に表示している。そして、シフトレバーを後進させる位置に操作したときには、カメラが撮影している後方画像をモニタに表示するようにしている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−１９９３９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ダンプトラックの走行操作は運転室に設けたシフトレバーをオペレータが操作することによって行われる。このシフトレバーは、後進位置（Ｒ）、中立位置（Ｎ）、前進位置（Ｆ）の３段階に変位する。また、運転室には操舵手段としてのステアリングハンドルが備えられており、ダンプトラックの走行操作はステアリングハンドルおよびシフトレバーを操作することにより行う。ダンプトラックはシフトレバーにより前進または後進をするが、ステアリングハンドルを操舵することにより、左右の斜め前方或いは左右の斜め後方にダンプトラックを走行させる。

【0007】

前述した特許文献１の技術では、ダンプトラックの後方の視野のみがモニタに表示される。このとき、ステアリングハンドルの操舵角度が大きい場合には、後方のカメラの視野だけでは、これから走行しようとする方向の視野を十分に確保することができず、安全性を確保することができない。つまり、ステアリングハンドルの操舵角度が大きい場合には、ダンプトラックは斜め方向に後進するが、後方のカメラの画像だけでは側方が死角となって、視野の確保が不十分となる。このために、ダンプトラックの周囲を十分に安全に監視することができなくなる。

【0008】

そこで、本発明は、運搬車両の走行方向に応じた画像をモニタに表示させることで、運搬車両の走行時における安全性の向上を図ることを目的とする。

【課題を解決するための手段】

【0009】

以上の課題を解決するため、本発明の運搬車両の周囲監視装置は、運搬車両の少なくとも後方および左右側方を視野とするカメラと、前記運搬車両の運転室に備えられるモニタと、前記運転室に備えられ、前記運搬車両の前進および後進を操作するシフトレバーと、前記運搬車両の左右の方向の操舵情報であるステアリング情報と前記シフトレバーの情報とに基づいて、前記運搬車両の走行方向に応じた１または複数のカメラ画像を前記モニタに表示させるコントローラと、を備え、前記コントローラは、前記運搬車両が停止しているときに、前記モニタの画面の領域を２つに分割して、１つの領域に前記後方および左右側方のうちの１つのカメラからのカメラ画像を表示し、他の領域に前記各カメラで取得したカメラ画像に基づいて、上方視点となるように視点変換した仮想視点画像を表示させる制御を行うことを特徴とする。

【0010】

この運搬車両の周囲監視装置によれば、運搬車両の後方および左右側方の合計３台のカメラを設置している。そして、ステアリング情報とシフトレバー情報とに基づいて、３台のカメラのうち何れか１台または複数台のカメラ画像をモニタに表示している。これにより、運搬車両の走行方向に応じて必要な視野を得ることができ、死角を少なくすることができる。このため、十分な安全性を確保することができる。また、カメラの画像を上方視点となるように変換した仮想視点画像（俯瞰画像）により、運搬車両の周囲を見下ろした形で表示することができる。シフトレバーが後進操作となっているときに、モニタには後方のカメラと仮想視点画像との両者を表示することで、運搬車両の周囲の状況と運搬機械の後方の状況とを表示させることができる。これにより、安全性の向上を図ることができる。

【0011】

また、前記コントローラは、前記ステアリング情報の左右の操舵角度が所定角度未満であり、且つ前記シフトレバーが後進操作のときには前記モニタの画面に前記後方のカメラからのカメラ画像だけを表示し、前記ステアリング情報の左右の操舵角度が前記所定角度以上であり、且つ前記シフトレバーが後進操作のときには前記１つの領域に前記後方のカメラからのカメラ画像を表示し、前記他の領域に前記ステアリング情報に応じた左右側方の何れかのカメラからのカメラ画像を表示させる制御を行うことを特徴とする。

【0012】

ステアリングの操舵角度が小さいときには後方のカメラ画像のみがモニタに表示される。モニタの画面の表示領域はそれほど大きくないことから、後方に直進するときにはモニタの画面に後方の状況だけを表示することで、良好な視認性を得ることができる。一方、ステアリングの操舵角度が所定角度以上のときには、後方の視野と左右の何れかの側方の視野との両者を表示することで、斜め方向に進行しているときに、周囲の状況を正確に認識することができ、安全性の向上を図ることができる。

【0015】

また、前記コントローラは、前記運搬車両の速度が所定速度以上となったときに、前記仮想視点画像から前記カメラ画像に切り換えて前記モニタに表示させる制御を行うことを特徴とする。例えば、前記コントローラは、前記運搬車両の速度が所定速度未満のときに前記他の領域に前記仮想視点画像を表示し、前記運搬車両の速度が所定速度以上のときに前記左右側方の何れかのカメラからのカメラ画像を前記他の領域に表示させる制御を行う。

【0016】

仮想視点画像は運搬車両の周囲を表示することができるが、運搬車両を中心として比較的狭い領域が表示範囲となる。運搬車両が停止或いは低速に移動するときには、仮想視点画像を表示することが望ましいが、運搬車両が高速に走行するときには、走行方向に応じたカメラ画像を表示することで、運搬車両の速度に応じた適切なカメラ画像をモニタに表示することができる。

【0017】

また、前記コントローラは、前記ステアリング情報の左右の操舵角度が所定角度未満であり、且つ前記シフトレバーが前進操作のときには前記モニタの画面に前記運搬車両の前方に設置されるカメラからのカメラ画像だけを表示し、前記ステアリング情報の左右の操舵角度が前記所定角度以上であり、且つ前記シフトレバーが前進操作のときには前記モニタの画面の領域を２つに分割して、１つの領域に前記前方に設置されるカメラからのカメラ画像を表示し、他の領域に前記ステアリング情報に応じた左右側方の何れかのカメラからのカメラ画像を表示させる制御を行うことを特徴とする。

【0018】

運搬車両には前方にも死角が生じる部分があるため、前方にカメラを設置する。そして、運搬車両を斜め方向に移動するときには、前方のカメラと左右側方のカメラとをモニタに表示することで、運搬車両の走行方向に応じた適切な画像が表示される。これにより、運搬車両の安全性の向上を図ることができる。

【0019】

また、前記運搬車両は、積載物を積載するためのベッセルを有し、前記コントローラは、前記ベッセルを傾斜状態にして積載物を排土するときには、前記ベッセルの操作情報に基づいて、前記モニタに前記後方のカメラの映像を映し出すことを特徴とする。

【0020】

ベッセルの積載物を排土するときには、運搬車両の後方の状況をオペレータが認識することが極めて重要になる。このために、ベッセル操作情報に基づいて、後方カメラのカメラ画像を表示することで、排土時にオペレータに運搬車両の後方の状況を認識させることができる。

【発明の効果】

【0021】

本発明は、ステアリング情報とシフトレバー情報とに基づいて、３台のカメラのうち何れか１台または複数台のカメラ画像をモニタに表示している。これにより、進行方向に応じて必要な視野を得ることができ、死角を少なくすることができる。従って、運搬車両の周囲の状況を正確に認識でき、安全性の向上を図ることができるようになる。

【図面の簡単な説明】

【0022】

【図1】ダンプトラックの左側面図である。

【図2】車体コントローラおよび表示コントローラを示したブロック図である。

【図3】仮想視点画像と後方画像とを表示した例である。

【図4】後方画像のみを表示した例である。

【図5】左方画像と後方画像とを表示した例である。

【図6】右方画像と後方画像とを表示した例である。

【図7】左方画像と前方画像とを表示した例である。

【図8】右方画像と前方画像とを表示した例である。

【発明を実施するための形態】

【0023】

以下、図面を参照して、本発明の実施形態について説明する。ここでは、ベッセル（荷台）を設けた運搬車両としてダンプトラックを適用している。図１はダンプトラック１の全体構成を示している。ダンプトラック１としてはリジットダンプとアーティキュレートダンプとがあるが、何れを適用してもよい。なお、本実施形態で、「左」とは運転室から見た左方であり、「右」とは運転室から見た右方である。

【0024】

図１はダンプトラック１の左側の側面図を示しており、この図に示すように、ダンプトラック１は車体フレーム２と前輪３と後輪４とベッセル５とホイストシリンダ６と運転室７と４台のカメラ（前方カメラ８Ｆ、右方カメラ８Ｒ、左方カメラ８Ｌ、後方カメラ８Ｂ）とを有している。なお、図１は左側方からダンプトラック１を示しているため、右方カメラ８Ｒは図１には表れていないが、左方カメラ８Ｌの裏側に右方カメラ８Ｒが配置されている。また、後方カメラ８Ｂはダンプトラック１の後輪４の土砂等が付着しない位置に配置する。

【0025】

車体フレーム２はダンプトラック１の本体を形成するものであり、車体フレーム２の前方には前輪３が設けられており、後方には後輪４が設けられている。ベッセル５は荷台であり、土砂や鉱物等を積載する。ホイストシリンダ６は左右一対に設けられており、伸縮可能なホイストシリンダ６によりベッセル５を起伏させる。

【0026】

運転室７はオペレータが搭乗してダンプトラック１を操作するものであり、運転室７には所定の情報を表示するために、後述するモニタ１４が配置されている。また、ダンプトラック１を操作する操作手段として、ダンプトラック１を前進または後進させるシフトレバー２１、ダンプトラック１の走行方向を左右に変えるステアリングハンドル２２、ダンプトラック１を加速させるためのアクセルペダル等が設けられている。オペレータは運転室７に搭乗して、各種操作手段の操作を行なうことで、ダンプトラック１を任意の方向に走行させる。また、必要に応じて、モニタを確認する。

【0027】

ダンプトラック１の周囲を監視するために設けられる４つのカメラのうち前方カメラ８Ｆはダンプトラック１の前方から斜め下方に向けた範囲を視野としている。右方カメラ８Ｒはダンプトラック１の右側部に取り付けられており、ダンプトラック１の右側部から斜め下方に向けた範囲を視野としている。左方カメラ８Ｌはダンプトラック１の左側部に取り付けられており、ダンプトラック１の左側部から斜め下方に向けた範囲を視野としている。後方カメラ８Ｂはダンプトラック１の後方に配置され、斜め下方に向けた範囲を視野とする。

【0028】

そして、各カメラ（前方カメラ８Ｆ、右方カメラ８Ｒ、左方カメラ８Ｌ、後方カメラ８Ｂ）はダンプトラック１から所定の範囲を視野範囲としているが、各カメラの一部にはダンプトラック１の一部（車体２や前輪３、後輪４等）が表示されるようにしている。

【0029】

ダンプトラック１に設置される４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂはそれぞれ異なる方向を視野としている。これら４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂは撮影する方向が概ね９０度異なるようにしている。これにより、ダンプトラック１のほぼ全周に渡る視野を得ることができる。

【0030】

また、４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂはそれぞれ斜め下方を視野としており、例えば、図１に示すように、前方カメラ８Ｆは接地面をＬとしたときに角度θを持った斜め下方に対物レンズの光軸を向けている。これにより、接地面Ｌに対して角度θを持ったカメラ画像を得ることができる。この接地面Ｌを仮想平面とした画像は、仮想視点ＶＦの光軸が垂直方向（水平面と直交する方向）になるように座標変換した画像が仮想視点画像として生成される。つまり、仮想視点ＶＦから接地面Ｌを見下ろした仮想的な画像が仮想視点画像となる。この仮想視点画像が俯瞰画像となる。

【0031】

図２は車体コントローラ２０と表示コントローラ３０とにより構成されるコントローラを示しており、表示コントローラ３０がモニタ１４に接続される。モニタ１４は運転室７に配置されるものであり、搭乗するオペレータの前方の視界を妨げない位置に配置される。このモニタ１４は情報を表示するための表示部１５と所定の情報を入力するための入力部１６とを有して構成している。

【0032】

表示部１５には４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂが撮影した画像（カメラスルー画像）を表示することもでき、視点変換した仮想視点画像を表示することもできる。カメラスルー画像および仮想視点画像は両者とも画像データであり、この画像データが表示部１５に表示される。表示部１５は縦横に所定の表示領域を有しており、表示部１５の全体にカメラスルー画像或いは仮想視点画像を表示することもできるが、この表示領域を２つに分割して、それぞれ異なる画像を表示することができる。

【0033】

車体コントローラ２０は主に車体制御部２０Ｃを有して構成される。車体コントローラ２０の車体制御部２０Ｃにはシフトレバー情報とステアリング情報と走行速度情報とベッセル操作情報とが入力されている。シフトレバー情報は運転室７に設けられているシフトレバー２１に関する情報である。シフトレバー２１は前進（Ｆ）、中立（Ｎ）、後進（Ｒ）の３段階に変化する。従って、シフトレバー２１が「Ｆ」のときにはダンプトラック１は前進し、「Ｎ」のときにはダンプトラック１は停止し、「Ｒ」のときにはダンプトラック１は後進する。シフトレバー情報はシフトレバー２１が「Ｆ」、「Ｎ」、「Ｒ」の何れの位置に入っているかの情報である。このシフトレバー情報は車体コントローラ２０に入力される。

【0034】

また、運転室７にはステアリングハンドル２２が設けられており、オペレータがステアリングハンドル２２を操舵することにより、ダンプトラック１を任意の方向に走行させることができる。車体コントローラ２０にはステアリングハンドル２２の操舵角度がステアリング情報として入力される。

【0035】

ダンプトラック１の前輪３および後輪４の回転速度からダンプトラック１の速度を検出する速度検出手段２３が設けられており、この速度検出手段２３によりダンプトラック１の走行速度を示す走行速度情報が得られる。この走行速度情報が車体コントローラ２０に入力される。ベッセル操作情報は運転室７に設けられるベッセル操作手段２４により制御されるホイストシリンダ６の伸縮情報を示しており、ホイストシリンダ６が伸張状態のときにはベッセル５が傾斜することにより、積載物が排土される。一方、ホイストシリンダ６が収縮状態のときには、ベッセル５は平行となっており、積載物が排土されることはない。車体コントローラ２０はシフトレバー情報とステアリング情報と走行速度情報とベッセル操作情報とを車体情報として表示コントローラ３０に入力させる。

【0036】

表示コントローラ３０はモニタ１４に表示させる内容を制御する装置である。この表示コントローラ３０は記憶保持部３１と画像補正部３２と視点変換部３３と画像合成部３４と表示画像生成部３５と画像選択部３６とを備えて構成している。また、表示コントローラ３０には後方カメラ８Ｂ、左方カメラ８Ｌ、右方カメラ８Ｒ、前方カメラ８Ｆが撮影している映像（カメラ画像）が入力される。カメラ画像は連続的に取得されるものであり、これにより各カメラの映像を動画としてリアルタイムに認識することができる。

【0037】

記憶保持部３１は４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂの撮影画角やレンズ歪み等のカメラ光学系パラメータ、搭載位置・姿勢情報、仮想視点画像に変換する際の仮想視点情報、表示画像用のシンボルマークＭ（後述する）や縮尺値等の各種情報を記憶している。記憶保持部３１は画像補正部３２と視点変換部３３と画像合成部３４と表示画像生成部３５と画像選択部３６とに情報を出力している。

【0038】

画像補正部３２は４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂに接続されており、これら４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂから取り込んだ画像データに対して、記憶保持部３１に記憶されているカメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の画像補正を行う。これにより、画像データの画質を向上させている。画像補正部３２が補正処理した画像データは視点変換部３３と画像選択部３６とに出力される。

【0039】

視点変換部３３は、画像補正部３２が補正処理した各画像データ（前方画像、右方画像、左方画像、後方画像）に基づいて、これらの画像を上方視点となるように視点変換を行う。４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂは接地面Ｌに対して斜め下方に視野を向けて撮影し、このときに得られる画像データを画像変換処理して、仮想視点ＶＦからの画像（仮想視点画像）に変換することができる。仮想視点画像は視点を上方位置とした俯瞰画像になり、この俯瞰画像に基づいてダンプトラック１の周囲の状況が正確に認識できるようになる。なお、４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂの撮影視野の境界を重複させることで、ダンプトラック１の周囲の状況に死角をなくすことができる。

【0040】

前方画像、右方画像、左方画像、後方画像のうち、前方画像については運転室７からオペレータが視認することができるため、前方カメラ８Ｆを設置せずに前方画像を省略することもできる。一方、右方画像、左方画像、後方画像の３つの画像は必須の画像（カメラスルー画像）であり、仮想視点画像を生成するときも３つの画像に基づいて生成してもよい。ただし、運転室７の視野前方にも死角を生じる場合があり、前方カメラ８Ｆを設置することで、この死角部分を表示することができる。

【0041】

画像合成部３４は、４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂの画像データを、ダンプトラック１のキャラクタをシンボルマークＭとして中心に配置し、このシンボルマークを中心として前後および左右に領域を４分割する。例えば、図３に示すように、ダンプトラック１のシンボルマークＭを中心に上側の領域Ａ１には前方の仮想視点画像、左側の領域Ａ２には左方の仮想視点画像、右側の領域Ａ３には右方の仮想視点画像、下側の領域Ａ４には後方の仮想視点画像を割り当てて表示を行う。これにより、ダンプトラック１を中心とした仮想視点画像（俯瞰画像）を生成することができる。なお、図３において、Ｈは作業員を示している。

【0042】

図２に戻って、画像補正部３２からは画像選択部３６に対しても、４台のカメラ８Ｆ、８Ｌ、８Ｒ、８Ｂが撮影した画像データが入力される。これら４つの画像データはカメラスルー画像としてカメラが直接的に捕らえている画像のデータになる。画像選択部３６は、車体コントローラ２０から出力される車体情報に基づいて、前方、右方、左方、後方の４つの画像データのうち何れか１つまたは複数の画像データを選択する。選択した画像データは表示画像生成部３５に入力される。

【0043】

表示画像生成部３５は、モニタ１４の表示部１５に表示される表示画像を生成する。この表示画像としては、画像合成部３４により生成される仮想視点画像を表示画像とすることができる。また、画像選択部３６により選択された１つの画像データを表示することもできる。前述したように、表示部１５の表示領域は複数に分割することができる。よって、前後左右の画像データのうち２つの画像データを分割したそれぞれの領域に表示することもでき、また１つの領域は前後左右の画像データを表示し、もう１つの領域には仮想視点画像を表示することができる。

【0044】

次に、動作について説明する。オペレータは運転室７に搭乗して、ダンプトラック１を稼動させる。初期的にはダンプトラック１は停止しており、前輪３および後輪４の回転速度はゼロになっている。従って、速度ゼロの走行速度情報が車体コントローラ２０に入力される。また、シフトレバーは中立位置（Ｎ）に入っているため、ダンプトラック１は停止している状態になる。

【0045】

このとき、表示コントローラ３０は４台のカメラを用いて、前方画像、右方画像、左方画像、後方画像の４つの画像を入力して、画像補正部３２により収差補正やコントラスト補正等を行う。そして、前方画像、右方画像、左方画像、後方画像の４つの画像は視点変換部３３により仮想視点画像に変換される。その後、画像合成部３４は、ダンプトラック１のシンボルマークＭを中心にして、領域Ａ１に前方の仮想視点画像、領域Ａ２に左方の仮想視点画像、領域Ａ３に右方の仮想視点画像、領域Ａ４に後方の仮想視点画像を合成する。これにより、仮想視点画像が生成される。

【0046】

図３はモニタ１４の表示例を示しており、表示部１５は２つの領域に分割されている。表示部１５の１つの領域には仮想視点画像が表示される。この仮想視点画像をモニタ１４に表示することで、ダンプトラック１の全周に渡って上方から見下ろした画像が表示される。オペレータは表示部１５に表示されている仮想視点画像を視認することで、ダンプトラック１と固定的或いは動的な障害物（例えば、作業員等）との間隔を一見して正確に把握することができる。図３の仮想視点画像にはダンプトラック１の周囲に接近した位置に作業員Ｈが映し出されている。

【0047】

この仮想視点画像はダンプトラック１が停止しているときに表示することが特に有効である。モニタ１４の表示部１５に表示されている仮想視点画像をオペレータが視認することで、ダンプトラック１の周囲に動的或いは固定的な障害物があるか否かを確認でき、安全が確認されたときにダンプトラック１を走行させるようにする。図３の場合には、作業員Ｈがダンプトラック１の近傍に位置していることから、ダンプトラック１のオペレータは作業員Ｈの存在に配慮をして、ダンプトラック１を走行させる。

【0048】

一方、表示部１５の２つの領域のうちもう１つの領域（他の領域）には後方画像のカメラスルー画像、つまり視点変換を行っていない後方画像が表示される。この後方画像には作業員Ｈが映し出されており、またダンプトラック１の一部（リンク機構等）が後方画像に含まれている。従って、表示画像生成部３５は２つの領域のうち１つの領域に仮想視点画像を表示し、もう１つの領域に後方画像のカメラスルー画像を表示するような表示画像を構成して、表示部１５に表示させる。

【0049】

本実施形態の例では、表示部１５に仮想視点画像と後方画像とを表示させているが、後方画像に代えて左方画像、右方画像、前方画像を表示させてもよい。また、表示部１５の表示領域全体に仮想視点画像を表示させてもよい。ダンプトラック１が停止状態から走行状態に移行するときに最も注意すべきはダンプトラック１の周囲の状況であり、表示部１５に仮想視点画像を表示させることで、安全性を確保できる。また、仮想視点画像と共に後方のカメラスルー画像を表示することで、ダンプトラック１の走行方向の視野をオペレータが認識することができる。

【0050】

運転室７に搭乗したオペレータは、シフトレバー２１やステアリングハンドル２２、アクセルペダルを操作することで、ダンプトラック１を任意の方向に走行させる。例えば、ダンプトラック１のベッセル５に積載されている土砂を積み下ろす位置までダンプトラック１を走行させて、ベッセル５の土砂を排土する。通常、ダンプトラック１が排土を行うときには、ダンプトラック１を所定の排土位置まで後進させた後に、ベッセル５の土砂を排土する。

【0051】

運転室７に搭乗したオペレータの前方の視界は良好であるが、後方についてはベッセル５が視界を妨げるため、殆どが死角になる。つまり、ダンプトラック１の後方については殆ど目視することができない。ダンプトラック１が後進するときには、真っ直ぐ後進する場合もあるが、斜め後方に後進する場合もある。

【0052】

前述したように、ダンプトラック１が停止しているときには仮想視点画像をモニタ１４の表示部１５に表示させることが望ましい。ただし、仮想視点画像はダンプトラック１を中心として狭小な範囲の画像となっているため、仮想視点画像の表示範囲の外側の視野を得るためには、前方カメラ８Ｆ、右方カメラ８Ｒ、左方カメラ８Ｌ、後方カメラ８Ｂが撮影している画像データ（カメラスルー画像）を表示することが必要な場合もある。このカメラスルー画像を表示部１５に表示させることで、走行方向の状況を表示して、オペレータに了知させることができる。

【0053】

従って、運転室７に搭乗しているオペレータがアクセルペダルを操作することで、走行速度が速くなるが、この走行情報は車体コントローラ２０から表示画像生成部３５に入力される。表示画像生成部３５は走行情報を認識して、走行速度が予め設定した所定速度以上になったときに、仮想視点画像よりもカメラスルー画像を優先的に表示するように制御する。

【0054】

運転室７に搭乗しているオペレータが、シフトレバーを「Ｒ」に入れたときに、シフトレバー情報が表示コントローラ３０に入力される。また、走行速度情報およびステアリング情報も車体コントローラ２０に入力される。走行速度が所定速度以上であり、シフトレバーが「Ｒ」であり、且つステアリング情報が示す操舵角度が所定角度未満であるときには、画像選択部３６は後方画像を選択して、表示画像生成部３５は後方画像のカメラスルー画像のみを表示させる。このときの表示部１５の表示内容を図４に示す。この場合も、表示されている画像は後方画像であることを示す「ＢＡＣＫ」を表示させるようにしている。

【0055】

一方、運転室７に搭乗しているオペレータがシフトレバーを「Ｒ」に入れ、且つステアリングハンドル２２が左に大きな操舵角度となっているときには、シフトレバー情報およびステアリング情報に基づいて、画像選択部３６は後方画像および左方画像を選択する。そして、表示画像生成部３５は表示部１５を２分割して、１つの領域に後方画像を表示し、もう１つの領域に左方画像を表示する。

【0056】

図５はその表示例であり、表示部１５を２分割したうちの１つの領域に左方画像を表示している。この左方画像にも車体の一部（タイヤ等）が映し出されている。また、もう１つの領域の後方画像を表示する。ダンプトラック１を斜め左後方に走行させるときに、後方画像だけでは左方に死角を生じる場合がある。そこで、左方画像も表示することで、ダンプトラック１の走行方向に応じた最適な画像を表示させることができる。

【0057】

つまり、後方カメラ８Ｂの視野角は所定範囲であり、ダンプトラック１を左斜め後方に走行させるときには、後方カメラ８Ｂの視野角のみではダンプトラック１の走行方向に死角を生じることがある。そこで、後方カメラ８Ｂの後方画像だけでなく、左方カメラ８Ｌの左方画像も表示部１５に表示することで、ダンプトラック１の走行方向の視野を確実に表示することができる。

【0058】

図５の場合では、後方カメラ８Ｂに作業員Ｈが映し出されているが、左方カメラ８Ｌにも別の作業員Ｈが映し出されている。後方カメラ８Ｂでは左方カメラ８Ｌに映し出される別の作業員Ｈは映し出されない。そこで、ダンプトラック１を斜め左後方に走行させるときには、後方画像および左方画像を表示部１５に表示して走行方向の安全性を確保することができる。

【0059】

ダンプトラック１を右斜め後方に走行させるときも同様であり、シフトレバーが「Ｒ」に入っており、且つステアリングハンドル２２が右に大きな操舵角度となっているときには、画像選択部３６は後方画像と右方画像とを選択する。そして、図６に示すように、表示画像生成部３５が後方画像と右方画像とを表示部１５に表示させる。これにより、ダンプトラック１を右斜め後方に走行させるときでも、十分に広い視野を確保することができる。

【0060】

左斜め前方にダンプトラック１を走行させるときも同様であり、図７に示すように、画像選択部３６は前方画像と左方画像とを選択して、表示画像生成部３５が領域を分割した前方画像と左方画像とを表示することで、走行方向に応じた画像を表示部１５に表示させることができる。右斜め前方にダンプトラック１を走行させるときも同様であり、図８に示すように、前方画像と右方画像とを表示部１５に表示させる。

【0061】

従って、ダンプトラック１の少なくとも後方および左右側方にカメラ８Ｂ、８Ｌ、８Ｒを配置し、シフトレバー情報とステアリング情報とに基づいて、画像選択部３６がダンプトラック１の走行方向に応じて１または複数の画像データを選択する。シフトレバーを「Ｒ」に入れたときに、ステアリングの操舵角度が小さければ、後方カメラ８Ｂの視野を映し出す後方画像だけで足りるが、ステアリングの操舵角度が予め設定した角度以上になったときは後方カメラ８Ｂの後方画像だけでなく、操舵方向の右方カメラ８Ｒの右方画像または左方カメラ８Ｌの左方画像も表示することで、ダンプトラック１の走行方向について広範な視野を得ることができる。これにより、ダンプトラック１を走行させるときの安全性を確保することができる。

【0062】

しかも、オペレータに格別の操作を要求することなく、ダンプトラック１を走行させるために必要なシフトレバーの操作およびステアリングハンドル２２の操作を行なうだけで、表示部１５にはダンプトラック１の走行方向に応じた最適なカメラの画像が自動的に選択される。これにより、オペレータに煩わしい操作を要求することなく、本実施形態の目的を達成することができる。

【0063】

また、ダンプトラック１を停止しているときには、ダンプトラック１の全周を見渡せる仮想視点画像を表示し、ダンプトラック１を走行させて所定速度以上になったときに仮想視点画像を非表示状態にして、カメラスルー画像を表示させている。これにより、ダンプトラック１の稼動状態によって、表示の態様を変更することで、ダンプトラック１の状況に応じて最適な情報を表示部１５に表示させることができる。

【0064】

なお、仮想視点画像からカメラスルー画像に切り替えるのは、走行速度が所定速度以上になったときとしているが、所定速度は任意に予め設定できる。また、ステアリングハンドル２２の操舵角度が所定角度以上のときに、後方画像だけでなく左方画像または右方画像を表示させているが、所定角度は任意に予め設定することができる。これらの所定速度および所定角度は予め記憶保持部３１に記憶されている。

【0065】

ところで、ダンプトラック１を停止状態にしているとき（シフトレバーが「Ｎ」のとき）にベッセル５に積載された土砂等を排土する。これは、ベッセル５の操作レバーを用いて行うが、オペレータが操作レバーを用いてベッセル５を傾斜させるときには、ベッセル操作情報が車体コントローラ２０に入力される。

【0066】

車体コントローラ２０に入力されたベッセル操作情報に基づいて、ベッセル５が傾斜した状態のときには、画像選択部３６は後方カメラ８Ｂが撮影している後方画像を選択する。従って、表示部１５には後方画像が表示される。ベッセル５の排土操作を行うときには、後方の状況が極めて重要になるため、表示部１５に仮想視点画像が表示されていたとしても、表示部１５に強制的に後方画像を表示するようにする。これにより、オペレータは後方視野を確認しながら排土操作を行うことができる。

【0067】

前述したように、各カメラ８Ｆ、８Ｒ、８Ｌ、８Ｂのカメラスルー画像に、その方向性を明示するための方向情報を重畳して表示している。つまり、後方画像には「ＢＡＣＫ」の文字を、左方画像には「ＬＥＦＴ」の文字を、右方画像には「ＲＩＧＨＴ」の文字を、前方画像には「ＦＲＯＮＴ」の文字を画像データに重畳させている。これにより、表示されている画像の方向をオペレータに直感的に把握させている。なお、仮想視点画像については一見して仮想視点画像であることが認識できるため、方向情報を重畳させていないが、重畳させるようにしてもよい。

【0068】

また、以上においては、モニタ１４の表示部１５を最大で２分割した場合を説明したが、３分割、４分割にしてもよい。例えば、表示部１５を４分割したときに、４つの領域に前方画像、左方画像、右方画像、後方画像を表示することができる。これらはカメラスルー画像であり、ダンプトラック１が何れの方向に走行したとしても、走行方向に応じた画像が表示される。

【0069】

ただし、モニタ１４のサイズは小型であるため、表示部１５を４分割して、前方画像、左方画像、右方画像、後方画像を表示すると、狭小な表示領域に多くの画像データが表示されることになる。これにより、視認性が低下する。従って、走行方向に応じた画像のみを選択して表示させることが望ましい。一方で、視認性が低下したとしても、前方画像、左方画像、右方画像、後方画像の４つの画像を表示させたい場合もある。その場合には、入力部１６を用いて、手動で４つの画像を表示させるようにしてもよい。

【符号の説明】

【0070】

１ ダンプトラック
５ ベッセル
７ 運転室
８Ｂ 後方カメラ
８Ｆ 前方カメラ
８Ｌ 左方カメラ
８Ｒ 右方カメラ
１４ モニタ
１５ 表示部
１６ 入力部
２０ 車体コントローラ
２１ シフトレバー情報
２２ ステアリング情報
２３ 走行速度情報
２４ ベッセル操作情報
３０ 表示コントローラ
３１ 記憶保持部
３２ 画像補正部
３３ 視点変換部
３４ 画像合成部
３５ 表示画像生成部
３６ 画像選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】