(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0007】
自走式産業機械において、運転室のモニタに油圧ショベルの周辺の俯瞰画像を表示することで、オペレータの肉眼による死角となる部分を画面上に表示することができ、自走式産業機械の周辺の状況を認識させる点で重要である。このため、特許文献1の技術は極めて高い効果を奏する。
【0008】
ただし、オペレータの肉眼による死角となる部分は、自走式産業機械の周辺だけでなく、その下部についても存在する。自走式産業機械の下部に何らかの障害物が存在するときには、自走式産業機械の走行は規制される。例えば、ダンプトラックの場合、ダンプトラックの下部に障害物が存在するときには、土砂の積載作業が終了したにもかかわらず、ダンプトラックの走行が規制される。
【0009】
ダンプトラックとしては普通ダンプトラックや重ダンプトラックがあるが、いずれにしろ大型であり、ダンプトラックの下部に広範な空間が形成される。特に、積載重量が100トンを超えるような重ダンプトラックにおいては、車体下部の空間は広大になる。従って、ダンプトラックの下部に障害物が入り込む可能性が十分にある。この場合には、安全性の観点から、ダンプトラックの走行は規制される。これは、下部走行体を有する油圧ショベル等の自走式建設機械においても同様である。従って、油圧ショベル等において、その周辺の状況をオペレータが認識することは重要であるが、下部の状況についてもオペレータに認識させることも重要になる。
【0010】
この点、俯瞰画像を表示するために自走式産業機械に設けた各カメラは光軸を斜め下方に向けているため、カメラの取り付け位置によっては、カメラの視野の一部に自走式産業機械の下部が部分的に映し出されることがある。従って、カメラの視野の一部に映り込む自走式産業機械の下部の画像をモニタに表示することで、自走式産業機械の下部の状況を認識することができる。
【0011】
ただし、自走式産業機械の下部の撮影を専用とするするカメラを設けた場合はともかく、前記の俯瞰画像を生成するためのカメラはもともと自走式産業機械の周辺を撮影するためのカメラである。従って、自走式産業機械の下部の一部が映り込むとしても、映り込む領域は部分的に限定された領域になる。しかしながら、限定的な領域であったとしても、下部の画像をモニタに表示することは非常に有用である。
【0012】
そこで、本発明は、自走式産業機械の周辺を撮影するカメラを用いて俯瞰画像をモニタに表示するときに、カメラに映り込む自走式産業機械の下部の画像をできる限り広げることを目的とする。
【課題を解決するための手段】
【0013】
以上の課題を解決するため、本発明の自走式産業機械の表示装置は
、自走式産業機械の周辺を撮影する斜め下方を光軸とし
、前記自走式産業機械の下部が少なくとも1台の視野に含まれるように配置された複数のカメラと、各カメラが撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、この俯瞰画像と前記自走式産業機械をシンボル化した車体のシンボル画像とをモニタに
重畳表示
させる処理を行う重畳処理部と、前記シンボル画像
は、上方から見下ろした画像であって、その外形の一部を透過させた透過領域で、他を非透過領域として、この透過領域と非透過領域と
を境界線により識別可能な表示態様にして
、前記俯瞰画像とを合成表示する
処理を行う画像合成部と、
前記視点変換部によって生成された前記俯瞰画像を取得し、この俯瞰画像のうち、前記カメラの視野に含まれる前記自走式産業機械の下部の領域を下部画像として生成する下部画像生成部と、前記自走式産業機械の運転室に備えられ、前記画像合成部が合成した画像を表示する表示装置と、を備え
、前記重畳処理部は、前記下部画像生成部によって生成された前記下部画像を前記透過領域に重畳する画像処理を行い、前記シンボル画像のうち前記透過領域と前記非透過領域との境界の端部を基準として、前記各カメラが撮影した前記カメラ画像に基づく前記各俯瞰画像の表示領域を区分けするための前記境界線を形成している。
【0014】
モニタに車体のシンボル画像と共に周囲の俯瞰画像を表示するに当って、車体シンボル画像の表示領域のうち、車体を俯瞰したときには隠れているが、カメラにより撮影されている領域を透過領域として、車体を透過しない非透過領域と識別可能な態様で表示する。識別表示の態様としては、透過領域と非透過領域との間を境界線で区分けするか、透過領域と非透過領域との間で濃淡に差を設けるかによることができる。さらに、透過領域と非透過領域のいずれかの領域に着色することも可能である。
【0015】
カメラの配置と車両構成各部との配置関係とによっては、本来であればカメラの視野に入るはずであるが、車両構成部材により視野が部分的に妨げられる部位が存在することもある。この場合には、死角部の領域として、他とは異なる表示態様とすることもできる。
【0016】
透過領域とシンボル領域との境界の端部を基準とすることで、透過領域を最大限利用することができる。これにより、透過領域に下部の画像を広く表示することができる。
【0017】
また、前記カメラは後方を撮影する後方カメラであり、前記自走式産業機械の走行体の後端を基準として前記境界線を形成するようにしてもよい。
【0018】
後方カメラの視野に下部の画像が多く映し出される。このとき、後方カメラは自走式産業機械の走行体の後端より前方の視野を含まないため、シンボル画像の走行体の後端を基準として境界線を形成することで、下部の領域を広く表示することができる。
【0019】
また、前記運搬車両のフレームの最後端に設けられ、前記運搬車両のベッセルに干渉しない範囲のうち前記運搬車両の後輪よりも高い位置且つ後方に前記カメラを取り付けるようにしてもよい。
【0020】
運搬車両の後輪よりも高い位置に後方カメラを取り付けることで、運搬車両の下部の領域を大きく撮影することができる。そして、後輪よりも後方に後方カメラを取り付けることで、カメラの最大視野範囲を妨げる要因(主に後輪)を視野から外すことができ、下部の画像を大きく表示することができる。
【0021】
また、前記運搬車両の走行を操作する走行操作部により後進の操作がされたときに、前記表示画像を前記表示装置に表示するようにしてもよい。
【0022】
運搬車両のベッセル後方の下部に広範な空間が形成され、この空間に障害物が入り込み易くなる。そこで、後進操作を行ったときに、ベッセル下部の画像を表示することで、オペレータにベッセル下部の状況をより良好に認識させることができる。
【0023】
また、前記表示装置の表示領域を分割して、前記画像合成部が生成した前記表示画像と前記複数のカメラのうち前記下部画像を撮影しているカメラ画像とを表示するようにしてもよい。
【0024】
また、前記表示装置の表示領域を分割して、前記画像合成部が生成した前記表示画像と前記複数のカメラのうち前記下部画像を撮影しているカメラ画像とを表示するようにしてもよい。
【0025】
俯瞰画像とカメラ画像との両者を同時に表示することで、俯瞰画像から下部画像を認識でき、下部画像に対応するカメラが撮影しているカメラ画像を直接的に認識することができる。
【発明の効果】
【0026】
本発明は、俯瞰画像と自走式産業機械のシンボル画像とをモニタに表示する際に、シンボル画像の一部を透過画像として表示することにより、透過領域を広く利用することができる。これにより、透過領域に下部の画像を大きく表示することができる。
【発明を実施するための形態】
【0028】
以下、図面を参照して、本発明の実施形態について説明する。自走式産業機械としては、運搬車両や建設機械、道路工事機械等があり、運搬車両としては主にダンプトラック、建設機械としては主に油圧ショベルがある。ここでは、自走式産業機械としてダンプトラックを適用しているが、ダンプトラック以外の自走式産業機械を適用してもよい。ダンプトラックとしてはリジットダンプとアーティキュレートダンプとがあるが、何れを適用してもよい。なお、以下において、「左」とは運転室から見た左側であり、「右」とは運転室から見た右側になる。
【0029】
図1はダンプトラック1の左側面図を示しており、
図2は平面図を示している。これらの図に示すように、ダンプトラック1は、運転室2とフレーム3とベッセル4と前輪5と後輪6と駆動用シリンダ7とを備えて構成している。また、ダンプトラック1の前後左右にカメラ10(前方カメラ10F、後方カメラ10B、右方カメラ10R、左方カメラ10L)が設けられており、各カメラ10が撮影した映像をカメラ画像として出力している。なお、
図1の破線は、後方カメラ10Bの視野範囲を示している。
【0030】
前方カメラ10Fは前方、後方カメラ10Bは後方、右方カメラ10Rは右側方、左方カメラ10Lは左側方を視野とするカメラである。
図2では、前方カメラ10Fの視野範囲を前方視野範囲VF、後方カメラ10Bの視野範囲を後方視野範囲VB、右方カメラ10Rの視野範囲を右方視野範囲VR、左方カメラ10Lの視野範囲を左方視野範囲VLとして、仮想線で示している。図中では、各視野範囲は矩形として例示しているが、視野範囲は矩形に限定されない。
【0031】
各カメラ10はダンプトラック1の周辺を撮影しているが、その撮影方向は斜め下方になっている。つまり、光軸方向が斜め下方になっている。なお、ダンプトラック1に備えられるカメラ10の個数は任意の数とすることができる。ただし、オペレータの肉眼による視野の死角を生じる方向を撮影する後方カメラ10Bと右方カメラ10Rと左方カメラ10Lとを備えることが望ましい。また、アーティキュレートダンプの場合には、さらに多くのカメラを設けてもよい。
【0032】
運転室2はオペレータが搭乗してダンプトラック1を操作するために設けられており、ダンプトラック1の左側に配置されているものが多い。また、各種の操作手段が運転室2に設けられている。フレーム3はダンプトラック1の枠組みを構成するものであり、フレーム3の前方には前輪5が設けられ、後方には後輪6が設けられている。ベッセル4は荷台であり、土砂や鉱物等を積載する。ベッセル4には駆動用シリンダ7が取り付けられており、傾動可能になっている。これにより、ベッセル4に積載された土砂等を排土することが可能になっている。
【0033】
図3は、運転室2の一例を示している。運転室2には、走行方向を操作するハンドル11とダンプトラック1の計器類等を表示するコンソール12とピラー13とが設けられている。そして、ピラー13にモニタ14が取り付けられている。モニタ14は画面部15と入力部16とを備えて構成した表示装置である。画面部15は所定の情報を表示する画面であり、入力部16は画面部15の表示内容を適宜に操作するために設けている。なお、モニタ14の位置は運転室2の内部であれば任意の位置に設けてもよい。また、入力部16を省略して、画面部15をタッチセンサパネルとしてもよい。
【0034】
図4は、モニタ14に接続される表示コントローラ17および表示コントローラ17に接続される車体コントローラ18を示している。同図に示すように、表示コントローラ17は画像補正部21と視点変換部22と下部画像生成部23とシンボル画像保持部24と重畳処理部25と画像合成部26と基準点記憶部27と表示画像生成部28とを備えている。表示コントローラ17の各部はソフトウェアで実現することが可能であり、CPUにより各部の機能が行われるようにすることもできる。
【0035】
画像補正部21は、前方カメラ10F、後方カメラ10B、右方カメラ10R、左方カメラ10Lが撮影している画像を入力している。そして、入力した画像に対して、カメラ光学系パラメータ等に基づいて、レンズ歪み補正や収差補正、コントラスト補正、色調補正等の各種の画像補正を行う。これにより、入力した画像の画質を向上させる。画像補正部21が入力した補正した画像はカメラ画像として視点変換部22に出力される。
【0036】
視点変換部22は、画像補正部21から入力したカメラ画像に対して視点変換処理を行って、俯瞰画像(仮想視点画像)を生成する。前述したように、各カメラ10は斜め下方を光軸方向としており、これを上方からの仮想的な視点に変換する。
図5に示すように、カメラ10(前方カメラ10F、後方カメラ10B、右方カメラ10R、左方カメラ10L)の対物レンズの光軸Aは、地表Gに対して所定角度θを有しており、これにより、カメラ10の光軸は斜め下方になっている。視点変換部22では、光軸方向が垂直方向となるような仮想カメラ10Vを高さHに仮想的に設定し、この仮想カメラ10Vが地表Gを見下ろした画像データに座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像(俯瞰画像)となる。
【0037】
図4に示すように、視点変換部22が視点変換処理を行った俯瞰画像は、下部画像生成部23および画像合成部26に出力される。下部画像生成部23は、カメラ10にダンプトラック1の下部が視野に含まれている場合には、俯瞰画像のうちダンプトラック1の下部の部分を取得して、下部画像も俯瞰画像とする。
【0038】
なお、全てのカメラ10にダンプトラック1の下部が視野に含まれているとは限らない。従って、ダンプトラック1の下部が視野に含まれていないカメラ10についての下部画像は生成されない。本実施形態では、後方カメラ10Bの視野のみにダンプトラック1の下部が含まれており、後方カメラ10Bから下部画像が生成されるが、後方カメラ10B以外のカメラ10から下部画像を生成するものであってもよい。
【0039】
シンボル画像保持部24は、シンボル画像を保持する。シンボル画像はダンプトラック1をシンボル(キャラクタ)として画面部15で表示するときの画像である。従って、シンボル画像はダンプトラック1の形状を再現した画像になる。このときの再現性が高ければ、オペレータはダンプトラック1の形状を正確に認識することができる。ただし、忠実にダンプトラック1の形状を再現した画像でなくてもよい。
【0040】
重畳処理部25は、下部画像生成部23から下部画像を入力し、シンボル画像保持部24からシンボル画像を入力する。そして、重畳処理部25は、シンボル画像のうち下部画像に対応する領域を透過領域として所定の透過率で透過させ、この透過領域に下部画像を重畳する画像処理を行う。この画像処理はスーパーインポーズ処理(画像の重ね合わせ処理)となり、透過率が100%でなければ、シンボル画像と下部画像とが同じ位置に二重に表示される。透過率は任意にコントロールすることができる。
【0041】
画像合成部26は、視点変換部22が視点変換した各俯瞰画像を入力し、重畳処理部25が処理を行ったシンボル画像を入力する。そして、シンボル画像を中央にして、その周囲に各俯瞰画像を配置して合成を行う。前方カメラ10Fからは前方俯瞰画像が生成され、後方カメラ10Bからは後方俯瞰画像が生成され、右方カメラ10Rからは右方俯瞰画像が生成され、左方カメラ10Lからは左方俯瞰画像が生成される。そして、シンボル画像を中心にして、前側に前方俯瞰画像を、後側に後方俯瞰画像を、右側に右方俯瞰画像を、左側に左方俯瞰画像を配置する合成を行う。
【0042】
このとき、画像合成部26は基準点記憶部27から基準点を読み出す。シンボル画像を中央にして、周辺に各俯瞰画像が合成されるが、シンボル画像から放射状に形成される境界線を設定する。境界線は各俯瞰画像を表示する領域を区分けするために設定している。基準点記憶部27はこの境界線を形成するときのシンボル画像の基準点(始点)を記憶する。この基準点は、前述の透過領域に基づいて設定される。
【0043】
なお、ダンプトラック1に前後左右の4つのカメラ10が設置されているとは限らない。例えば、前方カメラ10Fが設置されない場合もある。この場合には、前方俯瞰画像を得ることができないため、前方俯瞰画像は合成されない。すなわち、設置されているカメラ10に応じて、当該カメラ10が撮影する方向の俯瞰画像が生成されて合成される。ただし、オペレータの視野の死角になる左方俯瞰画像、右方俯瞰画像、後方俯瞰画像を合成することが望ましい。
【0044】
表示画像生成部27は、画像合成部26が合成した画像を1つの表示画像として生成する。この表示画像はモニタ14に出力される。モニタ14の画面部15には表示画像が表示される。運転室2に搭乗したオペレータは、画面部15に表示された表示画像を視認することができる。画面部15には1つの画像だけでなく、画面部15の表示領域を複数に分割して複数の画像を表示することも可能になっている。
【0045】
図4に示すように、表示コントローラ17は車体コントローラ18と接続されている。車体コントローラ18にはダンプトラック1をコントロールするための各種の操作手段が接続されている。そのうちの1つがシフトレバー29である。シフトレバー29はオペレータがダンプトラック1の走行を操作する走行操作部であり、前進位置、中立位置、後進位置の3つの位置に変位する。シフトレバー29が前進位置に位置しているときには、ダンプトラック1は前進し、後進位置に位置しているときにはダンプトラック1は後進する。また、中立位置に位置しているときにはダンプトラック1は停止する。シフトレバー29からは何れの位置(前進位置、中立位置、後進位置)にあるかのシフトレバー位置情報が車体コントローラ18に入力される。そして、シフトレバー位置情報は車体情報として表示コントローラ17に出力される。
【0046】
以上の構成を用いて、モニタ14の画面部15に表示される表示画像を表示コントローラ17が作成する。ここでは、画面部15の全領域に俯瞰画像表示を行う場合を説明するが、画面部15の領域を分割して、分割した領域に俯瞰画像表示を行うようにしてもよい。俯瞰画像表示は、表示領域の中央にシンボル画像を表示して、その周辺(周囲)に俯瞰画像を表示する方式である。
【0047】
図6は画面部15の全領域の中央に方形の領域が設けられ、当該中央の領域にシンボル画像31が表示される。シンボル画像31は、前述したように、ダンプトラック1の形状を再現したシンボル(キャラクタ)である。なお、自走式産業機械がダンプトラック1以外の場合は、当該自走式産業機械の車体形状を再現したシンボル画像31を表示する。従って、画面部15の中央部分にはシンボル画像31が表示され、俯瞰画像はこのシンボル画像31の周囲に表示される。
【0048】
シンボル画像31を中央にして放射状に境界線L1乃至L4が形成される。そして、シンボル画像31および境界線L1乃至L4により前後左右に分割した領域が設けられる。シンボル画像31の前方の領域には前方俯瞰画像32Fが表示され、後方の領域には後方俯瞰画像32Bが表示され、右方の領域には右方俯瞰画像32Rが表示され、左方の領域には左方俯瞰画像32Lが表示される。前方俯瞰画像32Fと後方俯瞰画像32Bと右方俯瞰画像32Rと左方俯瞰画像32Lとを総称して俯瞰画像32とする。
【0049】
少なくとも各俯瞰画像32を表示するためには、各カメラ10が撮影を行っていなければならない。このために、オペレータはエンジンを始動させる等して、各カメラ10が撮影を開始する。前述したように、各カメラ10は斜め下方を撮影しており、前方カメラ10Fは前方の斜め下方、後方カメラ10Bは後方の斜め下方、右方カメラ10Rは右側方の斜め下方、左方カメラ10Lは左側方の斜め下方の映像を撮影している。
【0050】
そして、各カメラ10は撮影した映像をカメラ画像として表示コントローラ17に出力(転送)する。各カメラ10は所定の撮影周期で撮影を行っており、撮影周期ごとにカメラ画像が転送される。これにより、画面部15には動画を表示することができる。なお、静止画を表示するようにしてもよい。
【0051】
図4に示したように、画像補正部21は各カメラ10から出力されるカメラ画像に対して所定の補正処理を行う。これにより、カメラ画像の画質が向上する。補正処理が行われたカメラ画像は視点変換部22で視点変換される。前方カメラ10Fが撮影したカメラ画像により前方俯瞰画像32Fが生成され、後方カメラ10Bが撮影したカメラ画像により後方俯瞰画像32Bが生成され、右方カメラ10Rが撮影したカメラ画像により右方俯瞰画像32Rが生成され、左方カメラ10Lが撮影したカメラ画像により左方俯瞰画像32Lが生成される。生成された各俯瞰画像32は画像合成部26に出力される。
【0052】
ところで、シンボル画像31を中心に各俯瞰画像32を表示することで、
図6のように、ダンプトラック1を上方から見下ろした画像を画面部15に表示することができる。
図6は俯瞰画像表示であり、ダンプトラック1の周辺の状況を良好にオペレータが認識することができる。
図6に示すように、サービスカーが障害物S1として接近している場合には、俯瞰画像表示を行うことで、オペレータはダンプトラック1と障害物S1との間の位置関係を直感的に認識することができる。
【0053】
例えば、俯瞰画像表示は、ダンプトラック1を発進させるときに、周辺に何かしらの障害物が存在しているか否かを確認するときに有効である。特に、オペレータから死角となる方向についても、障害物が近接しているか否かを確認することができるため、有効である。従って、各俯瞰画像32は比較的ダンプトラック1の近距離を表示範囲としている。つまり、
図5で説明した各カメラ10の光軸と地表Gとの間の角度θは比較的大きく設定している。これにより、
図6のような俯瞰画像表示を行うことにより、ダンプトラック1に近接した周辺の状況を良好に表示することができる。
【0054】
ここで、
図1の破線で示した領域に示したように、後方カメラ10Bはベッセル4の下部位置に取り付けられている。そして、後方カメラ10Bは、斜め下方を光軸としているため、ダンプトラック1の後方を撮影しているが、ダンプトラック1(ベッセル4)の下部も視野に含まれる。特に、前述したように、後方カメラ10の光軸と地表Gとの角度θは比較的大きく、また後方カメラ10には広い画角のレンズを用いているため、ダンプトラック1の下部の広範な領域が視野に含まれる。下部領域は視点変換処理を行った俯瞰画像であり、下部画像生成部23において広範な下部画像が生成される。
【0055】
従って、後方カメラ10Bの視野に含まれるダンプトラック1の下部画像をモニタ14の画面部15に表示することは可能である。そこで、本実施形態では、下部画像生成部23は視点変換部22から後方俯瞰画像32Bを取得する。そして、下部画像生成部23は、後方俯瞰画像32Bのうち、ダンプトラック1の下部の部分を下部画像として生成する。
【0056】
シンボル画像保持部24は、
図6に示すように、ダンプトラック1の形状を再現したシンボル画像31を保持している。同図の例では、シンボル画像31は前輪5や後輪6等が表示されており、また各カメラ10の取り付け位置も表示されている。シンボル画像保持部24は保持しているシンボル画像31を重畳処理部25に出力する。
【0057】
重畳処理部25はシンボル画像31のうち、下部画像に対応する領域を透過領域33としている。この透過領域33は図中においてハッチングで示された領域となる。後方カメラ10Bの取り付け位置や画角、光軸方向等は予め設定されているものであり、シンボル画像31のうち下部画像に対応する透過領域33は予め認識されている。従って、シンボル画像31の中で透過領域33の位置や範囲は定まっている。そして、下部画像(34とする)と透過領域33との位置や範囲は一致している。
【0058】
従って、重畳処理部25は、透過領域33を所定の透過率で透過させて、後方カメラ10Bが撮影した映像に基づく下部画像34を重畳(スーパーインポーズ)する。
図7は、その一例を示している。同図では、下部画像34に障害物S2が映し出されている。オペレータは、画面部15の下部画像34を視認することで、ダンプトラック1の下部、この場合はベッセル4の下部に障害物S2が存在することを認識することができる。これにより、オペレータは、シフトレバー29を操作して、ダンプトラック1を後進すると、後輪6と障害物S2とが干渉することを認識することができる。つまり、シフトレバー29を後進位置に変位させることが規制されることをオペレータは認識できる。
【0059】
前述したように、各カメラ10(後方カメラ10B、右方カメラ10R、左方カメラ10L)が撮影した映像を用いて視点変換処理をすることで、俯瞰画像表示を行う。これにより、ダンプトラック1の周辺の状況を一見して認識することができる。俯瞰画像表示は、仮想的に視点を上方に設定したときに、地表Gを見下ろす画像になっている。従って、本来であればベッセル4や運転室2等の構造物により、俯瞰画像表示では、ダンプトラック1の下部の画像は表示されない。
【0060】
しかし、後方カメラ10Bの視野にはダンプトラック1の下部が含まれている。従って、下部画像生成部23が下部画像34を生成して、重畳処理部25がシンボル画像31の透過領域33を透過させて下部画像34を合成することで、シンボル画像31の中にダンプトラック1の下部の画像の情報を持たせることができる。要するに、モニタ14の画面部15に表示されている画像としては、車体のシンボル画像31と、前方俯瞰画像32F,後方俯瞰画像32B及び左右の側方俯瞰画像32L,32Rからなる車体外の俯瞰画像と、俯瞰画像として表示される下部画像34とから構成される。しかも、シンボル画像31の一部分を透過領域33としている。これにより、オペレータはダンプトラック1の周辺の状況だけでなく、シンボル画像31の下部画像に基づいて、ダンプトラック1の下部の状況についても認識することができる。しかも、これは、もともと俯瞰画像表示をするための各カメラ10を利用しているため、格別に下部を撮影するための専用のカメラを設ける必要がない。
【0061】
図6や
図7に示すように、シンボル画像31の運転室2を再現した位置に方向アイコン35を配置している。方向アイコン35はオペレータの向きを示している。ここでは、方向を三角形の矢印で示している。この方向アイコン35はダンプトラック1の進行方向によって変化させるようにしてもよい。表示コントローラ17には車体コントローラ18から進行方向の情報が車体情報として入力されているため、進行方向に応じて三角形を回転させるようにしてもよい。例えば、ダンプトラック1を後進させる場合には、
図6の三角形の向きとは逆向きになる。
【0062】
ところで、画像合成部26は、シンボル画像31を中央の領域に配置して、放射状に形成される境界線L1乃至L4により区分けされた領域に各俯瞰画像32を配置して合成を行う。通常は、
図8に示すように、シンボル画像31が表示される方形の領域の4つの頂点(四隅)から放射状に境界線L1乃至L4を形成する。これは、
図2に示したように、各視野範囲VB、VF、VR、VLは部分的に重複しており、重複している領域を均等に分割するように境界線L1乃至L4を形成することが自然であり、また画像処理の点においても処理の簡略化を図れるためである。しかも、俯瞰画像32F,32B,32L,32Rは下部画像34と識別可能な表示態様により表示される。この識別可能な表示態様としては、車体を示すシンボル画像31の境界線で示されているが、これ以外にも、例えば透過領域33とそれ以外とで濃淡差を設けたり、いずれか一方に着色を施したりする等により識別可能な表示とすることもできる。
【0063】
図8に示すように、境界線L1とL2とにより形成される領域は後方カメラ10Bが撮影した画像により後方俯瞰画像32Bが表示される。このため、透過領域33のうち境界線L1とL2とに挟まれた領域には下部画像を表示することは可能である。一方、透過領域33のうち境界線L2から左側は左方カメラ10Lが撮影したカメラ画像に基づく画像が表示される領域である。同様に、透過領域33のうち境界線L1から右側は右方カメラ10Rが撮影したカメラ画像に基づく画像が表示される領域である。
【0064】
透過領域33のうち境界線L1から左側の領域は後方カメラ10Bの視野には含まれるが、右方カメラ10Rの視野には含まれない。同様に、透過領域33のうち境界線L2から右側の領域は後方カメラ10Bの視野には含まれるが、左方カメラ10Lの視野には含まれない。これにより、透過領域33には2つの死角33Dが生じる。これら2つの死角33Dは、右方カメラ10Rおよび左方カメラ10Lが透過領域33を視野に含まないために生じるものである。つまり、シンボル画像31を表示する方形の領域の四隅を基準として形成される境界線L1およびL2を用いると、死角33Dの部分には下部画像34は表示されなくなる。
【0065】
このため、本来なら、透過領域33の全領域に後方カメラ10Bに基づいた下部画像34を表示可能であるにもかかわらず、一部が死角33Dとなり、表示されなくなる。仮に、死角33Dに障害物S2が存在しているときには、後方カメラ10Bの視野には障害物S2が含まれているにもかかわらず、画面部15に表示されない。これにより、オペレータは障害物S2を認識することができない。そこで、この死角33Dの領域については、表示不能領域として、例えば黒塗り状態とする。
【0066】
そこで、本実施形態では、画像合成部26は、シンボル画像31を中心として、その周囲に各俯瞰画像32を合成するときに、基準点記憶部27から基準点P1乃至P4を読み出す。基準点P1乃至P4は、境界線L1乃至L4を形成するときに、シンボル画像31の外形のうち何れの位置を基準(始点)とするかを示している。
【0067】
図6および
図7にも示すように、シンボル画像31は基本的にダンプトラック1の形状を再現したキャラクタであり、予め作成されたものである。ただし、シンボル画像31の一部は透過領域33となっており、この透過領域33には下部画像34を重畳表示することが可能になっている。従って、シンボル画像31は透過領域33とそれ以外の領域(シンボル領域31A)とに分けることができる。このうち、シンボル領域31Aはシンボル画像31と同じく予め作成されたキャラクタであり、固定されたキャラクタである。一方、透過領域33はシンボル画像31の一部を構成しているものの、むしろ画像を表示するための領域であり、下部画像34により表示内容が変化する。
【0068】
このため、画像合成部26は、シンボル画像31を表示する領域が方形の場合、この方形の領域の四隅から境界線L1乃至L4を設定するのではなく、透過領域33に基づいて境界線L1乃至L4を設定する。ここでは、シンボル画像31のうち透過領域33とシンボル領域31Aとの境界の端部を基準として境界線L1およびL2を設定する。シンボル画像31の前方には透過領域33が存在していないため、シンボル画像31の方形の領域の角隅部から境界線L3およびL4を設定する。ただし、これは、シンボル領域31Aの角隅部から境界線L3およびL4を設定していることに等しい。
【0069】
境界線L1乃至L4は基準点P1乃至P4を基準として設定される。画像合成部26は基準点記憶部27から基準点P1乃至P4を読み出す。基準点P1乃至P4は、シンボル画像31のうち透過領域33を除外した領域、すなわちシンボル領域31Aの四隅に設定されている。透過領域33は予め認識されているため、基準点P1乃至P4も予め設定することができる。つまり、シンボル画像31の外形の何れの位置に基準点P1乃至P4を設定するかは予め認識されている。
【0070】
そして、画像合成部26は基準点P1乃至P4から境界線L1乃至L4を形成する。
図7に示すように、境界線L3およびL4はシンボル画像31の角隅部から形成されているが、境界線L1およびL2はシンボル画像31の角隅部ではなく、透過領域33とシンボル領域31Aとの境界の端部から形成される。
【0071】
透過領域33は後方カメラ10Bが撮影した映像に含まれる下部画像34のサイズによって決定される。従って、透過領域33は後方カメラ10Bが撮影している映像の視野に応じて決定されることになる。後方カメラ10Bに広角のレンズを用いることにより、広範囲を視野とすることができ、最大視野範囲が広くなる。この場合、下部画像34および透過領域33のサイズも大きくなる。ただし、
図8に示すように、後方カメラ10Bの視野を妨げるような構造物が存在している場合には、撮像不能な死角33Dの領域が存在して、当該構造物により後方カメラ10Bの視野が狭くなる。当該構造物としては主に後輪6がある。つまり、後輪6より前方は後方カメラ10Bの視野とすることが難しい。そこで、
図7に示すように、透過領域33とシンボル領域31Aとの境界の端部には後輪6の後端が位置している。従って、後輪6の後端から境界線L1およびL2を形成している。
【0072】
以上のようにして、画像合成部26は、基準点P1乃至P4を基準として、境界線L1乃至L4を設定して、境界線L1乃至L4およびシンボル画像31により区画形成される前後左右の各領域に各俯瞰画像32を合成する。境界線L1およびL2とシンボル画像31とにより区画形成される領域に後方俯瞰画像32Bが表示される。且つ、透過領域33の前方の角隅部から境界線L1およびL2が形成されているため、
図7に示すように、透過領域33の全領域に下部画像34を表示することができる。従って、下部画像34に表示されている障害物S2に基づいて、オペレータは明確に障害物S2の存在を認識することができる。
【0073】
以上において、後輪6の後端を基準として境界線L1およびL2を設定した場合を示したが、後輪6の後端以外の位置を基準として境界線を設定してもよい。同様に、透過領域33とシンボル領域31Aとの境界の端部を基準点P1およびP2として、境界線L1およびL2を設定しているが、
図8にあるように、基準点P1およびP2をシンボル画像31の前方または後方に移動させるようにしてもよい。この場合には、境界線L1およびL2の始点位置(基準点P1およびP2)も変化する。
【0074】
いずれにしろ、死角33Dとなっている領域は視野が得られていないので、この領域については、
図8に示すように、黒く塗り潰すようにして、画像が得られていない領域であることを認識できるようにする。ここで、基準点P1およびP2をシンボル画像31の後方に移動させることで、死角33Dの慮息を僅かなものとする。この場合には、基準点P1およびP2をシンボル画像31の後方に移動させてもよい。また、基準点P1およびP2を前方に移動させると、後方カメラ10Bの視野に含まれない領域も後方俯瞰画像32Bのための領域となるため、この場合も死角を生じることがある。ただし、この場合も、僅かな死角が許容される場合には、基準点P1およびP2を僅かに前方に移動させてもよい。
【0075】
要は、透過領域33に基づいて、境界線L1およびL2を設定することで、透過領域33に生じる死角33Dを最小限に抑制することができ、透過領域33の全領域に下部画像34を表示することができ、最大限に有効活用することができる。しかも、死角33Dとなる領域を他の領域と明確に識別可能な状態に表示することにより、オペレータの視認性という点では、最も良好な効果を得ることができる。
【0076】
また、
図6乃至
図8の例では、境界線L1乃至L4は画面部15の角隅部(四隅)まで形成されているが、角隅部以外の箇所まで形成するようにしてもよい。
図9はその一例を示している。同図に示すように、境界線L1およびL2は、画面部15の角隅部から離間した位置まで形成している。後方カメラ10Bが高画素且つ広角の場合には、後方カメラ10Bが撮影した後方俯瞰画像32Bを優先的に表示するようにしてもよい。この場合には、後方カメラ10Bの画角に応じて境界線L1およびL2を
図9のように形成してもよい。
【0077】
また、
図10に示すように、画面部15を2分割して、1つの分割領域15Aに合成して俯瞰画像を表示して、もう1つの分割領域15Bに後方カメラ10Bのカメラ画像(視点変換していない画像)を表示してもよい。後方カメラ10Bの視野範囲に障害物S2が存在していると、分割領域15Aの下部画像34に表示される。分割領域15Bは後方カメラ10Bのカメラ画像が表示されるため、オペレータが分割領域15Bを視認することで、障害物S2をより具体的に認識することができる。
【0078】
また、
図6乃至
図10の例では、画面部15の縦の画素数は横の画素数よりも大きい場合を説明したが、その逆であってもよい。つまり、画面部15は縦長でなく、横長としてもよい。
【0079】
前述したように、境界線L1およびL2は後輪6の後端を基準として設定している。これは、自走式産業機械がダンプトラック1の場合である。自走式産業機械がダンプトラック1ではなく、クローラ式油圧ショベルの場合には、クローラの後端を基準として、ホイール式油圧ショベルの場合には、後輪の後端を基準として境界線L1およびL2を設定する。要は、自走式産業機械を走行させる手段である走行体の後端を基準として境界線L1およびL2を設定することができる。
【0080】
ダンプトラック1の場合、後方カメラ10Bに画角の広いレンズを用いたとしても、後輪6が後方カメラ10Bの視野範囲を狭める場合がある。そこで、後方カメラ10Bの視野範囲を最大限活用するために、後方カメラ10Bをダンプトラック1のフレーム3の最後端に取り付ける。そして、後輪6よりも高い位置且つ後方に取り付けるようにしている。ただし、ベッセル4と後方カメラ10Bとが干渉しないようにする。
【0081】
後方カメラ10Bを後輪6よりも高い位置且つ後方に取り付けることで、後方カメラ10Bの視野範囲にダンプトラック1の下部の広範な領域を含ませることができ、且つ後輪6により後方カメラ10Bの視野が妨げられることもない。このため、透過領域33を最も広範な領域とすることができ、広範な領域の下部画像34を表示することができる。
【0082】
図11および
図12は、その一例を示している。
図11および
図12に示されるように、フレーム3の最後端にはリヤランプ41が取り付けられている。リヤランプ41はダンプトラック1の後方に照明光を供給するために設けている。リヤランプ41の上方には遮蔽板42が延出している。これは、リヤランプ41の光を後方カメラ10Bに映り込まないようにするために設けている。遮蔽板42の上部には支持台43が設けられており、支持台43に後方カメラ10Bが取り付けられている。
【0083】
図11および
図12から明らかなように、後方カメラ10Bは後輪6よりも高い位置且つ後方に取り付けることができる。これにより、後輪6が後方カメラ10Bの視野を妨げることがなくなり、広範な領域の下部画像34を表示することができる。オペレータは、この下部画像34により、良好にダンプトラック1の下部の状況を認識することができる。
【0084】
ところで、後方カメラ10Bを後輪6よりも高い位置且つ後方に取り付けるためには、例えばブラケット等を用いることにより、後方カメラ10Bを所望の位置に配置することもできる。ただし、ダンプトラック1は不整地を走行するものであり、走行時には激しい振動を伴う。従って、この場合には、後方カメラ10Bが撮影した映像に非常に大きなブレを生じる。
【0085】
そこで、
図11および
図12のように、フレーム3を基礎として後方カメラ10Bを固定する。フレーム3はダンプトラック1の基本を構成する枠組みであり、不整地を走行したときにも高い安定性を得ることができる。従って、後方カメラ10Bが撮影した映像のブレを少なくすることができ、安定的な撮影を行うことができる。
【0086】
次に、ダンプトラック1の走行操作による画像合成部26の処理について説明する。運転室2に搭乗したオペレータはシフトレバー29を操作して、ダンプトラック1を走行させる。前述したように、シフトレバー29は前進位置と中立位置と後進位置とがあり、シフトレバー29の位置によって、ダンプトラック1を走行させるか否か、および走行させる場合には走行方向が決定される。シフトレバー29がどの位置に入っているかの情報(シフトレバー位置情報)は車体コントローラ18に入力され、車体コントローラ18は車体情報としてシフトレバー位置情報を表示コントローラ17に出力する。
【0087】
重畳処理部25はシフトレバー位置情報を入力する。これにより、重畳処理部25はダンプトラック1の走行方向を認識する。重畳処理部25はシフトレバー位置情報、つまりシフトレバー29の位置に応じて、各透過領域33を透過させるか否かの制御を行う。
【0088】
シフトレバー29が後進位置に入ったときには、ダンプトラック1は後進する。この場合に、後方の透過領域33に障害物S2が存在しているときには、ダンプトラック1と干渉する。従って、この場合は、重畳処理部25は、ダンプトラック1が後進することを認識することにより、透過領域33Bを透過させて、下部画像34を合成させる画像処理を行う。従って、
図7のような画面が表示される。これにより、オペレータは、後進時に下部画像34を視認することにより、ダンプトラック1の下部後方の状況を認識することができる。
【0089】
以上は、自走式産業機械としてダンプトラック1を適用した例について説明したが、自走式産業機械としては、
図13に示す油圧ショベル50を適用することもできる。油圧ショベル50はクローラ式走行体を有する下部走行体51と、下部走行体51に対して旋回可能に連結した上部旋回体52とを有して構成している。上部旋回体52は、運転室53と作業手段54と建屋55とカウンタウェイト56とを有している。作業手段54はブーム57とアーム58とバケット59とにより構成される。以上は一般的な油圧ショベル50の構成である。
【0090】
油圧ショベル50には、前方カメラ60F、後方カメラ60B、右方カメラ60R、左方カメラ60L(図示せず)が取り付けられている。これらのカメラは、前述した前方カメラ10F、後方カメラ10B、右方カメラ10R、左方カメラ10Lと同じ目的で取り付けており、油圧ショベル50の周辺の状況を俯瞰表示するために設けている。また、前方カメラ60Fは運転室53の近傍に取り付けられており、後方カメラ60Bはカウンタウェイト56の下部に取り付けられている。右方カメラ60Rおよび左方カメラ60Lは建屋55に取り付けられている。
【0091】
カウンタウェイト56の下部に広範な空間が形成される。このとき、後方カメラ60Bは後方を撮影しているが、光軸が斜め下方であるため、カウンタウェイト56の下部が視野に含まれる。そこで、カウンタウェイト56の下部画像をシンボル画像に表示することで、前述したダンプトラック1の場合と同じ効果を得ることができる。