特許 6106430 作業機械の車体周囲表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6106430

(24)【登録日】2017年3月10日

(45)【発行日】2017年3月29日

(54)【発明の名称】作業機械の車体周囲表示装置

(51)【国際特許分類】

   E02F 9/26 20060101AFI20170316BHJP

   B60R 1/00 20060101ALI20170316BHJP

   H04N 7/18 20060101ALI20170316BHJP

   H04N 17/00 20060101ALI20170316BHJP

【ＦＩ】

   E02F9/26 B

   B60R1/00 A

   H04N7/18 J

   H04N17/00 200

【請求項の数】3

【全頁数】17

(21)【出願番号】特願2012-285890(P2012-285890)

(22)【出願日】2012年12月27日

(65)【公開番号】特開2014-125865(P2014-125865A)

(43)【公開日】2014年7月7日

【審査請求日】2014年11月14日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】古渡 陽一

(72)【発明者】

【氏名】稲野辺 慶仁

(72)【発明者】

【氏名】石本 英史

(72)【発明者】

【氏名】太田 守飛

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１０−２４４３２６（ＪＰ，Ａ）

【文献】 特開２０１２−１１２１０８（ＪＰ，Ａ）

【文献】 特開２０１１−０８５４０３（ＪＰ，Ａ）

【文献】 特開２０１１−２２８８５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｅ０２Ｆ ９／２６

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｈ０４Ｎ １７／００

(57)【特許請求の範囲】

【請求項1】

車体の前部、左側部、後部、及び右側部にそれぞれ配置され、前記車体の周囲を撮影する４つのカメラと、これらのカメラによって撮影された映像を表示する表示部とを備えた作業機械に設けられ、
前記各カメラによって撮影された前記映像を合成する映像合成部と、この映像合成部によって合成される前記映像に対して、前記カメラの取付位置から生じる取付位置誤差と前記カメラの取付角度から生じる取付角度誤差の補正値を算出するキャリブレーション部と、このキャリブレーション部によって算出された前記補正値を前記映像合成部によって合成される前記映像に反映させる処理を行う処理部とを備え、この処理部による処理が行われた前記映像を俯瞰映像として前記表示部に表示する作業機械の車体周囲表示装置において、
前記キャリブレーション部による前記補正値の算出に用いられ、前記４つのカメラの撮影範囲に配置された４つのキャリブレーションシートを備え、
これらのキャリブレーションシートは、複数の線から成り、前記処理部による処理が行われた前記俯瞰映像に映る前記各キャリブレーションシートの相互の重なりの程度が所定の範囲内にあるかどうかを判別する指標となる所定のパターンを形成するキャリブレーションマーカを有し、
前記４つのキャリブレーションシートのうち２つは、前記車体の前部側の前記カメラの側方に配置され、残りの２つは、前記車体の後部側の前記カメラの側方に配置され、
前記映像合成部は、地面より高い位置に設定された俯瞰合成面で前記各カメラによって撮影された前記映像を合成し、
前記各カメラの取付位置誤差及び取付角度誤差の補正は、前記各カメラで撮影された前記キャリブレーションシートを含む前記俯瞰映像を前記処理部の画面に映し出すとともに、前記画面に映し出された前記キャリブレーションマーカを基準点として指定することにより実行され、
前記画面に映し出された前記俯瞰映像のうち前記映像合成部の前記俯瞰合成面における前記各カメラの撮影範囲の境界線をマスク線、このマスク線に対して垂直な方向をラップ方向、前記マスク線に沿う方向をずれ方向と定義したとき、前記俯瞰映像の前記ラップ方向における前記各キャリブレーションシートの重なりの程度がラップ量として、重なり合う前記キャリブレーションマーカの前記ラップ方向への相対的な距離で表され、前記俯瞰映像の前記ずれ方向における前記各キャリブレーションシートの重なりの程度がずれ量として、重なり合う前記キャリブレーションマーカの前記ずれ方向への相対的な距離で表され、
前記所定の範囲として、前記各カメラの撮影範囲の境界部分にあるものが前記画面に重なって映るように前記ラップ量の範囲が予め設定され、前記車体の周りの前記各カメラの死角が抑えられるように前記ずれ量の範囲が予め設定され、
前記処理部は、前記画面に映し出された前記俯瞰映像における前記各キャリブレーションシートの前記ラップ量及び前記ずれ量が予め設定された範囲にそれぞれ収まるように、前記各カメラの前記取付位置誤差及び前記取付角度誤差の補正を行って、ラップ及びずれが調整された前記車体の周囲の前記俯瞰映像を、前記車体を示す車体アイコンと共に前記表示部に表示することを特徴とする作業機械の車体周囲表示装置。

【請求項2】

請求項１に記載の作業機械の車体周囲表示装置において、
前記キャリブレーションマーカは、
前記複数の線が交差して形成された交点を含むことを特徴とする作業機械の車体周囲表示装置。

【請求項3】

請求項１又は２に記載の作業機械の車体周囲表示装置において、
前記複数の線は複数の直線から成り、
前記所定のパターンは、
前記複数の直線で形成された複数の四角形と、
前記複数の直線で形成され、前記複数の四角形と交差する２本の線とを含み、
これらの２本の線の交点と前記複数の四角形の中心点とを共通にすることを特徴とする作業機械の車体周囲表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ダンプトラック等の作業機械の周囲を撮影して表示する作業機械の車体周囲表示装置に関する。

【背景技術】

【0002】

一般に、ダンプトラック及び油圧ショベル等の作業機械には、車体の周囲を撮影する複数のカメラが設けられており、これらのカメラによって撮影された映像はキャブ内の表示部に表示されるようになっている。これにより、キャブ内の作業者は表示部に映し出された映像を確認することにより、運転席に着座したまま車体の周囲の状況を知ることができるので、作業を安全に行うことができる。

【0003】

特に、ダンプトラック及び油圧ショベル等の作業機械は、構造上の理由等によりキャブ内の作業者にとって車体の周囲の視界が制限され易いので、作業者が表示部の映像から車体の周囲の状況を正確に把握できる技術がより重要となっている。このようなキャブ内の作業者の視界を補助する従来技術の１つとして、車体の後方を撮影する後方カメラと、車体の側方を撮影する側方カメラと、これらの後方カメラと側方カメラで撮影された映像を表示するディスプレー手段とを有する建設機械用モニター装置が知られている（例えば、特許文献１参照）。

【0004】

この従来技術の建設機械用モニター装置は、後方カメラによって撮影された撮像対象の正像をディスプレー手段の右側半部に表示し、側方カメラによって撮影された撮像対象の正像を左側半部に表示することにより、連続する画像を表示するようにしている。従って、例えば車体の後方に位置する物体が後方カメラの撮影範囲から側方カメラの撮影範囲に移動したときには、キャブ内の作業者は、表示部に表示された映像を後方カメラから側方カメラに切替えなくても、移動する物体が表示部の右側半部と左側半部で連続して表示されるので、このような車体の後方及び側方で車体に対して相対的に動く物体を表示部の映像から直感的に把握することができる。

【0005】

また、キャブ内の作業者の視界を補助する他の従来技術の１つとして、近年では車体に搭載された複数のカメラで車体の周囲を撮影し、撮影した映像を応用することで表示部に車体の上空から車体と周囲の状況を俯瞰した映像（以下、便宜的に俯瞰映像と呼ぶ）を表示させる車体周囲表示装置が提案されている。

【0006】

具体的には、この車体周囲表示装置が作業機械に設けられた場合には、例えば車体の各部分に複数のカメラが設けられており、これらのカメラで撮影された映像が所定の高さ位置の面（以下、便宜的に俯瞰合成面と呼ぶ）上で合成して表示部に表示され、作業機械を示す車体アイコンが合成された映像の中央位置に配置されるようになっている。

【0007】

従って、キャブ内の作業者は、表示部の映像から車体と周囲にある物体との位置関係も含めて車体の周囲の状況を把握することができる。これにより、例えばキャブ内の作業者が車体を後退させる際に、表示部の映像を見ながら車体を目的の位置に円滑に停止させることができる。また、油圧ショベルのように旋回可能な作業機械であれば、作業者は表示部の映像から車体の周囲に旋回動作を妨げるものがないことを迅速に確認することができる。

【0008】

ここで、複数の映像を合成して表示部に表示する際には、例えば特許文献２に示す従来技術の画像調整方法のように各映像が重なり合った部分における輝度を調整する等の各種の補正が行われるが、上述した車体周囲表示装置は、カメラの取付位置（例えば、ｘ、ｙ、ｚの位置座標で示される）から生じる取付位置誤差（予め設定した各カメラの取付位置と実際に取付けられた取付位置との差）とカメラの取付角度（例えば、ピッチ、ロール、ヨーで示される）から生じる取付角度誤差（予め設定した各カメラの取付角度と実際に取付けられた取付角度との差）により合成した映像にラップやずれが発生するので、カメラの取付位置誤差及び取付角度誤差を補正し、その補正値を算出するキャリブレーション部を備えている。

【0009】

このキャリブレーション部によって主に行われる各カメラの取付位置誤差及び取付角度誤差の補正は、例えば各カメラの撮影範囲に目印となるものを設置した後、各カメラで撮影された映像をキャリブレーション部に接続されたコンピュータ等の処理部に映し出し、処理部の映像中の目印を基準点に指定してライン（以下、便宜的にキャリブレーションラインと呼ぶ）を引くことにより実行される。そして、キャリブレーション部によって算出された補正値を反映させることにより、ラップやずれが抑えられた俯瞰映像を表示部に表示することができる。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２００９−７８６０号公報

【特許文献2】特開平８−２９４０７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

従来技術の車体周囲表示装置は、各カメラの取付位置誤差及び取付角度誤差を補正する際に通常、コンピュータ等の処理部上でキャリブレーションラインを引くための基準点を指定し易いように、処理部に映し出す映像を俯瞰映像に変換するようにしている。そのため、キャリブレーションラインを引くための基準点となる目印を各カメラで撮影し易いように車体の周囲に配置しても、その目印がカメラから離れた位置に設けられていれば、変換された俯瞰映像の解像度が十分に得られず、俯瞰映像中の画質が部分的に低下する。これにより、処理部上でキャリブレーションラインを引くための基準点を正確に指定できなくなるので、各カメラで撮影して合成された映像に対する補正の精度が低下することが問題となっている。

【0012】

特に、上述した特許文献２に開示された従来技術の画像調整方法は、例えば合成される映像のうち一方の画像の補正開始点、及び他方の画像の補正終了点にマークをそれぞれ表示するようにしているが、このマークは、映像が重なり合った部分における輝度を調整するときに映像が重なり合った部分と映像が重なり合っていない部分を目視で確認する手段として便宜的に用いられるものであり、カメラで撮影することによって映像に映し出されるものではないので、上述した各カメラの取付位置誤差及び取付角度誤差を補正する際に見られる俯瞰映像中の画質の低下が考慮されていない。従って、従来技術の画像調整方法のマークは、キャリブレーションラインを引くための基準点となる目印と用途が異なるので、従来技術の画像調整方法をカメラの取付位置誤差及び取付角度誤差の補正にそのまま適用することができない。

【0013】

本発明は、このような従来技術の実情からなされたもので、その目的は、車体の周囲を撮影して合成された映像に対し、カメラの取付位置誤差及び取付角度誤差の補正の精度を向上させることができる作業機械の車体周囲表示装置を提供することにある。

【課題を解決するための手段】

【0014】

上記の目的を達成するために、本発明の作業機械の車体周囲表示装置は、車体の前部、左側部、後部、及び右側部にそれぞれ配置され、前記車体の周囲を撮影する４つのカメラと、これらのカメラによって撮影された映像を表示する表示部とを備えた作業機械に設けられ、前記各カメラによって撮影された前記映像を合成する映像合成部と、この映像合成部によって合成される前記映像に対して、前記カメラの取付位置から生じる取付位置誤差と前記カメラの取付角度から生じる取付角度誤差の補正値を算出するキャリブレーション部と、このキャリブレーション部によって算出された前記補正値を前記映像合成部によって合成される前記映像に反映させる処理を行う処理部とを備え、この処理部による処理が行われた前記映像を俯瞰映像として前記表示部に表示する作業機械の車体周囲表示装置において、前記キャリブレーション部による前記補正値の算出に用いられ、前記４つのカメラの撮影範囲に配置された４つのキャリブレーションシートを備え、これらのキャリブレーションシートは、複数の線から成り、前記処理部による処理が行われた前記俯瞰映像に映る前記各キャリブレーションシートの相互の重なりの程度が所定の範囲内にあるかどうかを判別する指標となる所定のパターンを形成するキャリブレーションマーカを有し、前記４つのキャリブレーションシートのうち２つは、前記車体の前部側の前記カメラの側方に配置され、残りの２つは、前記車体の後部側の前記カメラの側方に配置され、前記映像合成部は、地面より高い位置に設定された俯瞰合成面で前記各カメラによって撮影された前記映像を合成し、前記各カメラの取付位置誤差及び取付角度誤差の補正は、前記各カメラで撮影された前記キャリブレーションシートを含む前記俯瞰映像を前記処理部の画面に映し出すとともに、前記画面に映し出された前記キャリブレーションマーカを基準点として指定することにより実行され、前記画面に映し出された前記俯瞰映像のうち前記映像合成部の前記俯瞰合成面における前記各カメラの撮影範囲の境界線をマスク線、このマスク線に対して垂直な方向をラップ方向、前記マスク線に沿う方向をずれ方向と定義したとき、前記俯瞰映像の前記ラップ方向における前記各キャリブレーションシートの重なりの程度がラップ量として、重なり合う前記キャリブレーションマーカの前記ラップ方向への相対的な距離で表され、前記俯瞰映像の前記ずれ方向における前記各キャリブレーションシートの重なりの程度がずれ量として、重なり合う前記キャリブレーションマーカの前記ずれ方向への相対的な距離で表され、前記所定の範囲として、前記各カメラの撮影範囲の境界部分にあるものが前記画面に重なって映るように前記ラップ量の範囲が予め設定され、前記車体の周りの前記各カメラの死角が抑えられるように前記ずれ量の範囲が予め設定され、前記処理部は、前記画面に映し出された前記俯瞰映像における前記各キャリブレーションシートの前記ラップ量及び前記ずれ量が予め設定された範囲にそれぞれ収まるように、前記各カメラの前記取付位置誤差及び前記取付角度誤差の補正を行って、ラップ及びずれが調整された前記車体の周囲の前記俯瞰映像を、前記車体を示す車体アイコンと共に前記表示部に表示することを特徴としている。

【0015】

このように構成した本発明は、キャリブレーションシートが複数のカメラの撮影範囲に配置されることにより、各カメラによってキャリブレーションシートが撮影されるので、各カメラの取付位置誤差及び取付角度誤差の補正において例えば、各カメラで撮影された映像をキャリブレーション部に接続されたコンピュータ等の処理部に映し出し、映像中のキャリブレーションシートにおけるキャリブレーションマーカを処理部上でキャリブレーションラインを引くための基準点として指定することができる。

【0016】

このとき、キャリブレーションラインを引くための基準点を指定し易いように処理部上の映像が俯瞰映像に変換され、仮にキャリブレーションマーカの一部が明確に表示されなくても、キャリブレーションマーカが線状に形成されていることにより、明確に表示されている部分の線を繋いだり、あるいは映し出された部分を辿ることで推測できるので、キャリブレーションマーカの形状を容易に把握することができる。従って、各カメラと各キャリブレーションシートとの位置に拘わらず、処理部上でキャリブレーションラインを引くための基準点を正確に指定できるので、車体の周囲を撮影して合成された映像に対し、カメラの取付位置誤差及び取付角度誤差の補正の精度を向上させることができる。
また、本発明は、映像合成部が各カメラで撮影された映像を合成すると、各カメラで撮影された映像中のキャリブレーションシートのキャリブレーションマーカが相互に重なることにより、処理部による処理が行われた映像に映る各キャリブレーションシートの重なりの程度を映像中の各キャリブレーションマーカの所定のパターンを参考にして判断することができる。これにより、各カメラの取付位置誤差及び取付角度誤差の補正が行われた映像におけるラップやずれの大きさを迅速に把握することができ、補正後の映像の確認作業を容易に行うことができる。

【0017】

また、本発明に係る作業機械の車体周囲表示装置は、前記発明において、前記キャリブレーションマーカは、前記複数の線が交差して形成された交点を含むことを特徴としている。このように構成すると、キャリブレーションマーカの交点を処理部上でキャリブレーションラインを引くための基準点として選択できるので、この基準点の指定を迅速に行うことができる。これにより、カメラの取付位置誤差及び取付角度誤差の補正を円滑に実行することができる。

【0020】

また、本発明に係る作業機械の車体周囲表示装置は、前記発明において、前記複数の線は複数の直線から成り、前記所定のパターンは、前記複数の直線で形成された複数の四角形と、前記複数の直線で形成され、前記複数の四角形と交差する２本の線とを含み、これらの２本の線の交点と前記複数の四角形の中心点とを共通にすることを特徴としている。

【0021】

このように構成した本発明は、各カメラで撮影された映像におけるキャリブレーションマーカの交差する２本の線と四角形を映像合成部で同一画面上に重ね合わせて相互に比較することにより、重なり合うキャリブレーションマーカの一方に対する他方の相対的な位置を測定できるので、処理部による処理が行われた映像の相互の重なりの程度が当初の予定通り所定の範囲内に収まっているか、すなわち補正が意図通りに完了したかどうかを正確に判別することができる。

【発明の効果】

【0022】

本発明の作業機械の車体周囲表示装置によれば、複数のカメラの撮影範囲に配置された複数のキャリブレーションシートを備え、これらのキャリブレーションシートにおけるキャリブレーションマーカが複数の線で形成されていることにより、カメラの取付位置誤差及び取付角度誤差を補正する際に、各カメラで撮影して変換された俯瞰映像の画質の低下をキャリブレーションマーカで十分に補うことができる。これにより、処理部上でキャリブレーションラインを引くための基準点を正確に指定できるので、車体の周囲を撮影して合成された映像に対し、カメラの取付位置誤差及び取付角度誤差の補正の精度を向上させることができ、従来よりも作業機械に対する高い信頼性を得ることができる。

【図面の簡単な説明】

【0023】

【図1】本発明に係る車体周囲表示装置の一実施形態が備えられる作業機械の一例として挙げたダンプトラックを示す側面図である。

【図2】本発明に係る作業機械の車体周囲表示装置の一実施形態の構成を示す図である。

【図3】本実施形態に係る映像合成部の俯瞰合成面を地面の高さ位置に設定した状態を説明する図である。

【図4】本実施形態に係る映像合成部の俯瞰合成面を地面より高い位置に設定した状態を説明する図である。

【図5】本実施形態に係るモニタの画面に表示された映像のうち各カメラの撮影範囲の境界部分を説明する図である。

【図6】本実施形態に係るキャリブレーションシートとダンプトラックの位置関係を説明する図である。

【図7】本実施形態に係るキャリブレーションマーカの構成を示す図である。

【図8】本実施形態に係るモニタの画面に表示された映像を示す図であり、（ａ）図は映像合成部によって合成される映像に対して補正が行われなかった場合の映像を示す図、（ｂ）図は映像合成部によって合成される映像に対して補正が行われた場合の映像を示す図である。

【図9】本実施形態に係る映像合成部によって合成される映像のラップ量及びずれ量を説明する図である。

【図10】図９に示す映像のラップ量の所定の範囲を説明する図である。

【図11】図９に示す映像のずれ量の所定の範囲を説明する図である。

【図12】図６に示すダンプトラックの左側部側のカメラによって撮影された映像を俯瞰映像に変換してパソコンに表示した図である。

【図13】図７に示すキャリブレーションシートのキャリブレーションマークの他の一例を示す図である。

【図14】図９に示す映像において図１３に示すキャリブレーションシートが重なり合ったときの一例を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明に係る作業機械の車体周囲表示装置を実施するための形態を図に基づいて説明する。

【0025】

本発明に係る車体周囲表示装置の一実施形態は、例えば図１に示すように作業機械としてダンプトラック１に設けられる。このダンプトラック１は、例えばフレーム５と、このフレーム５の前部の左右両端に回転可能にそれぞれ一輪ずつ設けられた前輪６と、フレーム５の後部の左右両端に回転可能にそれぞれ二輪ずつ設けられた後輪７とを備えている。また、ダンプトラック１は、フレーム５上に起伏可能に設けられ、土砂や砕石等の積荷を積載する荷台２を備えている。

【0026】

具体的には、ダンプトラック１は、フレーム５の後部に設けられたヒンジピン４と、フレーム５のうちヒンジピン４よりも前方、すなわち前輪６と後輪７との間に配置され、フレーム５と荷台２とを連結するホイストシリンダ３とを備え、ホイストシリンダ３が伸長することにより、荷台２を押し上げて起立させると共に、ホイストシリンダ３が収縮することにより、荷台２を支持しながら倒伏させるようになっている。

【0027】

従って、ダンプトラック１は、倒伏状態において荷台２に積載された土砂や砕石等の積荷を運搬した後、荷台２を倒伏状態から起立状態へ移行させることにより、荷台２を傾斜させて積荷を降ろしている。なお、ダンプトラック１は、図示されないが、ホイストシリンダ３へ圧油を供給する油圧ポンプと、この油圧ポンプに供給する作動油を貯蔵する作動油タンクとを備えており、油圧ポンプから供給される圧油によってホイストシリンダ３が伸縮するようになっている。

【0028】

さらに、ダンプトラック１は、荷台２の前方に配置され、フレーム５のうち前輪６側に設けられたキャブ８を備えており、前輪６の大きさはキャブ８の大きさよりも大きくなっている。従って、作業者が前輪６の上方に位置するキャブ８の入口まで上れるように作業者が踏台とするステップ、例えば梯子８ａがキャブ８の前側にかけられている。

【0029】

このように、ダンプトラック１の車体は大型であり、キャブ８内の作業者にとって車体の周囲の視界が制限され易いので、ダンプトラック１は、キャブ８内の作業者の視界を補助するために、例えば図２に示すように車体の周囲を撮影する４つのカメラ１１ａ〜１１ｄと、これらのカメラ１１ａ〜１１ｄによって撮影された映像を表示する表示部とを備えており、４つのカメラ１１ａ〜１１ｄは、例えば車体の前部の中央位置、車体の左側部のうち前部側、車体の後部の中央位置、及び車体の右側部のうち前部側にそれぞれ配置されている（図６参照）。

【0030】

表示部は、例えばキャブ８内に取付けられたモニタ１５から成り、このモニタ１５は、例えば各カメラ１１ａ〜１１ｄで撮影された映像、これらの映像を変換した俯瞰映像、及び後述するように各カメラ１１ａ〜１１ｄで撮影して合成された映像を映し出す画面１６と、この画面１６の電源をＯＮ状態又はＯＦＦ状態に切替える電源スイッチ１８と、この電源スイッチ１８がＯＮ状態のときに画面１６に映し出される映像を切替えるＵＰ・ＤＯＷＮスイッチ１４とを有している。なお、モニタ１５の画面１６に映し出された映像のうち後述する各カメラ１１ａ〜１１ｄで撮影して合成された映像の中央には、車体を示す車体アイコン１７が配置されている。

【0031】

本実施形態は、各カメラ１１ａ〜１１ｄで撮影された映像を取込み、電源スイッチ１８及びＵＰ・ＤＯＷＮスイッチ１４から受信した信号に応じて、画面１６の映像の切替動作を含むモニタ１５の動作を制御するＥＣＵ（エレクトリックコントロールユニット）１２を備えている。このＥＣＵ１２は、例えば図示されないが、各カメラ１１ａ〜１１ｄによって撮影された映像を合成する映像合成部と、この映像合成部によって合成される映像に対して、カメラ１１ａ〜１１ｄの取付位置から生じる取付位置誤差とカメラ１１ａ〜１１ｄの取付角度から生じる取付角度誤差の補正値を算出するキャリブレーション部とを有している。

【0032】

そして、本実施形態は、ＥＣＵ１２のキャリブレーション部によって算出された補正値を映像合成部によって合成される映像に反映させる処理を行う処理部を備え、処理した映像をモニタ１５の画面１６に表示するようにしている。本実施形態では、処理部は、例えば上述のＥＣＵ１２と、このＥＣＵ１２に接続されたパソコン１３とを含み、これらのＥＣＵ１２及びパソコン１３によって上述の処理が行われるようになっている。

【0033】

ここで、車体の周囲では、図３に示すように各カメラ１１ａ〜１１ｄの撮影範囲１１Ａ〜１１Ｄの境界部分のうち特に上部が死角となっており、この部分は各カメラ１１ａ〜１１ｄで撮影されないので、ＥＣＵ１２の映像合成部の俯瞰合成面Ｆが地面Ｇ１の高さ位置に設定され、映像合成部が各カメラ１１ａ〜１１ｄで撮影した映像を俯瞰合成面Ｆで合成した場合には、死角となった部分にあるものがモニタ１５の画面１６に映らなくなる。

【0034】

そこで、本実施形態では、図４に示すように映像合成部の俯瞰合成面Ｆを地面より高い位置、例えば地面から１ｍの高さ位置Ｇ２に設定し、映像合成部がこの位置Ｇ２で各カメラ１１ａ〜１１ｄで撮影した映像を合成するようにしている。これにより、図５に示すように、仮に人物３０が各カメラ１１ａ〜１１ｄの撮影範囲１１Ａ〜１１Ｄの境界部分に進入したとしても、映像合成部によって合成された映像に人物３０が重なって映るので、人物３０をモニタ１５の画面１６の映像から見分けることができる。このように、本実施形態は、各カメラ１１ａ〜１１ｄから死角となった部分にあるものをモニタ１５の画面１６に映るようにしている。

【0035】

さらに、本実施形態は、図６に示すようにキャリブレーション部による補正値の算出に用いられ、４つのカメラ１１ａ〜１１ｄの撮影範囲１１Ａ〜１１Ｄに配置された４つのキャリブレーションシート２１を備え、これらのキャリブレーションシート２１は、複数の線で形成されたキャリブレーションマーカ２１Ａを有している。このキャリブレーションマーカ２１Ａの複数の線は、例えば複数の直線から成っている。なお、各キャリブレーションシート２１は、例えば黒色の下地が用いられ、各キャリブレーションマーカ２１Ａは、例えばこの黒色の下地上に白色のテープが貼り付けられて描かれている。

【0036】

次に、キャリブレーションシート２１のキャリブレーションマーカ２１Ａの構成を図７に基づいて詳細に説明する。

【0037】

キャリブレーションシート２１のキャリブレーションマーカ２１Ａは、例えば図７に示すように５つの直線で形成された２つの正方形２１ａ，２１ｂを含み、これらの正方形２１ａ，２１ｂが並列して外枠が形成されるようになっている。また、キャリブレーションマーカ２１Ａの正方形２１ａ，２１ｂのうち一方の正方形２１ａは、例えば２本の対角線２１Ａ１が引かれ、３つの直線（正方形２１ａの隣接する２辺と対角線２１Ａ１）が交差してそれぞれ形成された４つの交点２１ａ１を含んでいる。すなわち、これらの各交点２２ａ１は、正方形２１ａの４つの頂点２１ａ１と一致している。

【0038】

また、キャリブレーションマーカ２１Ａは、処理部による処理が行われた映像に映る各キャリブレーションシート２１の相互の重なりの程度が所定の範囲内にあるかどうかを判別する指標となる所定のパターンを形成している。この所定のパターンは、例えば８つの直線で形成された２つの四角形２１ｃ，２１ｄと、２つの直線で形成され、２つの四角形２１ｃ，２１ｄと交差する２本の線２１Ａ１とを含み、これらの２本の線２１Ａ１の交点２１ａ２と２つの四角形２１ｃ，２１ｄの中心点２１ａ２とを共通にしている。

【0039】

また、２つの四角形２１ｃ，２１ｄは、例えば互いに相似の関係にあり、２本の線２１Ａ１に所定の間隔で直交しており、この所定の間隔は、例えば５００ｍｍに設定されている。本実施形態では、２つの四角形２１ｃ，２１ｄは外枠を形成する正方形２１ａ，２１ｂよりも小さい正方形から成り、２つの四角形２１ｃ，２１ｄの相似比は、例えば２：１となっている。

【0040】

すなわち、上述の２本の線２１Ａ１は外枠の正方形２１ａ，２１ｂの対角線２１Ａ１と一致しており、外枠の正方形２１ａが上述の四角形２１ｃ，２１ｄを内包し、さらにこの四角形２１ｃが四角形２１ｄを内包している。そして、これらの四角形２１ｃ，２１ｄは、正方形２１ａに対して中心点２１ａ２周りに４５度回転した状態で配置されている。

【0041】

次に、各カメラ１１ａ〜１１ｄで撮影して合成される映像の調整作業について詳細に説明する。

【0042】

まず、作業者はダンプトラック１の車体の周囲に配置するキャリブレーションシート２１を４つ用意し、図６に示すように車体を取り囲むように４つのキャリブレーションシート２１を地面上に配置する。例えば、作業者は４つのキャリブレーションシート２１のうち２つを、車体の前部側のカメラ１１ａの側方に配置し、残りの２つを、車体の後部側のカメラ１１ｃの側方に配置する。

【0043】

このとき、作業者は、各キャリブレーションシート２１の長手方向を車体の長手方向に沿って配置し、各キャリブレーションシート２１の外枠の正方形２１ａ，２１ｂのうちキャリブレーションマーカ２１Ａが付された正方形２１ａを他方の正方形２１ｂよりも車体から離れた位置に配置する。なお、車体よりも前方側の各キャリブレーションシート２１の間隔は、車体よりも後方側の各キャリブレーションシート２１の間隔と同じであり、車体よりも左側方側の各キャリブレーションシート２１の間隔は、車体よりも右側方側の各キャリブレーションシート２１の間隔と同じである。

【0044】

このようにして、車体よりも前方側の２つのキャリブレーションシート２１のうち左側のキャリブレーションシート２１は、車体の前部側のカメラ１１ａの撮影範囲１１Ａと車体の左側部側のカメラ１１ｂの撮影範囲１１Ｂに重複して配置され、車体よりも前方側の２つのキャリブレーションシート２１のうち右側のキャリブレーションシート２１は、車体の前部側のカメラ１１ａの撮影範囲１１Ａと車体の右側部側のカメラ１１ｄの撮影範囲１１Ｄに重複して配置されている。

【0045】

また、車体よりも後方側の２つのキャリブレーションシート２１のうち左側のキャリブレーションシート２１は、車体の後部側のカメラ１１ｃの撮影範囲１１Ｃと車体の左側部側のカメラ１１ｂの撮影範囲１１Ｂに重複して配置され、車体よりも後方側の２つのキャリブレーションシート２１のうち右側のキャリブレーションシート２１は、車体の後部側のカメラ１１ｃの撮影範囲１１Ｃと車体の右側部側のカメラ１１ｄの撮影範囲１１Ｄに重複して配置されている。

【0046】

次に、図２に示すように作業者は各カメラ１１ａ〜１１ｄを起動すると、これらのカメラ１１ａ〜１１ｄで撮影した映像がＥＣＵ１２内に取込まれる。ここで、仮にＥＣＵ１２が映像合成部で合成された映像をそのままモニタ１５の画面１６に表示した場合には、図８（ａ）に示すように各カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差が原因で画面１６上の映像にラップやずれが発生するので、作業者はＥＣＵ１２で取込んだ映像をパソコン１３の画面に映し出して各カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正を行うことにより、モニタ１５の画面１６に表示する映像を修正する。

【0047】

このとき、パソコン１３の画面には、各カメラ１１ａ〜１１ｄで撮影した映像がＥＣＵ１２を介して俯瞰映像に変換してから表示されるので、作業者は、パソコン１３を操作してパソコン１３の画面に映し出されたキャリブレーションマーカ２１Ａを基準点に指定して画面上でキャリブレーションラインを引き、各カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正を実行する。

【0048】

次に、ＥＣＵ１２のキャリブレーション部は各カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正値を算出する。そして、処理部は、この補正値を映像合成部によって合成される映像に反映させる処理を行う。次に、作業者は、補正値が反映された映像をパソコン１３の画面に映し出し、このパソコン１３の画面上の映像を確認することにより、映像に映る各キャリブレーションシート２１の重なりの程度が所定の範囲内にあるかどうかを判別する。

【0049】

具体的には、図９に示すようにパソコン１３の画面上に映し出された映像、すなわち俯瞰映像のうち映像合成部の俯瞰合成面Ｆにおける各カメラ１１ａ〜１１ｄの撮影範囲１１Ａ〜１１Ｄの境界線をマスク線、このマスク線に対して垂直な方向をラップ方向、マスク線に沿う方向をずれ方向と定義する。

【0050】

そして、図１０に示すように俯瞰映像のラップ方向における各キャリブレーションシート２１の重なりの程度をラップ量として、重なり合うキャリブレーションマーカ２１Ａのラップ方向への相対的な距離で表し、図１１に示すように俯瞰映像のずれ方向における各キャリブレーションシート２１の重なりの程度をずれ量として、重なり合うキャリブレーションマーカ２１Ａのずれ方向への相対的な距離で表している。従って、俯瞰映像において各キャリブレーションシート２１の重なりが完全に一致したときには、ラップ量とずれ量は０ｍｍになる。

【0051】

また、上述の所定の範囲として、例えば各カメラ１１ａ〜１１ｄの撮影範囲１１Ａ〜１１Ｄの境界部分にあるものがモニタ１５の画面１６に重なって映るようにラップ量の下限を５００ｍｍ以上に設定すると共に、ずれ量を考慮してラップ量の上限を１５００ｍｍ以下に設定する。さらに、例えばラップ量を考慮し、車体周りの各カメラ１１ａ〜１１ｄの死角が抑えられるようにずれ量を０ｍｍ以上１０００ｍｍ以下に設定する。

【0052】

このようにラップ量及びずれ量が設定され、カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差を補正した結果、パソコン１３の画面上に映し出された俯瞰映像における各キャリブレーションシート２１のラップ量とずれ量が上述のように設定した範囲にそれぞれ収まっていれば、作業者はカメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正が正確に完了したと判定する。

【0053】

そして、作業者は、パソコン１３を操作してＥＣＵ１２のキャリブレーション部によって算出された補正値を映像合成部で合成される映像に反映させることにより、図８（ｂ）に示すようにラップやずれが調整された車体の周囲の俯瞰映像が車体アイコン１７と共にモニタ１５の画面１６に表示される。

【0054】

一方、パソコン１３の画面上に映し出された俯瞰映像における各キャリブレーションシート２１のラップ量とずれ量が上述のように設定した範囲にそれぞれ収まっていなければ、作業者はカメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正が正確に完了していないと判定し、パソコン１３の画面上でキャリブレーションラインを引き直したり、あるいは各カメラ１１ａ〜１１ｄの取付位置や取付角度を調整することにより、カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正を再度実行して補正が正確に完了したと判定できるまで繰り返す。

【0055】

このように構成した本実施形態によれば、ＥＣＵ１２の映像合成部で合成される映像に対する各カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正において、作業者がパソコン１３の画面上でキャリブレーションラインを引くための基準点を指定する際に、各カメラ１１ａ〜１１ｄで撮影されたキャリブレーションシート２１がパソコン１３の画面に俯瞰映像として映し出される。このとき、例えば図１２に示すように車体の左側部側のカメラ１１ｂの撮影範囲１１Ｂにある２つのキャリブレーションシート２１のうちカメラ１１ｂから遠方側のキャリブレーションシート２１の映像Ｈがぼやけて明確に映っていなくても、このキャリブレーションシート２１のキャリブレーションマーカ２１Ａのうち映像Ｈから把握できる部分を繋ぐことにより、キャリブレーションマーカ２１Ａをパソコン１３の画面上で表現することができる。

【0056】

特に、本実施形態では、パソコン１３の画面において黒色の背景に白色のキャリブレーションマーカ２１Ａが浮かび上がるように映るので、キャリブレーションマーカ２１Ａの直線が見え易くなっており、キャリブレーションマーカ２１Ａを明確に区別することができる。これにより、キャリブレーションラインを引くための基準点を容易に指定することができる。

【0057】

このように、パソコン１３の画面に映し出された俯瞰映像の画質の低下を十分に補うことができるので、各カメラ１１ａ〜１１ｄと各キャリブレーションシート２１との位置に拘わらず、パソコン１３の画面上でキャリブレーションラインを引くための基準点を正確に指定することができる。従って、車体の周囲を撮影して合成された映像に対し、カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正の精度を向上させることができるので、ダンプトラック１に対する高い信頼性を得ることができる。

【0058】

また、本実施形態は、キャリブレーションマーカ２１Ａは、３つの直線（正方形２１ａの隣接する２辺と対角線２１Ａ１）が交差して形成された交点２１ａ１、すなわち正方形２１ａの４つの頂点２１ａ１をそれぞれ含むことにより、これらの交点２１ａ１をパソコン１３の画面上でキャリブレーションラインを引くための基準点として選択できるので、この基準点の指定を迅速に行うことができる。これにより、カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正を円滑に実行することができる。

【0059】

また、本実施形態は、処理部による処理が行われてパソコン１３の画面に映し出される映像には、図１０、図１１に示すように各カメラ１１ａ〜１１ｄで撮影されたキャリブレーションシート２１のキャリブレーションマーカ２１Ａが相互に重なっているので、合成された映像のラップ量とずれ量に応じてキャリブレーションマーカ２１Ａの所定のパターンの見え方が異なる。そのため、作業者は、この所定のパターンの見え方の違いから合成された映像のラップやずれの大きさを迅速に把握することができる。これにより、各カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正が行われた後の映像の確認作業が簡単になるので、モニタ１５の画面１６に表示する映像の調整作業の効率性を高めることができる。

【0060】

また、本実施形態は、パソコン１３の画面上において重なり合うキャリブレーションマーカ２１Ａを相互に比較する際に、これらのキャリブレーションマーカ２１Ａの交差する２本の対角線２１Ａ１を軸に各四角形２１ｃ，２１ｄの辺を目盛りとして用いることにより、この目盛りからキャリブレーションシート２１同士の重なりの程度を読取ることができるので、処理部による処理が行われた映像のラップ量とずれ量を容易に測定することができる。

【0061】

従って、処理部による処理が行われた映像に映る各キャリブレーションシート２１の相互の重なりの程度が当初の予定通り所定の範囲内に収まっているか、すなわちラップ量が５００ｍｍ以上１５００ｍｍ以内、かつずれ量が０ｍｍ以上１０００ｍｍ以内にあるかどうかを正確に判別することができ、カメラ１１ａ〜１１ｄの取付位置誤差及び取付角度誤差の補正の精度を十分に向上させることができる。これにより、例えば各カメラ１１ａ〜１１ｄの撮影範囲１１Ａ〜１１Ｄの境界部分の死角に進入した人物等をモニタ１５の画面１６上に確実に映すことができるので、優れた安全性を実現することができる。

【0062】

また、本実施形態は、キャリブレーションシート２１のキャリブレーションマーカ２１Ａが並列する２つの正方形２１ａ，２１ｂを含むことにより、全体として長方形の外枠が形成されているので、図６に示すようにキャリブレーションシート２１の配置場所が車体の前後方向において離れていても、各キャリブレーションマーカ２１Ａの正方形２１ａ，２１ｂの辺同士をメジャー等で合わせるだけで各キャリブレーションシート２１の長手方向を車体の長手方向に沿って的確に配置することができる。

【0063】

なお、本実施形態は、作業機械がダンプトラック１から成る場合について説明したが、この場合に限らず、作業機械は油圧ショベル等から成っていても良い。

【0064】

また、本実施形態は、キャリブレーションシート２１は、複数の直線で形成されたキャリブレーションマーカ２１Ａを有する場合について説明したが、この場合に限らず、例えば図１３に示すように、キャリブレーションマーカ３１は、複数の曲線で形成されたキャリブレーションマーカ３１Ａを有しても良い。この場合も、図１４に示すように処理部による処理が行われた映像に映る各キャリブレーションシート３１の重なりの程度を映像中の各キャリブレーションマーカ３１Ａの所定のパターンを参考にして判断できるので、上述したのと同様の作用効果を得ることができる。

【符号の説明】

【0065】

１ ダンプトラック
２ 荷台
３ ホイストシリンダ
４ ヒンジピン
５ フレーム
６ 前輪
７ 後輪
８ キャブ
８ａ 梯子
１１Ａ〜１１Ｄ 撮影範囲
１１ａ〜１１ｄ カメラ
１２ ＥＣＵ
１３ パソコン
１４ ＵＰ・ＤＯＷＮスイッチ
１５ モニタ
１６ 画面
１７ 車体アイコン
１８ 電源スイッチ
２１，３１ キャリブレーションシート
２１Ａ，３１Ａ キャリブレーションマーカ
２１Ａ１ 対角線（２本の線）
２１ａ，２１ｂ 正方形
２１ａ１，２１ａ２ 交点
２１ｃ，２１ｄ 四角形
３０ 人物

【図1】

【図2】

【図3】

【図4】

【図6】

【図7】

【図10】

【図11】

【図13】

【図14】

【図5】

【図8】

【図9】

【図12】