特許 6746303 ショベル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6746303

(24)【登録日】2020年8月7日

(45)【発行日】2020年8月26日

(54)【発明の名称】ショベル

(51)【国際特許分類】

   E02F 9/26 20060101AFI20200817BHJP

   E02F 9/24 20060101ALI20200817BHJP

   H04N 7/18 20060101ALI20200817BHJP

【ＦＩ】

   E02F9/26 A

   E02F9/24 B

   H04N7/18 J

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2015-235134(P2015-235134)

(22)【出願日】2015年12月1日

(62)【分割の表示】特願2011-272741(P2011-272741)の分割

【原出願日】2011年12月13日

(65)【公開番号】特開2016-65449(P2016-65449A)

(43)【公開日】2016年4月28日

【審査請求日】2015年12月7日

【審判番号】不服2018-10890(P2018-10890/J1)

【審判請求日】2018年8月8日

(73)【特許権者】

【識別番号】502246528

【氏名又は名称】住友建機株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】泉川 岳哉

【合議体】

【審判長】 森次 顕

【審判官】 秋田 将行

【審判官】 土屋 真理子

(56)【参考文献】

【文献】 特開２００８−１７９９４０（ＪＰ，Ａ）

【文献】 特開２０１０−２０４８２１（ＪＰ，Ａ）

【文献】 特開２００５−１８８１６０（ＪＰ，Ａ）

【文献】 特開２００７−０８５０９１（ＪＰ，Ａ）

【文献】 特開２０１１−０２８７２９（ＪＰ，Ａ）

【文献】 特開２０１０−０７６７６５（ＪＰ，Ａ）

【文献】 特開２０１０−０１８１０２（ＪＰ，Ａ）

【文献】 特開２００９−１２１０５３（ＪＰ，Ａ）

【文献】 特開２００８−３１２００４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００４４５０５（ＵＳ，Ａ１）

【文献】 国際公開第２０１１／０１３８１３（ＷＯ，Ａ１）

【文献】 特開２００３−０６１０８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

E02F 9/24

E02F 9/26

H04N 7/18

B60R21/00

(57)【特許請求の範囲】

【請求項1】

走行動作を行う下部走行体と、
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、
前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、
前記アームに取り付けられ、前記アタッチメントに含まれるバケットと、
前記上部旋回体の左側面、右側面、及び後面の３箇所に搭載される撮像手段と、
前記撮像手段の撮像画像から出力画像を生成する制御手段と、
前記上部旋回体に搭載される運転室と、
前記運転室内に設置される表示手段と、を有するショベルであって、
前記撮像手段は、隣り合う撮像手段の撮像範囲が重複する重複領域が前記上部旋回体の左後方及び右後方の２方向に形成されるように配置され、
前記制御手段は、前記隣り合う撮像手段のそれぞれの撮像画像を合成して前記重複領域に対応する出力画像部分を生成し、前記上部旋回体の周囲の画像に対し、前記上部旋回体の輪郭端部から予め設定されている固定された距離だけ離れた位置に表示されるガイドラインを設定し、
前記表示手段には、中央部に前記ショベルを真上から見下ろす形態にイメージ画像を配置し、かつ、前記イメージ画像の後方、左右両側方、及び、前記２方向に形成された前記重複領域に対応する出力画像部分を含む前記周囲の画像上に、前記ガイドラインが前記イメージ画像の後方、左右両側方、及び、前記重複領域に対応する出力画像部分にわたって連続的に画面に表示されることを特徴とするショベル。

【請求項2】

走行動作を行う下部走行体と、
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、
前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、
前記アームに取り付けられ、前記アタッチメントに含まれるバケットと、
前記上部旋回体の左側面、右側面、及び後面の３箇所に搭載される撮像手段と、
前記撮像手段の撮像画像から出力画像を生成する制御手段と、
前記上部旋回体に搭載される運転室と、
前記運転室内に設置される表示手段と、を有するショベルであって、
前記撮像手段は、隣り合う撮像手段の撮像範囲が重複する重複領域が前記上部旋回体の左後方及び右後方の２方向に形成されるように配置され、
前記制御手段は、前記隣り合う撮像手段のそれぞれの撮像画像を合成して前記重複領域に対応する出力画像部分を生成し、前記上部旋回体の周囲の画像に対し、前記上部旋回体の輪郭端部から予め設定されている固定された距離だけ離れた位置に表示される複数のガイドラインを設定し、
前記表示手段には、中央部に前記ショベルを真上から見下ろす形態にイメージ画像を配置し、かつ、前記イメージ画像の後方、左右両側方、及び、前記２方向に形成された前記重複領域に対応する出力画像部分を含む前記周囲の画像上に、複数の前記ガイドラインが前記イメージ画像の後方、左右両側方、及び、前記重複領域に対応する出力画像部分にわたって連続的に画面に表示されることを特徴とするショベル。

【請求項3】

走行動作を行う下部走行体と、
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、
前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、
前記アームに取り付けられ、前記アタッチメントに含まれるバケットと、
前記上部旋回体の左側面、右側面、及び後面の３箇所に搭載される撮像手段と、
前記撮像手段の撮像画像から出力画像を生成する制御手段と、
前記上部旋回体に搭載される運転室と、
前記運転室内に設置される表示手段と、を有するショベルであって、
前記撮像手段は、隣り合う撮像手段の撮像範囲が重複する重複領域が前記上部旋回体の左後方及び右後方の２方向に形成されるように配置され、
前記制御手段は、前記隣り合う撮像手段のそれぞれの撮像画像を合成して前記重複領域に対応する出力画像部分を生成し、前記上部旋回体の周囲の画像に対し、前記上部旋回体の輪郭端部から予め設定されている固定された距離だけ離れた位置に表示されるガイドラインを設定し、
前記表示手段には、中央部に前記ショベルを真上から見下ろす形態にイメージ画像を配置し、かつ、前記イメージ画像の後方、左右両側方、及び、前記２方向に形成された前記重複領域に対応する出力画像部分を含む前記周囲の画像上に、前記ガイドラインが前記イメージ画像の後方、左右両側方、及び、前記重複領域に対応する出力画像部分にわたって連続的に画面に表示され、
前記ガイドラインは、前記イメージ画像の左右両側方で直線的に生成されることを特徴とするショベル。

【請求項4】

前記ガイドラインは、前記イメージ画像の左右両側方で直線的に、後方で曲線に形成される請求項１乃至３の何れか１項に記載のショベル。

【請求項5】

前記ガイドラインは、前記上部旋回体の輪郭形状に相似する形状となるように生成されることを特徴とする請求項１乃至請求項４の何れか１項に記載のショベル。

【請求項6】

前記上部旋回体の周囲の照度を検出する照度検出手段を有し、
前記照度検出手段により得られる照度に対応させて、前記ガイドラインの色情報を設定することを特徴とする請求項１乃至５の何れか１項に記載のショベル。

【請求項7】

前記ガイドラインは、少なくとも２つの色情報を有することを特徴とする請求項１乃至６の何れか１項に記載のショベル。

【請求項8】

前記制御手段は、前記撮像手段により得られる前記周囲の画像の平均輝度を取得し、取得された平均輝度に基づいて、前記ガイドラインを合成する位置の画像の輝度を調整して、前記２つの色情報を有するガイドラインを生成することを特徴とする請求項７に記載のショベル。

【請求項9】

前記撮像手段により撮影された画像中の前記ガイドラインを合成する位置の画像の色情報は、色相、彩度、明度、輝度の少なくとも１つを含み、
前記制御手段は、前記色相、彩度、明度、輝度の少なくとも１つの色情報を調整して、
前記２つの色情報を有するガイドラインを生成することを特徴とする請求項７に記載のショベル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ショベルに関する。

【背景技術】

【0002】

従来の油圧ショベル等の建設機械は、一般的な自動車等と比較して大型であり、また特有の形状を有しているため、特に建設機械の周囲に死角ができ易い。そのため、建設機械の周囲において建設機械の誘導や作業状況の管理を行う周囲作業者がいる場合や、木や壁等の障害物等があるような現場においては、より広い視界を確保することが必要となる。

【0003】

そこで、従来では、建設機械の周囲の視界領域を広げて安全を確保するため、建設機械の運転席から直接視認しにくい建設機械の後方領域にカメラ等を設置し、そのカメラで撮影された後方視野画像を運転席のモニタ上に表示する技術が知られている（例えば、特許文献１参照）。

【0004】

なお、特許文献１に示す手法では、モニタ画面にカメラからの画像に重ね合わせるようにして、距離表示ラインとしての目盛り（ガイドライン）が表示されるように設定している。また、この目盛りは、カメラを設置した建設機械の上部旋回体の旋回中心を中心とする円弧状のラインである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−１８８１６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上述した従来技術における画面に表示される目盛り等のガイドラインは、建設機械の進行方向や、機械との距離を目安として表示されており、ガイドラインを表示する場合は、白や緑、赤等の単色の線で表示されていた。

【0007】

しかしながら、建設機械は、様々な作業現場で使用され、例えば産業廃棄物処理場等では周囲に様々な物が散乱している等、作業現場の周囲環境が多岐に亘る。

【0008】

本発明は、上述した問題点に鑑みなされたものであり、どのような環境下においても、周囲の画像と共に表示されるガイドラインを認識させるショベルを提供することを目的とする。

【課題を解決するための手段】

【0009】

上述の目的を達成するために、本発明は、走行動作を行う下部走行体と、前記下部走行体に旋回自在に搭載される上部旋回体と、前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、前記アームに取り付けられ、前記アタッチメントに含まれるバケットと、前記上部旋回体の左側面、右側面、及び後面の３箇所に搭載される撮像手段と、前記撮像手段の撮像画像から出力画像を生成する制御手段と、前記上部旋回体に搭載される運転室と、前記運転室内に設置される表示手段と、を有するショベルであって、前記撮像手段は、隣り合う撮像手段の撮像範囲が重複する重複領域が前記上部旋回体の左後方及び右後方の２方向に形成されるように配置され、前記制御手段は、前記隣り合う撮像手段のそれぞれの撮像画像を合成して前記重複領域に対応する出力画像部分を生成し、前記上部旋回体の周囲の画像に対し、前記上部旋回体の輪郭端部から予め設定されている固定された距離だけ離れた位置に表示されるガイドラインを設定し、前記表示手段には、中央部に前記ショベルを真上から見下ろす形態にイメージ画像を配置し、かつ、前記イメージ画像の後方、左右両側方、及び、前記２方向に形成された前記重複領域に対応する出力画像部分を含む前記周囲の画像上に、前記ガイドラインが前記イメージ画像の後方、左右両側方、及び、前記重複領域に対応する出力画像部分にわたって連続的に画面に表示されることを特徴とする。

【0010】

なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、例えば、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、どのような環境下においても、周囲の画像と共に表示されるガイドラインを認識させることができる。

【図面の簡単な説明】

【0012】

【図1】建設機械の概略構成例を示す図である。

【図2】建設機械における周囲画像表示装置の第１の実施例を示す図である。

【図3】本実施形態における周囲画像表示処理手順の一例を示すフローチャートである。

【図4】第１の実施例におけるモニタ画面例を示す図である。

【図5】建設機械における周囲画像表示装置の第２の実施例を示す図である。

【図6】第２の実施例におけるガイドラインの一例を示す図である。

【図7】建設機械における周囲画像表示装置の第３の実施例を示す図である。

【発明を実施するための形態】

【0013】

＜本発明について＞
本発明は、例えば建設機械の周囲画像（単に画像だけでなく、映像も含む）を表示する表示装置において、予め所定の場所に設置されたカメラ（撮像手段）等により、建設機械の所定の周囲の領域の画像を撮影して表示する際、その表示画面に対して、例えば色情報の異なる少なくとも２つの色を用いたガイドラインを生成して表示する。なお、生成されるガイドラインとしては、例えば白と黒のラインが交互に現れるような白黒ラインで表現することができる。

【0014】

また、従来技術におけるカメラ画像上のガイドラインは、画像の上に重ねて表示するため、ガイドラインに隠れて見ることができない背景部分が存在する。そこで、本発明では、例えば、ガイドラインを形成する少なくとも２つの色情報（例えば、白、黒）のうちの少なくとも１つ（例えば、白色）を、そのガイドラインが表示される元画像の背景部分の輝度を上げて半透明にして白く表示させることができる。また、本発明では、黒色のラインについても同様に、そのガイドラインが表示される元画像の背景部分の輝度を下げて半透明にして黒く表示させることができる。これにより、本発明では、ガイドラインを表示することで、その下の背景画像を隠すことなく、元画像の視認性を向上させることができる。なお、上述したように半透明にする色情報は、１色でもよく複数色でもよい。

【0015】

以下に、本発明における建設機械を好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、建設機械の一例として油圧ショベルの例を用いて説明するが、本発明においてはこれに限定されるものではなく、例えば油圧クレーン、ホイールローダ、ブルドーザ、フォークリフト等の各種建設機械等であってもよい。

【0016】

＜建設機械の概略構成例＞
まず、本実施形態における建設機械の概略構成例について図を用いて説明する。図１は、建設機械の概略構成例を示す図である。なお、本実施形態では、図１（Ａ）に示すように、例えば建設機械１０の運転席１１から死角となる周囲領域を撮影して画像（単に画像だけでなく、映像も含む）を取得するカメラ（撮像手段）１２が少なくとも１つ設けられている。具体的には、図１（Ｂ）に示すように、建設機械１０の後方（リア）と両側方（サイド）にカメラ１２−１〜１２−３（以下、必要に応じて「カメラ１２」と総称する）が設けられているが、本発明においてはこれに限定されるものではない。例えば、カメラ１２は、後方に１台だけであってもよい。また、本実施形態では、カメラ１２を建設機械１０に設けずに、建設機械１０の死角を撮影できる外部の場所に設置されていてもよい。

【0017】

ここで、各カメラ１２−１〜１２−３は、例えば非同期のＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）カラーカメラ等を用いることができるが、本発明においてはこれに限定されるものではない。また、カメラ１２は、撮影方向によって明るさが異なる環境になっても、ある程度の明るさの均一性を有するために、個別のオートゲインコントロールを有していてもよい。また、カメラ１２は、例えば薄暮や夜間等でも視界を確保するため、高感度のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサを有していてもよい。

【0018】

本実施形態では、各カメラ１２−１〜１２−３から得られる画像を、それぞれのカメラ１２の設置位置と画角等の関係から図１（Ｂ）に示すように建設機械１０の接地面に投影して合成する。そのため、各カメラ１２−１〜１２−３は、例えば図１（Ａ）に示すように、ＣＣＤ面を地面方向に所定の角度θだけ傾けて設置される。これにより、建設機械１０の接地面が、表示対象平面になる（図１（Ａ））。

【0019】

また、本実施形態では、画像合成時に、図１（Ｂ）に示すように、カメラ１２−１から得られる画像とカメラ１２−２から得られる画像の重複領域、及び、カメラ１２−１から得られる画像とカメラ１２−３から得られる画像の重複領域が存在する。このような重複領域については、既知の手法を用いて重複領域に位置する物体（例えば、障害物等）が合成画像上から消失しないようにする画像境界処理を行う。

【0020】

これにより、本実施形態では、建設機械１０の周囲状況を、画像を切り替えることなく、建設機械１０と上述した周囲作業者や障害物との位置関係を把握し易い映像で運転席１１内の周囲画像表示装置に表示させることができる。

【0021】

なお、カメラ１２の設置方法としては、例えば建設機械１０にカメラ１２を設置する場合、カメラ１２本体が建設機械１０から突出することがないこと、作業中の振動や衝撃等で姿勢が変化しにくいこと、油圧ショベル等の機能性や外観を著しく損なわないこと等が条件となる。なお、本実施形態では、カメラ映像上での障害物等の見え方を均等にするため、可能な限り左右対象の配置とし、撮影方向の偏りなく設置する。

【0022】

ここで、カメラ１２の設置時におけるカメラ姿勢の一例について説明する。まず、カメラ１２の仰角（上下首振り）は、カメラ１２直下の路面から、カメラ１２の高さ程度の大型障害物までを共に視野範囲内とするため、全てのカメラ１２−１〜１２−３で鉛直下方より約５５度程度に設定した。なお、実際には、視野下端に建設機械１０の一部が映りこむため、路面上で建設機械１０の近傍の約３０〜４０ｃｍ程度までは視野範囲外となる。

【0023】

また、カメラ１２の方位角（左右首振り）は、撮影方向の対称性を重視し、全てのカメラ１２−１〜１２−３を建設機械１０本体端面と直交させ、約９０度間隔での設置とした。なお、本発明においては、これに限定されるものではなく、例えば大型の建設機械１０で左右前方に死角が生じる場合には、側方カメラ１２−２，１２−３をやや前方に向けて設置することができる。

【0024】

また、カメラ１２の回転角（光軸周りの回転）は、全てのカメラ１２−１〜１２−３で常に０度とした。本実施形態では、周囲画像表示装置において、上述したようにカメラ１２から所定の時間間隔で得られる画像又は連続して得られる画像又は映像に対して、ガイドラインを合成して、例えばモニタ等の表示手段に表示する。

【0025】

なお、本実施形態では、運転席１１の上部に、建設機械の周囲の照度を測定する照度センサ（照度検出手段）１３を設けていてもよい。本実施形態では、照度センサ１３を用いることで、カメラ１２により撮影された画像に合成するガイドラインの内容を調整することができる。また、上述した建設機械１０に対するカメラ１２や照度センサ１３の設置位置や数等については、本発明においてはこれに限定されるものではない。

【0026】

＜周囲画像表示装置：機能構成例＞
次に、上述した建設機械１０の周囲画像表示装置について、図を用いて具体的に説明する。

【0027】

＜第１の実施例＞
図２は、建設機械における周囲画像表示装置の第１の実施例を示す図である。図２に示す表示装置２０は、画像合成手段２１と、ガイドライン設定手段２２と、ガイドライン生成手段２３と、表示手段２４とを有するよう構成されている。

【0028】

画像合成手段２１は、上述した図１に示すカメラ１２−１〜１２−３から得られる画像を合成する。なお、本実施形態においては、これに限定されるものではなく、例えば各カメラ１２−１〜１２−３から得られたそれぞれの画像を合成せずに後段の処理に出力してもよく、また全ての画像を合成せず、選択された２以上の画像のみを合成するようにしてもよい。画像合成手段２１は、合成された画像をガイドライン生成手段２３に出力する。

【0029】

なお、画像合成手段２１は、各カメラ１２−１〜１２−３から得られたそれぞれの画像の平均輝度を求め、求めたそれぞれの平均輝度の差に基づいて、合成後の各画像の明るさ（輝度）にばらつきがでないように調整することができる。これにより、本実施形態では、操作者がより見やすい合成画像を生成することができる。

【0030】

ガイドライン設定手段２２は、画像合成手段２１により得られる画像に対して表示させるガイドラインの設定を行う。なお、ガイドラインは、例えば建設機械１０からの距離の基準となるラインや、安全区域と危険区域との境目となるライン等を意味するが、本発明においてはこれに限定されるものでない。

【0031】

したがって、ガイドライン設定手段２２は、上述したガイドラインをどのような位置に表示させるかを設定する。具体的には、例えば建設機械１０の輪郭端部からの距離（例えば、５ｍ等）、又は、建設機械１０或いは運転席１１の中心から、建設機械の輪郭形状に相似させて拡大させたときの拡大率（例えば、２００％）等を設定することができる。

【0032】

更に、ガイドライン設定手段２２は、機種毎にガイドラインを表示させる距離が予め設定されている場合には、その周囲画像表示装置２０が設置された建設機械の機種情報を設定する。これにより、本実施形態では、例えば機種Ａを設定すれば建設機械１０の輪郭端部から約１．５ｍが設定され、機種Ｂを設定すれば建設機械１０の輪郭端部から約３．０ｍが設定される。なお、ガイドラインをどのような位置に表示させるかの設定手法については、上述した内容に限定されるものではない。

【0033】

また、ガイドライン設定手段２２は、例えばガイドラインに含まれる色として、例えば色情報の異なる少なくとも２つの色を設定する。なお、色情報としては、例えば輝度(コントラスト、画面の明るさ)、色相（色合い）、彩度（鮮やかさの度合い）、明度（明るさ）等があるが、本発明においてはこれに限定されるものではない。

【0034】

また、ガイドライン設定手段２２は、例えば白と黒を含む色情報を設定し、その少なくとも２色を交互に配置した白黒ラインで表示したり、又は、少なくとも２色を隣接させたガイドラインを表示したり、少なくとも２色のラインを交互に複数隣接させてストライプ状（縞模様）に表示させるように設定する。これにより、本実施形態では、例えばカメラ画像が白っぽい（明るい）場合には、黒ラインでガイドラインを確認することができ、またカメラ画像黒っぽい（暗い）場合には、白ラインでガイドラインを確認することができる。

【0035】

したがって、本実施形態によれば、建設機械１０がどのような状況下においても、操作者が表示手段２４の画面に表示されるガイドラインを容易に視認することができる。更に、本実施形態では、背景との色の差ではなく、白と黒とのコントラストの差で表現しているため、例えば操作者が色弱な場合であっても、ガイドラインの識別が可能となる。

【0036】

なお、本実施形態では、上述した白と黒に限定されるものではなく、他の２色であってもよい。また、上述した色情報を設定する場合には、表示手段２４の画面に設定可能な全ての色情報等を表示し、操作者（運転者、作業員、オペレータ等も含む）に選択させることで、設定を行わせてもよい。

【0037】

更に、ガイドライン設定手段２２は、ガイドラインの幅、模様、太さ（厚さ）、交互に配置される異なる色毎の長さ等を詳細設定情報として設定することができる。なお、これらの詳細設定情報は、操作者が任意に設定してもよく、また表示手段２４から画面サイズや解像度等の画面情報を取得し、取得した画面情報に対応させた値に自動で設定させてもよい。これにより、本実施形態では、例えばガイドラインが画面上で小さすぎたり、大きすぎたりすることなく適切に表示させることができる。

【0038】

ガイドライン設定手段２２により設定された各種内容は、ガイドライン設定手段２２内に設けられたメモリ（記憶手段）等に記憶される。ここで、ガイドライン設定手段２２で設定される内容は、建設機械１０による実際の操作前や後に行われていてもよく、建設機械１０の操作中に設定することもできる。

【0039】

ガイドライン生成手段２３は、ガイドライン設定手段２２により設定された内容に基づいて、ガイドラインを生成する。具体的には、ガイドライン生成手段２３は、例えば建設機械１０からの距離や安全区域と危険区域との境界等を示すガイドラインを生成する。また、ガイドライン生成手段２３は、生成されたガイドラインを画像合成手段２１により得られる画像上に合成し、ガイドラインが合成された画像を表示手段２４に出力する。

【0040】

更に、ガイドライン生成手段２３は、ガイドライン設定手段２２により得られる設定情報に基づいて、ガイドラインの幅、及び／又は、交互に配置される色情報の異なる色毎の長さを調整することができる。

【0041】

表示手段２４は、ガイドライン生成手段２３により生成された画像を表示する。また、表示手段２４は、ガイドライン設定手段２２により画面サイズや画面の解像度等の画面情報の取得要求があった場合に、対応する情報をガイドライン設定手段２２に出力する。なお、表示手段２４としては、例えば液晶カラーモニタ等を用いることができるが、本発明においてはこれに限定されるものではない。

【0042】

＜周囲画像表示処理手順＞
ここで、本実施形態における周囲画像表示処理手順について、フローチャートを用いて説明する。図３は、本実施形態における周囲画像表示処理手順の一例を示すフローチャートである。なお、図３の例では、予めガイドライン設定手段２２により各種情報が設定されているものとする。

【0043】

図３に示す周囲画像表示処理は、建設機械１０に設けられたカメラ１２から建設機械１０の周囲の画像を取得し（Ｓ０１）、次に、その取得した画像を合成するか否かを判断する（Ｓ０２）。

【0044】

つまり、本実施形態では、例えばカメラ１２が１台の場合には、画像を合成する必要がなく、また２台以上であっても予め設定された条件に基づき、得られた画像を合成せずにそれぞれ画面に表示させることもできる。なお、合成が必要であるかどうかは、例えば建設機械１０の操作者等により予め設定されていてもよく、予め固定値（合成する／合成しない）が設定されていてもよく、取得した画像の内容に応じて適宜設定されてもよい。

【0045】

ここで、周囲画像表示処理は、Ｓ０２の処理において、合成が必要である場合（Ｓ０２において、ＹＥＳ）、得られた複数の画像を合成する（Ｓ０３）。また、周囲画像表示処理は、複数の画像の合成が必要ない場合（Ｓ０２において、ＮＯ）、又はＳ０３の処理が終了後、予め設定されたガイドライン設定情報に基づいてガイドラインを生成し（Ｓ０４）、生成したガイドラインにより、Ｓ０３の処理により得られる合成画像又はＳ０１の処理で取得したままの画像に合成する（Ｓ０５）。

【0046】

また、周囲画像表示処理は、合成した画像をモニタ等の表示手段２４に表示する（Ｓ０６）。なお、上述した周囲画像表示処理は、操作者からの終了指示や、周囲画像表示装置２０又は建設機械１０の電源がＯＦＦになるまで繰り返し行われる。

【0047】

＜モニタ画面例＞
ここで、上述した表示手段２４で表示されるモニタ画面例について、図を用いて説明する。図４は、第１の実施例におけるモニタ画面例を示す図である。図４（Ａ），（Ｂ）に示すモニタ画面３０には、周囲画像表示装置２０が設置されている建設機械１０の種類に対応させて、予め設定された建設機械１０のイメージ画像に対して、その周囲にカメラ１２−１〜１２−３の合成画像３１が表示されており、更に合成画像３１上には、ガイドライン３２（図４（Ａ）におけるガイドライン３２−１、図４（Ｂ）におけるガイドライン３２−２）が表示されている。

【0048】

本実施形態におけるガイドライン３２は、建設機械１０の輪郭の位置（端部）から所定の距離だけ離れた位置に設けられている。したがって、本実施形態では、各建設機械１０の種類や大きさ毎にそれぞれ対応する輪郭形状が設定される。

【0049】

モニタ画面３０について具体的に説明すると、図４（Ａ）に示すガイドライン３２−１は、一例として白と黒の２色が所定の間隔で交互に配置されたラインである。なお、交互に配置される各色の間隔等については、特に限定されるものではないが、少なくとも交互に配置されている白又は黒のそれぞれの領域が画面上で視認できる程度の間隔以上であることが好ましい。

【0050】

また、本実施形態では、ガイドライン３２−１全体における白と黒の比率も略同一となるように生成するのが好ましい。これにより、建設機械１０の操作者は、１つのガイドライン３２−１で、背景が明るい場合には、黒の点線としてガイドラインを視認することができ、背景が暗い場合には、白の点線としてガイドラインを視認することができる。なお、交互に配列される色については、白と黒に限定されるものではなく、白又は黒から選択される１色と他の異なる１色でもよく、白黒以外の異なる２色であってもよく、全色から選択される異なる３色以上であってもよい。

【0051】

また、本実施形態では、例えば図４（Ｂ）に示すように、２色のラインを並列に隣接させて１つのガイドライン３２−２を生成してもよい。これにより、図４（Ａ）に示すような点線表示等にはならずに、背景色が変わっても何れかのライン（実線）を画面上から容易に視認することができる。なお、図４（Ｂ）の例では、白ラインの外側に黒ラインを隣接させたラインを生成しているが、本発明においてはこれに限定されるものではなく、例えば黒ラインの外側に白ラインを隣接させたガイドラインを生成してもよく、また白ラインと黒ラインとを複数用いてストライプ状（縞模様）のガイドラインを生成してもよい。

【0052】

上述したように、本実施形態では、例えば、２つの色情報を所定の幅で交互に複数配置したガイドライン、又は、２つの色情報のそれぞれを用いて生成された少なくとも２本のラインを並列に隣接させたガイドライン等を生成し、周囲画像に合成する。これにより、例えば黒っぽい（暗い）背景では、白ラインを認識することができ、白っぽい（明るい）背景では、黒ラインを認識することができる。

【0053】

＜第２の実施例＞
上述した第１の実施例に基づくガイドライン３２は、画像の上に重ねて表示するため、ガイドラインに隠れて見ることができない背景の部分が存在する。そこで、本発明では、ガイドラインを形成する少なくとも２つの色情報のうちの１つ（例えば、白色）を、その元画像である背景色の輝度を上げて半透明にして白く表示させるようにする。これにより、ガイドラインの下の背景画像を隠すことがなく、元画像の視認性を向上させることができる。

【0054】

また、本発明では、上述とは逆に、黒色のガイドライン部分を元画像情報の輝度を下げて半透明にして黒く表示することで、ガイドラインの下の背景画像を隠すことがなく、元画像の視認性を向上させることができる。なお、半透明にする対象の色情報は、１色でもよく複数色でもよい。

【0055】

上述した内容を第２の実施例として以下に説明する。図５は、建設機械における周囲画像表示装置の第２の実施例を示す図である。なお、上述した第２の実施例では、上述した第１の実施例と同様の機能を有するブロック構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。

【0056】

図５に示す表示装置４０は、画像合成手段２１と、画像解析手段４１と、ガイドライン設定手段２２と、ガイドライン生成手段４２と、表示手段２４とを有するよう構成されている。

【0057】

第２の実施例において、画像解析手段４１は、画像合成手段２１により得られる合成画像の画素毎の色情報を取得する。なお、図５の例では、色情報の一例として輝度情報を用いるが、本発明においてはこれに限定されるものではない。例えば、カメラ１２−１〜１２−３により撮影された画像中に対し、ガイドラインを合成する位置の画像の色情報としては、例えば色相、彩度、明度、輝度等がある。そのため、ガイドライン生成手段４２は、上述した色相、彩度、明度、輝度のうち少なくとも１つの色情報を調整して、２つの色情報を有するガイドラインを生成することができる。

【0058】

ガイドライン設定手段２２では、上述した設定の他に、ガイドラインを合成する部分の背景画素の解像度をどの程度上げるのか（上限値）又は下げるのか（下限値）を設定する。

【0059】

具体的には、ガイドライン設定手段２２は、例えば画素の輝度の上下させる幅を設定する。例えば、本実施形態では、背景画素の輝度に対して５０上げた色と１００下げた色とを用いて、それらを交互に配置したガイドラインが生成されるように、上限値及び下限値を設定する。上述したように設定された情報は、ガイドライン生成手段４２に出力される。

【0060】

ガイドライン生成手段４２は、ガイドライン設定手段２２により得られる設定情報に基づいて、画像解析手段４１により解析された各画素の色情報から、ガイドラインを表示する位置（座標）に対応する画素の輝度を取得し、取得した画像に対して設定情報で設定された上限値と下限値とにより輝度の上下の調整を行い、それぞれで得られた２つの色を所定の間隔で交互に配置してガイドラインを生成する。これにより、背景が半透明のガイドラインを生成することができる。

【0061】

また、ガイドライン生成手段４２は、生成された画像を表示手段２４に出力し、表示手段２４からガイドライン付きの画像を表示する。

【0062】

なお、上述した上限値及び下限値については、例えばカメラ１２から取得される画像の平均輝度を求め、求めた平均輝度に合わせて上限値及び下限値を設定してもよい。第２の実施例では、元画像の各画素の平均輝度を求めることにより、建設機械１０の周囲の明るさを把握することができ、それに応じて適切なガイドラインを生成して表示することができる。

【0063】

例えば、平均輝度が８０の場合には、建設機械１０の周囲が全体的に暗いため、上限値を＋１００（つまり、輝度１８０）とし、下限値を−３０（つまり、輝度５０）としたラインを用いることができる。なお、これらの輝度の上限値、下限値は、輝度０が純黒、輝度２５５が純白を基準として設定される。また、本実施形態では、上限値と下限値を均一の値（例えば、±５０）としてもよい。

【0064】

更に、ガイドライン生成手段４２は、ガイドライン設定手段２２により得られる設定情報に基づいて、例えば周囲の画像の平均輝度に応じてガイドラインの幅、及び／又は、交互に配置される色情報の異なる色毎の長さを調整することができる。

【0065】

ここで、図６は、第２の実施例におけるガイドラインの一例を示す図である。図６の例では、上述した図４に示す画面例のうち、ガイドライン付近を拡大して表示させたものである。なお、図６の例では、少なくとも２つの色が交互に配置されたガイドライン５１の例を示しているが、本発明においてはこれに限定されるものではない。

【0066】

図６に示す例では、ガイドラインの領域５３−１では、元画像から輝度を予め設定された上限値に対応させて上げた領域が表示され、領域５３−２では、元画像から輝度を予め設定された下限値に対応させて下げた領域が表示される。このように、図６に示すガイドライン５１では、半透明に表示されているため、背景に木等の障害物５２や周囲作業者等がいる場合にも、ガイドラインで隠れることなく、容易に把握することができる。なお、本実施形態では、図６に示すように複数の色情報が交互に配置されたガイドラインに限定されるものではなく、例えば上述したように複数の色情報からなるラインを隣接させた縞模様のガイドラインを生成したものであってもよい。

【0067】

＜第３の実施例＞
第３の実施例では、例えば建設機械１０に上述した照度センサ（照度検出手段）１３が設けられている場合に、その照度センサ１３を用いることで、建設機械１０の周囲の明るさ（照度）を検出し、検出された照度に対応させてガイドラインの内容を調整する。

【0068】

図７は、建設機械における周囲画像表示装置の第３の実施例を示す図である。なお、上述した第３の実施例では、上述した第１の実施例と同様の機能を有するブロック構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。

【0069】

図７に示す表示装置６０は、画像合成手段２１と、ガイドライン設定手段２２と、ガイドライン生成手段６１と、表示手段２４とを有するよう構成されている。

【0070】

第３の実施例において、照度センサ１３は、白熱電球や蛍光灯・太陽光といった各種発光源の明るさを検出する。なお、本実施形態で用いられる照度センサ１３は、例えば光源の種類が変わっても、明るさに対するセンサの出力値がほぼ同等に再現され、照度の大小に応じてセンサ出力の線形性が優れており、更に受光感度が高く、低い照度でも検出することができる。

【0071】

照度センサ１３は、得られた照度（明るさ）をガイドライン生成手段６１に出力する。また、ガイドライン設定手段２２では、上述した第１の実施例における設定の他に、例えばガイドラインを合成する部分の背景画素の解像度をどの程度上げるのか（上限値）又は下げるのか（下限値）を、照度センサ１３から得られる照度に基づいて設定する。

【0072】

具体的には、ガイドライン設定手段２２は、照度センサ１３の照度に基づいて画素の輝度の上下させる幅を設定する。例えば、照度が所定値より少ない場合には、建設機械１０の周囲が全体的に暗いため、背景の画像の輝度（例えば、輝度８０）に対して、上限値を＋１００（つまり、輝度１８０）とし、下限値を−３０（つまり、輝度５０）としたラインを用いることができる。また、本実施形態では、上限値と下限値を均一の値（例えば、±５０）としてもよい。

【0073】

なお、第３の実施例では、照度センサ１３からの照度に応じて、上述したガイドラインの上限値及び下限値を設定するだけでなく、画面全体の明るさを変更してもよい。また、第３の実施例では、建設機械１０の周囲の照度だけでなく、運転席１１内の照度を運転席内に設けた照度センサで検出し、その検出した運転席１１内の照度に対応させてガイドラインの輝度の上限値や下限値、又は画面全体の明るさ等を調整することもできる。なお、上述した調整は、ガイドライン生成手段６１の処理に含めることができ、また画像合成手段２１内に含めてもよい。上述の処理を画像合成手段２１に含める場合には、照度センサ１３により得られる照度を画像合成手段２１に出力する。

【0074】

更に、ガイドライン生成手段６１は、ガイドライン設定手段２２により得られる設定情報に基づいて、例えば周囲の照度に応じてガイドラインの幅、及び／又は、交互に配置される色情報の異なる色毎の長さを調整することができる。

【0075】

第３の実施例は、上述した処理を行うことにより、上述した図６に示すような半透明のガイドラインを生成することができる。つまり、第３の実施例においても、ガイドライン５１は、背景に木等の障害物５２や周囲作業者等がいる場合にも、ガイドラインで隠れることなく、容易に把握することができる。

【0076】

なお、本実施形態では、上述した第１〜第３の各実施例を適宜組み合わせることもできる。また、本実施形態において、表示手段２４の画面に表示されるガイドラインは、１本に限定されず、例えば建設機械１０からの所定距離間隔で複数のガイドラインを画面に表示させてもよく、更に障害物との距離、作業現場の状況（地面の状況、天候、日中、夜間等）、操作者の操作レベル等に応じて複数のガイドラインを画面に表示させてもよい。

【0077】

上述したように本発明によれば、建設機械がどのような環境下においても、周囲の画像と共に表示されるガイドラインを容易に認識させることができる。また、本発明では、例えば白と黒に近似する色を用いることにより、例えばカメラ画像が白っぽい（明るい）場合には、黒ラインでガイドラインを確認することができ、またカメラ画像黒っぽい（暗い）場合には、白ラインでガイドラインを確認することができる。

【0078】

したがって、本発明によれば、建設機械がどのような状況下においてもガイドラインを画面で確認することができる。更に、本発明によれば、例えばモニタを確認する人（操作者等）が色弱である場合でも、背景との色の差ではなく、白と黒のコントラストの差で表現しているため、容易に識別することができる。

【0079】

更に、本発明では、ガイドラインに含まれる少なくとも２つの色情報のうちの少なくとも１つを、その元画像である背景色の輝度を上げて半透明にして表示させるようにする。これにより、ガイドラインの下の背景画像を隠すことなく、元画像の視認性を向上させることができる。

【0080】

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

【符号の説明】

【0081】

１０ 建設機械
１１ 運転席
１２ カメラ（撮像手段）
１３ 照度センサ（照度検出手段）
２０，４０，６０ 表示装置
２１ 画像合成手段
２２ ガイドライン設定手段
２３，４２，６１ ガイドライン生成手段
２４ 表示手段
３０ モニタ画面
３１ 合成画像
３２，５１ ガイドライン
４１ 画像解析手段
５２ 障害物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】