特許 6646135 周辺監視システム及び周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6646135

(24)【登録日】2020年1月14日

(45)【発行日】2020年2月14日

(54)【発明の名称】周辺監視システム及び周辺監視装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20200203BHJP

【ＦＩ】

   G08G1/16 C

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2018-506448(P2018-506448)

(86)(22)【出願日】2016年8月31日

(86)【国際出願番号】JP2016075542

(87)【国際公開番号】WO2018042567

(87)【国際公開日】20180308

【審査請求日】2018年2月7日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】古渡 陽一

(72)【発明者】

【氏名】太田 守飛

(72)【発明者】

【氏名】笹▲崎▼ 真一

(72)【発明者】

【氏名】辻村 舜

(72)【発明者】

【氏名】勝山 優一朗

【審査官】 田中 純一

(56)【参考文献】

【文献】 特開２０１５−０７９２９９（ＪＰ，Ａ）

【文献】 特開２０１６−１３４００１（ＪＰ，Ａ）

【文献】 特開２０１３−２３２０９１（ＪＰ，Ａ）

【文献】 特開２０１０−２１８０５８（ＪＰ，Ａ）

【文献】 特開２０１０−１４８０５８（ＪＰ，Ａ）

【文献】 特開２００８−１４９８７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｂ６０Ｒ ２１／００ − ２１／１３

Ｂ６０Ｒ ２１／３４ − ２１／３８

(57)【特許請求の範囲】

【請求項1】

左前輪、右前輪、左後輪、及び右後輪と、前進又は後進に走行方向を切替えるシフトレバーと、車速を検出する車速センサと、を搭載した車両の周辺監視システムであって、
前記車両の前後左右にある被計測体を検出して出力信号を生成する外界認識センサと、
前記出力信号を基に障害物を検知すると共に、障害物があることを知らせる警報を発報する検知エリアを設定し、前記障害物が前記検知エリア内にある場合に警報を発報させるための制御信号を出力する周辺監視装置と、
前記周辺監視装置からの制御に従って警報を発報するモニタ及びブザーと、
を備え、
前記周辺監視装置は、
前記シフトレバーが前進位置又は後進位置にあるかを示すシフトレバー情報を取得し、前記シフトレバーが前進位置にある場合は、前記車両の後輪車軸よりも前方領域を前記検知エリアとして設定し、前記シフトレバーが後進位置にある場合は、前記車両の前輪車軸よりも後方領域を前記検知エリアとして設定する検知エリア設定部と、
前記車速センサから車速情報を取得し、当該車速情報に基づいて前記車両が停止しているかを判定し、前記車両が停止していると判定した場合に前記外界認識センサの出力信号を基に障害物を検知し、検知した障害物が動体であるか否かを検知する動体検知処理を行い、動体として検知された障害物のうち、動き続けている障害物を検知する障害物検知部と、
前記動体として検知された障害物のうち、動き続けている障害物に対して前記モニタにマーカを重畳して表示させるマーカ重畳部と、
前記動体として検知された障害物のうち、動き続けている障害物が前記検知エリア内に含まれる場合は、前記ブザーに対して警告音の出力指示信号を送信するブザー制御部と、を含む、
ことを特徴とする周辺監視システム。

【請求項2】

請求項１に記載の周辺監視システムにおいて、
前記車両の最大操舵角を示す最大操舵角情報を記憶する最大操舵角情報記憶部を更に備え、
前記検知エリア設定部は、
前記シフトレバーが前進位置にある場合は、前記車両が最大操舵角で左に旋回しながら前進走行した場合の前記左後輪の軌跡と前記車両が最大操舵角で右に旋回しながら前進走行した場合の前記右後輪の軌跡との間を検知エリアとして設定し、
前記シフトレバーが後進位置にある場合は、前記車両が最大操舵角で左に旋回しながら後進走行した場合の前記左前輪の軌跡と前記車両が最大操舵角で右に旋回しながら後進走行した場合の前記右前輪の軌跡との間を検知エリアとして設定する、
ことを特徴とする周辺監視システム。

【請求項3】

請求項１に記載の周辺監視システムにおいて、
前記車両の操舵角を検出し、その操舵角を示す操舵角情報を出力する操舵角センサを更に備え、
前記検知エリア設定部は、
前記シフトレバーが前進位置にある場合は、前記車両が前記操舵角に従って旋回しながら前進走行したと想定した場合の前記左後輪の軌跡と前記右後輪の軌跡との間を検知エリアとして設定し、
前記シフトレバーが後進位置にある場合は、前記車両が前記操舵角に従って旋回しながら後進走行したと想定した場合の前記左前輪の軌跡と前記右前輪の軌跡との間を検知エリアとして設定する、
ことを特徴とする周辺監視システム。

【請求項4】

請求項１、２、３のいずれか一つに記載の周辺監視システムにおいて、
前記外界認識センサは前記車両の前方を撮像して前画像を生成する前カメラ、前記車両の右方を撮像して右画像を生成する右カメラ、前記車両の左方を撮像して左画像を生成する左カメラ、及び前記車両の後方を撮像して後画像を生成する後カメラを含み、
前記モニタは、前記前カメラ、前記右カメラ、前記左カメラ、及び前記後カメラが撮像した画像データに基づく画像を表示するモニタであり、
前記マーカ重畳部は、前記モニタに表示される画像において、前記検知エリア内にある障害物が撮像された領域にマーカを重畳する、
ことを特徴とする周辺監視システム。

【請求項5】

請求項４に記載の周辺監視システムにおいて、
前記前画像、前記右画像、前記左画像、及び前記後画像を仮想上方視点からみた画像に座標変換し、前記車両を前記仮想上方視点からみた俯瞰画像を生成する俯瞰画像生成部を更に備え、
前記障害物検知部は、前記俯瞰画像に撮像された動体を検知する、
ことを特徴とする周辺監視システム。

【請求項6】

左前輪、右前輪、左後輪、及び右後輪と、前進又は後進に走行方向を切替えるシフトレバーと、車速を検出する車速センサと、車両の前後左右にある被計測体を検出して出力信号を生成する外界認識センサと、モニタと、ブザーと、を備えた車両に搭載される周辺監視装置であって、
前記シフトレバーが前進位置又は後進位置にあるかを示すシフトレバー情報を取得し、前記シフトレバーが前進位置にある場合は、前記車両の後輪車軸よりも前方領域を検知エリアとして設定し、前記シフトレバーが後進位置にある場合は、前記車両の前輪車軸よりも後方領域を前記検知エリアとして設定する検知エリア設定部と、
前記車速センサから車速情報を取得し、当該車速情報に基づいて前記車両が停止しているかを判定し、前記車両が停止していると判定した場合に前記外界認識センサの出力信号を基に障害物を検知し、検知した障害物が動体であるか否かを検知する動体検知処理を行い、動体として検知された障害物のうち、動き続けている障害物を検知する障害物検知部と、
前記動体として検知された障害物のうち、動き続けている障害物に対して前記モニタにマーカを重畳して表示させるマーカ重畳部と、
前記動体として検知された障害物のうち、動き続けている障害物が前記検知エリア内に含まれる場合は、前記ブザーに対して警告音の出力指示信号を送信するブザー制御部と、
を含むことを特徴とする周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は周辺監視システム及び周辺監視装置に関し、特に大型の作業機械に適した周辺監視システムに関する。

【背景技術】

【0002】

特許文献１には、不要な警告を抑制可能な周辺監視装置を提供することを課題として、「ダンプトラックの走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する（要約抜粋）」作業車両の周辺監視装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−２５９１１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された周辺監視装置では、「走行方向が前進で車速が０より大きい場合には“前進中”と規定され、走行方向が後進で車速が０より大きい場合には“後進中”と規定され、車速が０である場合には走行方向に関わらず“停車中”と規定」されており（特許文献１の段落００４１参照）、「ダンプトラック１の走行状態が“停車中”である場合には、図５（ｃ）に示すように、全領域ＡＲを警告領域として設定する。本実施形態において、全領域ＡＲは、前方領域ＦＲと後方領域ＲＲとを合わせた領域である。」と開示されている（同文献段落００４３参照）。すなわち、作業車両が停車中の場合、作業車両の前方及び後方を含む全領域が監視対象とされている。

【0005】

そのため、例えばこれから前進しようとする際には、後方領域の障害物との干渉は生じないので前進した際に干渉する障害物に運転手の注意を集中したいという要望があるにも関らず、特許文献１の周辺監視装置では後方領域の障害物も警告対象となってしまい、不要な警告を発生させてしまうという課題が残る。

【0006】

本発明は上記課題を解決するためになされたものであり、作業機械が停車から走行開始に遷移する際において、障害物に関する不要な警告を抑制し、走行を開始すると干渉する可能性がある障害物に対して必要な警告を行える技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明は、左前輪、右前輪、左後輪、及び右後輪と、前進又は後進に走行方向を切替えるシフトレバーと、車速を検出する車速センサと、を搭載した車両の周辺監視システムであって、前記車両の前後左右にある被計測体を検出して出力信号を生成する外界認識センサと、前記出力信号を基に障害物を検知すると共に、障害物があることを知らせる警報を発報する検知エリアを設定し、前記障害物が前記検知エリア内にある場合に警報を発報させるための制御信号を出力する周辺監視装置と、前記周辺監視装置からの制御に従って警報を発報するモニタ及びブザーと、を備え、前記周辺監視装置は、前記シフトレバーが前進位置又は後進位置にあるかを示すシフトレバー情報を取得し、前記シフトレバーが前進位置にある場合は、前記車両の後輪車軸よりも前方領域を前記検知エリアとして設定し、前記シフトレバーが後進位置にある場合は、前記車両の前輪車軸よりも後方領域を前記検知エリアとして設定する検知エリア設定部と、前記車速センサから車速情報を取得し、当該車速情報に基づいて前記車両が停止しているかを判定し、前記車両が停止していると判定した場合に前記外界認識センサの出力信号を基に障害物を検知し、検知した障害物が動体であるか否かを検知する動体検知処理を行い、動体として検知された障害物のうち、動き続けている障害物を検知する障害物検知部と、前記動体として検知された障害物のうち、動き続けている障害物に対して前記モニタにマーカを重畳して表示させるマーカ重畳部と、前記動体として検知された障害物のうち、動き続けている障害物が前記検知エリア内に含まれる場合は、前記ブザーに対して警告音の出力指示信号を送信するブザー制御部と、を含む、ことを特徴とする。

【0008】

本発明によれば、作業機械が停車から走行開始に遷移する際において、障害物に関する不要な警告を抑制し、走行を開始すると干渉する可能性がある障害物に対して必要な警告を行える技術を提供することができる。なお、上記した以外の課題、構成、効果は以下の実施形態において明らかにされる。

【図面の簡単な説明】

【0009】

【図1】第一実施形態に係るダンプトラックの左側面図

【図2】第一実施形態に係るダンプトラックの平面図

【図3】キャブ内を示す説明図

【図4】周辺監視システムの概略構成を示すブロック図

【図5】第一実施形態に係る周辺監視システムの前半処理の流れを示すフローチャート

【図6】第一実施形態に係る周辺監視システムの後半処理の流れを示すフローチャート

【図7】俯瞰画像生成処理の流れを示すフローチャート

【図8】俯瞰画像生成処理の内容を示す説明図

【図9】仮想上方視点変換処理の内容を示す説明図

【図10】第一実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。

【図11】第二実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。

【図12】操舵時の最小回転半径の計算式の説明図

【図13】第三実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。

【図14】周辺監視システムの処理を他の表現で示したフローチャート

【発明を実施するための形態】

【0010】

以下、図面等を用いて、本発明の実施形態について説明する。以下、本発明の実施形態を説明するための全図において同一の機能を有するものは同一の符号を付け、その繰り返しの説明は省略する場合がある。

【0011】

＜第一実施形態＞
第一実施形態は、周辺監視システムを搭載する作業機械の一例として鉱山用のダンプトラックを用い、周辺障害物を検知する障害物センサとしてカメラを用いた実施形態を例に挙げて説明する。なお、作業機械はタイヤが接地するダンプトラックやホイールローダのような車両に限らず、金属板を連結して構成した履体で車輪の回りを巻いて無限軌道を形成した走行体を有する油圧ショベルやドーザであっても、履体内の車輪を下記説明で用いる前後左右車輪に読み替えることで、本実施形態に係る周辺監視システムを適用することができる。

【0012】

図１は、第一実施形態に係るダンプトラックの左側面図である。図２は、第一実施形態に係るダンプトラックの平面図である。図１、図２に示すように、ダンプトラック１は、左前輪２ＦＬ、右前輪２ＦＲ、左後輪２ＲＬ、右後輪２ＲＲ上に車体フレーム３を搭載する。更に車体フレーム３上に、ホイストシリンダ４を介して起伏自在に搭載されたベッセル５、及びキャブ６を搭載して構成される。ダンプトラック１の左右側面及び前後面にはそれぞれダンプトラック１から左方を撮像する左カメラ１０Ｌ、右方を撮像する右カメラ１０Ｒ、前方を撮像する前カメラ１０Ｆ、後方を撮像する後カメラ１０Ｂ（４台のカメラを区別しない場合はカメラ１０という）が設置される。左カメラ１０Ｌ、右カメラ１０Ｒ、前カメラ１０Ｆ、後カメラ１０Ｂの其々が撮像して生成する画像を左画像、右画像、前画像、及び後画像という。これらの画像はスルー画像（動画像）でもよいし、静止画像でもよいが、本実施形態ではスルー画像であるとして説明する。

【0013】

各カメラ１０は斜め下方を光軸方向として車体フレーム３に設置される。本実施形態ではダンプトラック１の外界認識センサとしてカメラ１０を用いるが、外界認識センサの種類はミリ波レーダやＬＩＤＡＲでもよく、これらのセンサの出力信号から障害物を検知できるセンサは種類を問わず本実施形態に用いることができる。ミリ波レーダやＬＩＤＡＲを用いる際もダンプトラック１の前後左右に設置するが、左側面及び右側面はミリ波レーダやＬＩＤＡＲを複数台設置し、検知範囲に不連続領域（盲点）が生じないように設置する。

【0014】

図３は、キャブ内を示す説明図である。キャブ６内のピラー７にモニタ１３０及びブザー１３２が設置される。モニタ１３０は４台のカメラ１０が撮像した画像を基に合成された俯瞰画像２５０を表示すると共に、その俯瞰画像に障害物が撮影されている場合にはマーカを重畳して表示する。

【0015】

次に図４を参照してダンプトラックに適用される周辺監視システムの構成について説明する。図４は、周辺監視システムの概略構成を示すブロック図である。

【0016】

図４に示すように、周辺監視システム１００は、周辺監視装置１１０の入力端に車体情報の取得先となるＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１９０、右カメラ１０Ｒ、左カメラ１０Ｌ、前カメラ１０Ｆ、後カメラ１０Ｂを接続すると共に、出力端にモニタ１３０及びブザー１３２を接続して構成される。モニタ１３０及びブザー１３２は警報装置に相当する。

【0017】

ＥＣＵ１９０には、前進又は後進に走行方向を切替えるシフトレバー９が接続され、シフトレバー９がＦ（前進）、Ｒ（後進）、Ｎ（ニュートラル）のいずれの位置にあるかを示すシフトレバー情報がＥＣＵ１９０に入力される。周辺監視装置１１０は、ＥＣＵ１９０を介してシフトレバー情報を取得する。

【0018】

ダンプトラック１は車速センサ１１を備える。車速センサ１１は、例えば従動輪（左前輪２ＦＬ、右前輪２ＦＲ）の車輪回転数を検出しこれを基に車速を出力するセンサを用いてもよい。車速情報はＥＣＵ１９０に入力される。周辺監視装置１１０は、ＥＣＵ１９０を介して車速情報を取得する。

【0019】

更に後述する第三実施形態では、ダンプトラック１には操舵角センサ１２が設置され、ハンドルを切ったときの操舵角を検出してＥＣＵ１９０に検出された操舵角を示す操舵角情報が出力される。この操舵角情報は、ＥＣＵ１９０を介して周辺監視装置１１０に入力され、検知エリアの設定処理に用いられる。第一実施形態及び第二実施形態では操舵角センサ１２は必須ではない。

【0020】

周辺監視装置１１０は、大きくは俯瞰画像生成部１２０と警報処理部１４０とを含む。俯瞰画像生成部１２０は、画像補正部１２１、視点変換部１２２、画像合成部１２３、及びアイコン記憶部１２４を含む。また警報処理部１４０は、障害物検知部１４１、検知エリア設定部１４２、及び警報判定部１４３を含む。更に第二実施形態では周辺監視システム１００が搭載される作業機械や車両に応じた最大操舵角を示す最大操舵角情報を記憶した最大操舵角情報記憶部１４４を備えるが、第一実施形態及び第三実施形態では必須ではない。

【0021】

本実施形態では、警報判定部１４３としてマーカ重畳部１４３ａ及びブザー制御部１４３ｂを含み、モニタ１３０上に障害物を示すマーカを重畳した警報出力態様と、ブザー１３２の発報による警報出力態様とを併用する。

【0022】

また本実施形態では、俯瞰画像生成部１２０が生成した俯瞰画像から動体を検知し、この動体を障害物として抽出する。そこで、障害物検知部１４１として動体検知部１４１ａを用いる。なお、障害物の抽出条件は動体であるか否かに限らない。例えば、人や鉱山内を走行する車両や作業機械の既知の画像を参照画像として記憶する参照画像記憶部１４１ｃと、俯瞰画像に撮像された被写体とのパターンマッチング処理を行うパターンマッチング処理部１４１ｂとを備え、参照画像とのマッチング度が同一物であると判定するためのマッチング閾値以上であるものを障害物として抽出してもよい。

【0023】

次に図５〜図１０を参照して本実施形態に係る周辺監視システムの処理について説明する。図５は、第一実施形態に係る周辺監視システムの前半処理の流れを示すフローチャートである。図６は、第一実施形態に係る周辺監視システムの後半処理の流れを示すフローチャートである。図７は、俯瞰画像生成処理の流れを示すフローチャートである。図８は、俯瞰画像生成処理の内容を示す説明図である。図９は、上方視点変換処理の内容を示す説明図である。図１０は、第一実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。

【0024】

周辺監視システム１００の電源がＯＮになると、俯瞰画像を生成するための処理（Ｓ０１〜Ｓ０２）及び検知エリア設定処理（Ｓ１１〜Ｓ１５）が並列して開始される。そして生成された俯瞰画像及び設定された検知エリアに基づいて、障害物検知処理（Ｓ２１〜Ｓ３０）が実行される。そして、障害物と検知エリアとの比較結果に基づいて警報出力処理の一態様としてブザー報知処理（Ｓ５１〜Ｓ５２）が実行される。更にこれと並行してマーカ重畳処理（Ｓ４０）も実行される。以下、各処理の内容を詳述する。

【0025】

俯瞰画像を生成するための処理として、前カメラ１０Ｆ、後カメラ１０Ｂ、右カメラ１０Ｒ、左カメラ１０Ｌの各カメラは映像信号（スルー画像）を撮像して前画像、後画像、右画像、及び左画像を生成し（Ｓ０１）、画像補正部１２１に出力する。

【0026】

画像補正部１２１は各カメラ１０から入力された前画像、後画像、右画像、及び左画像に対して収差補正やコントラスト補正、色調補正等の各種の画像補正を行う。なお、画像補正部１２１による補正処理は俯瞰画像生成処理にとっては必須ではないが、本処理により入力した映像信号の画質を向上させたスルー画像を生成し、視点変換部１２２に出力することができる。その結果俯瞰画像の画質も向上させることができる。

【0027】

視点変換部１２２は、画像補正部１２１から入力した各スルー画像に基づいて俯瞰画像生成処理を実行する（Ｓ０２）。以下、図７、図８、図９を参照して右画像を例に挙げて俯瞰画像の生成処理について説明する。

【0028】

視点変換部１２２は、右カメラ１０Ｒの補正後のスルー画像に含まれる各フレーム６０１（図８参照）から視点変換処理を施す領域６０２を切り出す（Ｓ０２１）。

【0029】

次に視点変換部１２２は、切り出した領域６０２に対し、右カメラ１０Ｒの斜め下方に向いた光軸が、上方からの仮想的な視点に変換となるように座標変換処理を行う（Ｓ０２２、図８の符号６０３参照）。

【0030】

図９に示すように、右カメラ１０Ｒ（前カメラ１０Ｆ、後カメラ１０Ｂ、左カメラ１０Ｌも同様である）の対物レンズの光軸Ａは、地表Ｌに対して所定角度θを有している。視点変換部１２２は、光軸方向が垂直方向となるような仮想カメラ１０Ｖを高さＨに仮想的に設定する。そして視点変換部１２２は、切り出した領域６０２の画像データを、仮想カメラ１０Ｖ（仮想上方視点）からみた画像となるように座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像となる。右カメラ１０Ｒのスルー画像を用いて生成した俯瞰画像を右俯瞰画像６０４という。

【0031】

視点変換部１２２は、前画像、後画像、及び左画像に対しても上記と同様に視点変換処理を行い、右俯瞰画像、前俯瞰画像、後俯瞰画像、左俯瞰画像を生成し、画像合成部１２３に出力する（Ｓ０２３）。

【0032】

画像合成部１２３はダンプトラック１を上面視（仮想視点と同じ視点）で図形化したアイコンの周囲に４つの俯瞰画像を配置した合成俯瞰画像を生成する。具体的には、周辺監視装置１１０内のグラフィックメモリ内に俯瞰画像生成処理用のワークエリア６１０を確保する（Ｓ０２４）。

【0033】

次に画像合成部１２３は、アイコン記憶部１２４からアイコン６１２を読み出し、ワークエリア６１０の中央にアイコン６１２を配置する（Ｓ０２５）。

【0034】

そして、画像合成部１２３は、アイコン６１２における車体右側に、右俯瞰画像６０４を配置する。同様にアイコン６１２における車両前側に前俯瞰画像、車両後ろ側に後俯瞰画像、車両左側に左俯瞰画像を配置する（Ｓ０２６）。これにより、合成俯瞰画像２５０（以下、俯瞰画像という）が生成される。生成された俯瞰画像２５０は、警報処理部１４０の障害物検知部１４１に出力される。

【0035】

一方、検知エリア設定部１４２は、ＥＣＵ１９０経由でシフトレバー９のレバーポジション情報を取得する（Ｓ１１）。そして、検知エリア設定部１４２は、シフトレバーが前進位置（Ｆ）にある場合（Ｓ１２／ＹＥＳ）、後輪車軸（ＲＳ：図１０（ａ）参照）よりも前方領域を前検知エリアＦＥ１（図１０（ａ）参照）に設定する（Ｓ１３）。また検知エリア設定部１４２は、シフトレバーが後進位置（Ｒ）にある場合（Ｓ１２／ＮＯ、Ｓ１４／ＹＥＳ）、前輪車軸（ＦＳ：図１０（ｃ）参照）よりも後方領域を後検知エリアＲＥ１（図１０（ｃ）参照）に設定する（Ｓ１５）。設定した前検知エリアＦＥ１、又は後検知エリアＲＥ１は警報判定部１４３に出力される。警報判定部１４３のブザー制御部１４３ｂは、前検知エリアＦＥ１、又は後検知エリアＲＥ１をブザー１３２から警告音を発生させるか否かの判定に用いるブザー用の検知エリアとして採用する。

【0036】

シフトレバーが中立位置（Ｎ）の場合は（Ｓ１４／ＮＯ）、ブザー用の検知エリアを設定することなく処理開始点Ａに戻る。

【0037】

本実施形態では、ブザー用の検知エリアとマーカ用の検知エリアとは異なる領域に設定する。マーカ用の検知エリアはダンプトラック１のシフトレバーの位置に関らず全周囲領域として決定しておく。そのため、図５では特にマーカ用の検知エリアを設定するステップを図示していないが、Ｓ１３、Ｓ１５のそれぞれにおいてマーカ用の検知エリアを全周囲と決定してもよい。一方、上述のごとく、ブザー用に用いる前検知エリアＦＥ１と後検知エリアＲＥ１は、全周囲よりも狭い領域、かつこれからダンプトラック１が走行する方向に限定する。このように、マーカ用の検知エリアは全周囲とすることでモニタ１３０にはダンプトラック１の全周囲にある障害物にマーカを重畳して表示すると共に、前進直前また後進直前には全周囲よりも狭いエリアに限定してブザーを発報させることができる。そのため、モニタ１３０から視線を外した運転手にも障害物が走行方向に重なる可能性があることについて注意喚起をすることができる。

【0038】

障害物検知部１４１の動体検知部１４１ａは、ＥＣＵ１９０から車速情報を取得し（Ｓ２１）、車速＝０、即ち停車していると判定した場合は（Ｓ２２／ＹＥＳ）、俯瞰画像に対して動体検知処理を実行する（Ｓ２４）。なお停止判定に用いる速度閾値はＶ＝０に限定されず、停止していると見做せる速度閾値を設定しておき、これ未満の場合は停止していると見做してもよい。この速度閾値は、動体検知処理において背景と被計測体（他車両等）が分離できる程度の閾値を用いてもよい。

【0039】

車速が０でない、即ち走行中であると判定した場合（Ｓ２２／ＮＯ）、電源ＯＦＦでなければ（Ｓ２３／ＮＯ）、処理開始点Ａに戻り、俯瞰画像生成処理及び検知エリア設定処理を再開する。

【0040】

俯瞰画像生成部１２０は予め決められたフレームレート、例えば３０ｆｐｓで合成俯瞰映像を生成して動体検知部１４１ａに出力する。

【0041】

動体検知部１４１ａは、連続するフレームの比較処理、例えば差分処理等による動体検知処理を実行し（Ｓ２４）、フレーム間で差分がある被写体は動体として検知する。ここでフレーム間の差分の有無は、差分量が動体と検知するために設定した閾値（異なる画素数で定義されてもよい）以上であれば差分ありと判定し、未満であれば差分なしと判定してもよく、差分量が０の場合のみを差分なしと判定しなくてもよい。

【0042】

動体検知部１４１ａが動体を検知すると（Ｓ２５／ＹＥＳ）、タイマーを０に設定して経過時間の計測を開始する（Ｓ２６）。動体検知部１４１ａは、規定時間（規定フレーム数と言い換えてもよい）の経過をカウントし（Ｓ２７／ＮＯ）、規定時間経過後（Ｓ２７／ＹＥＳ）、動体が動き続けている場合（Ｓ２８／Ｙｅｓ）、動体検知部１４１ａは動体を障害物と判定し（Ｓ２９）、判定結果を警報判定部１４３に出力する。

【0043】

一方、動体検知部１４１ａがフレーム間で差分がないと判定した場合（Ｓ２５／Ｎｏ）、及び動体を検知したものの規定時間経過後は動いていない場合（Ｓ２８／Ｎｏ）、電源ＯＦＦであれば（Ｓ３０／ＹＥＳ）処理を終了し、電源ＯＦＦでなければ処理開始点Ａへ戻る。

【0044】

警報判定部１４３のマーカ重畳部１４３ａは、シフトレバーがＦ又はＲ位置にあり、かつ停車中はダンプトラック１の全周囲にある障害物に対してマーカを重畳してモニタ１３０に表示する（Ｓ４１）。

【0045】

またブザー制御部１４３ｂは、動体検知部１４１ａから取得した俯瞰画像内の障害物が、前検知エリアＦＥ１内、又は後検知エリアＲＥ１内にある場合（Ｓ５１／ＹＥＳ）、ブザー１３２から警告音を発生させるための出力指示信号をブザー１３２に送信する（Ｓ５２）。

【0046】

上記処理によれば、シフトレバーがＦにあり、かつ障害物が前検知エリアＦＥ１内にある場合は、マーカＭ及びブザーの双方による警報出力がされる（図１０（ａ）参照）。シフトレバーがＦにあり、かつ障害物が前検知エリアＦＥ１外にある場合は、マーカＭのみによる警報出力がされ（図１０（ｂ）参照）、ブザーは鳴らない。

【0047】

一方、シフトレバーがＲにあり、かつ障害物が後検知エリアＲＥ１内にある場合は、マーカ及びブザーの双方による警報出力がされる（図１０（ｃ）参照）。シフトレバーがＲにあり、かつ障害物が後検知エリアＲＥ１外にある場合は、マーカＭのみによる警報出力がされ（図１０（ｄ）参照）、ブザーは鳴らない。

【0048】

本実施形態によれば、周辺監視装置がシフトポジションと車速とを併用してブザーによる警告の有無を判断するための検知エリアを設定する。これにより、作業機械が停止中から前進、又は後進へ遷移する直前に、作業機械が前進又は後進すると干渉する障害物が存在する場合に限りブザーを動作させることができる。そのため、ブザーを干渉回避に必要なタイミングに限って動作させることができ、不必要に頻回に動作することで運転手のブザーに対する注意力が低下することを抑制できる。

【0049】

また、本実施形態ではマーカとブザーとを併用するものの、マーカを重畳するための検知エリアは全周囲とし、ブザーを鳴らすための検知エリアはそれよりも狭い領域となるように異ならせる。これにより、運転手がモニタを見ている場合には、全周囲にある障害物の存在及び動く方向を確認できる。そして、シフトレバーをＦ又はＲに入れて作業機械の移動を開始しようとする際は、一般に運転手が走行方向を確認するためにモニタから視線を外すことが多いが、この間は、聴覚を用いた警告を行うことで障害物と干渉する危険性を通知することができる。

【0050】

＜第二実施形態＞
第二実施形態は、ダンプトラック、ホイールローダ等の各作業機械の機種毎に最大操舵角を設定し、最大操舵角を検知エリアの設定条件に更に加えることで第一実施形態よりも検知エリアを狭く限定する実施形態である。第二実施形態では図４に示すブロック図において最大操舵角情報記憶部１４４を備える。

【0051】

第二実施形態における検知エリア設定部１４２の処理内容について図１１を用いて説明する。図１１は、第二実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。

【0052】

本実施形態では図５のステップＳ１３、即ちシフトレバーが前進位置にある場合に、検知エリア設定部１４２は、ダンプトラック１が最大操舵角で左に旋回しながら前進走行した場合の左後輪２ＲＬの軌跡ＲＬ＿ＴＲと、ダンプトラック１が最大操舵角で右に旋回しながら前進走行した場合の右後輪２ＲＲの軌跡ＲＲ＿ＴＲとの間を前検知エリアＦＥ２として設定する（図１１（ａ）、図１１（ｂ）参照）。この前検知エリアＦＥ２をブザー用の検知エリアとして用いることで、前進時に左前輪２ＦＬ、右前輪２ＦＲ、左後輪２ＲＬ、右後輪２ＲＲの軌跡内に障害物が位置する場合にのみブザーを動作させることができる（図１１（ａ）参照）。前検知エリアＦＥ２外にある場合はマーカを付けるだけの警報出力とする（図１１（ｂ）参照）。

【0053】

またステップＳ１５、即ちシフトレバーがＲのときは、ダンプトラック１が最大操舵角で左に旋回しながら後進走行した場合の左前輪の２ＦＬの軌跡ＦＬ＿ＴＲと、最大操舵角で右に旋回しながら後進走行した場合の右前輪２ＦＲの軌跡ＦＲ＿ＴＲとの間を後検知エリアＲＥ２として設定する（図１１（ｃ）、図１１（ｄ）参照）。この後検知エリアＲＥ２をブザー用の検知エリアとして用いることで、後進時に左前輪２ＦＬ、右前輪２ＦＲ、左後輪２ＲＬ、右後輪２ＲＲの軌跡内に障害物が位置する場合にのみブザーを動作させることができる。（図１１（ｃ）参照）。後検知エリアＲＥ２外にある場合はマーカを付けるだけの警報出力とする（図１１（ｄ）参照）。

【0054】

本実施形態によれば、前進時、また後進時の車輪の軌跡となる可能性がある領域内に限ってブザーを動作させることで、より検知エリアを狭くすることができる。これにより、障害物を踏みつぶす危険性が更に高い場合に限ってブザーが鳴るので、ブザーに対する運転手の注意力を増すことができる。

【0055】

＜第三実施形態＞
第三実施形態は検知エリア設定部１４２がＥＣＵ１９０経由で操舵角センサ１２が出力した操舵角情報を取得し、これらを用いて操舵角に応じた検知エリアを随時設定する態様である。

【0056】

検知エリア設定部１４２は下式（１）に示す関数情報を記憶しておき、操舵角情報を基にその操舵角における最小回転半径Ｒを計算する。図１２は、下式（１）に用いる各パラメータを示す。

【数1】

ただし
Ｒ：最小回転半径
Ｌ：軸距（ホイールベース）
Ｔｆ：舵取り車輪の輪距（トレッド）
α：外側車輪のかじ取角度
β：内側車輪のかじ取角度

【0057】

図１３は、第三実施形態で設定される検知エリアの説明図であって、（ａ）はシフトレバーが前進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｂ）はシフトレバーが前進位置にあってマーカＭのみによる警報出力がされる状態を示し、（ｃ）はシフトレバーが後進位置にあってマーカＭ及びブザーの双方による警報出力される状態を示し、（ｄ）はシフトレバーが後進位置にあってマーカＭのみによる警報出力がされる状態を示す。

【0058】

操舵角に応じた回転半径Ｒを算出し、図１３に示すように前進時には左後輪２ＲＬの軌跡ＲＬ＿ＴＲと右後輪２ＲＲの軌跡ＲＲ＿ＴＲとの間を前検知エリアＦＥ３に設定する。前検知エリアＦＥ３にある場合にのみブザー及びマーカを付けて警報を出力し（図１３（ａ））、前検知エリアＦＥ３外にある場合はマーカのみの警報を出力する（図１３（ｂ））。同様に後進時には左前輪２ＦＬの軌跡ＦＬ＿ＴＲと右前輪２ＦＲの軌跡ＦＲ＿ＴＲとの間を後検知エリアＲＥ３に設定する。そして、後検知エリアＲＥ３にある場合にのみブザー及びマーカを付けて警報を出力し（図１３（ｃ））、後検知エリアＲＥ３外にある場合はマーカのみの警報を出力する（図１３（ｄ））。

【0059】

本実施形態によれば、操舵角に応じて更に検知エリアを限定することで、不要なブザー報知を減らすことができる。

【0060】

上記実施形態は本発明を限定するものではなく、本発明の趣旨を逸脱しない様々な変更例は本発明に含まれるものである。例えば、警報出力態様としてブザーだけを用いてもよいし、俯瞰画像に対するマーカのみを用いてもよい。その場合、マーカ用の検知エリアは全周囲ではなく、検知エリア設定部が設定した前検知エリア、及び後検知エリアを用い、前検知エリア、及び後検知エリアに含まれる障害物にのみマーカを重畳してもよい。

【0061】

更に、ブザー用の検知エリア及びマーカ用の検知エリアは同一のエリアを用いてもよい。この場合、図１１（ｂ）、図１１（ｄ）、図１３（ｂ）、及び図１３（ｄ）において、障害物が前検知エリアＦＥ１〜ＦＥ３、又は後検知エリアＲＥ１〜ＲＥ３外にある場合はマーカを重畳しないでモニタに表示してもよい。

【0062】

更に俯瞰画像から動体を検知したが、右画像、左画像、前画像、及び後画像の其々から動体を検知し、右画像、左画像、前画像、及び後画像をモニタに表示し、各画像から検知した動体に対してマーカを重畳してもよい。

【0063】

また、上述の図５に示す処理フローは一例にであって、図１４に示す他例であってもよい。以下、図１４に従って、他例に係る処理フローについて説明する。図１４では、画像生成タスクと障害物検知タスクとを並列処理で行う例について説明する。

【0064】

画像生成タスクでは、各カメラが撮像して映像信号を出力し（Ｓ１０１）、俯瞰画像生成処理が実行される（Ｓ１０２）。生成された俯瞰画像は障害物検知タスクに引き渡される。

【0065】

画像生成タスクでは生成された俯瞰画像を周辺監視装置のハードウェアを構成するグラフィックメモリに配置する（Ｓ１０３）。ここで車速＝０であり（Ｓ１０４／Ｙｅｓ）、障害物検知タスクから障害物座標を取得すると、グラフィックメモリに障害物座標を強調して配置し（Ｓ１０５）、グラフィックメモリの映像がモニタに表示され（Ｓ１０６）、画像生成タスクを終了する。車速＝０でない場合（Ｓ１０４／Ｎｏ）、グラフィックメモリの映像がモニタに表示される（Ｓ１０６）。

【0066】

障害物検知タスクでは、シフトレバーの状態を確認し（Ｓ１１１）、シフトレバーが前進であれば（Ｓ１１２／ＹＥＳ）、検知エリアを後輪車軸よりも前に設定する（Ｓ１１３）。

【0067】

ここで車速＝０であれば（Ｓ１１４／Ｙｅｓ）、俯瞰画像生成処理（Ｓ１０２）から俯瞰画像を取得し、俯瞰画像に基づく動体検知処理が実行される（Ｓ１１５）。動体を検知すると（Ｓ１１６／Ｙｅｓ）、動体を検知してからの経過時間Ｔを計測し、それが規定時間以上の場合（Ｓ１１７／Ｙｅｓ）、障害物座標を算出し（Ｓ１１８）、画像生成タスクに障害物座標を受け渡す。そしてブザーを発報し（Ｓ１１９）、障害物検知タスクを終了する。

【0068】

動体を検知しない場合は（Ｓ１１６／Ｎｏ）、経過時間Ｔ＝０であり（Ｓ１２０）、障害物検知タスクを終了する。また、経過時間Ｔが規定時間未満の場合（Ｓ１１７／Ｎｏ）、経過時間の計測を続行し（Ｓ１２１）、障害物検知タスクを終了する。

【0069】

シフトレバーが後進の場合（Ｓ１１２／Ｎｏ、Ｓ１２２／Ｙｅｓ）、検知エリアを前輪車軸よりも後ろに設定し（Ｓ１２３）、ステップＳ１１４へ進む。

【0070】

シフトレバーが中立（Ｎ）の場合（Ｓ１２４／Ｙｅｓ）、検知エリアを設定することなく（Ｓ１２５）、ステップＳ１１４へ進む。シフトレバーが中立（Ｎ）にもない場合は（Ｓ１２４／Ｎｏ）、異常終了する（Ｓ１２６）。上記のように、本実施形態と同様の作業効果を、別のフローで説明することも可能である。

【符号の説明】

【0071】

１：ダンプトラック、１０：カメラ、１００：周辺監視システム、１１０：周辺監視装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】