特許 6262068 車体近傍障害物報知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6262068

(24)【登録日】2017年12月22日

(45)【発行日】2018年1月17日

(54)【発明の名称】車体近傍障害物報知システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20180104BHJP

   B60R 1/00 20060101ALI20180104BHJP

   B60R 11/02 20060101ALI20180104BHJP

   H04N 7/18 20060101ALI20180104BHJP

【ＦＩ】

   G08G1/16 C

   G08G1/16 D

   B60R1/00 A

   B60R11/02 C

   H04N7/18 J

【請求項の数】5

【全頁数】19

(21)【出願番号】特願2014-91571(P2014-91571)

(22)【出願日】2014年4月25日

(65)【公開番号】特開2015-210649(P2015-210649A)

(43)【公開日】2015年11月24日

【審査請求日】2017年1月19日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】特許業務法人開知国際特許事務所

(72)【発明者】

【氏名】福田 善文

(72)【発明者】

【氏名】小沼 知恵子

(72)【発明者】

【氏名】石本 英史

(72)【発明者】

【氏名】太田 守飛

(72)【発明者】

【氏名】川股 幸博

【審査官】 吉村 俊厚

(56)【参考文献】

【文献】 特開２００７−２９５０４３（ＪＰ，Ａ）

【文献】 特開２００９−２５３６７３（ＪＰ，Ａ）

【文献】 特開２０１４−０６１８２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

自車両に搭載された複数のカメラを含み、前記複数のカメラにより前記自車両の周囲映像を撮影する周囲映像入力部と、
前記周囲映像入力部から出力される前記周囲映像の一部を合成映像構成用領域として抽出して、抽出した前記合成映像構成用領域から合成俯瞰映像を合成する合成映像構築部と、
前記合成映像構築部から出力される前記合成俯瞰映像を利用者に提示する出力部とを備えた車体近傍障害物報知システムにおいて、
前記周囲映像にて移動障害物が存在するか否かを検知する物体検知部を備え、
前記合成映像構築部は、前記物体検知部の検知結果に基づき、前記合成俯瞰映像上の前記移動障害物の座標情報を算出し、
前記物体検知部が前記移動障害物を検知した場合、前記移動障害物の座標情報を基に前記移動障害物の検知位置が前記合成映像構成用領域の内かもしくは前記周囲映像の内で、かつ前記合成映像構成用領域以外の部分に位置するかを判断する領域判定部と、
前記領域判定部が、前記移動障害物の検知位置を前記周囲映像の内で、かつ前記合成映像構成用領域の外であって自車両の車体下部の空間を撮影した領域であると判断した場合に、前記移動障害物の検知位置座標の情報と撮影された前記移動障害物の映像とを抽出する映像情報抽出部とをさらに備え、
前記合成映像構築部は、前記映像情報抽出部から送出された前記移動障害物の検知位置座標の情報と前記移動障害物の映像とを基に、前記移動障害物の検知位置に前記移動障害物の映像を合成し、前記出力部に出力する
ことを特徴とする車体近傍障害物報知システム。

【請求項2】

請求項１に記載の車体近傍障害物報知システムにおいて、
前記合成映像構築部は、前記映像情報抽出部から送出された前記移動障害物の検知位置座標の情報と前記移動障害物の映像とを基に、前記移動障害物の検知位置を強調表示させると共に、前記移動障害物の映像を前記移動障害物の検知位置とは別の位置に表示させる
ことを特徴とする車体近傍障害物報知システム。

【請求項3】

請求項１に記載の車体近傍障害物報知システムにおいて、
前記領域判定部が、前記移動障害物の検知位置を前記合成映像構成用領域の内と判断した場合にも、前記映像情報抽出部は前記移動障害物の検知位置座標の情報と撮影された前記移動障害物の映像とを抽出し、前記合成映像構築部に送出して前記合成俯瞰映像と合成させる
ことを特徴とする車体近傍障害物報知システム。

【請求項4】

請求項１に記載の車体近傍障害物報知システムにおいて、
前記領域判定部が、前記移動障害物の検知位置を前記周囲映像の内で、かつ前記合成映像構成用領域の外と判断した場合に、前記合成映像構築部は、前記合成俯瞰映像の示す領域以外の部分を半透明表示にすると共に、前記移動障害物の検知位置を強調表示して前記周囲映像を合成させる
ことを特徴とする車体近傍障害物報知システム。

【請求項5】

請求項１に記載の車体近傍障害物報知システムにおいて、
前記移動障害物の検知位置が前記合成映像構成用領域の内から前記周囲映像の内で、かつ前記合成映像構成用領域の外に変化したと前記領域判定部が判断した場合に、前記合成映像構成用領域の内で撮影された前記移動障害物の映像を保持すると共に、
前記移動障害物の検知位置が前記周囲映像の内で、かつ前記合成映像構成用領域の外にある間は、前記移動障害物の検知位置座標の情報と前記保持された前記合成映像構成用領域の内で撮影された前記移動障害物の映像とを前記合成映像構築部に送出して前記合成俯瞰映像と合成させる映像情報抽出部を備える
ことを特徴とする車体近傍障害物報知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車体近傍障害物報知システムに係り、さらに詳しくは、鉱山で作業を行う大型ダンプトラック等の建設機械において、車両近傍の障害物との接触回避を効率化するために、障害物の検知と報告を行う車体近傍障害物報知システムに関する。

【背景技術】

【0002】

車両周囲を含む俯瞰画像を生成し、車両直下の画像も車両の画像と共に透過的に表示する装置において、その車両直下の画像のリアルタイム性および正確性を高めるために、車両の周囲を撮影する車載カメラ、例えば後方監視カメラなどの他に、車両後部の底面に設置し自車両底部直下を撮影する直下用車載カメラを備え、自車両の後退時に、自車両の予想進行領域に障害物があることを検出し、かつ撮影画像中に移動物体があることを検出した場合、現在の直下撮影画像に基づく車両直下の透過的な画像を含む透過鳥瞰画像を生成・表示する車両直下画像表示制御装置がある（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６−２７９７５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

鉱山向けのダンプトラックなど大型の建設機械においては、自車両の車体下部に広い空間が存在する。このため、建設機械の安全な作業を確保するためには、車体下部の空間に人物や車両等の障害物が存在しないことを検知すると共に、障害物が検知された場合には、その障害物が何であるかを認識して報知することが重要になる。例えば、検知した障害物が岩石等であった場合に取るべき処置は、その障害物が人物であった場合に取るべき処置と大きく異なる。

【0005】

建設機械は、一般に、非舗装の凹凸の多い路面や、小石や岩、泥、建設機械自体から漏出する油等の存在する地表面の上で、走行や掘削等の各種作業が実施される。このため、上述した従来の技術を建設機械に適用すると、直下用車載カメラのレンズに泥や油、埃などが付着して視界不良による撮影不能の発生や、飛来した小石や岩などによりカメラ本体の破損の発生が十分に想定される。直下用車載カメラの視界不良や破損が生じると、車体下部の空間の障害物の検知と認識とができなくなり、表示用画像にも表示されないため、作業上の安全を損なう虞がある。

【0006】

本発明は上述の事柄に基づいてなされたものであって、その目的は、大型の建設機械において、直下用車載カメラを配置せずに、車両の周囲を撮影する車載カメラの映像から自車両の車体下部などの合成俯瞰映像として表示されない箇所における移動障害物の検知を行うと共に、その移動障害物を合成表示させることで、利用者に障害物が何かを報知できる車体近傍障害物報知システムを提供するものである。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、第１の発明は、自車両に搭載された複数のカメラを含み、前記複数のカメラにより前記自車両の周囲映像を撮影する周囲映像入力部と、前記周囲映像入力部から出力される前記周囲映像の一部を合成映像構成用領域として抽出して、抽出した前記合成映像構成用領域から合成俯瞰映像を合成する合成映像構築部と、前記合成映像構築部から出力される前記合成俯瞰映像を利用者に提示する出力部とを備えた車体近傍障害物報知システムにおいて、前記周囲映像にて移動障害物が存在するか否かを検知する物体検知部を備え、前記合成映像構築部は、前記物体検知部の検知結果に基づき、前記合成俯瞰映像上の前記移動障害物の座標情報を算出し、前記物体検知部が前記移動障害物を検知した場合、前記移動障害物の座標情報を基に前記移動障害物の検知位置が前記合成映像構成用領域の内かもしくは前記周囲映像の内で、かつ前記合成映像構成用領域以外の部分に位置するかを判断する領域判定部と、前記領域判定部が、前記移動障害物の検知位置を前記周囲映像の内で、かつ前記合成映像構成用領域の外であって自車両の車体下部の空間を撮影した領域であると判断した場合に、前記移動障害物の検知位置座標の情報と撮影された前記移動障害物の映像とを抽出する映像情報抽出部とをさらに備え、前記合成映像構築部は、前記映像情報抽出部から送出された前記移動障害物の検知位置座標の情報と前記移動障害物の映像とを基に、前記移動障害物の検知位置に前記移動障害物の映像を合成し、前記出力部に出力することを特徴とする。

【0009】

更に、第２の発明は、第１の発明において、前記合成映像構築部は、前記映像情報抽出部から送出された前記移動障害物の検知位置座標の情報と前記移動障害物の映像とを基に、前記移動障害物の検知位置を強調表示させると共に、前記移動障害物の映像を前記移動障害物の検知位置とは別の位置に表示させることを特徴とする。

【0010】

更に、第３の発明は、第１の発明において、前記領域判定部が、前記移動障害物の検知位置を前記合成映像構成用領域の内と判断した場合にも、前記映像情報抽出部は前記移動障害物の検知位置座標の情報と撮影された前記移動障害物の映像とを抽出し、前記合成映像構築部に送出して前記合成俯瞰映像と合成させることを特徴とする。

【0011】

また、第４の発明は、第１の発明において、前記領域判定部が、前記移動障害物の検知位置を前記周囲映像の内で、かつ前記合成映像構成用領域の外と判断した場合に、前記合成映像構築部は、前記合成俯瞰映像の示す領域以外の部分を半透明表示にすると共に、前記移動障害物の検知位置を強調表示して前記周囲映像を合成させることを特徴とする。

【0012】

更に、第５の発明は、第１の発明において、前記移動障害物の検知位置が前記合成映像構成用領域の内から前記周囲映像の内で、かつ前記合成映像構成用領域の外に変化したと前記領域判定部が判断した場合に、前記合成映像構成用領域の内で撮影された前記移動障害物の映像を保持すると共に、前記移動障害物の検知位置が前記周囲映像の内で、かつ前記合成映像構成用領域の外にある間は、前記移動障害物の検知位置座標の情報と前記保持された前記合成映像構成用領域の内で撮影された前記移動障害物の映像とを前記合成映像構築部に送出して前記合成俯瞰映像と合成させる映像情報抽出部を備えることを特徴とする。

【発明の効果】

【0013】

本発明によれば、直下用車載カメラを配置せずに、自車両周囲の状況において、自車両の車体下部などの合成俯瞰映像として表示されない箇所における移動障害物の検知を行うと共に、その移動障害物の位置と映像とを合成表示させるので、利用者は、どこにどのような移動障害物が存在するかを迅速に把握できる。これにより、利用者は、検知結果である移動障害物に対してどのように対処すべきかを容易に判断できる、この結果、作業全体の運用効率を向上することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の車体近傍障害物報知システムの第１の実施の形態を備えたダンプトラックを示す側面図である。

【図2】本発明の車体近傍障害物報知システムの第１の実施の形態における周囲映像入力部を構成するカメラの配置を説明する概念図である。

【図3】本発明の車体近傍障害物報知システムの第１の実施の形態を構成するカメラが撮影した映像を示す概念図である。

【図4】本発明の車体近傍障害物報知システムの第１の実施の形態の構成を示すブロック図である。

【図5】本発明の車体近傍障害物報知システムの第１の実施の形態における処理内容を示すフローチャート図である。

【図6】本発明の車体近傍障害物報知システムの第１の実施の形態における移動障害物の検知の例を示す概念図である。

【図7】本発明の車体近傍障害物報知システムの第１の実施の形態における周囲映像からの抽出領域の例を示す概念図である。

【図8】本発明の車体近傍障害物報知システムの第１の実施の形態における合成映像表示の一例を示す概念図である。

【図9】本発明の車体近傍障害物報知システムの第１の実施の形態における映像領域外に存在する障害物の検知の例を説明する概念図である。

【図10】本発明の車体近傍障害物報知システムの第２の実施の形態における強調表示の処理内容を示すフローチャート図である。

【図11】本発明の車体近傍障害物報知システムの第２の実施の形態における映像領域外に存在する障害物の検知の例を説明する概念図である。

【図12】本発明の車体近傍障害物報知システムの第３の実施の形態における映像領域外に存在する障害物の検知の例を説明する概念図である。

【図13】本発明の車体近傍障害物報知システムの第４の実施の形態における強調表示の処理内容を示すフローチャート図である。

【図14】本発明の車体近傍障害物報知システムの第４の実施の形態における映像領域内に存在する障害物の検知の例を説明する概念図である。

【図15】本発明の車体近傍障害物報知システムの第５の実施の形態における自車体下部に存在する障害物の検知の例を説明する概念図である。

【図16】本発明の車体近傍障害物報知システムの第６の実施の形態における強調表示の処理内容を示すフローチャート図である。

【図17】本発明の車体近傍障害物報知システムの第６の実施の形態における自車体周囲から自車体下部に移動した障害物の検知の例を説明する概念図である。

【発明を実施するための形態】

【0015】

以下、鉱山等で採掘した砕石や鉱物等を運搬する大型の運搬車両であるダンプトラックに適用した場合を例にとって本発明の実施の形態を図面を用いて説明する。なお、本発明の適用はダンプトラックに限定されるものではない。

【実施例1】

【0016】

図１は本発明の車体近傍障害物報知システムの第１の実施の形態を備えたダンプトラックを示す側面図である。
図１に示すダンプトラック（自車両）１は、頑丈なフレーム構造で形成された車体２と、車体２上に起伏可能に搭載されたベッセル（荷台）３と、車体２に装着された左前輪４Ａ（L）及び左後輪４Ｂ（L）を主に備えている。

【0017】

車体２には、後輪４Ｂを駆動するエンジン（図示せず）が配設されている。エンジンは、例えば、エンジン制御装置（以下ＥＣＵという）を有し、ＥＣＵからの指令信号によって、供給される燃料流量が制御されることで、その回転数が制御されている。

【0018】

ベッセル３は、砕石物等の荷物を積載するために設けられた容器であり、ピン結合部５等を介して車体２に対して起伏可能に連結されている。ベッセル３の下部には、車両の幅方向に所定の間隔を介して２つの起伏シリンダ６が設置されている。起伏シリンダ６に圧油が供給・排出されると、起伏シリンダ６が伸長・縮短してベッセル３が起伏される。また、ベッセル３の前側上部には庇部７が設けられている。

【0019】

庇部７は、その下側（すなわち車体２の前部）に設置された運転室８を岩石等の飛散物から保護するとともに、車両転倒時等に運転室８を保護する機能を有している。運転室８の内部には、車体近傍障害物報知システムを構成する制御装置１００（図４参照）と、操舵用のハンドル（図示せず）と、アクセルペダル及びブレーキペダル等（図示せず）とが設置されている。

【0020】

図２は本発明の車体近傍障害物報知システムの第１の実施の形態における周囲映像入力部を構成するカメラの配置を説明する概念図、図３は本発明の車体近傍障害物報知システムの第１の実施の形態を構成するカメラが撮影した映像を示す概念図である。

【0021】

図２において、ダンプトラック１の車体２の前側面と後側面とには、ダンプトラック１の前方を広角で撮影する前方カメラ３０１と、ダンプトラック１の後方を広角で撮影する後方カメラ３０３とが設けられている。また、車体２の左側面と右側面とには、ダンプトラック１の左方向を広角で撮影する左方向カメラ３０２と、ダンプトラック１の右方向を広角で撮影する右方向カメラ３０４とが設けられている。これらのカメラ３０１〜３０４は、それぞれの地表面を主に撮影できるように、車体２の各面に俯角をつけて取付けられている。また、ダンプトラック１の車体２には、右前輪４Ａ（R）と左後輪４Ｂ（R）とが装着されている。

【0022】

図３はこれらのカメラ３０１〜３０３が撮影した周囲映像の例を示す。４０１は前方カメラ３０１が撮影した前方映像の例を示す。４０２は左方向カメラ３０２が撮影した左方向映像の例を示す。４０３は後方カメラ３０３が撮影した後方映像の例を示す。４０４は右方向カメラ３０４が撮影した右方向映像の例を示す。

【0023】

周囲映像４０１〜４０４は、それぞれ広角で撮影されるため遠方、すなわち各映像の上部に映し出されている地平線が湾曲して見えている。また、近傍、すなわち各映像の下部に車体２の一部や左右前輪４Ａ（R），４Ａ（L）の一部や左右後輪４Ｂ（R），４Ｂ（L）の一部が映っている。前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４を合わせたものが本実施の形態における周囲映像である。

【0024】

図４は本発明の車体近傍障害物報知システムの第１の実施の形態の構成を示すブロック図である。図４において、車体近傍障害物報知システムの第１の実施の形態は、車体近傍障害物報知装置１００と、周囲映像入力部１０１とを備えている。

【0025】

周囲映像入力部１０１は、ダンプトラック１の周囲の様子をそれぞれ撮影する複数のカメラ３０１〜３０４を備えている。周囲映像入力部１０１は、撮影結果である複数の周囲映像４０１〜４０４を車体近傍障害物報知装置１００へ送信する。

【0026】

車体近傍障害物報知装置１００は、物体検知部１０２と領域判定部１０３と映像情報抽出部１０４と合成映像構築部１０５と出力部１０６とを備えている。

【0027】

物体検知部１０２は、周囲映像入力部１０１が送信した複数の周囲映像４０１〜４０４に関して検知処理を行い、移動障害物が映像中に存在するか否かを判断し、その結果を領域判定部１０３と合成映像構築部１０５とへ出力する。

【0028】

領域判定部１０３は、物体検知部１０２から移動障害物を検知した信号を受信した場合に、合成映像構築部１０５からの合成映像上の移動障害物の検知位置座標等の位置情報を基に、移動障害物の位置が映像領域の内か外かを判定する。映像領域外の場合には、検知位置座標を周囲映像とともに映像情報抽出部１０４へ出力する。

【0029】

映像情報抽出部１０４は、領域判定部１０３から入力した検知位置座標を基に、周囲映像の中から検知位置に該当する映像を抽出し、検知結果抽出映像として検知位置座標とともに合成映像構築手段部１０５へ出力する。

【0030】

合成映像構築部１０５は、周囲映像入力部１０１の送信した複数の周囲映像４０１〜４０４と、物体検知部１０２から移動障害物を検知した信号と、位置映像情報抽出部１０４から移動障害物の位置を示す検知位置座標信号と検知結果抽出映像とを入力する。合成映像構築部１０４は、まず、移動障害物の検知結果の座標情報に対して合成映像上の座標変換を行い、その信号を領域判定部１０３へ出力する。次に、合成俯瞰映像を生成するために入力した周囲映像の中から必要な部分を切り出し座標変換後に合成を行うと共に、入力した検知位置座標を基に障害物の検知位置検知結果抽出映像を合成し、得られた合成映像を出力部１０５へ出力する。

【0031】

出力手段１０５は、ディスプレイ等を備え、合成映像構築部１０５から入力した合成映像を利用者に対して出力する。

【0032】

次に、本発明の車体近傍障害物報知システムの第１の実施の形態における移動障害物の検知と表示の処理内容について図５乃至図９を用いて説明する。図５は本発明の車体近傍障害物報知システムの第１の実施の形態における処理内容を示すフローチャート図、図６は本発明の車体近傍障害物報知システムの第１の実施の形態における移動障害物の検知の例を示す概念図、図７は本発明の車体近傍障害物報知システムの第１の実施の形態における周囲映像からの抽出領域の例を示す概念図、図８は本発明の車体近傍障害物報知システムの第１の実施の形態における合成映像表示の一例を示す概念図、図９は本発明の車体近傍障害物報知システムの第１の実施の形態における映像領域外に存在する障害物の検知の例を説明する概念図である。図５乃至図９において、図１乃至図４に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0033】

図５において、車体近傍障害物報知装置１００は、周囲映像入力を行う（ステップＳ２０１）。具体的には、周囲映像入力部１０１で撮影した周囲映像４０１〜４０４を入力する。

【0034】

車体近傍障害物報知装置１００は、障害物の検知処理を実行する（ステップＳ２０２）。具体的には、図４に示す物体検知部１０２にて移動障害物の検知処理を実行する。検知の対象とする映像は、周囲映像入力部１０１から入力する前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４である。

【0035】

検知処理の一例を図６を用いて説明する。図６は左方向映像４０２における障害物の検知を示すものであって、上から順に、（ａ）ある特定時刻ｔ_０より前の時刻である時刻ｔ_０−１における映像、（ｂ）ある特定時刻ｔ_０における映像、（ｃ）障害物検知結果を示す映像、（ｄ）検知結果映像を示している。

【0036】

ここで、図６（ａ）には、時刻ｔ_０−１における障害物５０１が左方向映像４０２上に撮影されている様子が示され、図６（ｂ）には特定時刻ｔ_０における障害物５０２が左方向映像４０２上に撮影されている様子が示されている。これらの障害物５０１と５０２は人物であって同一のものであり、時間の推移に伴って移動している様子が左方向カメラ３０２によって撮影されている。図６（ａ）〜（ｃ）では、障害物である人物が前輪４Ａ（Ｌ）と後輪４Ｂ（Ｌ）の間に立った状態で存在している。この状況で映像を撮影した場合は、映像内で向かって下側に頭部が、上側に脚部が映され、脚部より頭部の方がカメラにより近いため頭部がより大きく映されている。

【0037】

図４に示す物体検知部１０２は、周囲映像入力部１０１から入力するこれらの映像を比較し、時間の推移に伴って映像に変化が発生した箇所を算出する。算出により得られた、図６（ｃ）に示す後述する抽出領域外の検知結果５０３は左方向映像４０２上での座標情報を保持している。なお、映像に変化が発生していない場合はこのような検知結果は得られない。

【0038】

図５に戻り、車体近傍障害物報知装置１００は、（ステップＳ２０２）における検知処理による移動障害物の検知の有無を判断する（ステップＳ２０３）。移動障害物を検知した場合には、（ステップＳ２０４）へ進み、それ以外の場合には、（ステップＳ２０７）へ進む。

【0039】

車体近傍障害物報知装置１００は、検知箇所の座標を算出する（ステップＳ２０４）。具体的には、図４に示す物体検知部１０２において前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４の中で得られた移動障害物の部位を座標情報に変換し、その信号を合成映像構築部１０５へ出力する。合成映像構築部１０５では、入力信号を変換することで合成映像における座標情報を算出する。この変換は後述する（ステップＳ２０７）で行う合成映像の構築のための処理と同じであり、具体的には、前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４から一部を切り出して境界を接するように並べることにより、ダンプトラック（自車両）１の前後左右にわたる周囲の状況を表示させる。

【0040】

この例を図７及び図８を用いて説明する。図７の周囲映像４０１〜４０４において、それぞれの内部に前方抽出領域６０１、左方向抽出領域６０２、後方抽出領域６０３、右方向抽出領域６０４を設ける。これらの抽出領域は、広角カメラの特性を基に、ダンプトラック１の真下から始まって一定距離だけ離れた部分までの間が映ることと、隣接するカメラから入力する映像における抽出領域と当該カメラから入力する映像における抽出領域とが重ならずに隣接することを基に範囲が設定されている。

【0041】

次に、これら抽出領域６０１〜６０４に対して座標変換及び合成を行うことで、図８に示す合成映像６０５を構築する。図８の合成映像６０５の内部では、前方抽出領域６０１は前方変換映像６０６へと変換されている。同様に、左方向抽出領域６０２は左方向変換映像６０７に、後方抽出領域６０３は後方変換映像６０８に、右方向抽出領域６０４は右方向変換映像６０９へと変換されている。

【0042】

合成映像６０５では、これらの変換映像６０６〜６０９は順次隣接するように配置されていて、本実施の形態においては、ダンプトラック１の周囲を俯瞰した映像を表現している。なお、座標変換及び配置の結果映像が存在しない部分は、にはダンプトラック（自車両）１が存在している領域を示すため、利用者にこれを明示するために自車アイコン６１０を合成している。

【0043】

図５に戻り、車体近傍障害物報知装置１００は、（ステップＳ２０４）における検知箇所の座標が変換映像の領域外にあるか否かを判断する（ステップＳ２０５）。具体的には領域判定部１０３が、合成映像構築部１０５からの合成映像上の移動障害物の検知位置座標等の位置情報を基に、移動障害物の位置が映像領域の内か外かを判定する。移動障害物が変換映像の領域外の場合には、（ステップＳ２０６）へ進み、それ以外の場合には、（ステップＳ２０７）へ進む。

【0044】

本実施の形態においては、図６（ｃ）に示すように、抽出領域外における検知結果を配置した映像５０３は、左方向映像４０２の内部にはあるものの左方向抽出領域６０２の外部に存在する。この座標情報に変換を加えると、変換後の座標情報は、図８に示す左方向変換映像６０７の外部を指し示す。

【0045】

図５に戻り、車体近傍障害物報知装置１００は、検知箇所の映像を抽出する（ステップＳ２０６）。具体的には、変換前の映像内で、検知結果の位置に該当する箇所の映像を、映像情報抽出部１０４が抽出する。本実施の形態においては、図６（ｄ）に示す左方向映像４０２内における抽出領域外の検知結果５０３の位置に該当する、抽出領域外の検知結果映像５０４を抽出し後述する合成映像構築部１０２が保持する。

【0046】

（ステップＳ２０３）にて移動障害物を検知しない場合、又は（ステップＳ２０５）で移動障害物が変換映像の領域外でない場合、又は（ステップＳ２０６）の処理が実行された後には、車体近傍障害物報知装置１００は、合成映像の構築を実行する（ステップＳ２０７）。具体的には、上述した（ステップＳ２０４）の合成映像の構築のための処理であって、合成映像構築部１０２において前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４から一部を切り出し座標変換した上で境界が接するように配置することにより、ダンプトラック（自車両）１の前後左右にわたる周囲の状況を表示させる。

【0047】

ここで、（ステップＳ２０６）の処理が実行された後における合成映像構築部１０２の処理は、他の場合の処理と異なる。（ステップＳ２０３）において移動障害物を検知していると判定した場合は、本システムは検知結果の座標情報を保持している。さらに（ステップＳ２０５）において、検知結果の座標が映像領域の外部に存在していると判定した場合は、本システムは図６（ｄ）に示す検知結果映像５０４を保持している。これらを利用者に示すために、合成映像構築部１０２は図９に示す合成映像６０５に強調表示の設定を行う。

【0048】

具体的には、図６（ｃ）の抽出領域外の検知結果５０３に変換を加え、この変換後の座標上に抽出領域外の検知結果映像５０４を設定することにより、図９に示す合成映像６０５上には抽出領域外における検知結果を配置した映像７０１を表示している。なお、（ステップＳ２０５）において、検知結果の座標が映像領域の内部に存在していると判定した場合は、その位置に矩形を描画する等の他の強調表示を行い、抽出領域外の検知結果映像５０４は使用しない。このことにより、利用者に対して、合成映像６０５上では表示されていない移動障害物に関しても、その存在を強調表示にて通知することが可能である。

【0049】

図５にもどり、車体近傍障害物報知装置１００は、合成映像を出力する（ステップＳ２０８）。具体的には、合成映像構築部１０４が合成映像６０５を出力部１０５へ出力する。上述した処理において、移動障害物を検知している場合には、出力部１０５には座標変換後の検知結果７０１のような強調表示が行われた合成映像６０５が出力される。

【0050】

車体近傍障害物報知装置１００は、移動障害物の検知及び出力が完了したかどうかを判定する（ステップＳ２０９）。これらの処理が完了した場合は終了し、それ以外の場合は（ステップＳ２０１）に戻る。

【0051】

上述したように、本実施の形態における移動障害物の検知と報知の処理がなされるので、どの位置にどのような移動障害物を検知したかを利用者に報知し、その内容によって利用者が次に取るべき行動を迅速に判断できるよう作業を促進することが可能になる。

【0052】

上述した本発明の車体近傍障害物報知システムの第１の実施の形態によれば、直下用車載カメラを配置せずに、自車両１周囲の状況において、自車両１の車体下部などの合成俯瞰映像として表示されない箇所における移動障害物の検知を行うと共に、その移動障害物の位置と映像とを合成表示させるので、利用者は、どこにどのような移動障害物が存在するかを迅速に把握できる。これにより、利用者は、検知結果である移動障害物に対してどのように対処すべきかを容易に判断できる、この結果、作業全体の運用効率を向上することができる。

【実施例2】

【0053】

以下、本発明の車体近傍障害物報知システムの第２の実施の形態を図面を用いて説明する。図１０は本発明の車体近傍障害物報知システムの第２の実施の形態における強調表示の処理内容を示すフローチャート図、図１１は本発明の車体近傍障害物報知システムの第２の実施の形態における映像領域外に存在する障害物の検知の例を説明する概念図である。図１０及び図１１において、図１乃至図９に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0054】

本実施の形態における車体近傍障害物報知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第２の実施の形態においては、自車両１の下部にあって合成映像６０５上では表示されていない移動障害物を検知した場合に、検知した箇所を強調表示すると共に、その検知結果の映像（障害物の映像）は自車アイコン６１０と合成映像６０５の外側に引出線を介して表示することで利用者に報知する点が第１の実施の形態と異なる。また、本実施の形態における処理の流れも図５に類似するが、（ステップＳ２０６）の後に処理を追加する点が異なるため、この部分に関して図１０を用いて説明する。

【0055】

図１０において、（ステップＳ２０３）にて移動障害物を検知し、かつ（ステップＳ２０５）にて検知結果の座標が映像領域の外部に存在していると判定した場合、（ステップＳ２０６）の処理の後で、本システムの保持する抽出領域外の検知結果映像５０４を利用者に示すために、強調表示の設定（ステップＳ８０１）が実行される。

【0056】

具体的には、図１１に示すような合成映像６０５等が出力部１０６に出力される。図１１に示すように合成映像６０５の周縁部には表示余剰領域９０１が存在している。表示余剰領域９０１は、出力部１０６において合成映像６０５の全体を表示する際、映像の縦横比を保つといった理由等により映像を表示しきれない領域を指し、通常この領域には何も表示しない。

【0057】

本実施の形態においては、（ステップＳ８０１）において、合成映像構築部１０５が、抽出領域外の検知結果５０３に変換を加え、この変換後の座標上に検知箇所の強調表示９０２を設定する。本例では、太線で円を描いて表示している。

【0058】

次に、合成映像構築部１０５は、検知箇所の強調表示９０２が存在する位置に最も近く、かつ抽出領域外の検知結果映像５０４を描画するのに足りる面積を持つ領域を表示余剰領域９０１から探索する。探索の結果発見した位置まで連結矢印９０３の描画を設定する。本例では、合成映像６０５の上部の位置まで連結矢印９０３が表示されている。

【0059】

次に、探索の結果発見した位置に、抽出領域外における検知結果を配置した映像７０１の描画を設定する。このことにより、例えば、抽出領域外の検知結果映像５０４の色や形状が、自車アイコン６１０の色や形状と類似していた場合でも、抽出領域外の検知結果映像５０４が表示余剰領域９０１に示されているので、抽出領域外の検知結果映像５０４の色や形状といった特徴が強調されはっきりと認識することができる。この結果、利用者が次に取るべき行動を迅速に判断できるので、作業全体の運用効率を向上することができる。

【0060】

本実施の形態においては、移動障害物の位置は、その検知位置に表示されるが、検知結果である障害物の映像は、検知位置とは別の部位に表示されることを特徴としている。

【0061】

上述した本発明の車体近傍障害物報知システムの第２の実施の形態によれば、上述した第１の実施の形態と同様な効果を得ることができる。

【0062】

また、上述した本発明の車体近傍障害物報知システムの第２の実施の形態によれば、利用者は、検知結果の映像（障害物の映像）５０４を表示余剰領域９０１で認識するので、検知結果の映像５０４の色や形状が、自車アイコン６１０の色や形状と類似していた場合でも、特徴が強調されはっきりと認識できる。この結果、より安全性を確保できる。

【実施例3】

【0063】

以下、本発明の車体近傍障害物報知システムの第３の実施の形態を図面を用いて説明する。図１２は本発明の車体近傍障害物報知システムの第３の実施の形態における映像領域外に存在する障害物の検知の例を説明する概念図である。図１２において、図１乃至図１１に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0064】

本実施の形態における車体近傍障害物報知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第３の実施の形態においては、自車両１の下部にあって合成映像６０５上では表示されていない移動障害物を検知した場合に、検知した箇所を強調表示すると共に、その検知結果の映像（障害物の映像）を自車アイコン６１０の中心部に表示することで利用者に報知する点が第１の実施の形態と異なる。また、本実施の形態における処理の流れは、図１１に示す処理と同様である。但し（ステップＳ８０１）の処理内容が異なるため、この部分に関して説明する。

【0065】

強調表示の設定（ステップＳ８０１）が実行されると、図１２に示すような合成映像６０５が出力部１０６に出力される。具体的には、合成映像構築部１０５が、抽出領域外の検知結果５０３に変換を加え、この変換後の座標上に検知箇所を明示するための強調表示を設定する。本例では、自車アイコン６１０の中心部付近から変換後の座標に向かって検知箇所を示す矢印１００１を表示している。

【0066】

次に、合成映像構築部１０５は、自車アイコン６１０の中心部分に、抽出領域外における検知結果を配置した映像７０１の描画を設定する。なお、移動障害物を複数検知した場合は、最後に検知した移動障害物に関してこの処理を適用する。このことにより、移動障害物を検知した位置が変換映像の領域外にある場合、自車アイコン６１０の位置を見れば必ず抽出領域外における検知結果を配置した映像７０１が存在する。この結果、利用者は検知結果を発見するための視点移動を抑えることができ、迅速に状況を把握することが可能になる。

【0067】

本実施の形態においては、移動障害物の位置は、その検知位置に表示されるが、検知結果である障害物の映像は、検知位置とは別の部位に表示されることを特徴としている。

【0068】

上述した本発明の車体近傍障害物報知システムの第３の実施の形態によれば、上述した第１の実施の形態と同様な効果を得ることができる。

【0069】

また、上述した本発明の車体近傍障害物報知システムの第２の実施の形態によれば、利用者は、移動障害物の映像を発見するための視点移動を抑えることができる。この結果、迅速に状況を把握することが可能になり、より安全性を確保できる。

【実施例4】

【0070】

以下、本発明の車体近傍障害物報知システムの第４の実施の形態を図面を用いて説明する。図１３は本発明の車体近傍障害物報知システムの第４の実施の形態における強調表示の処理内容を示すフローチャート図、図１４は本発明の車体近傍障害物報知システムの第４の実施の形態における映像領域内に存在する障害物の検知の例を説明する概念図である。図１３及び図１４において、図１乃至図１２に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0071】

本実施の形態における車体近傍障害物報知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第４の実施の形態においては、合成映像６０５内に表示されている領域内で移動障害物を検知した場合に、検知した箇所に対して、座標変換を適用する前の検知結果の映像（障害物の映像）を表示して利用者に報知する点が第１の実施の形態と異なる。また、本実施の形態における処理の流れも図５に類似するが、（ステップＳ２０５）の後に処理を追加する点が異なるため、この部分に関して図１３を用いて説明する。

【0072】

図１３において、（ステップＳ２０３）にて移動障害物を検知し、かつ（ステップＳ２０５）にて検知結果の座標が映像領域の内部に存在していると判定した場合、本システムの保持する座標変換を適用する前の検知結果映像を利用者に示すために強調表示の設定（ステップＳ１１０１）が実行される。

【0073】

具体的には、図１４の左側に示す左方向映像４０２を基に図１４の右側に示す合成映像６０５を構成する。本例では、移動障害物は左方向抽出領域６０２の内部にあり、抽出領域内の検知結果１２０１として示されている。上述した他の実施の形態においては、この検知結果は、（ステップＳ２０７）の合成映像の構築により、座標変換を適用し出力部１０６に表示していたが、本例では、座標変換を適用せず、抽出領域内の検知結果映像１２０２として合成映像６０５内に設定している。

【0074】

このことにより、抽出領域外における検知結果を配置した映像７０１と類似した見映えの検知結果映像を合成映像６０５内に設定でき、利用者が検知結果を把握する際の混乱を減少させることが可能になる。また、座標変換を行わない映像を利用者に示すことで、カメラの存在する位置から実際に観測した状態に近い映像を表示でき、利用者による現場の様子の把握が容易になる。

【0075】

上述した本発明の車体近傍障害物報知システムの第４の実施の形態によれば、上述した第１の実施の形態と同様な効果を得ることができる。

【0076】

また、上述した本発明の車体近傍障害物報知システムの第４の実施の形態によれば、利用者は、カメラの存在する位置から実際に観測した状態に近い映像を認識することができる。この結果、現場の様子の把握が容易になり、より安全性を確保できる。

【実施例5】

【0077】

以下、本発明の車体近傍障害物報知システムの第５の実施の形態を図面を用いて説明する。図１５は本発明の車体近傍障害物報知システムの第５の実施の形態における合成俯瞰映像と移動障害物の検知結果表示の一例を示す概念図である。図１５において、図１乃至図１４に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0078】

本実施の形態における車体近傍障害物報知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第５の実施の形態においては、自車両１の下部にあって合成映像６０５上では表示されていない移動障害物を検知した場合に、自車両１下部の一部領域を自車アイコン６１０上に重ねて表示し、その検知結果の映像（障害物の映像）と併せて表示することで利用者に報知する点が第１の実施の形態と異なる。また、本実施の形態における処理の流れは、図１１に示す処理と同様である。但し（ステップＳ８０１）の処理内容が異なるため、この部分に関して説明する。

【0079】

強調表示の設定（ステップＳ８０１）が実行されると、図１５に示すような合成映像６０５が出力部１０６に出力される。具体的には、合成映像構築部１０５が、抽出領域外の検知結果５０３に変換を加え、この変換後の座標上に検知箇所を明示するための強調表示を設定する。本例では、抽出領域外における検知結果を配置した映像７０１の他に、その周囲の様子を示す検知結果周囲映像１３０１（斜線部）を併せて設定して表示している。

【0080】

検知結果周囲映像１３０１とは、例えば移動障害物を検知した映像に含まれる自車両１下部の映像とすることができる。この場合、図７に示す左方向映像４０２内における左方向抽出領域６０２以外の部分が該当する。左方向映像４０２内において、映像の見かけ上、左方向抽出領域６０２の下側に自車両１の下部が存在するので、図１５において、この部分の映像を使用できる。

【0081】

なお、検知結果周囲映像１３０１には、座標変換前の映像、あるいは座標変換後の映像のいずれかを設定できる。検知結果とその周囲の状況とを併せて表示できるので、利用者が、検知結果の発生原因や今後の挙動を容易に推測できる。

【0082】

上述した本発明の車体近傍障害物報知システムの第５の実施の形態によれば、上述した第１の実施の形態と同様な効果を得ることができる。

【0083】

また、上述した本発明の車体近傍障害物報知システムの第５の実施の形態によれば、利用者は、検知結果である移動障害物の発生原因や今後の挙動を容易に推測できる。この結果、迅速に状況を把握することが可能になり、より安全性を確保できる。

【実施例6】

【0084】

以下、本発明の車体近傍障害物報知システムの第６の実施の形態を図面を用いて説明する。図１６は本発明の車体近傍障害物報知システムの第５の実施の形態における強調表示の処理内容を示すフローチャート図、図１７は本発明の車体近傍障害物報知システムの第５の実施の形態における映像領域内に存在する障害物の検知の例を説明する概念図である。図１６及び図１７において、図１乃至図１５に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

【0085】

本実施の形態における車体近傍障害物報知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第６の実施の形態においては、自車両１の周囲で検知した移動障害物が、自車両１の下部に移動した場合に、自車両１の周囲で検知した際の映像（障害物の映像）を、自車両１の下部の移動障害物が存在する位置に表示して利用者に報知する点が第１の実施の形態と異なる。また、本実施の形態における処理の流れも図５に類似するが、（ステップＳ２０５）の後に処理を追加する点が異なるため、この部分に関して図１６を用いて説明する。

【0086】

図１６において、（ステップＳ２０３）にて移動障害物を検知し、かつ（ステップＳ２０５）にて検知結果の座標が映像領域の内部に存在していると判定した場合、検知結果映像を抽出し保持する処理（ステップＳ１４０１）が実行される。また、（ステップＳ２０５）にて検知結果の座標が映像領域の外部に存在していると判定した場合には、（ステップＳ２０６）に替えて本システムの保持する映像領域内部での検知結果映像を利用者に示すために強調表示の設定（ステップＳ１４０２）が実行される。

【0087】

具体的には、図１７の左側は、移動障害物が映像領域である左方向抽出領域６０２の内部に存在する時点における左方向映像４０２を示し、図１７の右側に、その後に、移動障害物が映像領域の外部に移動した時点における合成映像６０５を示している。

【0088】

ある時点において、映像領域の内部に存在している移動障害物を検知した場合、検知結果映像の抽出（ステップＳ１４０１）処理が実行される。具体的には図１７の左側に示す抽出領域内の検知結果１２０１を取得し映像情報抽出部１０４が保持する。その後、移動障害物が移動し自車両１の下部に入ると、移動障害物は映像領域の内部から外部へと移動する。このとき、図１６に示す（ステップＳ２０５）の判定結果が変化し、強調表示の設定（ステップＳ１４０２）処理が実行される。

【0089】

具体的には、図１７の右側に示すように、自車アイコン６１０に重なるように抽出領域外における検知結果を配置した映像７０１を表示するが、この映像の内容には（ステップＳ１４０１）にて取得した映像情報抽出部１０４に保持したものを用いる。

【0090】

利用者が肉眼で視認可能な移動障害物の状態に近い映像を表示できるので、利用者による現場の様子の把握が容易になる。
また、自車両１の周囲に比べて光があまり到達しないために相対的に暗い映像の取得が想定される自車両１の下部で検知結果の映像を取得する場合に比べて、より明るい映像の取得が期待できる。このことにより、自車両１の下部に移動障害物が移動した場合でも、利用者は、容易に移動障害物の様子を把握できる。

【0091】

上述した本発明の車体近傍障害物報知システムの第６の実施の形態によれば、上述した第１の実施の形態と同様な効果を得ることができる。

【0092】

また、上述した本発明の車体近傍障害物報知システムの第６の実施の形態によれば、肉眼で視認可能な移動障害物の状態に近い映像を表示できるので、利用者による現場の様子の把握が容易になる。この結果、迅速に状況を把握することが可能になり、より安全性を確保できる。

【0093】

なお、本発明の実施の形態は建設機械として大型のダンプトラックに適用した場合を例に説明したが、これに限られるものではない。建設現場における大型機械や災害現場における大型の作業機械にも適用することができる。

【0094】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

【符号の説明】

【0095】

１ ダンプトラック（自車両）
２ 車体
３ ベッセル（荷台）
４Ａ 前輪
４Ｂ 後輪
８ 運転室
１００ 車体近傍障害物報知装置
１０１ 周囲映像入力部
１０２ 物体検知部
１０３ 領域判定部
１０４ 映像情報抽出部
１０５ 合成映像構築部
１０６ 出力部
３０１ 前方カメラ
３０２ 左方向カメラ
３０３ 後方カメラ
３０４ 右方向カメラ
４０１ 前方映像
４０２ 左方向映像
４０３ 後方映像
４０４ 右方向映像
５０１ 時刻ｔ_０−１における移動障害物
５０２ 時刻ｔ_０における移動障害物
５０３ 抽出領域外の検知結果
５０４ 抽出領域外の検知結果映像
６０１ 前方抽出領域
６０２ 左方向抽出領域
６０３ 後方抽出領域
６０４ 右方向抽出領域
６０５ 合成映像
６０６ 前方変換映像
６０７ 左方向変換映像
６０８ 後方変換映像
６０９ 右方向変換映像
６１０ 自車アイコン
７０１ 抽出領域外における検知結果を配置した映像
９０１ 検知メッセージ
９０２ 検知箇所の強調表示
１２０１ 抽出領域内の検知結果
１２０２ 抽出領域内の検知結果映像
１３０１ 検知結果周囲映像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】