(58)【調査した分野】(Int.Cl.,DB名)
前記動作画像出力部は、前記明示指標が回転しながら前記注目撮影画像における前記物体の上方位置に移動する画像を出力するように構成してある請求項1に記載の障害物警報装置。
前記動作画像出力部は、前記明示指標が前記注目撮影画像に対応する領域に進入した前記物体の移動に追従して移動する画像を出力するように構成してある請求項1又は2に記載の障害物警報装置。
前記動作画像出力部は、前記明示指標が前記物体の画面横方向への移動にのみ追従して画面横方向にのみ移動する画像を出力するように構成してある請求項3に記載の障害物警報装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1や特許文献2に記載の技術のように車両の周囲の障害物を検出し、当該障害物を明示する情報(矢印等)を画面表示することで運転者に車両の周囲の障害物の存在を報知することが可能である。しかしながら、車両に搭載されるディスプレイ(表示手段)の画面サイズは大きいものではない。このため、ディスプレイに表示される車両の周囲の状況を示す画像上に矢印等を単に表示すると、その矢印等が画像中に紛れ込んで、運転者が矢印等を見失ったり何等かの物体と勘違いして、車両の周囲の状況が見難くなったり障害物を把握できなくなったりする可能性がある。
【0007】
本発明の目的は、上記問題に鑑み、車両の周囲の状況を見難くすることなく、車両に接近する障害物の存在を運転者に明示して注意喚起することができる障害物警報装置を提供することにある。
【課題を解決するための手段】
【0008】
本発明による障害物警報装置の第1特徴構成は、
車両の周囲の情景を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像に基づいて注目撮影画像を生成する注目撮影画像生成部と、
前記注目撮影画像の外側の外側領域に物体が存在するか否かを判定する物体存在判定部と、
前記外側領域の物体が前記注目撮影画像に対応する領域に進入する場合に、前記注目撮影画像における前記物体が存在する外側領域の側の端部に表示する、前記物体の存在を明示する明示指標を含む明示画像を出力する明示画像出力部と、
前記外側領域の物体が前記注目撮影画像に対応する領域に進入したときに、前記明示指標
を、その形状を徐々に小さくしながら、前記注目撮影画像内における前記物体の上方位置に移動させ、矢印形状となる頂部を前記物体に向かう姿勢に設定し、かつ、当該明示指標を、前記注目撮影画像の上部に生成される障害物存在エリアの下縁下側に表示する画像を出力する動作画像出力部と、
を備える点にある。
【0009】
本構成の障害物警報装置は、注目撮影画像の外側領域に物体が存在するか否かを判定して、外側領域の物体が注目撮影画像に対応する領域に進入する場合に、注目撮影画像における物体が存在する外側領域の側の端部に、その物体の存在を明示する明示指標を表示する。
このため、車両に備えられる表示装置(例えばモニタ)の画面に物体が映っていなくても、車両に接近する物体が撮影範囲内に入った時点で、車両の周囲の状況を表示しつつ、運転者に対して車両に接近する物体の存在及びその接近方向を予め明示することができる。
したがって、表示装置の画面サイズが小さい場合でも、車両に接近する物体を見逃すおそれが少ない。
【0010】
また、物体が前記注目撮影画像に対応する領域に進入したときに、前記明示指標
を、その形状を徐々に小さくしながら、前記注目撮影画像内における前記物体の上方位置に移動させ、矢印形状となる頂部を前記物体に向かう姿勢に設定し、かつ、当該明示指標を、前記注目撮影画像の上部に生成される障害物存在エリアの下縁下側に表示する画像を出力する。
このため、注目撮影画像に対応する領域に進入した物体の存在を明示指標で明示するにあたって、明示指標が画像中に紛れ込んで、運転者が明示指標を見失ったり何等かの物体と勘違いしないように
なると共に、明示指標の頂部が指す方向から物体の位置を把握できる。
したがって、本構成の障害物警報装置であれば、車両の周囲の状況を見難くすることなく、車両に接近する障害物(物体)の存在を運転者に明示して注意喚起することができる。
【0011】
本発明の第2特徴構成は、前記動作画像出力部は、前記明示指標が回転しながら前記注目撮影画像における前記物体の上方位置に移動する画像を出力するように構成してある点にある。
【0012】
本構成であれば、注目撮影画像に対応する領域に進入した物体の存在を明示指標で明示するにあたって、注目撮影画像に対応する領域に進入した物体を運転者が見難くならないように、明示指標を物体の上方位置に移動させて、運転者に対して効果的に注意喚起することができる。
【0013】
本発明の第3特徴構成は、前記動作画像出力部は、前記明示指標が前記注目撮影画像に対応する領域に進入した前記物体の移動に追従して移動する画像を出力するように構成してある点にある。
【0014】
本構成であれば、進入した物体の現在位置を明示することができるので、運転者に対して効果的に注意喚起することができる。
【0015】
本発明の第4特徴構成は、前記動作画像出力部は、前記明示指標が前記物体の画面横方向への移動にのみ追従して画面横方向にのみ移動する画像を出力するように構成してある点にある。
【0016】
本構成であれば、注目撮影画像に対応する領域に進入した物体の移動に追従させるべき、注目撮影画像における明示指標の動きを単純化することができるので、運転者が明示指標を見失い難く、運転者に対してより効果的に注意喚起することができる。
【発明を実施するための形態】
【0018】
以下、本発明の実施の形態について、詳細に説明する。本発明に係る障害物警報装置100は、車両に接近する歩行者や車両などの物体がある場合に当該車両の運転者に物体が接近していることを明示する機能を備えている。
本実施形態では、駐車場などにおける車両の後進時に、その車両の後方側に物体がある場合に当該車両の運転者に物体が接近していることを明示する機能を備えている。
以下、図面を用いて説明する。
【0019】
図1は、障害物警報装置100の構成を模式的に示したブロック図である。
図1に示すように、障害物警報装置100は、撮影画像取得部11、注目撮影画像生成部12、外側領域生成部13、物体存在判定部14、移動判定部15、明示画像出力部16、明示画像格納部17、合成画像生成部18、マスク領域設定部19、障害物存在エリア生成部20、障害物存在エリア強調表示部21、動作画像出力部30、動作画像格納部31の各機能部を備えて構成される。各機能部はCPUを中核部材として車両1の運転者に物体7の接近を明示する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
【0020】
図2に示すように、撮影画像取得部11は、車両1が備えるカメラ5で当該車両1の周囲の情景を撮影した撮影画像Gを取得する。本実施形態におけるカメラ5は、CCD(charge coupled device )やCIS(CMOS image sensor )などの撮像素子を内蔵するとともに、撮影した情報を動画情報として出力するデジタルカメラにより構成される。
【0021】
カメラ5は、
図2(a)に示すように、車両1の外側後部に備えられるライセンスプレートの近傍、或いは車両1の外側後部に備えられるエンブレムの近傍等に、車両1の後方に向けてやや俯角を有して配設される。
また、カメラ5は広角レンズ(図示せず)を備えて構成される。これにより、車両1の後方を略180度の角度範囲に亘って、車両1の周囲の情景を撮影することができる。このような撮影範囲は、
図2(a)の「広視野角」として示す。このカメラ5は、リアルタイムで動画を撮影画像Gとして出力する性能を有する。このような撮影画像Gは、撮影画像取得部11に伝達される。
【0022】
このような撮影画像Gの一例を
図2(b)に示す。
図2(b)に示す撮影画像Gの全幅は、
図2(a)の広視野角に対応する。ここで、撮影画像Gは、
図2(a)に示すような車両1から後方を見て左側にいる物体(本実施形態では歩行者)7が、
図2(b)に示すように撮影画像G内の右側にいるように鏡像処理が行われる。これは、モニタ50に車両1の後方の情景を表示する際、車両1の運転者が撮影画像Gに含まれる物体7が車両1の左側にいるのか右側にいるのかを感覚的に理解し易くするためである。
【0023】
図1に戻り、注目撮影画像生成部12は、撮影画像取得部11から伝達された撮影画像Gに基づいて注目撮影画像を生成する。本実施形態では、撮影画像Gの撮影範囲は広視野角である。このため、注目撮影画像生成部12は、撮影画像Gの中央部分である狭視野領域Nを注目撮影画像として生成する。
【0024】
本実施形態では、注目撮影画像は、
図2(b)に示す撮影画像Gの横方向の中央部分が相当する。このような狭視野領域Nは、
図1(a)の「狭視野角」のような例えば車両1の後方120〜130度程度の角度範囲の領域とすると好適である。
また、狭視野領域Nは車両1が後退する際の進行可能範囲に近いので、撮影画像Gのうち特に注目すべき領域であることから「注目撮影画像」と称される。このような注目撮影画像は、後述するモニタ50に表示す表示画像に対応する(
図2(c)参照)。なお、本実施形態では、「注目撮影画像」は「狭視野領域」の画像であるとして説明する。
【0025】
外側領域生成部13は、注目撮影画像の外側の外側領域Oを生成する。すなわち、撮影画像Gのうち狭視野領域Nの外側の外側領域Oを生成する。上述のように、撮影画像Gの横方向の中央部分に注目撮影画像生成部12により狭視野領域Nが生成される。外側領域生成部13はこのような狭視野領域Nの横方向の外側に、
図2(b)に示すような外側領域Oを生成する。外側領域生成部13により生成された外側領域Oは物体存在判定部14に伝達される。
【0026】
物体存在判定部14は、外側領域生成部13から伝達された外側領域Oに物体7が存在するか否かを判定する。物体7が存在するか否かの判定は、例えばパターンマッチング等の公知の画像認識処理を用いて行うことが可能である。もちろん、パターンマッチング以外の処理により、外側領域Oに物体7が存在するか否かを判定することは可能である。物体存在判定部14の判定結果は移動判定部15に伝達される。
【0027】
移動判定部15は、物体存在判定部14により外側領域Oに物体7が存在すると判定された場合に、外側領域Oの物体7の現在位置及び移動方向を判定する。特に本実施形態では、移動判定部15により、外側領域Oの物体7が狭視野領域Nの側に移動するか否かが判定される。
狭視野領域Nの側に移動するとは、車両1の後方において、車両1の幅方向外側から、車両1の真後ろの方向に移動することを示す。移動方向の判定は、例えば撮影画像Gにおける物体7の現在位置と所定時間前の撮影画像Gにおける物体7の位置とを比較して行うことも可能であるし、オプティカルフローを用いるなどの公知の手法を用いて行うことができる。
【0028】
明示画像出力部16は、移動判定部15により外側領域Oの物体7が注目撮影画像に対応する領域の側に移動すると判定された場合に、
図2(c)に示すように、注目撮影画像における物体7が存在する外側領域Oの側の端部に表示する、物体7の存在を明示する明示指標Sを含む明示画像を出力する。
【0029】
本実施形態では、注目撮影画像に対応する領域は、狭視野領域Nに相当する。したがって、明示画像出力部16は、外側領域Oの物体7が狭視野領域Nの側に移動する場合に、注目撮影画像における物体7が存在する外側領域Oの側の端部に表示する、物体7の存在を明示する明示指標Sを含む明示画像を出力する。
狭視野領域Nのうち物体7が存在する外側領域Oの側とは、物体7が左側の外側領域Oにいる場合には狭視野領域N内の左側の領域が相当する。一方、物体7が右側の外側領域Oにいる場合には狭視野領域N内の右側の領域が相当する。
【0030】
本実施形態では、明示画像出力部16は、外側領域Oの物体7が車両1の狭視野領域Nの側に移動する場合に、狭視野領域Nのうち物体7が存在する外側領域Oの側から中央側に向けて、一定時間点灯したのち消灯する明示指標Sを表示させる。
一定時間点灯したのち消灯する明示指標Sとは、明示指標Sが連続して表示されている状態ではなく、明示指標Sが点滅して表示されている状態を示す。
【0031】
ここで、明示指標Sについて説明する。本実施形態に係る明示指標Sは、注目撮影画像(狭視野領域N)の中央側に向けて突出する頂部を有する二等辺三角形の矢印形状に構成されている。このような明示指標Sは、
図2(d)に示すように明示画像格納部17に格納されている。
図2(c)は、
図2(b)に示すような撮影画像G、すなわち右側の外側領域Oに物体7がいる場合に車両1のモニタ50に表示される画像を示す。
【0032】
明示画像出力部16は、本実施形態では、
図2(c)に示すように、明示指標Sを狭視野領域Nである注目撮影画像に合成してモニタ50に表示する。そこで、合成画像生成部18は、注目撮影画像に明示指標Sを合成した合成画像を生成する。これにより、
図2
(c),
図4に示すような画像が生成され、車両1の乗員に対して当該車両1に物体7が接近していることを視覚的に明示することができる。
【0033】
マスク領域設定部19は、注目撮影画像のうち、車両1の周囲の情景の少なくとも一部を非表示にするマスク領域Mを設定する。本実施形態では、マスク領域Mは
図2(c)に示すように、画面上部、すなわち、注目撮影画像内の上側部分に設定される。このマスク領域Mは、注目撮影画像の横方向両側に亘って一定幅の帯状に形成される。マスク領域M内は、車両1の上方の情景が見えないように、例えば黒色で彩色される。もちろん、他の色で彩色しても良い。
【0034】
障害物存在エリア生成部20は、移動判定部15により外側領域Oの物体7が狭視野領域Nの側に移動すると判定されると、
図3(c)に示すように、マスク領域Mに障害物存在エリアBを生成する。
障害物存在エリアBは、注目撮影画像における左右両側の端部存在エリアB1,B3と、両端部存在エリアB1,B3の間の中間存在エリアB2とを有する。
障害物存在エリア強調表示部21は、外側領域Oの物体7が車両1の狭視野領域Nの側に移動する場合に、物体7が存在する外側領域Oの側の端部存在エリアB3を例えば赤色に着色して、明示指標Sの点滅動作に同期して点滅させ、物体7が狭視野領域Nに進入したときに、端部存在エリアB3の着色及び点滅動作を解除する。
【0035】
動作画像出力部30は、物体7が存在する外側領域Oの側の端部に表示した明示指標Sを注目撮影画像における物体7の上方位置に移動させた後、所定回数に亘って点滅させる移動画像と、物体7の上方位置に移動させた明示指標Sを注目撮影画像における物体7の上方位置で当該物体7の移動に追従して移動させる追従画像とを出力する。移動画像及び追従画像は、
図3(d)に示すように、動作画像として動作画像格納部31に格納されている。
【0036】
移動画像は、
図5に示すような、注目撮影画像における物体7が存在する外側領域Oの側の端部に表示した明示指標Sが徐々に小さくなりながら、かつ、回転しながら、注目撮影画像内における物体7の上方位置であって、かつ、物体7が存在する外側領域Oの側の端部存在エリアB3の下縁下側に頂部が物体7の側に向くよう移動した後、所定回数に亘って点滅するように連続的に見える画像である。
【0037】
物体7が狭視野領域Nに進入した場合には、注目撮影画像の端部に物体7が表示される。このため、
図3(c)に示すように、物体7が狭視野領域Nに進入した場合に、明示指標Sを小さくして端部存在エリアB3の下縁下側に移動させることにより、狭視野領域Nの端部に表示される物体7を明示指標Sにより隠すことなく表示することが可能となる。したがって、車両1の運転者に物体7の存在を適切に明示することが可能となる。
【0038】
追従画像は、端部存在エリアB1,B3の下縁下側で点滅した後の明示指標Sが、移動判定部15により判定された物体7の現在位置に基づいて、
図6(a)〜(e)に示すような、狭視野領域Nに進入した物体7の画面横方向への移動にのみ追従して障害物存在エリアBの下縁下側に沿って注目撮影画像内で画面横方向にのみ連続的に移動するように見える画像である。
なお、動作画像出力部30は、外側領域Oの物体7が設定速度未満の速度で移動するときには、明示指標Sが点滅しながら移動するように見える追従画像を出力する。
【0039】
動作画像出力部30は、移動判定部15により外側領域Oの物体7が注目撮影画像に対応する領域、すなわち狭視野領域Nに進入したと判定されたときに移動画像を出力し、その移動画像の終了と同時に追従画像を出力する。
したがって、動作画像出力部30は、外側領域Oの物体7が注目撮影画像に対応する領域Nに進入したときに、追従画像の出力を開始する。
合成画像生成部18は、動作画像出力部30から出力された移動画像及び追従画像を注目撮影画像に合成した合成画像を生成する。これにより、
図5,
図6に示すような画像がモニタ50に表示される。
【0040】
図4〜
図6は、このような明示指標Sが表示される一連の画像の一例を示す。
図4は、外側領域Oにいる物体7が狭視野領域Nの側に移動している場合に、狭視野領域Nに明示指標Sが表示される様子を示している。
図4(a)は、外側領域Oの物体7が狭視野領域Nの側に移動しないと判定されているために、明示指標Sが表示されていない状態を示し、
図4(b),(c)は、外側領域Oの物体7が狭視野領域Nの側に移動すると判定された結果、物体7が狭視野領域Nに進入するまで明示指標Sが点滅表示される様子を示す。
【0041】
図5は、外側領域Oにいる物体7が狭視野領域Nに進入した場合に、明示指標Sが徐々に小さくなりながら、かつ、回転しながら、注目撮影画像内における物体7の上方位置であって、かつ、物体7が存在する外側領域Oの側の端部存在エリアB3の下縁下側に頂部が物体7の側に向くように移動した後、所定回数に亘って点滅する様子を示している。
【0042】
図6(a)〜(e)は、端部存在エリアB3の下縁下側に移動した明示指標Sが、物体7の画面横方向への移動にのみ追従して障害物存在エリアBの下縁下側に沿って注目撮影画像内で画面横方向にのみ移動する様子を示している。
図6(f)は、狭視野領域Nに進入した物体7が狭視野領域Nの外側に移動した結果、動作画像出力部30が追従画像の出力を中止すると共に、障害物存在エリア生成部20が障害物存在エリアBを消去した状態を示す。
【0043】
次に、障害物警報装置100が、注目撮影画像に明示画像を重畳した合成画像をモニタ50に表示する一連の処理について、
図7の模式図を用いて説明する。まず、撮影画像取得部11が、車両1のカメラ5により撮影された撮影画像Gを取得する(ステップ#1)。
【0044】
次に、注目撮影画像生成部12が取得された撮影画像Gの中央部分を注目撮影画像として生成すると共に、マスク領域設定部19がマスク領域Mを設定する(ステップ#2)。
一方、外側領域生成部13が、取得された撮影画像Gの横方向両側部分を外側領域Oとして生成する(ステップ#3)。このように生成された外側領域Oに物体7が存在しているか否かは、物体存在判定部14により判定される(ステップ#4)。
【0045】
外側領域Oに物体7が存在していると判定されると、移動判定部15により当該物体7の移動方向が判定される(ステップ#5)。物体7の移動方向が、外側領域Oから注目撮影画像に対応する狭視野領域Nの側へのものである場合、更に物体7が狭視野領域N内に進入したか否かが判定される(ステップ#6)。
物体7が狭視野領域N内に進入していなければ、明示画像出力部16により明示指標Sを含む明示画像が出力される(ステップ#7)。この明示画像は、明示画像格納部17に格納されている明示画像を参照して出力される。
【0046】
合成画像生成部18は、ステップ#2において生成された注目撮影画像に、ステップ
#7で出力された明示画像を重畳して合成画像を生成する(ステップ#8)。生成された合成画像は、モニタ50に表示される(ステップ#9)。
【0047】
一方、ステップ#6において、物体7の狭視野領域N内への進入が判定されると、動作画像出力部30により移動画像及び追従画像が順に出力される(ステップ#10)。移動画像及び追従画像は、動作画像格納部31に格納されている動作画像を参照して出力される。
【0048】
合成画像生成部18は、ステップ#2において生成された注目撮影画像に、ステップ
#10で出力された移動画像及び追従画像を重畳した合成画像を生成する(ステップ#8)。生成された合成画像はモニタ50に表示される(ステップ#9)。
【0049】
動作画像出力部30は、移動判定部15により判定された物体7の現在位置が変化すると、明示指標Sがその物体7の位置に応じて画面横方向に追従移動する追従画像を出力する(ステップ#11)。この追従画像は、動作画像格納部31に格納されている動作画像を参照して出力される。
合成画像生成部18は、ステップ#2において生成された注目撮影画像に、ステップ
#11で出力された従動画像を重畳した合成画像を生成する(ステップ#12)。従動画像を重畳した合成画像がモニタ50に表示される(ステップ#13)。
【0050】
狭視野領域Nに進入した物体7が狭視野領域Nの外に移動すると、動作画像出力部30が追従画像の出力を中止すると共に、障害物存在エリア生成部20が障害物存在エリアBを消去する。
【0051】
このように本発明に係る障害物警報装置100によれば、車両1に備えられるモニタ50の画面内に物体7が映っていなくても、車両1に接近する物体7が撮影範囲内に入った時点で、車両1の周囲の状況を表示しつつ、運転者に車両1に接近する物体7の存在及び方向を明示することができる。したがって、モニタ50の画面サイズが小さい場合でも、車両1に接近する物体7を見逃すことがなくなる。
【0052】
また、明示指標Sは、物体7の狭視野領域Nへの進入に伴い明示指標Sを小さくしながら回転させて狭視野領域N内の上部に移動させるので、車両1の運転者が明示指標Sを見失い難いと共に狭視野領域Nの物体7を注視させることが可能である。したがって、車両1の周囲の状況を把握させることができる。
さらに、狭視野領域Nの物体7の移動に追従して明示指標Sを移動させるので、物体7の現在位置を明示することができ、運転者に対して効果的に注意喚起することができる。
【0053】
〔その他の実施形態〕
1.本発明による障害物警報装置は、外側領域Oの物体7が注目撮影画像に対応する領域Nに進入したときに、明示指標Sが注目撮影画像における物体7の高さ位置に応じた上方位置に回転しながら移動する画像を出力する動作画像出力部30を備えていてもよい。
2.本発明による障害物警報装置は、外側領域Oの物体7が注目撮影画像に対応する領域Nに進入したときに、明示指標Sが回転しながら、かつ、点滅しながら注目撮影画像における物体7の上方位置に移動する画像を出力する動作画像出力部30を備えていてもよい。
3.本発明による障害物警報装置は、外側領域Oの物体7が注目撮影画像に対応する領域Nに進入したときに、明示指標Sが回転しながら、かつ、彩色を変更しながら注目撮影画像における物体7の上方位置に移動する画像を出力する動作画像出力部30を備えていてもよい。
4.本発明による障害物警報装置は、外側領域Oの物体7が注目撮影画像に対応する領域Nに進入したときに、明示指標Sの大きさを変えずに注目撮影画像における物体7の上方位置に回転しながら移動する画像を出力する動作画像出力部30を備えていてもよい。
5.本発明による障害物警報装置は、注目撮影画像の外側の外側領域Oに物体7が存在するか否かをソナー等で検出して判定する物体存在判定部14を備えていてもよい。
6.本発明による障害物警報装置は、狭視野領域Nに対応した狭視野角を持つカメラ5で撮影画像Gを取得した場合には、当該撮影画像Gをそのまま注目撮影画像として用いる注目撮影画像生成部12を備えていてもよい。
この場合、外側領域Oに物体7が存在するか否かの判定は、上記のように、例えばソナー等で検出して判定すると好適である。
7.本発明による障害物警報装置は、駐車場などにおける車両の前進時に、その車両の前方側に物体がある場合に当該車両の運転者に物体が接近していることを明示する機能を備えていてもよい。