特許 5874411 車両周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5874411

(24)【登録日】2016年1月29日

(45)【発行日】2016年3月2日

(54)【発明の名称】車両周辺監視装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20160218BHJP

   B60R 21/00 20060101ALI20160218BHJP

   B60R 1/00 20060101ALI20160218BHJP

   G06T 1/00 20060101ALI20160218BHJP

   H04N 7/18 20060101ALI20160218BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 626G

   B60R1/00 A

   G06T1/00 330A

   G06T1/00 330B

   H04N7/18 J

【請求項の数】8

【全頁数】14

(21)【出願番号】特願2012-14245(P2012-14245)

(22)【出願日】2012年1月26日

(65)【公開番号】特開2013-156672(P2013-156672A)

(43)【公開日】2013年8月15日

【審査請求日】2014年9月19日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社日本自動車部品総合研究所

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001128

【氏名又は名称】特許業務法人ゆうあい特許事務所

(72)【発明者】

【氏名】今西 勝之

(72)【発明者】

【氏名】柳川 博彦

(72)【発明者】

【氏名】松川 典史

(72)【発明者】

【氏名】横田 昇幸

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開２００５−２１７４８２（ＪＰ，Ａ）

【文献】 特開２００５−３３５４３７（ＪＰ，Ａ）

【文献】 特開平０４−０１０１７２（ＪＰ，Ａ）

【文献】 特開平０８−１２２０６２（ＪＰ，Ａ）

【文献】 特開２０１１−２３０６１５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

道路の延びる方向である道路方向を、車両を基準として検出する検出手段（１１５）と、
前記車両の外部の周囲を撮影するカメラ（２）によって撮影された撮影画像を取得する取得手段（１１０、１２３）と、
前記検出手段（１１５）が検出した前記道路方向に沿って平行な検知ラインを設定し、設定した前記検知ラインの前記撮影画像中における位置を算出する設定手段（１２０、１２５、１５５）と、
前記撮影画像中の前記検知ラインの位置における画素の値の変化に応じて情報表示を行う表示手段（１３５、１４０、１４５）と、を備えたことを特徴とする車両周辺監視装置。

【請求項2】

前記設定手段（１２０、１２５、１５５）は、前記検出手段（１１５）が検出した前記道路方向に平行な検知ラインを、３次元空間中の地面よりも高い位置に設定し、設定した前記検知ラインの前記撮影画像中における位置を算出することを特徴とする請求項１に記載の車両周辺監視装置。

【請求項3】

前記設定手段（１２０、１２５、１５５）は、前記車両の移動を表す車両移動信号に基づいて、前記車両が移動しても前記検知ラインが地面に対して静止するよう、前記検知ラインの前記撮影画像中における位置を変化させることを特徴とする請求項１または２に記載の車両周辺監視装置。

【請求項4】

前記表示手段は、前記撮影画像中の前記検知ラインの位置を複数個の検知領域に領域分けし、分けられた検知領域毎にしきい値を設定し、各検知領域で、当該各検知領域における画素間の輝度値の変化量が、当該検知領域に対して設定されたしきい値よりも大きい場合に、物体の端部を検出し、物体の端部が検出されたことに基づいて警告を行い、物体の端部が検出されなかったことに基づいて警告を行わないことを特徴とする請求項１ないし３のいずれか１つに記載の車両周辺監視装置。

【請求項5】

前記検出手段は、前記カメラ（２）によって撮影された撮影画像のエッジ抽出を行い、抽出されたエッジに基づいて直線検出を行い、その直線検出によって検出された直線の方向に基づいて、前記道路方向を検出することを特徴とする請求項１ないし４のいずれか１つに記載の車両周辺監視装置。

【請求項6】

前記検出手段は、抽出された前記エッジに基づいてハフ変換による直線検出を行い、その直線検出によって検出された複数の直線の鳥瞰変換を行い、前記複数の直線のハフ変換時の投票数に基づき、当該鳥瞰変換後の前記複数の直線の傾き範囲毎に当該投票数を集計し、最も投票数が多い傾き範囲内の傾きを特定し、特定した傾きの直線が延びる方向を道路方向として検出することを特徴とする請求項５に記載の車両周辺監視装置。

【請求項7】

前記検知ラインは、前記撮影画像中において曲線状になっていることを特徴とする請求項１ないし６のいずれか１つに記載の車両周辺監視装置。

【請求項8】

前記設定手段は、前記検出手段（１１５）が検出した前記道路方向に沿って平行な複数本の検知ラインを設定し、設定した前記複数本の検知ラインの前記撮影画像中における位置を算出し、
前記表示手段は、前記撮影画像中の前記複数本の検知ラインの位置における画素の値の変化に応じて情報表示を行い、
前記複数本の検知ラインは、前記撮影画像中で、左右方向中央部よりも左右方向端部において、互いの間隔が狭くなっていることを特徴とする請求項１ないし７のいずれか１つに記載の車両周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周辺監視装置に関するものである。

【背景技術】

【0002】

特許文献１には、自車両外部の周辺の撮影画像を取得し、取得した撮影画像中の所定の位置に検出ラインを設定し、設定した検出ライン上の画素の値の変化に応じた情報表示を行う技術が開示されている。このようにすることで、撮影画像に写った移動物体をドライバーに認識させる処理を少ない処理負荷で実現することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−２５３４４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

発明者の検討によれば、ドライバーに認識させたい移動体としては、道路上の移動体がある。しかしながら、特許文献１の技術では、検出ラインの位置が撮影画像中で固定されているので、検出ラインの延びる方向が道路の延びる方向と無関係になってしまう。

【0005】

本発明は上記点に鑑み、撮影画像中の検出ライン上の画素値変化に応じた情報表示を行う技術において、道路上の移動体を従来よりもドライバーに認識させ易くすることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するための請求項１に記載の発明は、道路の延びる方向である道路方向を、車両を基準として検出する検出手段（１１５）と、前記車両の外部の周囲を撮影するカメラ（２）によって撮影された撮影画像を取得する取得手段（１１０、１２３）と、前記検出手段（１１５）が検出した前記道路方向に沿って平行な検知ラインを設定し、設定した前記検知ラインの前記撮影画像中における位置を算出する設定手段（１２０、１２５、１５５）と、前記撮影画像中の前記検知ラインの位置における画素の値の変化に応じて情報表示を行う表示手段（１３５、１４０、１４５）と、を備えたことを特徴とする車両周辺監視装置である。

【0007】

このように、道路の延びる方向である道路方向を検出し、検出した道路方向に沿ったラインを、検出用のラインとして撮影画像中に設定することで、道路上の移動体を従来よりもドライバーに認識させ易くすることができる。

【0008】

また、請求項２に記載の発明は、請求項１に記載の車両周辺監視装置において、前記設定手段（１２０、１２５、１５５）は、前記検出手段（１１５）が検出した前記道路方向に平行な検知ラインを、３次元空間中の地面よりも高い位置に設定し、設定した前記検知ラインの前記撮影画像中における位置を算出することを特徴とする。このように、検知ラインを地面よりも高い位置に配置することで、車両、人等、重心位置が地面よりも高い位置にある物体をより正確に検知できる。

【0009】

また、請求項３に記載の発明は、請求項１または２に記載の車両周辺監視装置において、前記設定手段（１２０、１２５、１５５）は、前記車両の移動を表す車両移動信号に基づいて、前記車両が移動しても前記検知ラインが地面に対して静止するよう、前記検知ラインの前記撮影画像中における位置を変化させることを特徴とする。このようにすることで、車両が移動しても、検知ラインの撮影画像中の向きが道路方向に対してずれてしまうことがなくなる。

【0010】

また、請求項４に記載の発明は、請求項１ないし３のいずれか１つに記載の車両周辺監視装置において、前記表示手段は、前記撮影画像中の前記検知ラインの位置を複数個の検知領域に領域分けし、分けられた検知領域毎にしきい値を設定し、各検知領域で、当該各検知領域における画素間の輝度値の変化量が、当該検知領域に対して設定されたしきい値よりも大きい場合に、物体の端部を検出し、物体の端部が検出されたことに基づいて警告を行い、物体の端部が検出されなかったことに基づいて警告を行わないことを特徴とする。

【0011】

このように、検知ラインの位置を複数個の検知領域に領域分けし、分けられた検知領域毎にしきい値を設定することで、検知ラインの位置によって被写体の環境（日照の有無等）が大きく変化する場合にも、しきい値を検知領域毎に変えることで対応可能である。

【0012】

また、請求項５に記載の発明は、請求項１ないし４のいずれか１つに記載の車両周辺監視装置において、前記検出手段は、前記カメラ（２）によって撮影された撮影画像のエッジ抽出を行い、抽出されたエッジに基づいて直線検出を行い、その直線検出によって検出された直線の方向に基づいて、前記道路方向を検出することを特徴とする。

【0013】

このように、接近物体を検知するためのカメラを流用して、当該撮影画像中のエッジに基づいて検出された直線を用いて撮影画像を抽出することで、新たなハードウェアを導入することなく道路方向の検出を行うことができる。

【0014】

また、請求項６に記載の発明は、請求項５に記載の車両周辺監視装置において、前記検出手段は、抽出された前記エッジに基づいてハフ変換による直線検出を行い、その直線検出によって検出された複数の直線の鳥瞰変換を行い、前記複数の直線のハフ変換時の投票数に基づき、当該鳥瞰変換後の前記複数の直線の傾き範囲毎に当該投票数を集計し、最も投票数が多い傾き範囲内の傾きを特定し、特定した傾きの直線が延びる方向を道路方向として検出することを特徴とする。

【0015】

このように、ハフ変換時の投票数を傾き範囲毎に集計して道路方向を検出することもできるが、他の例として、ハフ変換時の投票数ではなく直線の数を傾き範囲毎に集計して道路方向を検出することも可能である。しかし、前者の方法の方が、より正確に等路方向を検出することができる。

【0016】

また、請求項７に記載の発明は、請求項１ないし６のいずれか１つに記載の車両周辺監視装置において、前記検知ラインは、前記撮影画像中において曲線状になっていることを特徴とする。
また、請求項８に記載の発明は、請求項１ないし７のいずれか１つに記載の車両周辺監視装置において、前記設定手段は、前記検出手段（１１５）が検出した前記道路方向に沿って平行な複数本の検知ラインを設定し、設定した前記複数本の検知ラインの前記撮影画像中における位置を算出し、前記表示手段は、前記撮影画像中の前記複数本の検知ラインの位置における画素の値の変化に応じて情報表示を行い、前記複数本の検知ラインは、前記撮影画像中で、左右方向中央部よりも左右方向端部において、互いの間隔が狭くなっていることを特徴とする。
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載され
た用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すも
のである。

【図面の簡単な説明】

【0017】

【図1】本実施形態に係る車載システムの構成を示す図である。

【図2】制御装置が実行する処理のフローチャートである。

【図3】道路方向検出処理の詳細を示すフローチャートである。

【図4】撮影画像の一例である。

【図5】撮影画像の一部範囲１１を表す図である。

【図6】検出された直線の地面上における配置を表す画像である。

【図7】３次元空間中において検知ライン１５の配置を例示する図である。

【図8】撮影画像中の検知ライン２１〜２３および分割線３１〜３５を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車両周辺監視装置システムの構成を示す。この車両周辺監視装置システムは、車両に搭載され、制御装置１、カメラ２、ディスプレイ３、音声出力装置４等を備えている。

【0019】

制御装置１（車両周辺監視装置の一例に相当する）は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えており、ＣＰＵがＲＯＭに記憶されたプログラムを実行することで、後述する処理を実現する。

【0020】

この制御装置１には、図示しないギア位置センサからギア位置を示す信号が入力されるようになっており、また、図示しない車速センサから車両の位置を示す信号が入力されるようになっており、また、図示しないステアリング角センサからステアリング角の信号が入力されるようになっている。

【0021】

カメラ２は、車両の後部に取り付けられ、車両外の車両後方を繰り返し（１／３０秒に１回）撮影し、撮影の結果得た撮影画像を逐次制御装置１に入力するようになっている。カメラ２の光軸は、車両の後方斜め下（例えば俯角４５°）を向いている。

【0022】

ディスプレイ３は、制御装置１の制御に従って、車両内の乗員（ドライバー等）が見える様に画像を表示する装置である。音声出力装置４は、制御装置１の制御にしたがって、車両内の乗員が聞こえる様に音声を出力する装置である。

【0023】

以下、上記のような構成の車両周辺監視装置システムの作動について説明する。制御装置１は、車両の主電源（例えばＩＧ）がオンされると起動し、図２に示す処理の実行を開始する。そしてまずステップ１０５で、ギア位置がＲレンジ（後退位置）になるまで待ち、Ｒレンジになると、ステップ１１０に進む。ステップ１１０では、カメラ２から最新の撮影画像を取得する。撮影画像は、図４に示すように、歪んだ画像となっている。

【0024】

続いてステップ１１５では、道路方向検出処理を実行する。具体的には、図３のフローチャートに示すように、まずステップ２１０で、直前のステップ１１０で取得した最新の撮影画像のエッジ抽出を行う。エッジ抽出の方法としては、周知のものを用いるが、エッジ抽出の対象としては、図５に示すように、撮影画像中の一部範囲１１（左右方向中央、上下方向中央より下部）に限定する。このようにすることで、地面でない部分（例えばビル）のエッジを抽出してしまう可能性を低減する。

【0025】

続いてステップ２２０では、エッジ抽出された後の撮影画像（ただし上記一部範囲１１のみ）に対して歪み補正を行う。歪み補正の方法としては、周知のものを用いる。

【0026】

続いてステップ２３０では、歪み補正された後の撮影画像に対して周知のハフ変換による直線検出を行う。このハフ変換による直線検出では、周知の通り、撮影画像中で検出したエッジの位置座標毎に、当該位置座標（ｘ、ｙ）に対応するハフ空間上の複数個の領域（ρ、θ）に投票し、すべてのエッジの位置座標について投票した後、投票数が所定基準数以上となった領域（ρ、θ）を抽出し、抽出した領域（ρ、θ）が表す直線を、検出した直線とする。したがって、検出した各直線には、その直線に対応する投票数（エッジ位置座標の投票数）が決まっている。

【0027】

続いてステップ２４０では、直線が検出された（ただし上記一部範囲１１のみ）撮影画像に対して周知の鳥瞰変換を施す。この鳥瞰変換は、車両から所定の仰角で斜め下方向を向いた光軸で撮影された撮影画像に対する視点変換であり、その視点変換によって地面の上方から地面を垂直に（すなわち仰角９０°で）見た場合の画像に撮影画像を変換する変換である。なお、この鳥瞰変換の際、直前のステップ２３０で検出された直線は、地面と同じ高さの位置に存在するとみなす。

【0028】

この鳥瞰変換により、撮影画像中に検出された直線の鳥瞰変換が行われ、図６に示すように、検出された直線の地面上における配置を表す画像を得ることができる。なお、図６における点線１０は、車両の後端部の輪郭を仮想的に表したものであり、括弧内の数字は、その括弧の近くの直線に対する投票数を例示したものである。

【0029】

続いてステップ２５０では、検出した複数の直線のハフ変換時の投票数に基づき、ハフ変換後の直線の傾き毎に投票数を集計する。具体的には、鳥瞰変換後の直線の傾きを複数の傾き領域に分割する。そして、鳥瞰変換した結果の画像中で、検出した各直線の傾きを算出する。そして、検出した直線のそれぞれについて、その直線の傾きが属する傾き領域に、その直線の投票数を投票する。この投票結果により、ハフ変換によってどの傾き範囲に最も多く投票されたのかがわかる。

【0030】

続いてステップ２６０では、投票数が最大となった傾き範囲を特定し、特定した傾き範囲内の所定の傾き（例えば、最大投票数の傾き範囲の中央値）を特定し、特定した傾きの直線が延びる方向を、道路の延びる方向であるとして検出する。

【0031】

このように、ハフ変換時の投票数を傾き範囲毎に集計して道路方向を検出することもできるが、他の例として、ハフ変換時の投票数ではなく直線の数を傾き範囲毎に集計して道路方向を検出することも可能である。しかし、前者の方法の方が、より正確に等路方向を検出することができる。

【0032】

このようなステップ２１０〜２６０の処理により、図２のステップ１１５における道路方向（すなわち、道路の延びる方向）の検出が実現する。

【0033】

続くステップ１２０では、直前のステップ１１５で検出した道路方向に基づいて、３次元空間中に検知ラインを設定する。この設定処理について、図７を用いて説明する。図７では、３次元空間中で互いに直交するｘ軸、ｙ軸、ｚ軸を表している。ｘ軸およびｙ軸を含むｘ―ｙ平面が地面に相当し、ｚ軸方向が地面に垂直な上方向に相当する。なお、このｘ軸、ｙ軸、ｚ軸は、自車両に対して固定された車両固定座標系（車両を基準とする座標系）の座標軸である。したがって、自車両が地面に対して移動すれば、ｘ軸、ｙ軸、ｚ軸もその移動同様に移動する。

【0034】

ｘ−ｙ平面上の矢印線１４が、直前のステップ１１５で検出された道路方向である。この場合、検知ライン１５は、この道路方向１４に平行なであり、かつ、地面よりも所定高さ（例えば１メートル）だけ高い位置に設定される。図７の一点鎖線１６は、この検知ライン１６をｘ−ｙ平面に投影したラインである。また、検知ライン１５の位置は、車両の後方の所定位置（例えば、車両の後端からの最短距離が所定距離となる位置）に配置される。このように、検知ライン１５を地面よりも高い位置に配置することで、車両、人等、重心位置が地面よりも高い位置にある物体をより正確に検知できる。

【0035】

なお、検知ラインは、１本だけ設定しもよいし複数本を設定してもよい。例えば、３本設定する場合は、車両の後端からの最短距離が３ｍ、６ｍ、１２ｍとなる位置に配置してもよい。

【0036】

ステップ１２０に続いては、ステップ１２３〜１６０のループ処理を繰り返し実行する。ループ処理の各回において、まずステップ１２３では、カメラ２から最新の撮影画像を取得する。続いてステップ１２５では、ステップ１２０で３次元空間中に設定した検知ラインの撮影画像中における位置を算出する。ここでいう撮影画像とは、直前のステップ１２３で取得した撮影画像である。検知ラインの撮影画像中における位置は、所定の幅を有した線状（撮影画像が歪んでいるので曲線状）の領域となる。

【0037】

検知ラインの撮影画像中における位置の算出方法は、３次元空間中の各位置（車両を基準とする相対位置）と当該撮影画像中の各位置との間の対応関係のデータがあらかじめ記憶媒体（例えばＲＯＭ）に記憶されていれば、それを使用して算出してもよい。

【0038】

続いてステップ１３０では、各検知ラインの撮影画像内における位置（以下、撮影画像内の検知ラインという）を複数個の検知領域に領域分けし、分けられた検知領域毎にしきい値を設定する。このしきい値は、後述するように、各検知領域における画素間の輝度値の変化量と比較するためのしきい値である。

【0039】

具体的には、図８の撮影画像中の仮想的な分割線３１〜３５に示すように、各検知ライン２１〜２３毎に、車両の後方正面から右側に３領域、左に３領域の計６領域に分ける。分割線３１、３２の間の検知領域および分割線３１、３４の間の検知領域は、車両後端から６ｍ以下の近距離領域であり、分割線３２、３３の間の検知領域および分割線３４、３５の間の検知領域は、車両後端から６ｍ以上１５ｍ以下の中距離領域であり、分割線３３から右側の検知領域および分割線３５から左側の検知領域は、車両後端から１５ｍ以上の遠距離領域である。つまり、図８中では、６×３本＝１８個の検知領域が存在する。そして、各検出領域内に対して設定されるしきい値は、当該検出領域内の平均輝度の２０％とする。

【0040】

続いてステップ１３５では、これら撮影画像中の検知ライン３１上の画素の輝度値を読み出し、基づいて、車両に接近する物体があるか否かを判定する。具体的には、各検知ライン２１〜２３の各検知領域（例えば、検知ライン２１上の右側近距離領域）に対して、輝度値に基づくエッジ検出を行う。

【0041】

エッジ検出の具体的方法は、以下の通りである。まず、当該検知領域内においてエッジ検出を行う。具体的には当該検知領域内の画素の平均輝度を算出する。続いて、当該検知領域内の各画素に対して、当該画素の両隣の画素の輝度差を算出する。続いて、算出した輝度差の絶対値が、ステップ１３０で当該検知領域に設定されたしきい値（当該領域内の上記平均輝度の２０％というしきい値）より大きいか否かを算出し、大きければ、当該画素の位置に物体の端部（すなわちエッジ）があると判定し、大きくなければ、当該画素の位置にエッジがないと判定する。

【0042】

このようなエッジ検出を各検知領域に対して行うことで、撮影画像中の検出ライン２１〜２３におけるエッジの有無および有る場合は１個または複数のエッジの所在位置を特定することができる。なお、検知領域毎にエッジ検出のためのしきい値を設定し、そのしきい値として、対象の検出領域に限定した範囲内での平均輝度を使用するので、撮影範囲内の一部は日向で一部は日陰となっているような場合においても、エッジ検出を誤ってしまう可能性が低くなる。

【0043】

各検知ライン２１〜２３の各検知領域に対して、エッジ検出を行った結果、１つもエッジを検出できなかった場合は、接近物体がないと判定してステップ１４０に進む。また、エッジを１つ以上検出した場合は、検出した各エッジについて、自車両に近づいているか否かを判定する。そして、自車両に近づいているエッジが１つもなければ、接近物体がないと判定してステップ１４０に進み、自車両に近づいているエッジが１つでもあれば、接近物体があると判定してステップ１４５に進む。

【0044】

検出した各エッジが、自車両に近づいているか否かは、今回のステップ１３５の１回前に実行したステップ１３５における検出ライン上の輝度値に基づいて判定する。例えば、今回のステップ１３５で、自車両の後端から６ｍ離れた検知ライン２３上のある位置にエッジＡを検出した場合、そのエッジの輝度に最も値が近い輝度の画素を、１回前のステップ１３５で取得した自車両の後端から６ｍ離れた検知ライン２３上の画素から抽出し、当該抽出した画素の位置座標が、エッジＡの位置座標よりも撮影画像中央に近くなっている（すなわち、自車両に近くなっている）場合に、検出したエッジＡが、自車両に近づいていると判定し、撮影画像中央に近くなっていない場合は、検出したエッジＡが、自車両に近づいていないと判定する。なお、図２の処理を開始してから今回が１回目のステップ１３５の実行機会である場合は、エッジを検出した場合も接近物体なしと判定してステップ１４０に進む。

【0045】

接近物体がないと判定した後のステップ１４０では、通常画像表示制御を行う。接近物体があると判定した後のステップ１４５では、検知時用画像表示制御を行う。通常画像表示制御と検知時用画像表示制御では、直前のステップ１２３で取得した撮影画像をディスプレイ３に表示させる点は同じである。両者が異なるのは、検知時用画像表示制御では、自車両への接近物体があることを知らせるための警告マークと共に撮影画像をディスプレイ３に同時表示させるのに対し、通常画像表示制御ではそのような警告マークを表示させない点である。また、検知時用画像表示制御では、音声出力装置４に警告音声を出力させ、通常画像表示制御では、音声出力装置４に警告音声を出力させないようにしてもよい。

【0046】

ステップ１４０、１４５の後は、ステップ１５０に進み、車両移動信号を取得する。車両移動信号は、車両の移動を表す信号であり、具体的には、ステアリングセンサから出力されたステアリング角を示す信号、および、車速センサから出力された車速を示す信号を含む。

【0047】

続いてステップ１５５では、直前のステップ１５０で取得した車両移動信号に基づいて、自車両が移動しても検知ラインが地面に対して静止するよう、３次元空間中の検知ラインを移動させる。すなわち、３次元空間中の検知ラインの車両固定座標値（ｘ、ｙ、ｚ）を、検知ラインが地面に対して静止するよう、車両の移動に応じて、変化させる。

【0048】

具体的には、直前のステップ１５０で取得した車両移動信号に基づいて現在のステアリング角および車速を特定し、特定したステアリング角および車速を維持しながら所定時間Δｔだけ車両が移動した場合の、検知ラインの車両固定座標値（ｘ、ｙ、ｚ）の変化後の値（ｘ１、ｙ１、ｚ１）を算出する。ここで、所定時間Δｔは、今回のループ処理におけるステップ１２３の撮影画像取得タイミングから、次回のループ処理におけるステップ１２３の撮影画像取得タイミングまでの時間に相当する。本実施形態では、ステップ１２３における撮影画像取得は、定期的に（例えば１／３０秒周期で）実行されるようになっている。

【0049】

より具体的には、変化前の（すなわち現在の）検知ラインの車両固定座標値（ｘ、ｙ、ｚ）を（ｘ０、ｙ０、ｚ０）とし、特定した車速をｖ、特定したステアリング角に応じた車両の旋回半径をｒとし、ｄ＝ｖ×Δｔ、θ＝ｄ／ｒとすると、
ｘ１＝ｘ０×ｃｏｓθ＋（ｙ０−ｒ）×ｓｉｎθ＋ＣＭ×（１−ｃｏｓθ）
ｙ１＝ｙ０×ｃｏｓθ−（ｘ０×ＣＭ）×ｓｉｎθ＋ｒ×（１−ｃｏｓθ）
ｚ１＝ｚ０
という式により、変化後の検知ラインの車両固定座標値を算出することができる。なお、ＣＭは、車両固定座標値の原点と自車両の後輪車軸中心（自車両の回転中心）とのオフセットに相当する値であり、あらかじめ記憶媒体（例えばＲＯＭ）に記録された値を用いる。

【0050】

続いてステップ１６０では、シフト位置がＲレンジにあるか否か判定し、Ｒレンジになければステップ１０５に戻り、Ｒレンジにあれば、今回のループ処理を終了して次回のループ処理を開始するため、ステップ１２３に戻る。その後のステップ１２３を経た１２５では、直前のステップ１５５において３次元空間中で移動した検知ライン（位置座標ｘ１、ｙ１、ｚ１）に基づいて、当該検知ラインの撮影画像（直前のステップ１２３で取得した最新の撮影画像）中における位置を算出する。そしてステップ１３５では、新たに算出された撮影画像中の検知ライン上の画素の輝度値に基づいて、接近物体の有無を検知する。

【0051】

制御装置１は、このように、ステップ１０５〜１２０までの処理を実行し、ステップ１２５〜１６０までのループ処理を繰り返し実行することで、車両が移動しても、最初に検知した道路方向に沿った検知ラインを対象に接近物体の検知を行うことができる。

【0052】

以上説明した通り、本実施形態の制御装置１は、検出した道路方向に平行な検知ラインを設定し（ステップ１２０）、設定した検知ラインの撮影画像中における位置を算出し（ステップ１２５）、撮影画像中の検知ラインの位置における画素の値の変化（異なる画素間の変化）に応じて情報表示を行う（ステップ１３５、１４０、１４５）。このように、道路の延びる方向である道路方向を検出し、検出した道路方向に沿ったラインを、検出用のラインとして撮影画像中に設定することで、道路上の移動体を従来よりもドライバーに認識させ易くすることができる。

【0053】

また、制御装置１は、は、車両の移動を表す車両移動信号に基づいて、検知ラインが地面に対して静止するよう、検知ラインの撮影画像中における位置を変化させる。このようにすることで、車両が移動しても、検知ラインの撮影画像中の向きが道路方向に対してずれてしまうことがなくなる。

【0054】

また、制御装置１は、ステップ１３５において、撮影画像中の検知ラインの位置を複数個の検知領域に領域分けし（図８参照）、分けられた検知領域毎にしきい値を設定し、各検知領域で、当該各検知領域における画素間の輝度値の変化量が、当該検知領域に対して設定されたしきい値よりも大きい場合に、物体の端部を検出し、物体の端部が検出されたことに基づいて警告を行い、物体の端部が検出されなかったことに基づいて警告を行わない。

【0055】

このように、検知ラインの位置を複数個の検知領域に領域分けし、分けられた検知領域毎にしきい値を設定することで、検知ラインの位置によって被写体の環境（日照の有無等）が大きく変化する場合にも、しきい値を検知領域毎に変えることで対応可能である。

【0056】

また、制御装置１は、カメラ２によって撮影された撮影画像のエッジ抽出を行い、抽出されたエッジに基づいて直線検出を行い、その直線検出によって検出された直線の方向に基づいて、道路方向を検出する。

【0057】

このように、接近物体を検知するためのカメラを流用して、当該撮影画像中のエッジに基づいて検出された直線を用いて撮影画像を抽出することで、新たなハードウェアを導入することなく道路方向の検出を行うことができる。

【0058】

また、制御装置１は抽出されたエッジに基づいてハフ変換による直線検出を行い、その直線検出によって検出された複数の直線の鳥瞰変換を行い、それら複数の直線のハフ変換時の投票数に基づき、当該鳥瞰変換後の当該複数の直線の傾き範囲毎に当該投票数を集計し、最も投票数が多い傾き範囲内の傾きを特定し、特定した傾きの直線が延びる方向を道路方向として検出することを特徴とする。

【0059】

このように、ハフ変換時の投票数を傾き範囲毎に集計して道路方向を検出することもできるが、他の例として、ハフ変換時の投票数ではなく直線の数を傾き範囲毎に集計して道路方向を検出することも可能である。しかし、前者の方法の方が、より正確に等路方向を検出することができる。

【0060】

なお、上記実施形態において、制御装置１が、図２のステップ１１５を実行することで検出手段の一例として機能し、ステップ１１０、１２３を実行することで取得手段の一例として機能し、ステップ１２０、１２５、１５５を実行することで設定手段の一例として機能し、ステップ１３５、１４０、１４５を実行することで表示手段の一例として機能する。

【0061】

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。

【0062】

（１）上記実施形態では、図３に示すような処理で道路方向を検知しているが、必ずしもこのような方法を用いなくても良い。例えば、制御装置１が道路データを記憶媒体から読み出すことができるようになっており、また、制御装置１がＧＰＳ受信機等からの信号に基づいて自車両の位置を特定することができるようになっているとする。そのような場合には、自車両の位置に最も近い道路の延びる方向を、地図データ中のノードおよび形状補間点の位置情報に基づいて検出するようになっていてもよい。

【0063】

あるいは、制御装置１が路側に設置された通信機と通信する機能を有している場合は、当該通信機から送信される道路方向の情報に基づいて道路方向を検出するようになっていてもよい。

【0064】

あるいは、制御装置１は、自車両の走行中にカメラ２からの撮影画像を用いて道路の白線検出を行い、その白線の延びる方向を逐次更新し、自車両が停止したときに、最後に更新された白線の延びる方向の情報と、その最後の更新時点以降の自車両の位置および姿勢の変化の情報とに基づいて、道路方向を検知するようになっていてもよい。

【0065】

（２）また、上記実施形態のステップ１１５において、何らかの原因で道路方向の検出に失敗した場合は、あらかじめ定められた所定の方向（例えば、車両の左右方向に平行な方向）を道路方向として特定するようになっていてもよい。

【0066】

（３）また、上記実施形態では、道路方向の検出はステップ１１５の１回のみであるが、必ずしもこのようになっておらずともよく、例えば、撮影画像を取得する度に道路方向を検出するようになっていてもよい。後者の場合、図２のステップ１２３、１６０を削除して、ステップ１５５の後にステップ１０５に戻るようにすればよい。その場合、制御装置１が、ステップ１１０を実行することで、取得手段の一例として機能する。

【0067】

（４）また、上記実施形態では、カメラ２は、車両外の車両後方の路面を撮影するようになっているが、必ずしもこのようになっておらずともよく、例えば、カメラ２は、車両外の車両前方の路面を撮影するようになっていてもよい。この場合、図２の処理におけるシフト位置がＲレンジか否かの判定は、シフト位置が前進位置であるか否かの判定に置き換えればよい。また、カメラ２は、車両外の車両側方の路面を撮影するようになっていてもよい。

【0068】

（５）また、上記の実施形態において、制御装置１がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。

【符号の説明】

【0069】

１ 制御装置
２ カメラ
３ ディスプレイ
４ 音声出力装置
１１ 撮影画像の一部範囲
１５ ３次元空間中の検知ライン
２１〜２３ 撮影画像中の検知ライン

【図1】

【図2】

【図3】

【図6】

【図7】

【図8】

【図4】

【図5】