特許 6022907 画像処理装置、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6022907

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月9日

(54)【発明の名称】画像処理装置、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   G06T 7/60 20060101AFI20161027BHJP

   G06T 1/00 20060101ALI20161027BHJP

【ＦＩ】

   G06T7/60 200J

   G06T1/00 330A

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2012-259043(P2012-259043)

(22)【出願日】2012年11月27日

(65)【公開番号】特開2014-106734(P2014-106734A)

(43)【公開日】2014年6月9日

【審査請求日】2015年11月27日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100121360

【弁理士】

【氏名又は名称】粟田 照久

(74)【代理人】

【識別番号】100149157

【弁理士】

【氏名又は名称】関根 創史

(72)【発明者】

【氏名】中村 克行

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】清原 將裕

(72)【発明者】

【氏名】伊藤 哲司

【審査官】 村松 貴士

(56)【参考文献】

【文献】 国際公開第２０１４／０８３８２７（ＷＯ，Ａ１）

【文献】 特開２００９−２０５１９１（ＪＰ，Ａ）

【文献】 特開２０１１−０４６２６２（ＪＰ，Ａ）

【文献】 特開２０００−０７９８６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／６０

Ｇ０８Ｇ １／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

車両周囲が撮影された撮影画像に基づいて、前記車両周囲の俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像生成部により生成された俯瞰画像から直線を抽出する第一の直線抽出部と、
前記第一の直線抽出部により抽出された直線に基づいて、前記車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定する探索領域設定部と、
前記車両周囲が撮影された撮影画像から、前記探索領域設定部により設定された探索領域を用いて直線を抽出する第二の直線抽出部と、
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記第二の直線抽出部により抽出された直線の状態を認識する直線状態認識部をさらに備えることを特徴とする画像処理装置。

【請求項3】

請求項１または２に記載の画像処理装置において、
前記探索領域は、前記俯瞰画像の撮影範囲外の領域を含むことを特徴とする画像処理装置。

【請求項4】

請求項１〜３のいずれか一項に記載の画像処理装置において、
前記探索領域設定部は、前記第一の直線抽出部により抽出された直線に対して直交するように前記探索領域を設定し、
前記第二の直線抽出部は、前記車両周囲が撮影された撮影画像において、前記探索領域設定部により設定された探索領域からエッジを抽出し、前記エッジの抽出結果に基づいて直線を抽出することを特徴とする画像処理装置。

【請求項5】

請求項１〜３のいずれか一項に記載の画像処理装置において、
前記探索領域設定部は、前記第一の直線抽出部により抽出された直線に対して平行となるように前記探索領域を設定し、
前記第二の直線抽出部は、前記車両周囲が撮影された撮影画像において、前記探索領域設定部により設定された探索領域からエッジを抽出し、前記エッジの抽出結果に基づいて直線を抽出することを特徴とする画像処理装置。

【請求項6】

請求項１〜３のいずれか一項に記載の画像処理装置において、
前記探索領域設定部は、前記探索領域として、前記第一の直線抽出部により抽出された直線に対して直交する第一の探索領域と、前記第一の直線抽出部により抽出された直線と平行である第二の探索領域とを設定し、
前記第二の直線抽出部は、前記車両周囲が撮影された撮影画像の前記第一の探索領域からエッジを抽出し、前記エッジの抽出結果に基づいて第一の直線を抽出し、前記車両周囲が撮影された撮影画像の前記第二の探索領域からエッジを抽出し、前記エッジの抽出結果に基づいて第二の直線を抽出することを特徴とする画像処理装置。

【請求項7】

請求項６に記載の画像処理装置において、
前記第二の直線抽出部により抽出された前記第一の直線と前記第二の直線との交差角を認識する交差角認識部をさらに備えることを特徴とする画像処理装置。

【請求項8】

車両周囲が撮影された撮影画像に基づいて前記車両周囲の俯瞰画像を生成し、前記俯瞰画像から直線を抽出し、前記抽出した直線に基づいて前記車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定し、前記車両周囲が撮影された撮影画像から前記探索領域を用いて直線を抽出することを特徴とする画像処理方法。

【請求項9】

車両周囲が撮影された撮影画像に基づいて、前記車両周囲の俯瞰画像を生成する俯瞰画像生成処理と、
前記俯瞰画像生成処理により生成された俯瞰画像から直線を抽出する第一の直線抽出処理と、
前記第一の直線抽出処理により抽出された直線に基づいて、前記車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定する探索領域設定処理と、
前記車両周囲が撮影された撮影画像から、前記探索領域設定処理により設定された探索領域を用いて直線を抽出する第二の直線抽出処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

【背景技術】

【0002】

従来、車両に取り付けられたカメラで車両の周囲を撮影し、カメラの撮影画像からエッジを抽出し、抽出したエッジを用いて駐車枠の線を検出する駐車枠検出装置が知られている（特許文献１および特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１１８６５６号公報

【特許文献2】特開２０１２−０３５７２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１および特許文献２に開示された駐車枠検出装置では、カメラの撮影画像から直接エッジを抽出するので、カメラの撮影画像の解像度でエッジを抽出できるが、処理負荷が高くなるという課題があった。

【課題を解決するための手段】

【0005】

（１）請求項１に記載の発明による画像処理装置は、車両周囲が撮影された撮影画像に基づいて、車両周囲の俯瞰画像を生成する俯瞰画像生成部と、俯瞰画像生成部により生成された俯瞰画像から直線を抽出する第一の直線抽出部と、第一の直線抽出部により抽出された直線に基づいて、車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定する探索領域設定部と、車両周囲が撮影された撮影画像から、探索領域設定部により設定された探索領域を用いて直線を抽出する第二の直線抽出部と、を備えることを特徴とする。
（２）請求項８に記載の発明による画像処理方法は、車両周囲が撮影された撮影画像に基づいて車両周囲の俯瞰画像を生成し、俯瞰画像から直線を抽出し、抽出した直線に基づいて車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定し、車両周囲が撮影された撮影画像から探索領域を用いて直線を抽出することを特徴とする。
（３）請求項９に記載の発明による画像処理プログラムは、車両周囲が撮影された撮影画像に基づいて、車両周囲の俯瞰画像を生成する俯瞰画像生成処理と、俯瞰画像生成処理により生成された俯瞰画像から直線を抽出する第一の直線抽出処理と、第一の直線抽出処理により抽出された直線に基づいて、車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定する探索領域設定処理と、車両周囲が撮影された撮影画像から、探索領域設定処理により設定された探索領域を用いて直線を抽出する第二の直線抽出処理と、をコンピュータに実行させることを特徴とする。

【発明の効果】

【0006】

本発明によれば、処理負荷を抑えながら、車両の走行面に描かれた直線を抽出できる。

【図面の簡単な説明】

【0007】

【図1】本発明の一実施形態による画像処理装置の構成を示すブロック図である。

【図2】第１の実施形態による画像処理装置の処理の流れを説明するフローチャートである。

【図3】俯瞰画像の生成処理を説明する図である。

【図4】（ａ）は俯瞰画像の一例を示し、（ｂ）はカメラの撮影画像の一例を示す。

【図5】（ａ）は第１の実施の形態において俯瞰画像の座標系に設定した探索線の一例を示し、（ｂ）は（ａ）の探索線をカメラの撮影画像に投影した例を示す。

【図6】（ａ）は輝度プロファイルの一例を示し、（ｂ）は（ａ）の輝度プロファイルの微分結果を示す。

【図7】エッジの検出結果の一例を示す。

【図8】第２の実施形態による画像処理装置の処理の流れを説明するフローチャートである。

【図9】（ａ）は第２の実施の形態において俯瞰画像の座標系に設定した探索線の一例を示し、（ｂ）は（ａ）の探索線をカメラの撮影画像に投影した例を示す。

【図10】第３の実施形態による画像処理装置の処理の流れを説明するフローチャートである。

【発明を実施するための形態】

【0008】

以下、本発明の実施形態について、図面を用いて詳細に説明する。

【0009】

（第１の実施の形態）
図１は、第１の実施の形態に係る画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、車両に搭載されて使用されるものであり、俯瞰画像生成部１１と、第一の直線抽出部１２と、探索領域設定部１３と、第二の直線抽出部１４と、直線状態認識部１５とを備える。画像処理装置１０は、不図示のコンピュータに所定の画像処理プログラムを実行させることにより、これらの各部の機能を実現している。各部の機能の内容については、後で詳しく説明する。

【0010】

画像処理装置１０には、４つのカメラ２０ａ〜２０ｄが接続されている。カメラ２０ａ〜２０ｄは、車両の周囲をそれぞれ異なる撮影範囲で撮影する電子式カメラであり、車両のボディ、バンパー、ドアミラー等の各部に設置されている。これらの各カメラの撮影範囲は、合わせて車両の全周囲をカバーできるように定められている。本実施形態では、カメラ２０ａは車両前方の撮影範囲を、カメラ２０ｂは車両左側方の撮影範囲を、カメラ２０ｃは車両右側方の撮影範囲を、カメラ２０ｄは車両後方の撮影範囲をそれぞれ撮影するものとして説明する。カメラ２０ａ〜２０ｄにより所定のフレームレート間隔でそれぞれ取得された撮影画像は、画像処理装置１０へ出力される。

【0011】

図２は、画像処理装置１０全体の処理内容を示すフローチャートである。なお、ここでは、各ステップの概要を説明し、各ステップの詳細の内容については、後で詳しく説明する。図２に示す処理は、たとえば、車速が時速０〜４０ｋｍである場合に、所定の処理周期ごとに繰り返し実行される。

【0012】

ステップＳ１において、俯瞰画像生成部１１は、カメラ２０ａ〜２０ｄから入力された各撮影画像に基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像（アラウンドビュー画像）を生成する。俯瞰画像生成部１１により生成された俯瞰画像は、第一の直線抽出部１２へ出力される。

【0013】

次のステップＳ２において、第一の直線抽出部１２は、ステップＳ１で生成された俯瞰画像から車両の走行面に描かれた直線を抽出する。車両の走行面に描かれた直線とは、道路上に描かれた各種の道路標示線（車道中央線、車線境界線、車道外側線、横断歩道等）や、駐車場に描かれた駐車枠線などである。第一の直線抽出部１２による直線抽出結果は、探索領域設定部１３へ出力される。

【0014】

次のステップＳ３において、探索領域設定部１３は、カメラ２０ａによる車両前方の撮影画像において、車両の走行面に描かれた直線を探索するための探索領域を設定する。この探索領域の設定は、第一の直線抽出部１２による直線抽出結果に基づいて行われる。また、本実施形態では、車両の前後方向に延びる直線（以下、縦線と呼ぶ）が抽出されるように探索領域が設定される。なお、縦線には、車両の前後方向と完全に平行な線だけでなく、車両の前後方向に対して斜めの線も含まれるものとする。探索領域設定部１３による探索領域の設定結果は、第二の直線抽出部１４へ出力される。

【0015】

次のステップＳ４において、第二の直線抽出部１４は、カメラ２０ａによる車両前方の撮影画像において、ステップＳ３で設定された探索領域からエッジを抽出し、車両の走行面に描かれた縦線を抽出する。第二の直線抽出部１４による縦線の抽出結果は、直線状態認識部１５へ出力される。

【0016】

次のステップＳ５において、直線状態認識部１５は、ステップＳ４で抽出された縦線の状態（長さ、幅、および多重度）を認識する。なお、多重度とは、直線が何重線であるか（たとえば、一重線か、二重線か、三重線か…）を示すものである。直線状態認識部１５による縦線の状態の認識結果は、たとえば、画像処理装置１０と接続されている車両制御装置（不図示）へ出力され、車両の駐車支援や走行制御等に利用される。

【0017】

次に、上述したステップＳ１の処理の内容について、具体例を挙げて説明する。図３は、カメラ２０ａ〜２０ｄによってそれぞれ撮影された撮影画像２１ａ〜２１ｄの一例と、これらの撮影画像２１ａ〜２１ｄにより生成される俯瞰画像２３の一例とを示す図である。俯瞰画像生成部１１は、カメラ２０ａ〜２０ｄによってそれぞれ撮影された撮影画像２１ａ〜２１ｄに基づいて、車両２４の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域２２ａ〜２２ｄを作成する。そして俯瞰画像生成部１１は、これら４つの画像領域２２ａ〜２２ｄを繋ぎ合わせることにより、俯瞰画像２３を生成する。

【0018】

また、上述したステップＳ２〜Ｓ５の処理の内容について、別の具体例を挙げて説明する。図４（ａ）は、俯瞰画像３０の一例を示し、図４（ｂ）は、この俯瞰画像３０の生成に用いられた、カメラ２０ａによる車両前方の撮影画像３１の一例を示す。図４（ｂ）に示すカメラ２０ａの撮影画像３１には、２本の縦線３２、３３が写っており、図４（ａ）に示す俯瞰画像３０には、この２本の縦線３２、３３の一部が含まれている。

【0019】

上述したステップＳ２において、第一の直線抽出部１２は、俯瞰画像３０からエッジを抽出するエッジ抽出処理を行う。エッジとは、画像中で輝度値が急激に変わる点である。このエッジ抽出処理では、俯瞰画像３０を横方向（車両の左右方向）に探索して、輝度値の変化が所定のしきい値以上である点をエッジとして抽出する。第一の直線抽出部１２は、抽出したエッジの位置関係に基づいて、俯瞰画像３０から縦線３２、３３を抽出する。

【0020】

上述したステップＳ３において、探索領域設定部１３は、図５（ａ）に示すように、俯瞰画像３０の座標系において、ステップＳ２で抽出された縦線３２、３３を車両の前方に延長した仮想縦線３６、３７を設定する。この仮想縦線３６、３７は、ステップＳ２で抽出された縦線３２、３３の始点（車両側の端点）から所定の長さで、且つ俯瞰画像３０の撮影範囲外まで延びるように設定される。そして、探索領域設定部１３は、各仮想縦線３６、３７において、各仮想縦線３６、３７に直交し、且つ所定の長さの探索線３８ａ〜３８ｆ、３９ａ〜３９ｆを設定する。探索線３８ａ〜３８ｆ、３９ａ〜３９ｆは、仮想縦線３６、３７の方向において、所定間隔ごとに設定され、且つ、仮想縦線３６、３７が探索線３８ａ〜３８ｆ、３９ａ〜３９ｆの中心を通るように設定される。

【0021】

そして、探索領域設定部１３は、図５（ｂ）に示すように、俯瞰画像３０の座標系において設定した探索線３８ａ〜３８ｆ、３９ａ〜３９ｆの座標値を、カメラ２０ａの撮影画像３１の座標系における座標値に変換する。これにより、カメラ２０ａの撮影画像３１上に探索線３８ａ〜３８ｆ、３９ａ〜３９ｆが投影される。すなわち、カメラ２０ａの撮影画像３１において、探索線３８ａ〜３８ｆ、３９ａ〜３９ｆが設定される。なお、本説明では、カメラ２０ａの撮影画像に設定される探索線３８ａ〜３８ｆ、３９ａ〜３９ｆをまとめて探索領域と呼ぶ。

【0022】

上述したステップＳ４において、第二の直線抽出部１４は、カメラ２０ａの撮影画像において、ステップＳ３で設定された各探索線上での輝度値の変化を表す輝度プロファイルを生成する。この輝度プロファイルは、ブレゼンハム（Bresenham）のアルゴリズムにより生成される。図６（ａ）は、この輝度プロファイルの一例を示す図である。第二の直線抽出部１４は、この生成した輝度プロファイルを微分し、微分結果に基づいて、カメラ２０ａの撮影画像からエッジを抽出する。図６（ｂ）は、図６（ａ）に示す輝度プロファイルの微分結果を示す図である。図６（ｂ）に示す微分結果には、輝度値が暗から明に急変する点、すなわち直線に入るエッジに対応するピーク４０と、輝度値が明から暗に急変する点、すなわち直線から出るエッジに対応するピーク４１とが含まれている。ピーク４０に対応するエッジからピーク４１に対応するエッジまでの間が、車両の走行面に描かれた直線の幅に対応する。第二の直線抽出部１４は、ピーク４０およびピーク４１を見つけることにより、車両の走行面に描かれた直線のエッジを抽出する。

【0023】

そして、第二の直線抽出部１４は、抽出したエッジの位置関係に基づいて、カメラ２０ａの撮影画像から直線を抽出する。図７は、エッジの抽出結果を示す図である。第二の直線抽出部１４は、エッジ４２ａ〜４２ｅをつないだ線と、エッジ４３ａ〜４３ｅをつないだ線との組み合わせから、図４（ｂ）に示したカメラ２０ａの撮影画像に写る縦線３２を抽出する。また、第二の直線抽出部１４は、エッジ４４ａ〜４４ｆをつないだ線と、エッジ４５ａ〜４５ｆをつないだ線との組み合わせから、図４（ｂ）に示したカメラ２０ａの撮影画像に写る縦線３３を抽出する。なお、第二の直線抽出部１４は、縦線を構成するエッジの一部が抽出されなくても、周囲のエッジをつなぐことで縦線を抽出することができる。たとえば、エッジ４４ｃが抽出されなかった場合でも、第二の直線抽出部１４は、エッジ４４ａ、４４ｂ、４４ｄ、４４ｅ、４４ｆをつないで縦線を抽出することができる。

【0024】

上述したステップＳ５において、直線状態認識部１５は、第二の直線抽出部１４により抽出された各縦線３２、３３の長さ、幅、および多重度を認識する。縦線３２の長さについては、たとえば、エッジ４２ａからエッジ４２ｅまでの距離を用いて求める。また、縦線３２の幅については、たとえば、エッジ４２ａからエッジ４３ａまでの距離を用いて求める。また、縦線３２の多重度については、たとえば、一本の探索線において検出されたエッジの数を用いて求める。たとえば、一本の探索線において検出されたエッジの数が２点であれば一重線と判断し、４点であれば二重線と判断する。

【0025】

直線状態認識部１５による縦線の状態の認識結果は、たとえば、車両制御装置（不図示）に出力される。車両制御装置では、たとえば、縦線の幅や多重度の認識情報に基づいて、縦線の種類（たとえば、道路標示線なのか、駐車枠線なのか）を判定することができる。また、車両前方に延びる道路標示線が途中で途切れている場合には、その前方に停止線が存在することが想定される。したがって、車両制御装置は、縦線の長さの認識情報に基づいて、縦線の長さが所定値よりも短い場合には、前方に停止線が存在すると判定することができる。そして、車両制御装置は、このような縦線の判定情報を用いて、車両の駐車支援や走行制御等を行うことができる。たとえば、車両制御装置は、縦線が駐車枠線であると判定した場合には、駐車時のブレーキペダルとアクセルペダルの踏み間違いにより急激なアクセル操作が行われても車両の急加速を禁止するような走行制御を行う。

【0026】

以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置１０において、俯瞰画像生成部１１は、カメラ２０ａ〜２０ｄにより車両周囲が撮影された撮影画像に基づいて、車両周囲の俯瞰画像を生成する。第一の直線抽出部１２は、俯瞰画像生成部１１により生成された俯瞰画像から直線を抽出する。探索領域設定部１３は、第一の直線抽出部１２により抽出された直線に基づいて、カメラ２０ａにより車両前方が撮影された撮影画像において直線を探索するための探索領域（探索線）を設定する。第二の直線抽出部１４は、カメラ２０ａにより車両前方が撮影された撮影画像から、探索領域設定部１３により設定された探索領域を用いて直線を抽出する。このように、画像処理装置１０は、俯瞰画像から抽出した直線に基づいて、カメラ２０ａの撮影画像の中の直線を探索する領域を特定し、この探索領域において直線を抽出する画像処理を行うので、カメラ２０ａの撮影画像の全領域に対して直線を抽出する画像処理が不要となる。したがって、画像処理装置１０は、処理負荷を抑えながら、カメラ２０ａの撮影画像の解像度で直線を抽出できるので、車両の走行面に描かれた直線を精度よく抽出できる。

【0027】

（２）画像処理装置１０において、直線状態認識部１５は、第二の直線抽出部１４により抽出された直線の状態（長さ、幅および多重度）を認識するようにした。これにより、画像処理装置１０は、直線の状態の認識情報を、車両の駐車支援や走行制御等に用いることができる。

【0028】

（３）画像処理装置１０において、カメラ２０ａの撮影画像において直線を探索するための探索領域は、俯瞰画像の範囲外の領域を含むようにした。俯瞰画像には、車両近傍（例えば車両から２〜３ｍ程度）の範囲しか含まれないが、カメラ２０ａの撮影画像では、俯瞰画像よりも遠方の範囲が含まれる。このため、画像処理装置１０は、カメラ２０ａの撮影画像から、俯瞰画像に含まれていない遠方の直線を抽出することができる。

【0029】

（４）画像処理装置１０において、第一の直線抽出部１２は、俯瞰画像生成部１１により生成された俯瞰画像から縦線を抽出する。探索領域設定部１３は、第一の直線抽出部１２により抽出された縦線に対して直交するように探索領域を設定する。第二の直線抽出部１４は、カメラ２０ａにより車両前方が撮影された撮影画像において、探索領域設定部１３により設定された探索領域からエッジを抽出し、エッジの抽出結果に基づいて直線を抽出する。これにより、画像処理装置１０は、カメラ２０ａの撮影画像から、縦線（車両の前後方向に延びる線）を抽出することができる。

【0030】

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。なお、第２の実施の形態において、画像処理装置１０の構成は、第１の実施の形態の構成（図１）と同様であるため説明を省略する。

【0031】

図８は、第２の実施の形態による画像処理装置１０全体の処理内容を示すフローチャートである。ステップＳ１１〜Ｓ１２の処理は、第１の実施の形態のステップＳ１〜ステップＳ２の処理と同様である。すなわち、俯瞰画像生成部１１は、カメラ２０ａ〜２０ｄから入力された各撮影画像に基づいて俯瞰画像を生成する。第一の直線抽出部１２は、生成された俯瞰画像から車両の走行面に描かれた直線を抽出する。

【0032】

次のステップＳ１３において、探索領域設定部１３は、カメラ２０ａによる車両前方の撮影画像において、車両の走行面に描かれた直線を探索するための探索領域を設定する。第２の実施の形態では、第１の実施の形態と異なり、車両の左右方向に延びる直線（以下、横線と呼ぶ）が抽出されるように、探索領域が設定される。なお、横線には、車両の左右方向と完全に平行な線だけでなく、車両の左右方向に対して斜めの線も含まれるものとする。

【0033】

次のステップＳ１４の処理において、第二の直線抽出部１４は、カメラ２０ａによる車両前方の撮影画像において、ステップＳ１３で設定された探索領域からエッジを抽出し、車両の走行面に描かれた横線を抽出する。

【0034】

次のステップＳ１５において、直線状態認識部１５は、ステップＳ１４で抽出された横線の状態（長さおよび幅）を認識する。直線状態認識部１５による横線の状態の認識結果は、たとえば、画像処理装置１０と接続されている車両制御装置（不図示）へ出力され、車両の駐車支援や走行制御等に利用される。

【0035】

次に、上述した処理の内容について、具体例を挙げて説明する。図９（ａ）は、俯瞰画像５０の一例を示し、図９（ｂ）は、この俯瞰画像５０の生成に用いられた、カメラ２０ａによる車両前方の撮影画像５１の一例を示す。図９（ｂ）に示すカメラ２０ａの撮影画像５１には、３本の縦線５２〜５４と、１本の横線５５とが写っており、これらの直線５２〜５５は、駐車枠線であるとする。図９（ａ）に示す俯瞰画像５０には、カメラ２０ａの撮影画像５１に写る縦線５２、５３の一部が含まれているが、縦線５４および横線５５は含まれていない。

【0036】

上述したステップＳ１２において、第一の直線抽出部１２は、第１の実施の形態のステップＳ２と同様に、俯瞰画像５０を横方向（車両の左右方向）に探索してエッジを抽出する。そして、第一の直線抽出部１２は、抽出したエッジの位置関係に基づいて、俯瞰画像３０から縦線５２、５３を抽出する。

【0037】

上述したステップＳ１３において、探索領域設定部１３は、図９（ａ）に示すように、俯瞰画像５０の座標系において、探索線５８ａ〜５８ｏ（探索領域）を設定する。この探索線５８ａ〜５８ｏは、俯瞰画像５０から抽出された縦線５２、５３が駐車枠の縦線である場合に、その前方にあると想定される駐車枠の横線が探索できるように設定される。

【0038】

駐車枠は、一般的には、１台分が縦５ｍ×横２．５ｍの枠である。本実施形態では、この駐車枠を横に３台分つなげたものを駐車枠モデル５９として想定する。ここで、俯瞰画像５０から抽出された縦線５２、５３の端点と、駐車枠モデル５９の真ん中２本の縦線における手前側の端点とを合わせて、縦線５２、５３と駐車枠モデル５９とを重ねた状態を想定する。この状態で、駐車枠モデル５９の横線が抽出されるように、探索線５８ａ〜５８ｏが設定される。なお、駐車枠モデル５９と異なる大きさの駐車枠にも対応できるよう、探索線５８ａ〜５８ｏはある程度の幅を持って設定される。

【0039】

以上をふまえ、本実施形態において、探索線５８ａ〜５８ｏは、具体的に以下の通り設定される。なお、ここでの説明で記載する数値は、俯瞰画像５０の座標系での長さではなく、実際の長さである。探索線５８ａ〜５８ｏは、俯瞰画像５０から抽出された縦線５２、５３と平行に４ｍの長さで設定される。また、探索線５８ａ〜５８ｏにおいて、縦線５２、５３の車両側の端点から車両前方に２ｍ離れた位置が始点とされ、縦線５２、５３の車両側の端点から車両前方に６ｍ離れた位置が終点とされる。また、探索線５８ａ〜５８ｏは、縦線５２、５３と直交する方向において、左側の縦線５２から左に２．５ｍの範囲内と、右側の縦線５３から右に２．５ｍの範囲内と、左側の縦線５６から右側の縦線５７までの範囲内とにおいて、所定間隔ごとに設定される。俯瞰画像５０の撮影範囲は、車両の近傍（たとえば２〜３ｍ）の範囲なので、探索線５８ａ〜５８ｏは、俯瞰画像５０の撮影範囲外にはみ出して設定される。

【0040】

このようにして、探索領域設定部１３は、俯瞰画像５０の座標系において探索線５８ａ〜５８ｏを設定すると、図９（ｂ）に示すように、探索線５８ａ〜５８ｏの座標値を、カメラ２０ａの撮影画像５１の座標系における座標値に変換する。これにより、カメラ２０ａの撮影画像５１上に探索線５８ｆ〜５８ｏが投影される。なお、図９（ｂ）では、探索線５８ａ〜５８ｅについては、カメラ２０ａの撮影画像５１に含まれない範囲であるため、投影されていない。このようにして、カメラ２０ａの撮影画像５１において、探索線５８ｆ〜５８ｏが設定される。

【0041】

上述したステップＳ１４において、第二の直線抽出部１４は、第１の実施の形態と同様にして、カメラ２０ａの撮影画像５１において、ステップＳ１３で設定された各探索線５８ｆ〜５８ｏからエッジを抽出する。そして、第二の直線抽出部１４は、抽出したエッジの位置関係に基づいて、カメラ２０ａの撮影画像から横線５５を抽出する。このように、第２の実施の形態の画像処理装置１０では、俯瞰画像５０に含まれていない横線５５を、抽出することができる。

【0042】

上述したステップＳ１５において、直線状態認識部１５は、ステップＳ１４で抽出された横線の状態（長さ・幅）を認識し、この認識結果を、たとえば、車両制御装置（不図示）に出力する。車両制御装置では、たとえば、横線の幅の認識情報に基づいて、横線の種類（たとえば、道路標示線なのか、駐車枠線なのか）を判定することができる。

【0043】

以上説明した第２の実施の形態によれば、次の作用効果が得られる。
画像処理装置１０において、第一の直線抽出部１２は、俯瞰画像生成部１１により生成された俯瞰画像から縦線を抽出する。探索領域設定部１３は、第一の直線抽出部１２により抽出された縦線に対して平行となるように探索領域を設定する。第二の直線抽出部１４は、カメラ２０ａにより車両前方が撮影された撮影画像において、探索領域設定部１３により設定された探索領域からエッジを抽出し、エッジの抽出結果に基づいて直線を抽出する。これにより、画像処理装置１０は、処理負荷を抑えながら、カメラ２０ａの撮影画像から、横線（車両の左右方向に延びる線）を抽出することができる。

【0044】

（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。なお、第３の実施の形態においても、画像処理装置１０の構成は、第１の実施の形態の構成（図１）と同様であるため説明を省略する。

【0045】

図１０は、第３の実施の形態による画像処理装置１０全体の処理内容を示すフローチャートである。ステップＳ２１〜Ｓ２２の処理は、第１の実施の形態のステップＳ１〜ステップＳ２の処理と同様である。すなわち、俯瞰画像生成部１１は、カメラ２０ａ〜２０ｄから入力された各撮影画像に基づいて俯瞰画像を生成する。第一の直線抽出部１２は、生成された俯瞰画像から車両の走行面に描かれた直線を抽出する。

【0046】

次のステップＳ２３〜Ｓ２５の処理と、ステップＳ２６〜Ｓ２８の処理は、たとえば、並行に実行される。ステップＳ２３〜Ｓ２５の処理は、第１の実施の形態のステップＳ３〜Ｓ５の処理と同様である。すなわち、探索領域設定部１３が、カメラ２０ａの撮影画像において、車両の走行面に描かれた縦線を抽出するための探索領域（探索線）を設定する。第二の直線抽出部１４は、カメラ２０ａの撮影画像において、設定された探索線上でエッジを抽出し、縦線を抽出する。直線状態認識部１５は、抽出された縦線の状態（長さ、幅、および多重度）を認識する。

【0047】

また、ステップＳ２６〜Ｓ２８の処理は、第２の実施の形態のステップＳ１３〜Ｓ１５の処理と同様である。すなわち、探索領域設定部１３が、カメラ２０ａの撮影画像において、車両の走行面に描かれた横線を抽出するための探索領域（探索線）を設定する。第二の直線抽出部１４は、カメラ２０ａの撮影画像において、設定された探索線上でエッジを抽出し、横線を抽出する。直線状態認識部１５は、抽出された縦線の状態（長さおよび幅）を認識する。

【0048】

このように、第３の実施の形態では、カメラ２０ａの撮影画像から縦線と横線の両方を抽出する。なお、図１０では、縦線を抽出する処理と、横線を抽出する処理とを並行して行う例について示したが、いずれかを先に行うようにしてもよい。

【0049】

そして、ステップＳ２９において、直線状態認識部１５は、カメラ２０ａの撮影画像から抽出された縦線と横線との交差角を認識する。なお、縦線と横線の交差角は、たとえば、カメラ２０ａの撮影画像から抽出された縦線と横線を、俯瞰画像の座標系における座標値に変換したうえで算出される。

【0050】

直線状態認識部１５による縦線と横線の交差角の認識結果は、たとえば、車両制御装置（不図示）に出力される。たとえば、縦線および横線の交差角が略９０度である場合には、抽出された縦線および横線が道路標示線または駐車枠線であると想定される。しかしながら、縦線および横線の交差角が略９０度ではない場合には、抽出された縦線および横線が道路標示線または駐車枠線ではないと想定される。したがって、車両制御装置は、縦線と横線の交差角の情報に基づいて、抽出された縦線および横線が道路標示線または駐車枠線であるか否かを判定することができる。

【0051】

以上説明した第３の実施の形態によれば、次の作用効果が得られる。
画像処理装置１０において、第一の直線抽出部１２は、俯瞰画像生成部１１により生成された俯瞰画像から縦線を抽出する。探索領域設定部１３は、第一の直線抽出部１２により抽出された縦線に対して直交する探索領域（第一の探索領域）と、上記縦線に対して平行である探索領域（第二の探索領域）とを設定する。第二の直線抽出部１４は、カメラ２０ａにより車両前方が撮影された撮影画像において、上記第一の探索領域からエッジを抽出し、エッジの抽出結果に基づいて縦線を抽出する。また、第二の直線抽出部１４は、カメラ２０ａにより車両前方が撮影された撮影画像において、上記第二の探索領域からエッジを抽出し、エッジの抽出結果に基づいて横線を抽出する。これにより、画像処理装置１０は、処理負荷を抑えながら、カメラ２０ａの撮影画像から、縦線と横線の両方を抽出することができる。

【0052】

（変形例１）
上述した実施の形態では、４つのカメラ２０ａ〜２０ｄが上記のような各撮影範囲をそれぞれ撮影する例について説明したが、車両に搭載されるカメラの個数および撮影範囲はこれに限定されない。また、各カメラを合わせた撮影範囲は、必ずしも車両の全周囲をカバーしていなくてもよい。車両の周囲を適切な範囲で撮影できれば、任意の個数のカメラを用いて、任意の撮影範囲について撮影画像を取得することができる。

【0053】

（変形例２）
上述した実施の形態では、４つのカメラ２０ａ〜２０ｄによる撮影画像が画像処理装置１０に入力される例について説明したが、全てのカメラ２０ａ〜２０ｄの撮影画像が入力されなくてもよい。いずれか１つのカメラの撮影画像が画像処理装置１０に入力されるようにしてもよい。この場合、俯瞰画像生成部１１は、入力されたカメラの撮影画像のみで俯瞰画像を生成する。

【0054】

（変形例３）
上述した実施の形態では、カメラ２０ａによる車両前方の撮影画像から、車両の走行面に描かれた直線を抽出する例について説明したが、直線を抽出する撮影画像はこれに限定されない。カメラ２０ｂ〜２０ｄによる車両左側方、右側方、後方の撮影画像から、それぞれ、上述した実施の形態と同様にして、直線を抽出するようにしてもよい。

【0055】

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

【符号の説明】

【0056】

１０…画像処理装置、１１…俯瞰画像生成部、１２…第一の直線抽出部、１３…探索領域設定部、１４…第二の直線抽出部、１５…直線状態認識部、２０ａ〜２０ｄ…カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】