特許 6045888 車載画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6045888

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】車載画像処理装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20161206BHJP

   G06T 7/60 20060101ALI20161206BHJP

   B60R 1/00 20060101ALI20161206BHJP

   G08G 1/16 20060101ALI20161206BHJP

   H04N 7/18 20060101ALI20161206BHJP

【ＦＩ】

   G06T1/00 330A

   G06T7/60 200J

   B60R1/00 A

   G08G1/16 C

   H04N7/18 J

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2012-259017(P2012-259017)

(22)【出願日】2012年11月27日

(65)【公開番号】特開2014-106731(P2014-106731A)

(43)【公開日】2014年6月9日

【審査請求日】2015年11月17日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】100091096

【弁理士】

【氏名又は名称】平木 祐輔

(74)【代理人】

【識別番号】100105463

【弁理士】

【氏名又は名称】関谷 三男

(74)【代理人】

【識別番号】100102576

【弁理士】

【氏名又は名称】渡辺 敏章

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】鈴木 智史

(72)【発明者】

【氏名】清原 將裕

(72)【発明者】

【氏名】村松 彰二

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１１−０３０１４０（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０６４８２５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

Ｂ６０Ｒ １／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車載カメラで撮像した画像から路面標示線を認識する車載画像処理装置であって、
前記車載カメラで所定周期毎に撮像された複数の画像を取得する画像取得手段と、
前記複数の画像から前記路面標示線をそれぞれ検出する標示線検出手段と、
前記複数の画像にそれぞれ撮像されている路面標示線の対応付けを行う対応付け手段と、
該対応付け手段による対応付けができた路面標示線を追跡する追跡手段と、
前記対応付け手段による対応付けができなかった路面標示線で且つ前記画像内から外に移動した路面標示線の位置を自車挙動の情報に基づき演算して補間線として記憶する補間処理を行う補間手段と、
該補間手段により補間された補間線の延長線上に、前記標示線検出手段により検出された路面標示線が存在する場合に、該路面標示線は前記補間線との協働により同一の路面標示線の一部を構成するものであると判定する標示線判定手段と、
を有することを特徴とする車載画像処理装置。

【請求項2】

前記補間手段は、前記路面標示線を前記追跡手段により追跡した累計時間が予め設定された閾値を上回っていることを条件として、前記補間処理を行うことを特徴とする請求項１に記載の車載画像処理装置。

【請求項3】

前記補間手段は、前記補間線が予め設定された限界位置よりも自車の移動方向後側に移動した場合、もしくは、前記補間線と、該補間線の延長線上に存在する路面標示線との距離が予め設定されている長さよりも長い場合に、前記補間処理を終了することを特徴とする請求項２に記載の車載画像処理装置。

【請求項4】

前記補間手段は、前記補間処理を開始してから予め設定された時間までに前記標示線判定手段による判定処理が開始されない場合に、前記補間処理を終了することを特徴とする請求項２または３に記載の車載画像処理装置。

【請求項5】

前記複数の画像のうちの前回画像を撮像したときから今回画像を撮像するときまでの自車挙動情報と、前記前回画像から検出された前記路面標示線の前回検出結果とに基づいて、前記今回画像において前記標示線検出手段により検出が予測される路面標示線の位置を予測する予測手段と、を備え、
前記対応付け手段は、前記予測手段により予測した予測結果と、前記標示線検出手段により前記今回画像から実際に検出した今回検出結果とを比較して前記予測線と前記路面標示線との対応付けを行うことを特徴とする請求項１から請求項４のいずれか一項に記載の車載画像処理装置。

【請求項6】

前記路面標示線が駐車スペースを区画する駐車枠線であることを特徴とする請求項１から請求項５のいずれか一項に記載の車載画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラで撮像した画像から例えば駐車枠線のような路面標示線を認識する車載画像処理装置に関する。

【背景技術】

【0002】

例えば特許文献１には、リヤカメラで撮像した画像から駐車スペースの標示線を認識し、車両の後退により画像から認識可能な標示線の長さが一定以下になった場合にドライバへの提示画面をリヤ画像から俯瞰画像に切り替える技術が示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２００９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、標示線の一部が掠れている場合や、標示線の一部が省略されて途中で途切れている場合に、画像から標示線を認識できない場合がある。

【0005】

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車載カメラで撮像した画像から路面標示線を高精度に認識することができる車載画像処理装置を提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決する本発明の車載画像処理装置は、車載カメラで撮像した画像から路面標示線を認識する車載画像処理装置であって、前記車載カメラで所定周期毎に撮像された複数の画像を取得する画像取得手段と、前記複数の画像から前記路面標示線をそれぞれ検出する標示線検出手段と、前記複数の画像にそれぞれ撮像されている標示線の対応付けを行う対応付け手段と、該対応付け手段による対応付けができた標示線を追跡する追跡手段と、前記対応付け手段による対応付けができなかった標示線で且つ前記画像内から外に移動した標示線の位置を自車挙動の情報に基づき演算して補間線として記憶する補間処理を行う補間手段と、該補間手段により補間された補間線の延長線上に、前記標示線検出手段により検出された路面標示線が存在する場合に、該路面標示線は前記補間線との協働により同一の路面標示線の一部を構成するものであると判定する標示線判定手段とを有することを特徴としている。

【発明の効果】

【0007】

本発明によれば、車載カメラで撮像した画像から路面標示線を正確に認識することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】駐車スペースを区画する標示線の具体例を説明する図。

【図2】俯瞰画像を用いて駐車スペースの標示線の認識を行う場合について説明する図。

【図3】第１実施の形態にかかわる車載画像処理装置の構成を説明する機能ブロック図。

【図4】標示線認識部の処理内容を説明するフローチャート。

【図5】追跡部、補間部、標示線判定部の処理内容を説明するフローチャート。

【図6】追跡線格納、補間線格納、新規登録線格納の処理内容説明するイメージ図。

【図7】図５の処理内容を機能ブロックにより示す図。

【図8】処理内容を説明する状態遷移図。

【図9】追跡部における対応付け処理の内容を説明する図。

【図10】追跡処理の開始と終了の条件を説明する図。

【図11】標示線判定処理の一例を説明する図。

【図12】第２実施の形態にかかわる車載画像処理装置の構成を説明する機能ブロック図。

【図13】多車線道路を走行する際のレーン認識を説明する図。

【図14】レーン認識の処理内容を説明するフローチャート。

【発明を実施するための形態】

【0009】

次に、本発明の実施の形態について以下に図面を用いて詳細に説明する。
［第１実施の形態］
本実施の形態における車載画像処理装置は、自動車などの車両（自車）１０に取り付けられた車載カメラ１１で撮像した周囲画像から駐車スペースを区画する駐車枠線である標示線（路面標示線）Ｌａ、Ｌｂを認識するものである。

【0010】

図１は、駐車スペースを区画する標示線の具体例を説明する図である。
標示線Ｌａ、Ｌｂは、車１台分の駐車スペースを区画するように路面に例えば白色や黄色などの塗料を用いて描かれている。駐車スペースの形状としては、矩形状、あるいは、図１（ａ）に示す略コ字状のもの、図１（ｂ）に示す車幅境界線の途中部分が省略されているもの、図１（ｃ）に示す四隅のみを示すものなどが存在する。標示線Ｌａは、駐車スペースの車幅方向を区画し、標示線Ｌｂは、車両前後方向を区画している。

【0011】

例えば、自車１０を後退させて駐車スペースに駐車する場合、リヤカメラの画像、もしくは、俯瞰画像の車両後側領域の画像を用いて標示線Ｌａ、Ｌｂの認識が行われる。俯瞰画像は、自車１０の前後左右に搭載した４台の車載カメラで車両周囲を撮像し、各撮像画像を画像処理により合成して自車１０の真上から見た１枚の画像に変換することによって生成される。

【0012】

図２は、俯瞰画像を用いて駐車スペースの標示線の認識を行う場合について説明する図であり、図２（ａ）〜（ｃ）は、図１（ａ）〜（ｃ）に対応する俯瞰画像である。図２の左側に示す図は、自車１０を後退させて駐車スペースに進入させる直前の駐車初期状態を示し、図２の右側に示す図は、駐車スペースに自車１０の一部が進入した駐車中期状態を示す。

【0013】

図２の左側に示す図のように、自車１０の後退により、まず最初に、俯瞰画像３１の車両後側に設定された画像処理領域３２に、駐車スペースの左右の標示線Ｌａの先端側が撮像される。そして、図２の右側に示す図のように、更なる自車１０の後退により、駐車スペースの左右の標示線Ｌａの先端側が画像処理領域３２から外れ、代わりに左右の標示線Ｌａの基端側が画像処理領域３２に入る。

【0014】

駐車スペースの標示線を認識する認識処理において、例えば図１（ａ）に示す自車１０の左側の標示線Ｌａのように一直線状に切れ目なく連続している標示線は、駐車初期状態から自車１０全体が駐車スペースに完全に納められる駐車完了状態まで追跡ができるので、駐車スペースの標示線として認識することができる。

【0015】

一方、図１に破線で囲んで示すように、標示線Ｌａの一部が掠れているもの、途中部分が省略されているもの、四隅のみを示すものの場合、駐車初期状態で検出した標示線Ｌａ１は、自車１０の移動に伴って画像処理領域３２から外れてしまう（図２（ａ）〜（ｃ）の右図を参照）。

【0016】

したがって、標示線Ｌａが途中で途切れてしまい、駐車完了状態まで追跡することができない。したがって、画像処理領域３２外の標示線Ｌａ１’と、駐車中期状態で新たに検出した画像処理領域３２内の標示線Ｌａ２との関連性が不明となり、標示線Ｌａ２が標示線Ｌａ１’に連続して標示線Ｌａ１’との協働により同一の駐車スペースを区画する同じ１本の標示線Ｌａの一部を構成するものであることを認識することができない。

【0017】

本実施の形態における車載画像処理装置は、自車の移動に伴い画像処理領域３２内を移動する標示線Ｌａ１を追跡する追跡処理と、画像処理領域３２内から外に移動した標示線Ｌａ１の位置を自車１０の挙動に基づき演算して補間線Ｌａ１’として記憶する補間処理を行う。そして、画像処理領域３２内の標示線Ｌａ２が補間線Ｌａ１’の延長線上に配置されている場合には、標示線Ｌａ２が補間線Ｌａ１’に連続して補間線Ｌａ１’との協働により同一の駐車スペースを区画する同じ１本の標示線Ｌａの一部を構成するものであると判定する標示線判定処理を行う。

【0018】

以下に、本実施の形態における車載画像処理装置の具体的な構成について説明する。
図３は、本実施の形態にかかわる車載画像処理装置の機能ブロック図である。
車載画像処理装置は、カメラ装置を構成するハードウエアとソフトウエアによって実現される。そして、内部機能として、画像取得部２１、標示線検出部２２、追跡部２３、補間部２４、標示線判定部２５、標示線検出結果記憶部２６、自車挙動情報取得部２７を有している。

【0019】

画像取得部２１は、車載カメラ１１で所定周期毎に撮像された複数の画像を取得する。画像取得部２１では、自車１０前後左右に取り付けられた４台のカメラで撮像した画像を取得し、同じタイミングで撮像された各画像を合成して自車１０の真上から見た画像である俯瞰画像３１に変換する。そして、俯瞰画像３１の車両後側を画像処理領域３２に設定する。なお、俯瞰画像３１を用いず、例えば自車１０の後部に取り付けられたリヤカメラで車両後方を撮像したリヤ画像をそのまま用いてもよい。

【0020】

標示線検出部２２は、画像取得部２１により取得した複数の画像から標示線をそれぞれ検出するものであり、俯瞰画像３１の画像処理領域３２内に存在する標示線Ｌａ、Ｌｂを検出する処理を行う。各画像の標示線検出結果は、標示線検出結果記憶部２６に記憶される。画像処理領域３２内の標示線Ｌａ、Ｌｂを検出する方法は、例えば特開２０１１−３０１４０号公報に記載されている公知の方法を用いることができる。図４は、標示線を検出する方法の一例を説明するフローチャートである。

【0021】

追跡部２３は、自車の後退移動に伴い画像処理領域３２内を移動する標示線Ｌａ１を追跡する追跡処理を行う。追跡処理では、所定周期毎に撮像された各画像の画像処理領域３２内にそれぞれ撮像されている標示線が同一の標示線を撮像したものであるか否かの対応付けを行い（対応付け手段）、対応付けができた標示線を抽出する。

【0022】

今回検出結果の標示線と前回検出結果の標示線との対応付けは、自車挙動情報取得部２７により取得した自車挙動情報と、標示線検出結果記憶部２６に記憶されている前回検出結果を用いて行われる。

【0023】

自車挙動情報取得部２７は、自車１０のシフトポジション１２、車速信号１３、ステアリング角信号１４の自車挙動情報を取得する。

【0024】

補間部２４は、追跡部２３によって対応付けができなかった標示線で且つ画像処理領域３２内から外に移動した標示線Ｌａ１の自車１０に対する相対位置を自車挙動の情報に基づき演算して補間線Ｌａ１’として記憶する補間処理を行う。

【0025】

標示線判定部２５は、画像処理領域３２内の標示線Ｌａ２が補間線Ｌａ１’と所定の位置関係に配置されているか否かを判断し、配置されている場合には、標示線Ｌａ２が補間線Ｌａ１’に連続して補間線Ｌａ１’との協働により同一の駐車スペースを区画する同じ１本の標示線Ｌａの一部を構成するものであると判定する標示線判定処理を行う。

【0026】

図５は、追跡部、補間部、標示線判定部の処理内容を説明するフローチャート、図６は、追跡線格納、補間線格納、新規登録線格納の処理内容を説明するイメージ図、図７は、図５の処理内容を機能ブロックにより示す図である。

【0027】

まず、今回画像を画像処理することにより、画像処理領域３２内にて実際に検出した標示線の位置情報を世界座標に変換する（ステップＳ１１１）。そして、前回画像の標示線の検出結果と、自車挙動情報に基づいて、今回画像における標示線の位置を予測する（ステップＳ１１２）。

【0028】

例えば図６に示すように、画像処理領域４１内における標示線４２ａ〜４２ｃの前回検出結果４１ａと、自車１０の自車挙動情報に基づくデッドレコニング結果４１ｂを用いて、今回画像における標示線の位置予測を行うことができる。デッドレコニングは、例えば特開２００２−２２８７３４号公報に記載されている公知の方法を用いることができ、自車１０の前回検出時（１周期前）の位置と今回検出時（現時点）の位置をデッドレコニング結果として得ることができる。

【0029】

そして、ステップＳ１１２で予測した今回の位置予測、すなわち前回からの予測結果４１ｃと、今回画像で実際に検出した標示線の検出結果であって世界座標系に変換されたもの４１ｄとを比較して、標示線の対応付けを行う（ステップＳ１１３）。

【0030】

対応付けは、以下の（１）〜（３）の手順により実施される。（１）今回検出結果の標示線の中から予測結果の標示線に対して画像処理領域３２の横方向の位置ずれΔＸが最小（ΔＸｍｉｎ）となる標示線を対象候補として選択する。（２）予測結果の標示線の下端と対応候補の標示線の下端との縦方向の位置ずれΔＹを算出する。（３）横位置ずれΔＸｍｉｎと縦位置ずれΔＹのいずれの誤差も所定の閾値より小さい場合（ΔＸｍｉｎ＜ＴＨΔＸかつΔＹ＜ＴＨΔＹ）に、予測結果の標示線と今回検出結果の対象候補とが対応していると判断する。

【0031】

図９は、対応付け処理の内容を具体的に説明する図である。
図９に示す例では、今回検出結果４１ｄの標示線７２〜７４のうち、予測結果４１ｃの標示線７１に対応付けされるものを選択する処理がなされる。ここでは、今回検出結果４１ｄの標示線７２〜７４の中から予測結果４１ｃの標示線７１に対して画像処理領域４１の横方向の位置ずれΔＸが最小となる標示線７２を対象候補として抽出する。なお、標示線７１に対する各標示線７２〜７４の横位置ずれの関係は、ΔＸ２＜ΔＸ１＜ΔＸ３である。

【0032】

それから、標示線７１と標示線７２との縦方向の差として、互いの先端点の縦方向の位置ずれΔＹを算出し、横位置ずれΔＸと、縦位置ずれΔＹがいずれも予め設定された閾値よりも小さい場合に、予測結果の標示線７１には今回検出結果４１ｄの標示線７２が対応していると判断する。

【0033】

このように、画像処理領域の横方向の位置ずれΔＸを用いることによって、安定した対応付けの判断を行うことができる。そして、縦方向の位置ずれΔＹを判断要素に付加することによって、さらに安定した対応付けの判断を行うことができる。

【0034】

ステップＳ１１３の対応付け処理により、予測結果と今回検出結果の対応付けができた標示線は、過去の検出結果と同じＩＤに登録し、過去の検出結果の情報を引き継ぐ追跡処理を行う（ステップＳ１１４）。そして、予測結果に対して今回検出結果の対応付けができなかった標示線は、補間処理を行い（ステップＳ１１５）、今回検出結果に対して予測結果が対応付けできなかった標示線は、新規に検出した標示線として空きＩＤに登録する新規登録処理を行う（ステップＳ１１６）。

【0035】

例えば、図６に示す例では、今回検出結果４１ｄの標示線４４ａ〜４４ｃのうち、対応付け処理により対応付けができた標示線４４ｂ、４４ｃは、前回画像で検出した前回検出結果４１ａの標示線４２ａ、４２ｃと同一の線であると判断し、追跡線として格納される（図７の追跡線格納３３）。

【0036】

そして、予測結果４１ｃの予測線４３ａ〜４３ｃのうち、今回検出結果４１ｄの標示線４４ａ〜４４ｃとの間で対応付けができなかった予測線４３ｂについては、その位置を自車挙動情報に基づき演算して補間線として格納される（図７の補間線格納３４）。また、今回検出結果４１ｄの標示線４４ａ〜４４ｃのうち、対応付け処理により予測線４３ａ〜４３ｃとの間で対応付けができなかった標示線４４ａについては、新規登録線として格納される（図７の新規登録線格納３５）。
そして、標示線判定処理が行われる（ステップＳ１１７）。

【0037】

図１１は、標示線判定処理の一例を説明する図である。
本実施の形態では、画像処理領域３２内で追跡されもしくは新規登録されている標示線Ｌａ２が、画像処理領域３２の外に移動して補間されている補間線Ｌａ１’の延長線上に存在する場合に、補間線Ｌａ１’の履歴情報を継承して、標示線Ｌａ２に乗り移る処理が行われる。そして、補間線Ｌａ１’の補間処理を終了させる。

【0038】

標示線Ｌａ２が補間線Ｌａ１’の延長線上に存在するか否かは、標示線Ｌａ２と補間線Ｌａ１’との横方向の位置ずれに基づいて判断される。具体的には、画像処理領域３２内において、補間線Ｌａ１’の中心線を延長した延長線と標示線Ｌａ２の中心線との横位置ずれΔＸが、予め設定された閾値ＴＨΔＸ以下である場合に（ΔＸ≦ＴＨΔＸ）、標示線Ｌａ２が補間線Ｌａ１’の延長線上に存在すると判断される。

【0039】

図８は、追跡、補間、新規登録、標示線判定の処理内容を説明する状態遷移図である。
新規６１では、画像処理領域内に新たな標示線が登録されると、その標示線が初回のみ検出されたものであるか否かを判断し、初回のみ検出６１ｂである場合には、消失６４に移行し、その標示線の記録を消去する。一方、次周期で撮像された画像から検出された標示線との対応付けができた場合は、対応付けＯＫ６１ａと判断して追跡６２に移行する。

【0040】

追跡６２では、画像処理領域内で移動する標示線を追跡する追跡処理が行われる。そして、所定周期毎に撮像される各画像について対応付けができている場合は、対応付けＯＫ６２ａと判断して追跡処理が継続され、追跡時間が予め設定された時間よりも短い場合は追跡時間不十分６２ｂと判断して消失６４に移行する。一方、追跡時間は十分であるが、対応付けができなくなった場合６２ｃは補間６３に移行する。

【0041】

補間６３では、予め設定された条件で補間処理が行われる。そして、標示線の対応付けができている場合６３ａ、及び、乗り移り可能な場合６３ｂは追跡６２に移行する。また、所定時間が経過した場合、または、自車が所定距離だけ移動した場合（６３ｃ）には、補間処理を終了し、消失６４に移行する。

【0042】

図１０は、補間処理の終了条件を説明する図である。
補間処理は、画像処理領域３２内において標示線を新規検出してから対応付けができなくなるまで追跡した累積時間Ｔが予め設定された閾値Ｔｈtrtimeを上回っていることを条件として（追跡時間が十分の場合）開始される。これにより、例えば、初回だけ標示線として誤検出した影などに対して補間処理が開始されるのを防ぐことができる。

【0043】

そして、下記の距離条件（１）、または、時間条件（２）のいずれか一方を満たすことにより補間処理の終了となる。距離条件（１）としては、図１０（ａ）に示すように、補間線Ｌａ１’の基端が、自車１０に対して予め設定されている基端限界ラインＹｌｉｍｉｔを超えて、自車１０の進行方向後側に移動してしまった場合、もしくは、補間線Ｌａ１’と、画像処理領域３２内で補間線Ｌａ１’の延長線上に存在する標示線Ｌａ２との距離が、予め設定されている長さ、例えば自車１０の前後方向長さよりも長い場合に、補間処理が終了される。また、時間条件（２）としては、図１０（ｂ）に示すように、補間開始後、補間から追跡に状態が戻らないまま所定時間Ｔｌｉｍｉｔ以上継続した場合、あるいは、補間処理を開始してから予め設定された時間までに標示線判定手段による判定処理が開始されない場合に、補間処理が終了される。

【0044】

終了条件（１）によれば、駐車スペースの標示線ではないものを検出して追跡処理と補間処理が行われていた場合に、補間処理を終了させることができる。基端限界ラインＹｌｉｍｉｔを、例えば自車１０の前端部近傍に設定することにより、自車１０の前後方向長さよりも極端に離れた位置に配置されているものを、１台分の駐車スペースを区画する標示線として誤検知するのを防ぐことができる。また、終了条件（２）によれば、標示線判定部２５が処理を行う前に車両が駐車してしまった場合に、補間処理を終了させることができる。

【0045】

上記した車載画像処理装置によれば、自車１０の移動に伴い画像処理領域３２内を移動する標示線Ｌａ１を追跡する追跡処理と、画像処理領域３２内から外に移動した標示線Ｌａ１の位置を自車１０の挙動に基づき演算して補間線Ｌａ１’として記憶する補間処理を行う。そして、画像処理領域３２内の標示線Ｌａ２が補間線Ｌａ１’の延長線上に配置されている場合には、標示線Ｌａ２が補間線Ｌａ１’に連続して補間線Ｌａ１’との協働により同一の駐車スペースを区画する同じ１本の標示線Ｌａの一部を構成するものであると判定する標示線判定処理を行う。

【0046】

したがって、標示線の一部が掠れている場合や、標示線の一部が省略されて途中で途切れている場合でも、車載カメラ１１で撮像した画像から駐車スペースの標示線Ｌａを正確に認識することができる。したがって、例えば、駐車支援などのアプリケーションを正確に動作させることができる。

【0047】

［第２実施の形態］
上記した第１実施の形態では、路面標示線である白線を検出し、その白線情報を用いて駐車枠を認識する処理について記載していたが、ほかのアプリケーションの例を以下説明する。本発明は、例えばレーン認識に応用することができる。

【0048】

本発明の第２実施の形態について図１２から図１４を参照しつつ以下に説明する。
図１２は、第２実施の形態にかかわる車載画像処理装置の構成を説明する機能ブロック図である。第１実施の形態と異なる点としては、標示線判定部２５の後にレーン認識部１０１が追加された点である。レーン認識部１０１は、標示線判定部２５の出力を受け取り、自車が走行している走行レーンを認識するレーン認識を行う。

【0049】

図１３は、レーン認識時の具体例を表すイメージ図である。図１４は、レーン認識時の処理フローを示す。
上記した第１実施の形態と異なる点としては、標示線判定処理であるステップＳ１１７の後にレーン認識処理であるステップＳ１１８が追加された点である。なお、第１実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

【0050】

本実施の形態において特徴的なことは、第１実施の形態と比較して、仮定する走行距離が長く、高速走行中に動作する点である。

【0051】

図１３に示すように、レーン認識においては、多車線道路を走行する際に、路面標示線４１Ｌａ〜４１Ｌｄは、自車の左右両側のうち少なくとも一方が破線４１Ｌａ、４１Ｌｂとなる。俯瞰画像を用いて、この破線４１Ｌａ、４１Ｌｂを車線区分線（レーン）として認識することを考える。

【0052】

俯瞰変換に伴う画質低下は自車からの距離に伴い悪化し、さらに表示画面サイズの制約があり小物体の視認性が低下するため、俯瞰する範囲を広くとることができない。一般的には、車載用の俯瞰画像の表示領域は、例えば自車周囲３ｍ程度に限定されている。

【0053】

一方で、一般道での破線は、例えば線分部分の長さが６ｍで間隔が９ｍであり、高速道路での破線は、例えば線分部分が８ｍで間隔が１２ｍなどとなっているため、俯瞰画像のフロントカメラ領域には、同時に破線の複数の線分を収めることができない。直線路を直進走行中の場合、レーンは画面上で見かけ上、ほぼ同じ位置に観測される。しかし、図１３に示すようなカーブにおいては、同一の車線区分線の破線４１Ｌａ、４１Ｌｂを構成している線分を特定する必要がある。

【0054】

図１４の処理フローに示すように、ステップＳ１１４〜Ｓ１１６において、前回検出結果の標示線と同一の線である追跡線や、補間された補間線、新規に検出した標示線が検出されている。この検出結果を用いて、ステップＳ１１７で検知された標示線が同一の車線区分線を構成するものであると判定する。破線を構成する線分は、間欠的にしか観測できないが、補間線の履歴情報を継承して、標示線に乗り移る処理が行われるため、同一の車線区分線には履歴情報が蓄積し続ける。

【0055】

ステップＳ１１８では、こうして蓄積された履歴情報を持つ車線区分線を利用して、レーン認識を行う。具体的には、少なくとも２本の車線区分線が、平行かつ一定以上の長さを持っている場合にレーンであると判定を行う。

【0056】

また、レーン認識の出力としては、例えば各レーンと自車進行方向との角度ずれ情報が有用であるが、この情報は、デドレコ結果を利用して常に線分が存在する位置を計算することが可能であるため、精度高いレーン認識結果を出力することができる。また、ブレーキ痕等で一部車線区分線が見えない場合や、車線変更中であっても、精度高いレーン認識結果を出力することができる。

【0057】

従って、例えばＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）や、ＬＤＰ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｐｒｅｖｅｎｔｉｏｎ）などのアプリケーションを正確に動作させることが可能となる。

【0058】

なお、本発明は、上述した実施の形態のものに何ら限定されず、車両に設けられたカメラで撮影して得られた複数の画像を取得する画像取得部と、取得した画像からそれぞれ標示線を検出する標示線検出部と、複数の画像から検出した標示線の対応付けを行う対応付け部と、対応付けが出来た標示線を追跡する追跡部と、対応付けが出来なかった標示線を自車挙動の情報に基づき補間部と、補間線の延長上に検出線が存在する場合に検出線は補間線と同一の線であると判定する標示線判定部とを備えることを特徴とする各種構造の車載用画像認識装置を含むものである。

【符号の説明】

【0059】

１０ 自車
１１ カメラ（車載カメラ）
２１ 画像取得部
２２ 標示線検出部
２３ 追跡部
２４ 補間部
２５ 標示線判定部
２６ 標示線検出結果記憶部
２７ 自車挙動情報取得部
３２ 画像処理領域
Ｌａ１、Ｌａ２ 標示線
Ｌａ１’ 補間線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】