特許 6152261 車載用駐車枠認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6152261

(24)【登録日】2017年6月2日

(45)【発行日】2017年6月21日

(54)【発明の名称】車載用駐車枠認識装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20170612BHJP

   G06T 7/00 20170101ALI20170612BHJP

   G06T 7/60 20170101ALI20170612BHJP

   B60R 21/00 20060101ALI20170612BHJP

   B60R 1/00 20060101ALI20170612BHJP

   H04N 7/18 20060101ALI20170612BHJP

【ＦＩ】

   G06T1/00 330Z

   G06T7/00 650A

   G06T7/60 200J

   B60R21/00 628D

   B60R1/00 A

   H04N7/18 J

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2012-259074(P2012-259074)

(22)【出願日】2012年11月27日

(65)【公開番号】特開2014-106740(P2014-106740A)

(43)【公開日】2014年6月9日

【審査請求日】2015年11月27日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100121360

【弁理士】

【氏名又は名称】粟田 照久

(74)【代理人】

【識別番号】100149157

【弁理士】

【氏名又は名称】関根 創史

(72)【発明者】

【氏名】村松 彰二

(72)【発明者】

【氏名】清原 將裕

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】鈴木 智史

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１０−２１０４７７（ＪＰ，Ａ）

【文献】 特開２０１０−０７９４５４（ＪＰ，Ａ）

【文献】 特開２００７−０８５９１１（ＪＰ，Ａ）

【文献】 特開２００９−１３９２９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の周囲を撮影して撮影画像を取得する撮影装置と、
前記撮影画像に基づいて前記車両の走行面に描かれた標示線を抽出する線抽出部と、
前記線抽出部により抽出された標示線において所定の条件を満たす曲線部分の有無を判定することにより、前記標示線が車道外側線であるか否かを判定する曲線判定部と、
前記曲線判定部による判定結果に基づいて前記車両が駐車場内であるか否かを判定し、駐車場内であると判定した場合に、前記撮影画像に基づく駐車枠の認識結果を出力する駐車場判定部と、を備え、
前記曲線判定部は、前記標示線における曲線部分の曲がり度合いが所定の範囲内である場合に、前記標示線が車道外側線であると判定し、
前記駐車場判定部は、前記曲線判定部により前記標示線が車道外側線であると判定された場合に、前記車両が駐車場内ではないと判定することを特徴とする車載用駐車枠認識装置。

【請求項2】

請求項１に記載の車載用駐車枠認識装置において、
前記曲線判定部は、前記曲線部分を囲う矩形枠の大きさに基づいて、前記曲線部分の曲がり度合いを算出することを特徴とする車載用駐車枠認識装置。

【請求項3】

請求項１または２に記載の車載用駐車枠認識装置において、
前記曲線判定部は、前記標示線を囲う矩形枠が前記標示線と交差する点の前記矩形枠上での位置に基づいて、前記標示線が曲線部分を含むか否かを判定することを特徴とする車載用駐車枠認識装置。

【請求項4】

車両の周囲を撮影して撮影画像を取得する撮影装置と、
前記撮影画像に基づいて前記車両の走行面に描かれた標示線を抽出する線抽出部と、
前記線抽出部により抽出された標示線において所定の条件を満たす曲線部分の有無を判定することにより、前記標示線が車道外側線であるか否かを判定する曲線判定部と、
前記曲線判定部による判定結果に基づいて前記車両が駐車場内であるか否かを判定し、駐車場内であると判定した場合に、前記撮影画像に基づく駐車枠の認識結果を出力する駐車場判定部と、を備え、
前記曲線判定部は、前記標示線を囲う矩形枠が前記標示線と交差する点の前記矩形枠上での位置に基づいて、前記標示線が曲線部分を含むか否かを判定し、
前記駐車場判定部は、前記曲線判定部により前記標示線が車道外側線であると判定された場合に、前記車両が駐車場内ではないと判定することを特徴とする車載用駐車枠認識装置。

【請求項5】

請求項１乃至４のいずれか一項に記載の車載用駐車枠認識装置において、
前記撮影装置を複数有しており、
前記複数の撮影装置により取得された各撮影画像に基づいて俯瞰画像を合成する画像合成部をさらに備え、
前記線抽出部は、前記俯瞰画像から前記標示線を抽出することを特徴とする車載用駐車枠認識装置。

【請求項6】

請求項５に記載の車載用駐車枠認識装置において、
前記曲線判定部は、前記俯瞰画像内に設定された所定の判定領域から抽出された標示線を対象に、前記条件を満たす曲線部分の有無を判定し、
前記車両の進行方向に応じて前記判定領域を変化させることを特徴とする車載用駐車枠認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載され、駐車場における駐車枠を認識する装置に関する。

【背景技術】

【0002】

従来、車両に搭載され、カメラにより撮影して得られた画像から駐車枠線を認識することで車両の駐車を支援する装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１２８３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された装置では、車室内に設けられた駐車スイッチがユーザの操作によりオン状態にされると、画像における輝度変化点を特徴点として抽出し、この特徴点に基づいて駐車枠線を検出している。したがって、車両が道路を走行しているときなどに駐車スイッチが誤ってオン状態にされると、道路上に描かれた道路標示線を駐車枠線として誤検出してしまうことがあるだけでなく、本来の駐車枠でもその端点に曲線が接続している場合には、端点座標抽出の精度が低下してしまうという問題がある。

【課題を解決するための手段】

【0005】

本発明による車載用駐車枠認識装置の一態様は、車両の周囲を撮影して撮影画像を取得する撮影装置と、撮影画像に基づいて車両の走行面に描かれた標示線を抽出する線抽出部と、線抽出部により抽出された標示線において所定の条件を満たす曲線部分の有無を判定することにより、標示線が車道外側線であるか否かを判定する曲線判定部と、曲線判定部による判定結果に基づいて車両が駐車場内であるか否かを判定し、駐車場内であると判定した場合に、撮影画像に基づく駐車枠の認識結果を出力する駐車場判定部と、を備える。この車載用駐車枠認識装置において、曲線判定部は、標示線における曲線部分の曲がり度合いが所定の範囲内である場合に、標示線が車道外側線であると判定し、駐車場判定部は、曲線判定部により標示線が車道外側線であると判定された場合に、車両が駐車場内ではないと判定する。
本発明による車載用駐車枠認識装置の他の一態様は、車両の周囲を撮影して撮影画像を取得する撮影装置と、撮影画像に基づいて車両の走行面に描かれた標示線を抽出する線抽出部と、線抽出部により抽出された標示線において所定の条件を満たす曲線部分の有無を判定することにより、標示線が車道外側線であるか否かを判定する曲線判定部と、曲線判定部による判定結果に基づいて車両が駐車場内であるか否かを判定し、駐車場内であると判定した場合に、撮影画像に基づく駐車枠の認識結果を出力する駐車場判定部と、を備える。この車載用駐車枠認識装置において、曲線判定部は、標示線を囲う矩形枠が標示線と交差する点の矩形枠上での位置に基づいて、標示線が曲線部分を含むか否かを判定し、駐車場判定部は、曲線判定部により標示線が車道外側線であると判定された場合に、車両が駐車場内ではないと判定する。

【発明の効果】

【0006】

本発明によれば、駐車枠線の誤検出を抑制することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の一実施形態による車載用駐車枠認識装置の構成を示すブロック図である。

【図2】俯瞰画像と車両前方の撮影画像を合わせた表示画像の例を示す図である。

【図3】演算処理の制御ブロック図である。

【図4】車道外側線の曲線部分の例を示した図である。

【図5】車載用駐車枠認識装置において実行される処理のフローチャートである。

【図6】直線判定の方法および曲がり度合の検出方法を説明するための図である。

【図7】車載用駐車枠認識装置において実行される第二の処理のフローチャートである。

【図8】分割に基づく方法で標示線の直線部分と曲線部分を分離する方法を説明するための図である。

【発明を実施するための形態】

【0008】

図１は、本発明の一実施形態による車載用駐車枠認識装置１００の構成を示すブロック図である。図１に示す車載用駐車枠認識装置１００は、車両に搭載されて使用されるものであり、カメラ１ａ、１ｂ、１ｃおよび１ｄと、画像合成部２と、演算処理部３と、出力部４と、を備える。

【0009】

カメラ１ａ〜１ｄは、車両の周囲をそれぞれ異なる撮影範囲で撮影する電子式カメラであり、車両のボディ、バンパー、ドアミラー等の各部に設置されている。これらの各カメラの撮影範囲は、合わせて車両の全周囲をカバーできるように定められている。本実施形態では、カメラ１ａは車両前方の撮影範囲を、カメラ１ｂは車両左側方の撮影範囲を、カメラ１ｃは車両右側方の撮影範囲を、カメラ１ｄは車両後方の撮影範囲をそれぞれ撮影するものとして説明する。カメラ１ａ〜１ｄにより所定のフレームレート間隔でそれぞれ取得された撮影画像は、画像合成部２へ出力される。

【0010】

なお、本実施形態では、４つのカメラ１ａ〜１ｄが上記のような各撮影範囲をそれぞれ撮影するものとして説明するが、車両に搭載されるカメラの個数および撮影範囲はこれに限定されない。また、各カメラを合わせた撮影範囲は、必ずしも車両の全周囲をカバーしていなくてもよい。車両の周囲を適切な範囲で撮影できれば、任意の個数のカメラを用いて、任意の撮影範囲について撮影画像を取得することができる。

【0011】

画像合成部２は、カメラ１ａ〜１ｄにより取得された各撮影画像に基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像（アラウンドビュー画像）を合成する。この俯瞰画像は、カメラ１ａ〜１ｄの各撮影画像をその撮影方向に応じて座標変換した上で繋ぎ合わせることによって合成されるものである。画像合成部２により合成された俯瞰画像は、演算処理部３へ出力される。

【0012】

演算処理部３は、画像合成部２により合成された俯瞰画像に基づいて所定の演算処理を行うことにより、車両周囲の駐車枠を認識する。この演算処理部３が行う演算処理の内容については、後で詳しく説明する。演算処理部３による駐車枠の認識結果は、出力部４へ出力される。

【0013】

出力部４は、演算処理部３による駐車枠の認識結果に基づいて、車両周囲の駐車枠に対する駐車枠情報を出力する。たとえば、車両に対する駐車枠の方向や駐車枠までの距離を示す情報を駐車枠情報として出力する。この駐車枠情報は、車載用駐車枠認識装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。たとえば、周囲に駐車場が存在する状況であることを自動で認識し、例えば、駐車場環境である場合には、モニタに自車周囲の俯瞰映像を自動で切り替えて表示することができる。これにより、公道において駐車場であると誤検知する状況を抑制し、適切なタイミングでユーザへの提示映像を切り替えることができるようになる。

【0014】

また，出力部４は、演算処理部３による駐車枠の認識結果に基づいて、自車からの相対的な位置情報として駐車枠情報を出力する。たとえば、駐車枠の左右枠線の端点座標，駐車枠線の角度および切片といった、実環境中における駐車枠の位置情報を出力する。この駐車枠情報は、車載用駐車枠認識装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。たとえば、自車から駐車枠までの相対的な位置姿勢に基づいて，駐車枠までの走行経路を計算し，ドライバーにブレーキやシフトポジション変更のタイミングや，舵角の操作量を通知することによって，駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、短時間で駐車動作が完了できるようになる。

【0015】

さらには、自車から駐車枠までの相対的な位置姿勢に基づいて，駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御してもよい。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、安全かつ正確に駐車動作を完了できるようになる。

【0016】

図２は、画像合成部２により合成された俯瞰画像とカメラ１ａにより撮影された車両前方の撮影画像を合わせた表示画像の例を示す図である。図２において、左側の画像２１は俯瞰画像を示し、右側の画像２２は車両前方の撮影画像を示している。

【0017】

俯瞰画像２１は、車両の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域２１ａ、２１ｂ、２１ｃおよび２１ｄにより構成されている。これらの画像領域の各画像は、図１のカメラ１ａ〜１ｄによってそれぞれ撮影された画像に基づいて作成されたものである。画像領域２１ａ内には、駐車枠線２３の一部が表示されている。この駐車枠線２３は、撮影画像２２にも表示されている。

【0018】

以上説明したような画像は、たとえば車両内に設置された不図示の表示モニタにおいて表示される。なお、撮影画像２２として表示される画像は、車両の進行方向に応じて切り替えられることが好ましい。たとえば、車両のシフトレバーを前進方向に切り替えたときには、車両が前進していると判断して、カメラ１ａにより撮影された車両前方の撮影画像を表示する。一方、車両のシフトレバーを後退方向に切り替えたときには、車両が後退していると判断して、カメラ１ｄにより撮影された車両後方の撮影画像を表示する。このようにすれば、車両の進行方向に応じた適切な撮影画像を車両の運転者に提示し、駐車時などの運転操作支援を行うことができる。

【0019】

次に、演算処理部３が行う演算処理の内容について説明する。図３は、演算処理部３が行う演算処理の制御ブロック図である。図３に示すように、演算処理部３は、線抽出部３０１、曲線判定部３０２および駐車場判定部３０３の各制御ブロックを機能的に有する。演算処理部３では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図３の各制御ブロックを実現している。

【0020】

画像合成部２により合成された俯瞰画像は、演算処理部３において線抽出部３０１に入力される。線抽出部３０１は、入力された俯瞰画像から車両の走行面における標示線を抽出する。たとえば、俯瞰画像を横方向に探索したときの輝度変化が所定のしきい値以上であるエッジ点を特徴点として抽出し、各特徴点をその位置関係や、前回処理時からの移動量、移動方向等に基づいてグループ分けすることで、車両の走行面に描かれた標示線を抽出することができる。なお、ここで抽出される標示線には、道路上に描かれた各種の道路標示線（車道中央線、車線境界線、車道外側線、横断歩道等）や、駐車場に描かれた駐車枠線などが含まれる。線抽出部３０１による線抽出結果は、曲線判定部３０２および駐車場判定部３０３へ出力される。

【0021】

曲線判定部３０２は、線抽出部３０１による標示線抽出結果を基に、抽出された標示線について、道路上に描かれた車道外側線において特徴的なＲ部分（曲線部分）の有無を判定し、その判定結果を駐車場判定部３０３へ出力する。車道外側線とは、車道の外縁を示すための道路標示線であり、車道と路側帯の間、または車道と歩道の間に描かれている。なお、この曲線判定部３０２が行う処理内容については、後で詳しく説明する。

【0022】

駐車場判定部３０３は、線抽出部３０１による標示線抽出結果と、曲線判定部３０２による判定結果と、外部から入力される付加情報とに基づいて、車両が駐車場内を走行中であるか否かを判定する。付加情報としては、たとえば、車両の挙動を示す車速、操舵角等の情報や、ナビゲーション装置からの現在位置情報および地図情報などを利用することができる。さらに、車両が駐車場内を走行中であると判定した場合は、線抽出部３０１により抽出された標示線が駐車枠線であるか否かを判断し、駐車枠線であればそれに対応する駐車枠の認識結果を図１の出力部４へ出力する。

【0023】

次に、曲線判定部３０２の処理内容について、以下に図４を参照して説明する。図４は、曲線判定部３０２において判定対象とされる車道外側線の曲線部分の例を示した図である。図４（ａ）は、車両の走行道路に比較的広い接続道路が繋がっている場合の車道外側線の例を示している。図４（ａ）に示すように、走行道路と接続道路の交差点では、車道外側線において曲線部分４１、４２が設けられている。この曲線部分４１、４２を介して、走行道路の車道外側線と接続道路の車道外側線とが互いに接続されている。

【0024】

図４（ｂ）は、車両の走行道路に比較的狭い接続道路が繋がっている場合の車道外側線の例を示している。この場合も図４（ａ）と同様に、走行道路と接続道路の交差点では、車道外側線に曲線部分４３、４４が設けられている。一方、図４（ａ）とは異なり、図４（ｂ）では接続道路に車道外側線が描かれていない。そのため、接続道路側において、曲線部分４３、４４から先には何も接続されていない。

【0025】

上記の曲線部分４１〜４４の曲がり度合いは、車道外側線の曲線部分に対する曲がり度合いとして、他の標示線とは異なる特徴的な値を有していることが好ましい。たとえば、駐車枠線において用いられるＵ字部分の曲率半径が１５ｃｍ〜２０ｃｍ程度であるのに対して、車道外側線の曲線部分の曲率半径を５０ｃｍ〜１ｍ程度とすることができる。なお、これらの曲がり度合いはあくまで一例であり、他の値であってもよい。

【0026】

曲線判定部３０２は、線抽出部３０１により俯瞰画像から抽出された各標示線について、車道外側線において特徴的である上記のような曲線部分を含むか否かをそれぞれ判定する。その結果、こうした曲線部分を含む標示線がある場合は、その標示線を車道外側線であると判断することができる。この判断結果を基に、駐車場判定部３０３において、車両が駐車場ではなく道路を走行していると判断することができる。

【0027】

図５は、車載用駐車枠認識装置１００において実行される処理のフローチャートである。ステップＳ１０では、カメラ１ａ〜１ｄにより撮影画像をそれぞれ取得し、画像合成部２へ出力する。続くステップＳ２０では、画像合成部２により俯瞰画像を生成し、演算処理部３へ出力する。

【0028】

ステップＳ３０において、演算処理部３は、線抽出部３０１により、ステップＳ２０で生成された俯瞰画像から標示線の抽出を行う。ここでは、たとえば前述のような方法により、車両の走行面に描かれた様々な標示線を俯瞰画像から抽出することができる。この標示線は必ずしも直線のみである必要はなく、曲線部や折れ線部を含め、ひと繋がりの標示線を抽出する。抽出された線分の長さが短い場合、線の角度や直線性の判定が困難になるため、ここでは局所平滑化フィルタを事前に画像に適用するなどして、かすれた駐車枠線をぼかして途切れた線を連結することで、より長い標示線を抽出してもよい。

【0029】

ステップＳ４０において、演算処理部３は、曲線判定部３０２により、ステップＳ３０で抽出された標示線のうちいずれかを選択する。ここで選択された標示線を処理対象として、以下のステップＳ５０〜Ｓ８０で説明するような各処理が曲線判定部３０２において実行される。

【0030】

なお、ステップＳ４０では、ステップＳ３０で抽出された標示線のうち一部のみを選択の対象としてもよい。たとえば、俯瞰画像内に所定の判定領域を予め設定しておき、この判定領域から抽出された標示線のみを選択の対象とすることができる。さらにこの場合、車両のシフトレバーの位置や操舵角に基づいて車両の進行方向を判断し、その判断結果に応じて判定領域を変化させてもよい。たとえば、図２の俯瞰画像２１において、前方への直進時には画像領域２１ａを判定領域とし、後方への直進時には画像領域２１ｄを判定領域とする。また、前方への左旋回または後方への右旋回時には画像領域２１ｂを判定領域とし、前方への右旋回または後方への左旋回時には画像領域２１ｃを判定領域とする。このようにすれば、演算処理部３の処理負荷を軽減しつつ、適切な標示線を選択して車道外側線であるか否かを判定することができる。

【0031】

ステップＳ５０において、曲線判定部３０２は、ステップＳ４０で処理対象として選択した標示線が直線であるか否かを判定する。その結果、直線であると判定した場合はステップＳ９０へ進み、直線ではないと判定した場合、すなわち曲線を含む標示線であると判定した場合はステップＳ６０へ進む。なお、ステップＳ５０における直線判定の方法の詳細については、後で図６を参照して詳しく説明する。

【0032】

ステップＳ６０において、曲線判定部３０２は、ステップＳ５０で直線ではないと判定した処理対象の標示線における曲線部分の曲がり度合いを検出する。このときの具体的な曲がり度合いの検出方法についても、後で図６を参照して詳しく説明する。

【0033】

ステップＳ７０において、曲線判定部３０２は、ステップＳ６０で検出された曲線部分の曲がり度合いが所定の範囲内であるか否かを検出する。この曲がり度合いが前述のような車道外側線として特徴的な値の範囲内にある場合はステップＳ８０へ進み、そうでない場合はステップＳ９０へ進む。

【0034】

ステップＳ８０において、曲線判定部３０２は、ステップＳ４０で選択した処理対象の標示線が車道外側線であると判定する。この判定結果は、演算処理部３において不図示のメモリ等に記憶され、以降の処理において利用される。

【0035】

ステップＳ９０において、曲線判定部３０２は、ステップＳ３０で抽出された標示線の全てをステップＳ４０において選択済みであるか否かを判定する。未選択の標示線がある場合はステップＳ４０へ戻り、未選択の標示線の中からいずれかをステップＳ４０で選択した後、上記のステップＳ５０〜Ｓ８０の処理を繰り返す。一方、全ての標示線を選択済みである場合は、ステップＳ１００へ進む。

【0036】

ステップＳ１００において、演算処理部３は、駐車場判定部３０３による駐車場判定を行う。この駐車場判定では前述のように、線抽出部３０１による標示線抽出結果と、曲線判定部３０２による判定結果と、外部から入力される付加情報とに基づいて、車両が駐車場内を走行中であるか否かを判定する。このとき、ステップＳ８０においていずれか少なくとも一つの標示線が車道外側線であると判定されていた場合は、線抽出部３０１による標示線抽出結果に関わらず、車両が駐車場を走行中ではなく、道路上を走行しているものと判定する。一方、車道外側線であると判定された標示線が一つも存在せず、さらにステップＳ３０で抽出された標示線の中に駐車枠線がある場合は、車両が駐車場を走行中であると判定して、その駐車枠線に対応する駐車枠の認識結果を出力部４へ出力する。このとき、前述のような付加情報を適宜利用してもよい。

【0037】

ステップＳ１１０では、出力部４により、ステップＳ１００で演算処理部３から出力された駐車枠の認識結果に基づく駐車枠情報を出力する。なお、ステップＳ１００において車両が駐車場ではなく道路上を走行していると判定された場合や、駐車枠を認識できなかった場合は、その旨を示す情報を駐車枠情報として出力することが好ましい。ステップＳ１１０を実行したら、図５のフローチャートに示す処理を終了する。

【0038】

次に、図５のステップＳ５０における直線判定の方法およびステップＳ６０における曲がり度合の検出方法について説明する。図６は、直線判定の方法および曲がり度合の検出方法を説明するための図である。

【0039】

ステップＳ５０では、最初に図６（ａ）に示すように、俯瞰画像２１において抽出された処理対象の標示線５０に対して、これを囲う矩形枠６０を設定する。次に図６（ｂ）に示すように、設定した矩形枠６０が標示線５０と交差する点６１、６２を特定し、この点６１、６２の矩形枠６０上での位置に基づいて、標示線５０が曲線部分を含むか否かを判定する。具体的には、点６１、６２が矩形枠６０上で互いに対角の位置にある場合は、標示線５０が直線であると判定し、そうでない場合は標示線５０が直線ではなく曲線部分を含むものと判定する。図６（ｂ）の例では、点６１、６２が矩形枠６０の対角に位置していないため、標示線５０は直線ではないと判定することができる。

【0040】

図５のステップＳ５０では、以上説明したような方法により、処理対象の標示線が直線であるか否かを判定することができる。なお、上記の直線判定の方法はあくまで一例であり、他の方法を用いて直線判定を行ってもよい。

【0041】

以上説明したような方法により、標示線５０に対してステップＳ５０で直線判定を行った後、続くステップＳ６０では、最初に図６（ｃ）に示すように、標示線５０の直線部分に対応する矩形枠７０、８０をそれぞれ設定する。具体的には、矩形枠７０が標示線５０と交差する点７１、７２が矩形枠７０上で互いに対角の位置にある状態で、これらの間の距離が最大となるように矩形枠７０を設定することで、標示線５０の直線部分に対応する矩形枠７０を設定することができる。同様に、矩形枠８０が標示線５０と交差する点８１、８２が矩形枠８０上で互いに対角の位置にある状態で、これらの間の距離が最大となるように矩形枠８０を設定することで、標示線５０の直線部分に対応する矩形枠８０を設定することができる。なお、矩形枠７０、８０のいずれか一方のみを設定してもよい。

【0042】

上記のようにして矩形枠７０、８０を設定したら、次に図６（ｄ）に示すように、標示線５０から矩形枠７０、８０に囲われた直線部分を除外することで曲線部分を抽出し、この曲線部分を囲う矩形枠９０を設定する。そして、この矩形枠９０の横方向の長さＷおよび縦方向の長さＨを検出することで、矩形枠９０の大きさを求め、これを当該曲線部分の曲がり度合を示す値とする。

【0043】

図５のステップＳ６０では、以上説明したような方法により、処理対象の標示線に含まれる曲線部分の曲がり度合を検出することができる。なお、上記の曲がり度合の検出方法はあくまで一例であり、他の方法を用いて曲がり度合を検出してもよい。

【0044】

例えば、図８に示すように分割に基づく方法で、処理対象である標示線の直線部分と曲線部分を分離し、それぞれ判定することができる。この方法について説明する。

【0045】

最初に図８（ａ）に示すように、俯瞰画像２１において抽出された処理対象の標示線５０に対して、これを囲う矩形枠６０を設定する。次に、それを２分する分割線１０１を設定する。この分割線１０１に従って、矩形枠６０を分割し、図８（ｂ）に示すように矩形枠１１０、および矩形枠１１１を生成する。ここで、端点が矩形枠上で互いに対角の位置にない場合は、ここに変曲点が含まれていると判断し、矩形枠を更に分割する。図８の例では、矩形枠１１０中には変曲点が含まれておらず、矩形枠１１１中には変曲点が含まれるとの判定が行われる。変曲点を含むと判定された矩形枠１１１は更に分割し、分割後の両矩形に変曲点が含まれないと判断されるまで、もしくは事前に設定しておく最大回数分だけ、再帰的に分割を実行する。

【0046】

次に、矩形枠１１１に対して、それを２分する分割線１０２を設定する。この分割線１０２に従って、矩形枠１１１を分割し、矩形枠１２０および矩形枠１２１を生成する。同様に端点が対角点であるか否かを判定することにより、再分割すべき矩形枠が矩形枠１２０であることが判定できる。こうして、矩形枠１２０に対して、さらにそれを２分する分割線１０３を設定する。この分割線に従って、矩形枠１２０を分割し、矩形枠１３０および矩形枠１３１を生成する。今度は矩形枠１３０および矩形枠１３１の双方とも変曲点を含まないと判定され、ここで分割は終了する。そして、この最後の分割線１０３の部位で、直線部分１４０と曲線部分１４１とをグループ化して出力する。この曲線部分１４１に対して、前述した方法で曲がり度合いを判定する。

【0047】

なお、上記の対角の位置にあることの判定は、厳密に対角点である必要はない。つまり、レンズぼけ・レンズ収差・伝送路ノイズ・計算機内部の量子化誤差などにより、ずれが発生することが予想されるため、数ピクセル程度の適切な閾値を設けて、端点と対角点とが閾値以内の近傍である場合には、それを対角点と判定してもよい。

【0048】

また、上記方法では単純に２分すると記載したが、実際には特定方向に重みをつけてもよい。図８（ｅ）に示すように、自車側を短く、遠方を長くなるように、例えば１：２の長さで分割する分割線１０５を設定してもよい。また、自車の走行速度および進行方向、線分の画面上の位置によって、この割合を変えても良い。

【0049】

以上説明した実施の形態によれば、次のような作用効果を奏する。

【0050】

（１）車載用駐車枠認識装置１００は、車両の周囲を撮影して撮影画像を取得するカメラ１ａ〜１ｄおよび演算処理部３を備える。演算処理部３は、線抽出部３０１、曲線判定部３０２および駐車場判定部３０３を備える。線抽出部３０１は、撮影画像に基づいて車両の走行面に描かれた標示線を抽出する（ステップＳ３０）。曲線判定部３０２は、線抽出部３０１により抽出された標示線において所定の条件を満たす曲線部分の有無を判定することにより、標示線が車道外側線であるか否かを判定する（ステップＳ５０〜Ｓ８０）。駐車場判定部３０３は、曲線判定部３０２による判定結果に基づいて車両が駐車場内であるか否かを判定し、駐車場内であると判定した場合に、撮影画像に基づく駐車枠の認識結果を出力する（ステップＳ１００）。このとき、駐車場判定部３０３は、曲線判定部３０２により標示線が車道外側線であると判定された場合に、車両が駐車場内ではないと判定する。このようにしたので、車両が道路を走行しているときの駐車枠線の誤検出を抑制することができる。

【0051】

（２）曲線判定部３０２は、ステップＳ７０において、処理対象の標示線における曲線部分の曲がり度合いが所定の範囲内である場合に、その標示線が車道外側線であると判定する。このようにしたので、車道外側線として特徴的な曲がり度合の曲線部分を有する標示線がある場合に、その標示線を確実に車道外側線として判定することができる。

【0052】

（３）曲線判定部３０２は、ステップＳ６０において、図６（ｃ）、（ｄ）に示したように、標示線５０の曲線部分を囲う矩形枠９０の大きさに基づいて、その曲線部分の曲がり度合いを算出する。このようにしたので、曲線部分の曲がり度合を簡単な処理で正確に算出することができる。

【0053】

（４）曲線判定部３０２は、ステップＳ６０において、図６（ａ）、（ｂ）に示したように、標示線５０を囲う矩形枠６０が標示線５０と交差する点６１、６２の矩形枠６０での位置に基づいて、標示線５０が曲線部分を含むか否かを判定する。このようにしたので、処理対象の標示線が曲線部分を含むか否かを簡単な処理で正確に判定することができる。

【0054】

（５）車載用駐車枠認識装置１００は、複数のカメラ１ａ〜１ｄと、この複数のカメラ１ａ〜１ｄにより取得された各撮影画像に基づいて俯瞰画像を合成する画像合成部２とを有している。線抽出部３０１は、この俯瞰画像から標示線を抽出する。このようにしたので、車両周囲の走行面に描かれた標示線を確実に抽出することができる。

【0055】

（６）曲線判定部３０２は、ステップＳ４０において、俯瞰画像内に設定された所定の判定領域から抽出された標示線を以降の処理対象として選択し、続くステップＳ５０では、この標示線に対して所定の条件を満たす曲線部分の有無を判定することができる。さらにこの場合、車両の進行方向に応じて判定領域を変化させることができる。このようにすれば、演算処理部３の処理負荷を軽減しつつ、適切な標示線を選択して車道外側線であるか否かを判定することができる。

【0056】

（７）曲線判定部３０２は、ステップＳ３０において、処理対象の標示線をその直線性に関わらず、連結している標示線を抽出する。このようにしたので、線分と路面上の汚れ等とをその長さによって区別することができ、線分の認識性能を向上することができる。その後、連結している標示線を分割して曲線部分の判定を行うようにしたため、標示線であるもののうち直線性を持つ領域のみを抽出する性能を向上することができる。

【0057】

（８）車載用駐車枠認識装置１００の駐車場判定部３０３は、図７に示す第二の処理のフローチャートのように、上記のステップＳ１００の処理に替えて、曲線判定部３０２による判定結果に基づいて、曲線が存在する場合には、曲線部分を除去して端点を出力することにより、駐車枠端点を再設定してもよい（ステップＳ１０１）。すなわち、なるべく長い標示線を抽出し、その後、曲線部分を特定して曲線部分に含まれていない端点を駐車枠端点として出力する。このようにすれば、精度の高い端点座標および線の角度の情報を出力することができる。

【0058】

（９）曲線判定部３０２は、ステップＳ５０およびステップＳ６０において、分割に基づく方法で、処理対象である標示線の直線部分と曲線部分を分離することもできる。このようにすれば、例えばハードウェアアクセラレータ機能によって、高速にひと繋がりの線分の端点と、線分を包含する矩形枠とが抽出できる場合、高速に直線部分と曲線部分とを分離することが可能となる。すなわち、演算処理部３の特定機能を活用することで、適切に曲がり度合いを高速に判定することができるようになる。

【0059】

（１０）曲線判定部３０２は、ステップＳ５０およびステップＳ６０において、分割の割合に重みをつけることで、計算時間を短縮することが可能である。すなわち、自車が公道を走行している場合、検出しようとしている曲線部分は、手前側にあることが多い。図４（ａ）を下から上方向きに左車線を走行している場合、画面の上方から曲線部４１に繋がった白線が検出される。前述したように、自車側を短く、遠方を長くなるように分割することで、計算時間を短縮することができる。

【0060】

なお、以上説明した実施の形態では、カメラ１ａ〜１ｄにより撮影された各撮影画像に基づいて、画像合成部２により俯瞰画像を合成し、この俯瞰画像から線抽出部３０１により標示線を抽出することとした。しかし、俯瞰画像を合成せずに、カメラの撮影画像から直接に標示線を抽出してもよい。

【0061】

以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。

【符号の説明】

【0062】

１ａ、１ｂ、１ｃ、１ｄ カメラ
２ 画像合成部
３ 演算処理部
４ 出力部
１００ 車載用駐車枠認識装置
３０１ 線抽出部
３０２ 曲線判定部
３０３ 駐車場判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】