(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-16
(45)【発行日】2023-03-27
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
B60R 99/00 20090101AFI20230317BHJP
G06T 7/00 20170101ALI20230317BHJP
G06T 7/60 20170101ALI20230317BHJP
H04N 7/18 20060101ALI20230317BHJP
【ＦＩ】
B60R99/00 330
G06T7/00 650A
G06T7/60 200J
B60R99/00 321
H04N7/18 J
H04N7/18 K
【請求項の数】
5
(21)【出願番号】P 2018213429
(22)【出願日】2018-11-14
(65)【公開番号】P2020079030
(43)【公開日】2020-05-28
【審査請求日】2021-09-21
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】金子 貴之
【審査官】飯島 尚郎
(56)【参考文献】
【文献】特開２０１８－０９２５０１（ＪＰ，Ａ）
【文献】特開２０１８－１１８５９３（ＪＰ，Ａ）
【文献】特開２０１３－２１６３０５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｒ ９９／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／６０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、前記路面上に描かれた２方向に延在する白線部を有するマーカーを検出するマーカー検出部と、検出された前記マーカーのうち前記路面上で隣接する前記マーカーを算出し、これら隣接するマーカー間の距離に基づいて、これらマーカーにより特定される駐車枠を検出する駐車枠検出部と、
検出された前記駐車枠に含まれる前記マーカーの前記白線部の延在方向を検出し、検出された前記白線部の延在方向に基づいて前記駐車枠の形状を推定する形状推定部と、を有し、
前記マーカー検出部は、前記画像信号に基づく画像中のコーナーを検出することで前記白線部が交差する前記マーカーのコーナー部を検出するコーナー検出部を有し、
前記形状推定部は、前記コーナー部から、前記白線部の延在方向に直交すると考えられる方向に向けて、前記マーカーにかかる画素の輝度値をスキャンすることで、前記白線部の縁部がどこに位置するかを把握し、前記白線部が延在する２方向がなす角度に基づいて前記駐車枠の形状を推定する
ことを特徴とする画像処理装置。
【請求項2】
前記コーナー検出部は、前記画像信号の輝度パターンに基づいて前記コーナー部を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記マーカー検出部は、前記コーナー検出部により検出された前記コーナー部の位置に基づいて前記マーカーを検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記形状推定部は、前記画像信号の輝度パターンに基づいて前記白線部の延在方向を検出することを特徴とする請求項１～３のいずれかに記載の画像処理装置。
【請求項5】
車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、前記路面上に描かれた２方向に延在する白線部を有するマーカーを検出し、検出された前記マーカーのうち前記路面上で隣接する前記マーカーを算出し、これら隣接するマーカー間の距離に基づいて、これらマーカーにより特定される駐車枠を検出し、
検出された前記駐車枠に含まれる前記マーカーの前記白線部の延在方向を検出し、検出された前記白線部の延在方向に基づいて前記駐車枠の形状を推定し、
前記マーカーを検出するとき、前記画像信号に基づく画像中のコーナーを検出することで前記白線部が交差する前記マーカーのコーナー部を検出し、
前記駐車枠の形状を推定するとき、前記コーナー部から、前記白線部の延在方向に直交すると考えられる方向に向けて、前記マーカーにかかる画素の輝度値をスキャンすることで、前記白線部の縁部がどこに位置するかを把握し、前記白線部が延在する２方向がなす角度に基づいて前記駐車枠の形状を推定する
ことを特徴とする画像処理装置による画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、この路面に設けられた駐車枠を推定する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【0002】
駐車場に設けられた駐車枠を、この駐車枠の端部に相当する路面に描かれたマーカーを検出することにより検出し、この駐車枠に関する情報を車内のモニターに提供し、あるいは車両に設けられたソナーや操舵装置等の制御装置に提供して車両の駐車を支援する駐車支援装置は公知である（例えば特許文献１参照）。そして、この駐車支援動作の際に、車両の周囲の路面を撮像する撮像装置から出力される画像信号に対して画像処理技術を用いてマーカーを検出し、このマーカーから駐車枠を推定する技術も公知である（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１２－２１０８６４号公報
【文献】特開２０１３－２１６３０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献２に開示された技術では、マーカーを構成する白線がなすコーナー部における白線の延在方向をパターン化してあてはめることで駐車枠を推定していた。このため、特許文献２に開示された技術によれば、パターンマッチングに相当の時間を要するとともに、検出できる白線の幅にも一定の限界が生じる可能性があった。
【0005】
そこで、本発明は、駐車場等の路面に設けられた駐車枠の推定を迅速かつ確実に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の画像処理装置は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、路面上に描かれた２方向に延在する白線部を有するマーカーを検出するマーカー検出部と、検出されたマーカーのうち路面上で隣接するマーカーを算出し、これら隣接するマーカー間の距離に基づいて、これらマーカーにより特定される駐車枠を検出する駐車枠検出部と、検出された駐車枠に含まれるマーカーの白線部の延在方向を検出し、検出された白線部の延在方向に基づいて駐車枠の形状を推定する形状推定部と、を有する。マーカー検出部は、画像信号に基づく画像中のコーナーを検出することで白線部が交差するマーカーのコーナー部を検出するコーナー検出部を有する。形状推定部は、コーナー部から、白線部の延在方向に直交すると考えられる方向に向けて、マーカーにかかる画素の輝度値をスキャンすることで、白線部の縁部がどこに位置するかを把握し、白線部が延在する２方向がなす角度に基づいて駐車枠の形状を推定することを特徴とする。
【発明の効果】
【0007】
このように構成された本発明の画像処理装置では、形状推定部が、検出された駐車枠に含まれるマーカーの白線部の延在方向を検出し、検出された白線部の延在方向に基づいて駐車枠の形状を推定する。このとき、白線部が交差するマーカーのコーナー部から、白線部の延在方向に直交すると考えられる方向に向けて、マーカーにかかる画素の輝度値をスキャンすることで、白線部の縁部がどこに位置するかを把握する。そして、白線部が延在する２方向がなす角度に基づいて駐車枠の形状を推定する。
【0008】
このようにすることで、駐車場等の路面に設けられた駐車枠の推定を迅速かつ確実に行うことが可能となる。そして、白線部の延在方向を考慮して駐車枠を設定しているので、縦列駐車用の駐車枠であっても並列駐車用の駐車枠であっても、適切に駐車枠を設定することができる。加えて、白線部が斜めに交わるようなマーカーであっても、適切に駐車枠を設定することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。
【図2】実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。
【図3】実施の形態である画像処理装置の概略構成を示す機能ブロック図である。
【図4】実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。
【図5】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図6】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図7】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図8】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図9】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図10】実施の形態である画像処理装置の動作の一例を説明するための図である。
【図11】実施の形態である画像処理装置の作用の一例を説明するための図である。
【図12】実施の形態である画像処理装置の作用の一例を説明するための図である。
【発明を実施するための形態】
【0010】
（駐車支援装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図、図２は実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。
以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図、図２は実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。
【0011】
図１に示すように、駐車支援装置１は、車両Ｖ（図２参照）に搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、この車両Ｖが駐車可能な駐車枠を認識する。そして、駐車支援装置１は、認識した駐車枠に車両Ｖを駐車させるようにこの車両Ｖを制御する。
【0012】
車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。
【0013】
具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて前方カメラ２０ａが装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて後方カメラ２０ｂが装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて左側方カメラ２０ｃが装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて右側方カメラ２０ｄが装着されている。
【0014】
前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ２０ａ～２０ｄで車両Ｖの周囲の路面を含む領域を漏れなく観測することができるようになっている。これらカメラ２０ａ～２０ｄにより、車両Ｖの周囲の路面を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ（撮像装置）２０ａ～２０ｄを区別せずに説明する場合は単にカメラ２０として説明する。
【0015】
図１に戻って、駐車支援装置１は、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄと、カメラＥＣＵ２２と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３４とを有する。
【0016】
カメラＥＣＵ２２は、カメラ２０を制御するとともに、カメラ２０が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検知する検知処理や、検知した駐車枠に車両Ｖを駐車できるか否かを判定する判定処理等を行う。
【0017】
ナビゲーション装置（表示装置）３０は画像表示機能を有するモニター３１を有する。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置３０は、この地図データ等及び図略のＧＰＳ装置等により検出された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター３１に表示される。
【0018】
車輪速センサ３２は、車両Ｖの車輪速を検知するセンサである。車輪速センサ３２で検知された検知情報（車輪速）は、車両制御ＥＣＵ４０に入力される。
【0019】
操舵角センサ３４は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３４で検知された検知情報（操舵角）は、車両制御ＥＣＵ４０に入力される。
【0020】
さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。
【0021】
車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されたマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４から入力された各検知情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。
【0022】
すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２２が駐車可と判定した駐車枠に車両Ｖを自動で駐車させる自動駐車処理を実行する。
【0023】
ステアリング制御ユニット５０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、パワステアクチュエータ５２を駆動して、車両Ｖの操舵角を制御する。
【0024】
スロットル制御ユニット６０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、スロットルアクチュエータ６２を駆動して、車両Ｖのスロットルを制御する。
【0025】
ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０で決定した車両制御情報に基づいて、ブレーキアクチュエータ７２を駆動して、車両Ｖのブレーキを制御する。
【0026】
なお、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４と、車両制御ＥＣＵ４０との間は、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（登録商標）（Controller Area Network）８０によって接続される。
【0027】
また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０との間は、車内ＬＡＮである車両情報ＣＡＮ（登録商標）８２によって接続される。
【0028】
以上の構成を有する駐車支援装置１において、本実施の形態の画像処理装置１００は、カメラＥＣＵ２２により主に構成されている。
【0029】
（画像処理装置の機能構成）
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。
図３は、本実施の形態である画像処理装置１００の概略構成を示す機能ブロック図である。
【0030】
本実施の形態である画像処理装置１００は、制御部１１０及び記憶部１２０を有する。
【0031】
主にカメラＥＣＵ２２から構成される制御部１１０は、画像処理装置１００全体の制御を行う。加えて、制御部１１０は、後述するマーカー検出部１１１、駐車枠検出部１１２及び形状推定部１１３により検出、推定されたマーカーや駐車枠に基づいて、車両Ｖが駐車可と判定した駐車枠にこの車両Ｖを自動で駐車させる自動駐車処理を車両制御ＥＣＵ４０に実行させるために、自動駐車処理に必要な情報（駐車枠の位置、形状など）をこの車両制御ＥＣＵ４０に送出する。
【0032】
車両制御ＥＣＵ４０は、制御部１１０から提供された情報に基づいて、さらに、車輪速センサ３２及び操舵角センサ３４（図３ではセンサとのみ図示している）が検知した検知情報に基づいて、パワステアクチュエータ５２、スロットルアクチュエータ６２及びブレーキアクチュエータ７２（図３ではアクチュエータとのみ図示している）を駆動制御する。
【0033】
制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。
【0034】
画像処理装置１００の記憶部１２０には図略の制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。
【0035】
制御部１１０は、マーカー検出部１１１、駐車枠検出部１１２、形状推定部１１３及び表示制御部１１４を有する。
【0036】
マーカー検出部１１１は、車両Ｖの周囲の路面を撮像するカメラ２０から出力される画像信号に基づいて、路面上に描かれた２方向に延在する白線部を有するマーカーを検出する。
【0037】
特に、マーカー検出部１１１は、画像信号に基づく画像中のコーナーを検出することで白線部が交差するマーカーのコーナー部を検出するコーナー検出部１１１ａを有する。このコーナー検出部１１１ａは、画像信号の輝度パターンに基づいてコーナー部を検出することが好ましい。そして、マーカー検出部１１１は、コーナー検出部１１１ａにより検出されたコーナー部の位置に基づいてマーカーを検出することが好ましい。
【0038】
駐車枠検出部１１２は、マーカー検出部１１１により検出されたマーカーのうち路面上で隣接するマーカーを算出し、これら隣接するマーカー間の距離に基づいて、これらマーカーにより特定される駐車枠を検出する。
【0039】
形状推定部１１３は、駐車枠検出部１１２により検出された駐車枠に含まれるマーカーの白線部の延在方向を検出し、検出された白線部の延在方向に基づいて駐車枠の形状を推定する。特に、形状推定部１１３は、画像信号の輝度パターンに基づいて白線部の延在方向を検出する。
【0040】
表示制御部１１４は、カメラ２０により撮像された車両Ｖ周辺の路面画像やマーカー検出部１１１、駐車枠検出部１１２及び形状推定部１１３により検出、推定されたマーカーや駐車枠を示す画像をこの路面画像に適宜重複して、あるいは単独でナビゲーション装置（表示装置）３０のモニター３１に表示させるための表示制御信号をナビゲーション装置３０に送出する。
【0041】
主に車両制御ＥＣＵ４０から構成される記憶部１２０は、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体を有する。記憶部１２０には、制御部１１０における各種動作の際に用いられる各種データが一時的または非一時的に格納される。
【0042】
また、記憶部１２０には駐車枠登録データ１２１が格納されている。この駐車枠登録データ１２１は、駐車枠検出部１１２及び形状推定部１１３により検出、推定された駐車枠に関するデータである。
【0043】
図３に示す、画像処理装置１００を構成する各部の具体的動作については後に詳述する。
【0044】
【0045】
【0046】
ステップＳ１では、画像処理装置１００の制御部１１０が、カメラ２０により撮像された車両Ｖ周囲の路面の画像信号を取得する。
【0047】
ステップＳ２では、ステップＳ１により取得された画像信号に基づき、制御部１１０がこれら画像信号を合成した信号を生成する。ステップＳ２において合成される信号は、あたかも車両Ｖの上方にカメラを設置して真下を見下ろしたような画像（俯瞰画像）をナビゲーション装置３０に表示させるための信号である。このような俯瞰画像を生成する技術は公知であり、一例として、特開平３－９９９５２号公報や特開２００３－１１８５２２号公報に開示された技術が知られている。
【0048】
なお、ステップＳ２において画像合成作業を行わず、あるいは、後述するステップＳ３におけるマーカーのコーナー点検出作業の後にステップＳ２における画像合成作業を行ってもよい。しかしながら、俯瞰画像を生成してからマーカーのコーナー点検出作業を行うほうが画像処理装置１００の処理負担が低減できる。
【0049】
ステップＳ３では、ステップＳ２で合成した画像に基づき、マーカー検出部１１１が路面上に描かれたマーカーのコーナー点を検出する。
【0050】
駐車場等の路面に描かれたマーカーの一例を図５を参照して説明する。図５に示す駐車場Ｐは、車両Ｖを駐車させる駐車領域Ａ１と、車両Ｖの通行用として設けられた通路領域Ａ２とを有する。そして、この駐車場Ｐの路面には、駐車領域Ａ１と通路領域Ａ２とを区分する境界部分に複数のマーカー２００が描かれている。
【0051】
図５に示すマーカー２００は、通路領域Ａ２における車両Ｖの進行方向（図中矢印で示す）に沿って延びる第１の白線部２０１ａと、この第１の白線部２０１ａを略等分する位置から駐車領域Ａ１に向かって延びる第２の白線部２０１ｂとを有する。この第２の白線部２０１ｂは、第１の白線部２０１ａに対して垂線をなすように描かれている。
【0052】
そして、隣り合うマーカー２００により囲まれた領域に、車両Ｖを駐車すべき駐車枠２０２がある。駐車枠２０２は、図示例では上面視した状態で車両Ｖの外形にほぼ外接する矩形状の枠である。駐車枠２０２は駐車場Ｐの路面に描かれているとは限らない（図５に示す例では路面に描かれていない）。従って、駐車支援装置１がこの駐車枠２０２を目標として車両Ｖを駐車する駐車支援動作を行うためには、マーカー２００が描かれた位置及びマーカー２００を構成する一対の白線部２０１ａ、２０１ｂの延在方向に基づいて、駐車枠２０２の位置及び延在方向を推定する必要がある。
【0053】
【0054】
マーカー検出部１１１のコーナー検出部１１１ａは、車両Ｖ周囲の路面の画像信号の輝度値に基づいて、マーカー２００のコーナー部を検出する。ここにいうコーナー部とは、マーカー２００を構成する第１及び第２の白線部２０１ａ、２０１ｂの縁（枠線）が交わる部分である。一例として、図６に示すマーカー２００のうち、カギ括弧のような形状を有するマーカー２００ａの場合、２つのコーナー部２０３ａ、２０３ｂが存在する。同様に、図６に示すマーカー２００のうち、Ｔ字状の形状を有するマーカー２００ｂの場合、同様に２つのコーナー部２０３ｃ、２０３ｄが存在する。なお、以下の説明において、個々のコーナー部２０３ａ～２０３ｄを区別せず説明する場合、単にコーナー部２０３として説明する。
【0055】
コーナー検出部１１１ａは、マーカー２００のコーナー部２０３ａ～２０３ｄを、第１及び第２の白線部２０１ａ、２０１ｂの枠線が交わる点であるコーナー点２０４ａ～２０４ｄを検出することで、コーナー部２０３ａ～２０３ｄを検出する。なお、以下の説明において、個々のコーナー点２０４ａ～２０４ｄを区別せず説明する場合、単にコーナー点２０４として説明する。
【0056】
【0057】
コーナー点２０４ａについては、図７（ａ）において（１）に示すような１２個の画素２０５からなる検出領域２０６を設け、この検出領域２０６を構成する画素２０５の輝度値からコーナー点２０４ａを検出する。ここに、Ｘ軸を図中の左右方向に設定し、Ｙ軸を図中の上下方向に設定する。具体的には、注目する画素２０５ａの図中右上、左下及び左上の画素２０５ｂ、２０５ｃ、２０５ｄの輝度値が高くて白い画素であると判定でき、右下の画素２０５ｅの輝度値が低くて黒い画素（図ではハッチングで示す）であると判定できるとき、注目する画素２０５ａの左上の点をコーナー点２０４ａとして判定する。
【0058】
同様に、コーナー点２０４ｂについては、図７（ａ）において（２）に示すような検出領域２０６を設ける。そして、注目する画素２０５ｆの右横及び右下の画素２０５ｇ、２０５ｈが白い画素であると判定でき、検出領域２０６を構成するその他の画素２０５が黒い画素であると判定できるとき、注目する画素２０５ｆの左上の点をコーナー点２０４ｂとして判定する。
【0059】
さらに、コーナー点２０４ｃ、２０４ｄについては、図７（ｂ）において（３）、（４）に示すような検出領域２０６を設け、コーナー点２０４ａ、２０４ｂと同様に、この検出領域２０６を構成する画素２０５のうち白い画素及び黒い画素の位置関係に基づいて判定する。
【0060】
図４に戻って、ステップＳ４では、ステップＳ３で検出したマーカー２００のコーナー部２０３ａ～２０３ｄ（コーナー点２０４ａ～２０４ｄ）に基づき、駐車枠検出部１１２が駐車領域を検出する。より詳細には、駐車枠検出部１１２は、路面上で隣接する一対のマーカー２００のコーナー点２０４ａ～２０４ｄの間の距離を、これらマーカー２００の間の距離として算出し、この距離が閾値以内であれば、これらマーカー２００の間に駐車領域があるものとして検出する。このとき、駐車枠検出部１１２は、隣接する一対のマーカー２００のコーナー点２０４ａ～２０４ｄのうち、向かい合うコーナー点２０４ａ、２０４ｃの距離をマーカー２００の間の距離とする。
【0061】
駐車枠検出部１１２が検出する駐車領域は、向かい合うコーナー点２０４ｂ、２０４ｃを矩形の短辺とし、コーナー点２０４ｂ、２０４ｃから短辺に直交する方向に車両Ｖの車長分（例えば５ｍ）だけ延ばした直線を矩形の長辺とする矩形状の枠である。そして、駐車枠検出部１１２は、駐車領域を構成する矩形枠のコーナー４点の座標値を駐車枠登録データ１２１として記憶部１２０に仮に格納する。
【0062】
図４に戻って、ステップＳ５では、形状推定部１１３が、ステップＳ４で仮決定された駐車枠２０２に隣接するマーカー２００の白線部２０１ａ、２０１ｂの延在方向を検出する。
【0063】
【0064】
まず、形状推定部１１３は、ステップＳ４で検出した駐車領域を構成するマーカー２００のうち、一つのマーカー２００を選択する。そして、選択したマーカー２００のコーナー点２０４から、白線部２０１ａ、２０１ｂの延在方向に直交すると考えられる方向に向けて、このマーカー２００にかかる画素の輝度値をスキャンすることで、白線部２０１ａ、２０１ｂの縁部がどこに位置するかを把握する。
【0065】
一例として、図８に示すように、Ｘ軸を図中の左右方向に設定し、Ｙ軸を図中の上下方向に設定する。形状推定部１１３は、一つのコーナー点２０４ｃの左及び下の画素２０５ｊ、２０５ｋからＸ軸正方向及びＹ軸正方向に１つ進んだ画素を選択し、この画素の輝度値が高い（つまり白い画素）かどうかを判定する。さらに、白い画素であればさらにＸ軸正方向及びＹ軸正方向に１つ進んだ画素を選択して白い画素であるか否かを判定する作業を繰り返す。そして、黒い画素２０５ｍ、２０５ｎであると判定した時点で画素のスキャンを停止する。この黒い画素２０５ｍ、２０５ｎが位置するところが白線部２０１ａ、２０１ｂの縁部に相当すると判断する。画素のスキャンについては、コーナー点２０４ｄについても同様に行う。
【0066】
この際、一定距離（一定個数の画素）だけ画素のスキャンを行っても白い画素が発見できない、あるいは、白い画素から黒い画素に移り変わらない場合、形状推定部１１３は、ステップＳ４で検出した駐車領域を破棄する。但し、第２の白線部２０１ｂが第１の白線部２０１ａに対して斜めに交わるようなマーカー２００を考慮して、画素のスキャン幅は広めに取る（つまり一定距離を長めに取る）ことが好ましい。
【0067】
次いで、形状推定部１１３は、図９に示すように、スキャンの始点である画素２０５ｊ、２０５ｋの左及び下の画素から同様に画素のスキャンを行うことを繰り返す。これにより、白線部２０１ａ、２０１ｂの延在方向（図中矢印Ｅ１、Ｅ２）を検出することができる。この際、画素のスキャン方向は、それまでの画素のスキャン結果から修正してもよい。つまり、上述したように、第２の白線部２０１ｂが第１の白線部２０１ａに対して斜めに交わるようなマーカー２００の場合、特にＹ軸正方向にのみ画素のスキャンを行うのではなく、第２の白線部２０１ｂが延在する方向をそれまでの画素のスキャン結果から修正してもよい。
【0068】
形状推定部１１３が画素のスキャンを行う方法は、図８に示すようなＸ－Ｙ方向に限定されない。一例として、１つのマーカー２００について２つのコーナー点２０４が検出されているので、これらコーナー点２０４を結んだ直線が第１の白線部２０１ａの延在方向と考えることができる。また、２つのコーナー点２０４を結んだ直線に直交する方向を仮に第２の白線部２０１ｂの延在方向として設定することもできる。
【0069】
図４に戻って、ステップＳ６では、形状推定部１１３が、ステップＳ５で検出した白線部２０１ａ、２０１ｂの延在方向に基づいて、方位角、つまり、第２の白線部２０１ｂが第１の白線部２０１ａと交わる角度を決定する。この方位角は、駐車領域を構成するコーナー点２０４毎の平均値として求めればよい。
【0070】
そして、ステップＳ７では、形状推定部１１３が、ステップＳ６で決定した方位角に沿うように、駐車枠２０２を決定して登録する。つまり、図１０に示すように、向かい合うコーナー点２０４を矩形の短辺とし、コーナー点２０４からステップＳ６で定めた方位角の方向に車両Ｖの車長分（例えば５ｍ）だけ延ばした直線を矩形の長辺とする矩形状の枠を駐車枠２０２として決定する。そして、形状推定部１１３は、駐車枠２０２を構成する矩形枠のコーナー４点の座標値を駐車枠登録データ１２１として記憶部１２０に格納する。
【0071】
（画像処理装置の効果）
以上のように構成された本実施の形態である画像処理装置１００では、形状推定部１１３が、駐車枠検出部１１２により検出された駐車枠２０２に含まれるマーカー２００の白線部２０１ａ、２０１ｂの延在方向を検出し、検出された白線部２０１ａ、２０１ｂの延在方向に基づいて駐車枠２０２の形状を推定している。
以上のように構成された本実施の形態である画像処理装置１００では、形状推定部１１３が、駐車枠検出部１１２により検出された駐車枠２０２に含まれるマーカー２００の白線部２０１ａ、２０１ｂの延在方向を検出し、検出された白線部２０１ａ、２０１ｂの延在方向に基づいて駐車枠２０２の形状を推定している。
【0072】
従って、上述した従来の画像処理装置と異なり、マーカーを構成する白線がなすコーナー部における白線の延在方向をパターン化してあてはめることなく、駐車枠２０２の形状を正確に推定することができる。これにより、駐車場Ｐ等の路面に設けられた駐車枠２０２の推定を迅速かつ確実に行うことが可能となる。
【0073】
なお、コーナー検出部１１１ａにより検出されたコーナー部２０３のうち、隣接するコーナー部２０３の距離が一定距離であることを条件に駐車枠２０２を検出する手法も考えられる。しかしながら、コーナー検出部１１１ａによるコーナー部２０３検出のみで駐車枠２０２を設定してしまうと、駐車場Ｐ等の路面のざらつき、ペイントの剥がれ、さらには木漏れ日や駐車中の白い車両Ｖをコーナー検出部１１１ａがコーナー部２０３であると誤検出する可能性が否定できない。従って、コーナー検出部１１１ａにより検出されたコーナー部２０３の距離のみで駐車枠２０２を検出すると、誤検出することがあり得る。
【0074】
さらに、一定の距離にあるコーナー点２０４を結んだ直線に直交する方向に向けて駐車枠２０２を設定する手法も考えられる。しかしながら、かかる手法では、第２の白線部２０１ｂが第１の白線部２０１ａに対して斜めに交わるようなマーカー２００の場合、駐車枠２０２を適切に設定、登録することが難しい。
【0075】
本実施の形態である画像処理装置１００では、コーナー部２０３の距離だけに依存せずに、白線部２０１ａ、２０１ｂの延在方向を考慮して駐車枠２０２を設定しているので、例えば図１１に示すような縦列駐車用の駐車枠２０２ａであっても並列駐車用の駐車枠２０２ｂであっても、適切に駐車枠２０２を設定することができる。加えて、図１２に示すように、第２の白線部２０１ｂが第１の白線部２０１ａに対して斜めに交わるようなマーカー２００であっても、適切に駐車枠２０２を設定することができる。
【0076】
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【0077】
一例として、上述の実施の形態である画像処理装置１００により検出可能なマーカー２００は図示例に限定されず、コーナー検出部１１１ａによりコーナー部２０３が検出可能なマーカー２００であればその形状に特段の限定はない。一例として、十字形、つまり、第１の白線部２０１ａと第２の白線部２０１ｂとがその中央部で交差するような形状のマーカー２００であってもよい。
【0078】
また、上述の実施の形態である画像処理装置１００では、画像の輝度値により白黒判定を行っていたが、画像のＲＧＢ値から白黒判定を行ってもよい。
【符号の説明】
【0079】
Ｖ 車両
Ｐ 駐車場
１ 駐車支援装置
２０ カメラ（撮像装置）
２２ カメラＥＣＵ
１００ 画像処理装置
１１０ 制御部
１１１ マーカー検出部
１１１ａ コーナー検出部
１１２ 駐車枠検出部
１１３ 形状推定部
２００ マーカー
２０１ａ 第１の白線部
２０１ｂ 第２の白線部
２０２ 駐車枠
２０３ コーナー部
２０４ コーナー点
Ｐ 駐車場
１ 駐車支援装置
２０ カメラ（撮像装置）
２２ カメラＥＣＵ
１００ 画像処理装置
１１０ 制御部
１１１ マーカー検出部
１１１ａ コーナー検出部
１１２ 駐車枠検出部
１１３ 形状推定部
２００ マーカー
２０１ａ 第１の白線部
２０１ｂ 第２の白線部
２０２ 駐車枠
２０３ コーナー部
２０４ コーナー点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
