特開 2020-181358 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-181358(P2020-181358A)

(43)【公開日】2020年11月5日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20201009BHJP

   G06T 7/60 20170101ALI20201009BHJP

   B60W 30/06 20060101ALI20201009BHJP

   B60R 99/00 20090101ALI20201009BHJP

【ＦＩ】

   G08G1/16 C

   G06T7/60 200J

   B60W30/06

   B60R99/00 330

   B60R99/00 321

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2019-83678(P2019-83678)

(22)【出願日】2019年4月25日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】金子 貴之

(72)【発明者】

【氏名】久保田 守

(72)【発明者】

【氏名】近藤 俊輔

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA21

3D241BB03

3D241CC01

3D241CC08

3D241CC17

3D241CE04

3D241CE05

3D241DA52Z

3D241DB01Z

3D241DB32Z

3D241DC35Z

5H181AA01

5H181CC04

5H181CC24

5H181FF22

5H181FF32

5H181KK01

5H181KK07

5L096BA04

5L096CA05

5L096CA27

5L096DA02

5L096EA26

5L096FA06

5L096FA10

5L096FA13

5L096FA16

5L096FA64

5L096FA66

5L096GA51

(57)【要約】

【課題】画像処理装置において、駐車区画の後端を適切に特定する。
【解決手段】画像処理装置１００は、カメラ２０により撮影された画像に基づいて、車両Ｖが駐車しようとする、Ｔ字マーカ２００，３００によって仕切られた駐車区画２５０の全周の輪郭線である駐車枠を特定する画像処理装置１００であって、画像に対して、駐車枠２７０に先立って設定された仮駐車枠２６０の側線２６３，２６４に直交するｘ方向に沿ってエッジ検出処理を行うことにより、駐車区画２５０の２つの後端角部を仕切るＴ字マーカ３００，３００を検出するマーカ検出部１１２と、マーカ検出部１１２により検出された２つの角部マーカ３００，３００に基づいて駐車枠２７０の後端線３６２を特定し、後端線３６２及び仮駐車枠２６０に基づいて駐車枠２７０を特定する駐車枠特定部１１４と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

車載カメラにより撮影された画像を用いて角部マーカによって仕切られた駐車枠を特定する画像処理装置であって、
前記画像に対してエッジ検出処理を行うことにより、前記駐車枠の一端の前記角部マーカを検出するマーカ検出部と、
前記マーカ検出部により検出された前記一端の前記角部マーカに基づいて仮駐車枠を設定する仮駐車枠設定部と、
前記マーカ検出部を用いて、前記仮駐車枠設定部により設定した前記仮駐車枠の側線に沿った方向において、前記駐車枠の他端の前記角部マーカを検出し、前記一端の前記角部マーカと、検出された前記他端の前記角部マーカとを用いて、前記駐車枠を特定する駐車枠特定部と、を備えた画像処理装置。

【請求項2】

前記駐車枠特定部は、前記マーカ検出部により検出された２つの前記他端の前記角部マーカのコーナ部同士を結んだ後端線を設定し、前記他端の前記角部マーカのコーナ部からそれぞれ、前記後端線に直交する側線を設定し、前記後端線、前記側線及び前記仮駐車枠の、２つの前記一端の前記角部マーカのコーナ部同士を結んだ前端線に基づいて、前記駐車枠を特定する請求項１に記載の画像処理装置。

【請求項3】

前記マーカ検出部は、前記仮駐車枠の側線に沿ってエッジ検出処理を行うに際して、前記側線と前記仮駐車枠の前端線との交点から、予め設定された所定の長さだけ、前記側線に沿ってオフセットした位置を、前記エッジ検出処理の起点として設定する請求項１又は２に記載の画像処理装置。

【請求項4】

前記マーカ検出部は、下記（１）から（４）の条件のうち少なくとも１つの条件にしたがって、検出した２つの前記他端の前記角部マーカの真偽を検証し、
前記駐車枠特定部は、前記マーカ検出部により真と検証された前記他端の前記角部マーカに基づいて前記駐車枠を特定する請求項１から３のうちいずれか１項に記載の画像処理装置。
（１）２つの前記他端の前記角部マーカの間の距離が所定の第１の閾値以内である
（２）２つの前記他端の前記角部マーカと前記車両の後端との距離が所定の第２の閾値以内である
（３）前記仮駐車枠に前記車両を駐車したと想定したときの前記車両の駐車完了位置に対して、２つの前記他端の前記角部マーカの車幅方向に沿った位置の差が、所定の第３の閾値以内である
（４）前記仮駐車枠に前記車両を駐車したと想定したときの前記車両の駐車完了位置に対して、２つの前記他端の前記角部マーカの前記車両の前後方向に沿った位置の差が、所定の第４の閾値以内である

【請求項5】

車載カメラにより撮影された画像を用いて角部マーカによって仕切られた駐車枠を特定する画像処理方法であって、
前記画像に対してエッジ検出処理を行うことにより、前記駐車枠の一端の前記角部マーカを検出し、
検出された前記一端の前記角部マーカに基づいて仮駐車枠を設定し、
前記仮駐車枠の側線に沿った方向において、前記駐車枠の他端の前記角部マーカを検出し、前記一端の前記角部マーカと、検出された前記他端の前記角部マーカとを用いて、前記駐車枠を特定する画像処理方法。

【請求項6】

検出された２つの前記他端の前記角部マーカのコーナ部同士を結んだ仮想の後端線を設定し、
前記他端の前記角部マーカのコーナ部からそれぞれ、前記仮想の後端線に直交する仮想の側線を設定し、
前記仮想の後端線、前記仮想の側線及び前記仮駐車枠の、２つの前記一端の前記角部マーカのコーナ部同士を結んだ前端線に基づいて、前記駐車枠を特定する請求項５に記載の画像処理方法。

【請求項7】

前記仮駐車枠の側線に沿ってエッジ検出処理を行うに際して、前記側線と前記仮駐車枠の前端線との交点から、予め設定された所定の長さだけ、前記側線に沿ってオフセットした位置を、前記エッジ検出処理の起点として設定する請求項５又は６に記載の画像処理方法。

【請求項8】

検出した２つの前記他端の前記角部マーカの真偽を、下記（１）から（４）の条件のうち少なくとも１つの条件にしたがって検証し、
検証により真とされた前記他端の前記角部マーカに基づいて、前記駐車枠を特定する請求項５から７のうちいずれか１項に記載の画像処理方法。
（１）２つの前記他端の前記角部マーカの間の距離が所定の第１の閾値以内である
（２）２つの前記他端の前記角部マーカと車両Ｖの後端との距離が所定の第２の閾値以内である
（３）前記仮駐車枠に前記車両を駐車したと想定したときの前記車両の駐車完了位置に対して、２つの前記他端の前記角部マーカの車幅方向に沿った位置の差が、所定の第３の閾値以内である
（４）前記仮駐車枠に前記車両を駐車したと想定したときの前記車両の駐車完了位置に対して、２つの前記他端の前記角部マーカの前記車両の前後方向に沿った位置の差が、所定の第４の閾値以内である

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

カメラで撮影された画像に基づいて、車両を駐車するために仕切られた駐車区画を自動的に検出する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−０２４５９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、駐車区画を仕切るマーカとしては、駐車区画の輪郭線である２本の側線と２本の端線（車両Ｖに近い側の前端線と車両Ｖから遠い側の後端線）をそれぞれ白線で描いたものや、駐車区画の四隅の角部に配置された、Ｔ字形状やＬ字形状等の角部マーカなどが知られている。

【0005】

Ｔ字形状の角部マーカ（Ｔ字マーカ）は、横方向に延びた横白線と、その横白線の中央部から縦方向に延びた縦白線とが交差してＴ字の形状を呈したマーカであり、Ｌ字形状の角部マーカ（Ｌ字マーカ）は、横方向に延びた横白線と、その横白線の一方の端部から縦方向に延びた縦白線とが交差してＬ字の形状を呈したマーカである。

【0006】

このような角部マーカによって仕切られた駐車区画は、角部マーカ同士が、横方向及び縦方向にそれぞれ離れて配置されていて、角部マーカ間には白線が描かれていない。

【0007】

そして、車両に搭載されたカメラで駐車区画を撮影した場合、車両に近い側の角部マーカ（以下、前端角部の角部マーカという。）が車両から遠い側の角部マーカ（以下、後端角部の角部マーカという。）に比べて明瞭に撮像されるため、駐車区画を画像に基づいて検出するときは、前端角部の角部マーカに基づいて駐車区画を特定することになる。

【0008】

この場合、その駐車区画に基づいて設定される、車両を駐車する目標となる目標駐車枠は、前端角部の角部マーカを基準に設定される。したがって、その目標駐車枠に向かって駐車される車両は、駐車区画の全周の輪郭線である駐車枠のうち前端線に揃えられる。

【0009】

しかし、車両は、駐車区画の後端角部に配置された角部マーカを基準として、駐車枠の後端線に揃えて駐車する場合もある。

【0010】

本発明は上記事情に鑑みなされたものであり、角部マーカで仕切られた駐車区画の後端線を基準とした駐車枠を適切に特定することができる画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の第１は、車載カメラにより撮影された画像を用いて角部マーカによって仕切られた駐車枠を特定する画像処理装置であって、前記画像に対してエッジ検出処理を行うことにより、前記駐車枠の一端の前記角部マーカを検出するマーカ検出部と、前記マーカ検出部により検出された前記一端の角部マーカに基づいて仮駐車枠を設定する仮駐車枠設定部と、前記マーカ検出部を用いて、前記仮駐車枠設定部により設定した前記仮駐車枠の側線に沿った方向において、前記駐車枠の他端の前記角部マーカを検出し、前記一端の前記角部マーカと、検出された前記他端の前記角部マーカとを用いて、前記駐車枠を特定する駐車枠特定部と、を備えた画像処理装置である。

【0012】

本発明の第２は、車載カメラにより撮影された画像を用いて角部マーカによって仕切られた駐車枠を特定する画像処理方法であって、前記画像に対してエッジ検出処理を行うことにより、前記駐車枠の一端の前記角部マーカを検出し、検出された前記一端の前記角部マーカに基づいて仮駐車枠を設定し、前記仮駐車枠の側線に沿った方向において、前記駐車枠の他端の前記角部マーカを検出し、前記一端の前記角部マーカと、検出された前記他端の前記角部マーカとを用いて、前記駐車枠を特定する画像処理方法である。

【発明の効果】

【0013】

本発明に係る画像処理装置及び画像処理方法によれば、角部マーカで仕切られた駐車区画の後端線を基準とした駐車枠を適切に特定することができる。

【図面の簡単な説明】

【0014】

【図1】本発明に係る画像処理装置の一実施形態である画像処理装置を用いた駐車支援装置の概略構成を示すブロック図である。

【図2】駐車支援装置におけるカメラ（前方カメラ、後方カメラ、左側方カメラ、右側方カメラ）の配置の一例を示す図である。

【図3】本実施形態の画像処理装置の概略構成を示す機能ブロック図である。

【図4】４つのＴ字マーカで設定された駐車区画及び仮駐車枠を示す模式図である。

【図5】仮駐車枠の設定後の駐車動作中に、駐車区画の駐車枠を特定し直す動作を説明する模式図である。

【図6】特定し直された駐車枠と目標駐車枠を示す模式図である。

【図7】画像処理装置が仮駐車枠を設定して、設定した仮駐車枠に関する情報を車両制御ＥＣＵに出力する処理の流れを示すフローチャートである。

【図8】仮駐車枠に向かう駐車動作中に、画像処理装置が駐車枠を特定し直して設定した目標駐車枠に関する情報を車両制御ＥＣＵに出力する処理の流れを示すフローチャートである。

【図9】仮駐車枠の側線にそれぞれ沿って後端角部のＴ字マーカのコーナ部を検出する処理を模式的に示した図である。

【図10】マーカ検出部によるコーナ部の真偽の検証の内容の１つである条件（１）を説明する模式図である。

【図11】マーカ検出部によるコーナ部の真偽の検証の内容の１つである条件（２）を説明する模式図である。

【図12】マーカ検出部によるコーナ部の真偽の検証の内容の１つである条件（３）を説明する模式図である。

【図13】マーカ検出部によるコーナ部の真偽の検証の内容の１つである条件（４）を説明する模式図である。

【発明を実施するための形態】

【0015】

以下、本発明に係る画像処理装置及び画像処理方法の具体的な実施の形態について、図面を参照して説明する。

【0016】

［駐車支援装置の概略構成］
図１は、本発明に係る画像処理装置の一実施形態である画像処理装置１００を用いた駐車支援装置１の概略構成を示すブロック図、図２は駐車支援装置１におけるカメラ２０（前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ、右側方カメラ２０ｄ）の配置の一例を示す図、図３は本実施形態の画像処理装置１００の概略構成を示す機能ブロック図、図４は４つのＴ字マーカ２００，２００，３００，３００で設定された駐車区画２５０及び仮駐車枠２６０を示す模式図である。

【0017】

図１に示した駐車支援装置１は、図２に示した車両Ｖに搭載され、駐車支援動作を行う。具体的には、駐車支援装置１は、図２に示す車載のカメラ２０（撮像装置）で撮影された画像に基づいて、図４に示す駐車区画２５０を認識し、その駐車区画２５０に車両Ｖを誘導するように車両Ｖの動作を制御する車両制御ＥＣＵ４０に対して必要な信号を出力する。

【0018】

ここで、１つの駐車区画２５０は、４つのＴ字マーカ２００，２００，３００，３００を四隅の角部として、これら４つのＴ字マーカ２００，２００，３００，３００で囲まれた矩形の駐車領域である。駐車区画２５０は、車両Ｖの平面視よりも大きなサイズで形成されている。

【0019】

Ｔ字マーカ２００，３００は、横方向に延びた横白線２１０と、その横白線２１０の中央部から縦方向に延びた縦白線２２０とが交差してＴ字の形状を呈したマーカである。ここで、駐車区画２５０の一方の端（例えば、前端（車両Ｖが駐車動作により駐車区画２５０に進入する際の、車両Ｖに近い側の端））の角部に配置された２つのＴ字マーカ２００，２００と他方の端（例えば、後端（車両Ｖが駐車動作により駐車区画２５０に進入する際の、車両Ｖに近い側の端））の角部に配置された２つのＴ字マーカ３００，３００は、図４に示すように上下反対の姿勢で配置されている。

【0020】

前端角部のＴ字マーカ２００の縦白線２２０と後端角部のＴ字マーカ３００の縦白線３２０とは、一直線上に配置されている。また、前端角部のＴ字マーカ２００の横白線２１０と後端角部のＴ字マーカ３００の横白線３１０とは、縦白線２２０と縦白線３２０との間よりも離れた位置に配置されている。

【0021】

このような４つのＴ字マーカ２００，２００，３００，３００によって仕切られた駐車区画２５０は、Ｔ字マーカ２００，２００，３００，３００同士が、互いに、横方向及び縦方向にそれぞれ離れて配置されていて、Ｔ字マーカ２００，２００，３００，３００間には白線が描かれていない。

【0022】

Ｔ字マーカ２００，３００によって仕切られた駐車区画２５０の場合、図４に示すように、縦白線２２０，３２０が、隣接する他の駐車区画２５０を仕切り、横白線２１０が、駐車区画２５０の前端（車両Ｖが駐車動作により駐車区画２５０に進入する際の、車両Ｖに近い側の端）を仕切り、横白線３１０が駐車区画２５０の後端（車両Ｖが駐車動作により駐車区画２５０に進入する際の、車両Ｖから遠い側の端）を仕切る。

【0023】

車両Ｖに搭載されたカメラ２０で駐車区画２５０を撮影した場合、画像処理装置１００は、前端角部のＴ字マーカ２００，２００が車両Ｖから遠い側である後端角部のＴ字マーカ３００，３００に比べて鮮明に撮像されるため、駐車動作前に駐車区画２５０を最初に検出するときは、前端角部のＴ字マーカ２００に基づいて駐車区画２５０を認識することになる。

【0024】

そして、画像処理装置１００は、認識した駐車区画２５０に基づいて、その車両Ｖを駐車区画２５０に誘導するように車両Ｖの駐車動作を制御する車両制御ＥＣＵ４０に対して必要な信号を出力する。

【0025】

駐車支援装置１は、図１に示すように、前方カメラ２０ａ、後方カメラ２０ｂ、左側方カメラ２０ｃ及び右側方カメラ２０ｄと、カメラＥＣＵ２２と、ナビゲーション装置３０と、車輪速センサ３２と、操舵角センサ３４とを有する。

【0026】

図２に示すように、前方カメラ２０ａは、車両Ｖのフロントバンパ又はフロントグリルに、車両Ｖの前端を含む前方の領域を撮影するように前方に向けて装着されている。後方カメラ２０ｂは、車両Ｖのリアバンパ又はリアガーニッシュに、車両Ｖの後端を含む後方の領域を撮影するように後方に向けて装着されている。

【0027】

左側方カメラ２０ｃは、車両Ｖの左ドアミラーに、車両Ｖの左側方の領域を撮影するように左側方に向けて装着されている。右側方カメラ２０ｄは、車両Ｖの右ドアミラーに、車両Ｖの右側方の領域を撮影するように右側方に向けて装着されている。

【0028】

これらのカメラ２０ａ〜２０ｄには、例えば１８０［°］程度の広い範囲を撮影できるように広い画角の広角レンズや魚眼レンズが装着されており、これら４台のカメラ２０ａ〜２０ｄによって車両Ｖの周囲の路面を含んだ全周の領域を漏れなく撮影することができるようになっている。

【0029】

以下、これら４つのカメラ２０ａ〜２０ｄを区別しない場合や総称する場合は、カメラ２０という。

【0030】

カメラＥＣＵ２２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びフラッシュメモリ等からなるマイクロコンピュータ（マイコン）を主体として構成される。カメラＥＣＵ２２は、カメラ２０の動作を制御するとともに、カメラ２０が撮影した画像情報を用いて、俯瞰画像の生成処理や、駐車区画２５０を検知する検知処理などを行う画像処理装置１００を備えている。

【0031】

ナビゲーション装置３０は画像表示機能を有するモニタ３１を備えている。ナビゲーション装置３０は、経路案内用の地図データ等が格納された記憶部を有し、この地図データ等及び図示を略したＧＰＳ装置等により測位された車両Ｖの現在位置に基づいて、ナビゲーション装置３０の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニタ３１に表示される。

【0032】

車輪速センサ３２は、車両Ｖの車輪速を検知する。車輪速センサ３２により検知された車輪速は車両制御ＥＣＵ４０に入力され、車両制御ＥＣＵ４０による車両Ｖの動作の制御に用いられる。

【0033】

操舵角センサ３４は、車両Ｖのステアリングの操舵角を検知する。車両Ｖが直進状態で走行するときの操舵角を０［度］（中立位置）とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ３４で検知された操舵角は、車両制御ＥＣＵ４０に入力され、車両制御ＥＣＵ４０による車両Ｖの動作の制御に用いられる。

【0034】

さらに、駐車支援装置１は、車両制御ＥＣＵ４０と、ステアリング制御ユニット５０と、スロットル制御ユニット６０と、ブレーキ制御ユニット７０とを有する。

【0035】

車両制御ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びフラッシュメモリ等からなるマイコンを主体として構成される。車両制御ＥＣＵ４０は、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４から入力された各情報に基づいて、車両Ｖの駐車を支援する各種処理を実行する。

【0036】

すなわち、例えば、運転者が、図示を略した自動駐車開始スイッチ等を操作して駐車支援装置１を作動させると、車両制御ＥＣＵ４０は、カメラＥＣＵ２２によって取得された駐車区画に、車両Ｖを自動運転で駐車動作させる自動駐車処理を実行する。

【0037】

自動駐車処理において、ステアリング制御ユニット５０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、パワーステアリング（パワステ）アクチュエータ５２の駆動を制御することにより、車両Ｖの操舵角を制御する。

【0038】

また、自動駐車処理において、スロットル制御ユニット６０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、スロットルアクチュエータ６２の駆動を制御することにより、車両Ｖのスロットル開度を制御する。

【0039】

また、自動駐車処理において、ブレーキ制御ユニット７０は、車両制御ＥＣＵ４０により決定した車両制御情報に基づいて、ブレーキアクチュエータ７２の駆動を制御することにより、車両Ｖのブレーキを制御する。

【0040】

なお、カメラＥＣＵ２２、車輪速センサ３２及び操舵角センサ３４と、車両制御ＥＣＵ４０とは、車内ＬＡＮ（Local Area Network）であるセンサ情報ＣＡＮ（Controller Area Network；登録商標）８０によって接続されている。

【0041】

また、ステアリング制御ユニット５０、スロットル制御ユニット６０及びブレーキ制御ユニット７０と、車両制御ＥＣＵ４０とは、車内ＬＡＮである車両情報ＣＡＮ（登録商標）８２によって接続される。

【0042】

［画像処理装置の機能構成］
図５は仮駐車枠２６０の設定後の駐車動作中に、駐車区画２５０の駐車枠２７０を特定し直す動作を説明する模式図、図６は特定し直された駐車枠２７０と目標駐車枠２８０を示す模式図である。

【0043】

画像処理装置１００は、図４に示すように、検出した駐車区画２５０に対応して仮駐車枠２６０を設定し、その設定した仮駐車枠２６０に関する情報（仮駐車枠２６０の位置や形状等）１２１を、車両制御ＥＣＵ４０に出力する。

【0044】

そして、仮駐車枠２６０に関する情報１２１を取得した車両制御ＥＣＵ４０は、設定した仮駐車枠２６０に車両Ｖを誘導して駐車させるように、予め記憶されたプログラムに従って、車輪速センサ３２及び操舵角センサ３４によって検出された情報を参照しつつ、パワステアクチュエータ５２、スロットルアクチュエータ６２及びブレーキアクチュエータ７２を制御する。これにより、車両Ｖは、設定された仮駐車枠２６０に向けて駐車動作を行う。

【0045】

さらに、画像処理装置１００は、図５に示すように、仮駐車枠２６０に向かう駐車動作中に、駐車区画２５０に対応した駐車枠２７０（図６参照）を改めて特定し直し、その特定した駐車枠２７０の内部に、車両Ｖを駐車する目標となる、車両Ｖと略同じ大きさの目標駐車枠２８０を設定し、その目標駐車枠２８０に関する情報（目標駐車枠２８０の位置や形状等）１２２を、車両制御ＥＣＵ４０に出力する。

【0046】

そして、目標駐車枠２８０に関する情報１２２を取得した車両制御ＥＣＵ４０は、設定した目標駐車枠２８０に車両Ｖを誘導して駐車動作させるように、予め記憶されたプログラムに従って、車輪速センサ３２及び操舵角センサ３４によって検出された情報を参照しつつ、パワステアクチュエータ５２、スロットルアクチュエータ６２及びブレーキアクチュエータ７２を制御する。これにより、車両Ｖは、設定された目標駐車枠２８０に向けて駐車動作を行い、車両Ｖの後端が駐車枠２７０の後端線３６２に揃うように車両Ｖは駐車される。

【0047】

ここで、仮駐車枠２６０及び駐車枠２７０は、駐車区画２５０の全周の輪郭線である枠状の部分を示すものであり、仮駐車枠２６０は、図４に示すように、前端角部のＴ字マーカ２００，２００に基づいて最初に設定された駐車枠であり、駐車枠２７０は、仮駐車枠２６０に向けた駐車動作中に、後端角部のＴ字マーカ３００，３００と仮駐車枠２６０とに基づいて、図６に示すように特定し直された駐車枠である。

【0048】

また、目標駐車枠２８０は、駐車枠２７０内に設定され、駐車枠２７０の後端線３６２に目標駐車枠２８０の後端線２８２が揃うように、車両Ｖと略同じ大きさで形成された駐車枠である。

【0049】

画像処理装置１００は、図３に示すように、制御部１１０と、記憶部１２０とを有する。

【0050】

制御部１１０は、カメラＥＣＵ２２のＣＰＵから主に構成されており、画像処理装置１００全体の制御を行う。制御部１１０はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

【0051】

記憶部１２０は、カメラＥＣＵ２２のＲＯＭ、ＲＡＭ及びフラッシュメモリ等から主に構成されている。記憶部１２０は、図示を省略した制御用プログラムが格納されており、この制御用プログラムが画像処理装置１００の起動時に制御部１１０により実行されて、画像処理装置１００は図３に示すような機能構成を備えたものとなる。

【0052】

また、記憶部１２０には、制御部１１０での処理によって検出された、仮駐車枠２６０に関する情報１２１、駐車枠２７０及び目標駐車枠２８０に関する情報１２２等が記憶される。

【0053】

本実施形態の画像処理装置１００は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

【0054】

制御部１１０は、視点変換部１１１と、マーカ検出部１１２と、仮駐車枠設定部１１３と、駐車枠特定部１１４と、目標駐車枠設定部１１５と、表示制御部１１６と、を備えている。

【0055】

図７は、画像処理装置１００が仮駐車枠２６０を設定して、設定した仮駐車枠２６０に関する情報１２１を車両制御ＥＣＵ４０に出力する処理の流れを示すフローチャート、図８は、仮駐車枠２６０に向かう駐車動作中に、画像処理装置１００が駐車枠２７０を特定し直して設定した目標駐車枠２８０に関する情報１２２を車両制御ＥＣＵ４０に出力する処理の流れを示すフローチャート、図９は、仮駐車枠２６０の側線２６３，２６４にそれぞれ沿って後端角部のＴ字マーカ３００，３００のコーナ部３３０，３４０を検出する処理を模式的に示した図である。

【0056】

視点変換部１１１は、４つのカメラ２０がそれぞれ車両Ｖの周囲の路面を撮像した画像（以下、スルー画像ということもある。）を取得し（図７におけるステップ１（Ｓ１））、このスルー画像を、例えば図４に示した俯瞰画像（車両Ｖの上方から鉛直方向に平行な視線で見下ろしたと仮定して得られる画像）に変換する（図７におけるＳ２）。

【0057】

なお、視点変換部１１１は、視点変換とともに、４つのカメラ２０が撮像したスルー画像に対応した４つの俯瞰画像を、車両Ｖを中心とした単一の俯瞰画像に合成する処理（Ｓ２において括弧書きで示す）を行ってもよい。

【0058】

例えば図４に示す、車両Ｖの右側方に駐車区画２５０が存在する場合、マーカ検出部１１２は、視点変換部１１１から出力された俯瞰画像に基づいて、車両Ｖの右側方に存在する、駐車区画２５０の２つの前端角部を仕切るＴ字マーカ２００，２００を検出する（図７におけるＳ３）。

【0059】

また、マーカ検出部１１２は、後述するように、駐車枠２７０に先立って設定された仮駐車枠２６０の側線２６３，２６４に直交するｘ方向に沿ってエッジ検出処理を行うことにより、駐車区画の２５０２つの後端角部を仕切るＴ字マーカ３００を検出する（図８におけるＳ１１）。

【0060】

マーカ検出部１１２による前端角部のＴ字マーカ２００，２００の検出は、例えば、周知のエッジ検出処理により行うことができる。

【0061】

仮駐車枠設定部１１３は、マーカ検出部１１２により検出された、２つの前端角部のＴ字マーカ２００，２００に基づいて、仮駐車枠２６０を設定する（図７におけるＳ４）。

【0062】

具体的には、仮駐車枠設定部１１３は、２つの前端角部のＴ字マーカ２００，２００に対して、例えば周知のハリスのコーナ検出により、Ｔ字マーカ２００，２００の横白線２１０と縦白線２２０とが交差した部分に形成されたエッジのコーナ部２３０，２４０を検出し、これら２つのコーナ部２３０，２４０を結んで前端線２６１を設定し、各コーナ部２３０，２４０から前端線２６１に直交して、車両Ｖの長さ分だけ延びる側線２６３，２６４を設定し、側線２６３，２６４の端部同士を結んで後端線２６２を設定する。

【0063】

そして、仮駐車枠設定部１１３は、これら前端線２６１、後端線２６２及び２本の側線２６３，２６４を繋いで形成された枠を仮駐車枠２６０とし、仮駐車枠２６０の位置等の、仮駐車枠２６０に関する情報１２１を記憶部１２０に記憶させるとともに、この情報１２１を車両制御ＥＣＵ４０に出力する。

【0064】

車両制御ＥＣＵ４０は、画像処理装置１００から入力された仮駐車枠２６０に関する情報１２１に基づいて、車両Ｖを仮駐車枠２６０に駐車させるように自動駐車処理を行う。

【0065】

画像処理装置１００は、この自動駐車処理による駐車動作中、例えば、図５に示した状態で、仮駐車枠２６０を設定した駐車区画２５０の輪郭線を、２つの後端角部のＴ字マーカ３００，３００を基準とした駐車枠２７０として特定し直す。

【0066】

具体的には、マーカ検出部１１２が、カメラ２０によってその時点で写されている画像を視点変換した俯瞰画像に対して、設定した仮駐車枠２６０の各側線２６３，２６４の近傍のみについて、各側線２６３，２６４にそれぞれ直交する方向（図５において、例えばｘ方向）に沿った主走査によりエッジを探索するエッジ検出処理を行う。

【0067】

これにより、マーカ検出部１１２は、仮駐車枠２６０の側線２６３，２６４に沿った方向において、駐車区画２５０の２つの後端角部を仕切るＴ字マーカ３００，３００を検出する（図８におけるＳ１１）。

【0068】

つまり、図９に示すように、側線２６３，２６４の近傍を、側線２６３，２６４にそれぞれ直交するｘ方向に沿って主走査しつつ、側線２６３，２６４に沿ったｙ方向（ｘ方向に直交する方向）に副走査して、後端角部のＴ字マーカ３００のエッジ検出処理を行う。

【0069】

ここで、側線２６３，２６４の近傍は、各側線２６３，２６４を中心とした所定の長さ範囲であり、この所定の長さは、前端角部のＴ字マーカ２００の横白線２１０の長さよりも少し長い程度の長さである。後端角部のＴ字マーカ３００は、仮駐車枠２６０の側線２６３，２６４上又はそれらの延長線上に配置されている可能性が高いからである。

【0070】

マーカ検出部１１２は、側線２６３に沿ったｙ方向への副走査の起点を、図４に示すように、前端角部のＴ字マーカ２００のコーナ部２３０（側線２６３と前端線２６１との交点）から、予め設定された所定の長さだけ、側線２６３に沿って後端線２６２側にオフセットした位置２３０′とする。

【0071】

同様に、マーカ検出部１１２は、側線２６４に沿ったｙ方向への副走査の起点を、前端のＴ字マーカ２００のコーナ部２４０（側線２６４と前端線２６１との交点）から、予め設定された所定の長さだけ、側線２６４に沿って後端線２６２側にオフセットした位置２４０′とする。

【0072】

このように、エッジ検出処理における、ｙ方向への副走査の起点を、前端角部のＴ字マーカ２００，２００から離れた位置とすることにより、前端角部のＴ字マーカ２００，２００をエッジとして誤検出しないようにして、後端角部のＴ字マーカ３００，３００を確実に検出することができる。

【0073】

マーカ検出部１１２は、このエッジ検出処理により、画像の信号値が急激に大きくなるプラスエッジ（＋エッジ）３２１と信号値が急激に低くなるマイナスエッジ（−エッジ）３２２とを検出する。後端角部のＴ字マーカ３００は、縦白線３２０において線幅が狭く、横白線３１０において線幅が広い。

【0074】

マーカ検出部１１２は、側線２６３に沿った側及び側線２６４に沿った側で、いずれも縦白線３２０に対応した線幅で、＋エッジ３２１と−エッジ３２２とが対となっている部分を検出する。しかし、マーカ検出部１１２は、側線２６３の側では、横白線３１０に対応した部分において、＋エッジを検出せずに、−エッジ３１２だけを検出される。同様に、マーカ検出部１１２は、側線２６４の側では、横白線３１０に対応した部分において、＋エッジ３１１だけを検出し、＋エッジを検出しない。

【0075】

マーカ検出部１１２は、＋エッジ３２１と−エッジ３２２とが対となって検出されなくなったｙ方向の直前部分の＋エッジ３２１と−エッジ３２２の座標を求める。そして、図９に示す、駐車区画２５０の後端の左側のＴ字マーカ３００において、対が検出されなくなったｙ方向の直前部分の−エッジ３２２は、Ｔ字マーカ３００の、縦白線３２０と横白線３１０とが交差した部分に形成されたエッジのコーナ部３３０に対応している。

【0076】

同様に、駐車区画２５０の後端角部の右側のＴ字マーカ３００において、対が検出されなくなったｙ方向の直前部分の＋エッジ３２１は、Ｔ字マーカ３００の、縦白線３２０と横白線３１０とが交差した部分に形成されたエッジのコーナ部３４０に対応している。

【0077】

駐車枠特定部１１４は、マーカ検出部１１２により検出された２つの後端角部のＴ字マーカ３００，３００のコーナ部３３０，３４０に基づいて、駐車区画２５０の輪郭線である駐車枠２７０を特定し直す（図８におけるＳ１２）。

【0078】

具体的には、駐車枠特定部１１４は、図６に示すように、２つの後端角部のＴ字マーカ３００，３００のコーナ部３３０，３４０を結んで後端線３６２を設定し、各コーナ部３３０，３４０から後端線３６２に直交して延びる側線３６３，３６４を設定し、側線３６３，３６４と、記憶部１２０に記憶された仮駐車枠２６０の前端線２６１との交点３５０，３６０を求め、交点３５０，３６０を結んだ前端線３６１を設定する。

【0079】

そして、駐車枠特定部１１４は、これら前端線３６１、後端線３６２及び２本の側線３６３，３６４を繋いで形成された枠を、後端角部のＴ字マーカ３００，３００を基準とした駐車枠２７０と特定する（図８におけるＳ１２）。

【0080】

目標駐車枠設定部１１５は、駐車枠特定部１１４により特定された駐車枠２７０の後端線３６２を後端線２８２に設定し、後端線２８２から車両Ｖの長さ分だけ前端線３６１の側にオフセットした、後端線２８２に平行な前端線２８１を設定し、駐車枠２７０の側線から２６３，２６４からそれぞれ等距離で、その間隔が車両Ｖの幅と同じの２本の側線２８３，２８４を設定する。

【0081】

そして、目標駐車枠設定部１１５は、これら前端線２８１、後端線２８２及び２本の側線２８３，２８４を繋いで形成された枠を、目標駐車枠２８０として設定する（図８におけるＳ１３）とともに、目標駐車枠２８０の位置等の、目標駐車枠２８０に関する情報１２２を記憶部１２０に記憶させる。

【0082】

さらに、目標駐車枠設定部１１５は、目標駐車枠２８０に関する情報１２２を車両制御ＥＣＵ４０に出力する。

【0083】

このように設定された目標駐車枠２８０は、その後端線２８２が、Ｔ字マーカ２００，３００で仕切られた駐車区画２５０の後端線３６２に揃えられている。

【0084】

したがって、車両制御ＥＣＵ４０が、画像処理装置１００から入力された目標駐車枠２８０に関する情報１２２に基づいて、車両Ｖを目標駐車枠２８０に駐車させるように自動駐車処理を行うことにより、車両Ｖを駐車区画２５０の後端線３６２に揃えて駐車させることができる。

【0085】

また、本実施形態の画像処理装置１００は、自動駐車処理の駐車動作前に、前端角部のＴ字マーカ２００，２００に基づいて設定した仮駐車枠２６０を、駐車動作中に、後端角部のＴ字マーカ３００，３００に基づいて設定した駐車枠２７０に更新することにより、駐車動作中に、駐車前より精度の高い目標駐車枠２８０を設定することができる。

【0086】

また、本実施形態の画像処理装置１００は、マーカ検出部１１２が、後端角部のＴ字マーカ３００，３００を検出する際の探索範囲を、仮駐車枠２６０の側線２６３，２６４の近傍に限定している。このため、俯瞰画像の全体を探索範囲としたものに比べて、検出処理に要する負荷を低減（検出処理時間の短縮や検出処理に要する演算負荷の低減等）することができる。

【0087】

なお、画像処理装置１００の表示制御部１１６は、ナビゲーション装置３０のモニタ３１に、俯瞰画像や、仮駐車枠２６０、駐車枠２７０又は目標駐車枠２８０を重畳表示し、これにより、これらの駐車枠（仮駐車枠２６０、駐車枠２７０又は目標駐車枠２８０）に車両Ｖが誘導されていく様子を、ドライバに視認させることができる。

【0088】

本実施形態の画像処理装置１００は、マーカ検出部１１２が検出した、後端角部のＴ字マーカ３００，３００のコーナ部３３０，３４０が、駐車枠２７０を特定する処理の基準となるため、検出したコーナ部３３０，３４０の真偽の検証を行って、検出したコーナ部３３０，３４０の信頼性を高めることが好ましい。

【0089】

そこで、マーカ検出部１１２は、検出したコーナ部３３０，３４０について、下記（１）から（４）の条件の全てを満たした場合に真と判定し、１つでも条件を満たさなかった場合は偽と判定する。駐車枠特定部１１４は、マーカ検出部１１２により真と判定されたコーナ部３３０，３４０のみに基づいて駐車枠２７０を特定する。

【0090】

図１０はマーカ検出部１１２によるコーナ部３３０，３４０の真偽の検証の内容の１つである条件（１）を説明する模式図、図１１はマーカ検出部１１２によるコーナ部３３０，３４０の真偽の検証の内容の１つである条件（２）を説明する模式図、図１２はマーカ検出部１１２によるコーナ部３３０，３４０の真偽の検証の内容の１つである条件（３）を説明する模式図、図１３はマーカ検出部１１２によるコーナ部３３０，３４０の真偽の検証の内容の１つである条件（４）を説明する模式図である。

【0091】

具体的には、マーカ検出部１１２は、（１）図１０に示すように、２つのコーナ部３３０，３４０の間の距離ｘ１が予め設定された所定の第１の閾値以内であることを判定する。ここで、第１の閾値は、車両Ｖを駐車するための駐車区画２５０としての適合していることの条件を検証しうる値であり、例えば、車両Ｖの車幅以上で、かつ車幅の例えば１．５倍以下の値である。

【0092】

また、マーカ検出部１１２は、（２）図１１に示すように、２つの後端角部のＴ字マーカ３００，３００のコーナ部３３０，３４０と車両Ｖの後端Ｖｒとの距離ｙ１，ｙ２がいずれも所定の第２の閾値以内であることを判定する。ここで、第２の閾値は、コーナ部３３０，３４０が車両Ｖの後端Ｖｒから過度に離れた位置でないこと検証しうる値であればよく、例えばスルー画像を視点変換して俯瞰画像として写る範囲となる距離などを適用することができる。

【0093】

また、マーカ検出部１１２は、（３）図１２に示すように、仮駐車枠２６０に車両Ｖを駐車したと想定したときの駐車完了位置における車両Ｖの車幅方向の中心Ｃからの、各コーナ部３３０，３４０までの車幅方向に沿った距離ｘ３，ｘ４の差が、所定の第３の閾値以内であることを判定する。ここで、第３の閾値は、仮駐車枠２６０に対してコーナ部３３０，３４０が車幅方向の一方に大きく偏っていないことを検証しうる値であればよく、例えば、１０［ｃｍ］〜１５［ｃｍ］程度である。

【0094】

また、マーカ検出部１１２は、（４）図１３に示すように、仮駐車枠２６０に車両Ｖを駐車したと想定したときの駐車完了位置における車両Ｖの後端Ｖｒからの、２つのコーナ部３３０，３４０の前後方向の距離ｙ３，ｙ４の差が所定の第４の閾値以内であることを判定する。ここで、第４の閾値は、コーナ部３３０，３４０の前後方向の位置の差が大きくないことを検証しうる値であればよく、例えば、５［ｃｍ］〜１０［ｃｍ］程度である。

【0095】

以上のように、マーカ検出部１１２が、後端角部のＴ字マーカ３００，３００のコーナ部３３０，３４０の真偽を検証することにより、駐車枠２７０の特定を、信頼性の高いものとすることができ、設定された目標駐車枠２８０の信頼性を高めることができる。

【0096】

なお、マーカ検出部１１２は、上記（１）〜（４）の条件のうち条件（１），（２）については、画像上での距離のみで判定し、条件（３），（４）については、現実空間である世界座標上での距離で判定する。

【0097】

条件（３），（４）は、仮駐車枠２６０との相対的な位置関係を検証するが、仮駐車枠２６０は、現実空間である世界座標として記憶部１２０に記憶されているため、世界座標上での距離で判定する方が簡便だからである。ただし、条件（３），（４）についても、条件（１），（２）と同様に、画像上での距離で判定してもよい。

【0098】

本実施形態の画像処理装置１００は、駐車区画２５０の四隅の角部に配置されたＴ字マーカ２００，３００が、横白線２１０，３１０と縦白線２２０，３２０とが直交したＴ字形状を呈しているが、Ｔ字マーカ２００，３００は、横白線２１０，３１０と縦白線２２０，３２０とが９０［°］以外の角度（０［°］を除く）で交差したＴ字形状を呈するものであってもよい。

【0099】

そして、本実施形態の画像処理装置１００は、そのように９０［°］以外の角度で交差したＴ字形状を呈したＴ字マーカを適用した場合も、直交したＴ字形状を呈したＴ字マーカ２００，３００を適用した場合と同様の作用、効果を発揮する。

【0100】

本実施形態の画像処理装置１００は、駐車区画２５０の四隅の角部に配置された角部マーカとしてＴ字マーカ２００，３００を適用したものであるが、本発明に係る画像処理装置は、Ｔ字マーカ以外の、例えばＬ字形状に形成されたＬ字マーカ等、種々の形状の角部マーカを適用することができる。

【0101】

そして、本発明に係る画像処理装置は、そのような角部マーカを適用した場合も、Ｔ字マーカを適用した場合等と同様の作用、効果を発揮する。

【符号の説明】

【0102】

２０ カメラ
４０ 車両制御ＥＣＵ
１００ 画像処理装置
１１２ マーカ検出部
１１３ 仮駐車枠設定部
１１４ 駐車枠特定部
１１５ 目標駐車枠設定部
２００，３００ Ｔ字マーカ（角部マーカの一例）
２５０ 駐車区画
２６０ 仮駐車枠
２６３，２６４ 側線
２７０ 駐車枠
２８０ 目標駐車枠
３６２ 後端線
Ｖ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】