特開2020-181358(P2020-181358A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
<>
  • 特開2020181358-画像処理装置及び画像処理方法 図000003
  • 特開2020181358-画像処理装置及び画像処理方法 図000004
  • 特開2020181358-画像処理装置及び画像処理方法 図000005
  • 特開2020181358-画像処理装置及び画像処理方法 図000006
  • 特開2020181358-画像処理装置及び画像処理方法 図000007
  • 特開2020181358-画像処理装置及び画像処理方法 図000008
  • 特開2020181358-画像処理装置及び画像処理方法 図000009
  • 特開2020181358-画像処理装置及び画像処理方法 図000010
  • 特開2020181358-画像処理装置及び画像処理方法 図000011
  • 特開2020181358-画像処理装置及び画像処理方法 図000012
  • 特開2020181358-画像処理装置及び画像処理方法 図000013
  • 特開2020181358-画像処理装置及び画像処理方法 図000014
  • 特開2020181358-画像処理装置及び画像処理方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-181358(P2020-181358A)
(43)【公開日】2020年11月5日
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20201009BHJP
   G06T 7/60 20170101ALI20201009BHJP
   B60W 30/06 20060101ALI20201009BHJP
   B60R 99/00 20090101ALI20201009BHJP
【FI】
   G08G1/16 C
   G06T7/60 200J
   B60W30/06
   B60R99/00 330
   B60R99/00 321
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】17
(21)【出願番号】特願2019-83678(P2019-83678)
(22)【出願日】2019年4月25日
(71)【出願人】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】金子 貴之
(72)【発明者】
【氏名】久保田 守
(72)【発明者】
【氏名】近藤 俊輔
【テーマコード(参考)】
3D241
5H181
5L096
【Fターム(参考)】
3D241BA21
3D241BB03
3D241CC01
3D241CC08
3D241CC17
3D241CE04
3D241CE05
3D241DA52Z
3D241DB01Z
3D241DB32Z
3D241DC35Z
5H181AA01
5H181CC04
5H181CC24
5H181FF22
5H181FF32
5H181KK01
5H181KK07
5L096BA04
5L096CA05
5L096CA27
5L096DA02
5L096EA26
5L096FA06
5L096FA10
5L096FA13
5L096FA16
5L096FA64
5L096FA66
5L096GA51
(57)【要約】
【課題】画像処理装置において、駐車区画の後端を適切に特定する。
【解決手段】画像処理装置100は、カメラ20により撮影された画像に基づいて、車両Vが駐車しようとする、T字マーカ200,300によって仕切られた駐車区画250の全周の輪郭線である駐車枠を特定する画像処理装置100であって、画像に対して、駐車枠270に先立って設定された仮駐車枠260の側線263,264に直交するx方向に沿ってエッジ検出処理を行うことにより、駐車区画250の2つの後端角部を仕切るT字マーカ300,300を検出するマーカ検出部112と、マーカ検出部112により検出された2つの角部マーカ300,300に基づいて駐車枠270の後端線362を特定し、後端線362及び仮駐車枠260に基づいて駐車枠270を特定する駐車枠特定部114と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
車載カメラにより撮影された画像を用いて角部マーカによって仕切られた駐車枠を特定する画像処理装置であって、
前記画像に対してエッジ検出処理を行うことにより、前記駐車枠の一端の前記角部マーカを検出するマーカ検出部と、
前記マーカ検出部により検出された前記一端の前記角部マーカに基づいて仮駐車枠を設定する仮駐車枠設定部と、
前記マーカ検出部を用いて、前記仮駐車枠設定部により設定した前記仮駐車枠の側線に沿った方向において、前記駐車枠の他端の前記角部マーカを検出し、前記一端の前記角部マーカと、検出された前記他端の前記角部マーカとを用いて、前記駐車枠を特定する駐車枠特定部と、を備えた画像処理装置。
【請求項2】
前記駐車枠特定部は、前記マーカ検出部により検出された2つの前記他端の前記角部マーカのコーナ部同士を結んだ後端線を設定し、前記他端の前記角部マーカのコーナ部からそれぞれ、前記後端線に直交する側線を設定し、前記後端線、前記側線及び前記仮駐車枠の、2つの前記一端の前記角部マーカのコーナ部同士を結んだ前端線に基づいて、前記駐車枠を特定する請求項1に記載の画像処理装置。
【請求項3】
前記マーカ検出部は、前記仮駐車枠の側線に沿ってエッジ検出処理を行うに際して、前記側線と前記仮駐車枠の前端線との交点から、予め設定された所定の長さだけ、前記側線に沿ってオフセットした位置を、前記エッジ検出処理の起点として設定する請求項1又は2に記載の画像処理装置。
【請求項4】
前記マーカ検出部は、下記(1)から(4)の条件のうち少なくとも1つの条件にしたがって、検出した2つの前記他端の前記角部マーカの真偽を検証し、
前記駐車枠特定部は、前記マーカ検出部により真と検証された前記他端の前記角部マーカに基づいて前記駐車枠を特定する請求項1から3のうちいずれか1項に記載の画像処理装置。
(1)2つの前記他端の前記角部マーカの間の距離が所定の第1の閾値以内である
(2)2つの前記他端の前記角部マーカと前記車両の後端との距離が所定の第2の閾値以内である
(3)前記仮駐車枠に前記車両を駐車したと想定したときの前記車両の駐車完了位置に対して、2つの前記他端の前記角部マーカの車幅方向に沿った位置の差が、所定の第3の閾値以内である
(4)前記仮駐車枠に前記車両を駐車したと想定したときの前記車両の駐車完了位置に対して、2つの前記他端の前記角部マーカの前記車両の前後方向に沿った位置の差が、所定の第4の閾値以内である
【請求項5】
車載カメラにより撮影された画像を用いて角部マーカによって仕切られた駐車枠を特定する画像処理方法であって、
前記画像に対してエッジ検出処理を行うことにより、前記駐車枠の一端の前記角部マーカを検出し、
検出された前記一端の前記角部マーカに基づいて仮駐車枠を設定し、
前記仮駐車枠の側線に沿った方向において、前記駐車枠の他端の前記角部マーカを検出し、前記一端の前記角部マーカと、検出された前記他端の前記角部マーカとを用いて、前記駐車枠を特定する画像処理方法。
【請求項6】
検出された2つの前記他端の前記角部マーカのコーナ部同士を結んだ仮想の後端線を設定し、
前記他端の前記角部マーカのコーナ部からそれぞれ、前記仮想の後端線に直交する仮想の側線を設定し、
前記仮想の後端線、前記仮想の側線及び前記仮駐車枠の、2つの前記一端の前記角部マーカのコーナ部同士を結んだ前端線に基づいて、前記駐車枠を特定する請求項5に記載の画像処理方法。
【請求項7】
前記仮駐車枠の側線に沿ってエッジ検出処理を行うに際して、前記側線と前記仮駐車枠の前端線との交点から、予め設定された所定の長さだけ、前記側線に沿ってオフセットした位置を、前記エッジ検出処理の起点として設定する請求項5又は6に記載の画像処理方法。
【請求項8】
検出した2つの前記他端の前記角部マーカの真偽を、下記(1)から(4)の条件のうち少なくとも1つの条件にしたがって検証し、
検証により真とされた前記他端の前記角部マーカに基づいて、前記駐車枠を特定する請求項5から7のうちいずれか1項に記載の画像処理方法。
(1)2つの前記他端の前記角部マーカの間の距離が所定の第1の閾値以内である
(2)2つの前記他端の前記角部マーカと車両Vの後端との距離が所定の第2の閾値以内である
(3)前記仮駐車枠に前記車両を駐車したと想定したときの前記車両の駐車完了位置に対して、2つの前記他端の前記角部マーカの車幅方向に沿った位置の差が、所定の第3の閾値以内である
(4)前記仮駐車枠に前記車両を駐車したと想定したときの前記車両の駐車完了位置に対して、2つの前記他端の前記角部マーカの前記車両の前後方向に沿った位置の差が、所定の第4の閾値以内である
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
カメラで撮影された画像に基づいて、車両を駐車するために仕切られた駐車区画を自動的に検出する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017−024598号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、駐車区画を仕切るマーカとしては、駐車区画の輪郭線である2本の側線と2本の端線(車両Vに近い側の前端線と車両Vから遠い側の後端線)をそれぞれ白線で描いたものや、駐車区画の四隅の角部に配置された、T字形状やL字形状等の角部マーカなどが知られている。
【0005】
T字形状の角部マーカ(T字マーカ)は、横方向に延びた横白線と、その横白線の中央部から縦方向に延びた縦白線とが交差してT字の形状を呈したマーカであり、L字形状の角部マーカ(L字マーカ)は、横方向に延びた横白線と、その横白線の一方の端部から縦方向に延びた縦白線とが交差してL字の形状を呈したマーカである。
【0006】
このような角部マーカによって仕切られた駐車区画は、角部マーカ同士が、横方向及び縦方向にそれぞれ離れて配置されていて、角部マーカ間には白線が描かれていない。
【0007】
そして、車両に搭載されたカメラで駐車区画を撮影した場合、車両に近い側の角部マーカ(以下、前端角部の角部マーカという。)が車両から遠い側の角部マーカ(以下、後端角部の角部マーカという。)に比べて明瞭に撮像されるため、駐車区画を画像に基づいて検出するときは、前端角部の角部マーカに基づいて駐車区画を特定することになる。
【0008】
この場合、その駐車区画に基づいて設定される、車両を駐車する目標となる目標駐車枠は、前端角部の角部マーカを基準に設定される。したがって、その目標駐車枠に向かって駐車される車両は、駐車区画の全周の輪郭線である駐車枠のうち前端線に揃えられる。
【0009】
しかし、車両は、駐車区画の後端角部に配置された角部マーカを基準として、駐車枠の後端線に揃えて駐車する場合もある。
【0010】
本発明は上記事情に鑑みなされたものであり、角部マーカで仕切られた駐車区画の後端線を基準とした駐車枠を適切に特定することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の第1は、車載カメラにより撮影された画像を用いて角部マーカによって仕切られた駐車枠を特定する画像処理装置であって、前記画像に対してエッジ検出処理を行うことにより、前記駐車枠の一端の前記角部マーカを検出するマーカ検出部と、前記マーカ検出部により検出された前記一端の角部マーカに基づいて仮駐車枠を設定する仮駐車枠設定部と、前記マーカ検出部を用いて、前記仮駐車枠設定部により設定した前記仮駐車枠の側線に沿った方向において、前記駐車枠の他端の前記角部マーカを検出し、前記一端の前記角部マーカと、検出された前記他端の前記角部マーカとを用いて、前記駐車枠を特定する駐車枠特定部と、を備えた画像処理装置である。
【0012】
本発明の第2は、車載カメラにより撮影された画像を用いて角部マーカによって仕切られた駐車枠を特定する画像処理方法であって、前記画像に対してエッジ検出処理を行うことにより、前記駐車枠の一端の前記角部マーカを検出し、検出された前記一端の前記角部マーカに基づいて仮駐車枠を設定し、前記仮駐車枠の側線に沿った方向において、前記駐車枠の他端の前記角部マーカを検出し、前記一端の前記角部マーカと、検出された前記他端の前記角部マーカとを用いて、前記駐車枠を特定する画像処理方法である。
【発明の効果】
【0013】
本発明に係る画像処理装置及び画像処理方法によれば、角部マーカで仕切られた駐車区画の後端線を基準とした駐車枠を適切に特定することができる。
【図面の簡単な説明】
【0014】
図1】本発明に係る画像処理装置の一実施形態である画像処理装置を用いた駐車支援装置の概略構成を示すブロック図である。
図2】駐車支援装置におけるカメラ(前方カメラ、後方カメラ、左側方カメラ、右側方カメラ)の配置の一例を示す図である。
図3】本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
図4】4つのT字マーカで設定された駐車区画及び仮駐車枠を示す模式図である。
図5】仮駐車枠の設定後の駐車動作中に、駐車区画の駐車枠を特定し直す動作を説明する模式図である。
図6】特定し直された駐車枠と目標駐車枠を示す模式図である。
図7】画像処理装置が仮駐車枠を設定して、設定した仮駐車枠に関する情報を車両制御ECUに出力する処理の流れを示すフローチャートである。
図8】仮駐車枠に向かう駐車動作中に、画像処理装置が駐車枠を特定し直して設定した目標駐車枠に関する情報を車両制御ECUに出力する処理の流れを示すフローチャートである。
図9】仮駐車枠の側線にそれぞれ沿って後端角部のT字マーカのコーナ部を検出する処理を模式的に示した図である。
図10】マーカ検出部によるコーナ部の真偽の検証の内容の1つである条件(1)を説明する模式図である。
図11】マーカ検出部によるコーナ部の真偽の検証の内容の1つである条件(2)を説明する模式図である。
図12】マーカ検出部によるコーナ部の真偽の検証の内容の1つである条件(3)を説明する模式図である。
図13】マーカ検出部によるコーナ部の真偽の検証の内容の1つである条件(4)を説明する模式図である。
【発明を実施するための形態】
【0015】
以下、本発明に係る画像処理装置及び画像処理方法の具体的な実施の形態について、図面を参照して説明する。
【0016】
[駐車支援装置の概略構成]
図1は、本発明に係る画像処理装置の一実施形態である画像処理装置100を用いた駐車支援装置1の概略構成を示すブロック図、図2は駐車支援装置1におけるカメラ20(前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20d)の配置の一例を示す図、図3は本実施形態の画像処理装置100の概略構成を示す機能ブロック図、図4は4つのT字マーカ200,200,300,300で設定された駐車区画250及び仮駐車枠260を示す模式図である。
【0017】
図1に示した駐車支援装置1は、図2に示した車両Vに搭載され、駐車支援動作を行う。具体的には、駐車支援装置1は、図2に示す車載のカメラ20(撮像装置)で撮影された画像に基づいて、図4に示す駐車区画250を認識し、その駐車区画250に車両Vを誘導するように車両Vの動作を制御する車両制御ECU40に対して必要な信号を出力する。
【0018】
ここで、1つの駐車区画250は、4つのT字マーカ200,200,300,300を四隅の角部として、これら4つのT字マーカ200,200,300,300で囲まれた矩形の駐車領域である。駐車区画250は、車両Vの平面視よりも大きなサイズで形成されている。
【0019】
T字マーカ200,300は、横方向に延びた横白線210と、その横白線210の中央部から縦方向に延びた縦白線220とが交差してT字の形状を呈したマーカである。ここで、駐車区画250の一方の端(例えば、前端(車両Vが駐車動作により駐車区画250に進入する際の、車両Vに近い側の端))の角部に配置された2つのT字マーカ200,200と他方の端(例えば、後端(車両Vが駐車動作により駐車区画250に進入する際の、車両Vに近い側の端))の角部に配置された2つのT字マーカ300,300は、図4に示すように上下反対の姿勢で配置されている。
【0020】
前端角部のT字マーカ200の縦白線220と後端角部のT字マーカ300の縦白線320とは、一直線上に配置されている。また、前端角部のT字マーカ200の横白線210と後端角部のT字マーカ300の横白線310とは、縦白線220と縦白線320との間よりも離れた位置に配置されている。
【0021】
このような4つのT字マーカ200,200,300,300によって仕切られた駐車区画250は、T字マーカ200,200,300,300同士が、互いに、横方向及び縦方向にそれぞれ離れて配置されていて、T字マーカ200,200,300,300間には白線が描かれていない。
【0022】
T字マーカ200,300によって仕切られた駐車区画250の場合、図4に示すように、縦白線220,320が、隣接する他の駐車区画250を仕切り、横白線210が、駐車区画250の前端(車両Vが駐車動作により駐車区画250に進入する際の、車両Vに近い側の端)を仕切り、横白線310が駐車区画250の後端(車両Vが駐車動作により駐車区画250に進入する際の、車両Vから遠い側の端)を仕切る。
【0023】
車両Vに搭載されたカメラ20で駐車区画250を撮影した場合、画像処理装置100は、前端角部のT字マーカ200,200が車両Vから遠い側である後端角部のT字マーカ300,300に比べて鮮明に撮像されるため、駐車動作前に駐車区画250を最初に検出するときは、前端角部のT字マーカ200に基づいて駐車区画250を認識することになる。
【0024】
そして、画像処理装置100は、認識した駐車区画250に基づいて、その車両Vを駐車区画250に誘導するように車両Vの駐車動作を制御する車両制御ECU40に対して必要な信号を出力する。
【0025】
駐車支援装置1は、図1に示すように、前方カメラ20a、後方カメラ20b、左側方カメラ20c及び右側方カメラ20dと、カメラECU22と、ナビゲーション装置30と、車輪速センサ32と、操舵角センサ34とを有する。
【0026】
図2に示すように、前方カメラ20aは、車両Vのフロントバンパ又はフロントグリルに、車両Vの前端を含む前方の領域を撮影するように前方に向けて装着されている。後方カメラ20bは、車両Vのリアバンパ又はリアガーニッシュに、車両Vの後端を含む後方の領域を撮影するように後方に向けて装着されている。
【0027】
左側方カメラ20cは、車両Vの左ドアミラーに、車両Vの左側方の領域を撮影するように左側方に向けて装着されている。右側方カメラ20dは、車両Vの右ドアミラーに、車両Vの右側方の領域を撮影するように右側方に向けて装着されている。
【0028】
これらのカメラ20a〜20dには、例えば180[°]程度の広い範囲を撮影できるように広い画角の広角レンズや魚眼レンズが装着されており、これら4台のカメラ20a〜20dによって車両Vの周囲の路面を含んだ全周の領域を漏れなく撮影することができるようになっている。
【0029】
以下、これら4つのカメラ20a〜20dを区別しない場合や総称する場合は、カメラ20という。
【0030】
カメラECU22は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びフラッシュメモリ等からなるマイクロコンピュータ(マイコン)を主体として構成される。カメラECU22は、カメラ20の動作を制御するとともに、カメラ20が撮影した画像情報を用いて、俯瞰画像の生成処理や、駐車区画250を検知する検知処理などを行う画像処理装置100を備えている。
【0031】
ナビゲーション装置30は画像表示機能を有するモニタ31を備えている。ナビゲーション装置30は、経路案内用の地図データ等が格納された記憶部を有し、この地図データ等及び図示を略したGPS装置等により測位された車両Vの現在位置に基づいて、ナビゲーション装置30の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニタ31に表示される。
【0032】
車輪速センサ32は、車両Vの車輪速を検知する。車輪速センサ32により検知された車輪速は車両制御ECU40に入力され、車両制御ECU40による車両Vの動作の制御に用いられる。
【0033】
操舵角センサ34は、車両Vのステアリングの操舵角を検知する。車両Vが直進状態で走行するときの操舵角を0[度](中立位置)とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ34で検知された操舵角は、車両制御ECU40に入力され、車両制御ECU40による車両Vの動作の制御に用いられる。
【0034】
さらに、駐車支援装置1は、車両制御ECU40と、ステアリング制御ユニット50と、スロットル制御ユニット60と、ブレーキ制御ユニット70とを有する。
【0035】
車両制御ECU40は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びフラッシュメモリ等からなるマイコンを主体として構成される。車両制御ECU40は、カメラECU22、車輪速センサ32及び操舵角センサ34から入力された各情報に基づいて、車両Vの駐車を支援する各種処理を実行する。
【0036】
すなわち、例えば、運転者が、図示を略した自動駐車開始スイッチ等を操作して駐車支援装置1を作動させると、車両制御ECU40は、カメラECU22によって取得された駐車区画に、車両Vを自動運転で駐車動作させる自動駐車処理を実行する。
【0037】
自動駐車処理において、ステアリング制御ユニット50は、車両制御ECU40により決定した車両制御情報に基づいて、パワーステアリング(パワステ)アクチュエータ52の駆動を制御することにより、車両Vの操舵角を制御する。
【0038】
また、自動駐車処理において、スロットル制御ユニット60は、車両制御ECU40により決定した車両制御情報に基づいて、スロットルアクチュエータ62の駆動を制御することにより、車両Vのスロットル開度を制御する。
【0039】
また、自動駐車処理において、ブレーキ制御ユニット70は、車両制御ECU40により決定した車両制御情報に基づいて、ブレーキアクチュエータ72の駆動を制御することにより、車両Vのブレーキを制御する。
【0040】
なお、カメラECU22、車輪速センサ32及び操舵角センサ34と、車両制御ECU40とは、車内LAN(Local Area Network)であるセンサ情報CAN(Controller Area Network;登録商標)80によって接続されている。
【0041】
また、ステアリング制御ユニット50、スロットル制御ユニット60及びブレーキ制御ユニット70と、車両制御ECU40とは、車内LANである車両情報CAN(登録商標)82によって接続される。
【0042】
[画像処理装置の機能構成]
図5は仮駐車枠260の設定後の駐車動作中に、駐車区画250の駐車枠270を特定し直す動作を説明する模式図、図6は特定し直された駐車枠270と目標駐車枠280を示す模式図である。
【0043】
画像処理装置100は、図4に示すように、検出した駐車区画250に対応して仮駐車枠260を設定し、その設定した仮駐車枠260に関する情報(仮駐車枠260の位置や形状等)121を、車両制御ECU40に出力する。
【0044】
そして、仮駐車枠260に関する情報121を取得した車両制御ECU40は、設定した仮駐車枠260に車両Vを誘導して駐車させるように、予め記憶されたプログラムに従って、車輪速センサ32及び操舵角センサ34によって検出された情報を参照しつつ、パワステアクチュエータ52、スロットルアクチュエータ62及びブレーキアクチュエータ72を制御する。これにより、車両Vは、設定された仮駐車枠260に向けて駐車動作を行う。
【0045】
さらに、画像処理装置100は、図5に示すように、仮駐車枠260に向かう駐車動作中に、駐車区画250に対応した駐車枠270(図6参照)を改めて特定し直し、その特定した駐車枠270の内部に、車両Vを駐車する目標となる、車両Vと略同じ大きさの目標駐車枠280を設定し、その目標駐車枠280に関する情報(目標駐車枠280の位置や形状等)122を、車両制御ECU40に出力する。
【0046】
そして、目標駐車枠280に関する情報122を取得した車両制御ECU40は、設定した目標駐車枠280に車両Vを誘導して駐車動作させるように、予め記憶されたプログラムに従って、車輪速センサ32及び操舵角センサ34によって検出された情報を参照しつつ、パワステアクチュエータ52、スロットルアクチュエータ62及びブレーキアクチュエータ72を制御する。これにより、車両Vは、設定された目標駐車枠280に向けて駐車動作を行い、車両Vの後端が駐車枠270の後端線362に揃うように車両Vは駐車される。
【0047】
ここで、仮駐車枠260及び駐車枠270は、駐車区画250の全周の輪郭線である枠状の部分を示すものであり、仮駐車枠260は、図4に示すように、前端角部のT字マーカ200,200に基づいて最初に設定された駐車枠であり、駐車枠270は、仮駐車枠260に向けた駐車動作中に、後端角部のT字マーカ300,300と仮駐車枠260とに基づいて、図6に示すように特定し直された駐車枠である。
【0048】
また、目標駐車枠280は、駐車枠270内に設定され、駐車枠270の後端線362に目標駐車枠280の後端線282が揃うように、車両Vと略同じ大きさで形成された駐車枠である。
【0049】
画像処理装置100は、図3に示すように、制御部110と、記憶部120とを有する。
【0050】
制御部110は、カメラECU22のCPUから主に構成されており、画像処理装置100全体の制御を行う。制御部110はCPU、FPGAなどのプログラマブルロジックデバイス、ASIC等の集積回路に代表される演算素子を有する。
【0051】
記憶部120は、カメラECU22のROM、RAM及びフラッシュメモリ等から主に構成されている。記憶部120は、図示を省略した制御用プログラムが格納されており、この制御用プログラムが画像処理装置100の起動時に制御部110により実行されて、画像処理装置100は図3に示すような機能構成を備えたものとなる。
【0052】
また、記憶部120には、制御部110での処理によって検出された、仮駐車枠260に関する情報121、駐車枠270及び目標駐車枠280に関する情報122等が記憶される。
【0053】
本実施形態の画像処理装置100は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばFPGAなどを有することが好ましい。
【0054】
制御部110は、視点変換部111と、マーカ検出部112と、仮駐車枠設定部113と、駐車枠特定部114と、目標駐車枠設定部115と、表示制御部116と、を備えている。
【0055】
図7は、画像処理装置100が仮駐車枠260を設定して、設定した仮駐車枠260に関する情報121を車両制御ECU40に出力する処理の流れを示すフローチャート、図8は、仮駐車枠260に向かう駐車動作中に、画像処理装置100が駐車枠270を特定し直して設定した目標駐車枠280に関する情報122を車両制御ECU40に出力する処理の流れを示すフローチャート、図9は、仮駐車枠260の側線263,264にそれぞれ沿って後端角部のT字マーカ300,300のコーナ部330,340を検出する処理を模式的に示した図である。
【0056】
視点変換部111は、4つのカメラ20がそれぞれ車両Vの周囲の路面を撮像した画像(以下、スルー画像ということもある。)を取得し(図7におけるステップ1(S1))、このスルー画像を、例えば図4に示した俯瞰画像(車両Vの上方から鉛直方向に平行な視線で見下ろしたと仮定して得られる画像)に変換する(図7におけるS2)。
【0057】
なお、視点変換部111は、視点変換とともに、4つのカメラ20が撮像したスルー画像に対応した4つの俯瞰画像を、車両Vを中心とした単一の俯瞰画像に合成する処理(S2において括弧書きで示す)を行ってもよい。
【0058】
例えば図4に示す、車両Vの右側方に駐車区画250が存在する場合、マーカ検出部112は、視点変換部111から出力された俯瞰画像に基づいて、車両Vの右側方に存在する、駐車区画250の2つの前端角部を仕切るT字マーカ200,200を検出する(図7におけるS3)。
【0059】
また、マーカ検出部112は、後述するように、駐車枠270に先立って設定された仮駐車枠260の側線263,264に直交するx方向に沿ってエッジ検出処理を行うことにより、駐車区画の2502つの後端角部を仕切るT字マーカ300を検出する(図8におけるS11)。
【0060】
マーカ検出部112による前端角部のT字マーカ200,200の検出は、例えば、周知のエッジ検出処理により行うことができる。
【0061】
仮駐車枠設定部113は、マーカ検出部112により検出された、2つの前端角部のT字マーカ200,200に基づいて、仮駐車枠260を設定する(図7におけるS4)。
【0062】
具体的には、仮駐車枠設定部113は、2つの前端角部のT字マーカ200,200に対して、例えば周知のハリスのコーナ検出により、T字マーカ200,200の横白線210と縦白線220とが交差した部分に形成されたエッジのコーナ部230,240を検出し、これら2つのコーナ部230,240を結んで前端線261を設定し、各コーナ部230,240から前端線261に直交して、車両Vの長さ分だけ延びる側線263,264を設定し、側線263,264の端部同士を結んで後端線262を設定する。
【0063】
そして、仮駐車枠設定部113は、これら前端線261、後端線262及び2本の側線263,264を繋いで形成された枠を仮駐車枠260とし、仮駐車枠260の位置等の、仮駐車枠260に関する情報121を記憶部120に記憶させるとともに、この情報121を車両制御ECU40に出力する。
【0064】
車両制御ECU40は、画像処理装置100から入力された仮駐車枠260に関する情報121に基づいて、車両Vを仮駐車枠260に駐車させるように自動駐車処理を行う。
【0065】
画像処理装置100は、この自動駐車処理による駐車動作中、例えば、図5に示した状態で、仮駐車枠260を設定した駐車区画250の輪郭線を、2つの後端角部のT字マーカ300,300を基準とした駐車枠270として特定し直す。
【0066】
具体的には、マーカ検出部112が、カメラ20によってその時点で写されている画像を視点変換した俯瞰画像に対して、設定した仮駐車枠260の各側線263,264の近傍のみについて、各側線263,264にそれぞれ直交する方向(図5において、例えばx方向)に沿った主走査によりエッジを探索するエッジ検出処理を行う。
【0067】
これにより、マーカ検出部112は、仮駐車枠260の側線263,264に沿った方向において、駐車区画250の2つの後端角部を仕切るT字マーカ300,300を検出する(図8におけるS11)。
【0068】
つまり、図9に示すように、側線263,264の近傍を、側線263,264にそれぞれ直交するx方向に沿って主走査しつつ、側線263,264に沿ったy方向(x方向に直交する方向)に副走査して、後端角部のT字マーカ300のエッジ検出処理を行う。
【0069】
ここで、側線263,264の近傍は、各側線263,264を中心とした所定の長さ範囲であり、この所定の長さは、前端角部のT字マーカ200の横白線210の長さよりも少し長い程度の長さである。後端角部のT字マーカ300は、仮駐車枠260の側線263,264上又はそれらの延長線上に配置されている可能性が高いからである。
【0070】
マーカ検出部112は、側線263に沿ったy方向への副走査の起点を、図4に示すように、前端角部のT字マーカ200のコーナ部230(側線263と前端線261との交点)から、予め設定された所定の長さだけ、側線263に沿って後端線262側にオフセットした位置230′とする。
【0071】
同様に、マーカ検出部112は、側線264に沿ったy方向への副走査の起点を、前端のT字マーカ200のコーナ部240(側線264と前端線261との交点)から、予め設定された所定の長さだけ、側線264に沿って後端線262側にオフセットした位置240′とする。
【0072】
このように、エッジ検出処理における、y方向への副走査の起点を、前端角部のT字マーカ200,200から離れた位置とすることにより、前端角部のT字マーカ200,200をエッジとして誤検出しないようにして、後端角部のT字マーカ300,300を確実に検出することができる。
【0073】
マーカ検出部112は、このエッジ検出処理により、画像の信号値が急激に大きくなるプラスエッジ(+エッジ)321と信号値が急激に低くなるマイナスエッジ(−エッジ)322とを検出する。後端角部のT字マーカ300は、縦白線320において線幅が狭く、横白線310において線幅が広い。
【0074】
マーカ検出部112は、側線263に沿った側及び側線264に沿った側で、いずれも縦白線320に対応した線幅で、+エッジ321と−エッジ322とが対となっている部分を検出する。しかし、マーカ検出部112は、側線263の側では、横白線310に対応した部分において、+エッジを検出せずに、−エッジ312だけを検出される。同様に、マーカ検出部112は、側線264の側では、横白線310に対応した部分において、+エッジ311だけを検出し、+エッジを検出しない。
【0075】
マーカ検出部112は、+エッジ321と−エッジ322とが対となって検出されなくなったy方向の直前部分の+エッジ321と−エッジ322の座標を求める。そして、図9に示す、駐車区画250の後端の左側のT字マーカ300において、対が検出されなくなったy方向の直前部分の−エッジ322は、T字マーカ300の、縦白線320と横白線310とが交差した部分に形成されたエッジのコーナ部330に対応している。
【0076】
同様に、駐車区画250の後端角部の右側のT字マーカ300において、対が検出されなくなったy方向の直前部分の+エッジ321は、T字マーカ300の、縦白線320と横白線310とが交差した部分に形成されたエッジのコーナ部340に対応している。
【0077】
駐車枠特定部114は、マーカ検出部112により検出された2つの後端角部のT字マーカ300,300のコーナ部330,340に基づいて、駐車区画250の輪郭線である駐車枠270を特定し直す(図8におけるS12)。
【0078】
具体的には、駐車枠特定部114は、図6に示すように、2つの後端角部のT字マーカ300,300のコーナ部330,340を結んで後端線362を設定し、各コーナ部330,340から後端線362に直交して延びる側線363,364を設定し、側線363,364と、記憶部120に記憶された仮駐車枠260の前端線261との交点350,360を求め、交点350,360を結んだ前端線361を設定する。
【0079】
そして、駐車枠特定部114は、これら前端線361、後端線362及び2本の側線363,364を繋いで形成された枠を、後端角部のT字マーカ300,300を基準とした駐車枠270と特定する(図8におけるS12)。
【0080】
目標駐車枠設定部115は、駐車枠特定部114により特定された駐車枠270の後端線362を後端線282に設定し、後端線282から車両Vの長さ分だけ前端線361の側にオフセットした、後端線282に平行な前端線281を設定し、駐車枠270の側線から263,264からそれぞれ等距離で、その間隔が車両Vの幅と同じの2本の側線283,284を設定する。
【0081】
そして、目標駐車枠設定部115は、これら前端線281、後端線282及び2本の側線283,284を繋いで形成された枠を、目標駐車枠280として設定する(図8におけるS13)とともに、目標駐車枠280の位置等の、目標駐車枠280に関する情報122を記憶部120に記憶させる。
【0082】
さらに、目標駐車枠設定部115は、目標駐車枠280に関する情報122を車両制御ECU40に出力する。
【0083】
このように設定された目標駐車枠280は、その後端線282が、T字マーカ200,300で仕切られた駐車区画250の後端線362に揃えられている。
【0084】
したがって、車両制御ECU40が、画像処理装置100から入力された目標駐車枠280に関する情報122に基づいて、車両Vを目標駐車枠280に駐車させるように自動駐車処理を行うことにより、車両Vを駐車区画250の後端線362に揃えて駐車させることができる。
【0085】
また、本実施形態の画像処理装置100は、自動駐車処理の駐車動作前に、前端角部のT字マーカ200,200に基づいて設定した仮駐車枠260を、駐車動作中に、後端角部のT字マーカ300,300に基づいて設定した駐車枠270に更新することにより、駐車動作中に、駐車前より精度の高い目標駐車枠280を設定することができる。
【0086】
また、本実施形態の画像処理装置100は、マーカ検出部112が、後端角部のT字マーカ300,300を検出する際の探索範囲を、仮駐車枠260の側線263,264の近傍に限定している。このため、俯瞰画像の全体を探索範囲としたものに比べて、検出処理に要する負荷を低減(検出処理時間の短縮や検出処理に要する演算負荷の低減等)することができる。
【0087】
なお、画像処理装置100の表示制御部116は、ナビゲーション装置30のモニタ31に、俯瞰画像や、仮駐車枠260、駐車枠270又は目標駐車枠280を重畳表示し、これにより、これらの駐車枠(仮駐車枠260、駐車枠270又は目標駐車枠280)に車両Vが誘導されていく様子を、ドライバに視認させることができる。
【0088】
本実施形態の画像処理装置100は、マーカ検出部112が検出した、後端角部のT字マーカ300,300のコーナ部330,340が、駐車枠270を特定する処理の基準となるため、検出したコーナ部330,340の真偽の検証を行って、検出したコーナ部330,340の信頼性を高めることが好ましい。
【0089】
そこで、マーカ検出部112は、検出したコーナ部330,340について、下記(1)から(4)の条件の全てを満たした場合に真と判定し、1つでも条件を満たさなかった場合は偽と判定する。駐車枠特定部114は、マーカ検出部112により真と判定されたコーナ部330,340のみに基づいて駐車枠270を特定する。
【0090】
図10はマーカ検出部112によるコーナ部330,340の真偽の検証の内容の1つである条件(1)を説明する模式図、図11はマーカ検出部112によるコーナ部330,340の真偽の検証の内容の1つである条件(2)を説明する模式図、図12はマーカ検出部112によるコーナ部330,340の真偽の検証の内容の1つである条件(3)を説明する模式図、図13はマーカ検出部112によるコーナ部330,340の真偽の検証の内容の1つである条件(4)を説明する模式図である。
【0091】
具体的には、マーカ検出部112は、(1)図10に示すように、2つのコーナ部330,340の間の距離x1が予め設定された所定の第1の閾値以内であることを判定する。ここで、第1の閾値は、車両Vを駐車するための駐車区画250としての適合していることの条件を検証しうる値であり、例えば、車両Vの車幅以上で、かつ車幅の例えば1.5倍以下の値である。
【0092】
また、マーカ検出部112は、(2)図11に示すように、2つの後端角部のT字マーカ300,300のコーナ部330,340と車両Vの後端Vrとの距離y1,y2がいずれも所定の第2の閾値以内であることを判定する。ここで、第2の閾値は、コーナ部330,340が車両Vの後端Vrから過度に離れた位置でないこと検証しうる値であればよく、例えばスルー画像を視点変換して俯瞰画像として写る範囲となる距離などを適用することができる。
【0093】
また、マーカ検出部112は、(3)図12に示すように、仮駐車枠260に車両Vを駐車したと想定したときの駐車完了位置における車両Vの車幅方向の中心Cからの、各コーナ部330,340までの車幅方向に沿った距離x3,x4の差が、所定の第3の閾値以内であることを判定する。ここで、第3の閾値は、仮駐車枠260に対してコーナ部330,340が車幅方向の一方に大きく偏っていないことを検証しうる値であればよく、例えば、10[cm]〜15[cm]程度である。
【0094】
また、マーカ検出部112は、(4)図13に示すように、仮駐車枠260に車両Vを駐車したと想定したときの駐車完了位置における車両Vの後端Vrからの、2つのコーナ部330,340の前後方向の距離y3,y4の差が所定の第4の閾値以内であることを判定する。ここで、第4の閾値は、コーナ部330,340の前後方向の位置の差が大きくないことを検証しうる値であればよく、例えば、5[cm]〜10[cm]程度である。
【0095】
以上のように、マーカ検出部112が、後端角部のT字マーカ300,300のコーナ部330,340の真偽を検証することにより、駐車枠270の特定を、信頼性の高いものとすることができ、設定された目標駐車枠280の信頼性を高めることができる。
【0096】
なお、マーカ検出部112は、上記(1)〜(4)の条件のうち条件(1),(2)については、画像上での距離のみで判定し、条件(3),(4)については、現実空間である世界座標上での距離で判定する。
【0097】
条件(3),(4)は、仮駐車枠260との相対的な位置関係を検証するが、仮駐車枠260は、現実空間である世界座標として記憶部120に記憶されているため、世界座標上での距離で判定する方が簡便だからである。ただし、条件(3),(4)についても、条件(1),(2)と同様に、画像上での距離で判定してもよい。
【0098】
本実施形態の画像処理装置100は、駐車区画250の四隅の角部に配置されたT字マーカ200,300が、横白線210,310と縦白線220,320とが直交したT字形状を呈しているが、T字マーカ200,300は、横白線210,310と縦白線220,320とが90[°]以外の角度(0[°]を除く)で交差したT字形状を呈するものであってもよい。
【0099】
そして、本実施形態の画像処理装置100は、そのように90[°]以外の角度で交差したT字形状を呈したT字マーカを適用した場合も、直交したT字形状を呈したT字マーカ200,300を適用した場合と同様の作用、効果を発揮する。
【0100】
本実施形態の画像処理装置100は、駐車区画250の四隅の角部に配置された角部マーカとしてT字マーカ200,300を適用したものであるが、本発明に係る画像処理装置は、T字マーカ以外の、例えばL字形状に形成されたL字マーカ等、種々の形状の角部マーカを適用することができる。
【0101】
そして、本発明に係る画像処理装置は、そのような角部マーカを適用した場合も、T字マーカを適用した場合等と同様の作用、効果を発揮する。
【符号の説明】
【0102】
20 カメラ
40 車両制御ECU
100 画像処理装置
112 マーカ検出部
113 仮駐車枠設定部
114 駐車枠特定部
115 目標駐車枠設定部
200,300 T字マーカ(角部マーカの一例)
250 駐車区画
260 仮駐車枠
263,264 側線
270 駐車枠
280 目標駐車枠
362 後端線
V 車両
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13