特開2020-194470(P2020-194470A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
<>
  • 特開2020194470-画像処理装置及び画像処理方法 図000003
  • 特開2020194470-画像処理装置及び画像処理方法 図000004
  • 特開2020194470-画像処理装置及び画像処理方法 図000005
  • 特開2020194470-画像処理装置及び画像処理方法 図000006
  • 特開2020194470-画像処理装置及び画像処理方法 図000007
  • 特開2020194470-画像処理装置及び画像処理方法 図000008
  • 特開2020194470-画像処理装置及び画像処理方法 図000009
  • 特開2020194470-画像処理装置及び画像処理方法 図000010
  • 特開2020194470-画像処理装置及び画像処理方法 図000011
  • 特開2020194470-画像処理装置及び画像処理方法 図000012
  • 特開2020194470-画像処理装置及び画像処理方法 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-194470(P2020-194470A)
(43)【公開日】2020年12月3日
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
   G06T 7/12 20170101AFI20201106BHJP
   G06T 7/00 20170101ALI20201106BHJP
【FI】
   G06T7/12
   G06T7/00 650Z
【審査請求】未請求
【請求項の数】6
【出願形態】OL
【全頁数】17
(21)【出願番号】特願2019-100927(P2019-100927)
(22)【出願日】2019年5月30日
(71)【出願人】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】金子 貴之
(72)【発明者】
【氏名】久保田 守
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA04
5L096CA02
5L096FA06
5L096FA13
5L096FA66
5L096FA67
5L096FA73
5L096GA51
(57)【要約】
【課題】画像処理装置において、斜線領域に隣接する駐車区画を特定する。
【解決手段】画像処理装置100は、画像のプラススエッジの線分211及びマイナスエッジの線分212を検出するエッジ検出部113と、検出されたプラスエッジの線分211及びマイナスエッジの線分212を、プラスエッジの線分211ごとに及びマイナスエッジの線分212ごとに、所定の角度間隔でグループ分けするグルーピング部115と、グループ分けされたプラスエッジの線分211のグループにおける複数のプラスエッジの線分211間で、対応する端点同士を繋ぎ、この繋いで得られた線を境界線として設定し、又はマイナスエッジ212のグループにおける複数のマイナスエッジの線分間で、対応する端点同士を繋ぎ、この繋いで得られた線を境界線として設定する境界線設定部116と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
車載カメラにより撮影された画像の画像信号値が所定値よりも大きく増加する部分をプラススエッジ及び前記画像の画像信号値が所定値よりも大きく減少する部分をマイナスエッジとして検出するエッジ検出部と、
前記エッジ検出部により検出された前記プラスエッジ及び前記マイナスエッジを、前記プラスエッジごとに及び前記マイナスエッジごとに、所定の角度間隔でグループ分けするグルーピング部と、
前記グルーピング部によりグループ分けされた前記プラスエッジのグループにおける複数の前記プラスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定し、又は前記マイナスエッジのグループにおける複数の前記マイナスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定する境界線設定部と、を備えた画像処理装置。
【請求項2】
前記境界線設定部により設定された前記境界線を用いて、駐車区画を特定する駐車区画特定部を備えた請求項1に記載の画像処理装置。
【請求項3】
前記駐車区画特定部は、前記境界線設定部により設定された複数の前記境界線の間の距離が所定の閾値の範囲にあるときは、その複数の前記境界線の間を前記駐車区画と特定する請求項2に記載の画像処理装置。
【請求項4】
車載カメラにより撮影された画像の画像信号値が所定値よりも大きく増加する部分をプラススエッジ及び前記画像の画像信号値が所定値よりも大きく減少する部分をマイナスエッジとして検出し、
検出された前記プラスエッジ及び前記マイナスエッジを、前記プラスエッジごとに及び前記マイナスエッジごとに、所定の角度間隔でグループ分けし、
グループ分けされた前記プラスエッジのグループにおける複数の前記プラスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定し、又は前記マイナスエッジのグループにおける複数の前記マイナスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定する画像処理方法。
【請求項5】
設定された前記境界線を用いて、駐車区画を特定する請求項4に記載の画像処理方法。
【請求項6】
設定された複数の前記境界線の間の距離が所定の閾値の範囲にあるときは、その複数の前記境界線の間を前記駐車区画と特定する請求項5に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
カメラで撮影された画像に基づいて、車両を駐車するために仕切られた駐車区画を自動的に検出する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017−024598号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、駐車区画を仕切るマーカとしては、白線等の、車両の前後方向に平行に延びた境界線が一般的であるが、その他に、車両の立ち入りや駐停車を禁止する領域を示すマーカも、駐車区画を仕切るマーカとなりうる。
【0005】
すなわち、例えば道路上におけるゼブラゾーンのように、駐車場内に、複数の平行な斜線で表された領域(以下、斜線領域という。)が設けられていることがある。この斜線領域は、運転者に対して、駐停車禁止や進入禁止を認識させる。しかし、この斜線領域に隣接する領域は、駐車区画として設定されていることもある。
【0006】
ここで、カメラで撮像された画像に基づいて駐車区画を自動的に検出する場合、上述した車両の前後方向に沿って延びた白線のマーカについては、白線の無い路面から白線に切り替わる部分で画像の信号値が急激に大きくなるように変化し、白線から路面に切り替わる部分で画像の信号値が急激に小さくなるように変化する。
【0007】
つまり、白線の無い路面から白線に切り替わる部分で立上がりのエッジ(プラスエッジ(+エッジ))の線分が検出され、白線から路面に切り替わる立下りのエッジ(マイナスエッジ(−エッジ))の線分が検出される。そして、これら+エッジと−エッジとが、白線の一般的な線幅程度の間隔を以て対に配置されている場合は、その+エッジと−エッジとの対となった部分を、マーカである白線として検出することができる。
【0008】
しかし、上述した斜線領域は、車両の前後方向に延びる白線を有しないため、+エッジも−エッジも検出されない。したがって、上述した手法では、斜線領域に隣接する駐車区画の境界線を検出することはできない。
【0009】
本発明は上記事情に鑑みなされたものであり、斜線領域に隣接する駐車区画の境界線を設定することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第1は、車載カメラにより撮影された画像の画像信号値が所定値よりも大きく増加する部分をプラススエッジ及び前記画像の画像信号値が所定値よりも大きく減少する部分をマイナスエッジとして検出するエッジ検出部と、前記エッジ検出部により検出された前記プラスエッジ及び前記マイナスエッジを、前記プラスエッジごとに及び前記マイナスエッジごとに、所定の角度間隔でグループ分けするグルーピング部と、前記グルーピング部によりグループ分けされた前記プラスエッジのグループにおける複数の前記プラスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定し、又は前記マイナスエッジのグループにおける複数の前記マイナスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定する境界線設定部と、を備えた画像処理装置である。
【0011】
本発明の第2は、車載カメラにより撮影された画像の画像信号値が所定値よりも大きく増加する部分をプラススエッジ及び前記画像の画像信号値が所定値よりも大きく減少する部分をマイナスエッジとして検出し、検出された前記プラスエッジ及び前記マイナスエッジを、前記プラスエッジごとに及び前記マイナスエッジごとに、所定の角度間隔でグループ分けし、グループ分けされた前記プラスエッジのグループにおける複数の前記プラスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定し、又は前記マイナスエッジのグループにおける複数の前記マイナスエッジ間で、対応する端点同士を繋ぎ、繋いで得られた線を境界線として設定する画像処理方法である。
【発明の効果】
【0012】
本発明に係る画像処理装置及び画像処理方法によれば、斜線領域に隣接する駐車区画の境界線を適切に設定することができる。
【図面の簡単な説明】
【0013】
図1】本発明に係る画像処理装置の一実施形態である画像処理装置を用いた駐車支援装置の概略構成を示すブロック図である。
図2】駐車支援装置におけるカメラ(前方カメラ、後方カメラ、左側方カメラ、右側方カメラ)の配置の一例を示す図である。
図3】本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
図4】車幅方向の両側方がそれぞれ、駐車した状態の車両の前後方向に直線状に延びた側線により仕切られた駐車区画、車幅方向の一方の側方が側線により仕切られ他方の側方が斜線領域により仕切られた駐車区画、及び車幅方向の両側方がそれぞれ斜線領域により仕切られた駐車区画を含む駐車場を示す模式図である。
図5図3に示した画像処理装置が駐車区画を特定する処理の流れを示すフローチャートである。
図6】互いに平行な複数の斜線で形成された斜線領域の、その斜線のプラス(+)エッジ及びマイナス(−)エッジを示す模式図である。
図7】エッジ検出部により検出された+エッジの線分や−エッジの線分を示す模式図である。
図8】+エッジの線分の端点同士を結んだ境界線分及び端点同士を結んだ境界線分を示す模式図である。
図9】−エッジの線分の端点同士を結んだ境界線分及び端点同士を結んだ境界線分を示す模式図である。
図10】境界線分同士を繋いだ境界線を示す模式図である。
図11】側線及び境界線により仕切られて特定された駐車区画並びに2つの境界線で仕切られて特定された駐車区画を示す、図4相当の模式図である。
【発明を実施するための形態】
【0014】
以下、本発明に係る画像処理装置及び画像処理方法の具体的な実施の形態について、図面を参照して説明する。
【0015】
[駐車支援装置の概略構成]
図1は、本発明に係る画像処理装置の一実施形態である画像処理装置100を用いた駐車支援装置1の概略構成を示すブロック図、図2は駐車支援装置1におけるカメラ20(前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20d)の配置の一例を示す図である。
【0016】
図1に示した駐車支援装置1は、図2に示した車両Vに搭載され、駐車支援動作を行う。具体的には、駐車支援装置1は、図2に示す車載のカメラ20(撮像装置)で撮影された画像に基づいて、車両Vの周囲の駐車領域である駐車区画を認識し、その認識した駐車区画に車両Vを誘導するように車両Vの動作を制御する車両制御ECU40に対して必要な信号を出力する。
【0017】
駐車支援装置1は、図1に示すように、前方カメラ20a、後方カメラ20b、左側方カメラ20c及び右側方カメラ20dと、カメラECU22と、ナビゲーション装置30と、車輪速センサ32と、操舵角センサ34とを有する。
【0018】
図2に示すように、前方カメラ20aは、車両Vのフロントバンパ又はフロントグリルに、車両Vの前端を含む前方の領域を撮影するように前方に向けて装着されている。後方カメラ20bは、車両Vのリアバンパ又はリアガーニッシュに、車両Vの後端を含む後方の領域を撮影するように後方に向けて装着されている。左側方カメラ20cは、車両Vの左ドアミラーに、車両Vの左側方の領域を撮影するように左側方に向けて装着されている。右側方カメラ20dは、車両Vの右ドアミラーに、車両Vの右側方の領域を撮影するように右側方に向けて装着されている。
【0019】
これらのカメラ20a〜20dには、例えば180[°]程度の広い範囲を撮影できるように広い画角の広角レンズや魚眼レンズが装着されており、これら4台のカメラ20a〜20dによって車両Vの周囲の路面を含んだ全周の領域を漏れなく撮影することができるようになっている。
【0020】
以下、これら4つのカメラ20a〜20dを区別しない場合や総称する場合は、カメラ20という。
【0021】
カメラECU22は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びフラッシュメモリ等からなるマイクロコンピュータ(マイコン)を主体として構成される。カメラECU22は、カメラ20の動作を制御するとともに、カメラ20が撮影した画像情報を用いて、俯瞰画像の生成処理や、駐車区画を検知する検知処理などを行う画像処理装置100を備えている。
【0022】
ナビゲーション装置30は画像表示機能を有するモニタ31を備えている。ナビゲーション装置30は、経路案内用の地図データ等が格納された記憶部を有し、この地図データ等及び図示を略したGPS装置等により測位された車両Vの現在位置に基づいて、ナビゲーション装置30の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニタ31に表示される。
【0023】
車輪速センサ32は、車両Vの車輪速を検知する。車輪速センサ32により検知された車輪速は車両制御ECU40に入力され、車両制御ECU40による車両Vの動作の制御に用いられる。
【0024】
操舵角センサ34は、車両Vのステアリングの操舵角を検知する。車両Vが直進状態で走行するときの操舵角を0[度](中立位置)とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ34で検知された操舵角は、車両制御ECU40に入力され、車両制御ECU40による車両Vの動作の制御に用いられる。
【0025】
さらに、駐車支援装置1は、車両制御ECU40と、ステアリング制御ユニット50と、スロットル制御ユニット60と、ブレーキ制御ユニット70とを有する。
【0026】
車両制御ECU40は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びフラッシュメモリ等からなるマイコンを主体として構成される。車両制御ECU40は、カメラECU22、車輪速センサ32及び操舵角センサ34から入力された各情報に基づいて、車両Vの駐車を支援する各種処理を実行する。
【0027】
すなわち、例えば、運転者が、図示を略した自動駐車開始スイッチ等を操作して駐車支援装置1を作動させると、車両制御ECU40は、カメラECU22によって取得された駐車区画に、車両Vを自動運転で駐車させる自動駐車処理を実行する。
【0028】
自動駐車処理において、ステアリング制御ユニット50は、車両制御ECU40により決定した車両制御情報に基づいて、パワーステアリング(パワステ)アクチュエータ52の駆動を制御することにより、車両Vの操舵角を制御する。
【0029】
また、自動駐車処理において、スロットル制御ユニット60は、車両制御ECU40により決定した車両制御情報に基づいて、スロットルアクチュエータ62の駆動を制御することにより、車両Vのスロットル開度を制御する。
【0030】
また、自動駐車処理において、ブレーキ制御ユニット70は、車両制御ECU40により決定した車両制御情報に基づいて、ブレーキアクチュエータ72の駆動を制御することにより、車両Vのブレーキを制御する。
【0031】
なお、カメラECU22、車輪速センサ32及び操舵角センサ34と、車両制御ECU40とは、車内LAN(Local Area Network)であるセンサ情報CAN(Controller Area Network;登録商標)80によって接続されている。
【0032】
また、ステアリング制御ユニット50、スロットル制御ユニット60及びブレーキ制御ユニット70と、車両制御ECU40とは、車内LANである車両情報CAN(登録商標)82によって接続される。
【0033】
[画像処理装置の機能構成]
図3は本実施形態の画像処理装置100の概略構成を示す機能ブロック図、図4は車幅方向の両側方がそれぞれ、駐車した状態の車両Vの前後方向に直線状に延びた側線210,210により仕切られた駐車区画310、車幅方向の一方の側方が側線210により仕切られ他方の側方が斜線領域280により仕切られた駐車区画320、及び車幅方向の両側方がそれぞれ斜線領域280,280により仕切られた駐車区画330を含む駐車場を示す模式図である。
【0034】
また、図5図3に示した画像処理装置100が駐車区画310,320,330を特定する処理の流れを示すフローチャート、図6は互いに平行な複数の斜線220で形成された斜線領域280の、その斜線220のプラス(+)エッジの線分221及びマイナス(−)エッジの線分222を示す模式図である。
【0035】
画像処理装置100は、図4に示した各駐車区画310,320,330を特定して、その特定した駐車区画310,320,330(以下、駐車区画310等と総称する場合もある。)に関する情報(駐車区画310等の位置や形状等)を、車両制御ECU40に出力する。
【0036】
そして、駐車区画310等に関する情報を取得した車両制御ECU40は、特定された駐車区画310等に車両Vを誘導して駐車動作させるように、予め記憶されたプログラムに従って、車輪速センサ32及び操舵角センサ34によって検出された情報を参照しつつ、ステアリング制御ユニット50を通じてパワステアクチュエータ52、スロットル制御ユニット60を通じてスロットルアクチュエータ62及びブレーキ制御ユニット70を通じてブレーキアクチュエータ72を制御する。これにより、車両Vは、設定された駐車区画310等に適切に駐車される。
【0037】
ここで、駐車区画310は、車幅方向の両側方がそれぞれ、駐車した状態の車両Vの前後方向に直線状に延びた側線210,210により仕切られた駐車区画であり、駐車区画320は、車幅方向の一方の側方が側線210により仕切られ他方の側方が斜線領域280により仕切られた駐車区画であり、駐車区画330は、車幅方向の両側方がそれぞれ斜線領域280,280により仕切られた駐車区画である。
【0038】
なお、斜線領域280は、互いに平行な複数の斜線220が形成された領域であり、斜線220は、側線210に対して傾斜した線である。そして、本実施形態における斜線領域280は、上述した複数の斜線220のみによって形成され、その斜線領域280の全周を囲む輪郭線を有しないものである。
【0039】
画像処理装置100は、図3に示すように、制御部110と、記憶部120とを有する。
【0040】
制御部110は、カメラECU22のCPUから主に構成されており、画像処理装置100全体の制御を行う。制御部110はCPU、FPGAなどのプログラマブルロジックデバイス、ASIC等の集積回路に代表される演算素子を有する。
【0041】
記憶部120は、カメラECU22のROM、RAM及びフラッシュメモリ等から主に構成されている。記憶部120は、図示を省略した制御用プログラムが格納されており、この制御用プログラムが画像処理装置100の起動時に制御部110により実行されて、画像処理装置100は図3に示すような機能構成を備えたものとなる。また、記憶部120には、制御部110での処理の途中に検出された、端点等のデータや、駐車区画310等に関する情報などが記憶される。
【0042】
特に、本実施形態の画像処理装置100は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばFPGAなどを有することが好ましい。
【0043】
制御部110は、視点変換部111と、マーカ検出部112と、駐車区画特定部117と、表示制御部118と、を備えている。
【0044】
視点変換部111は、4つのカメラ20がそれぞれ車両Vの周囲の路面を撮像した画像(以下、スルー画像ということもある。)を取得し(図5におけるステップ1(S1))、このスルー画像を、例えば図4に示した俯瞰画像(車両Vの上方から鉛直方向に平行な視線で見下ろしたと仮定して得られる画像)に変換する(図5におけるS2)。
【0045】
なお、視点変換部111は、視点変換とともに、4つのカメラ20が撮像したスルー画像に対応した4つの俯瞰画像を、車両Vを中心とした単一の俯瞰画像に合成する処理(S2において括弧書きで示す)を行ってもよい。
【0046】
マーカ検出部112は、エッジ検出部113と、側線検出部114と、グルーピング部115と、境界線設定部116とを備える。
【0047】
エッジ検出部113は、視点変換部111から出力された俯瞰画像に対して、一定方向(例えば、俯瞰画像における横方向に対応したx方向(図4の俯瞰画像においては、駐車区画310等における車幅方向に対応))に走査を行うことで、x方向に交差する方向に延びたエッジを検出するエッジ検出処理を行う(図5におけるS3)。エッジは、その画像の空間的に狭い領域で明暗(画素の値(画像信号値))が急激に所定値よりも増減変化する部分である。
【0048】
エッジは、例えば、8bitの画像信号値(0〜255)で表されたYUV画像上においては、8以上の輝度差(輝度の変化)がある部分とすることができる。なお、8bitの画像信号値0〜255を圧縮して、画像信号値0〜127に対応付けて取り扱う場合は、4以上の輝度差がある部分をエッジとすることができる。これらの具体的な値は例示に過ぎず、他の値以上の輝度差の部分をエッジとしてもよい。
【0049】
以下、画像信号値が相対的に小さい値から大きい値に増加するエッジ(立上がりエッジ)をプラスエッジ(以下、+エッジと略す。)、画像信号値が相対的に大きい値から小さい値に減少するエッジ(立下りエッジ)をマイナスエッジ(−エッジと略す。)という。エッジ検出部113は、+エッジと−エッジをそれぞれ検出する。
【0050】
ここで、駐車区画310の境界線である側線210や斜線領域280の斜線220は、路面の他の部分に比べて明るい(輝度値が高い)、例えば白色や黄色の線で描かれている。したがって、エッジ検出部113は、側線210及び斜線220ではない路面から側線210や斜線220に切り替わる部分で+エッジを検出し、側線210や斜線220から側線210及び斜線220ではない路面に切り替わる部分で−エッジを検出する。
【0051】
なお、側線210や斜線220は、白色や黄色に限らず、路面の部分より明るい色で形成されていればよく、路面の部分より暗い色のものは含まない。
【0052】
エッジ検出部113は、上述したx方向への走査を、その走査方向(x方向)とは異なる方向(例えば、x方向に直交するy方向(車両Vの前後方向))にずらして複数回行い、+エッジが所定方向に略一直線上に並んで検出されれば、その所定方向に延びた+エッジの線分を検出する。−エッジの線分についても同様である。
【0053】
エッジ検出部113は、側線210の+エッジの線分211及び−エッジの線分212や、互いに平行な複数の斜線220で形成された斜線領域280の、その斜線220の+エッジの線分221及び−エッジの線分222(図6参照)などを検出する。
【0054】
側線検出部114は、駐車区画310等を仕切る、そこに駐車した状態の車両Vの前後方向に延びた側線210を検出する。具体的には、側線検出部114は、エッジ検出部113によって検出された+エッジの線分211,221や−エッジの線分212,222等のうち、x方向に直交するy方向(駐車区画310に駐車した状態の車両Vの前後方向に対応)に延びた+エッジの線分211及び−エッジの線分212を選択する。
【0055】
そして、側線検出部114は、選択した+エッジの線分211と−エッジの線分212とが、所定の一定間隔dで対(ペア)になって、かつ一定長さ以上であるものを、駐車区画310を仕切るマーカとしての側線210と判定し、検出する(図5におけるS4においてYES)。
【0056】
ここで、一定間隔dの値は、駐車区画310の境界線として用いられている側線210の線幅の一般的な寸法範囲に設定されていて、単一値ではなく、最小値から最大値までの範囲を有するものとして設定されている。同様に、一定長さの値は、駐車区画310の境界線として用いられている側線210の線長の一般的な寸法範囲に設定されたものである。
【0057】
一方、例えば、y方向に延びているものであっても、+エッジの線分211のみが検出され、その+エッジの線分211と対になるべき−エッジの線分212が一定間隔dの範囲で検出されていないときは、側線検出部114は、側線210は存在しないと判定し、検出しない。
【0058】
そのような状況としては、例えば路面上に車両V等の影が投影されて、その影から日向(ひなた)に切り替わる部分などが想定され、その切り替わる部分では+エッジの線分211が検出されるが、対になるべき−エッジの線分212は検出されないため、側線検出部114は側線210が存在しないと判定する。
【0059】
同様に、例えば、−エッジの線分212のみが検出された場合も、側線検出部114は、側線210は存在しないと判定する。−エッジの線分212のみが検出された場合の例としては、例えば路面上に車両V等の影が投影されて、日向からその影に切り替わる部分などが想定され、この場合、側線検出部114は側線210が存在しないと判定する。
【0060】
なお、例えば、電信柱の影が日向の路面に投影されている場合は、−のエッジの線分212と+のエッジの線分211とが一定間隔dで対になり得るが、この場合も、側線検出部114は、側線210は存在しないと判定する。電信柱の影は日向の路面よりも暗いため、路面よりも暗い線として認識され得るが、暗い線は、路面よりも明るい側線210に該当しない。
【0061】
つまり、側線検出部114は、+エッジの線分211から一定間隔dで−エッジの線分212が存在した場合に側線210と判定するのであり、−エッジの線分212から一定間隔dで+エッジの線分211が存在した場合に側線210と判定しない。これにより、側線検出部114は、上述した電信柱の影のような暗い線を、誤って側線210として検出することがなく、そのようなノイズの誤検出を排除することができる。
【0062】
また、側線検出部114が検出するのは、y方向に延びた側線210であるから、y方向(x方向に直交する方向)に対して傾いた斜線220を、側線として検出することはない。
【0063】
図7はエッジ検出部113により検出された+エッジの線分221や−エッジの線分222を示す模式図、図8は+エッジの線分221の端点221a同士を結んだ境界線分223a,223b,223c,223d及び端点221b同士を結んだ境界線分224a,224b,224c,224dを示す模式図である。
【0064】
また、図9は−エッジの線分222の端点222a同士を結んだ境界線分225a,225b,225c,225d及び端点222b同士を結んだ境界線分226a,226b,226c,226dを示す模式図、図10は境界線分同士を繋いだ境界線223,224,225,226を示す模式図である。
【0065】
また、図11は側線210及び境界線223により仕切られて特定された駐車区画320並びに2つの境界線226,223で仕切られて特定された駐車区画330を示す、図4相当の模式図である。
【0066】
グルーピング部115は、エッジ検出部により検出された+エッジの線分及び−エッジの線分を、+エッジごとに及び−エッジごとに、所定の角度間隔でグループ分け(グルーピング)し、境界線設定部116は、俯瞰画像に基づいて、駐車区画320,330を仕切るマーカとしての、互いに平行な複数の斜線220で形成され斜線領域280の境界線223,226(後述する図10,11参照)を設定する。
【0067】
具体的には、グルーピング部115は、エッジ検出部113によって検出された+エッジの線分211,221や−エッジの線分212,222を、+エッジの線分211,221ごとに及び−エッジの線分212,222ごとに、所定の角度間隔(例えば、角度5[°]間隔)でグループ分けする(図5におけるS7)。
【0068】
すなわち、グルーピング部115は、+エッジの線分211,221や−エッジの線分212,222を、その線分の延びた方向(例えば、x方向に対して直交以外の傾斜した角度θ)が互いに近いもの同士のグループに分ける。
【0069】
そして、境界線設定部116は、所定の角度間隔の複数のグループのうち、傾斜角度θが隣接する3つのグループ(例えば、θ=36〜40[°]のエッジの線分が属するグループと、θ=41〜45[°]のエッジの線分が属するグループと、θ=46〜50[°]のエッジの線分が属するグループ)を一括りのグループとする。
【0070】
このように、3つのグループを一括りにするのは、グループ分けする際のグループ間の境界の設定が適切でない等の理由で、延びた向きが互いに近いエッジの線分であるため本来は同一のグループに振り分けられるべきエッジの線分が、別グループに振り分けられたことを補償するためであり、その必要が無い場合は、単一のグループに属するエッジの線分だけを、後の処理の対象としてもよい。
【0071】
3つのグループを一括りにするのは、上述した、傾斜角度θ=36〜40[°]のエッジの線分が属するグループと、傾斜角度θ=41〜45[°]のエッジの線分が属するグループと、傾斜角度θ=46〜50[°]のエッジの線分が属するグループという3つのグループだけでなく、傾斜角度θを順次ずらした、隣接する3つのグループをそれぞれ一括りにする。
【0072】
つまり、例えば、傾斜角度θが5[°]ごとにグループ分けされたエッジの線分のグループが下記のように設定されているものとする。
・傾斜角度θ=1〜5[°]のエッジの線分が属するグループG1
・傾斜角度θ=6〜10[°]のエッジの線分が属するグループG2
・傾斜角度θ=11〜15[°]のエッジの線分が属するグループG3
・傾斜角度θ=16〜20[°]のエッジの線分が属するグループG4
・傾斜角度θ=21〜25[°]のエッジの線分が属するグループG5
・傾斜角度θ=26〜30[°]のエッジの線分が属するグループG6
・傾斜角度θ=31〜35[°]のエッジの線分が属するグループG7
・傾斜角度θ=36〜40[°]のエッジの線分が属するグループG8
・傾斜角度θ=41〜45[°]のエッジの線分が属するグループG9
・傾斜角度θ=46〜50[°]のエッジの線分が属するグループG10
・傾斜角度θ=51〜55[°]のエッジの線分が属するグループG11
・傾斜角度θ=56〜60[°]のエッジの線分が属するグループG12
・傾斜角度θ=61〜65[°]のエッジの線分が属するグループG13
・傾斜角度θ=66〜70[°]のエッジの線分が属するグループG14
・傾斜角度θ=71〜75[°]のエッジの線分が属するグループG15
・傾斜角度θ=76〜80[°]のエッジの線分が属するグループG16
・傾斜角度θ=81〜85[°]のエッジの線分が属するグループG17
・傾斜角度θ=86〜89[°]のエッジの線分が属するグループG18
【0073】
この場合、傾斜角度θを順次ずらして一括りにされた隣接する3つのグループは、下記のような組み合わせとなる。
・グループG1,G2,G3を一括りにしたもの
・グループG2,G3,G4を一括りにしたもの
・グループG3,G4,G5を一括りにしたもの
・グループG4,G5,G6を一括りにしたもの
・グループG5,G6,G7を一括りにしたもの
・グループG6,G7,G8を一括りにしたもの
・グループG7,G8,G9を一括りにしたもの
・グループG8,G9,G10を一括りにしたもの
・グループG9,G10,G11を一括りにしたもの
・グループG10,G11,G12を一括りにしたもの
・グループG11,G12,G13を一括りにしたもの
・グループG12,G13,G14を一括りにしたもの
・グループG13,G14,G15を一括りにしたもの
・グループG14,G15,G16を一括りにしたもの
・グループG15,G16,G17を一括りにしたもの
・グループG16,G17,G18を一括りにしたもの
【0074】
なお、1つのグループGi(i=1,2,…,18)の所定の角度間隔は、上述した5[°]間隔に限定されるものではなく、5[°]間隔よりも小さい4[°]間隔や3[°]間隔や2[°]間隔等を適用することができ、また、5[°]間隔よりも大きい6[°]間隔や7[°]間隔や8[°]間隔等を適用することもできる。
【0075】
これらの隣接する3つのグループGi,G(i+1),G(i+2)を一括りにしたものに属するエッジの線分は、線分の延びた方向(図7における、x方向に対する角度θ)が比較的近い(本実施形態の場合は、傾斜角度θの差が15[°]以内)ことになり、隣接した3つのグループGi,G(i+1),G(i+2)を一括りにする処理は、斜線領域280を構成している互いに平行に近い複数の斜線220に対応した+エッジの線分221及び−エッジの線分222を抽出する処理である。
【0076】
つまり、エッジ検出部113により、例えば図7に示すように種々の方向に延びる+エッジの線分221や−エッジの線分222が検出された場合に、これらの+エッジの線分221や−エッジの線分222は、グルーピング部115により、図6に示すように傾斜角度θが近い+エッジの線分221や−エッジの線分222にグループ分けされる。
【0077】
そして、境界線設定部116は、傾斜角度θが隣接する3つのグループを一括りしたものに属する+エッジの線分221について、任意の2つの+エッジの線分221で組を作り、図8に例示するように、その組の2つの+エッジの線分221,221の一方の端点221a,221a同士を結んだ境界線分223a,223b,223c,223d及び他方の端点221b,221b同士を結んだ境界線分224a,224b,224c,224dをそれぞれ設定する(図5におけるS8)。
【0078】
なお、図8においては、図が煩雑になるのを防止する観点から、隣接する2つの+エッジの線分221,221の組についてのみ、端点221a,221a同士及び端点221b,221b同士を結んだ境界線分223a,…,223dだけを記載した。しかし、境界線設定部116が境界線分を設定する処理は、隣接する2つの+エッジの線分221,221同士だけでなく、全ての2つの+エッジの線分221,221間で端点221a,221a同士及び端点221b,221b同士を結んだ境界線分を設定する。
【0079】
境界線設定部116は、グループ分けされ、隣接する3つの傾斜角度のグループを一括りにした−エッジの線分222についても、任意の2つで組を作り、図9に例示するように、その組の2つの−エッジの線分222,222の一方の端点222a,222a同士を結んだ境界線分225a,225b,225c,225d及び他方の端点222b,222b同士を結んだ境界線分226a,226b,226c,226dをそれぞれ設定する(図5におけるS8)。
【0080】
図9に示した2つの−エッジの線分222,222間での境界線分についても、+エッジの線分221,221間の境界線分と同様に、境界線設定部116は、隣接する2つの−エッジの線分222,222同士だけでなく、全ての2つの−エッジの線分222,222間で端点222a,222a同士及び端点222b,222b同士を結んだ境界線分を設定する。
【0081】
境界線設定部116は、+エッジの線分221に対応した複数の境界線分223a,…,223dのうち、その延びた方向が略等しくかつその長さが略等しいものだけを抽出し、又はその延びた方向が予め設定された所定の範囲の方向に合致しかつその長さが予め設定された所定の範囲の長さのものだけを抽出して、ノイズ成分を除去する。そして、抽出されたものを2つ以上繋いで、図10に示すように、+エッジの線分221に対応した境界線223,224と−エッジの線分222に対応した境界線225,226を設定する。
【0082】
さらに、境界線設定部116は、+エッジの線分221に対応した境界線223,224と−エッジの線分222に対応した境界線225,226とのうち、車幅方向(x方向)において、より外側に端点が位置する境界線223と境界線226を選択し、これら選択した2つの境界線223,226を、斜線領域280の境界線として設定する(図5におけるS9)。
【0083】
このように、図4に示す俯瞰画像については、側線検出部114は、駐車区画310を仕切る2本の側線210,210を検出し、境界線設定部116は駐車区画320及び駐車区画330をそれぞれ仕切る境界線223,226を設定する。
【0084】
そして、駐車区画特定部117は、図11に示すように、駐車区画310について、側線検出部114により検出された2本の側線210,210の間隔が所定の閾値W1の範囲にあるか否かを判定する。駐車区画特定部117は、所定の閾値W1の範囲にあると判定したとき(図5におけるS5においてYES)は、2本の側線210,210を両側方の側線とした駐車区画310であると特定する(図5におけるS6)。
【0085】
なお、所定の閾値W1は、駐車区画310等として一般的な車幅方向の寸法として設定されている。
【0086】
駐車区画310の隣の駐車区画320については、図示左側の側方は側線210であるが、右側の側方は側線210ではない。したがって、駐車区画特定部117は、駐車区画320は2本の側線210,210を両側方の側線とする駐車区画ではないと判定する(図5におけるS5においてNO)。
【0087】
そして、駐車区画特定部117は、図11に示すように、駐車区画320について、側線検出部114により検出された側線210と境界線設定部116により設定された境界線223との間の距離が所定の閾値W2の範囲にあるか否かを判定する。
【0088】
駐車区画特定部117は、所定の閾値W2の範囲にあると判定したとき(図5におけるS10においてYES)は、側線210と境界線223との間の領域を、一側方が側線210、他側方が斜線領域280の境界線223(又は境界線226)である駐車区画320であると特定する(図5におけるS11)。
【0089】
なお、所定の閾値W2は、駐車区画320として一般的な車幅方向の寸法として設定されている。
【0090】
駐車区画320の隣の駐車区画330については、図示左側の側方も右側の側方も境界線226,223であるため、一側方が側線210、他側方が斜線領域280の境界線223,226である駐車区画ではないと判定する(図5におけるS10においてNO)。
【0091】
そして、駐車区画特定部117は、図11に示すように、駐車区画330について、両側方が境界線設定部116により設定された境界線223,226の間の距離が所定の閾値W3の範囲にあるか否かを判定する。
【0092】
駐車区画特定部117は、所定の閾値W3の範囲にあると判定したとき(図5におけるS12においてYES)は、境界線226,223の間の領域を、両側方が斜線領域280,280の境界線226,223である駐車区画330であると特定する(図5におけるS13)。
【0093】
なお、所定の閾値W3は、駐車区画330として一般的な車幅方向の寸法として設定されている。
【0094】
駐車区画特定部117は、駐車区画について、両側方が境界線設定部116により設定された境界線223,226でないか、又は境界線223,226の間の距離が所定の閾値W3の範囲でないと判定したとき(図5におけるS12においてNO)は、駐車区画を特定しない(図5におけるS14)で処理を終了する。
【0095】
以上のようにして、駐車区画特定部117が駐車区画310等を特定すると、それらの特定した駐車区画310等に関する情報を記憶部120に記憶するとともに、その駐車区画310等に関する情報を、車両制御ECU40に出力する。
【0096】
駐車区画310等に関する情報を取得した車両制御ECU40は、自動駐車処理によって車両Vを特定の駐車区画310等に誘導して、車両Vを自動的に駐車させる。
【0097】
また、画像処理装置100の表示制御部118は、ナビゲーション装置30のモニタ31に、俯瞰画像及び設定された駐車区画310等を重畳表示し、これにより、駐車区画310等に車両Vが誘導されていく様子を、ドライバに視認させることができる。
【0098】
以上のように、本実施形態の画像処理装置100及び画像処理方法によれば、側線210で仕切られた駐車区画310の他に、側線210と斜線領域280とで仕切られた(斜線領域280に隣接した)駐車区画320や、2つの斜線領域280で仕切られた(2つの斜線領域280に隣接した)駐車区画330も適切に検出することができる。
【0099】
本実施形態の画像処理装置100及び画像処理方法は、スルー画像に対して視点変換処理を施して得られた俯瞰画像に基づいて、側線を検出したり、境界線を設定したりするものであるが、本発明に係る画像処理装置及び画像処理方法は、俯瞰画像に対する処理に限定されるものではなく、視点変換前のスルー画像や、その他の処理が施された後の画像に対して処理を行うものであってもよい。
【0100】
本実施形態の画像処理装置100は、側線検出部114を備えたものであるが、本発明に係る画像処理装置は、側線検出部114を備えていなくてもよく、同様に、本発明に係る画像処理方法は、側線を検出しなくてもよい。
【0101】
また、本実施形態の画像処理装置100は、駐車区画特定部117を備えたものであるが、本発明に係る画像処理装置は、駐車区画特定部117を備えていなくてもよく、同様に、本発明に係る画像処理方法は、境界線を設定するにとどめて、駐車区画を特定するまでに至らなくてもよい。
【符号の説明】
【0102】
1 駐車支援装置
20 カメラ
100 画像処理装置
114 側線検出部
115 グルーピング部
116 境界線設定部
117 駐車区画特定部
210 側線
220 斜線
223,226 境界線
280 斜線領域
310,320,330 駐車区画
V 車両
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11