特許 7359541 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-02

(45)【発行日】2023-10-11

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20231003BHJP

   G06T 7/00 20170101ALI20231003BHJP

   B60R 99/00 20090101ALI20231003BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 650A

B60R99/00 321

【請求項の数】 2

(21)【出願番号】P 2018234803

(22)【出願日】2018-12-14

(65)【公開番号】P2020095626

(43)【公開日】2020-06-18

【審査請求日】2021-09-30

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】金武 純

(72)【発明者】

【氏名】佐野 裕明

(72)【発明者】

【氏名】倭文 知騎

(72)【発明者】

【氏名】吉村 亮

(72)【発明者】

【氏名】吉原 篤

(72)【発明者】

【氏名】山本 徹夫

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２０１６－０５３９０５（ＪＰ，Ａ）

【文献】特開２０１５－１９７８２９（ＪＰ，Ａ）

【文献】特開２０１２－０８０４９７（ＪＰ，Ａ）

【文献】特開２０１１－０３０１４０（ＪＰ，Ａ）

【文献】特開２０１８－１８５５８９（ＪＰ，Ａ）

【文献】特開２０１２－１７６６４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｂ６０Ｒ ９９／００

(57)【特許請求の範囲】

【請求項1】

駐車枠の区画線を特定する画像処理装置であって、
車両の周囲の撮像データから、一対の平行エッジ線で画定された所定幅以下の線を区画線候補として検出し、
前記区画線候補のうち、前記撮像データの所定範囲内で互いに平行に配置された複数の前記区画線候補のエッジ強度の中央値を算出し、前記エッジ強度が前記中央値より弱い区画線候補を前記区画線として特定しない
画像処理装置。

【請求項2】

駐車枠の区画線を特定する画像処理装置が実行する画像処理方法であって、
車両の周囲の撮像データから、一対の平行エッジ線で画定された所定幅以下の線を区画線候補として検出し、
前記区画線候補のうち、前記撮像データの所定範囲内で互いに平行に配置された複数の前記区画線候補のエッジ強度の中央値を算出し、前記エッジ強度が前記中央値より弱い区画線候補を前記区画線として特定しない
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

近年、自動運転技術の発展に伴い、車両の周囲を撮像した画像データから車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、撮像データから駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－８７７５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、例えば、不要となった区画線が路面から十分に消されていない場合、この消し忘れられた不要な区画線が誤って区画線として検出される場合がある。これにより、駐車枠を正常に検出できないおそれがある。

【0005】

本発明は、上記に鑑みてなされたものであって、区画線の検出精度を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、区画線検出部と、除外判定部とを備える。区画線検出部は、車両の周囲が撮像された画像データに基づいて、駐車枠を区画する区画線の候補となる区画線候補を検出する。除外判定部は、前記区画線検出部によって検出された前記区画線候補を前記区画線の候補から除外するか否かを判定する。また、前記除外判定部は、前記画像データの所定の範囲内に複数の前記区画線候補が検出される場合に、複数の前記区画線候補のエッジ強度を比較することにより、前記区画線候補を前記区画線の候補から除外するか否かを判定する。

【発明の効果】

【0007】

本発明によれば、区画線の検出精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態に係る画像処理装置の搭載例を示す図である。

【図1B】図１Ｂは、実施形態に係る画像処理方法の概要を示す図である。

【図2】図２は、実施形態に係る駐車支援システムの構成を示すブロック図である。

【図3】図３は、実施形態に係る区画線検出処理の一例を示す図である。

【図4】図４は、実施形態に係る判定テーブルの一例を示す説明図である。

【図5】図５は、実施形態に係る画像処理方法の詳細を説明するための図である。

【図6】図６は、実施形態に係る画像処理方法の詳細を説明するための図である。

【図7】図７は、実施形態に係る画像処理方法の詳細を説明するための図である。

【図8】図８は、実施形態に係る画像処理方法の詳細を説明するための図である。

【図9】図９は、実施形態に係る画像処理方法の詳細を説明するための図である。

【図10】図１０は、実施形態に係る画像処理方法の詳細を説明するための図である。

【図11】図１１は、実施形態に係る画像処理方法の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

【0010】

＜画像処理装置の概要＞
まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置１の搭載例を示す図である。また、図１Ｂは、実施形態に係る画像処理方法の概要を示す図である。なお、かかる画像処理方法は、図２に示す画像処理装置１によって実行される。

【0011】

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像された撮像データから区画線Ｌを検出し、かかる区画線Ｌから駐車枠ＰＳを検出する。

【0012】

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor）などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

【0013】

なお、図１Ａの例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示すが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラなどが含まれる。

【0014】

ところで、画像処理装置１は、駐車枠ＰＳの検出を行うに当たり、各駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃ（図１Ｂ参照）を検出し、検出した区画線候補Ｌｃに基づいて駐車枠ＰＳを検出する。

【0015】

しかしながら、例えば、不要となった区画線Ｌが路面から十分に消されていない場合、この消し忘れられた不要な区画線Ｌが誤って区画線候補Ｌｃとして検出される場合がある。これにより、駐車枠ＰＳを正常に検出できないおそれがある。

【0016】

そこで、実施形態に係る画像処理装置１は、所定の処理により、誤って区画線Ｌとして検出された区画線候補Ｌｃを区画線Ｌの候補から除外することとした。これにより、実施形態に係る画像処理装置１では、区画線Ｌの検出精度を向上させることができる。

【0017】

具体的には、図１Ｂに示すように、画像処理装置１は、まず、撮像データから区画線候補Ｌｃを検出する（ステップＳ１）。例えば、画像処理装置１は、撮像データに対してエッジ処理を行うことで得られるエッジ点を繋いだエッジ線に基づいて区画線候補Ｌｃを検出する。

【0018】

なお、以降の図面では、理解の容易のため、撮像データを上方から俯瞰した俯瞰図に変換した図面に基づいて説明を行う。また、以降の図面では、実際の区画線Ｌに基づいた区画線候補Ｌｃを区画線候補Ｌｃ１として実線で記載し、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃを区画線候補Ｌｃ２として破線で記載する。

【0019】

そして、かかるステップＳ１では、区画線候補Ｌｃ１および区画線候補Ｌｃ２がいずれも区画線候補Ｌｃとして検出される。なお、図１Ｂでは、区画線Ｌが一本線である場合について示す。

【0020】

そして、図１Ｂに示すように、画像処理装置１は、画像データにおける所定の範囲Ｒ１内（すなわち、駐車場における所定の範囲内）に複数の区画線候補Ｌｃが検出される場合、検出された複数の区画線候補Ｌｃのエッジ強度を比較する（ステップＳ２）。

【0021】

例えば、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２は、状態が古くかすれている傾向にあることから、路面との輝度差が小さく、エッジ線が弱いエッジ強度で検出される。

【0022】

また、新たに引き直した区画線Ｌに基づいた区画線候補Ｌｃ１は、状態が新しい傾向にあることから、路面との輝度差が大きく、エッジ線が強いエッジ強度で検出される。

【0023】

なお、本開示では、エッジ処理を行うことで得られるエッジ線のエッジ強度を、かかるエッジ線に基づいて検出される区画線候補Ｌｃのエッジ強度とみなす。また、エッジ強度が弱い（または強い）エッジ線で検出される区画線候補Ｌｃを、「弱い（または強い）エッジ強度の区画線候補Ｌｃ」とも呼称する。

【0024】

また、上述の所定の範囲Ｒ１は、例えば、１つの区画線Ｌが検出される範囲より広く、かつ１つの駐車枠ＰＳが含まれる範囲より狭い。例えば、所定の範囲Ｒ１は、隣接する複数本（例えば、２～３本）の区画線Ｌが検出される範囲に設定される。

【0025】

そして、画像処理装置１は、所定の範囲Ｒ１内に検出される複数の区画線候補Ｌｃのエッジ強度を比較することにより、かかる複数の区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する（ステップＳ３）。たとえば、画像処理装置１は、複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上である場合に、エッジ強度が弱い区画線候補Ｌｃを消し忘れられた不要な区画線であると判断し区画線Ｌの候補から除外する。

【0026】

図１Ｂの例では、強いエッジ強度の区画線候補Ｌｃ１と、弱いエッジ強度の区画線候補Ｌｃ２とのエッジ強度の差が所定の値以上である場合に、画像処理装置１は、弱いエッジ強度の区画線候補Ｌｃ２を区画線Ｌの候補から除外することができる。

【0027】

これにより、画像処理装置１は、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２を区画線候補Ｌｃから除外することができる。したがって、実施形態によれば、区画線Ｌの検出精度を向上させることができる。

【0028】

＜画像処理装置の構成例＞
次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。

【0029】

図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ（Electronic Control Unit）５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

【0030】

センサ群Ｓｃは、車両Ｃ（図１Ａ参照）の走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサなどを含む。

【0031】

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。

【0032】

例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）－ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにしてもよい。

【0033】

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。記憶部３は、区画線情報３１と、判定テーブル３２とを備える。

【0034】

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0035】

かかるコンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。

【0036】

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくとも一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアで構成することもできる。

【0037】

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０ｋｍ／ｈ以内）に、後述する駐車枠ＰＳの検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

【0038】

線分抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度に基づくエッジ点を繋いだエッジ線を検出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

【0039】

続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出することができる。線分抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

【0040】

不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠ＰＳを構築する区画線Ｌの検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域（例えば、砂利）や、グレーチング領域を不適領域として判定することができる。

【0041】

具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

【0042】

区画線検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づいて、駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。具体的には、区画線検出部２３は、互いに略平行であり、その間隔が区画線Ｌの幅に応じた所定範囲に収まるエッジ線同士を２辺とする矩形状の領域を区画線候補Ｌｃとして検出する。換言すると、区画線検出部２３は、実際の区画線と路面との境界に対応するエッジ線のペアを２辺とする矩形状の領域を区画線候補Ｌｃとして検出する。

【0043】

すなわち、区画線検出部２３は、各区画線Ｌの幅方向の左右両端に対応する１対のエッジ線を区画線候補Ｌｃとして検出する。図３は、実施形態に係る区画線検出処理の一例を示す図である。図３に示すように、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が略平行であり、かつ、エッジ線Ｌｅ１およびエッジ線Ｌｅ２の距離ｄが所定範囲に収まる場合に、エッジ線Ｌｅ１およびエッジ線Ｌｅ２から区画線候補Ｌｃを検出する。

【0044】

例えば、区画線が白線である場合を想定する。この場合、白線と路面との境界では、輝度差が大きくなるため、略平行な２本のエッジ線が抽出されやすくなる。このため、区画線検出部２３は、互いに略平行であり、かつ、所定間隔を隔てて配置されたエッジ線Ｌｅ１およびエッジ線Ｌｅ２のペアを区画線候補Ｌｃとして検出する。

【0045】

ここで、所定範囲とは、区画線のライン幅に応じた範囲であり、例えば、５ｃｍ～１０ｃｍまでの範囲である。また、区画線検出部２３は、図３に示すように、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複する領域を区画線候補Ｌｃとして検出し、距離ｄが区画線候補Ｌｃの幅となる。

【0046】

換言すると、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、区画線候補Ｌｃとして検出しないことになる。これは、上述のように、区画線であれば、区画線の幅方向の左右両端にそれぞれ対応する１対のエッジ線で構成されるためである。

【0047】

すなわち、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、ノイズであることも想定される。このため、区画線検出部２３は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域について区画線候補Ｌｃとして検出しないことで、確度の高い区画線候補Ｌｃのみを検出することができる。これにより、駐車枠ＰＳの誤検知を抑制することができる。

【0048】

図２の説明に戻る。区画線検出部２３は、上述のように検出した区画線候補Ｌｃに関する情報を、記憶部３の区画線情報３１に登録する。例えば、区画線検出部２３は、区画線候補Ｌｃを検出すると、検出した区画線候補Ｌｃの４隅の頂点座標を区画線情報３１に登録する。

【0049】

なお、区画線検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補Ｌｃの検出処理を行うことができる。換言すると、区画線検出部２３は、不適領域について区画線候補Ｌｃの検出処理を行わない。これにより、制御部２の処理負荷を抑制することができる。

【0050】

除外判定部２４は、区画線検出部２３によって検出され、区画線情報３１に登録された区画線候補Ｌｃに基づいて、車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン（導流帯）などの駐車不可領域の有無を判定する。

【0051】

具体的には、互いに略平行な区画線候補Ｌｃを支持区画線と仮定し、かかる支持区画線に対して傾斜した平行線が所定の間隔をあけて複数存在する場合に、除外判定部２４は支持区画線に挟まれた領域をゼブラゾーンとみなす。そして、除外判定部２４は、かかるゼブラゾーンを駐車不可領域と判定する。

【0052】

また、除外判定部２４は、区画線検出部２３によって検出された区画線候補Ｌｃと、各路面標識のテンプレートモデルとのマッチング処理を行うことで、画像データに含まれる各路面標識を検出することができる。

【0053】

また、除外判定部２４は、路面標識などの駐車枠ＰＳの検出に不要な区画線候補Ｌｃの有無を判定することもできる。例えば、除外判定部２４は、画像データの所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出される場合に、複数の区画線候補Ｌｃのエッジ強度を比較することにより、かかる複数の区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。かかる除外判定処理の詳細については後述する。

【0054】

除外判定部２４は、不要な区画線候補Ｌｃと判定された場合、当該区画線候補Ｌｃを区画線情報３１から除外する。また、除外判定部２４は、区画線情報３１に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。

【0055】

駐車枠検出部２５は、区画線検出部２３によって検出された区画線候補Ｌｃに基づき、駐車枠ＰＳを検出する。具体的には、駐車枠検出部２５は、所定間隔をあけて平行配置される１対の区画線候補Ｌｃに挟まれた領域を駐車枠ＰＳとして検出する。

【0056】

ここで、所定間隔とは、駐車場に関する法令などで規定される一般公共用の標準的な駐車領域の幅である。また、この際、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。

【0057】

すなわち、駐車枠検出部２５は、駐車不可領域と判定されたゼブラゾーンなどを避けて駐車枠ＰＳを検出することができる。駐車枠検出部２５は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２６へ通知する。

【0058】

なお、以下では、駐車枠検出部２５によって駐車枠ＰＳとして検出するために用いられた区画線候補Ｌｃについて、区画線Ｌと記載する。また、上述の駐車枠情報には、車両Ｃを基準とする各駐車枠ＰＳの頂点座標（すなわち、区画線Ｌにおいて駐車枠ＰＳと接する側の頂点座標）が含まれる。

【0059】

駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各駐車枠ＰＳの頂点座標を推定することができる。

【0060】

また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における駐車枠ＰＳの座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。

【0061】

また、駐車枠管理部２６は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。

【0062】

そして、駐車枠管理部２６は、仮定された駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑制することができる。

【0063】

停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠ＰＳへ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。

【0064】

停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁などを検出した場合、白線の手前に車両Ｃの後端（例えば、リアバンパの先端）がくるように停車位置を決定する。

【0065】

記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

【0066】

区画線情報３１には、区画線検出部２３により検出された区画線候補Ｌｃに関する情報が登録される。例えば、区画線情報３１には、検出された区画線候補Ｌｃの４隅の頂点座標が登録される。

【0067】

判定テーブル３２は、除外判定部２４による区画線候補Ｌｃの除外処理の際に用いられるテーブルである。図４は、実施形態に係る判定テーブル３２の一例を示す説明図である。上述のように、所定の範囲Ｒ１（図１Ｂ参照）内で複数の区画線候補Ｌｃが検出される場合に、かかる複数の区画線候補Ｌｃが「注目区画線候補」と「隣接区画線候補」とに分けられる。

【0068】

ここで、注目区画線候補とは、除外判定部２４が注目する１つの区画線候補Ｌｃであり、隣接区画線候補とは、かかる注目区画線候補以外の区画線候補Ｌｃのことである。なお、隣接区画線候補とは、注目区画線候補に隣り合う区画線候補Ｌｃに限られず、所定の範囲Ｒ１内で検出される注目区画線候補以外の区画線候補Ｌｃであればどの区画線候補Ｌｃであってもよい。

【0069】

そして、図４に示すように、除外判定部２４は、注目区画線候補および隣接区画線候補のそれぞれのエッジ強度に基づいて、かかる注目区画線候補および隣接区画線候補を区画線候補Ｌｃから除外するか否かを判定する。

【0070】

具体的には、除外判定部２４は、注目区画線候補が「強いエッジ強度」であり、隣接区画線候補が「強いエッジ強度」である場合には、注目区画線候補および隣接区画線候補を区画線候補Ｌｃとして維持する。

【0071】

また、除外判定部２４は、注目区画線候補が「弱いエッジ強度」であり、隣接区画線候補が「強いエッジ強度」である場合には、注目区画線候補を区画線候補Ｌｃから除外する。

【0072】

また、除外判定部２４は、注目区画線候補が「強いエッジ強度」であり、隣接区画線候補が「弱いエッジ強度」である場合には、隣接区画線候補を区画線候補Ｌｃから除外する。

【0073】

また、除外判定部２４は、注目区画線候補が「弱いエッジ強度」であり、隣接区画線候補が「弱いエッジ強度」である場合には、注目区画線候補および隣接区画線候補を区画線候補Ｌｃとして維持する。

【0074】

なお、一方の区画線候補Ｌｃが強いエッジ強度であり、他方の区画線候補Ｌｃが弱いエッジ強度である場合とは、かかる一方の区画線候補Ｌｃと他方の区画線候補Ｌｃとのエッジ強度の差が所定の値以上である場合のことを示している。

【0075】

＜画像処理の詳細＞
続いては、実施形態に係る画像処理の詳細について、図５～図１０を参照しながら説明する。図５～図１０は、実施形態に係る画像処理方法の詳細を説明するための図である。なお、図５～図１０では、区画線Ｌ（図１Ｂ参照）が略Ｕ字線である場合について示す。

【0076】

図５に示すように、まず、区画線検出部２３は、撮像データから区画線候補Ｌｃを検出する（ステップＳ１１）。図５の例では、実際の区画線Ｌに基づいた区画線候補Ｌｃ１として、車両Ｃ（図１Ａ参照）の進行方向から順に区画線候補Ｌｃ１ａ～Ｌｃ１ｄが検出される。なお、区画線候補Ｌｃ１ａは区画線候補Ｌｃ１ｂに隣り合っており、区画線候補Ｌｃ１ｃは区画線候補Ｌｃ１ｄに隣り合っている。

【0077】

また、区画線候補Ｌｃ１ｂと区画線候補Ｌｃ１ｃとの間には、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２として、車両Ｃの進行方向から順に区画線候補Ｌｃ２ａ、Ｌｃ２ｂが検出される。なお、区画線候補Ｌｃ２ｂは、区画線候補Ｌｃ２ａ、Ｌｃ１ｃに隣り合っている。

【0078】

次に、図６に示すように、除外判定部２４は、所定の範囲Ｒ１を進行方向に撮像データ内で走査することにより、区画線候補Ｌｃの除外処理を実施する。図６の例では、進行方向の一番手前側にある区画線候補Ｌｃ１ａのみが所定の範囲Ｒ１内に含まれる。

【0079】

ここで、除外判定部２４は、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが含まれないことから、所定の範囲Ｒ１内の区画線候補Ｌｃ１ａを区画線Ｌの候補から除外するか否かを判定しない（ステップＳ１２）。

【0080】

このように、実施形態では、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが含まれない場合に、所定の範囲Ｒ１内の区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定しない。これにより、実際の区画線Ｌに基づいた区画線候補Ｌｃが誤って区画線Ｌの候補から除外されることを抑制することができる。

【0081】

続いて、図７に示すように、所定の範囲Ｒ１が進行方向に走査されて、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂが所定の範囲Ｒ１内に含まれる。この場合、除外判定部２４は、例えば、新しく所定の範囲Ｒ１内に入った区画線候補Ｌｃ１ｂを注目区画線候補とみなし、別の区画線候補Ｌｃ１ａを隣接区画線候補とみなす。

【0082】

そして、除外判定部２４は、所定の範囲Ｒ１内に含まれる２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂの相対位置関係を比較する（ステップＳ１３）。具体的には、除外判定部２４は、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂがそれぞれ略平行に配置されているかを判定する。

【0083】

そして、図７の例では、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂがそれぞれ略平行に配置されていることから、除外判定部２４は、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂのエッジ強度を比較する（ステップＳ１４）。

【0084】

ここで、２つの区画線候補Ｌｃ１ａ、Ｌｃ１ｂはいずれも強いエッジ強度であり、エッジ強度の差が所定の値より小さいことから、除外判定部２４は、両方の区画線候補Ｌｃ１ａ、Ｌｃ１ｂを区画線Ｌの候補から除外しない（ステップＳ１５）。

【0085】

換言すると、注目区画線候補である区画線候補Ｌｃ１ｂと、隣接区画線候補である区画線候補Ｌｃ１ａとはいずれも強いエッジ強度であることから、除外判定部２４は、判定テーブル３２に基づいて、区画線候補Ｌｃ１ａ、Ｌｃ１ｂを両方とも維持する。

【0086】

なお、上述のステップＳ１３において、もし仮に、区画線候補Ｌｃ１ａ、Ｌｃ１ｂがそれぞれ略平行に配置されていない場合、除外判定部２４は、隣接区画線候補である区画線候補Ｌｃ１ｂを区画線Ｌの候補から除外するか否かを判定しない。

【0087】

さらにこの場合には、所定の範囲Ｒ１内で判定対象となる区画線候補Ｌｃは区画線候補Ｌｃ１ａのみとなることから、かかる区画線候補Ｌｃ１ａも区画線Ｌの候補から除外するか否かを判定しない。

【0088】

このように、実施形態では、所定の範囲Ｒ１内に含まれる複数の区画線候補Ｌｃの相対位置関係を比較し、それぞれ略平行に配置されている複数の区画線候補Ｌｃのみを除外処理の判定対象とする。なぜなら、不要な区画線Ｌを消去して新たな区画線Ｌを引き直す場合、不要な区画線Ｌと略平行に新たな区画線Ｌを引き直す場合が多いからである。

【0089】

このように、実施形態では、所定の範囲Ｒ１内に含まれる複数の区画線候補Ｌｃの相対位置関係に基づいて、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、かかる除外判定の対象を絞ることができることから、除外判定部２４の処理負荷を抑制することができる。

【0090】

また、実施形態では、それぞれ略平行に配置されている複数の区画線候補Ｌｃのみを除外処理の判定対象とすることにより、引き直された新たな区画線Ｌと略平行に配置された不要な区画線Ｌのみを判定対象とすることができる。

【0091】

続いて、図８に示すように、所定の範囲Ｒ１が進行方向に走査されて、１つの区画線候補Ｌｃ２ａが所定の範囲Ｒ１内に含まれる。この場合、除外判定部２４は、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが含まれないことから、上述のステップＳ１２と同様に、所定の範囲Ｒ１内の区画線候補Ｌｃ２ａを区画線Ｌの候補から除外するか否かを判定しない（ステップＳ１６）。

【0092】

続いて、図９に示すように、所定の範囲Ｒ１が進行方向に走査されて、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂが所定の範囲Ｒ１内に含まれる。この場合、除外判定部２４は、例えば、新しく所定の範囲Ｒ１内に入った区画線候補Ｌｃ２ｂを注目区画線候補とみなし、別の区画線候補Ｌｃ２ａを隣接区画線候補とみなす。

【0093】

そして、除外判定部２４は、所定の範囲Ｒ１内に含まれる２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂの相対位置関係を比較する（ステップＳ１７）。具体的には、除外判定部２４は、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂがそれぞれ略平行に配置されているかを判定する。

【0094】

そして、図９の例では、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂがそれぞれ略平行に配置されていることから、除外判定部２４は、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂのエッジ強度を比較する（ステップＳ１８）。

【0095】

ここで、２つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂはいずれも弱いエッジ強度であり、エッジ強度の差が所定の値より小さいことから、除外判定部２４は、両方の区画線候補Ｌｃ２ａ、Ｌｃ２ｂを区画線Ｌの候補から除外しない（ステップＳ１９）。

【0096】

換言すると、注目区画線候補である区画線候補Ｌｃ２ｂと、隣接区画線候補である区画線候補Ｌｃ２ａとはいずれも弱いエッジ強度であることから、除外判定部２４は、判定テーブル３２に基づいて、区画線候補Ｌｃ２ａ、Ｌｃ２ｂを両方とも維持する。

【0097】

このように、いずれも弱いエッジ強度である複数の区画線候補Ｌｃを区画線Ｌの候補から除外しないことにより、経年劣化などでエッジ強度が弱くなった実際の区画線Ｌに基づいた区画線候補Ｌｃを、誤って区画線Ｌの候補から除外することを抑制することができる。

【0098】

続いて、図１０に示すように、所定の範囲Ｒ１が進行方向に走査されて、３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃが所定の範囲Ｒ１内に含まれる。この場合、除外判定部２４は、例えば、新しく所定の範囲Ｒ１内に入った区画線候補Ｌｃ１ｃを注目区画線候補とみなし、別の区画線候補Ｌｃ２ａ、Ｌｃ２ｂを隣接区画線候補とみなす。

【0099】

そして、除外判定部２４は、所定の範囲Ｒ１内に含まれる３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃの相対位置関係を比較する（ステップＳ２０）。具体的には、除外判定部２４は、３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃがそれぞれ略平行に配置されているかを判定する。

【0100】

そして、図１０の例では、３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃがそれぞれ略平行に配置されていることから、除外判定部２４は、３つの区画線候補Ｌｃ２ａ、Ｌｃ２ｂ、Ｌｃ１ｃのエッジ強度を比較する（ステップＳ２１）。

【0101】

ここで、区画線候補Ｌｃ１ｃに対して区画線候補Ｌｃ２ａ、Ｌｃ２ｂはエッジ強度が弱く、エッジ強度の差が所定の値より大きいことから、除外判定部２４は、エッジ強度が弱い区画線候補Ｌｃ２ａ、Ｌｃ２ｂを消し忘れられた不要な区画線と判断し、区画線Ｌの候補から除外する（ステップＳ２２）。

【0102】

すなわち、注目区画線候補である区画線候補Ｌｃ１ｃは強いエッジ強度であり、隣接区画線候補である区画線候補Ｌｃ２ａ、Ｌｃ２ｂはいずれも弱いエッジ強度である。そのため、除外判定部２４は、判定テーブル３２に基づいて、隣接区画線候補である区画線候補Ｌｃ２ａ、Ｌｃ２ｂを区画線Ｌの候補から除外する。

【0103】

これにより、除外判定部２４は、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２ａ、Ｌｃ２ｂを区画線Ｌの候補から除外することができる。したがって、実施形態によれば、区画線Ｌの検出精度を向上させることができる。

【0104】

また、実施形態では、複数の区画線候補Ｌｃにおけるエッジ強度の差が所定の値より小さい場合には、かかる複数の区画線候補Ｌｃをすべて維持し、複数の区画線候補Ｌｃにおけるエッジ強度の差が所定の値より大きい場合にのみ複数の区画線候補Ｌｃの除外判定を行う。これにより、経年劣化などでエッジ強度が弱くなった実際の区画線Ｌに基づいた区画線候補Ｌｃを、誤って区画線Ｌの候補から除外することを抑制することができる。

【0105】

なお、実施形態では、新しく所定の範囲Ｒ１内に入った区画線候補Ｌｃを注目区画線候補とみなし、別の区画線候補Ｌｃを隣接区画線候補とみなした例について示したが、実施形態はかかる例に限られない。例えば、もっとも先に検出された区画線候補Ｌｃを注目区画線候補とみなし、別の区画線候補Ｌｃを隣接区画線候補とみなしてもよい。

【0106】

また、実施形態では、それぞれ略平行に配置されている複数の区画線候補Ｌｃのみを除外処理の判定対象とした例について示したが、それぞれ略平行に配置されていない複数の区画線候補Ｌｃを除外処理の判定対象としてもよい。

【0107】

また、実施形態では、判定テーブル３２に基づいて、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かについて判定した例について示したが、実施形態はかかる例に限られない。

【0108】

例えば、除外判定部２４は、１つの駐車場内で検出された複数の区画線候補Ｌｃのエッジ強度を弱い順に並べて、順番が真ん中（例えば、区画線候補Ｌｃが１００個検出された場合、エッジ強度が弱い方から５０番目）の区画線候補Ｌｃのエッジ強度を判定のしきい値に設定する。

【0109】

そして、除外判定部２４は、かかる判定のしきい値より弱いエッジ強度の区画線候補Ｌｃを区画線Ｌの候補から除外し、かかる判定のしきい値以上のエッジ強度である区画線候補Ｌｃを区画線Ｌの候補として維持してもよい。

【0110】

このように、順番が真ん中の区画線候補Ｌｃのエッジ強度を判定のしきい値に設定することにより、弱いエッジ強度と強いエッジ強度との中間のエッジ強度を有する消し忘れられた区画線候補Ｌｃが検出された場合にも、かかる中間のエッジ強度の区画線候補Ｌｃを区画線Ｌの候補から除外することができる。

【0111】

＜画像処理の手順＞
続いては、実施形態に係る画像処理の手順について、図１１を参照しながら説明する。図１１は、実施形態に係る画像処理方法の手順を示すフローチャートである。

【0112】

最初に、区画線検出部２３は、撮像データから区画線候補Ｌｃを検出する（ステップＳ１０１）。次に、除外判定部２４は、画像データにおける所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出されるか否かを判定する（ステップＳ１０２）。

【0113】

そして、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出される場合（ステップＳ１０２，Ｙｅｓ）、除外判定部２４は、かかる複数の区画線候補Ｌｃが略平行に配置されるか否かを判定する（ステップＳ１０３）。

【0114】

そして、かかる複数の区画線候補Ｌｃが略平行に配置される場合（ステップＳ１０３，Ｙｅｓ）、除外判定部２４は、かかる複数の区画線候補Ｌｃのエッジ強度を比較する（ステップＳ１０４）。

【0115】

一方で、所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出されない場合（ステップＳ１０２，Ｎｏ）、処理を終了する。また、所定の範囲Ｒ１内の複数の区画線候補Ｌｃが略平行に配置されない場合（ステップＳ１０３，Ｎｏ）、処理を終了する。

【0116】

次に、除外判定部２４は、ステップＳ１０４の処理によって検出された複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上であるか否かを判定する（ステップＳ１０５）。

【0117】

そして、複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上である場合（ステップＳ１０５，Ｙｅｓ）、除外判定部２４は、注目区画線候補のエッジ強度が隣接区画線候補のエッジ強度より強いか否かを判定する（ステップＳ１０６）。

【0118】

そして、注目区画線候補のエッジ強度が隣接区画線候補のエッジ強度より強い場合（ステップＳ１０６，Ｙｅｓ）、弱いエッジ強度である隣接区画線候補を区画線Ｌの候補から除外して（ステップＳ１０７）、処理を終了する。

【0119】

一方で、注目区画線候補のエッジ強度が隣接区画線候補のエッジ強度より弱い場合（ステップＳ１０６，Ｎｏ）、弱いエッジ強度である注目区画線候補を区画線Ｌの候補から除外して（ステップＳ１０８）、処理を終了する。

【0120】

なお、ステップＳ１０５において、複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上ではない場合（ステップＳ１０５，Ｎｏ）、処理を終了する。

【0121】

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、上記実施形態では、区画線Ｌが一本線や略Ｕ字線の場合について示したが、区画線Ｌの形状はかかる例に限られない。

【0122】

実施形態に係る画像処理装置１は、区画線検出部２３と、除外判定部２４とを備える。区画線検出部２３は、車両Ｃの周囲が撮像された画像データに基づいて、駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。除外判定部２４は、区画線検出部２３によって検出された区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。また、除外判定部２４は、画像データの所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出される場合に、複数の区画線候補Ｌｃのエッジ強度を比較することにより、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、区画線Ｌの検出精度を向上させることができる。

【0123】

また、実施形態に係る画像処理装置１において、除外判定部２４は、複数の区画線候補Ｌｃのエッジ強度の差が所定の値以上である場合に、エッジ強度が弱い区画線候補Ｌｃ２を区画線Ｌの候補から除外する。これにより、消し忘れられた不要な区画線Ｌに基づいた区画線候補Ｌｃ２を区画線候補Ｌｃから除外することができる。

【0124】

また、実施形態に係る画像処理装置１において、除外判定部２４は、複数の区画線候補Ｌｃの相対位置関係に基づいて、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、それぞれ略平行に配置されている複数の区画線候補Ｌｃのみを除外処理の判定対象とすることができる。

【0125】

また、実施形態に係る画像処理装置１において、除外判定部２４は、複数の区画線候補Ｌｃがそれぞれ略平行に配置されている場合に、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、除外判定部２４の処理負荷を抑制することができる。

【0126】

また、実施形態に係る画像処理方法は、区画線検出工程（ステップＳ１０１）と、除外判定工程（ステップＳ１０２～Ｓ１０８）とを含む。区画線検出工程（ステップＳ１０１）は、車両Ｃの周囲が撮像された画像データに基づいて駐車枠ＰＳを区画する区画線Ｌの候補となる区画線候補Ｌｃを検出する。除外判定工程（ステップＳ１０２～Ｓ１０８）は、区画線検出工程（ステップＳ１０１）によって検出された区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。また、除外判定工程（ステップＳ１０２～Ｓ１０８）は、画像データの所定の範囲Ｒ１内に複数の区画線候補Ｌｃが検出される場合に、複数の区画線候補Ｌｃのエッジ強度を比較すること（ステップＳ１０４）により、区画線候補Ｌｃを区画線Ｌの候補から除外するか否かを判定する。これにより、区画線Ｌの検出精度を向上させることができる。

【0127】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0128】

１ 画像処理装置
２ 制御部
３ 記憶部
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
３１ 区画線情報
３２ 判定テーブル
１００ 駐車支援システム
ＰＳ 駐車枠
Ｌ 区画線
Ｌｃ、Ｌｃ１、Ｌｃ１ａ～Ｌｃ１ｄ、Ｌｃ２、Ｌｃ２ａ、Ｌｃ２ｂ 区画線候補

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】