特許 7236857 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-02

(45)【発行日】2023-03-10

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20230303BHJP

   G06T 7/00 20170101ALI20230303BHJP

   G06T 1/00 20060101ALI20230303BHJP

   G06T 5/00 20060101ALI20230303BHJP

   G08G 1/16 20060101ALI20230303BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 650A

G06T1/00 330A

G06T5/00 735

G08G1/16 C

【請求項の数】 8

(21)【出願番号】P 2018234798

(22)【出願日】2018-12-14

(65)【公開番号】P2020095621

(43)【公開日】2020-06-18

【審査請求日】2021-09-30

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】金武 純

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】佐野 裕明

(72)【発明者】

【氏名】吉村 亮

(72)【発明者】

【氏名】吉原 篤

(72)【発明者】

【氏名】山本 徹夫

(72)【発明者】

【氏名】倭文 知騎

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１２－１７６６４１（ＪＰ，Ａ）

【文献】中国特許出願公開第１０２８３４３０９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

撮像装置によって得られた画像データの画素に対し、Ｒ値、またはＧ値と、Ｂ値との差に基づく彩度を算出する算出部と、
算出された前記彩度を強調量として所定の黄色条件を満たす画素の輝度値を補正する補正部と、
補正後の輝度値に基づいて路面に表示された線を検出する検出部と
を備えることを特徴とする画像処理装置。

【請求項2】

前記補正部は、
実画像データに基づいて予め設定された最大強調量を上限として、前記所定の黄色条件を満たす画素の輝度値を補正する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記補正後の輝度値を用いて前記画像データの輝度値を正規化する変換部
を備え、
前記検出部は、
正規化された輝度値に基づいて前記線を検出する
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記変換部は、
前記画像データの画素の輝度値と、前記強調量とを異なる圧縮率で圧縮し正規化する
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記変換部は、
前記画像データの画素の輝度値の圧縮率よりも、前記強調量の圧縮率を高くする
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記算出部は、
前記所定の黄色条件を満たす画素にのみ前記彩度を算出する
ことを特徴とする請求項１～５のいずれか一つに記載の画像処理装置。

【請求項7】

前記算出部は、
前記Ｒ値と前記Ｂ値との差を前記彩度として算出し、
前記補正部は、
（Ａ）前記Ｒ値と前記Ｇ値との差が第１所定値以下であり、（Ｂ）前記Ｒ値と前記Ｂ値との差が第２所定値以上であり、（Ｃ）前記Ｇ値と前記Ｂ値との差が第３所定値以上であり、かつ（Ｄ）前記Ｒ値または前記Ｇ値が第４所定値以上である画素の輝度値を補正する
ことを特徴とする請求項１～６のいずれか一つに記載の画像処理装置。

【請求項8】

撮像装置によって得られた画像データの画素に対し、Ｒ値、またはＧ値と、Ｂ値との差に基づく彩度を算出する算出工程と、
算出された前記彩度を強調量として所定の黄色条件を満たす画素の輝度値を補正する補正工程と、
補正後の輝度値に基づいて路面に表示された線を検出する検出工程と
を含むことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

従来、車線マーカのコントラストが大きくなるように赤成分、および緑成分の画像情報から黄色の画面を合成し、その合成画面に対して認識処理を行うことで路面に表示された黄色の線を認識する画像処理装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－３２６６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、黄色の画面を合成し、合成した画面に対して処理が行われるため、黄色の線を検出する際の処理負荷が大きくなる。

【0005】

本発明は、上記に鑑みてなされたものであって、処理負荷を抑制しつつ、黄色の線を正確に検出する画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の一態様に係る画像処理装置は、算出部と、補正部と、検出部とを備える。算出部は、撮像装置によって得られた画像データの画素に対し、Ｒ値、またはＧ値と、Ｂ値との差に基づく彩度を算出する。補正部は、算出された彩度を強調量として所定の黄色条件を満たす画素の輝度値を補正する。検出部は、補正後の輝度値に基づいて路面に表示された線を検出する。

【発明の効果】

【0007】

実施形態の一態様によれば、処理負荷を抑制しつつ、黄色の線を正確に検出することができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、画像処理装置の搭載例を示す図である。

【図1B】図１Ｂは、黄色の区画線が表示された路面を撮影した画像データ、およびグレースケール処理が行われた画像データの一例を示す図である。

【図1C】図１Ｃは、画像処理方法の概要を示す図である。

【図2】図２は、画像処理装置のブロック図である。

【図3】図３は、線分抽出部のブロック図である。

【図4】図４は、第１実施形態に係る正規化の一例を示す図である。

【図5】図５は、第１実施形態に係る黄色強調処理を説明するフローチャートである。

【図6】図６は、第２実施形態に係る正規化の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

【0010】

（第１実施形態）
まず、図１Ａ～図１Ｃを用いて第１実施形態に係る画像処理装置１の概要について説明する。図１Ａは、画像処理装置１の搭載例を示す図である。図１Ｂは、黄色の区画線ＬＣが表示された路面を撮影した画像データ、およびグレースケール処理が行われた画像データの一例を示す図である。また、図１Ｃは、画像処理方法の概要を示す図である。なお、画像処理方法は、図１Ａ、および図１Ｃに示す画像処理装置１によって実行される。

【0011】

図１Ａに示すように、第１実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像されて得られた撮像データから駐車枠ＰＳを検出する。駐車枠ＰＳは、路面上に表示された区画線ＬＣに挟まれた領域であり、車両Ｃが駐車されるスペースである。

【0012】

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

【0013】

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。

【0014】

ところで、画像処理装置１は、駐車枠ＰＳを検出するにあたり、車載カメラ１０によって撮影されて取得された画像データに基づいて、路面上に表示された区画線ＬＣを検出する。そして、画像処理装置１は、検出した区画線ＬＣの情報に基づいて駐車枠ＰＳを検出する。

【0015】

具体的には、画像処理装置１は、取得された画像データに対して、車載カメラ１０から入力される画像データにグレースケール処理を行い、画像データをグレースケールの画像データに変換する。グレースケール処理は、画像データにおける各画素を輝度値に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

【0016】

画像処理装置１は、グレースケールの画像データにおける各画素の輝度値に基づいたエッジ点を繋いだエッジ線を抽出する。画像処理装置１は、エッジ線のうち、所定条件を満たすペアをペアエッジ線Ｌｐ（以下、区画線候補と称する。）として検出する。具体的には、画像処理装置１は、エッジ線のうち、互いに略平行であり、その間隔が区画線ＬＣの幅に応じた所定範囲に収まるエッジ線のペアを区画線候補Ｌｐとして検出する。すなわち、区画線候補Ｌｐは、区画線ＬＣの幅方向の左右両端に対応するエッジ線のペアである。

【0017】

次に、画像処理装置１は、所定間隔をあけて平行配置される２組の区画線候補Ｌｐをそれぞれ区画線ＬＣとして検出する。具体的には、画像処理装置１は、区画線候補Ｌｐを形成するペアのエッジ線に挟まれた領域を区画線ＬＣとして検出する。所定間隔は、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。

【0018】

そして、画像処理装置１は、所定間隔をあけて平行配置された２つの区画線ＬＣに基づいて駐車枠ＰＳを検出する。画像処理装置１は、２つの区画線ＬＣの内側のエッジ線で挟まれるスペースを、実際に車両Ｃを駐車可能な駐車枠ＰＳとして検出する。

【0019】

しかしながら、区画線ＬＣが黄色の塗料で路面に表示されている場合には、グレースケール処理が行われると、図１Ｂに示すように、区画線ＬＣに対応する画素と路面に対応する画素とのコントラスト差が低下する。そのため、画像処理装置１は、黄色の区画線ＬＣを正確に検出することができないおそれがある。図１Ｂでは、画像データにおける区画線ＬＣと路面とのコントラスト差をドットの密度で表示しており、ドットの密度が大きいほど、コントラスト差が大きいことを示す。なお、以下で示す図１Ｃにおいても同様である。

【0020】

そこで、第１実施形態に係る画像処理装置１は、所定の黄色条件を満たす画素の輝度値を補正し、強調することとした。なお、所定の黄色条件については、後述する。これにより、第１実施形態に係る画像処理装置１は、黄色の区画線ＬＣを正確に検出することができる。

【0021】

具体的には、画像処理装置１は、図１Ｃに示すように、車載カメラ１０によって撮影されて得られた画像データを取得する（Ｓ１０）。

【0022】

画像処理装置１は、Ｒ値とＢ値との差に基づく彩度を算出する（Ｓ１１）。画像処理装置１は、彩度を強調量として、黄色条件を満たす画素の輝度値を補正する（Ｓ１２）。すなわち、黄色条件を満たす画素にのみ彩度を加算する処理を行う。

【0023】

これにより、区画線ＬＣがより黄色に近いほど、区画線ＬＣに対応する画素の輝度値が大きくなり、区画線ＬＣに対応する画素と路面に対応する画素とのコントラスト差が大きくなる。

【0024】

画像処理装置１は、補正された輝度値に基づいて区画線ＬＣを検出する（Ｓ１３）。これにより、画像処理装置１は、黄色の区画線ＬＣを正確に検出することができる。

【0025】

例えば、黄色の区画線ＬＣを検出する方法として、Ｒ値と、Ｇ値とに基づいて黄色の画像を合成し、合成した画像に対して区画線ＬＣの検出処理を行う方法がある。しかしながら、このような検出方法では、黄色の画像を合成しなければならず、処理負荷が大きくなる。

【0026】

これに対し、画像処理装置１は、黄色条件を満たす画素の輝度値を補正することで、黄色の区画線ＬＣを検出することができ、区画線ＬＣを検出する際の処理負荷を抑制することができる。

【0027】

このように、第１実施形態に係る画像処理装置１は、処理負荷を抑制しつつ、黄色の区画線ＬＣを正確に検出することができる。

【0028】

次に、図２を用いて第１実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic Control Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

【0029】

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

【0030】

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。

【0031】

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線候補検出部２３と、除外判定部２４と、区画線検出部２５（検出部の一例）と、駐車枠検出部２６と、駐車枠管理部２７と、停車位置決定部２８とを備える。

【0032】

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0033】

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、区画線検出部２５、駐車枠検出部２６、駐車枠管理部２７および停車位置決定部２８として機能する。

【0034】

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、区画線検出部２５、駐車枠検出部２６、駐車枠管理部２７および停車位置決定部２８の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0035】

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

【0036】

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、駐車枠ＰＳの検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

【0037】

線分抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度値に基づくエッジ点を抽出し、エッジ点を繋いだエッジ線を抽出する。線分抽出部２１の詳細については後述する。

【0038】

線分抽出部２１は、エッジ点、およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

【0039】

不適領域判定部２２は、エッジ点、およびエッジ線に基づき、駐車枠ＰＳを区画する区画線ＬＣの検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。

【0040】

具体的には、不適領域判定部２２は、各エッジ点の密度が予め設定された所定密度以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

【0041】

区画線候補検出部２３は、エッジ情報に基づいて駐車枠ＰＳを区画する区画線ＬＣの候補となる区画線候補Ｌｐをエッジ線から選択し、検出する。区画線候補検出部２３は、検出した区画線候補Ｌｐに関する情報を生成し、除外判定部２４へ通知する。

【0042】

なお、区画線候補検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補Ｌｐの検出処理を行うことができる。言い換えれば、区画線候補検出部２３は、不適領域について区画線候補Ｌｐの検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。

【0043】

除外判定部２４は、区画線候補検出部２３によって検出された区画線候補Ｌｐに基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

【0044】

具体的には、ゼブラゾーンが、互いに略平行な区画線候補Ｌｐを区画線ＬＣと仮定した場合に、仮定した区画線ＬＣに対して傾斜した区画線候補Ｌｐが所定の間隔をあけて３本以上存在する場合に、仮定した区画線ＬＣに挟まれた領域を駐車不可領域と判定する。

【0045】

また、除外判定部２４は、路面標識等の駐車枠ＰＳの検出に不要な区画線候補Ｌｐの有無を判定することも可能である。例えば、除外判定部２４は、区画線候補検出部２３によって検出された区画線候補Ｌｐと、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。

【0046】

除外判定部２４は、区画線候補Ｌｐの情報から不要な区画線候補Ｌｐを除去するとともに、区画線候補Ｌｐの情報に駐車不可領域に関する情報を付与して、駐車枠検出部２６へ通知する。

【0047】

区画線検出部２５は、区画線候補検出部２３によって検出された区画線候補Ｌｐに基づき、区画線ＬＣを検出する。

【0048】

駐車枠検出部２６は、区画線検出部２５によって検出された区画線ＬＣに基づき、駐車枠を検出する。なお、駐車枠検出部２６は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。

【0049】

すなわち、駐車枠検出部２６は、ゼブラゾーン等を避けて駐車枠ＰＳを検出することができる。駐車枠検出部２６は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２７へ通知する。また、駐車枠情報には、車両Ｃを基準とする各区画線ＬＣの頂点座標が含まれる。

【0050】

駐車枠管理部２７は、駐車枠検出部２６によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２７は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線ＬＣの頂点座標を推定することができる。

【0051】

また、駐車枠管理部２７は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線ＬＣの座標情報を更新することも可能である。すなわち、駐車枠管理部２７は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。

【0052】

また、駐車枠管理部２７は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２７は、駐車枠検出部２６によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。

【0053】

そして、駐車枠管理部２７は、仮定した駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２７によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。

【0054】

停車位置決定部２８は、駐車枠情報、およびエッジ情報に基づき、車両Ｃが駐車枠ＰＳへ駐車する際の停車位置を決定する。例えば、停車位置決定部２８は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。

【0055】

停車位置決定部２８は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。

【0056】

次に、図３を用いて線分抽出部２１の構成例について説明する。図３は、線分抽出部２１のブロック図である。線分抽出部２１は、取得部４０と、算出部４１と、判定部４２と、補正部４３と、変換部４４と、抽出部４５とを備える。

【0057】

取得部４０は、車載カメラ１０によって撮影されて得られた画像データを取得する。

【0058】

算出部４１は、取得された画像データの各画素の輝度値を算出する。また、算出部４１は、所定の黄色条件を満たす画素について彩度を強調量として算出する。彩度は、Ｒ値とＢ値との差である。なお、算出部４１は、所定の黄色条件を満たす画素に対してのみ彩度（強調量）を算出する。

【0059】

判定部４２は、各画素について所定の黄色条件を満たすか否かを判定する。黄色は、ＲＧＢ値において（２５５，２５５，０）として表示されるが、実際に区画線ＬＣとして用いられる塗料の色や、環境（例えば、区画線ＬＣの劣化や、周囲の明るさ）によって上記する値になるとは限らない。

【0060】

ここで、色空間においてＲＧＢからＨＳＶへの変換式は、以下のように表すことができる。

【0061】

【数1】

【0062】

なお、ＭＡＸは、ＲＧＢ値の中で最も大きい値であり、ＭＩＮは、ＲＧＢ値の中で最も小さい値である。

【0063】

ＨＳＶ色空間では、黄色の色相は、６０°付近であり、上記（１）～（３）から、黄色であるためには、以下の（ａ）～（ｄ）の特徴を有すればよい。

【0064】

（ａ）ＲＧＢ値の中でＢ値が最も小さい。
（ｂ）Ｒ値とＧ値との差が小さい。
（ｃ）Ｒ値（またはＧ値）とＢ値との差が大きい。
（ｄ）Ｒ値（またはＧ値）が大きい。

【0065】

そこで、第１実施形態では、以下の（Ａ）～（Ｄ）を所定の黄色条件とした。

【0066】

（Ａ）Ｒ値とＧ値との差が第１所定値以下である。
（Ｂ）Ｒ値とＢ値との差が第２所定値以上である。
（Ｃ）Ｇ値とＢ値との差が第３所定値以上である。
（Ｄ）Ｒ値が第４所定値以上である。

【0067】

なお、第１所定値～第４所定値は、予め設定された値である。

【0068】

判定部４２は、（Ａ）～（Ｄ）を全て満たす画素を、黄色条件を満たす画素として判定する。また、判定部４２は、（Ａ）～（Ｄ）のうち、いずれかの条件を満たさない画素を、黄色条件を満たさない画素として判定する。

【0069】

また、判定部４２は、画像データの全画素について所定の黄色条件を満たすか否かを判定し、画像データのグレースケール処理が終了したか否かを判定する。

【0070】

補正部４３は、黄色条件を満たす画素に対し、画素の輝度値に強調量を加算し、輝度値を補正する。

【0071】

なお、補正部４３は、最大強調量を上限として、強調量を加算する。最大強調量は、黄色の区画線ＬＣにおいて頻度が高い強調量であり、様々な黄色の区画線を撮影して得られた実画像データに基づいて設定される。補正部４３は、取得された画像データから算出された強調量（彩度）が、最大強調量よりも大きい場合には、最大強調量を画素の輝度値に加算する。

【0072】

これにより、黄色条件を満たす画素と、黄色条件を満たさない画素とのコントラスト差が大きくなる。なお、ここでは、上記するように強調量（彩度）をＲ値とＢ値との差としているが、これは、黄色であるための上記特徴（ａ）および（ｄ）によるものである。黄色の特徴としては、（ａ）ＲＧＢ値の中でＢ値が最も小さい、および（ｄ）Ｒ値が大きい、ことが挙げられる。そのため、黄色の区画線ＬＣに対応する画素では、Ｒ値とＢ値との差が大きい。

【0073】

補正部４３は、黄色条件を満たす画素の輝度値に、黄色の区画線ＬＣが有する特徴に応じた値であるＲ値とＢ値との差を強調量として加算することで、黄色の区画線ＬＣに対応する画素と路面に対応する画素とのコントラスト差を黄色の区画線ＬＣが有する特徴に応じて大きくすることができる。

【0074】

変換部４４は、取得された画像データにグレースケール処理を行う。変換部４４は、画像データの各画素の輝度値を正規化し、画像データにおける各画素を輝度値に応じて白から黒までの各階調（２５６階調）で表現する。変換部４４は、例えば、取得された画像データが１６ｂｉｔである場合に、８ｂｉｔのグレースケールの画像データに変換する。

【0075】

変換部４４は、強調量が加算された補正後の輝度値を用いて正規化を行う。具体的には、変換部４４は、補正前の輝度値で取り得る最大輝度値に、最大強調量を加算した値が、グレースケール処理後の輝度値の最大輝度値となるように正規化を行う。

【0076】

変換部４４は、黄色条件を満たす画素については強調量が加算された補正後の輝度値に対して正規化を行う。また、変換部４４は、黄色条件を満たさない画素については算出された輝度値、すなわち強調量が加算されていない輝度値に対して正規化を行う。変換部４４は、画像データの全画素の輝度値に対して正規化を行う。

【0077】

変換部４４における正規化の一例について、図４を参照し説明する。図４は、第１実施形態に係る正規化の一例を示す図である。ここでは、取得された画像データの画素の輝度値が「２５５」であり、最大強調量として「９５」が設定され、最大強調量が強調量として画素の輝度値に加算されているものとする。

【0078】

この場合、正規化前の画像データにおける輝度値「２５５」に、最大強調量「９５」を加算した値「３５０」が、「２５５」となるように正規化が行われる。すなわち、黄色条件を満たす画素については補正後の輝度値に対し、および黄色条件を満たさない画素については画素の輝度値に対して、２５５／３５０の圧縮率で正規化が行われる。

【0079】

図３に戻り、抽出部４５は、グレースケールの画像データに対して、例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求める。続いて、抽出部４５は、エッジ強度が予め設定された所定強度を超える画素を抽出することで、エッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出する。

【0080】

このように、黄色の区画線ＬＣに対応する画素では、輝度値が補正され、補正された輝度値に基づいてエッジ線が抽出され、区画線ＬＣが検出される。従って、画像処理装置１は、処理負荷を抑制しつつ、黄色の区画線ＬＣを正確に検出することができる。

【0081】

次に、第１実施形態に係る黄色強調処理について図５を参照し説明する。図５は、第１実施形態に係る黄色強調処理を説明するフローチャートである。

【0082】

画像処理装置１は、車載カメラ１０によって撮影されて得られた画像データを取得する（Ｓ１００）。

【0083】

画像処理装置１は、取得された画像データの画素の輝度値を算出し（Ｓ１０１）、取得された画像データの画素が黄色条件を満たすか否かを判定する（Ｓ１０２）。なお、画像処理装置１は、処理が戻ってきた場合には、新たな画素について輝度値を算出し、黄色条件を満たすか否かを判定する。

【0084】

画像処理装置１は、黄色条件を満たす場合には（Ｓ１０２：Ｙｅｓ）、強調量を算出し（Ｓ１０３）、算出した強調量を画素の輝度値に加算し、輝度値を補正する（Ｓ１０４）。

【0085】

画像処理装置１は、輝度値を正規化する（Ｓ１０５）。具体的には、画像処理装置１は、黄色条件を満たす画素については補正後の輝度値を正規化する。また、画像処理装置１は、黄色条件を満たさない画素については画素の輝度値を正規化する。

【0086】

画像処理装置１は、画像データの全画素について上記処理が終了したか否かを判定する（Ｓ１０６）。すなわち、画像処理装置１は、画像データのグレースケール処理が終了したか否かを判定する。画像処理装置１は、画像データの全画素について上記処理が終了した場合には（Ｓ１０６：Ｙｅｓ）、今回の処理を終了する。

【0087】

画像処理装置１は、画像データの画素について上記処理を適用していない画素がある場合には（Ｓ１０６：Ｎｏ）、新たな画素に対して上記処理を行う（Ｓ１０１）。

【0088】

次に、第１実施形態に係る画像処理装置１の効果について説明する。

【0089】

画像処理装置１は、Ｒ値とＢ値との差である彩度を算出し、算出した彩度を強調量として黄色条件を満たす画素の輝度値に加算し、黄色条件を満たす画素の輝度値を補正する。そして、画像処理装置１は、補正された輝度値に基づいて区画線ＬＣを検出する。

【0090】

これにより、画像処理装置１は、黄色条件を満たす画素の輝度値を大きくし、黄色の区画線ＬＣに対応する画素と路面に対応する画素とのコントラスト差を大きくすることができる。そのため、画像処理装置１は、例えば、Ｒ値とＧ値とから新たな黄色の画像を合成することなく、黄色の区画線ＬＣを検出することができる。従って、画像処理装置１は、区画線ＬＣを検出する際の処理負荷を抑制しつつ、黄色の区画線ＬＣを正確に検出することができる。

【0091】

画像処理装置１は、補正後の輝度値を用いて画像データの輝度値を正規化する。

【0092】

これにより、画像処理装置１は、黄色の区画線ＬＣに対応する画素と、路面に対応する画素とのコントラスト差を大きくした状態で、画像データの輝度値を正規化することができる。そのため、画像処理装置１は、黄色の区画線ＬＣを正確に検出することができる。

【0093】

画像処理装置１は、実画像データに基づいて設定された最大強調量を上限として、黄色条件を満たす画素の輝度値を補正する。

【0094】

これにより、画像処理装置１は、例えば、取得した画像データの中で最も強調量が大きくなる画素を探索することなく、黄色条件を満たす画素の輝度値を補正し、画像データの輝度値を正規化することができる。そのため、画像処理装置１は、処理負荷を抑制することができる。

【0095】

画像処理装置１は、黄色条件を満たす画素に対してのみ彩度（強調量）を算出する。

【0096】

これにより、画像処理装置１は、処理負荷を抑制することができる。

【0097】

画像処理装置１は、Ｒ値とＢ値との差を彩度として算出する。また、画像処理装置１は、Ｒ値とＧ値との差が第１所定値以下であり、Ｒ値とＢ値との差が第２所定値以上であり、Ｇ値とＢ値との差が第３所定値以上であり、かつＲ値が弟４所定値以上の画素を、黄色条件を満たす画素として判定し、輝度値を補正する。

【0098】

これにより、画像処理装置１は、黄色条件を満たす画素に対して輝度値を補正することができ、黄色の区画線ＬＣを正確に検出することができる。

【0099】

（第２実施形態）
次に、第２実施形態に係る画像処理装置１について説明する。ここでは、第１実施形態と異なる箇所を中心に説明する。第２実施形態に係る画像処理装置１は、正規化方法が異なっており、他の構成、および処理については、第１実施形態の画像処理装置１と同じであり、説明は省略する。

【0100】

第２実施形態に係る画像処理装置１の変換部４４は、画像データの画素の輝度値と、強調量とを異なる圧縮率で圧縮することで正規化を行う。圧縮率は、正規化後の輝度値を、正規化前の輝度値で除算した値である。数値が小さいほど、圧縮率が高いことを意味する。

【0101】

具体的には、変換部４４は、画像データの画素の輝度値を第１圧縮率で圧縮し、強調量を第２圧縮率で圧縮し、正規化を行う。第２圧縮率は、第１圧縮率よりも小さい値である。すなわち、強調量に対する圧縮率は、画像データの画素の輝度値に対する圧縮率よりも高い。

【0102】

変換部４４における正規化の一例について、図５を参照し説明する。図５は、第２実施形態に係る正規化の一例を示す図である。ここでは、取得された画像データの画素の輝度値が「２５５」であり、最大強調量として「９５」が設定され、最大強調量が強調量として画素の輝度値に加算されているものとする。

【0103】

この場合、第１実施形態と同様に、正規化前の画像データにおける最大輝度値「２５５」に、最大強調量「９５」を加算した値「３５０」が、「２５５」となるように正規化が行われる。

【0104】

また、画像データの画素の輝度値は、「２５５」から「２１０」に圧縮されており、第１圧縮率は、「０．８２」である。最大強調量は、「９５」から「４５」に圧縮されており、第２圧縮率は、「０．４７」である。このように、第２圧縮率は、第１圧縮率よりも高い。

【0105】

このように、黄色条件を満たす画素では、画像データの画素の輝度値に対して、第１圧縮率（例えば、２１０／２５５）、および強調量に対して第２圧縮率（例えば、４５／９５の）で正規化が行われる。また、黄色条件を満たさない画素では、画像データの画素の輝度値に対して、第１圧縮率（例えば、２１０／２５５）で正規化が行われる。

【0106】

次に、第２実施形態に係る画像処理装置１の効果について説明する。

【0107】

画像処理装置１は、取得された画像データの画素の輝度値と、強調量とを異なる圧縮率で圧縮し、正規化を行う。画像処理装置１は、黄色条件を満たすか否かに関わらず、画像データの画素の輝度値を第１圧縮率で圧縮し、正規化を行う。

【0108】

これにより、画像処理装置１は、黄色条件を満たす画素の画像データでの輝度値と、黄色条件を満たさない画素の画像データでの輝度値とのコントラスト差の変化を抑制しつつ、黄色条件を満たす画素の輝度値を補正することができる。そのため、画像処理装置１は、画像データにおける画素間のコントラスト差を維持した状態で、黄色条件を満たす画素の輝度値を補正（強調）することができる。従って、画像処理装置１は、画像データの性能変化を小さくしつつ、黄色の区画線ＬＣを正確に検出することができる。

【0109】

画像処理装置１は、第２圧縮率を第１圧縮率よりも高くする。

【0110】

仮に、第１圧縮率を高くすると、画像データにおける画素間のコントラスト差が小さくなり、例えば、白線の区画線ＬＣに対応するエッジ線を正確に抽出することができなくなり、区画線ＬＣを正確に検出することができなくなるおそれがある。これに対し、画像処理装置１は、画像データにおける画素間のコントラスト差を重視しつつ、黄色条件を満たす画素の輝度値を補正することができる。そのため、画像処理装置１は、白線の区画線ＬＣ、および黄色の区画線ＬＣを正確に検出することができる。

【0111】

次に変形例に係る画像処理装置１について説明する。

【0112】

変形例に係る画像処理装置１は、Ｇ値とＢ値とを彩度（強調量）として算出してもよい。また、変形例に係る画像処理装置１は、黄色条件のうち「（Ｄ）Ｒ値が弟４所定値以上である。」を「Ｇ値が弟４所定値以上である。」としてもよい。

【0113】

これにより、変形例に係る画像処理装置１は、緑色に近い黄色の区画線ＬＣを正確に検出することができる。

【0114】

また、変形例に係る画像処理装置１は、黄色条件を満たさない画素に対する強調量を「０」とし、全画素の輝度値に強調量を加算し、全画素を補正してもよい。

【0115】

また、変形例に係る画像処理装置１は、最大強調量を設けずに強調量を算出し、正規化を行ってもよい。

【0116】

なお、上記した黄色強調処理は、区画線ＬＣ（駐車枠ＰＳ）の検出の他に、路面に表示された黄色の車線など、黄色の線を検出する際に、適用することができる。

【0117】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0118】

１ 画像処理装置
１０ 車載カメラ（撮像装置）
２１ 線分抽出部
２５ 区画線検出部（検出部）
４０ 取得部
４１ 算出部
４２ 判定部
４３ 補正部
４４ 変換部
４５ 抽出部

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【図6】