(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0025】
[実施形態]
以下に本発明の一実施形態にかかる車体色特定装置1を説明する。
図1は車体色特定装置1が用いる画像の撮像状況を示した図である。車体色特定装置1が用いる画像は、不特定の車両7(1)、車両7(2)、・・・、車両7(n)(ただし、nは任意の自然数)(以下、これらの車両を「車両7」と総称する)が走行する道路8の上方に、撮像方向が斜め下方向となるように取り付けられた定点カメラ9により継続的に撮像される画像である。なお、定点カメラ9は十分に短い時間間隔で継続的に静止画を撮像するため、得られる一連の撮像画像は動画を示す。従って、道路8を走行する車両7は全て、定点カメラ9が撮像する画像のいずれかに映ることになる。また、定点カメラ9は自装置に近付いてくる車両7を撮像するため、定点カメラ9の撮像画像には車両7の前方のナンバープレートが映ることになる。
【0026】
車体色特定装置1は定点カメラ9とデータ通信可能に接続されており、定点カメラ9が撮像した画像を表す撮像画像データを受信する。
図1に示す例では、車体色特定装置1は定点カメラ9の近傍に配置され、定点カメラ9と有線ケーブルで接続されている。ただし、車体色特定装置1の配置位置は定点カメラ9の近傍である必要はなく、例えば定点カメラ9から遠隔のデータセンタ等に車体色特定装置1が配置されていてもよい。また、車体色特定装置1と定点カメラ9の間のデータ通信は有線ケーブルを介したものに限られず、無線や有線と無線の混在した通信ネットワーク経由等を介したものであってもよい。
【0027】
図2は車体色特定装置1の構成を示した図である。車体色特定装置1は専用装置として構成されてもよいし、コンピュータがプログラムに従った処理を行うことにより実現されてもよい。車体色特定装置1は定点カメラ9から撮像画像データを受信する撮像画像取得手段11と、各種データを記憶する記憶手段12と、撮像画像データが表す画像に映っている対象物を認識する画像認識手段13と、撮像画像データが表す画像に映っているナンバープレートの背景および文字の真の色を特定するナンバープレート色特定手段14と、撮像画像データが表す画像に映っている車体の真の色を特定する車体色特定手段15を備える。なお、車体色特定装置1が、上記の構成部に加え、定点カメラ9から受信した撮像画像データや車体色特定手段15により特定された車体色を示すデータ等を外部の装置に送信する送信手段を備えていてもよい。
【0028】
記憶手段12に記憶されるデータには、撮像画像取得手段11が定点カメラ9から受信した撮像画像データに加え、ナンバープレート塗色基準値テーブルと、撮像画像色情報テーブルが含まれる。
【0029】
図3はナンバープレート塗色基準値テーブルのデータ構成を例示した図である。ナンバープレート塗色基準値テーブルは、複数のナンバープレートの配色の各々に関するデータレコードの集まりである。ナンバープレート塗色基準値テーブルの各データレコードは、データフィールド[配色名]、[背景塗色基準値]、[文字塗色基準値]を有する。データフィールド[配色名]には、配色を識別する配色名を示すデータが格納されている。
図3の例では、各配色における背景色の名称(「白」、「緑」、「黄」、「黒」)が配色名として用いられている。
【0030】
ナンバープレート塗色基準値テーブルのデータフィールド[背景塗色基準値]には背景の塗色の色情報の基準値を示すデータ(マンセル値)が格納されている。また、データフィールド[文字塗色基準値]には文字の塗色の色情報の基準値を示すデータ(マンセル値)が格納されている。このように、ナンバープレート塗色基準値テーブルは複数の配色の各々に応じた1枚のナンバープレートに用いられる複数の塗色(背景および文字の塗色)の各々の色情報の基準値の集まり(基準値群)を示す。ナンバープレート塗色基準値テーブルに格納される塗色の基準値は、例えば法令により定められているものである。
【0031】
図3に示す例では、配色「白」の背景色「白」と配色「緑」の文字色「白」の塗色の基準値(マンセル値)は同じである。同様に、配色「緑」の背景色「緑」と配色「白」の文字色「緑」の塗色の基準値(マンセル値)は同じであり、配色「黄」の背景色「黄」と配色「黒」の文字色「黄」の塗色の基準値(マンセル値)は同じであり、配色「黒」の背景色「黒」と配色「黄」の文字色「黒」の塗色の基準値(マンセル値)は同じである。以下、塗色「白」の基準値を「白マンセル値」、塗色「緑」の基準値を「緑マンセル値」、塗色「黄」の基準値を「黄マンセル値」、塗色「黒」の基準値を「黒マンセル値」という。
【0032】
なお、
図3に示す例ではマンセル値により塗色の基準値が示されているが、マンセル表色系以外の表色系(例えば、RGB表色系、L*u*v*表色系等)の色空間における色情報が塗色の基準値として用いられてもよい。それらの異なる色空間における色情報は相互に変換できるため等価である。
【0033】
また、以下の説明において、撮像画像に映っている対象物(ナンバープレートの背景および文字、または車体)の色情報はYPbPr方式に従う色情報(以下、「YPbPr値」という)であるものとする。YPbPr方式は色を示すアナログ信号の記録方式であり、輝度信号を示すY、青色差を示すPb、赤色差を示すPrの組み合わせにより1つの色を表現する。YPbPr値はRGB表色系等の色空間における色情報に変換できる。従って、YPbPr値はマンセル値とも相互に変換可能であり、それらは比較可能である。以下の説明において、マンセル値とYPbPr値の間の変換については記載を省略する。また、撮像画像に映っている対象物の色情報として、YPbPr方式以外の方式(例えば、色を示すデジタル信号の記録方式であるYCbCr方式等)に従う色情報や、RGB表色系等の色空間における色情報が用いられてもよい。
【0034】
図4は、記憶手段12に記憶される撮像画像色情報テーブルのデータ構成を例示した図である。撮像画像色情報テーブルは撮像画像に映っている車両7の各々に応じたデータレコードの集まりである。なお、各車両7は定点カメラ9の撮像範囲に入った後、その撮像範囲から出て行くまでの間に定点カメラ9が撮像した画像の各々に映ることになるが、画像認識手段13はそれらの画像の各々において認識した車両7の位置や形状の類似度に基づき、異なる画像に映っている同じ車両7を対応付け、それらに同じ車両ID(Identifier)を付与する。撮像画像色情報テーブルは、画像認識手段13により付与された車両IDの各々に応じたデータレコードの集まりである。
【0035】
撮像画像色情報テーブルの各データレコードは、データフィールド[車両ID]、[時刻]、[背景色情報]、[背景色]、[文字色情報]、[文字色]、[車体色情報]、[車体色]を有する。データフィールド[車両ID]には、画像認識手段13が撮像画像において認識した車両を識別する車両IDが格納される。データフィールド[時刻]には、画像認識手段13が車両の認識に用いた画像の撮像時刻を示すデータが格納される。
【0036】
データフィールド[背景色情報]には、画像認識手段13により撮像画像において認識されたナンバープレートの背景部分の色情報(YPbPr値)が格納される。以下、データフィールド[背景色情報]に格納される色情報を「背景YPbPr値」という。データフィールド[背景色]には、ナンバープレート色特定手段14により特定されたナンバープレートの背景色を示すデータ(「白」、「緑」、「黄」、「黒」のいずれか)が格納される。
【0037】
データフィールド[文字色情報]には、画像認識手段13により撮像画像において認識されたナンバープレートの文字部分の色情報(YPbPr値)が格納される。以下、データフィールド[文字色情報]に格納される色情報を「文字YPbPr値」という。データフィールド[文字色]には、ナンバープレート色特定手段14により特定されたナンバープレートの文字色を示すデータ(「白」、「緑」、「黄」、「黒」のいずれか)が格納される。
【0038】
データフィールド[車体色情報]には、画像認識手段13により撮像画像において認識された車体の色情報(YPbPr値)が格納される。以下、データフィールド[車体色情報]に格納される色情報を「車体YPbPr値」という。
【0039】
データフィールド[車体色]には、車体色特定手段15により特定された車体色を示すデータが格納される。本実施形態において、車体色特定手段15は車体色を白、黒、灰、黄、赤、青、緑の7つの色域のいずれに属するかを判定するものとする。従って、撮像画像色情報テーブルのデータフィールド[車体色]には、それらの色域のいずれかを示すデータ(「白」、「黒」、「灰」、「黄」、「赤」、「青」、「緑」のいずれか)が格納される。ただし、車体色特定手段15が車体色を分類する色域の種類および数は上記のものに限られず、例えば、茶、紫等の他の色域が採用されてもよい。
【0040】
画像認識手段13は、既述のように、定点カメラ9により撮像された画像に映っている対象物を認識する。画像認識手段13が行う画像認識は公知の技術であるためその説明を省略する。画像認識手段13は撮像画像において、まず車両を認識する。続いて、画像認識手段13は認識した車両のナンバープレートと車体を認識する。さらに、画像認識手段13は認識したナンバープレートの背景部分と文字部分を判別する。
【0041】
画像認識手段13は、既述のように、一連の複数の撮像画像に映っている同じ車両7を互いに対応付け、1つの車両7に1つの車両IDを付与して他の車両7と区別する。画像認識手段13は新たに認識した車両に新たな車両IDを付与した場合、撮像画像色情報テーブル(
図4)に新しいデータレコードを追加し、追加したデータレコードの[車両ID]に新たに付与した車両IDを格納する。
【0042】
画像認識手段13は、同じ車両IDで識別される車両7が映っている複数の撮像画像の中から、例えば、ナンバープレートが最大サイズで映っている撮像画像を選択する。なお、画像認識手段13が同じ車両7が映っている複数の撮像画像の中から1つの撮像画像を選択する基準はナンバープレートのサイズに限られず、例えば、撮像画像のコントラスト、明るさ、撮像画像におけるナンバープレートの位置等の他の要素がその基準として用いられてもよい。
【0043】
画像認識手段13は、選択した画像の撮像時刻を示すデータを、撮像画像色情報テーブルに先に追加したデータレコードのデータフィールド[時刻]に格納する。また、画像認識手段13は、選択した撮像画像において認識したナンバープレートの背景部分の色情報の代表値(例えば、背景部分に含まれる画素の各々のYPbPr値の平均値)を背景YPbPr値として、撮像画像色情報テーブルの先に追加したデータレコードのデータフィールド[背景色情報]に格納する。
【0044】
また、画像認識手段13は、選択した撮像画像において認識したナンバープレートの文字部分の色情報の代表値(例えば、文字部分に含まれる画素の各々のYPbPr値の平均値)を文字YPbPr値として、撮像画像色情報テーブルの先に追加したデータレコードのデータフィールド[文字色情報]に格納する。また、画像認識手段13は、選択した撮像画像において認識した車体部分の色情報の代表値(例えば、車体部分に含まれる画素の各々のYPbPr値の平均値)を車体YPrPr値として、撮像画像色情報テーブルの先に追加したデータレコードのデータフィールド[車体色情報]に格納する。
【0045】
図5は、画像認識手段13が車両ID「xxxx」を付与した車両7に関し選択した撮像画像において認識したナンバープレートの背景部分(領域T1)、ナンバープレートの文字部分(領域T2)、および車体部分(領域T3)を示した図である。撮像画像色情報テーブルのデータフィールド[背景色情報]、[文字色情報]、[車体色情報]の各々には、領域T1、領域T2、領域T3の各々に含まれる画素の色情報の代表値が格納される。
【0046】
ナンバープレート色特定手段14は、画像認識手段13により撮像画像色情報テーブルに新たなデータレコードが追加され、追加されたデータレコードのデータフィールド[背景色情報]に背景YPbPr値が格納され、データフィールド[文字色情報]に文字YPbPr値が格納されると、それらのYPrPr値の各々に応じた真の色を特定する。「真の色」とは、定点カメラ9の特性や撮像環境等に左右されることのない対象物固有の色であり、散乱した太陽光が適度に対象物にあたる光環境下において色覚異常を持たない人に視覚される対象物の色である。
【0047】
図6は、ナンバープレート色特定手段14がナンバープレートの背景色および文字色を特定する処理のフローを示した図である。今、画像認識手段13により撮像画像色情報テーブルに新たなデータレコードが追加され、追加されたデータレコードのデータフィールド[車両ID]に「xxxx」が格納され、さらに、追加されたデータレコードのデータフィールド[背景色情報]および[文字色情報]に背景YPbPr値および文字YPbPr値が各々格納されたものとする。ナンバープレート色特定手段14は、撮像画像色情報テーブルにこれらのデータが格納されたことを検知すると(ステップS101)、背景YPbPr値の輝度Y(以下、「輝度Y(背景)」という)と文字YPbPr値の輝度Y(以下、「輝度Y(文字)」という)を比較する(ステップS102)。
【0048】
輝度Y(背景)が輝度Y(文字)より小さい場合(すなわち、背景が文字より暗い場合)(ステップS102;「Yes」)、ナンバープレート色特定手段14は、車両ID「xxxx」で識別される車両7のナンバープレートの配色を「緑」または「黒」であると判定する(ステップS103)。一方、輝度Y(背景)が輝度Y(文字)以上である場合(すなわち、背景が文字より明るい場合)(ステップS102;「No」)、ナンバープレート色特定手段14は、車両ID「xxxx」で識別される車両7のナンバープレートの配色を「白」または「黄」であると判定する(ステップS104)。
【0049】
ステップS102の判定結果に従い車両ID「xxxx」で識別される車両7のナンバープレートの配色を「緑」または「黒」であると判定した場合(ステップS103)、ナンバープレート色特定手段14は続いて、背景YPbPr値の青色差Pb(以下、「青色差Pb(背景)」という)が閾値Cより小さく、かつ、背景YPbPr値の赤色差Pr(以下、「赤色差Pr(背景)」という)が閾値Dより大きいか否かを判定する(ステップS105)。
【0050】
図7Aおよび
図7Bは、ナンバープレート色特定手段14がステップS105および後述のステップS108における判定で用いる閾値がどのように定められた閾値であるかを説明するためのグラフである。
【0051】
図7Aは、様々な車両7を定点カメラ9(または定点カメラ9と同じ仕様のカメラ)によって様々な撮像環境下で撮像した画像に映ったナンバープレートの白、緑、黄、黒の各々の部分に関し、その部分の色情報(YPbPr値)に含まれる青色差Pbの分布を示したグラフである。
図7Aのグラフは、撮像画像に映っているナンバープレートの背景または文字の部分の青色差Pbが閾値Cよりも小さければ、その部分の真の色は緑ではない、と判定できることを示している。また、
図7Aのグラフは、撮像画像に映っているナンバープレートの背景または文字の部分の青色差Pbが閾値Bよりも小さければ、その部分の真の色は黄である、と判定できることを示している。
【0052】
図7Bは、様々な車両7を定点カメラ9(または定点カメラ9と同じ仕様のカメラ)によって様々な撮像環境下で撮像した画像に映ったナンバープレートの白、緑、黄、黒の各々の部分に関し、その部分の色情報(YPbPr値)に含まれる赤色差Prの分布を示したグラフである。
図7Bのグラフは、撮像画像に映っているナンバープレートの背景または文字の部分の赤色差Prが閾値Dよりも大きければ、その部分の真の色は緑ではない、と判定できることを示している。また、
図7Bのグラフは、撮像画像に映っているナンバープレートの背景または文字の部分の赤色差Prが閾値Eよりも大きければ、その部分の真の色は黄である、と判定できることを示している。
【0053】
従って、ナンバープレート色特定手段14は、ステップS105の判定において、青色差Pb(背景)が閾値C以上、もしくは、赤色差Pr(背景)が閾値D以下と判定した場合(ステップS105;「No」)、車両ID「xxxx」で識別される車両7のナンバープレートの配色を「緑」であると判定する(ステップS106)。一方、ナンバープレート色特定手段14は、ステップS105の判定において、青色差Pb(背景)が閾値Cより小さく、かつ、赤色差Pr(背景)が閾値Dより大きいと判定した場合(ステップS105;「Yes」)、車両ID「xxxx」で識別される車両7のナンバープレートの配色を「黒」であると判定する(ステップS107)。
【0054】
ステップS102の判定結果に従い車両ID「xxxx」で識別される車両7のナンバープレートの配色を「白」または「黄」であると判定した場合(ステップS104)、ナンバープレート色特定手段14は続いて、青色差Pb(背景)が閾値Bより小さく、かつ、赤色差Pr(背景)が閾値Eより大きいか否かを判定する(ステップS108)。
【0055】
ナンバープレート色特定手段14は、ステップS108の判定において、青色差Pb(背景)が閾値B以上、もしくは、赤色差Pr(背景)が閾値D以下と判定した場合(ステップS108;「No」)、車両ID「xxxx」で識別される車両7のナンバープレートの配色を「白」であると判定する(ステップS109)。一方、ナンバープレート色特定手段14は、ステップS108の判定において、青色差Pb(背景)が閾値Bより小さく、かつ、赤色差Pr(背景)が閾値Eより大きいと判定した場合(ステップS108;「Yes」)、車両ID「xxxx」で識別される車両7のナンバープレートの配色を「黄」であると判定する(ステップS110)。
【0056】
ナンバープレート色特定手段14は、上記のように車両ID「xxxx」で識別される車両7のナンバープレートの配色を特定すると、特定した配色の背景色および文字色を示すデータを、撮像画像色情報テーブルの該当するデータレコードのデータフィールド[背景色]および[文字色]に各々格納する(ステップS111)。以上が、ナンバープレート色特定手段14が行う処理の説明である。
【0057】
車体色特定手段15は、撮像画像色情報テーブルの車両ID「xxxx」に応じたデータレコードのデータフィールド[背景色]および[文字色]に背景色および文字色を示すデータが格納され、データフィールド[車体色情報]に車体YPbPr値が格納されると、車両ID「xxxx」で識別される車両7の車体の真の色を特定する。
【0058】
図8は車体色特定手段15が車両7の車体の真の色を特定するために行う処理のフローを示した図である。車体色特定手段15は、撮像画像色情報テーブルの車両ID「xxxx」に応じたデータレコードのデータフィールド[背景色]、「文字色]および[車体色情報]にデータが格納されたことを検知すると(ステップS201)、まず、撮像画像色情報テーブルからデータフィールド[時刻]が現在時刻から過去の所定時間T以内であるデータレコードを抽出する(ステップS202)。
【0059】
続いて、車体色特定手段15は抽出したデータレコードに格納される背景YPbPr値および文字YPbPr値を用いて、現在の撮像環境下において撮像した画像における、ナンバープレートの白の部分の色情報の代表値(以下、「撮像白YPbPr値」という)、緑の部分の色情報の代表値(以下、「撮像緑YPbPr値」という)、黄の部分の色情報の代表値(以下、「撮像黄YPbPr値」という)、および黒の部分の色情報の代表値(以下、「撮像黒YPbPr値」という)を算出する(ステップS203)。
【0060】
以下、撮像白YPbPr値、撮像緑YPbPr値、撮像黄YPbPr値、および撮像黒YPbPr値を「撮像YPbPr値」と総称する。また、撮像YPbPr値に含まれる輝度Y、青色差Pbおよび赤色差Prを以下のようにいうものとする。
撮像白YPbPr値に含まれる輝度Y:Y
c(白)
撮像白YPbPr値に含まれる青色差Pb:Pb
c(白)
撮像白YPbPr値に含まれる赤色差Pr:Pr
c(白)
撮像緑YPbPr値に含まれる輝度Y:Y
c(緑)
撮像緑YPbPr値に含まれる青色差Pb:Pb
c(緑)
撮像緑YPbPr値に含まれる赤色差Pr:Pr
c(緑)
撮像黄YPbPr値に含まれる輝度Y:Y
c(黄)
撮像黄YPbPr値に含まれる青色差Pb:Pb
c(黄)
撮像黄YPbPr値に含まれる赤色差Pr:Pr
c(黄)
撮像黒YPbPr値に含まれる輝度Y:Y
c(黒)
撮像黒YPbPr値に含まれる青色差Pb:Pb
c(黒)
撮像黒YPbPr値に含まれる赤色差Pr:Pr
c(黒)
【0061】
ステップS203において、撮像画像色情報テーブルは、例えば以下の式1〜式3に従い撮像YPbPr値に含まれる値を算出する。
【数1】
【0062】
ただし、上記の式1〜式3において、「#」は「白」、「緑」、「黄」、「黒」のいずれかを示す。また、「n
#」は車体色特定手段15が撮像画像色情報テーブルから抽出したデータレコードのうち、データフィールド[背景色]または[文字色]に「#」に応じた色を格納しているデータレコードの数を示す。
【0063】
「Y
i(#)」はデータフィールド[背景色]または[文字色]に「#」に応じた色を格納しているデータレコードのうちi番目のデータレコードのデータフィールド[背景色情報]または[文字色情報]に格納されている「#」に応じた色の色情報(YPbPr値)に含まれる輝度Yを示す。
【0064】
「Pb
i(#)」はデータフィールド[背景色]または[文字色]に「#」に応じた色を格納しているデータレコードのうちi番目のデータレコードのデータフィールド[背景色情報]または[文字色情報]に格納されている「#」に応じた色の色情報(YPbPr値)に含まれる青色差Pbを示す。
【0065】
「Pr
i(#)」はデータフィールド[背景色]または[文字色]に「#」に応じた色を格納しているデータレコードのうちi番目のデータレコードのデータフィールド[背景色情報]または[文字色情報]に格納されている「#」に応じた色の色情報(YPbPr値)に含まれる赤色差Prを示す。
【0066】
「W
i」はi番目のデータレコードのデータフィールド[時刻]に格納されているデータが示す時刻から現在時刻までの時間差Δt
iに応じたウェイトを示す。ウェイトW
iは時間差Δt
iの減少関数であることが望ましい。以下の式4はウェイトW
iの算出式を例示したものである。
【数2】
【0067】
上記の式1〜式4に従い算出される撮像白YPbPr値は、過去の所定時間Tの期間においてナンバープレート色特定手段14により真の色が白と特定されたナンバープレートの背景または文字の撮像画像における色情報(YPbPr値)を、撮像時刻が現在時刻に近いほど大きなウェイトを乗じて加重平均した値である。白以外の色(緑、黄、黒)に関しても同様である。なお、上述した式1〜式4は例示であって、車体色特定手段15が他の算出式や手順に従い撮像YPbPr値を算出してもよい。
【0068】
続いて、車体色特定手段15はステップS203において算出した撮像YPbPr値を用いて、現在の撮像環境下で定点カメラ9により撮像された画像の色空間(YPbPr値で色情報が表現される色空間)を白、黒、灰、黄、赤、青および緑の各々に応じた色域に区分する色情報の境界値を特定する(ステップS204)。
【0069】
図9Aおよび
図9B(以下、これらを
図9と総称する)は色空間を複数の色域に区分する色情報の境界値を説明するための図である。
図9は、ある輝度Yにおける青色差Pbと赤色差Prの組み合わせにより特定される色が配置された2次元の色空間を示している。
図9において、横軸が青色差Pbを示し、縦軸が赤色差Prを示す。
図9に示される2次元の色空間は以下の境界値により5つの色域に区分されている。
モノクロ判定用Pb上限値
モノクロ判定用Pb下限値
モノクロ判定用Pr上限値
モノクロ判定用Pr上限値
赤判定用Pr下限値
緑判定用Pb上限値
緑判定用Pr上限値
黄判定用Pb上限値
【0070】
色域「モノクロ」は、モノクロ判定用Pb上限値、モノクロ判定用Pb下限値、モノクロ判定用Pr上限値、モノクロ判定用Pr上限値により囲まれる矩形の領域である。色域「赤」は、赤判定用Pr下限値よりPrが大きい領域である。色域「緑」は、Pbが緑判定用Pb上限値より小さく、かつ、Prが黄判定用Pb上限値より小さい領域である。色域「黄」は、Prが緑判定用Pr上限値以上かつ赤判定用Pr下限値以下であり、Pbが黄判定用Pb上限値より小さい領域である。色域「青」は、上記の色域以外の領域である。
【0071】
図9Aは、晴天時の日中の太陽光が対象物にあたる光環境下で対象物を定点カメラ9(または定点カメラ9と同じ仕様のカメラ)で撮像した画像における色域を示している。
図9Bは、例えば夕暮れ時の太陽光が対象物にあたる光環境下で対象物を定点カメラ9(または定点カメラ9と同じ仕様のカメラ)で撮像した画像における色域を示している。夕暮れ時には太陽光に含まれる青色の成分が大気中の散乱により減少するため、同じ対象物を撮像した画像であっても、日中に撮像した画像における対象物の色情報と比較して、夕暮れ時に撮像した画像における対象物の色情報はPrが大きく、またPbが小さくなる。
【0072】
そのため、車体色特定装置1においては、例えば、夕暮れ時の撮像画像における色空間においては、日中の撮像画像における色空間における場合と比較して、赤判定用Pr下限値および緑判定用Pr上限値は大きく設定され、緑判定用Pb上限値および黄判定用Pb上限値は小さく設定される。これにより、例えば日中に撮像された画像において黄色である対象物が夕暮れ時に撮像された画像においてオレンジに近い赤として撮像されていても、その対象物の色が正しい色域「黄」に属するようになる。また、例えば日中に撮像された画像において青色である対象物が夕暮れ時に撮像された画像において青に近い緑として撮像されていても、その対象物の色が正しい色域「青」に属するようになる。
【0073】
本実施形態においては、青色差Pbと赤色差Prに関する境界値に加え、輝度Yに関する以下の境界値が用いられる。
白判定用Y下限値
黒判定用Y上限値
黄判定用Y下限値
【0074】
これらの境界値は、
図9において紙面の法線方向を軸とする輝度Yにおいて色域を区分する境界値である。白判定用Y下限値および黒判定用Y上限値は、PbPrの2次元の色空間において色域「モノクロ」に区分された色域を色域「白」、色域「灰」および色域「黒」に区分する境界値である。また、黄判定用Y下限値は、PbPrの2次元の色空間において色域「モノクロ」以外に区分された色域を、輝度Yに基づき色域「黄」およびそれ以外に区分する境界値である。
【0075】
ステップS204において、車体色特定手段15はステップS203において算出した撮像YPbPr値を用いて、例えば以下の算出式に従い上記の境界値を特定する。
モノクロ判定用Pb上限値=MAX(Pb
c(白),Pb
c(黒))+α
1
モノクロ判定用Pb下限値=MIN(Pb
c(白),Pb
c(黒))−α
2
モノクロ判定用Pr上限値=MAX(Pr
c(白),Pr
c(黒))+α
3
モノクロ判定用Pr上限値=MIN(Pr
c(白),Prb
c(黒))−α
4
赤判定用Pr下限値=Pr
c(黄)+α
5
緑判定用Pb上限値=Pb
c(緑)+α
6
緑判定用Pr上限値=Pr
c(緑)+α
7
黄判定用Pb上限値=Pb
c(黄)+α
8
白判定用Y下限値=Y
c(黒)+((Y
c(白)−Y
c(黒))×2/3)
黒判定用Y上限値=Y
c(黒)+((Y
c(白)−Y
c(黒))/3)
黄判定用Y下限値=Y
c(黄)−α
9
【0076】
ただし、上記の算出式において、α
1〜α
9は定数である。また、MAX(a,b)は値aと値bのうち大きい方の値を示し、MIN(a,b)は値aと値bのうち小さい方の値を示す。なお、上記の算出式は例示であって、車体色特定手段15が他の算出式や手順に従い色域の境界値を特定してもよい。
【0077】
車体色特定手段15は、上記のように色域の境界値の特定を行うと、続いて以下の判定を行う(ステップS205)。ただし、「青色差Pb(車体)」および「赤色差Pr(車体)」はステップS201において撮像画像色情報テーブルに新たに格納されたことを検知した車体YPbPr値の青色差Pbおよび赤色差Prを意味する。
青色差Pb(車体)<モノクロ判定用Pb上限値、かつ、
青色差Pb(車体)>モノクロ判定用Pb下限値、かつ、
赤色差Pr(車体)<モノクロ判定用Pr上限値、かつ、
赤色差Pr(車体)>モノクロ判定用Pr下限値
【0078】
上記の条件が満たされると判定した場合(ステップS205;「Yes」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「白」、「灰」、「黒」のいずれかであると判定する(ステップS206)。一方、上記の条件が満たされないと判定した場合(ステップS205;「No」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「緑」、「青」、「赤」、「黄」のいずれかであると判定する(ステップS207)。
【0079】
ステップS206の判定に基づき車両ID「xxxx」で識別される車両7の車体の色を「白」、「灰」、「黒」のいずれかであると判定した場合(ステップS206)、車体色特定手段15は続いて以下の判定を行う(ステップS208)。ただし、「輝度Y(車体)」はステップS201において撮像画像色情報テーブルに新たに格納されたことを検知した車体YPbPr値の輝度Yを意味する。
輝度Y(車体)>白判定用Y下限値
【0080】
ステップS208において上記の条件が満たされると判定した場合(ステップS208;「Yes」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「白」であると判定する(ステップS209)。一方、ステップS208において上記の条件が満たされないと判定した場合(ステップS208;「No」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「灰」または「黒」であると判定する(ステップS210)。
【0081】
ステップS208の判定に基づき車両ID「xxxx」で識別される車両7の車体の色を「灰」または「黒」であると判定した場合(ステップS210)、車体色特定手段15は続いて以下の判定を行う(ステップS211)。
輝度Y(車体)<黒判定用Y下限値
【0082】
ステップS211において上記の条件が満たされると判定した場合(ステップS211;「Yes」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「黒」であると判定する(ステップS212)。一方、ステップS211において上記の条件が満たされないと判定した場合(ステップS211;「No」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「灰」であると判定する(ステップS213)。
【0083】
ステップS205の判定に基づき車両ID「xxxx」で識別される車両7の車体の色を「緑」、「青」、「赤」、「黄」のいずれかであると判定した場合(ステップS207)、車体色特定手段15は続いて以下の判定を行う(ステップS214)。
輝度Y(車体)>黄判定用Y下限値、かつ、
青色差Pb(車体)<黄判定用Pb上限値
【0084】
ステップS214において上記の条件が満たされると判定した場合(ステップS214;「Yes」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「黄」であると判定する(ステップS215)。一方、ステップS214において上記の条件が満たされないと判定した場合(ステップS214;「No」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「緑」、「青」、「赤」のいずれかであると判定する(ステップS216)。
【0085】
ステップS216に続き、車体色特定手段15は以下の判定を行う(ステップS217)。
赤色差Pr(車体)>赤判定用Pr下限値
【0086】
ステップS217において上記の条件が満たされると判定した場合(ステップS217;「Yes」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「赤」であると判定する(ステップS218)。一方、ステップS217において上記の条件が満たされないと判定した場合(ステップS217;「No」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「緑」または「青」であると判定する(ステップS219)。
【0087】
ステップS219に続き、車体色特定手段15は以下の判定を行う(ステップS220)。
青色差Pb(車体)<緑判定用Pb上限値、かつ、
赤色差Pr(車体)<緑判定用Pr上限値
【0088】
ステップS220において上記の条件が満たされると判定した場合(ステップS220;「Yes」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「緑」であると判定する(ステップS221)。一方、ステップS220において上記の条件が満たされないと判定した場合(ステップS220;「No」)、車体色特定手段15は車両ID「xxxx」で識別される車両7の車体の色を「青」であると判定する(ステップS222)。
【0089】
車体色特定手段15は、上記のように車両ID「xxxx」で識別される車両7の車体の色を特定すると、特定した車体の色を示すデータを、撮像画像色情報テーブルの該当するデータレコードのデータフィールド[車体色]に格納する。以上が、車体色特定手段15が行う処理の説明である。
【0090】
上述した車体色特定装置1によれば、撮像画像に映っている車体の色情報が撮像環境等により変化しても、撮像画像に映っている車体の真の色が特定される。
【0091】
[変形例]
上述した実施形態は様々に変形することができる。以下にそれらの変形の例を示す。なお、上述した実施形態および以下に示す変形例は適宜組み合わされてもよい。
【0092】
(1)上述した車体色特定装置1の車体色特定手段15が、ナンバープレートの塗色の色情報の基準値、すなわち、ナンバープレート塗色基準値テーブル(
図3)に格納されているマンセル値に基づき、色域の境界値を特定する構成が採用されてもよい。
【0093】
例えば、上述した実施形態においては、青色差Pbに関する色域の境界値として、以下の算出式に従い特定される境界値が用いられるものとした。
【0094】
モノクロ判定用Pb上限値=MAX(Pb
c(白),Pb
c(黒))+α
1
モノクロ判定用Pb下限値=MIN(Pb
c(白),Pb
c(黒))−α
2
緑判定用Pb上限値=Pb
c(緑)+α
6
黄判定用Pb上限値=Pb
c(黄)+α
8
【0095】
これに代えて、
白マンセル値をYPbPr値に変換した際の青色差Pb:Pb
s(白)
緑マンセル値をYPbPr値に変換した際の青色差Pb:Pb
s(緑)
黄マンセル値をYPbPr値に変換した際の青色差Pb:Pb
s(黄)
黒マンセル値をYPbPr値に変換した際の青色差Pb:Pb
s(黒)
とするとき、例えば以下のような算出式に従い境界値が特定されてもよい。
【0096】
モノクロ判定用Pb上限値=β
1×(MAX(Pb
c(白),Pb
c(黒))/MAX(Pb
S(白),Pb
S(黒)))
モノクロ判定用Pb下限値=β
2×(MIN(Pb
c(白),Pb
c(黒))/MIN(Pb
s(白),Pb
s(黒)))
緑判定用Pb上限値=β
3×(Pb
c(緑)/Pb
s(緑))
黄判定用Pb上限値=β
4×(Pb
c(黄)/Pb
s(黄))
【0097】
ここで、β
1はナンバープレートの塗色の色情報の基準値(ナンバープレート塗色基準値テーブルに示されるマンセル値)に応じたモノクロ判定用Pb上限値である。すなわち、撮像画像に映ったナンバープレートの白部分の青色差Pbが白マンセル値をYPbPr値に変換した際の青色差Pbと一致し、撮像画像に映ったナンバープレートの黒部分の青色差Pbが黒マンセル値をYPbPr値に変換した際の青色差Pbと一致する場合のモノクロ判定用Pb上限値である。
【0098】
同様に、β
2はナンバープレートの塗色の色情報の基準値に応じたモノクロ判定用Pb下限値、β
3はナンバープレートの塗色の色情報の基準値に応じた緑判定用Pb上限値、β
4はナンバープレートの塗色の色情報の基準値に応じた黄判定用Pb上限値である。
【0099】
本変形例において、車体色特定手段15は輝度Yおよび赤色差Prに関しても、青色差Pbに関し上述した算出式と同様の算出式に従い境界値の特定を行う。
【0100】
上記のような算出式に従い特定される色域の境界値は、撮像画像に映ったナンバープレートの色情報とナンバープレートの塗色の色情報の基準値との差が大きい程、ナンバープレートの塗色の色情報の基準値に応じた境界値との差が大きくなる。すなわち、現在の撮像環境が、ナンバープレートの色が本来の色として見える撮像環境から乖離している程、撮像画像に映った車体の真の色を特定する際に用いる境界値として、基準値に応じた境界値から大きく移動させた境界値が用いられることになる。その結果、上述した実施形態における場合よりも高い精度で、車体の真の色の特定が可能となる。
【0101】
なお、上述した境界値の算出式は一例であって、他の様々な算出式または変換表等が採用され得る。
【0102】
(2)上述した車体色特定装置1の車体色特定手段15は、撮像画像に映った車体の色情報が複数の色域のいずれに属するかを判定することにより車体の真の色を特定する。これに代えて、車体色特定手段15が、撮像画像に映った車体の色情報を補正することにより車体の真の色を特定する構成が採用されてもよい。
【0103】
この変形例において、車体色特定手段15は、
白マンセル値をYPbPr値に変換した際の輝度Y:Y
s(白)
緑マンセル値をYPbPr値に変換した際の輝度Y:Y
s(緑)
黄マンセル値をYPbPr値に変換した際の輝度Y:Y
s(黄)
黒マンセル値をYPbPr値に変換した輝度Y:Y
s(黒)
白マンセル値をYPbPr値に変換した際の青色差Pb:Pb
s(白)
緑マンセル値をYPbPr値に変換した際の青色差Pb:Pb
s(緑)
黄マンセル値をYPbPr値に変換した際の青色差Pb:Pb
s(黄)
黒マンセル値をYPbPr値に変換した際の青色差Pb:Pb
s(黒)
白マンセル値をYPbPr値に変換した際の赤色差Pr:Pr
s(白)
緑マンセル値をYPbPr値に変換した際の赤色差Pr:Pr
s(緑)
黄マンセル値をYPbPr値に変換した際の赤色差Pr:Pr
s(黄)
黒マンセル値をYPbPr値に変換した際の赤色差Pr:Pr
s(黒)
とするとき、例えば以下の算出式に従い車体の真の色を示す色情報を特定する。
【0104】
車体の真の色の輝度Y=輝度Y(車体)×Ave((Y
c(白)/Y
s(白)),(Y
c(緑)/Y
s(緑)),(Y
c(黄)/Y
s(黄)),(Y
c(黒)/Y
s(黒)))
車体の真の色の青色差Pb=青色差Pb(車体)×Ave((Pb
c(白)/Pb
s(白)),(Pb
c(緑)/Pb
s(緑)),(Pb
c(黄)/Pb
s(黄)),(Pb
c(黒)/Pb
s(黒)))
車体の真の色の赤色差Pr=赤色差Pr(車体)×Ave((Pr
c(白)/Pr
s(白)),(Pr
c(緑)/Pr
s(緑)),(Pr
c(黄)/Pr
s(黄)),(Pr
c(黒)/Pr
s(黒)))
【0105】
ただし、Ave(a,b,c,d)は値a、値b、値c、値dの平均値を示す。上記の算出式は、撮像画像における車体の色情報(YPbPr値)の輝度Y、青色差Pb、赤色差Prの各々を、ナンバープレートの塗色の色情報の基準値に対する撮像画像におけるナンバープレートの色情報の比率を乗じることにより補正する算出式である。従って、撮像画像に映ったナンバープレートの色情報とナンバープレートの塗色の色情報の基準値との差が大きい程、撮像画像に映った車体の色情報が大きく補正されることになる。
【0106】
なお、上述した色情報の算出式は一例であって、他の様々な算出式または変換表等が採用され得る。
【0107】
この変形例によっても、撮像環境に左右されずに、撮像画像に映った車体の真の色が特定される。
【0108】
(3)上述した実施形態において、ナンバープレートの塗色は「白」、「緑」、「黄」、「黒」の4種類であり、ナンバープレートの配色は「白/緑」、「緑/白」、「黄/黒」、「黒/黄」(ただし、「(背景色)/(文字色)」)であるものとしたが、ナンバープレートの塗色および配色はこれらに限られない。
【0109】
(4)上述した実施形態において、車体色特定手段15は、車体色の真の色を特定する際に、過去の所定時間内に撮像された画像におけるナンバープレートの色情報の代表値を用いる。車体色特定手段15が、過去の所定時間内に撮像された画像におけるナンバープレートの色情報の代表値に代えて、真の色を特定する対象の車体が映っている撮像画像におけるナンバープレートの色情報を用いる構成が採用されてもよい。
【0110】
(5)車体色特定装置1が、撮像画像に映っている車両の各々に関し、車体色の特定に加え、ナンバープレートの文字が示すナンバー(本願において、車両のナンバーは、数字、文字、記号、もしくはそれらの2以上の組み合わせを意味する)を特定し、車体色とナンバーとを対応付けて記憶する構成が採用されてもよい。この変形例において、画像認識手段13は、撮像画像に映っているナンバープレートの背景部分と文字部分を判別した後、文字部分と判別した領域が示す形状に応じた数字、文字、記号等を既知の文字認識手法により車両のナンバーとして認識する。
【0111】
この変形例において、撮像画像色情報テーブルは
図4に示したデータフィールドに加え、データフィールド[ナンバー]を有する。画像認識手段13により認識されたナンバーは、対応する車両のデータレコードのデータフィールド[ナンバー]に格納される。
図10はこの変形例において記憶手段12に記憶される撮像画像色情報テーブルのデータ構成を例示した図である。この変形例にかかる車体色特定装置1によって生成される撮像画像色情報テーブルは、定点カメラ9により撮像された車両の車体色とナンバーの対応を示す。従って、この撮像画像色情報テーブルを用いれば、指定した車体色に応じた車両のナンバーを抽出することが可能となる。
【0112】
さらに、この変形例にかかる撮像画像色情報テーブル(
図10)は、車体色と時刻(車体色の特定に用いられた撮像画像の撮像時刻)の対応も示す。従って、この撮像画像色情報テーブルを用いれば、指定した時間帯と指定した車体色の組み合わせに応じたナンバーを絞り込むこともできる。