(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-11
(45)【発行日】2022-10-19
(54)【発明の名称】車両検出装置と方法及び電子機器
(51)【国際特許分類】
G08G 1/04 20060101AFI20221012BHJP
G06T 7/00 20170101ALI20221012BHJP
【FI】
G08G1/04 D
G06T7/00 650B
(21)【出願番号】P 2018199660
(22)【出願日】2018-10-24
【審査請求日】2021-07-09
(31)【優先権主張番号】201810021680.3
(32)【優先日】2018-01-10
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ヤン・ヤウエヌ
(72)【発明者】
【氏名】バイ・シアンホォイ
(72)【発明者】
【氏名】ワン・チィ
【審査官】上野 博史
(56)【参考文献】
【文献】特表2017-505946(JP,A)
【文献】特開2010-272067(JP,A)
【文献】特開2017-124737(JP,A)
【文献】特開2003-149325(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G06T 7/00-7/90
G06T 1/00-1/40
3/00-5/50
9/00-9/40
(57)【特許請求の範囲】
【請求項1】
車両検出装置であって、
入力されたカラー画像中の高輝度領域を確定するための第一確定ユニット;
各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張するための拡張ユニット;
拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行うための第一ペアリングユニットであって、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得する第一ペアリングユニット;
1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行うための第二ペアリングユニットであって、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得する第二ペアリングユニット;及び
前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定するための第二確定ユニットを含む、装置。
【請求項2】
請求項1に記載の装置であって、
前記拡張ユニットは、各高輝度領域周囲の所定色の画素を含めるように前記高輝度領域を拡張する、装置。
【請求項3】
請求項1に記載の装置であって、さらに、
1回目のペアリングを行う前に、拡張後の各高輝度領域に対して1回目の選択を行うための第一選択ユニットであって、拡張後の各高輝度領域に対して、前記高輝度領域の面積及び/又は前記高輝度領域のコンベクシティに基づいて選択を行う第一選択ユニットを含み、
前記第一ペアリングユニットは、拡張後の1回目の選択後の、所定色を有する高輝度領域に対して1回目のペアリングを行う、装置。
【請求項4】
請求項3に記載の装置であって、さらに、
2回目のペアリングを行った後に、前記第2組の高輝度領域ペアに対して2回目の選択を行うための第二選択ユニットであって、前記第2組の高輝度領域ペア中の各高輝度領域ペアのサイズ、質量中心点の色差、質量中心点の輝度差、及び外接矩形の輝度ヒストグラムのうちの少なくとも1つに基づいて選択を行い、各高輝度領域ペアの重なり度合に基づいて併合を行うことで、2回目の選択後の第2組の高輝度領域ペアを取得する第二選択ユニットを含み、
前記第二確定ユニットは、前記第1組の高輝度領域ペア及び前記2回目の選択後の第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定する、装置。
【請求項5】
請求項4に記載の装置であって、
前記第一ペアリングユニット、前記第二ペアリングユニット、及び前記第二選択ユニットは、前記1回目のペアリング、前記2回目のペアリング、及び前記2回目の選択を所定回数繰り返し、或いは、前記1回目のペアリング、前記2回目のペアリング、及び前記2回目の選択を、新たに増加したペアリング成功の高輝度領域ペアがないまで繰り返す、装置。
【請求項6】
請求項5に記載の装置であって、さらに、
ペアリング失敗の単一高輝度領域に対応するバーチャル高輝度領域を追加し、前記単一高輝度領域及びその対応する前記バーチャル高輝度領域からなる各高輝度領域ペアを第3組の高輝度領域ペアとするための追加ユニットを含み、
前記第二確定ユニットは、前記第1組の高輝度領域ペア、前記2回目の選択後の第2組の高輝度領域ペア、及び前記第3組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定する、装置。
【請求項7】
請求項1に記載の装置であって、
前記第1組のパラメータは、前記高輝度領域の垂直方向の座標値、外接矩形のアスペクト比、面積差、色差、及び形状マッチング程度のうちの少なくとも1つを含み、
前記第2組のパラメータは、前記高輝度領域の垂直方向の座標値、外接矩形のアスペクト比、及び面積差のうちの少なくとも1つを含む、装置。
【請求項8】
請求項1~7のうちの任意の1項に記載の車両検出装置を含む電子機器。
【請求項9】
車両検出装置が実行する車両検出方法であって、
入力されたカラー画像中の高輝度領域を確定
するステップ;
各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張するステップ;
拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行うステップであって、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得するステップ;
1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行うステップであって、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得するステップ;及び
前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定するステップを含む、方法。
【請求項10】
請求項9に記載の方法であって、
各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張するステップは、
各高輝度領域周囲の所定色の画素を含めるように前記高輝度領域を拡張することを含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報技術分野に関し、特に、車両検出装置と方法及び電子機器に関する。
【背景技術】
【0002】
シティ(都市)の交通状況が複雑になるにつれて、交通状況への監視及び制御のニーズが高まっている。また、走行中の車両に対しての検出がビデオ監視に良く用いられる機能の1つである。今のところ、車両検出方法では、一般的に、照明条件が比較的良いシーン例えば昼間について、分類器などを用いて監視画像中の車両に対して検出及び計数を行う。しかし、照明条件が比較的悪いシーン例えば夜間について、通常の車両検出方法により車両に対しての有効な検出を行うことが困難である。
【0003】
従来では、照明条件が比較的悪いシーンに対しての車両検出の一般的なフォローは、次の通りであり、即ち、監視ビデオ画像のグレースケール画像に基づいて2値画像を取得し、高輝度領域の抽出を行い、その後、各高輝度領域に対してペアリング(対(ペア)にすること)を行い、そして、ペアリング成功の高輝度領域ペアに基づいて車両位置を確定する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の発明者は、次のようなことが発見した。即ち、上述のような従来の方法を用いて車両検出を行う時に、一般的に、車両のヘッドライトが所在する高輝度領域にのみ対して検出を行うことができるため、検出漏れが生じやすく、且つ、グレースケール画像が使用されるため、誤検出が生じやすい。また、車両の方向指示灯(ウィンカー)の点滅も検出結果に影響を与える可能性がある。
【0005】
本発明の実施例は、車両検出装置と方法及び電子機器を提供し、カラー画像に対して直接検出を行い、また、2回の異なるペアリング処理を行うことで、車両のヘッドライト及びテールライトに対して同時に検出及びペアリングを行うことができ、また、車両の方向指示灯の検出結果への影響を避けることができ、これにより、検出漏れ及び誤検出の可能性を大幅に減らし、車両検出結果の全面性及び正確性を有効に向上させることができる。
【課題を解決するための手段】
【0006】
本発明の実施例の第一側面によれば、車両検出装置が提供され、前記装置は、入力されたカラー画像中の高輝度領域を確定するための第一確定ユニット;各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張するための拡張ユニット;拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行うための第一ペアリングユニットであって、そのうち、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得するもの;1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行うための第二ペアリングユニットであって、そのうち、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得するもの;及び、前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定するための第二確定ユニットを含む。
【0007】
本発明の実施例の第二側面によれば、電子機器が提供され、それは、本発明の実施例の第一側面に記載の車両検出装置を含む。
【0008】
本発明の実施例の第三側面によれば、車両検出方法が提供され、前記方法は、入力されたカラー画像中の高輝度領域を確定し;各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張し;拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、そのうち、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得し;1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行い、そのうち、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得し;及び、前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することを含む。
【0009】
本発明の有益な効果は、次の通りである。即ち、カラー画像に対して直接検出を行い、また、2回の異なるペアリング処理を行うことで、車両のヘッドライト及びテールライトに対して同時に検出及びペアリングを行うことができ、また、車両の方向指示灯の検出結果への影響を避けることができ、これにより、検出漏れ及び誤検出の可能性を大幅に減らし、車両検出結果の全面性及び正確性を有効に向上させることができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施例1における車両検出方法を示す図である。
【
図2】本発明の実施例1における他の車両検出方法を示す図である。
【
図3】本発明の実施例2における車両検出装置を示す図である。
【
図4】本発明の実施例2における他の車両検出装置を示す図である。
【
図5】本発明の実施例3における電子機器を示す図である。
【
図6】本発明の実施例3における電子機器のシステム構成を示す図である。
【発明を実施するための形態】
【0011】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【実施例1】
【0012】
本実施例は、車両検出方法を提供する。
図1は、本発明の実施例1の車両検出方法を示す図である。
図1に示すように、該方法は、次のようなステップを含む。
【0013】
ステップ101:入力されたカラー画像中の高輝度領域(高輝度領域とは、例えば、所定輝度以上の領域である)を確定し;
ステップ102:各高輝度領域周囲の画素の色に基づいて、該高輝度領域を拡張し;
ステップ103:拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、そのうち、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得し;
ステップ104:1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行い、そのうち、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得し;
ステップ105:該第1組の高輝度領域ペア及び該第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定する。
【0014】
この実施例から分かるように、カラー画像に対して直接検出を行い、また、2回の異なるペアリング処理を行うことで、車両のヘッドライト及びテールライトに対して同時に検出及びペアリングを行うことができ、また、車両の方向指示灯の検出結果への影響を避けることができ、これにより、検出漏れ及び誤検出の可能性を大幅に減らし、車両検出結果の全面性及び正確性を有効に向上させることができる。
【0015】
本実施例では、入力されたカラー画像は、監視ビデオのフレーム(画像)であっても良く、該監視ビデオは、監視を行う必要のある領域の上方に取り付けられたカメラにより取得されても良い。
【0016】
ステップ101では、入力されたカラー画像中の高輝度領域を確定し、例えば、入力されたカラー画像のグレースケール画像を取得し、該グレースケール画像から2値画像を抽出し、そして、該2値画像に基づいて、入力されたカラー画像中の高輝度領域を確定しても良い。
【0017】
本実施例では、入力されたカラー画像の一部の領域中の全ての高輝度領域を確定しても良く、例えば、入力されたカラー画像の関心領域(Region of Interest、ROI)中の全ての高輝度領域を確定しても良い。ROI領域は、例えば、道路が所在する領域である。
【0018】
本実施例では、2値化閾値は、適応的に(adaptively)調整することができる。
【0019】
ステップ102では、各高輝度領域周囲の所定色の画素に基づいて該高輝度領域を拡張(expand)することができ、例えば、各高輝度領域の周囲へ、各高輝度領域の周囲に所定色の画素がなくなるまで拡張を行っても良い。即ち、拡張後の各高輝度領域は、拡張前の各高輝度領域周囲の所定色の画素を含む。
【0020】
本実施例では、該所定色は、テールライト点灯時の色、例えば、赤色、黄色、又はオレンジ色であっても良い。このように、異なる形状のテールライトが所在する領域を全て高輝度領域に含めるようにすることができる。
【0021】
本実施例では、例えば、カラー画像をHSV空間に変換し、そして、経験に従ってhsvスカラーと各色のHSV範囲とを比較することで、画素の色を判別することができる。
【0022】
ステップ103では、拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、そのうち、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得する。
【0023】
本実施例では、該所定色は、テールライト点灯時の色、例えば、赤色、黄色、又はオレンジ色であっても良い。このように、拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、即ち、テールライトが存在する可能性のある領域に対して1回目のペアリングを行うことができる。
【0024】
本実施例では、該第1組のパラメータは、実際の状況に基づいて確定されても良く、例えば、第1組のパラメータは、高輝度領域の垂直方向の座標値、外接矩形のアスペクト比、面積差、色差、及び形状マッチング程度のうちの少なくとも1つを含んでも良い。
【0025】
1回目のペアリングを行う時に、該第1組のパラメータに基づいて各高輝度領域に対して選択を行い、具体的な選択条件は、実際の状況に応じて設定されても良い。そのうち、形状マッチング程度に基づいて選択を行う時に、その選択条件は、比較的に緩く設定されても良い。
【0026】
本実施例では、形状マッチング程度は、例えば、形状マッチング値により衡量することができ、該形状マッチング値は、従来のアルゴリズムにより得ることができる。例えば、形状マッチング値が大きいほど、形状の違いが大きい。
【0027】
該第1組のパラメータに基づいて各高輝度領域に対して選択を行った後に、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、ペアリング成功の全ての高輝度領域ペアにより第1組の高輝度領域ペアを構成することができる。
【0028】
例えば、第1組のパラメータに基づいて各高輝度領域に対して選択を行った後のA~Gの7つの高輝度領域について、任意の2つの高輝度領域の間のサイズの差を計算する。AとDとのサイズの差が、AとB~Gの全ての領域とのサイズの差のうち最小であり、且つDとAとのサイズの差が、DとA~C、E~Gの全ての領域とのサイズの差のうち最小である場合、AとDとのペアリングが成功した(ペアリング成功とも言う)とし;BとEとのサイズの差が、BとA、C~Gの全ての領域とのサイズの差のうち最小であるが、EとBとのサイズの差が、EとA~D、F~Gの全ての領域とのサイズの差のうち最小でない場合、BとEとのペアリングが失敗した(ペアリング失敗とも言う)とすることができる。
【0029】
本実施例では、該サイズの差は、高輝度領域の各次元のサイズの差の総合であっても良く、例えば、該サイズの差は、2つの高輝度領域の幅の差及び高さの差の加重和であっても良い。
【0030】
ステップ104では、1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行い、そのうち、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得する。
【0031】
本実施例では、該第2組のパラメータは、実際の状況に応じて確定されても良く、例えば、該第2組のパラメータは、高輝度領域の垂直方向の座標値、外接矩形のアスペクト比、及び面積差のうちの少なくとも1つを含んでも良い。
【0032】
該第2組のパラメータに基づいて各高輝度領域に対して選択を行った後に、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、ペアリング成功の全ての高輝度領域ペアにより第2組の高輝度領域ペアを構成することができる。
【0033】
例えば、同様に、第2組のパラメータに基づいて各高輝度領域に対して選択を行った後のA~Gの7つの高輝度領域について、任意の2つの高輝度領域の間の形状マッチング値を計算する。AとDとの形状マッチング値が、AとB~Gの全ての領域との形状マッチング値のうち最小であり、且つDとAとの形状マッチング値が、DとA~C、E~Gの全ての領域との形状マッチング値のうち最小である場合、AとDとのペアリングが成功した(ペアリング成功とも言う)とし;BとEとの形状マッチング値が、BとA、C~Gの全ての領域との形状マッチング値のうち最小であるが、EとBとの形状マッチング値が、EとA~D、F~Gの全ての領域との形状マッチング値のうち最小でない場合、BとEとのペアリングが失敗した(ペアリング失敗とも言う)とすることができる。
【0034】
本実施例では、カラー画像中のテールライトが所在する高輝度領域について、それは、所定色を有するため、1回目のペアリング及び2回目のペアリングを受けているが、カラー画像中のヘッドライトが所在する高輝度領域について、それは、一般的に、白色領域であり、所定色を有しないため、1回目のペアリング時に排除されており、直接、2回目のペアリングに入っている。
【0035】
ステップ105では、該第1組の高輝度領域ペア及び該第2組の高輝度領域ペアに基づいて、入力されたカラー画像中の車両の位置を確定する。
【0036】
例えば、該第1組の高輝度領域ペア及び該第2組の高輝度領域ペアのうちの全ての高輝度領域ペアに基づいて、車のライトと車の幅との通常(所定)の比を用いて、入力されたカラー画像中の車両の位置を確定することができる。
【0037】
図2は、本発明の実施例1の他の車両検出方法を示す図である。
図2に示すように、該方法は、次のようなステップを含む。
【0038】
ステップ201:入力されたカラー画像中の高輝度領域を確定し;
ステップ202:各高輝度領域周囲の画素の色に基づいて、該高輝度領域を拡張し;
ステップ203:拡張後の各高輝度領域に対して1回目の合理的な選択を行い、そのうち、拡張後の各高輝度領域に対して、該高輝度領域の面積及び/又は該高輝度領域のコンベクシティ(convexity)に基づいて選択を行い;
ステップ204:拡張後の1回目の合理的な選択後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、第1組の高輝度領域ペアを取得し;
ステップ205:1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行い、第2組の高輝度領域ペアを取得し;
ステップ206:第2組の高輝度領域ペアに対して2回目の合理的な選択を行い、そのうち、該第2組の高輝度領域ペア中の各高輝度領域ペアのサイズ、質量中心点の色差、質量中心点の輝度差、及び外接矩形の輝度ヒストグラムのうちの少なくとも1つに基づいて選択を行い、各高輝度領域ペアの重なり度合(degree of overlap)に基づいて合併を行うことで、2回目の合理的な選択後の第2組の高輝度領域ペアを取得し;
ステップ207:所定条件を満足するかを判断し、該所定条件は、例えば、1回目のペアリング、2回目のペアリング、及び2回目の合理的な選択が所定回数繰り返して行われたか、或いは、新たに増加したペアリング成功の高輝度領域ペアがないかである。判断結果が“はい”の場合、ステップ208に進み、判断結果が“いいえ”の場合、ステップ204に戻し;
ステップ208:ペアリング失敗の単一高輝度領域に対応するバーチャル高輝度領域を追加し、該単一高輝度領域及びそれに対応する該バーチャル高輝度領域からなる各高輝度領域ペアを第3組の高輝度領域ペアとし;
ステップ209:該第1組の高輝度領域ペア、2回目の合理的な選択後の該第2組の高輝度領域ペア、及び該第3組の高輝度領域ペアに基づいて、入力されたカラー画像中の車両の位置を確定する。
【0039】
本実施例では、ステップ201、202、204、205、209は、上述のステップ101~105と同様に行うことができ、ここでは、その詳しい説明を省略する。
【0040】
ステップ203では、拡張後の各高輝度領域に対して1回目の合理的な選択を行い、そのうち、拡張後の各高輝度領域について、該高輝度領域の面積及び/又は該高輝度領域のコンベクシティ(convexity)に基づいて選択を行う。1回目の合理的な選択を行った後に、明らかにヘッドライト及びテールライトに属しない高輝度領域を除去することができる。
【0041】
本実施例では、コンベクシティ(convexity)は、1つの形状の規則(regularity)程度を表すことができ、例えば、1つの領域のコンベクシティは、該領域の面積と、該領域をエンベロープする最小包絡(envelope)の周長との比である。
【0042】
ステップ206では、第2組の高輝度領域ペアに対して2回目の合理的な選択を行い、そのうち、該第2組の高輝度領域ペア中の各高輝度領域ペアのサイズ、質量中心点の色差、質量中心点の輝度差、及び外接矩形の輝度ヒストグラムのうちの少なくとも1つに基づいて選択を行い、各高輝度領域ペアの重なり度合に基づいて併合を行うことで、2回目の合理的な選択後の第2組の高輝度領域ペアを取得する。このように、路面反射などによる誤検出、及び、車両が複数ペアのライトを有する時の該車両に対しての重複検出を除去し、検出結果の正確性をさらに向上させることができる。
【0043】
本実施例では、ステップ204~206を繰り返して行うことで、検出漏れの可能性をさらに減らし、検出結果の全面性及び正確性をさらに向上させることができる。
【0044】
本実施例では、重複した(繰り返した)回数は、所定回数であっても良く、例えば、1回繰り返しても良い。或いは、ステップ204~206は、新たに増加したペアリング成功の高輝度領域ペアがないまで繰り返しても良い。
【0045】
ステップ208では、ペアリング失敗の単一高輝度領域に対応するバーチャル高輝度領域を追加し、該単一高輝度領域及びその対応する該バーチャル高輝度領域からなる各高輝度領域ペアを第3組の高輝度領域ペアとし、このように、ROI領域の制限、遮蔽、偶然のミスマッチなどの要因によりマッチング不成功になるが、実際には車のライト領域である高輝度領域を、検出結果に追加することができ、これにより、検出漏れの可能性をさらに減らし、検出結果の全面性及び正確性をより一層向上させることができる。
【0046】
この実施例から分かるように、カラー画像に対して直接検出を行い、また、2回の異なるペアリング処理を行うことで、車両のヘッドライト及びテールライトに対して同時に検出及びペアリングを行うことができ、また、車両の方向指示灯の検出結果への影響を避けることができ、これにより、検出漏れ及び誤検出の可能性を大幅に減らし、車両検出結果の全面性及び正確性を有効に向上させることができる。
【実施例2】
【0047】
本実施例は、車両検出装置を提供し、それは、実施例1に記載の車両検出方法に対応するので、該車両検出装置の具体的な実施は、実施例1の車両検出方法の実施を参照でき、重複説明は、省略される。
【0048】
図3は、本発明の実施例2の車両検出装置を示す図である。
図3に示すように、車両検出装置300は、次のようなものを含む。
【0049】
第一確定ユニット301:入力されたカラー画像中の高輝度領域を確定し;
拡張ユニット302:各高輝度領域周囲の画素の色に基づいて、該高輝度領域を拡張し;
第一ペアリングユニット303:拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、そのうち、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得し;
第二ペアリングユニット304:1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行い、そのうち、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得し;
第二確定ユニット305:該第1組の高輝度領域ペア及び該第2組の高輝度領域ペアに基づいて、入力されたカラー画像中の車両の位置を確定する。
【0050】
図4は、本発明の実施例2の他の車両検出装置を示す図である。
図4に示すように、車両検出装置400は、次のようなものを含む。
【0051】
第一確定ユニット401:入力されたカラー画像中の高輝度領域を確定し;
拡張ユニット402:各高輝度領域周囲の画素の色に基づいて、該高輝度領域を拡張し;
第一選択ユニット403:1回目のペアリングを行う前に、拡張後の各高輝度領域に対して1回目の合理的な選択を行い、そのうち、拡張後の各高輝度領域に対して、該高輝度領域の面積及び/又は該高輝度領域のコンベクシティに基づいて選択を行い;
第一ペアリングユニット404:拡張後の1回目の合理的な選択後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、そのうち、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得し;
第二ペアリングユニット405:1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行い、そのうち、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得し;
第二選択ユニット406:2回目のペアリングを行った後に、該第2組の高輝度領域ペアに対して2回目の合理的な選択を行い、そのうち、該第2組の高輝度領域ペア中の各高輝度領域ペアのサイズ、質量中心点の色差、質量中心点の輝度差、及び外接矩形の輝度ヒストグラムのうちの少なくとも1つに基づいて選択を行い、各高輝度領域ペアの重なり度合に基づいて併合を行うことで、2回目の合理的な選択後の第2組の高輝度領域ペアを取得し;
判断ユニット407:1回目のペアリング、2回目のペアリング、及び2回目の合理的な選択が所定回数繰り返されたか、或いは、新たに増加したペアリング成功の高輝度領域ペアがないかを判断し;
追加ユニット408:ペアリング失敗の単一高輝度領域に対応するバーチャル高輝度領域を追加し、単一高輝度領域及びその対応するバーチャル高輝度領域からなる各高輝度領域ペアを第3組の高輝度領域ペアとし;
第二確定ユニット409:該第1組の高輝度領域ペア、2回目の合理的な選択後の該第2組の高輝度領域ペア、及び該第3組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定する。
【0052】
この実施例から分かるように、カラー画像に対して直接検出を行い、また、2回の異なるペアリング処理を行うことで、車両のヘッドライト及びテールライトに対して同時に検出及びペアリングを行うことができ、また、車両の方向指示灯の検出結果への影響を避けることができ、これにより、検出漏れ及び誤検出の可能性を大幅に減らし、車両検出結果の全面性及び正確性を有効に向上させることができる。
【実施例3】
【0053】
本実施例は、電子機器を提供する。
図5は、本発明の実施例3の電子機器を示す図である。
図5に示すように、電子機器500は、車両検出装置501を含み、該車両検出装置501の構造及び機能は、実施例2中の記載と同じであるため、ここでは、その詳しい説明を省略する。
【0054】
図6は、本発明の実施例3の電子機器のシステム構成を示す図である。
図6に示すように、電子機器600は、中央処理装置601及び記憶器602を含んでも良く、該記憶器602は、該中央処理装置601に接続される。なお、該図は、例示に過ぎず、さらに他の類型の構造により該構造に対して補充又は代替を行うことで、電気通信機能又は他の機能を実現することもできる。
【0055】
図6に示すように、該電子機器600は、さらに、入力ユニット603、表示器604、及び電源605を含んでも良い。
【0056】
一実施方式では、実施例2に記載の車両検出装置の機能は、該中央処理装置601に統合することができる。そのうち、該中央処理装置601は、次のように構成されても良く、即ち、入力されたカラー画像中の高輝度領域を確定し;各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張し;拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、そのうち、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得し;1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行い、そのうち、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得し;及び、前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定する。
【0057】
例えば、各高輝度領域周囲の画素の色に基づいて前記高輝度領域を拡張することは、各高輝度領域周囲の所定色の画素を含めるように前記高輝度領域を拡張することを含む。
【0058】
例えば、該中央処理装置601は、さらに次のように構成されても良く、即ち、1回目のペアリングを行う前に、拡張後の各高輝度領域に対して1回目の合理的な選択を行い、そのうち、拡張後の各高輝度領域に対して、前記高輝度領域の面積及び/又は前記高輝度領域のコンベクシティに基づいて選択を行い、そして、拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、また、拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行うことは、拡張後の1回目の合理的な選択後の、所定色を有する高輝度領域に対して1回目のペアリングを行うことを含む。
【0059】
例えば、該中央処理装置601は、さらに次のように構成されても良く、即ち、2回目のペアリングを行った後に、前記第2組の高輝度領域ペアに対して2回目の合理的な選択を行い、そのうち、前記第2組の高輝度領域ペア中の各高輝度領域ペアのサイズ、質量中心点の色差、質量中心点の輝度差、及び外接矩形の輝度ヒストグラムのうちの少なくとも1つに基づいて選択を行い、各高輝度領域ペアの重なり度合に基づいて合併を行うことで、2回目の合理的な選択後の第2組の高輝度領域ペアを取得し、そして、前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定し、また、前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することは、前記第1組の高輝度領域ペア及び2回目の合理的な選択後の前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することを含む。
【0060】
例えば、該中央処理装置601は、さらに次のように構成されても良く、即ち、前記1回目のペアリング、前記2回目のペアリング、及び前記2回目の合理的な選択を所定回数繰り返し、或いは、前記1回目のペアリング、前記2回目のペアリング及び前記2回目の合理的な選択を、新たに増加したペアリング成功の高輝度領域ペアがないまで繰り返す。
【0061】
例えば、該中央処理装置601は、さらに次のように構成されても良く、即ち、ペアリング失敗の単一高輝度領域に対応するバーチャル高輝度領域を追加し、前記単一高輝度領域とその対応する前記バーチャル高輝度領域からなる各高輝度領域ペアを第3組の高輝度領域ペアとし、そして、前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定し、また、前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することは、前記第1組の高輝度領域ペア、前記2回目の合理的な選択後の第2組の高輝度領域ペア、及び前記第3組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することを含む。
【0062】
他の実施方式では、実施例2に記載の車両検出装置は、中央処理装置601と別々で構成されても良く、例えば、該車両検出装置を、該中央処理装置601に接続されるチップとして構成し、該中央処理装置601の制御下で該車両検出装置の機能を実現しても良い。
【0063】
本実施例では、該電子機器600は、必ずしも
図6に示す全ての部品を含む必要がない。
【0064】
図6に示すように、該中央処理装置601は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ或いは他の処理装置及び/又は論理装置を含んでも良く、該中央処理装置601は、入力を受信して該電子機器600の各部件の操作を制御することができる。
【0065】
該記憶器602は、例えば、バッファ、フレッシュメモリ、HDD、移動可能な媒体、揮発性記憶器、不揮発性記憶器又はその他の適切な装置のうちの1つ又は複数であっても良い。該中央処理装置601は、該記憶器602に記憶のプログラムを実行することで、情報の記憶や処理などを実現することができる。なお、他の部品の機能は、従来と同様であるため、ここでは、その詳しい説明を省略する。また、該電子機器600の各部品は、専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良く、これらは、すべて、本発明の範囲に属する。
【0066】
この実施例から分かるように、カラー画像に対して直接検出を行い、また、2回の異なるペアリング処理を行うことで、車両のヘッドライト及びテールライトに対して同時に検出及びペアリングを行うことができ、また、車両の方向指示灯の検出結果への影響を避けることができ、これにより、検出漏れ及び誤検出の可能性を大幅に減らし、車両検出結果の全面性及び正確性を有効に向上させることができる。
【0067】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、車両検出装置又は電子機器中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、車両検出装置又は電子機器中で実施例1に記載の車両検出方法を実行させることができる。
【0068】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、車両検出装置又は電子機器中で実施例1に記載の車両検出方法を実行させることができる。
【0069】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【0070】
また、以上の実施例などに関し、さらに次のような付記を開示する。
【0071】
(付記1)
車両検出装置であって、
入力されたカラー画像中の高輝度領域を確定するための第一確定ユニット;
各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張するための拡張ユニット;
拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行うための第一ペアリングユニットであって、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得する第一ペアリングユニット;
1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行うための第二ペアリングユニットであって、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得する第二ペアリングユニット;及び
前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定するための第二確定ユニットを含む、装置。
【0072】
(付記2)
付記1に記載の装置であって、
前記拡張ユニットは、各高輝度領域周囲の所定色の画素を含めるように前記高輝度領域を拡張する、装置。
【0073】
(付記3)
付記1に記載の装置であって、さらに、
1回目のペアリングを行う前に、拡張後の各高輝度領域に対して1回目の合理的な選択を行うための第一選択ユニットであって、拡張後の各高輝度領域に対して、前記高輝度領域の面積及び/又は前記高輝度領域のコンベクシティに基づいて選択を行う第一選択ユニットを含み、
前記第一ペアリングユニットは、拡張後の1回目の合理的な選択後の、所定色を有する高輝度領域に対して1回目のペアリングを行う、装置。
【0074】
(付記4)
付記3に記載の装置であって、さらに、
2回目のペアリングを行った後に、前記第2組の高輝度領域ペアに対して2回目の合理的な選択を行うための第二選択ユニットであって、前記第2組の高輝度領域ペア中の各高輝度領域ペアのサイズ、質量中心点の色差、質量中心点の輝度差、及び外接矩形の輝度ヒストグラムのうちの少なくとも1つに基づいて選択を行い、各高輝度領域ペアの重なり度合に基づいて併合を行うことで、2回目の合理的な選択後の第2組の高輝度領域ペアを取得する第二選択ユニットを含み、
前記第二確定ユニットは、前記第1組の高輝度領域ペア及び2回目の合理的な選択後の前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定する、装置。
【0075】
(付記5)
付記4に記載の装置であって、
前記第一ペアリングユニット、前記第二ペアリングユニット、及び前記第二選択ユニットは、前記1回目のペアリング、前記2回目のペアリング、及び前記2回目の合理的な選択を所定回数繰り返し、或いは、前記1回目のペアリング、前記2回目のペアリング、及び前記2回目の合理的な選択を、新たに増加したペアリング成功の高輝度領域ペアがないまで繰り返す、装置。
【0076】
(付記6)
付記5に記載の装置であって、さらに、
ペアリング失敗の単一高輝度領域に対応するバーチャル高輝度領域を追加し、前記単一高輝度領域及びその対応する前記バーチャル高輝度領域からなる各高輝度領域ペアを第3組の高輝度領域ペアとするための追加ユニットを含み、
前記第二確定ユニットは、前記第1組の高輝度領域ペア、2回目の合理的な選択後の前記第2組の高輝度領域ペア、及び前記第3組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定する、装置。
【0077】
(付記7)
付記1に記載の装置であって、
前記第1組のパラメータは、前記高輝度領域の垂直方向の座標値、外接矩形のアスペクト比、面積差、色差、及び形状マッチング程度のうちの少なくとも1つを含み、
前記第2組のパラメータは、前記高輝度領域の垂直方向の座標値、外接矩形のアスペクト比、及び面積差のうちの少なくとも1つを含む、装置。
【0078】
(付記8)、
付記1~7のうちの任意の1項に記載の車両検出装置を含む電子機器。
【0079】
(付記9)
車両検出方法であって、
入力されたカラー画像中の高輝度領域を確定し;
各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張し;
拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行い、そのうち、第1組のパラメータに基づいて各高輝度領域に対して選択を行い、任意の2つの高輝度領域の間のサイズの差に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第1組の高輝度領域ペアを取得し;
1回目のペアリング失敗の高輝度領域に対して2回目のペアリングを行い、そのうち、第2組のパラメータに基づいて1回目のペアリング失敗の高輝度領域に対して選択を行い、任意の2つの高輝度領域の間の形状マッチング程度に基づいて選択後の各高輝度領域に対してペアリングを行うことで、第2組の高輝度領域ペアを取得し;及び
前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することを含む、方法。
【0080】
(付記10)
付記9に記載の方法であって、
各高輝度領域周囲の画素の色に基づいて、前記高輝度領域を拡張することは、
各高輝度領域周囲の所定色の画素を含めるように前記高輝度領域を拡張することを含む、方法。
【0081】
(付記11)
付記9に記載の方法であって、さらに、
1回目のペアリングを行う前に、拡張後の各高輝度領域に対して1回目の合理的な選択を行い、そのうち、拡張後の各高輝度領域に対して、前記高輝度領域の面積及び/又は前記高輝度領域のコンベクシティに基づいて選択を行うことを含み、
拡張後の、所定色を有する高輝度領域に対して1回目のペアリングを行うことは、拡張後の1回目の合理的な選択後の、所定色を有する高輝度領域に対して1回目のペアリングを行うことを含む、方法。
【0082】
(付記12)
付記11に記載の方法であって、さらに、
2回目のペアリングを行った後に、前記第2組の高輝度領域ペアに対して2回目の合理的な選択を行い、そのうち、前記第2組の高輝度領域ペア中の各高輝度領域ペアのサイズ、質量中心点の色差、質量中心点の輝度差、及び外接矩形の輝度ヒストグラムのうちの少なくとも1つに基づいて選択を行い、各高輝度領域ペアの重なり度合に基づいて併合を行うことで、2回目の合理的な選択後の第2組の高輝度領域ペアを取得することを含み、
前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することは、
前記第1組の高輝度領域ペア及び2回目の合理的な選択後の前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することを含む、方法。
【0083】
(付記13)
付記12に記載の方法であって、さらに、
前記1回目のペアリング、前記2回目のペアリング、及び前記2回目の合理的な選択を所定回数繰り返し、或いは、前記1回目のペアリング、前記2回目のペアリング、及び前記2回目の合理的な選択を、新たに増加したペアリング成功の高輝度領域ペアがないまで繰り返すことを含む、方法。
【0084】
(付記14)
付記13に記載の方法であって、さらに、
ペアリング失敗の単一高輝度領域に対応するバーチャル高輝度領域を追加し、前記単一高輝度領域及びその対応する前記バーチャル高輝度領域からなる各高輝度領域ペアを第3組の高輝度領域ペアとすることを含み、
前記第1組の高輝度領域ペア及び前記第2組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することは、
前記第1組の高輝度領域ペア、2回目の合理的な選択後の前記第2組の高輝度領域ペア、及び前記第3組の高輝度領域ペアに基づいて、入力された前記カラー画像中の車両の位置を確定することを含む、方法。
【0085】
(付記15)
付記9に記載の方法であって、
前記第1組のパラメータは、前記高輝度領域の垂直方向の座標値、外接矩形のアスペクト比、面積差、色差、及び形状マッチング程度のうちの少なくとも1つを含み、
前記第2組のパラメータは、前記高輝度領域の垂直方向の座標値、外接矩形のアスペクト比、及び面積差のうちの少なくとも1つを含む、方法。
【0086】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。