知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】画像に基づく駐車検出方法、装置及び電子機器
(51)【国際特許分類】
G08G 1/04 20060101AFI20240214BHJP
G06T 7/00 20170101ALI20240214BHJP
【ＦＩ】
G08G1/04 C
G06T7/00 650Z
【請求項の数】
8
(21)【出願番号】P 2020086814
(22)【出願日】2020-05-18
(65)【公開番号】P2020205036
(43)【公開日】2020-12-24
【審査請求日】2023-02-09
(31)【優先権主張番号】201910514419.1
(32)【優先日】2019-06-14
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ジャン・ナヌ
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開２００９－１５７４９２（ＪＰ，Ａ）
【文献】特開２０１９－００８４３３（ＪＰ，Ａ）
【文献】特開２００６－０４８２３８（ＪＰ，Ａ）
【文献】特開２００５－２２２２４１（ＪＰ，Ａ）
【文献】特表２０１７－５０５９４６（ＪＰ，Ａ）
【文献】特開２０１２－０４１０３９（ＪＰ，Ａ）
【文献】中国特許出願公開第１０２４９６２７２（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
Ｂ６０Ｗ ３０／００ － ６０／００
Ｂ６０Ｒ ２１／００ － ２１／０１７
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
画像に基づく駐車検出装置であって、画像における車両のライトを検出する第一検出ユニット；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定の周波数で明滅（ｆｌｉｃｋｅｒ）するかを判断する第一判断ユニット；及び
明滅の判断結果に基づいて、駐車行為が現れるかを判定する第二判断ユニットを含み、
前記第一判断ユニットが、前記ライトが所定の周波数で明滅するかを判断することは、
前記ライトの検出結果に基づいて、光検出範囲を設定し；
前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；
時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
前記面積の周波数領域における分布に基づいて、前記ライトからの光が所定の周波数で明滅するかを判断することを含む、駐車検出装置。
【請求項2】
請求項１に記載の駐車検出装置であって、前記面積の周波数領域における分布に基づいて、前記ライトからの光が所定の周波数で明滅するかを判断することは、
周波数領域信号の所定周波数範囲における平均値と、最大値との比に基づいて、前記ライトが所定の周波数で明滅するかを判定することを含む、駐車検出装置。
【請求項3】
請求項１に記載の駐車検出装置であって、前記第二判断ユニットが明滅の判断結果に基づいて、駐車行為が現れるかを判定することは、
時系列の一連の画像フレームのうち、明滅していると判定された画像フレームの持続時間が所定閾値を超えたときに、車両が駐車状態にあると判定することを含む、駐車検出装置。
【請求項4】
請求項１に記載の駐車検出装置であって、前記画像における車両を検出する第二検出ユニット；及び
検出された車両を追跡する追跡ユニットをさらに含む、駐車検出装置。
【請求項5】
請求項４に記載の駐車検出装置であって、前記追跡ユニットが、検出された車両を追跡することは、
車両と検出されたブロブのために情報表を生成し；及び
現在の画像に既存のブロブとマッチしたブロブが存在するときに、前記情報表を更新し、又は、現在の画像に既存のブロブとマッチしたブロブが存在しないときに、前記既存のブロブの計数値に１をプラスすることを含む、駐車検出装置。
【請求項6】
請求項５に記載の駐車検出装置であって、前記追跡ユニットが、検出された車両を追跡することは、
前記既存のブロブの計数値が閾値を超えたときに、前記既存のブロブの情報を削除することをさらに含む、駐車検出装置。
【請求項7】
請求項１－６のうちの任意の１項に記載の駐車検出装置を含む電子機器。
【請求項8】
画像に基づく駐車検出方法であって、画像における車両のライトを検出し；
前記ライトからの光に対しての周波数領域分析結果に基づいて、前記ライトが所定の周波数で明滅するかを判断し；及び
明滅の判断結果に基づいて、駐車行為が現れるかを判断することを含み、
前記ライトが所定の周波数で明滅するかを判断することは、
前記ライトの検出結果に基づいて、光検出範囲を設定し；
前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；
時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
前記面積の周波数領域における分布に基づいて、前記ライトからの光が所定の周波数で明滅するかを判断することを含む、駐車検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子情報技術分野に関する。
【背景技術】
【0002】
違法駐車が交通監視時に検出する必要のある重要な違法行為である。特に、比較的暗い環境、例えば、夜又はトンネルの中で、違法駐車は、多くの交通事故を引き起こすことがある。
【0003】
今のところ、非法駐車に対しての検出方法は、殆ど、ターゲット抽出及び軌迹分析に基づくものであり、即ち、監視画像における車両を抽出し、車両の移動軌迹を分析し、そして、車両の移動軌迹に基づいて駐車の有無を判断するものである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の発明者が次のようなことを発見した。即ち、ターゲット抽出及び軌迹分析に基づいて駐車を検出する方法では、環境光が比較的暗いときに、車両追跡が比較的に困難であり、また、車両のライトからの光の輝度が環境よりも高いから、車両の連続追跡がかなり難く、一部の駐車の検出漏れが発生しやすい。
【0005】
本発明の実施例は、画像に基づく駐車検出方法、装置及び電子機器を提供する。駐車時に、車両の警報灯が通常明滅するので、本発明による駐車検出方法では、画像における光に対しての周波数領域分析結果に基づいて、画像における車両のライトが所定周波数で明滅するかを判断することで、駐車の有無を判定することができる。周波数領域分析結果に基づいて検出を行うから、干渉を避け、誤検出の確率を下げることができる。また、ライトの明滅を検出の根拠とするため、簡単であるだけでなく、比較的暗い環境、例えば、トンネルの中にも適用することができる。
【課題を解決するための手段】
【0006】
本発明の実施例の第一側面によれば、画像に基づく駐車検出装置が提供され、それは、
画像における車両のライト（light）を検出する第一検出ユニット；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定周波数で明滅するかを判断する第一判断ユニット；及び
明滅の判断結果に基づいて、駐車状態にあるかを判定する第二判断ユニットを含む。
画像における車両のライト（light）を検出する第一検出ユニット；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定周波数で明滅するかを判断する第一判断ユニット；及び
明滅の判断結果に基づいて、駐車状態にあるかを判定する第二判断ユニットを含む。
【0007】
本発明の実施例の第二側面によれば、画像に基づく駐車検出方法が提供され、それは、
画像における車両のライト（light）を検出し；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定周波数で明滅するかを判断し；及び
明滅の判断結果に基づいて、駐車状態にあるかを判定することを含む。
画像における車両のライト（light）を検出し；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定周波数で明滅するかを判断し；及び
明滅の判断結果に基づいて、駐車状態にあるかを判定することを含む。
【0008】
本発明の有益な効果の1つは、簡単で且つ正確な方法により駐車検出を行うことで、誤検出を避けることができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施例の第一側面における画像に基づく駐車検出方法を示す図である。
【図2】操作105でコンテナにおける1つの既存の車両の追跡情報を更新することを示す図である。
【図3】操作101で車両のライトを検出する方法を示す図である。
【図4】本発明の実施例の第一側面における操作102を示す図である。
【図5】光検出範囲を示す図である。
【図6】（a）は、光領域面積に記憶される情報を示し、（b）は、（a）に対しての離散フーリエ変換後の結果を示す図である。
【図7】本発明の実施例の第二側面における画像に基づく駐車検出装置を示図である。
【図8】本発明の実施例の第三側面における電子機器の構成を示す図である。
【発明を実施するための形態】
【0010】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【0011】
＜実施例の第一側面＞
本発明の実施例の第一側面では、画像に基づく駐車検出方法が提供される。
本発明の実施例の第一側面では、画像に基づく駐車検出方法が提供される。
【0012】
図1は、本発明の実施例の第一側面における画像に基づく駐車検出方法を示す図である。該方法100は、以下の操作を含む。
【0013】
操作101：画像における車両のライト（light）を検出し；
操作102：前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定の周波数で明滅するかを判断する；及び
操作103：明滅の判断結果に基づいて、駐車の有無を判定する。
操作102：前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定の周波数で明滅するかを判断する；及び
操作103：明滅の判断結果に基づいて、駐車の有無を判定する。
【0014】
本発明の実施例の第一側面によれば、画像における光に対しての周波数領域分析結果に基づいて、画像における車両のライトが所定周波数で明滅するかを判断し、これにより、駐車が存在するかを検出することができる。周波数領域分析結果に基づいて検出を行うため、干渉を避け、誤検出の確率を低減することができる。また、ライトの明滅を検出の根拠とするので、簡単であるだけでなく、比較的暗い環境、例えば、トンネルの中にも適用することができる。
【0015】
少なくとも1つの実施例では、図1に示すように、画像に基づく駐車検出方法100は、さらに、以下の操作を含んでも良い。
【0016】
操作104：画像における車両を検出し；及び
操作105：検出された車両を追跡する。
操作105：検出された車両を追跡する。
【0017】
操作104及び操作105により、画像における車両を追跡することができ、これにより、操作101は、追跡した車両の所在する画像領域において車両のライトを検出することができる。
【0018】
本発明の実施例の第一側面では、画像に基づく駐車検出方法100は、複数のフレームの画像に対して処理を行って良く、そのうち、各フレームの画像について、操作104で画像における車両を検出し；操作105によって、検出された車両を追跡することで、各車両の追跡情報を取得し；操作101で車両のライト（light）を検出し；その後、操作102でライトからの光の面積を計算し、複数のフレームの画像における光の面積の周波数領域における分布を分析し、該周波数領域における分布に基づいて、ライトが所定の周波数で明滅するかを判断し；操作103では、操作102の判断結果に基づいて、駐車行為が生じるかを判断する。
【0019】
また、操作104及び操作105は、本発明による画像に基づく駐車検出方法100に含まれなくても良く、即ち、画像に基づく駐車検出方法100の操作101は、操作104及び操作105の検出結果のみを使用することもできる。
【0020】
以下、操作104、操作105、操作101、操作102、及び操作103について詳細に説明する。
【0021】
操作104では、機械学習方法で各フレーム画像における車両を検出することができ、該機器学習方法は、例えば、方向勾配ヒストグラム+カスケード（HOG+cascade）方法である。また、本発明は、これに限られず、車両の検出は、他の方法、例えば、ディープラーニング方法、又は、ダークシーン（dark scene）におけるライト検出などを使っても良い。
【0022】
操作104では、車両に対しての検出が画像の特定領域に対して行われても良く、該特定領域は、例えば、画像における道路レーン（road lane）の所在する領域、又は、画像の前景領域であっても良い。
【0023】
操作104では、検出された各車両が画像において1つのブロブ（blob）に対応するようにさせる。
【0024】
操作105では、操作104で検出された各車両のためにそれぞれ1つの記憶空間をメンテナンスすることができ、該記憶空間は、該車両に関連する追跡情報を記憶するために用いられる。ここで、1つの記憶空間をメンテナンスすることは、該記憶空間を割り当て、及び／又は、該記憶空間を削除し、及び／又は、該記憶空間における追跡情報を設定及び更新し、及び／又は、該記憶空間における追跡情報を削除するなどを含む。
【0025】
また、検出された各車両に対応する記憶空間は、記憶器の所定空間に設定されても良く、該所定空間は、追跡コンテナ（container）と称されても良い。
【0026】
表1は、追跡情報に含まれる情報の1つの例示的なリストである。
【表1】
【0027】
ここで、第一数量（status_num）は、例えば、5であり、第二数量（buf_num）は、例えば、44であっても良い。
【0028】
操作104で現在の画像フレームに対して検出を行い、且つ現在の画像フレームに車両があると検出されたときに、操作105では、コンテナにおける各既存の車両の情報と、現在の画像フレームにおいて検出された車両のブロブ（blob）とのマッチングを行う。該マッチングは、例えば、コンテナにおける或る既存の車両の追跡枠と、現在の画像フレームにおいて検出された或る車両のブロブ（blob）との中心距離及び重畳面積の比較を行っても良く、両者の中心距離が第一閾値よりも小さく、及び／又は、両者の重畳面積が第二閾値よりも大きい場合、両者がマッチしたと判断し、そうでない場合、両者がマッチしないと判断する。
【0029】
操作105では、コンテナにおける或る既存の車両の情報が現在の画像フレームにおいて検出された或る車両のブロブ（blob）とマッチし得る場合、現在の画像フレームにおいて検出された車両のブロブ（blob）の情報を用いてコンテナにおける該既存の車両の情報を更新し、例えば、コンテナにおける該既存の車両のフレーム計数値（frame_cnt）に所定値（例えば、1）をプラスし、また、コンテナにおけり該既存の車両の追跡枠（track_rect）を現在の画像フレームにおいて検出された該車両のブロブの矩形状枠の位置及び面積に更新する。
【0030】
操作105では、コンテナにおける或る既存の車両の情報が現在の画像フレームにおいて検出されたいずれの車両のブロブ（blob）とマッチしない場合、最も近い1フレームの、該既存の車両が検出された画像における該車両の画像（image）をテンプレート（template）とし、現在の画像フレームにおいてテンプレートマッチングに基づく検出を行い、テンプレートマッチングに基づく検出に成功した場合、現在のフレーム画像においてテンプレートマッチングに成功した領域の情報を用いて、コンテナにおける該既存の車両の情報を更新し、例えば、コンテナにおける該既存の車両のフレーム計数値（frame_cnt）に所定値（例えば、1）をプラスし、また、コンテナにおける該既存の車両の追跡枠（track_rect）を現在の画像フレームにおいてテンプレートマッチングに成功した領域のブロブの矩形状枠の位置及び面積に更新する。これにより、テンプレートマッチングに基づく検出方法を用いることで、車両の検出漏れを避け、追跡の正確性を確保することができる。
【0031】
操作105では、テンプレートマッチングに基づく検出に失敗した場合、コンテナにおける該既存の車両の保持計数値（hold_cnt）に所定値、例え、1をプラスする。
【0032】
操作105では、コンテナにおける該既存の車両の保持計数値（hold_cnt）が閾値hold_thres以上である場合、コンテナから該既存の車両に関連する追跡情報を削除する。これにより、追跡情報を削除することで、コンテナの記憶空間を節約し、処理速度を上げ、誤検出結果を避けることができる。ここで、閾値hold_thresは、例えば、10である。
【0033】
操作105では、操作104で検出された各車両について、さらに、検出された該車両の画像におけるブロブ（blob）と、追跡コンテナに記憶の情報との比較を行い、該ブロブがコンテナにおける既存の車両とマッチし得るかを判断し、マッチし得る場合、該ブロブの情報を用いて追跡コンテナにおける情報を更新し、更新の内容は、前述の説明を参照することができる。また、マッチすることができない場合、該ブロブが新しく検出された車両に対応すると見なす。
【0034】
操作105では、操作104で新しく検出された各車両に1つの記憶空間を割り当てても良く、該記憶空間は、該車両に関連する追跡情報を記憶するために用いられる。新しく検出された該車両について、表1における追跡枠（track_rect）には、新しく検出された該車両の矩形状枠を与えても良く、表1における他の情報の値には、初期値を与えても良く、該初期値は、例えば、0である。後続の画像フレームを処理するときに、検出された結果に基づいて、これらの情報の初期値は、他の値に更新することもできる。
【0035】
【0036】
操作201：該既存の車両に対応する保持計数値（hold_cnt）が閾値（hold_thres）よりも小さいかを判断し、“はい”の場合、操作202に進み、“いいえ”の場合、操作203に進み；
操作202：該既存の車両のブロブと、現在の画像フレームにおいて検出された各車両のブロブとのマッチングを行い；
操作203：コンテナから該既存の車両に関連する追跡情報を削除し；
操作204：操作201でマッチした数が0であるかを判断し、“ばい”の場合、操作205に進に、“いいえ”の場合、操作207に進み；
操作205：テンプレートマッチングに基づく検出を行い、例えば、最も近い1フレームの、該既存の車両が検出された画像における該車両の画像（image）をテンプレート（template）とし、現在の画像フレームにおいてテンプレートマッチングに基づく検出を行い；
操作206：テンプレートマッチングベースの検出に成功したかを判断し、“はい”の場合、操作207に進み、“いいえ”の場合、操作208に進み；
操作207：コンテナにおける該既存の車両の情報を更新し、例えば、現在のフレーム画像においてテンプレートマッチングに成功した領域の情報を用いて、コンテナにおける該既存の車両の情報を更新し、又は、現在の画像フレームにおいて検出された車両のブロブの情報を用いて、コンテナにおける該既存の車両の情報を更新し；
操作208：該既存の車両に対応する保持計数値（hold_cnt）に1をプラスする。
操作202：該既存の車両のブロブと、現在の画像フレームにおいて検出された各車両のブロブとのマッチングを行い；
操作203：コンテナから該既存の車両に関連する追跡情報を削除し；
操作204：操作201でマッチした数が0であるかを判断し、“ばい”の場合、操作205に進に、“いいえ”の場合、操作207に進み；
操作205：テンプレートマッチングに基づく検出を行い、例えば、最も近い1フレームの、該既存の車両が検出された画像における該車両の画像（image）をテンプレート（template）とし、現在の画像フレームにおいてテンプレートマッチングに基づく検出を行い；
操作206：テンプレートマッチングベースの検出に成功したかを判断し、“はい”の場合、操作207に進み、“いいえ”の場合、操作208に進み；
操作207：コンテナにおける該既存の車両の情報を更新し、例えば、現在のフレーム画像においてテンプレートマッチングに成功した領域の情報を用いて、コンテナにおける該既存の車両の情報を更新し、又は、現在の画像フレームにおいて検出された車両のブロブの情報を用いて、コンテナにおける該既存の車両の情報を更新し；
操作208：該既存の車両に対応する保持計数値（hold_cnt）に1をプラスする。
【0037】
操作104で現在のフレーム画像において車両が検出された場合、操作105は、図2に示す方法を用いて、コンテナにおける各既存の車両の追跡情報に対して更新を行うことができる。
【0038】
本発明の少なくとも1つの実施例では、操作101で、操作104により検出された車両の領域において車両のライトを検出することができ、車両のライトは、1つのライトであっても良く、1対のライト、即ち、ライトペアであっても良い。本発明の以下の説明では、ライトの検出を例として説明を行う。
【0039】
図3は、操作101で車両のライトを検出する方法を示す図である。
【0040】
図3の（a）に示すように、画像において車両が検出された領域をグレースケール画像301に変換することができる。
【0041】
図3の（b）に示すように、操作101では、グレースケール画像301を2値画像302に変換し、例えば、グレースケール画像301における画素値が閾値よりも大きい画素を白色画素と設定し、グレースケール画像301における画素値が閾値以下である画素を黒色画素と設定する。
【0042】
図3の（c）に示すように、2値画像302における白色画素の集まりの領域の輪郭と、ライトペアの輪郭とのマッチングを行い、マッチした領域の白色画素を保留し、マッチしない領域の白色画素を削除し、これにより、マッチング後の画像303を得ることができる。ここで、ライトペアの輪郭とは、2つの領域の中心の画像の高さ方向H上での位置が同じであり、画像の水平方向W上で所定の距離を有することを指す。
【0043】
【0044】
操作401：ライトの検出結果に基づいて、光検出範囲を設定し；
操作402：前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；及び
操作403：時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
操作404：前記面積の周波数領域における分布に基づいて、ライトからの光が所定周波数で明滅するかを判断する。
操作402：前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；及び
操作403：時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
操作404：前記面積の周波数領域における分布に基づいて、ライトからの光が所定周波数で明滅するかを判断する。
【0045】
操作401では、操作101でのライトの検出結果に基づいて光検出範囲を設定することができる。図5は、光検出範囲を示す図である。図5に示すように、P1及びP2は、図3の（c）に示すライトペアの2つのライトに対応する白色画素領域各自の中心点であり、Cは、P1とP2の中心点であり、Cを中心として光検出範囲500を設定することができ、該光検出範囲500は、少なくとも、P1及びP2を含み、例えば、光検出範囲500は、1つの矩形状領域であり、その高さ及び幅は、ともに、2*|P2-P1|である。
【0046】
操作402では、操作104で検出された画像について、該画像において光検出範囲500により設定される領域内で所定色又は所定輝度の領域の面積を検出することができる。ここで、所定色の領域は、例えば、赤色領域、及び／又は、黄色領域であっても良く、所定輝度の領域は、輝度が輝度閾値よりも高い領域、即ち、高輝度の領域であっても良い。
【0047】
操作402では、図3の（c）に示すライトペアの2つのライトに対応する白色画素領域における白色画素の数を計算し、該白色画素の数を高輝度の領域の面積としても良い。例えば、検出された或る車両について、第k個目のフレーム画像では、該車両に対応する光検出範囲500内で高輝度の領域の面積がlkである。
【0048】
操作402では、画像における光検出範囲500内での以下の式（1）を満足する画素を赤色画素としても良い。
【数1】
【0049】
ここで、赤色画素の画像における幅方向の座標は、xであり、画像の高さ方向の座標は、yであり、Rx，yは、該赤色画素の赤色チャンネルの数値範囲を示し、Gx，yは、該赤色画素の緑色チャンネルの数値範囲を示し、Bx，yは、該赤色画素の青色チャンネルの数値範囲を示す。なお、上述の各色チャンネルの数値範囲は、他の値であっても良い。
【0050】
操作402では、光検出範囲500内での赤色画素の数を赤色画素の領域の面積として計算する。例えば、検出された或る車両について、第k個目のフレーム画像では、該車両に対応する光検出範囲500内で赤色画素の領域の面積がrkである。
【0051】
操作402では、画像における光検出範囲500内での以下の式（2）を満たす画素を黄色画素とすることができる。
【数2】
【0052】
ここで、黄色画素の画像における幅方向の座標は、xであり、画像の高さ方向の座標は、yであり、Rx，yは、該黄色画素の赤色チャンネルの数値範囲を示し、Gx，yは、該黄色画素の緑色チャンネルの数値範囲を示し、Bx，yは、該黄色画素の青色チャンネルの数値範囲を示す。なお、上述の各色チャンネルの数値範囲は、他の値であっても良い。
【0053】
操作402では、光検出範囲500内での黄色画素の数を黄色画素の領域の面積として計算する。例えば、検出された或る車両について、第k個目のフレーム画像では、該車両に対応する光検出範囲500内で黄色画素の領域の面積がykである。
【0054】
少なくとも1つの実施例では、操作402で検出された高輝度領域の面積lk、及び／又は、赤色領域の面積rk、及び／又は、黄色領域の面積ykをそれぞれ検出された該車両に対応する追跡情報における対応情報、例えば、光領域面積（light_area_buffer）、及び／又は、赤色光暈領域面積（redhalo_area_buffer）、及び／又は、黄色光暈領域面積（yellohalo_area_buffer）に保存することができる。
【0055】
ここで、光領域面積（light_area_buffer）、赤色光暈領域面積（redhalo_area_buffer）、及び黄色光暈領域面積（yellohalo_area_buffer）は、それぞれ、所定数の面積値を記憶しても良く、これにより、時系列の複数の画像の高輝度領域の面積、及び／又は、赤色領域の面積、及び／又は、黄色領域の面積を記録することができる。該所定数は、例えば、Nであり、Nが44であっても良く、これにより、光領域面積（light_area_buffer）に記憶の情報は、{lk-44、lk-43、…，lk}であり、赤色光暈領域面積（redhalo_area_buffer）に記憶の情報は、{rk-44，rk-43，…、rk}であり、黄色光暈領域面積（yellohalo_area_buffer）に記憶の情報は、{yk-44，yk-43，…、yk}である。
【0056】
操作403では、コンテナにおける光領域面積（light_area_buffer）に記憶の情報、赤色光暈領域面積（redhalo_area_buffer）に記憶の情報、黄色光暈領域面積（yellohalo_area_buffer）に記憶の情報に対してそれぞれ離散フーリエ変換（DFT、Discrete Fourier Transform）を行い、これにより、ライトからの光に対して周波数領域分析を行うことができる。離散フーリエ変換は、例えば、以下の式（3）を採用することができる。
【数3】
【0057】
ここで、xnは、離散フーリエ変換の出力結果であり、Xkは、離散フーリエの入力信号を示し、例えば、Xkは、{lk-44，lk-43，…，lk}、{rk-44，rk-43，…，rk}、又は、{yk-44，yk-43，…，yk}であり、離散フーリエ変換が対称的な操作であるので、n=0，…，（N／2）+1である。
【0058】
図6の（a）は、光領域面積（light_area_buffer）に記憶の情報を示す図であり、該情報は、高輝度領域の面積の時間領域における変化を表し、そのうち、図6の（a）の横軸は、画像フレームの番号を示し、即ち、k-44，-43，…，kであり、縦軸は、高輝度領域の面積を示す。
【0059】
図6の（b）は、図6の（a）に対しての離散フーリエ変換の後の結果であり、該結果は、高輝度領域の面積の周波数領域における変化を表し、そのうち、横軸は、サンプリング間隔又は単位時間内でのサンプリングポイント数を示し、縦軸は、信号強度又は信号振幅を示す。例えば、図6の（a）について6のサンプリング間隔でサンプリングすれば、信号強度は、大抵、1500に等しく、6つの面積ピークの和に相当する。
【0060】
図6の（b）に示すように、フーリエ変換後に、信号のピーク（peak）に対応するサンプリング間隔は、6であり、即ち、ライトは、6フレーム画像ごとに1回明滅する。
【0061】
また、本発明における画像フレームが例えば、毎秒10フレームの速度で操作104に入力され、警報灯の明滅周波数が1.5±0.5Hzであり、即ち、毎秒1～2回明滅するときに、離散フーリエ変換結果の所定のサンプリング間隔分布範囲[T1，T2]内でピークが現れ得る。図6の（b）において[T1，T2]が[5、10]であり、且つ、図6の（b）に示すように、サンプリング間隔が[5、10]の範囲内で、ピークが現れている。
【0062】
本発明では、赤色光暈領域面積（redhalo_area_buffer）に記憶の情報及び黄色光暈領域面積（yellohalo_area_buffer）に記憶の情報に対してもそれぞれ離散フーリエ変換（DFT、Discrete Fourier Transform）を行う。なお、フーリエ変換の結果が図6の（b）に示す画像と同様であるため、ここでは、重複説明が省略される。
【0063】
操作404では、上述の3つの離散フーリエ変換結果のうちの1つが所定条件を満足する場合、車両のライトが所定周波数で明滅すると判断する。
【0064】
該所定条件は、離散フーリエ変換結果の所定のサンプリング間隔範囲[T1，T2]の中の縦座標上の平均値と、最大値との比が所定閾値よりも小さいことを含む。例えば、該所定条件は、以下の式（4）と表されても良く、該所定閾値は、例えば、0.36である。
【数4】
【0065】
ここで、statusは、ライトが所定周波数で明滅するかの判断結果を表し、“はい”の場合、statusは、1であり、“いいえ”の場合、statusは、0である。
【0066】
MAは、離散フーリエ変換結果の所定のサンプリング間隔範囲[T1，T2]の中の縦座標上の最大値を表し、以下の式（5）で計算することができる。
【数5】
【0067】
avgは、離散フーリエ変換結果の所定のサンプリング間隔範囲[T1，T2]の中の縦座標上の平均値を表し、以下の式（6）で計算することができる。
【数6】
【0068】
少なくとも1つの実施例では、表1における駐車状態（hazard_status_buffer）の情報に、最も近い第一数量（status_num）の画像フレームの駐車状態検出結果statuskがあっても良く、該第一数量は、例えば、5であり、駐車状態（hazard_status_buffer）の情報は、例えば、{status1、status2、status3、status4、status5}であっても良く、駐車状態（hazard_status_buffer）の情報を設定する目的は、誤検出を避けることにある。現在の画像フレームにおけるライト明滅状態statusが検出されたときに、該状態は、status5として駐車状態（hazard_status_buffer）の情報に格納され、元のstatus1は、削除される。
【0069】
駐車状態（hazard_status_buffer）の情報における1の数が閾値status_thresよりも大きい場合、コンテナにおける明滅フラグ（hazard_flag）の情報が1と設定され、そうでない場合、明滅フラグ（hazard_flag）の情報が0と設定される。明滅フラグ（hazard_flag）の情報が0から1に設定されるときに、コンテナにおける明滅開始番号（hazard_start_ID）の情報を現在の画像フレームのフレーム番号と設定することができ、また、後続の明滅フラグ（hazard_flag）の情報が1と保持される場合、明滅開始番号（hazard_start_ID）の情報が不変と保持される。
【0070】
操作103では、時系列の一連の画像のうち、明滅していると判定された画像フレームの持続時間が所定値thres_t1を超えたときに、該車両が駐車状態にあると判断する。
【0071】
例えば、現在の画像フレームの番号がkであり、入力画像のフレームレートがfであり、ライト明滅の持続時間がhazard_t=|k-hazard_start_ID|／fであるときに、hazard_tが所定閾値thres_t1より大きい場合、該車両が駐車状態にあると判断する。
【0072】
また、1つの車両に対して持続追跡を行う時間が所定時間を超えたときにでも、該車両が駐車状態にあると判定することができ、例えば、1つの車両に対して持続追跡を行うフレーム数がコンテナのフレーム計数値（frame_cnt）の情報に格納されても良く、frame_cntが所定閾値thres_t2よりも大きい場合、該車両が駐車状態にあると判断することができる。
【0073】
本発明の実施例の第一側面によれば、画像における光に対しての周波数領域分析結果に基づいて、画像における車両のライトが所定の周波数で明滅するかを判断することで、駐車状態にあるかを判断することができる。周波数領域分析結果に基づいて検出を行うため、干渉を避け、誤検出の確率を減少させることができる。また、ライトの明滅を検出の根拠とするから、簡単であるのみならず、比較的暗い環境、例えば、トンネルの中にも適用することができる。
【0074】
＜実施例の第二側面＞
本発明の実施例の第二側面によれば、画像に基づく駐車検出装置が提供され、この装置は、実施例1の画像に基づく駐車検出方法に対応する。
本発明の実施例の第二側面によれば、画像に基づく駐車検出装置が提供され、この装置は、実施例1の画像に基づく駐車検出方法に対応する。
【0075】
【0076】
少なくとも1つの実施例では、第一検出ユニット701は、画像における車両のライト（light）を検出し；第一判断ユニット702は、前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定の周波数で明滅するかを判断し；第二判断ユニット703は、明滅の判断結果に基づいて駐車状態にあるかを判定する。
【0077】
少なくとも1つの少なくとも1つの実施例では、第一判断ユニット701が、ライトが所定の周波数で明滅するかを判断することは、以下の操作を含み、
操作401：ライトの検出結果に基づいて、光検出範囲を設定し；
操作402：前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；
操作403：時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
操作404：前記面積の周波数領域における分布に基づいて、ライトからの光が所定周波数で明滅するかを判断する。
操作401：ライトの検出結果に基づいて、光検出範囲を設定し；
操作402：前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；
操作403：時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
操作404：前記面積の周波数領域における分布に基づいて、ライトからの光が所定周波数で明滅するかを判断する。
【0078】
操作404では、周波数領域信号の所定周波数範囲における平均値（avg）と、最大値（MA）との比（avg／MA）に基づいて、ライトが所定の周波数で明滅するかを判定する。
【0079】
少なくとも1つの実施例では、第二判断ユニット703は、時系列の一連の画像フレームのうち、明滅していると判定された画像フレームの持続時間が所定閾値を超えたときに、該車両が駐車状態にあると判定する。
【0080】
【0081】
ここで、追跡ユニット705が検出された車両を追跡することは、
車両と検出されたブロブ（blob）のために情報表をビルドし；及び
現在の画像に既存のブロブとマッチしたブロブが存在するときに、該情報表を更新し、又は、現在の画像に既存のブロブとマッチしたブロブが存在しないときに、該既存のブロブの計数値（hold_cnt）に1をプラスすることを含む。
車両と検出されたブロブ（blob）のために情報表をビルドし；及び
現在の画像に既存のブロブとマッチしたブロブが存在するときに、該情報表を更新し、又は、現在の画像に既存のブロブとマッチしたブロブが存在しないときに、該既存のブロブの計数値（hold_cnt）に1をプラスすることを含む。
【0082】
ここで、追跡ユニット705が検出された車両を追跡（tracking）することは、さらに、該既存のブロブの計数値（hold_cnt）が閾値（hold_thres）を超えたときに、該ブロブの情報を削除することを含む。
【0083】
本発明の実施例の第二側面によれば、画像における光に対しての周波数領域分析結果に基づいて、画像における車両のライトが所定周波数で明滅するかを判断することで、駐車状態にあるかを検出することができる。周波数領域分析結果に基づいて検出を行うので、干渉を避け、誤検出の確率を減少させることができる。また、ライトの明滅を検出の根拠とするため、簡単であるだけでなく、光が比較的暗い環境、例えば、トンネルにも適用することができる
＜実施例の第三側面＞
本発明の実施例の第三側面によれば、電子機器が提供され、前記電子機器は、実施例の第二側面に記載の画像に基づく駐車検出装置を含む。
＜実施例の第三側面＞
本発明の実施例の第三側面によれば、電子機器が提供され、前記電子機器は、実施例の第二側面に記載の画像に基づく駐車検出装置を含む。
【0084】
図8は、本発明の実施例の第三側面における電子機器の構成図である。図8に示すように、電子機器800は、中央処理装置（CPU）801及び記憶器802を含んでも良く、記憶器802は、中央処理装置801に接続される。該記憶器802は、各種のデータを記憶しても良く、また、制御用のプログラムをさらに記憶しても良く、且つ中央処理装置801の制御下で該プログラムを実行することができる。
【0085】
1つの実施例では、画像に基づく駐車検出装置700の機能が中央処理器801に集積されても良い。中央処理器801は、実施例の第一側面に記載の画像に基づく駐車検出方法を実行するように構成されても良い。
【0086】
もう１つの実施例では、画像に基づく駐車検出装置700は、処理器801と別々で配置されても良く、例えば、画像に基づく駐車検出装置700を、処理器801と接続されるチップとして構成し、処理器801の制御により、画像に基づく駐車検出装置700の機能を実現しても良い。
【0087】
また、図8に示すように、電子機器800は、さらに、入出力ユニット803及び表示ユニット804などを含んでも良い。上述の部品の機能が従来技術と同様であるため、ここでは、詳しい説明を省略する。なお、電子機器800は、図8に示す全ての部品を含む必要がない。また、電子機器800は、さらに、図8に無い部品を含んでも良く、これについては、従来技術を参照することができる。
【0088】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、画像に基づく駐車検出装置又は電子機器中で前記プログラムを実行するときに、前記プログラムは、画像に基づく駐車検出装置又は電子機器に、実施例の第一側面に記載の画像に基づく駐車検出方法を実行させる。
【0089】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体が提供され、前記記憶媒体は、上述のコンピュータ可読プログラムを記憶し、前記コンピュータ可読プログラムは、画像に基づく駐車検出装置又は電子機器に、実施例の第一側面に記載の画像に基づく駐車検出方法を実行させる。
【0090】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【0091】
また、以上の実施例などに関して、更に次のように付記を開示する。
【0092】
（付記1）
画像に基づく駐車検出装置であって、
画像における車両のライト（light）を検出する第一検出ユニット；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定の周波数で明滅するかを判断する第一判断ユニット；及び
明滅の判断結果に基づいて、駐車状態にあるかを判定する第二判断ユニットを含む、装置。
画像に基づく駐車検出装置であって、
画像における車両のライト（light）を検出する第一検出ユニット；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定の周波数で明滅するかを判断する第一判断ユニット；及び
明滅の判断結果に基づいて、駐車状態にあるかを判定する第二判断ユニットを含む、装置。
【0093】
（付記2）
付記1に記載の装置であって、
第一判断ユニットが、ライトが所定の周波数で明滅するかを判断することは、
ライトの検出結果に基づいて、光検出範囲を設定し；
前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；
時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
前記面積の周波数領域における分布に基づいて、ライトからの光が所定の周波数で明滅するかを判断することを含む、装置。
付記1に記載の装置であって、
第一判断ユニットが、ライトが所定の周波数で明滅するかを判断することは、
ライトの検出結果に基づいて、光検出範囲を設定し；
前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；
時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
前記面積の周波数領域における分布に基づいて、ライトからの光が所定の周波数で明滅するかを判断することを含む、装置。
【0094】
（付記3）
付記2に記載の装置であって、
前記面積の周波数領域における分布に基づいて、ライトからの光が所定の周波数で明滅するかを判断することは、
周波数領域信号の所定周波数範囲における平均値（avg）と最大値（MA）との比（avg／MA）に基づいて、ライトが所定の周波数で明滅するかを判断することを含む、装置。
付記2に記載の装置であって、
前記面積の周波数領域における分布に基づいて、ライトからの光が所定の周波数で明滅するかを判断することは、
周波数領域信号の所定周波数範囲における平均値（avg）と最大値（MA）との比（avg／MA）に基づいて、ライトが所定の周波数で明滅するかを判断することを含む、装置。
【0095】
（付記4）
付記1に記載の装置であって、
第二判断ユニットが明滅の判断結果に基づいて駐車状態にあるかを判定することは、
時系列の一連の画像フレームのうち、明滅していると判定された画像フレームの持続時間が所定閾値を超えたときに、該車両が駐車状態にあると判定することを含む、装置。
付記1に記載の装置であって、
第二判断ユニットが明滅の判断結果に基づいて駐車状態にあるかを判定することは、
時系列の一連の画像フレームのうち、明滅していると判定された画像フレームの持続時間が所定閾値を超えたときに、該車両が駐車状態にあると判定することを含む、装置。
【0096】
（付記5）
付記1に記載の装置であって、さらに、
画像における車両を検出する第二検出ユニット；及び
検出された車両を追跡する追跡ユニットを含む、装置。
付記1に記載の装置であって、さらに、
画像における車両を検出する第二検出ユニット；及び
検出された車両を追跡する追跡ユニットを含む、装置。
【0097】
（付記6）
付記5に記載の装置であって、
追跡ユニットが検出された車両を追跡することは、
車両と検出されたブロブ（blob）のために情報表をビルドし；及び
現在の画像に既存のブロブとマッチしたブロブが存在するときに、該情報表を更新し、又は、現在の画像に既存のブロブとマッチしたブロブが存在しないときに、該既存のブロブの計数値（hold_cnt）に1をプラスすることを含む、装置。
付記5に記載の装置であって、
追跡ユニットが検出された車両を追跡することは、
車両と検出されたブロブ（blob）のために情報表をビルドし；及び
現在の画像に既存のブロブとマッチしたブロブが存在するときに、該情報表を更新し、又は、現在の画像に既存のブロブとマッチしたブロブが存在しないときに、該既存のブロブの計数値（hold_cnt）に1をプラスすることを含む、装置。
【0098】
（付記7）
付記6に記載の装置であって、
追跡ユニットが検出された車両を追跡する（tracking）ことは、さらに、
該既存のブロブの計数値（hold_cnt）が閾値（hold_thres）を超えたときに、該ブロブの情報を削除することを含む、装置。
付記6に記載の装置であって、
追跡ユニットが検出された車両を追跡する（tracking）ことは、さらに、
該既存のブロブの計数値（hold_cnt）が閾値（hold_thres）を超えたときに、該ブロブの情報を削除することを含む、装置。
【0099】
（付記8）
付記1-7のうちの任意の1に記載の駐車検出装置を含む、電子機器。
付記1-7のうちの任意の1に記載の駐車検出装置を含む、電子機器。
【0100】
（付記9）
画像に基づく駐車検出方法であって、
画像における車両のライト（light）を検出し；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定の周波数で明滅するかを判断し；及び
明滅の判断結果に基づいて、駐車状態にあるかを判定することを含む、方法。
画像に基づく駐車検出方法であって、
画像における車両のライト（light）を検出し；
前記ライトからの光に対しての周波数領域分析結果に基づいて、ライトが所定の周波数で明滅するかを判断し；及び
明滅の判断結果に基づいて、駐車状態にあるかを判定することを含む、方法。
【0101】
（付記10）
付記9に記載の方法であって、
ライトが所定の周波数で明滅するかを判断することは、
ライトの検出結果に基づいて、光検出範囲を設定し；
前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；
時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
前記面積の周波数領域における分布に基づいて、ライトからの光が所定の周波数で明滅するかを判断することを含む、方法。
付記9に記載の方法であって、
ライトが所定の周波数で明滅するかを判断することは、
ライトの検出結果に基づいて、光検出範囲を設定し；
前記光検出範囲内で所定色又は所定輝度の領域の面積を検出し；
時系列の複数の画像の所定色又は所定輝度の領域の面積に対してフーリエ変換を行い、前記面積の周波数領域における分布を取得し；及び
前記面積の周波数領域における分布に基づいて、ライトからの光が所定の周波数で明滅するかを判断することを含む、方法。
【0102】
（付記11）
付記10に記載の方法であって、
前記面積の周波数領域における分布に基づいて、ライトからの光が所定の周波数で明滅するかを判断することは、
周波数領域信号の所定周波数範囲における平均値（avg）と最大値（MA）との比（avg／MA）に基づいて、ライトが所定の周波数で明滅するかを判断することを含む、方法。
付記10に記載の方法であって、
前記面積の周波数領域における分布に基づいて、ライトからの光が所定の周波数で明滅するかを判断することは、
周波数領域信号の所定周波数範囲における平均値（avg）と最大値（MA）との比（avg／MA）に基づいて、ライトが所定の周波数で明滅するかを判断することを含む、方法。
【0103】
（付記12）
付記9に記載の方法であって、
明滅の判断結果に基づいて、駐車状態にあるかを判定することは、
時系列の一連の画像フレームのうち、明滅していると判定された画像フレームの持続時間が所定閾値を超えたときに、該車両が駐車状態にあると判定することを含む、方法。
付記9に記載の方法であって、
明滅の判断結果に基づいて、駐車状態にあるかを判定することは、
時系列の一連の画像フレームのうち、明滅していると判定された画像フレームの持続時間が所定閾値を超えたときに、該車両が駐車状態にあると判定することを含む、方法。
【0104】
（付記13）
付記9に記載の方法であって、さらに、
画像における車両を検出し；及び
検出された車両を追跡することを含む、方法。
付記9に記載の方法であって、さらに、
画像における車両を検出し；及び
検出された車両を追跡することを含む、方法。
【0105】
（付記14）
付記13に記載の方法であって、
検出された車両を追跡することは、
車両と検出されたブロブ（blob）のために情報表をビルドし；及び
現在の画像に既存のブロブとマッチしたブロブが存在するときに、該情報表を更新し、又は、現在の画像に既存のブロブとマッチしたブロブが存在しないときに、該既存のブロブの計数値（hold_cnt）に1をプラスすることを含む、方法。
付記13に記載の方法であって、
検出された車両を追跡することは、
車両と検出されたブロブ（blob）のために情報表をビルドし；及び
現在の画像に既存のブロブとマッチしたブロブが存在するときに、該情報表を更新し、又は、現在の画像に既存のブロブとマッチしたブロブが存在しないときに、該既存のブロブの計数値（hold_cnt）に1をプラスすることを含む、方法。
【0106】
（付記15）
付記14に記載の方法であって、
検出された車両を追跡（tracking）することは、さらに、
該既存のブロブの計数値（hold_cnt）が閾値（hold_thres）を超えたときに、該ブロブの情報を削除することを含む、方法。
付記14に記載の方法であって、
検出された車両を追跡（tracking）することは、さらに、
該既存のブロブの計数値（hold_cnt）が閾値（hold_thres）を超えたときに、該ブロブの情報を削除することを含む、方法。
【0107】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】