知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】車両速度の検出方法及び装置
(51)【国際特許分類】
G06T 7/223 20170101AFI20240214BHJP
G06T 7/00 20170101ALI20240214BHJP
G06T 7/215 20170101ALI20240214BHJP
G08G 1/054 20060101ALI20240214BHJP
【ＦＩ】
G06T7/223
G06T7/00 650B
G06T7/215
G08G1/054 A
【請求項の数】
10
(21)【出願番号】P 2020092429
(22)【出願日】2020-05-27
(65)【公開番号】P2021022366
(43)【公開日】2021-02-18
【審査請求日】2023-02-09
(31)【優先権主張番号】201910688572.6
(32)【優先日】2019-07-29
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ジャン・ナヌ
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開平１０－１５４２９２（ＪＰ，Ａ）
【文献】特開２０１９－０５３７１９（ＪＰ，Ａ）
【文献】中国特許出願公開第１０１８７７１７４（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２２３
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２１５
Ｇ０８Ｇ １／０５４
(57)【特許請求の範囲】
【請求項1】
車両速度の検出装置であって、入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出する検出部と、
バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と前記現在のフレームにおける前記現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、前記現在の車両ブロックの大きさを調整する第１調整部と、
前記第１調整部により調整された現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定するマッチング部と、
現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、前記車両の第１時間内の走行距離を計算し、前記第１時間及び前記走行距離に基づいて前記車両速度を計算する計算部であって、前記第１時間は、前記現在のフレームと前記１番目のフレーム又は直前のマッチングフレームとの差に等しい、計算部と、を含む、装置。
【請求項2】
前記現在のフレームにおける車線幅に基づいて前記前景ブロックの大きさを調整する第２調整部、をさらに含み、前記検出部は、調整後の前景ブロックの大きさに基づいて現在の車両ブロックを検出する、請求項１に記載の装置。
【請求項3】
前記マッチング部は、大きさが調整された現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算する第１計算モジュールと、
何れかのバッファブロックの前記第１マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定する第１決定モジュールと、
各バッファブロックの前記第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと前記各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算する第２計算モジュールと、
何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定する第２決定モジュールと、を含む、請求項１に記載の装置。
【請求項4】
何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記マッチング部は、前記バッファにおける前記バッファブロックに記憶された直前のマッチングフレームを前記現在のフレームに置き換え、前記バッファにおける前記バッファブロックに記憶された前記直前のマッチングフレームにおけるバッファ車両ブロックを前記現在の車両ブロックに置き換える更新モジュール、をさらに含み、
各バッファブロックの前記第２マッチング度が何れも第１閾値よりも小さい場合、前記更新モジュールは、前記現在のフレーム及び前記現在の車両ブロックを、新しいバッファブロックの１番目のフレーム及びバッファ車両ブロックとして前記バッファに記憶する、請求項３に記載の装置。
【請求項5】
前記バッファには、各バッファブロックの関連情報が記憶されており、各バッファブロックの関連情報は、各バッファブロックの前記１番目のフレーム及び１番目のフレームにおけるバッファ車両ブロックの第１情報、並びに各バッファブロックの前記直前のマッチングフレーム及び直前のマッチングフレームにおけるバッファ車両ブロックの第２情報を含み、
前記第１情報は、前記１番目のフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記１番目のフレームにおける位置、及び前記１番目のフレームの画像を含み、
前記第２情報は、前記直前のマッチングフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記直前のマッチングフレームにおける位置、及び前記直前のマッチングフレームの画像を含み、
前記関連情報は、マッチング回数をさらに含み、
マッチングが成功した場合、前記マッチング部は、前記マッチング回数に１を加算する、請求項１に記載の装置。
【請求項6】
現在のフレームと前記バッファにおけるバッファブロックの１番目のフレームとの差が第２閾値を超えた場合、バッファから前記バッファブロックを削除する削除部、をさらに含む、請求項５に記載の装置。
【請求項7】
前記計算部は、世界座標系と入力画像の座標系との変換行列に基づいて、前記車両の現在のフレームにおける現在の車両ブロックの位置に対応する世界座標系における第１位置、及び前記車両の１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの位置に対応する世界座標系における第２位置を計算し、前記第１位置と前記第２位置との距離を前記走行距離とする、請求項１に記載の装置。
【請求項8】
世界座標系と入力画像の座標系との変換行列に基づいて、入力画像の座標系における各位置に対応する走行車両の所在する車線の車線幅を計算する車線幅計算部、をさらに含む、請求項１に記載の装置。
【請求項9】
車両速度の検出方法であって、入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出するステップと、
バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と前記現在のフレームにおける前記現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、前記現在の車両ブロックの大きさを調整するステップと、
大きさが調整された現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定するステップと、
現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、前記車両の第１時間内の走行距離を計算するステップであって、前記第１時間は、前記現在のフレームと前記１番目のフレーム又は直前のマッチングフレームとの差に等しい、ステップと、
前記第１時間及び前記走行距離に基づいて前記車両速度を計算するステップと、を含む、方法。
【請求項10】
現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行うステップは、現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算し、何れかのバッファブロックの前記第１マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定するステップと、
各バッファブロックの前記第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと前記各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算し、何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定するステップと、を含む、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例は、画像処理の技術分野に関する。
【背景技術】
【0002】
ほとんどの交通事故はスピード違反により引き起こされるため、スピード違反のイベント（事件）検出は交通監視システムにおいて非常に重要な機能である。
【0003】
現在の速度検出方法は、レーダ速度計、レーザ速度計、赤外線速度検出器、ループコイル速度検出器などのハードウェアセンサに基づくものである。これらの方法は非常に高価であり、大規模な交通監視に適していない。
【0004】
近年、監視カメラは道路監視に広く使用されている。監視カメラに基づく交通イベント検出、特に車両速度の検出は、注目されている研究分野の１つである。現在の車両速度の検出方法は２つの種類に分けられている。１つ目の方法は背景モデリングに基づく検出方法であり、速度値は前景ブロックを追跡することで検出され、この方法のコストが低いが、車両の遮蔽問題を解決できない。２つ目の方法は特徴に基づく検出方法であり、車両の一部（例えばナンバープレート）を特徴とし、特徴領域を追跡して速度を検出し、この方法は高品質の画像を必要とし、異なる環境に適用できない。また、上記２つの方法は共に追跡効果に依存するが、速度値が非常に高い場合、距離及び比率が大きく変化するため、追跡精度が低下してしまう。
【0005】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の発明者の発見によると、背景モデリングに基づく検出方法は車両の遮蔽問題を解決できず、特徴に基づく検出方法は高品質の画像を必要とし、異なる環境に適用できない。また、この２つの方法は共に追跡効果に依存するが、速度値が非常に高い場合、距離及び比率が大きく変化するため、追跡精度が低下し、車両速度の検出結果の正確性に影響を与えてしまう。
【0007】
本発明の実施例は、追跡方法に依存する必要がなく、フレームスキップの影響を受けず、高い車両速度の検出に適用することができ、計算量が少ない車両速度の検出方法及び装置を提供する。
【課題を解決するための手段】
【0008】
本発明の実施例の第１態様では、車両速度の検出装置であって、入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出する検出部と、バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線（ｌａｎｅ）の第１車線幅と前記現在のフレームにおける前記現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、前記現在の車両ブロックの大きさを調整する第１調整部と、前記第１調整部により調整された現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定するマッチング部と、現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、前記車両の第１時間内の走行距離を計算し、前記第１時間及び前記走行距離に基づいて前記車両速度を計算する計算部であって、前記第１時間は、前記現在のフレームと前記１番目のフレーム又は直前のマッチングフレームとの差に等しい、計算部と、を含む、装置を提供する。
【0009】
本発明の実施例の第２態様では、車両速度の検出方法であって、入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出するステップと、バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と前記現在のフレームにおける前記現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、前記現在の車両ブロックの大きさを調整するステップと、大きさが調整された現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定するステップと、現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、前記車両の第１時間内の走行距離を計算するステップであって、前記第１時間は、前記現在のフレームと前記１番目のフレーム又は直前のマッチングフレームとの差に等しい、ステップと、前記第１時間及び前記走行距離に基づいて前記車両速度を計算するステップと、を含む、方法を提供する。
【0010】
本発明の実施例の有利な効果の１つは以下の通りである。車線幅に基づいて検出された現在の車両ブロックの大きさを調整し、現在の車両ブロックとバッファにおけるバッファブロックとのマッチングを行い、マッチングが成功した場合、現在の車両ブロックの走行距離及び時間に基づいて車両速度を決定することで、追跡方法に依存する必要がなく、フレームスキップの影響を受けず、高い車両速度の検出に適用することができ、計算量が少ない。
【0011】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
【0012】
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
【0013】
なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【図面の簡単な説明】
【0014】
本発明の多くの態様は、以下の図面を参照しながら理解できる。図面における素子は比例に応じて記載されたものではなく、本発明の原理を示すためのものである。本発明の一部分を示す又は記載するため、図面における対応部分は拡大或いは縮小される可能性がある。本発明の１つの図面及び１つの実施形態に記載された要素及び特徴は、１つ又はさらに多くの図面又は実施形態に示された要素及び特徴と組み合わせてもよい。また、図面において、類似の符号は複数の図面における対応する素子を示し、１つ以上の実施形態に用いられる対応素子を示してもよい。
【図1】本発明の実施例１に係る車両速度の検出装置の構成を示す図である。
【図2】本発明の実施例１に係る画像シーケンスにおける１つのフレーム画像の取得を示す図である。
【図5】本発明の実施例１に係るマッチング部１０３の構成を示す図である。
【図6】本発明の実施例２に係る画像処理装置のハードウェア構成を示す図である。
【図7】本発明の実施例３に係る車両速度の検出方法のフローチャートである。
【発明を実施するための形態】
【0015】
本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。
【0016】
本発明の実施例では、用語「第１」、「第２」は異なる要素を名称で区分するためのものであり、これらの要素の空間的配列又は時間的順序などを意味するものではなく、これらの要素はこれらの用語に限定されない。用語「及び／又は」は列挙された用語の１つ又は複数のうち何れか及びその組み合わせを含む。用語「包括」、「含む」、「有する」は説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。
【0017】
＜実施例１＞
本発明の実施例１は車両速度の検出装置を提供する。図１は該車両速度の検出装置の構成を示す図であり、図１に示すように、車両速度の検出装置１００は、検出部１０１、第１調整部１０２、マッチング部１０３及び計算部１０４を含む。
本発明の実施例１は車両速度の検出装置を提供する。図１は該車両速度の検出装置の構成を示す図であり、図１に示すように、車両速度の検出装置１００は、検出部１０１、第１調整部１０２、マッチング部１０３及び計算部１０４を含む。
【0018】
検出部１０１は、入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出する。
【0019】
第１調整部１０２は、バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と該現在のフレームにおける該現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、該現在の車両ブロックの大きさを調整する。
【0020】
マッチング部１０３は、調整された現在の車両ブロックと該バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定する。
【0021】
計算部１０４は、現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、該車両の第１時間内の走行距離を計算し、該第１時間及び該走行距離に基づいて該車両速度を計算する。該第１時間は、該現在のフレームと該１番目のフレーム又は直前のマッチングフレームとの差に等しい。
【0022】
これによって、車線幅に基づいて検出された現在の車両ブロックの大きさを調整し、現在の車両ブロックとバッファにおけるバッファブロックとのマッチングを行い、マッチングが成功した場合、現在の車両ブロックの走行距離及び時間に基づいて車両速度を決定することで、追跡方法に依存する必要がなく、フレームスキップの影響を受けず、高い車両速度の検出に適用することができ、計算量が少ない。
【0023】
本発明の実施例では、取得された画像シーケンスの処理結果に基づいて実世界における車両速度を取得する必要があるため、実際に検出する前に、画像座標系と世界座標系との変換行列を予め取得する必要がある。図２は、取得された画像シーケンスにおける１つのフレーム画像の取得を示す図である。図２に示すように、１つのフレーム画像において４つの参照点Ａ、Ａ’、Ｂ、Ｂ’を決定し、画像におけるＡ、Ａ’、Ｂ、Ｂ’と実世界におけるＡ、Ａ’、Ｂ、Ｂ’とのマッピング関係を構築してもよい。例えば、画像における以下の２つの参照点の距離ＡＡ’、ＢＢ’、ＡＢ、Ａ’Ｂ’及び実世界におけるＡＡ’、ＢＢ’、ＡＢ、Ａ’Ｂ’を測定し、上記距離を以下の式（１）に代入し、変換行列Ｈを取得する。ここで、（Ｘ，Ｙ）は世界座標系における座標を表し、（ｘ，ｙ）は入力画像の座標系における座標を表し、そして、以下の式（２）に従って入力画像における任意の点に対応する実世界の座標を計算してもよい。
【数1】
【数2】
【0024】
本発明の実施例では、検出部１０１は、交通監視システムのカメラから入力画像シーケンスを取得し、該入力画像シーケンスの現在フレームから前景ブロックを検出してもよい。該前景ブロックの検出方法は、例えばフレーム差分法（Ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｉｎｇ）、混合ガウスモデル（Ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎ Ｍｏｄｅｌ）、単一ガウスモデル（ｓｉｎｇｌｅ Ｇａｕｓｓｉａｎ Ｍｏｄｅｌ）、Ｖｉｂｅアルゴリズム、色背景モデルなどの従来技術を参照してもよく、本発明の実施例はこれに限定されない。好ましくは、入力画像シーケンスにおいて関心領域（ＲＯＩ）を予め設定し、該ＲＯＩにおいて前景ブロックを検出してもよい。
【0025】
本発明の実施例では、１つ又は複数の前景ブロックの境界枠が取得された後に、機械学習などのアルゴリズムを用いて現在の車両ブロックを抽出してもよい。例えば、輝度勾配ヒストグラム（ＨＯＧ）特徴及びカスケード分類器を用いて訓練により車両分類器を予め取得し、該１つ又は複数の前景ブロックを該車両分類器に入力し、出力結果は現在の車両ブロックである。ここで、現在のフレームは、１つ又は複数の現在の車両ブロックを含んでもよい。これによって、前景ブロックを検出することで車両ブロックを検出することにより、処理時間を短縮することができる。
【0026】
本発明の実施例では、現在のフレームにおける車線幅に基づいて適切な車両ブロックの大きさを推定してもよいため、現在のフレームにおける異なる位置の車線幅を予め決定してもよい。即ち、車両速度の検出装置１００は、車線幅計算部（オプション、図示せず）をさらに含む。
【0027】
該車線幅計算部は、世界座標系と入力画像の座標系との変換行列に基づいて、入力画像の座標系における各位置に対応する走行車両の所在する車線の車線幅を計算する。ここで、該車線幅は、入力画像の座標系における画素と単位とする車線の幅を意味する。例えば、実世界における車線幅が通常３．７５ｍであることを予め知り、図２に示すように、入力画像に点線ｌを描き、ｌ上の各位置の縦座標ｙを走査し、上記の変換行列Ｈを用いて、入力画像において、実世界における現在の位置との距離が３．７５ｍの目標画像点を見つけ、現在の位置と目標画像点との入力画像の座標系における距離（即ち車線幅）を計算し、入力画像における異なる位置の縦座標ｙに対応する入力画像の座標系における車線幅を取得してもよい。
【0028】
１つ又は複数の実施例では、検出された現在の車両ブロックの大きさを所定の範囲内にするために、車両速度の検出装置１００は、第２調整部（オプション、図示せず）をさらに含んでもよい。該第２調整部は、該現在のフレームにおける車線幅に基づいて該前景ブロックの大きさを調整する。検出部１０１は、調整後の前景ブロックの大きさに基づいて現在の車両ブロックを検出する。例えば、検出された１つ又は複数の前景ブロックについて、該前景ブロックの参照点を決定し、該参照点のｙｃ座標に基づいて、該前景ブロックに対応する車線幅ｗ［ｙｃ］を決定してもよい。例えば、該車両ブロックの幅をｗ［ｙｃ］×２／３（２／３は単なる一例であり、本発明の実施例はこれに限定されない）に設定し、以下の式（３）に従って、前景ブロックの調整因数ｓｃａｌｅを決定してもよい。
【数3】
【0029】
ここで、ｃ＿ｗｉｄｔｈは車両分類器の参照車両幅（要求に応じて予め設定されてもよい）を表し、第２調整部は、該調整因数ｓｃａｌｅの比率に基づいて各前景ブロックの大きさを再調整してもよい（元の前景ブロックのサイズに調整因数を乗算することで調整を行う）。図３Ａ～図３Ｃは現在の車両ブロックの検出を示す図である。図３Ａ及び図３Ｂに示すように、矩形枠は初期に検出された前景ブロックであり、第２調整部が該調整因数の比率に基づいて各矩形枠の大きさを再調整した後に、検出部１０１は、それを車両分類器に入力し、図３Ｃに示す車両ブロックの検出結果を取得する。
【0030】
本発明の実施例では、検出された現在の車両ブロックとのマッチングを行うために、マッチング対象となるテンプレートブロックを予め設定してもよい。例えば、バッファを予め設定してもよく、バッファには１つ又は複数のバッファブロックが記憶されており、該バッファブロックをテンプレートブロックとする。該バッファには、各バッファブロックの関連情報が記憶されており、各バッファブロックの関連情報は、各バッファブロックの該１番目のフレーム及び１番目のフレームにおけるバッファ車両ブロックの第１情報、並びに各バッファブロックの該直前のマッチングフレーム及び直前のマッチングフレームにおけるバッファ車両ブロックの第２情報を含む。ここで、該第１情報は、該１番目のフレームの入力画像シーケンスにおけるフレーム番号、該バッファ車両ブロックの該１番目のフレームにおける位置、及び該１番目のフレームの画像を含む。該第２情報は、該直前のマッチングフレームの入力画像シーケンスにおけるフレーム番号、該バッファ車両ブロックの該直前のマッチングフレームにおける位置、及び該直前のマッチングフレームの画像を含む。好ましくは、該関連情報は、マッチング回数をさらに含む。ここで、該バッファブロックの１番目のフレームは実際の状況に応じて決定されてもよく、該バッファブロックの直前のマッチングフレームは後続のマッチング結果に基づいて決定され、即ち、前回のマッチングが成功した車両ブロックを直前のマッチングフレームにおけるバッファ車両ブロックとして該バッファに記憶し、後続の車両ブロックのマッチングのために用いられる。具体的な内容は後述する。
【0031】
以下の表１はバッファブロックの関連情報を示す表である。
【表1】
【0032】
図４Ａ～図４Ｃはブロックマッチングのプロセスを示す図である。図４Ａ～図４Ｃに示すように、本発明の実施例では、車両が走行しているため、車両の入力画像シーケンスにおける位置が連続的に変化し、遠い場所から近い場所へ移動すると、車両ブロックの異なるフレーム画像における大きさが異なる。車両ブロックのマッチングをより正確に行うために、第１調整部１０２は、バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と該現在のフレームにおける該現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、該現在の車両ブロックの大きさを調整する。例えば、図４Ａ、図４Ｂ及び図４Ｃに示すように、車両ブロックの縦座標がｙ１からｙ２に変化してｙ３に変化し、対応する車線幅の位置がｗ［ｙ１］からｗ［ｙ２］に変化してｗ［ｙ３］に変化するため、車両ブロックの調整因数はｗ［ｙ１］／ｗ［ｙ３］又はｗ［ｙ２］／ｗ［ｙ３］に等しい。現在の車両ブロックの大きさがＷ×Ｈであると仮定すると、そのマッチング対象が図４Ａに示す１番目のフレームである場合、その調整後の現在の車両ブロックの大きさは（Ｗ×ｗ［ｙ１］／ｗ［ｙ３］）×（Ｈ×ｗ［ｙ１］／ｗ［ｙ３］）である。そのマッチング対象が図４Ｂに示す直前のマッチングフレームである場合、その調整後の現在の車両ブロックの大きさは（Ｗ×ｗ［ｙ２］／ｗ［ｙ３］）×（Ｈ×ｗ［ｙ２］／ｗ［ｙ３］）である。ここで、ｙ３は現在の車両ブロックの縦座標位置に対応し、ｙ１は１番目のフレームにおけるバッファ車両ブロックの縦座標位置に対応し、ｙ２は直前のマッチングフレームにおけるバッファ車両ブロックの縦座標位置に対応する。
【0033】
本発明の実施例では、車両分類器の位置検出によるオフセットを回避するために、現在の車両ブロックの大きさを適宜拡大してもよい。図４Ｃに示すように、内側の実線の矩形は検出された現在の車両ブロックの大きさであり、外側の破線の矩形は拡張後の現在の車両ブロックの大きさであり、該拡張の調整因数は要求に応じて決定されてもよく、例えば、拡張範囲は元の範囲の０．２倍程度であってもよいが、本発明の実施例はこれに限定されない。
【0034】
本発明の実施例では、マッチング部１０３は、大きさが調整された現在の車両ブロックと該バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定してもよい。その具体的なマッチングアルゴリズムは従来技術を参照してもよい。例えば、テンプレートマッチングアルゴリズムを用いて、大きさが調整された現在の車両ブロック領域内でバッファ車両ブロックをスライドさせ、重なり合った領域を比較し（グレースケール画像に変換した後に比較し）、比較結果を保存する。具体的には、以下の式（５）に従って現在の車両ブロックとバッファ車両ブロックとのマッチング度を計算してもよい。
【数4】
【数5】
【0035】
ここで、Ｉは現在の車両ブロックを表し、Ｔはバッファ車両ブロックを表し、Ｒはマッチング度を表し、ｗは現在の車両ブロックの幅を表し、ｈは現在の車両ブロックの高さを表し、光照明の変化による誤差を回避するために、式（４）に従ってマッチング度を計算する前にＩ及びＴを正規化してもよい。Ｒの値は－１～１の範囲内にあり、１は完全に同一であることを表し、－１は完全に異なることを表し、０は両者の間に線形的関係がないことを表す。
【0036】
以下は図５を参照しながらマッチング部１０３のマッチングプロセスを説明する。図５はマッチング部１０３の１つの実施例の構成を示す図である。図５に示すように、マッチング部１０３は、第１計算モジュール５０１、第１決定モジュール５０２、第２計算モジュール５０３、及び第２決定モジュール５０４を含む。
【0037】
第１計算モジュール５０１は、大きさが調整された現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算する。
【0038】
第１決定モジュール５０２は、何れかのバッファブロックの該第１マッチング度が第１閾値以上である場合、該現在の車両ブロックと該バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定する。
【0039】
第２計算モジュール５０３は、各バッファブロックの該第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと該各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算する。
【0040】
第２決定モジュール５０４は、何れかのバッファブロックの該第２マッチング度が第１閾値以上である場合、該現在の車両ブロックと該バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定する。
【0041】
本発明の実施例では、第１計算モジュール５０１は、上記の式（４）～式（５）に従って、大きさが調整された現在の車両ブロックと各バッファブロックの表１に示す１番目のフレームのバッファ車両ブロックとの第１マッチング度を計算し、何れかのバッファブロックの第１マッチング度が第１閾値以上である場合、該第１マッチング度に対応するバッファブロックにおける１番目のフレームのバッファ車両ブロックと現在の車両ブロックとのマッチングが成功したことを意味し、即ち、第１決定モジュール５０２は、現在の車両ブロックと該バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定する。各バッファブロックの第１マッチング度が何れも第１閾値よりも小さい場合、現在の車両ブロックと各バッファブロックの１番目のフレームのバッファ車両ブロックとが何れもマッチしないことを意味し、第２計算モジュール５０３は、上記式（４）～式（５）に従って、大きさが調整された現在の車両ブロックと該各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとの第２マッチング度を計算し、何れかのバッファブロックの第２マッチング度が第１閾値以上である場合、該第２マッチング度に対応するバッファブロックにおける直前のマッチングフレームのバッファ車両ブロックと現在の車両ブロックとのマッチングが成功したことを意味し、即ち、第２決定モジュール５０４は、該現在の車両ブロックと該バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定する。ここで、該第１閾値は要求に応じて決定されてもよく、例えば０．７に設定されるが、本発明の実施例はこれに限定されない。また、第１計算モジュール５０１により用いられる大きさの調整された現在の車両ブロックは、１番目のフレームのバッファ車両ブロックの所在する車線の第１車線幅と上記の第２車線幅との関係に基づいて調整された大きさであり、第２計算モジュール５０３により用いられる大きさの調整された現在の車両ブロックは、直前のマッチングフレームのバッファ車両ブロックの所在する車線の第１車線幅と上記の第２車線幅との関係に基づいて調整された大きさである。
【0042】
本発明の実施例では、図５に示すように、何れかのバッファブロックの該第２マッチング度が第１閾値以上である場合、マッチング部１０３は、更新モジュール５０５（オプション）をさらに含む。
【0043】
更新モジュール５０５は、該バッファにおける該バッファブロックに記憶された直前のマッチングフレームを該現在のフレームに置き換え、該バッファにおける該バッファブロックに記憶された該直前のマッチングフレームにおけるバッファ車両ブロックを該現在の車両ブロック（大きさが調整されていない現在の車両ブロック、即ち元の現在の車両ブロック）に置き換える。即ち、更新モジュール５０５は、表１における４～６欄目を更新し、直前のマッチングフレームの入力画像シーケンスにおけるフレーム番号を現在のフレームのフレーム番号に置き換え、バッファ車両ブロックの該直前のマッチングフレームにおける位置を現在の車両ブロックの現在のフレームにおける位置に置き換え、直前のマッチングフレームの画像を現在のフレームの画像に置き換える。
【0044】
また、各バッファブロックの該第２マッチング度が何れも第１閾値よりも小さい場合、該現在の車両ブロックが新しい車両であることを意味し、更新モジュール５０５は、該現在のフレーム及び該現在の車両ブロックを、新しいバッファブロックの１番目のフレーム及び１番目のフレームのバッファ車両ブロックとして該バッファに記憶する。即ち、新しいバッファブロックを新規に作成し、更新モジュール５０５は、表１における１～３欄目を更新し（４～６欄目はブランクある）、１番目の入力画像シーケンスにおけるフレーム番号を現在のフレームの番号に設定し、バッファ車両ブロックの１番目のフレームにおける位置を現在の車両ブロックの現在のフレームにおける位置に設定し、１番目のフレームの画像を現在のフレームの画像に設定する。
【0045】
本発明の実施例では、同一の車両であると第１決定モジュール５０２又は第２決定モジュール５０４により決定された場合、マッチングが成功したことを意味し、マッチング部１０３は、該表１におけるマッチング回数に１を加算する。
【0046】
図４Ａに示すように、該車両ブロックが初めて検出された新しい車両ブロックであり、それを新しいバッファブロックの１番目のフレームのバッファ車両ブロックとしてバッファに記憶する。図４Ｂに示すように、該車両ブロックが前回にマッチングが成功した車両ブロックであり、それを該バッファブロックの直前のマッチングフレームのバッファ車両ブロックとしてバッファに記憶する。図４Ｃに示すように、該車両ブロックが現在の車両ブロックであり、図４Ａにおけるバッファ車両ブロックの所在する車線の車線幅に基づいて該現在の車両ブロックの大きさを調整し、該バッファ車両ブロックとのマッチングを行い、マッチングが成功した場合、図４Ｂにおけるバッファ車両ブロックの所在する車線の車線幅に基づいて該現在の車両ブロックの大きさを再調整し、該バッファ車両ブロックとのマッチングを行い、マッチングが何れも成功していない場合、該現在の車両ブロックを新しいバッファブロックとしてバッファに記憶し、マッチングが成功した場合、バッファにおける直前のマッチングフレーム及び直前のマッチングフレームのバッファ車両ブロックを該現在のフレーム及び現在の車両ブロックに置き換え、マッチング回数に１を加算する。
【0047】
１つ又は複数の実施例では、記憶スペースを節約するために、該装置は、削除部（オプション、図示せず）をさらに含む。
【0048】
削除部は、現在のフレームと該バッファにおけるバッファブロックの１番目のフレームとの差が第２閾値を超えた場合、バッファから該バッファブロックを削除する。例えば、該第２閾値は２ｓに設定されるが、本発明の実施例はこれに限定されない。
【0049】
本発明の実施例では、計算部１４０は、世界座標系と入力画像の座標系との変換行列に基づいて、該車両の現在のフレームにおける現在の車両ブロックの位置に対応する世界座標系における第１位置、及び該車両の１番目のフレーム又は直前のマッチングフレーム（１番目のフレーム又は直前のマッチングフレームは、マッチングが成功したフレームである）におけるバッファ車両ブロックの位置に対応する世界座標系における第２位置を計算し、該第１位置と該第２位置との距離を該走行距離とする。ここで、現在の車両ブロックにおける基準画素点を該現在の車両ブロックの位置として選択してもよく、例えば、図４Ｃに示すように、位置３は現在の車両ブロックの位置であり、ｐ２を基準画素点として選択し、位置１は１番目のフレームのバッファ車両ブロック（マッチングが成功したバッファ車両ブロック）の位置であり、ｐ１を基準画素点として選択する。式（２）に従ってｐ２に対応する世界座標系における位置Ｐ２及びｐ１に対応する世界座標系における位置Ｐ１を計算し、Ｐ１とＰ２との間の距離｜Ｐ１－Ｐ２｜を計算する。また、第１時間を計算し、該走行距離を第１時間で除算して該車両速度を取得し、ここで、第１時間は、該現在のフレームと該１番目のフレーム又は直前のマッチングフレーム（１番目のフレーム又は直前のマッチングフレームは、マッチングが成功したフレームである）との差に等しい。
【0050】
本発明の実施例では、好ましくは、正確度を向上させるために、バッファにおけるバッファブロックのマッチング回数が第４閾値以上であり、且つ追跡の継続時間（現在のフレームから１番目のフレームを減算したもの）が第５閾値以上である場合、計算部１０４は、該車両の速度を計算する。ここで、該第４閾値及び第５閾値は要件に応じて決定されてもよく、例えば第４閾値はフレームレートの０．５倍であり、第５閾値はフレームレートの０．６倍であるが、本発明の実施例はこれに限定されない。
【0051】
本発明の実施例では、算出された車両速度と第３閾値とを比較し、第３閾値以上である場合、該車両がスピード違反になると決定し、該スピード違反の結果をサーバに通知してもよい。
【0052】
上記の各実施例は単なる本発明の実施例を例示的に説明するものであり、本発明はこれに限定されず、上記の各実施例に基づいて適宜変形を行ってもよい。例えば、上記の各実施例を単独で用いてもよいし、上記の各実施例の１つ又は複数を組み合わせてもよい。
【0053】
本発明の実施例の上記の装置では、車線幅に基づいて検出された現在の車両ブロックの大きさを調整し、現在の車両ブロックとバッファにおけるバッファブロックとのマッチングを行い、マッチングが成功した場合、現在の車両ブロックの走行距離及び時間に基づいて車両速度を決定することで、追跡方法に依存する必要がなく、フレームスキップの影響を受けず、高い車両速度の検出に適用することができ、計算量が少ない。
【0054】
＜実施例２＞
本発明の実施例２は画像処理装置をさらに提供し、該画像処理装置は例えばコンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよく、本発明の実施例はこれに限定されない。
本発明の実施例２は画像処理装置をさらに提供し、該画像処理装置は例えばコンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよく、本発明の実施例はこれに限定されない。
【0055】
図６は本発明の実施例２に係る画像処理装置６００のハードウェア構成を示す図である。図６に示すように、画像処理装置６００は、インタフェース（図示せず）、プロセッサ（例えば中央処理装置：ＣＰＵ）６２０及びメモリ６１０を含んでもよく、メモリ６１０はプロセッサ６２０に接続される。メモリ６１０は、各種のデータ及び車両速度を検出するためのプログラム６０３を記憶してもよく、プロセッサ６２０の制御により該プログラム６０３を実行する。また、メモリ６１０は、各種の所定値及び所定条件などを記憶する。
【0056】
本発明の実施例では、車両速度の検出装置１００の機能はプロセッサ６２０に統合されてもよい。ここで、プロセッサ６２０は、入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出し、バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と該現在のフレームにおける該現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、該現在の車両ブロックの大きさを調整し、大きさが調整された現在の車両ブロックと該バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定し、現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、該車両の第１時間内の走行距離を計算するステップであって、該第１時間は、該現在のフレームと該１番目のフレーム又は直前のマッチングフレームとの差に等しく、該第１時間及び該走行距離に基づいて該車両速度を計算するように構成されてもよい。
【0057】
本発明の実施例では、プロセッサ６２０は、該現在のフレームにおける車線幅に基づいて該前景ブロックの大きさを調整し、調整後の前景ブロックの大きさに基づいて現在の車両ブロックを検出するように構成されてもよい。
【0058】
本発明の実施例では、プロセッサ６２０は、大きさが調整された現在の車両ブロックと該バッファ車両ブロックとのマッチングを行う際に、現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算し、何れかのバッファブロックの該第１マッチング度が第１閾値以上である場合、該現在の車両ブロックと該バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定し、各バッファブロックの該第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと該各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算し、何れかのバッファブロックの該第２マッチング度が第１閾値以上である場合、該現在の車両ブロックと該バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定するように構成されてもよい。
【0059】
本発明の実施例では、プロセッサ６２０は、何れかのバッファブロックの該第２マッチング度が第１閾値以上である場合、該バッファにおける該バッファブロックに記憶された直前のマッチングフレームを該現在のフレームに置き換え、該バッファにおける該バッファブロックに記憶された該直前のマッチングフレームにおけるバッファ車両ブロックを該現在の車両ブロックに置き換え、各バッファブロックの該第２マッチング度が何れも第１閾値よりも小さい場合、該現在のフレーム及び該現在の車両ブロックを、新しいバッファブロックの１番目のフレーム及びバッファ車両ブロックとして該バッファに記憶するように構成されてもよい。
【0060】
本発明の実施例では、プロセッサ６２０は、現在のフレームと該バッファにおけるバッファブロックの１番目のフレームとの差が第２閾値を超えた場合、バッファから該バッファブロックを削除するように構成されてもよい。
【0061】
本発明の実施例では、プロセッサ６２０は、世界座標系と入力画像の座標系との変換行列に基づいて、該車両の現在のフレームにおける現在の車両ブロックの位置に対応する世界座標系における第１位置、及び該車両の１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの位置に対応する世界座標系における第２位置を計算し、該第１位置と該第２位置との距離を該走行距離とするように構成されてもよい。
【0062】
本発明の実施例では、プロセッサ６２０は、世界座標系と入力画像の座標系との変換行列に基づいて、入力画像の座標系における各位置に対応する走行車両の所在する車線の車線幅を計算するように構成されてもよい。
【0063】
プロセッサ６２０の具体的な実施例は実施例１を参照してもよく、ここでその説明を省略する。
【0064】
もう１つの実施例では、上記の車両速度の検出装置は、プロセッサ６２０に接続されたチップ（図示せず）に構成されてもよく、プロセッサ６２０の制御により車両速度の検出装置の機能を実現してもよい。
【0065】
なお、画像処理装置６００は、ディスプレイ６０５及び入力出力（Ｉ／Ｏ）デバイス６０４をさらに含んでもよい。なお、画像処理装置６００は、図６に示す全ての構成部を含まなくてもよく、例えば入力画像シーケンスを取得するためのカメラ（図示せず）をさらに含んでもよい。また、画像処理装置６００は、図６に示していない構成部を含んでもよく、従来技術を参考してもよい。
【0066】
本発明の実施例の上記の装置では、車線幅に基づいて検出された現在の車両ブロックの大きさを調整し、現在の車両ブロックとバッファにおけるバッファブロックとのマッチングを行い、マッチングが成功した場合、現在の車両ブロックの走行距離及び時間に基づいて車両速度を決定することで、追跡方法に依存する必要がなく、フレームスキップの影響を受けず、高い車両速度の検出に適用することができ、計算量が少ない。
【0067】
＜実施例３＞
本発明の実施例３は車両速度の検出方法を提供し、該方法の問題解決の原理は実施例１の装置と類似するため、その実施は実施例１の装置の実施を参照してもよく、同様な内容についてその説明を省略する。
本発明の実施例３は車両速度の検出方法を提供し、該方法の問題解決の原理は実施例１の装置と類似するため、その実施は実施例１の装置の実施を参照してもよく、同様な内容についてその説明を省略する。
【0068】
【0069】
ステップ７０１：入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出する。
【0070】
ステップ７０２：バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と該現在のフレームにおける該現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、該現在の車両ブロックの大きさを調整する。
【0071】
ステップ７０３：大きさが調整された現在の車両ブロックと該バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定する。
【0072】
ステップ７０４：現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、該車両の第１時間内の走行距離を計算する。該第１時間は、該現在のフレームと該１番目のフレーム又は直前のマッチングフレームとの差に等しい。
【0073】
本発明の実施例では、ステップ７０１～７０４の具体的な実施例は実施例１における検出部１０１、第１調整部１０２、マッチング部１０３及び計算部１０４を参照してもよく、ここでその内容を援用し、重複する内容の説明を省略する。
【0074】
本発明の実施例では、該方法は、該現在のフレームにおける車線幅に基づいて該前景ブロックの大きさを調整するステップ（オプション、図示せず）をさらに含んでもよい。ステップ７０１において、調整後の前景ブロックの大きさに基づいて現在の車両ブロックを検出する。
【0075】
本発明の実施例では、ステップ７０３において、現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算し、何れかのバッファブロックの該第１マッチング度が第１閾値以上である場合、該現在の車両ブロックと該バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定し、各バッファブロックの該第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと該各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算し、何れかのバッファブロックの該第２マッチング度が第１閾値以上である場合、該現在の車両ブロックと該バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定する。例えば、何れかのバッファブロックの該第２マッチング度が第１閾値以上である場合、該バッファにおける該バッファブロックに記憶された直前のマッチングフレームを該現在のフレームに置き換え、該バッファにおける該バッファブロックに記憶された該直前のマッチングフレームにおけるバッファ車両ブロックを該現在の車両ブロックに置き換え、各バッファブロックの該第２マッチング度が何れも第１閾値よりも小さい場合、該現在のフレーム及び該現在の車両ブロックを、新しいバッファブロックの１番目のフレーム及びバッファ車両ブロックとして該バッファに記憶する。
【0076】
本発明の実施例では、該バッファには、各バッファブロックの関連情報が記憶されており、各バッファブロックの関連情報は、各バッファブロックの該１番目のフレーム及び１番目のフレームにおけるバッファ車両ブロックの第１情報、並びに各バッファブロックの該直前のマッチングフレーム及び直前のマッチングフレームにおけるバッファ車両ブロックの第２情報を含み、該第１情報は、該１番目のフレームの入力画像シーケンスにおけるフレーム番号、該バッファ車両ブロックの該１番目のフレームにおける位置、及び該１番目のフレームの画像を含み、該第２情報は、該直前のマッチングフレームの入力画像シーケンスにおけるフレーム番号、該バッファ車両ブロックの該直前のマッチングフレームにおける位置、及び該直前のマッチングフレームの画像を含み、該関連情報は、マッチング回数をさらに含み、マッチングが成功した場合、該マッチング回数に１を加算する。
【0077】
本発明の実施例では、該方法は、現在のフレームと該バッファにおけるバッファブロックの１番目のフレームとの差が第２閾値を超えた場合、バッファから該バッファブロックを削除するステップ（オプション、図示せず）をさらに含んでもよい。
【0078】
本発明の実施例では、該方法は、世界座標系と入力画像の座標系との変換行列に基づいて、該車両の現在のフレームにおける現在の車両ブロックの位置に対応する世界座標系における第１位置、及び該車両の１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの位置に対応する世界座標系における第２位置を計算するステップと、該第１位置と該第２位置との距離を該走行距離とするステップと（オプション、図示せず）、をさらに含んでもよい。
【0079】
本発明の実施例では、該方法は、世界座標系と入力画像の座標系との変換行列に基づいて、入力画像の座標系における各位置に対応する走行車両の所在する車線の車線幅を計算するステップ（オプション、図示せず）、をさらに含んでもよい。
【0080】
なお、図７は単なる本発明の実施例を例示的に説明するためのものであり、本発明はこれに限定されない。例えば、各処理の実行順序を適宜調整してもよいし、他の処理を追加し、或いはその一部の処理を削除してもよい。当業者は上記の内容に基づいて変形を適宜行ってもよく、上記の図７の記載に限定されない。
【0081】
本発明の実施例の上記の方法では、車線幅に基づいて検出された現在の車両ブロックの大きさを調整し、現在の車両ブロックとバッファにおけるバッファブロックとのマッチングを行い、マッチングが成功した場合、現在の車両ブロックの走行距離及び時間に基づいて車両速度を決定することで、追跡方法に依存する必要がなく、フレームスキップの影響を受けず、高い車両速度の検出に適用することができ、計算量が少ない。
【0082】
本発明の実施例は、車両速度の検出装置においてプログラムを実行する際に、コンピュータに、該車両速度の検出装置において実施例３に記載の車両速度の検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。
【0083】
本発明の実施例は、コンピュータに、車両速度の検出装置において実施例３に記載の車両速度の検出方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。
【0084】
本発明の実施例を参照しながら説明した車両速度の検出装置における車両速度の検出方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図面に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図面に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
【0085】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ－ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは車両速度の検出装置のメモリに記憶されてもよいし、車両速度の検出装置に挿入可能なメモリカードに記憶されてもよい。
【0086】
図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本発明に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
【0087】
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。
【0088】
また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
車両速度の検出装置であって、
入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出する検出部と、
バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と前記現在のフレームにおける前記現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、前記現在の車両ブロックの大きさを調整する第１調整部と、
前記第１調整部により調整された現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定するマッチング部と、
現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、前記車両の第１時間内の走行距離を計算し、前記第１時間及び前記走行距離に基づいて前記車両速度を計算する計算部であって、前記第１時間は、前記現在のフレームと前記１番目のフレーム又は直前のマッチングフレームとの差に等しい、計算部と、を含む、装置。
（付記２）
前記現在のフレームにおける車線幅に基づいて前記前景ブロックの大きさを調整する第２調整部、をさらに含み、
前記検出部は、調整後の前景ブロックの大きさに基づいて現在の車両ブロックを検出する、付記１に記載の装置。
（付記３）
前記マッチング部は、
大きさが調整された現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算する第１計算モジュールと、
何れかのバッファブロックの前記第１マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定する第１決定モジュールと、
各バッファブロックの前記第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと前記各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算する第２計算モジュールと、
何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定する第２決定モジュールと、を含む、付記１に記載の装置。
（付記４）
何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記マッチング部は、
前記バッファにおける前記バッファブロックに記憶された直前のマッチングフレームを前記現在のフレームに置き換え、前記バッファにおける前記バッファブロックに記憶された前記直前のマッチングフレームにおけるバッファ車両ブロックを前記現在の車両ブロックに置き換える更新モジュール、をさらに含み、
各バッファブロックの前記第２マッチング度が何れも第１閾値よりも小さい場合、前記更新モジュールは、前記現在のフレーム及び前記現在の車両ブロックを、新しいバッファブロックの１番目のフレーム及びバッファ車両ブロックとして前記バッファに記憶する、付記３に記載の装置。
（付記５）
前記バッファには、各バッファブロックの関連情報が記憶されており、
各バッファブロックの関連情報は、各バッファブロックの前記１番目のフレーム及び１番目のフレームにおけるバッファ車両ブロックの第１情報、並びに各バッファブロックの前記直前のマッチングフレーム及び直前のマッチングフレームにおけるバッファ車両ブロックの第２情報を含み、
前記第１情報は、前記１番目のフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記１番目のフレームにおける位置、及び前記１番目のフレームの画像を含み、
前記第２情報は、前記直前のマッチングフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記直前のマッチングフレームにおける位置、及び前記直前のマッチングフレームの画像を含み、
前記関連情報は、マッチング回数をさらに含み、
マッチングが成功した場合、前記マッチング部は、前記マッチング回数に１を加算する、付記１に記載の装置。
（付記６）
現在のフレームと前記バッファにおけるバッファブロックの１番目のフレームとの差が第２閾値を超えた場合、バッファから前記バッファブロックを削除する削除部、をさらに含む、付記５に記載の装置。
（付記７）
前記計算部は、世界座標系と入力画像の座標系との変換行列に基づいて、前記車両の現在のフレームにおける現在の車両ブロックの位置に対応する世界座標系における第１位置、及び前記車両の１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの位置に対応する世界座標系における第２位置を計算し、前記第１位置と前記第２位置との距離を前記走行距離とする、付記１に記載の装置。
（付記８）
世界座標系と入力画像の座標系との変換行列に基づいて、入力画像の座標系における各位置に対応する走行車両の所在する車線の車線幅を計算する車線幅計算部、をさらに含む、付記１に記載の装置。
（付記９）
車両速度の検出方法であって、
入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出するステップと、
バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と前記現在のフレームにおける前記現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、前記現在の車両ブロックの大きさを調整するステップと、
大きさが調整された現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定するステップと、
現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、前記車両の第１時間内の走行距離を計算するステップであって、前記第１時間は、前記現在のフレームと前記１番目のフレーム又は直前のマッチングフレームとの差に等しい、ステップと、
前記第１時間及び前記走行距離に基づいて前記車両速度を計算するステップと、を含む、方法。
（付記１０）
現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行うステップは、
現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算し、何れかのバッファブロックの前記第１マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定するステップと、
各バッファブロックの前記第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと前記各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算し、何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定するステップと、を含む、付記９に記載の方法。
（付記１１）
前記現在のフレームにおける車線幅に基づいて前記前景ブロックの大きさを調整するステップ、をさらに含み、
調整後の前景ブロックの大きさに基づいて現在の車両ブロックを検出する、付記９に記載の方法。
（付記１２）
何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記バッファにおける前記バッファブロックに記憶された直前のマッチングフレームを前記現在のフレームに置き換え、前記バッファにおける前記バッファブロックに記憶された前記直前のマッチングフレームにおけるバッファ車両ブロックを前記現在の車両ブロックに置き換え、
各バッファブロックの前記第２マッチング度が何れも第１閾値よりも小さい場合、前記現在のフレーム及び前記現在の車両ブロックを、新しいバッファブロックの１番目のフレーム及びバッファ車両ブロックとして前記バッファに記憶する、付記１０に記載の方法。
（付記１３）
前記バッファには、各バッファブロックの関連情報が記憶されており、
各バッファブロックの関連情報は、各バッファブロックの前記１番目のフレーム及び１番目のフレームにおけるバッファ車両ブロックの第１情報、並びに各バッファブロックの前記直前のマッチングフレーム及び直前のマッチングフレームにおけるバッファ車両ブロックの第２情報を含み、
前記第１情報は、前記１番目のフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記１番目のフレームにおける位置、及び前記１番目のフレームの画像を含み、
前記第２情報は、前記直前のマッチングフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記直前のマッチングフレームにおける位置、及び前記直前のマッチングフレームの画像を含み、
前記関連情報は、マッチング回数をさらに含み、
マッチングが成功した場合、前記マッチング回数に１を加算する、付記９に記載の方法。
（付記１４）
現在のフレームと前記バッファにおけるバッファブロックの１番目のフレームとの差が第２閾値を超えた場合、バッファから前記バッファブロックを削除するステップ、をさらに含む、付記１３に記載の方法。
（付記１５）
前記車両の第１時間内の走行距離を計算するステップは、
世界座標系と入力画像の座標系との変換行列に基づいて、前記車両の現在のフレームにおける現在の車両ブロックの位置に対応する世界座標系における第１位置、及び前記車両の１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの位置に対応する世界座標系における第２位置を計算するステップと、
前記第１位置と前記第２位置との距離を前記走行距離とするステップと、を含む、付記９に記載の方法。
（付記１６）
世界座標系と入力画像の座標系との変換行列に基づいて、入力画像の座標系における各位置に対応する走行車両の所在する車線の車線幅を計算するステップ、をさらに含む、付記９に記載の方法。
（付記１）
車両速度の検出装置であって、
入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出する検出部と、
バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と前記現在のフレームにおける前記現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、前記現在の車両ブロックの大きさを調整する第１調整部と、
前記第１調整部により調整された現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定するマッチング部と、
現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、前記車両の第１時間内の走行距離を計算し、前記第１時間及び前記走行距離に基づいて前記車両速度を計算する計算部であって、前記第１時間は、前記現在のフレームと前記１番目のフレーム又は直前のマッチングフレームとの差に等しい、計算部と、を含む、装置。
（付記２）
前記現在のフレームにおける車線幅に基づいて前記前景ブロックの大きさを調整する第２調整部、をさらに含み、
前記検出部は、調整後の前景ブロックの大きさに基づいて現在の車両ブロックを検出する、付記１に記載の装置。
（付記３）
前記マッチング部は、
大きさが調整された現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算する第１計算モジュールと、
何れかのバッファブロックの前記第１マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定する第１決定モジュールと、
各バッファブロックの前記第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと前記各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算する第２計算モジュールと、
何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定する第２決定モジュールと、を含む、付記１に記載の装置。
（付記４）
何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記マッチング部は、
前記バッファにおける前記バッファブロックに記憶された直前のマッチングフレームを前記現在のフレームに置き換え、前記バッファにおける前記バッファブロックに記憶された前記直前のマッチングフレームにおけるバッファ車両ブロックを前記現在の車両ブロックに置き換える更新モジュール、をさらに含み、
各バッファブロックの前記第２マッチング度が何れも第１閾値よりも小さい場合、前記更新モジュールは、前記現在のフレーム及び前記現在の車両ブロックを、新しいバッファブロックの１番目のフレーム及びバッファ車両ブロックとして前記バッファに記憶する、付記３に記載の装置。
（付記５）
前記バッファには、各バッファブロックの関連情報が記憶されており、
各バッファブロックの関連情報は、各バッファブロックの前記１番目のフレーム及び１番目のフレームにおけるバッファ車両ブロックの第１情報、並びに各バッファブロックの前記直前のマッチングフレーム及び直前のマッチングフレームにおけるバッファ車両ブロックの第２情報を含み、
前記第１情報は、前記１番目のフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記１番目のフレームにおける位置、及び前記１番目のフレームの画像を含み、
前記第２情報は、前記直前のマッチングフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記直前のマッチングフレームにおける位置、及び前記直前のマッチングフレームの画像を含み、
前記関連情報は、マッチング回数をさらに含み、
マッチングが成功した場合、前記マッチング部は、前記マッチング回数に１を加算する、付記１に記載の装置。
（付記６）
現在のフレームと前記バッファにおけるバッファブロックの１番目のフレームとの差が第２閾値を超えた場合、バッファから前記バッファブロックを削除する削除部、をさらに含む、付記５に記載の装置。
（付記７）
前記計算部は、世界座標系と入力画像の座標系との変換行列に基づいて、前記車両の現在のフレームにおける現在の車両ブロックの位置に対応する世界座標系における第１位置、及び前記車両の１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの位置に対応する世界座標系における第２位置を計算し、前記第１位置と前記第２位置との距離を前記走行距離とする、付記１に記載の装置。
（付記８）
世界座標系と入力画像の座標系との変換行列に基づいて、入力画像の座標系における各位置に対応する走行車両の所在する車線の車線幅を計算する車線幅計算部、をさらに含む、付記１に記載の装置。
（付記９）
車両速度の検出方法であって、
入力画像シーケンスの現在のフレームの前景ブロックにおいて現在の車両ブロックを検出するステップと、
バッファにおける各バッファブロックの１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの所在する車線の第１車線幅と前記現在のフレームにおける前記現在の車両ブロックの所在する車線の第２車線幅との関係に基づいて、前記現在の車両ブロックの大きさを調整するステップと、
大きさが調整された現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行い、同一の車両であるか否かを決定するステップと、
現在の車両ブロックとバッファ車両ブロックとが同一の車両であると決定された場合、前記車両の第１時間内の走行距離を計算するステップであって、前記第１時間は、前記現在のフレームと前記１番目のフレーム又は直前のマッチングフレームとの差に等しい、ステップと、
前記第１時間及び前記走行距離に基づいて前記車両速度を計算するステップと、を含む、方法。
（付記１０）
現在の車両ブロックと前記バッファ車両ブロックとのマッチングを行うステップは、
現在の車両ブロックと各バッファブロックの１番目のフレームにおけるバッファ車両ブロックとのマッチングを行い、各バッファブロックの第１マッチング度を計算し、何れかのバッファブロックの前記第１マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの１番目のフレームにおけるバッファ車両ブロックとが同一の車両であると決定するステップと、
各バッファブロックの前記第１マッチング度が第１閾値よりも小さい場合、大きさが調整された現在の車両ブロックと前記各バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとのマッチングを行い、第２マッチング度を計算し、何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記現在の車両ブロックと前記バッファブロックの直前のマッチングフレームにおけるバッファ車両ブロックとが同一の車両であると決定するステップと、を含む、付記９に記載の方法。
（付記１１）
前記現在のフレームにおける車線幅に基づいて前記前景ブロックの大きさを調整するステップ、をさらに含み、
調整後の前景ブロックの大きさに基づいて現在の車両ブロックを検出する、付記９に記載の方法。
（付記１２）
何れかのバッファブロックの前記第２マッチング度が第１閾値以上である場合、前記バッファにおける前記バッファブロックに記憶された直前のマッチングフレームを前記現在のフレームに置き換え、前記バッファにおける前記バッファブロックに記憶された前記直前のマッチングフレームにおけるバッファ車両ブロックを前記現在の車両ブロックに置き換え、
各バッファブロックの前記第２マッチング度が何れも第１閾値よりも小さい場合、前記現在のフレーム及び前記現在の車両ブロックを、新しいバッファブロックの１番目のフレーム及びバッファ車両ブロックとして前記バッファに記憶する、付記１０に記載の方法。
（付記１３）
前記バッファには、各バッファブロックの関連情報が記憶されており、
各バッファブロックの関連情報は、各バッファブロックの前記１番目のフレーム及び１番目のフレームにおけるバッファ車両ブロックの第１情報、並びに各バッファブロックの前記直前のマッチングフレーム及び直前のマッチングフレームにおけるバッファ車両ブロックの第２情報を含み、
前記第１情報は、前記１番目のフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記１番目のフレームにおける位置、及び前記１番目のフレームの画像を含み、
前記第２情報は、前記直前のマッチングフレームの入力画像シーケンスにおけるフレーム番号、前記バッファ車両ブロックの前記直前のマッチングフレームにおける位置、及び前記直前のマッチングフレームの画像を含み、
前記関連情報は、マッチング回数をさらに含み、
マッチングが成功した場合、前記マッチング回数に１を加算する、付記９に記載の方法。
（付記１４）
現在のフレームと前記バッファにおけるバッファブロックの１番目のフレームとの差が第２閾値を超えた場合、バッファから前記バッファブロックを削除するステップ、をさらに含む、付記１３に記載の方法。
（付記１５）
前記車両の第１時間内の走行距離を計算するステップは、
世界座標系と入力画像の座標系との変換行列に基づいて、前記車両の現在のフレームにおける現在の車両ブロックの位置に対応する世界座標系における第１位置、及び前記車両の１番目のフレーム又は直前のマッチングフレームにおけるバッファ車両ブロックの位置に対応する世界座標系における第２位置を計算するステップと、
前記第１位置と前記第２位置との距離を前記走行距離とするステップと、を含む、付記９に記載の方法。
（付記１６）
世界座標系と入力画像の座標系との変換行列に基づいて、入力画像の座標系における各位置に対応する走行車両の所在する車線の車線幅を計算するステップ、をさらに含む、付記９に記載の方法。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】