知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】道路監視ビデオのオブジェクト追跡装置及び方法
(51)【国際特許分類】
G08G 1/04 20060101AFI20240625BHJP
G06T 7/00 20170101ALI20240625BHJP
【ＦＩ】
G08G1/04 D
G06T7/00 650B
【請求項の数】
9
(21)【出願番号】P 2021003668
(22)【出願日】2021-01-13
(65)【公開番号】P2021128761
(43)【公開日】2021-09-02
【審査請求日】2023-09-07
(31)【優先権主張番号】202010092661.7
(32)【優先日】2020-02-14
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ジャン・ナヌ
(72)【発明者】
【氏名】タヌ・ジミン
【審査官】上野 博史
(56)【参考文献】
【文献】特開２００１－３５７４８９（ＪＰ，Ａ）
【文献】特開２０１８－０１８３９３（ＪＰ，Ａ）
【文献】特開平１１－１２０４８１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／０４
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
道路監視ビデオにおけるオブジェクトを追跡する装置であって、道路の関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得するオブジェクト検出ユニット；
初期化段階にあるかを確定する初期化確定ユニット；
前記初期化段階にない場合、前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う追跡マッチングユニット；
マッチング結果に基づいて前記追跡情報を更新する追跡更新ユニット；及び
前記初期化段階にある場合、前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新する道路更新ユニットを含む、装置。
【請求項2】
請求項１に記載の装置であって、前記道路更新ユニットは、
前記検出情報の矩形の幅に所定スケール値をかけ、前記検出情報に対応する所定高さ範囲内の道路幅を更新し；及び／又は
前記検出情報の底辺の中点を基づいて複数のフレームの間のベクトルの角度を計算し、前記検出情報に対応する所定高さ範囲内の道路方向を更新する、装置。
【請求項3】
請求項１に記載の装置であって、前記追跡マッチングユニットは、
以下の条件のうちの少なくとも１つ又は任意の組み合わせが満足される場合、或る検出情報と或る追跡情報がマッチし得ると確定し、即ち、
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトとが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道の幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの小さい面積に第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さいという条件である、装置。
【請求項4】
請求項１に記載の装置であって、前記追跡更新ユニットは、
或る追跡情報が１つ又は複数の検出情報に対応している場合、最も一致した検出情報を選択して前記追跡情報を更新し、或る検出情報が１つ又は複数の追跡情報に対応している場合、前記検出情報を、最も一致した追跡情報を更新するために使用し；及び
或る検出情報とマッチする追跡情報がない場合、前記検出情報を新しいオブジェクトとし、或る追跡情報とマッチする検出情報がない場合、前記追跡情報のために予測情報を構成し、又は前記追跡情報を削除する、装置。
【請求項5】
請求項４に記載の装置であって、前記追跡更新ユニットは、
テンプレートマッチングフレーム数が第一閾値よりも小さい場合、現在のフレームを用いて入力画像を構成し、及び前のフレームを用いてテンプレート画像を構成し；
前記入力画像と前記テンプレート画像とのテンプレートマッチングを行い；及び
前記テンプレートマッチングのマッチング度が第二閾値よりも大きい場合、前記予測情報としての前記入力画像に基づいて前記追跡情報を更新することを含む、装置。
【請求項6】
請求項５に記載の装置であって、前記追跡更新ユニットはさらに、
カルマンフィルターに基づいてカレントフレームの予測点を計算し、対応する第一車道幅を取得し；
前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；
前記第一車道幅及び前記第二車道幅に基づいて車道幅の比率を計算し；及び
前記車道幅の比率に基づいて前記カレントフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得することを含む、装置。
【請求項7】
請求項５に記載の装置であって、前記追跡更新ユニットはさらに、
前記テンプレートマッチングフレーム数が前記第一閾値以上であり、又は前記テンプレートマッチングのマッチング度が前記第二閾値以下である場合、予測フレーム数が第三閾値よりも小さいか、且つ総フレーム数が第四閾値よりも小さいかを確定し；
前記予測フレーム数が前記第三閾値よりも小さく、且つ前記総フレーム数が前記第四閾値よりも小さい場合、現在のフレームを用いて前記予測情報としての予測画像を構成し；及び
前記予測画像が有効である場合、前記予測画像に基づいて前記追跡情報を更新する、装置。
【請求項8】
請求項７に記載の装置であって、前記追跡更新ユニットはさらに、
前記予測フレーム数が前記第三閾値以上であり、又は、前記総フレーム数が前記第四閾値以上であり、又は、前記予測画像が無効である場合、前記追跡情報を削除する、装置。
【請求項9】
道路監視ビデオにおけるオブジェクトを追跡する方法であって、道路の関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得し；
初期化段階にあるかを確定し；
前記初期化段階にない場合、前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
マッチング結果に基づいて前記追跡情報を更新し；及び
前記初期化段階にある場合、前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新することを含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ監視技術分野に関する。
【背景技術】
【0002】
ビデオ監視システムが日常生活に幅広く応用されており、例えば、カメラヘッドにより道路を監視し、複数種の交通イベントを検出することができる。イベントを検出するために、一般的には、ビデオ監視の設定情報、例えば、関心領域（ＲＯＩ、Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）、車道の幅、車道の方向などを事前設定することができる。
【0003】
交通監視ビデオにおいて、検出オブジェクト（対象とも言い、例えば、車両である）のサイズが近くから遠くに向かって小さくなり、また、障害物やその他の物体が検出対象をブロックする可能性もある。スケール（ｓｃａｌｅ）の変化及びブロッキング（ｂｌｏｃｋｉｎｇ）が従来のオブジェクト追跡の問題の１つである。
【0004】
人工智能（ＡＩ）技術に基づく交通分析が注目の研究分野であり、これにより、交通イベントを検出し、車両の速度を測定し、また、交通量を計算することができる。これらのアプリケーションのほとんどすべては、幾つかの基本モジュール、例えば、オブジェクト（ｏｂｊｅｃｔｉｏｎ）検出、マルチオブジェクト追跡（ｔｒａｃｋｉｎｇ）、イベント判断などに基づいている。交通オブジェクトの追跡にとって最も重要な部分の１つである。
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明者が次のようなことを発見した。即ち、深層学習に基づく最新の追跡方法により、スケールの変化及びブロッキングの一部の問題を解決することができるが、大量の計算が要され、また、応用シナリオについて事前訓練することも必要である。
【0006】
リアルタイム道路監視システムについて言えば、連携を必要とするモジュールが複数あり、例えば、シナリオの理解、オブジェクトの検出、追跡などを含む。そのため、各モジュールの処理時間のバランスを取る必要がある。通常、検出モジュールは最も時間がかかる。よって、追跡モジュールに必要な時間は短くなる必要がある。深層学習に基づく追跡方法は、リアルタイム道路監視システムに応用することが困難である。
【0007】
上述の問題の少なくとも１つに鑑み、本発明の実施例は、道路監視ビデオのオブジェクト追跡装置及び方法を提供し、これにより、リアルタイム道路監視ビデオに係るスケールの変化及び／又はブロッキングの問題を解決することができる。
【課題を解決するための手段】
【0008】
本発明の実施例の第一側面によれば、道路監視ビデオのオブジェクト追跡装置が提供され、それは、
道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得するオブジェクト検出ユニット；
前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う追跡マッチングユニット；
マッチング結果に基づいて前記追跡情報を更新する追跡更新ユニット；及び
前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新する道路更新ユニットを含む。
道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得するオブジェクト検出ユニット；
前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う追跡マッチングユニット；
マッチング結果に基づいて前記追跡情報を更新する追跡更新ユニット；及び
前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新する道路更新ユニットを含む。
【0009】
本発明の実施例の第二側面によれば、道路監視ビデオのオブジェクト追跡方法が提供され、それは、
道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得し；
前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
マッチング結果に基づいて前記追跡情報を更新し；及び
前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新することを含む。
道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得し；
前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
マッチング結果に基づいて前記追跡情報を更新し；及び
前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新することを含む。
【0010】
本発明の実施例の有益な効果の１つは次の通りであり、１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い、そして、マッチング結果に基づいて前記追跡情報を更新し、及び検出情報及び／又は追跡情報に基づいて関心領域の道路情報を更新することにより、迅速なオブジェクト追跡を実現することができ、リアルタイム道路監視ビデオに係るスケールの変化及び／又はブロッキングの問題を解決することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施例における道路監視ビデオのオブジェクト追跡方法を示す図である。
【図2】本発明の実施例における車道幅更新の一例を示す図である。
【図3】本発明の実施例における追跡マッチングのためのパラメータの一例を示す図である。
【図4】本発明の実施例において検出情報とマッチしない或る追跡情報に対しての処理方法を示す図である。
【図5】本発明の実施例におけるカレントフレームの一例を示す図である。
【図6】本発明の実施例においてテンプレートマッチングを行うための入力画像の一例を示す図である。
【図7】本発明の実施例においてテンプレートマッチングを行うためのテンプレート画像の一例を示す図である。
【図8】本発明の実施例における道路監視ビデオのオブジェクト追跡装置を示す図である。
【図9】本発明の実施例における電子機器を示す図である。
【発明を実施するための形態】
【0012】
以下、添付した図面を参照しながら、本発明を実施するための好ましい実施例について詳細に説明する。
【0013】
本発明の実施例では、交通イベント及び道路監視を例にとって説明を行い、カメラヘッドにより複数のフレームを含むビデオ画像を取得することができ、該カメラヘッドはインテリジェント交通（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ）ビデオ監視に用いられるＰＴＺカメラヘッドであっても良く、それは、絶えずに道路監視領域に対して撮影を行うことができる。なお、本発明はこれに限定されない。
【0014】
＜第一側面の実施例＞
本発明の実施例は道路監視ビデオのオブジェクト追跡方法を提供する。図１は本発明の実施例における道路監視ビデオのオブジェクト追跡方法を示す図である。図１に示すように、該方法は以下のステップを含む。
本発明の実施例は道路監視ビデオのオブジェクト追跡方法を提供する。図１は本発明の実施例における道路監視ビデオのオブジェクト追跡方法を示す図である。図１に示すように、該方法は以下のステップを含む。
【0015】
１０１：道路関心領域（ＲＯＩ）のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得し；
１０２：１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
１０３：マッチング結果に基づいて前記追跡情報を更新し；及び
１０４：検出情報及び／又は追跡情報に基づいて前記関心領域の道路情報を更新する。
１０２：１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
１０３：マッチング結果に基づいて前記追跡情報を更新し；及び
１０４：検出情報及び／又は追跡情報に基づいて前記関心領域の道路情報を更新する。
【0016】
図１に示すように、オプションとして、該方法はさらに以下のステップを含んでも良い。
【0017】
１０５：初期化段階にあるかを確定し、初期化段階にある場合、前記検出情報に基づいて前記関心領域の道路情報を更新し（１０４）；前記初期化段階にない場合、前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う（１０２）。
【0018】
なお、上述の図１は本発明の実施例を例示的に説明するためのものに過ぎず、本発明はこれに限られない。例えば、各操作（ステップ）間の実行順序を適切に調整したり、幾つかの操作（ステップ）を増減したりしても良い。即ち、当業者は、図１の記載をもとに、上述の内容に対して適切に変更しても良い。
【0019】
幾つかの実施例において、カメラヘッドのビデオシーケンス及び設定ファイルに基づいてオブジェクトの検出及び追跡を行うことができる。設定ファイルはＲＯＩ領域を含んでも良く、道路情報は車道の幅及び車道の方向を含んでも良く、行列（ｍａｔｒｉｘ）で表すことができる。
【0020】
例えば、２つの行列を用いて各ＲＯＩにおける各Ｙ位置の車道幅の値及び車道方向の値（走行（進行）角度）を格納することができ、この２つの行列はそれぞれｌａｎｅ＿ｗｉｄｔｈ＿ｍａｔ及びｌａｎｅ＿ｄｉｒ＿ｍａｔと記される。例えば、２つのＲＯＩがあり、且つ画像の高さが３６０（ピクセル）である場合、この２つの行列のサイズは２＊３６０である。
【0021】
幾つかの実施例において、ハードウェア構成の計算能力に基づいてオブジェクト検出の方法、モデル又は検出子を選択することができ、例えば、機械学習又は深層学習モデルによりオブジェクトを検出することができる。初期段階において、ＲＯＩ領域により検出の範囲を調整することができ、オブジェクト検出モジュールは、検出した各オブジェクトの検出情報（矩形、類型及び属性を含む）を追跡モジュールに出力することができる。以下、検出モジュールが検出した検出情報をブラッブ（Ｂｌｏｂ）情報と称する。
【0022】
例えば、枝刈り（ｐｒｕｎｉｎｇ）後のＹＯＬＯ Ｖ３モデルを検出子として使用し、監視カメラヘッドのサンプルを用いて該モデルを訓練することができる。該モデルは、７種の物体、即ち、自動車、トラック、バス、バン（ｖａｎ）、オートバイ、自転車及び人を検出することができる。なお、具体的にどのようにオブジェクト検出を行うかについては、関連技術を参照することができる。
【0023】
幾つかの実施例において、追跡子を用いてオブジェクト追跡のための追跡情報を格納することができる。例えば、各車両追跡子はコンテナに１つのバッファがあり、追跡の目的は追跡子のバッファのコンテナを更新し、また、コンテナからＲＯＩ領域を離れた追跡子を削除することにある。
【0024】
例えば、新しく検出した各車両のために１つの格納スペースを割り当てることができる。新しく検出した車両は、該車両が何れのバッファのブラッブとマッチしないことを示す。例えば、バッファのデータ構造は表１に示す通りであり、ここで、新しいバッファにおいて“ｔｒａｃｋ＿ｒｅｃｔ”のために検出した車両の矩形を割り当てる。バッファにおける他の情報は０と設定され、また、その後のステップで更新され得る。
【表1】
【0025】
本発明の実施例では、道路情報を用いてスケールの変化及びブロッキングの問題を解決することができる。例えば、車道幅の値は追跡を行う距離閾値を調整するために用いられ得る。１つの固定した閾値を用いて追跡マッチングを行う場合、車両が遠い領域又は近い領域に入るときに、追跡の正確性が低下することがある。追跡子と、検出されたブラッブとがマッチしないときに、車道幅の値はさらにテンプレートマッチングの前にスケールを調整するために用いられ得る。
【0026】
幾つかの実施例において、検出情報の矩形の幅に所定スケール値をかける（掛け算）ことで、前記検出情報に対応する所定高さ範囲内の道路の幅を更新し、及び／又は、前記検出情報の底辺の中点に基づいて複数のフレームの間のベクトルの角度を計算することで、前記検出情報に対応する所定高さ範囲内の道路方向を更新することができる。
【0027】
例えば、初期化段階において、車道幅の更新はオブジェクト検出モジュールの後にあり、初期化段階の後に、車道幅の更新は追跡モジュールの後にある。車道の幅は“自動車”の矩形の幅を参照することができる。実際の車道の幅は通常３．５ｍ乃至４ｍであり、自動車の幅は１．６ｍ乃至１．８ｍである。よって、車道の幅が自動車の幅の１．５倍（即ち、所定スケール値）であるとすることができる。なお、ここでの該所定スケール値は１．５に限定されず、他の値であっても良い。
【0028】
図２は本発明の実施例における車道幅更新の一例を示す図であり、検出情報に基づいて車道幅の値を適応的に更新するケースを示している。該道路監視領域はＲＯＩ １及びＲＯＩ ２を含み、車道に沿う線２０１と線２０２との間の距離は各Ｙ位置の適応車道幅である。
【0029】
図２に示すように、例えば、１つの自動車Ｂｌｏｂ ２０３が検出されたときに、その底部のＹ坐標がｙであり、ＲＯＩ １においてその幅がｗである場合、ｌａｎｅ＿ｗｉｄｔｈ＿ｍａｔの第一行のｙ－１０とｙ＋１０との間の車道幅の値を１．５＊ｗに更新する。そのうち、１０ピクセルシフトすることは、更新が所定期間後に上から下へＲＯＩ領域をカバーし得ることを確保するためである。
【0030】
また、例えば、車道方向の更新は追跡モジュールの後にあり、追跡モジュールにおける誤ったマッチングを削除するために用いられ得る。オブジェクトが所定期間追跡されている場合、走行角度（０°～３６０°）は安定したものである。底辺の中点を基準点として、２つの追跡子の間の角度を計算することができる。フレームの持続時間はｔ（例えば、５）である。
【0031】
例えば、１つのオブジェクトについて、５つのフレームを追跡し、現在のｉ番目のフレームの基準点が（ｘｉ，ｙｉ）であり、ｉ－５番目のフレームの基準点が（ｘｉ－５，ｙｉ－５）である場合、この２つの点の間のベクトルの角度はｌａｎｅ＿ｄｉｒ＿ｍａｔに更新される。車道幅の更新と同様に、現在のＹ位置の上下領域（例えば、ｙ－１０とｙ＋１０との間の領域）を更新することもできる。
【0032】
幾つかの実施例において、或る検出情報と或る追跡情報がマッチし得るかを確定する。具体的には、以下のような条件のうちの少なくとも１つ又は任意の組み合わせが満足される場合、或る検出情報と或る追跡情報がマッチングし得ると確定することができ、即ち、
前記検出情報に対応するオブジェクトが、前記追跡情報に対応するオブジェクトと同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道の幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの比較的小さい面積に第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向（車道上の車の走行方向）との間の角度が所定角度よりも小さい。
前記検出情報に対応するオブジェクトが、前記追跡情報に対応するオブジェクトと同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道の幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの比較的小さい面積に第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向（車道上の車の走行方向）との間の角度が所定角度よりも小さい。
【0033】
例えば、リアルタイム道路ビデオを監視するため、これは、１秒内で十数個のフレームを処理し得ることを意味する。よって、物体の移動距離は長すぎてはならない。追跡子自身の距離、面積及び履歴情報に基づいて、検出した各Ｂｌｏｂとバッファ追跡子との比較を行うことができる。
【0034】
例えば、検出したｂｌｏｂがｂｌｏｂ［ｉ］であり、バッファ追跡子がｔｒａｃｋｅｒ［ｊ］であり、ｔｒａｃｋｅｒ［ｊ］の車道幅の値がｌａｎｅ＿ｗｊであり、ｔｒａｃｋｅｒ［ｊ］の走行角度がａｎｇｌｅｊである場合、マッチング条件は、
１）対応するオブジェクトが同じＲＯＩに位置し；
２）２つの底辺の中点の間の距離が０．５＊ｌａｎｅ＿ｗｊよりも小さく；
３）２つの矩形の間の面積の差がそのうちの比較的小さい面積の０．３倍よりも小さく；及び
４）追跡子［ｊ］の車道走行方向とマッチングベクトルの角度が４５°よりも小さい。
１）対応するオブジェクトが同じＲＯＩに位置し；
２）２つの底辺の中点の間の距離が０．５＊ｌａｎｅ＿ｗｊよりも小さく；
３）２つの矩形の間の面積の差がそのうちの比較的小さい面積の０．３倍よりも小さく；及び
４）追跡子［ｊ］の車道走行方向とマッチングベクトルの角度が４５°よりも小さい。
【0035】
なお、以上のマッチング方法及び条件は本発明の具体例に過ぎず、本発明はこれに限られない。
【0036】
図３は、本発明の実施例における追跡マッチングのためのパラメータの一例を示す図である。図３に示すように、ｔｒａｃｋｅｒ［ｊ］の下方の点線は履歴軌迹であり、ｔｒａｃｋｅｒ［ｊ］の下方の車道走行方向はベクトル方向３０１であり、ｔｒａｃｋｅｒ［ｊ］の底辺の中点のＹ坐標のｌａｎｅ＿ｄｉｒ＿ｍａｔにおける方向角度値であり；さらにｂｌｏｂ［ｉ］とｔｒａｃｋｅｒ［ｊ］の底辺の中点の間の角度（マッチングベクトル方向とも言い、即ち、ベクトル３０２の方向である）を算出することができる。上述の条件４）の角度は、ベクトル３０１（車道走行方向）とベクトル３０２（マッチングベクトル方向）との間の角度であり、該角度は、４５°よりも小さい。
【0037】
幾つかの実施例において、或る追跡情報が１つ又は複数の検出情報に対応している場合、最も一致した検出情報を選択して前記追跡情報を更新し；或る検出情報が１つ又は複数の追跡情報に対応している場合、前記検出情報を最も一致した追跡情報の更新のために用い；或る検出情報が追跡情報とマッチしない場合、前記検出情報を新しいオブジェクトとする。
【0038】
例えば、検出した各ブラッブと追跡子とのマッチングを行った後に、１つの名前がｍａｔｃｈ＿ｍａｔである行列を得ることができる。カレント（ｃｕｒｒｅｎｔ）フレームにおいてＮ個のブラッブを検出し、Ｍ個の追跡子がある場合、マッチング行列のサイズはＮ＊Ｍである。追跡コンテナは以下のケースに基づいて更新される。
【0039】
１つの追跡子［ｊ］について、それとマッチした検出ブラッブが１つ又は複数ある場合、即ち、
である場合、最も一致した検出ブラッブを選択して追跡子［ｊ］を更新し、ｊ番目の列における他のマッチングフラグが０に設定される。
【数1】
【0040】
検出した１つのｂｌｏｂ［ｉ］について、それとマッチした追跡子が１つ又は複数ある場合、即ち、
である場合、最も一致した追跡子を選択し、ｂｌｏｂ［ｉ］を用いてそれを更新し、ｉ番目の行における他のマッチングフラグが０に設定される。
【数2】
【0041】
検出したｂｌｏｂ［ｉ］とマッチする追跡子がない場合、即ち、
である場合、検出した該ブラッブを、ＲＯＩに入った新しいオブジェクトと見なし、その後、それに対して初期化を行い、また、それを追跡コンテナにプッシュすることができる。
【数3】
【0042】
幾つかの実施例において、或る追跡情報が検出情報とマッチしない場合、前記追跡情報のために予測情報を構成し、又は、前記追跡情報を除去する。
【0043】
例えば、該追跡子とマッチするブラッブ［ｊ］を検出しない場合、即ち、
である場合、２つの可能性を含み、１つは、該オブジェクトがＲＯＩを離れており、もう１つは、検出モジュールが一時的に該オブジェクトを見逃している。後者の場合、本発明の実施例は、テンプレートマッチング方法により矩形を見つけ、又は、履歴情報に基づいて予測操作を行うことができる。
【数4】
【0044】
【0045】
４０１：テンプレートマッチングフレーム数（ｍａｔｃｈｉｎｇ－ｃｎｔ）が第一閾値（ｔｈｒｅｓｈｏｌｄ １）よりも小さいかを判断し、はいの場合、４０２を実行し、いいえの場合、４０５を実行する。
【0046】
例えば、該テンプレートマッチングフレーム数（ｍａｔｃｈｉｎｇ－ｃｎｔ）は、表１におけるｆｒａｍｅ＿ｃｎｔからｐｒｅｄｉｃｔ＿ｃｎｔ及びｖｅｈｉｃｌｅ＿ｃｎｔをマイナスしたものであっても良い。
【0047】
４０２：現在のフレームを用いて入力画像を構成し、及び前のフレーム（例えば、１つ前のフレーム）を用いてテンプレート画像を構成する。
【0048】
幾つかの実施例において、現在のフレームにおいて１つの矩形を見つけて、テンプレートマッチングのための入力画像を作成しても良い。そのうち、カルマンフィルターを用いてフレームの間の変位ベクトル（ｄｘ，ｄｙ）を予測することができる。
【0049】
例えば、矩形の底辺の中点を基準点とし、フレームの間の基準点の変位が（ｄｘ，ｄｙ）である。カルマンフィルターを初期化するために、４つの状態値の次元、即ち、ｄｘ、ｄｙ、ｄｘ’、ｄｙ’があって良い。遷移行列Ａが以下のように定義される。
【数5】
【0050】
追跡モジュールの更新過程において、カルマンフィルターは測定結果に基づいて予測状態を更新する。１つ前のフレームの測定行列を用いて予測関数を呼び出すと、それは、カレントフレームの予測結果をリターンし、例えば、予測基準点の位置はｐｒｅｄｉｃｔ＿ｐｏｉｎｔである。
【0051】
幾つかの実施例において、カルマンフィルターに基づいてカレントフレームの予測点を計算することで、対応する第一車道幅を取得し；前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；前記第一車道幅及び前記第二車道幅に基づいて車道幅の比率を計算し；前記車道幅の比率に基づいて前記カレントフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得する。
【0052】
図５は本発明の実施例におけるカレントフレームの一例を示す図である。例えば、まず、カレントフレームにおいて入力画像の範囲を確定する。“ｐｒｅｄｉｃｔ＿ｐｏｉｎｔ”は予測の底辺の中点であり、カルマンフィルターの予測からのものであり、図５における５０１に示すようである。ｔｒａｃｋ＿ｒｅｃｔは追跡子における該追跡情報の矩形であり、図５における５０２に示すようである。
【0053】
ｔｒａｃｋ＿ｒｅｃｔのＹ坐標がｙ１であり、ｐｒｅｄｉｃｔ＿ｐｏｉｎｔのＹ坐標がｙ２であり、対応する車道幅の値がそれぞれｌａｎｅ＿ｗｉｄｔｈ＿ｍａｔ［ｙ１］及びｌａｎｅ＿ｗｉｄｔｈ＿ｍａｔ［ｙ２］である場合、車道幅の比率はｌａｎｅ＿ｗｉｄｔｈ＿ｍａｔ［ｙ２］／ｌａｎｅ＿ｗｉｄｔｈ＿ｍａｔ［ｙ１］である。
【0054】
次に、“ｔｒａｃｋ＿ｒｅｃｔ”の底辺の中点を“ｐｒｅｄｉｃｔ＿ｐｏｉｎｔ”に移動し、ｔｒａｃｋ＿ｒｅｃｔの枠のサイズを上述の車道幅の比率に従って調整することができ、比率調整後の新しい矩形は“ｐｒｅｄｉｃｔ＿ｒｅｃｔ”と称され、図５における枠５０３に示すようである。その後、この矩形の範囲を０．１倍拡大して誤差を減少させることで、マッチング範囲（ｍａｔｃｈｉｎｇ ｒａｎｇｅ）を形成し、例えば、図５における範囲枠５０４に示すようである。
【0055】
最後に、カレントフレームにおけるマッチング範囲内の画像をカットすることで、テンプレートマッチングを行うための入力画像を得ることができる。
【0056】
図６は本発明の実施例においてテンプレートマッチングを行うための入力画像の一例を示す図である。
【0057】
幾つかの実施例において、１つ前のフレームに基づいてテンプレートマッチングのためのテンプレート画像を構成しても良い。１台の車のサイズのフレーム間の変化が大きい可能性があるので、テンプレート画像も車道幅の比率に基づいて調整される必要がある。
【0058】
図７は本発明の実施例においてテンプレートマッチングを行うためのテンプレート画像の一例を示す図である。図７に示すように、左の図は、１つ前のフレームにおける小さい画像であり、右の図は、それに対するサイズ調整後の画像であり、例えば、上述の車道幅の比率をかけたものであり、該調整後の画像はテンプレート画像とされる。
【0059】
図４に示すように、該処理方法はさらに以下のステップを含んでも良い。
【0060】
４０３：前記入力画像と前記テンプレート画像とのテンプレートマッチングを行う。
【0061】
幾つかの実施例において、マッチング範囲がＷ×Ｈであり、且つブラッブテンプレートがｗ×ｈである。この場合、各ブラッブのグレースケール画像をテンプレートとしても良い。マッチング機能は、Ｗ×Ｈの方式で背景画像においてスライドし、ｗ×ｈの重畳（ｏｖｅｒｌａｐ）色ブロックを比較し、そして、比較結果をｍａｔに保存する。該ｍａｔのサイズは（Ｗ－ｗ＋１）×（Ｈ－ｈ＋１）である。
【0062】
例えば、正規化相関係数方法によりテンプレートマッチングを行うことができ、以下の公式に示すようである。そのうち、Ｉは画像（マッチング範囲内のバッファリング背景画像）を表し、Ｔはテンプレート（ブラッブ領域中のグレースケール画像）であり、Ｒは結果行列である。類似度計算前に画像及びテンプレートに対して正規化処理を行い、この操作は、照明の変化によるエラーを避けることができる。Ｒの値は－１乃至１の範囲内である。１は画像がテンプレートと同じであることを示し、－１はその逆（即ち、両者が異なること）を示し、０はそれらの間に線形関係がないことを示す。
【数6】
【0063】
なお、以上、テンプレートマッチングのみについて例示的に説明したが、本発明はこれに限られない。テンプレートマッチングの具体的な内容については、関連技術を参照することができる。
【0064】
図４に示すように、該処理方法はさらに以下のステップを含んでも良い。
【0065】
４０４：前記テンプレートマッチングのマッチング度が第二閾値（ｔｈｒｅｓｈｏｌｄ ２）よりも大きいかを判断し、はいの場合、４０５を実行し、いいえの場合、４０６を実行し；
４０５：前記予測情報としての前記入力画像に基づいて前記追跡情報を更新する。
４０５：前記予測情報としての前記入力画像に基づいて前記追跡情報を更新する。
【0066】
幾つかの実施例において、上述のテンプレート画像と入力画像とのテンプレートマッチングを行った後に、結果行列Ｒ及び対応するマッチング矩形を得ることができる。Ｒの中の最大値は最終マッチング度ｍａｔｃｈ＿ｄｅｇｒｅｅ（－１乃至１の間）である。ｍａｔｃｈ＿ｄｅｇｒｅｅの対応する矩形はマッチング矩形ｍａｔｃｈ＿ｒｅｃｔである。
【0067】
幾つかの実施例において、マッチング度の閾値を設定して、有効なマッチング結果であるかを判断しても良い。例えば、該閾値が０．７であろ、マッチング度が０．７よりも大きい場合、該テンプレートマッチングが有効であることを示し、この場合、追跡情報更新の４０５に進み、そうでない場合、該テンプレートマッチングが失敗したことを意味し、予測操作の４０６に移行する。
【0068】
本発明の実施例では、検出情報とマッチする追跡情報が存在せず、且つテンプレートマッチング過程にも失敗した場合、依然としてオブジェクトを、離れている対象と判定することができない。なぜなら、該オブジェクトが一時的に障害物又は他の物体によりブロッキングされ得るからである。よって、予測操作を用いて継続して幾つかのフレームを追跡しても良い。
【0069】
図４に示すように、該処理方法はさらに以下のステップを含んでも良い。
【0070】
４０６：予測フレーム数（ｐｒｅｄｉｃｔ－ｃｎｔ）が第三閾値（ｔｈｒｅｓｈｏｌｄ ３）よりも小さいか、且つ総フレーム数（ｆｒａｍｅ－ｃｎｔ）が第四閾値（ｔｈｒｅｓｈｏｌｄ ４）よりも小さいかを判断し、はいの場合、４０７を実行し、いいえの場合、４１１を実行する。
【0071】
４０７：カレントフレームを用いて前記予測情報としての予測画像を構成する。
【0072】
例えば、上述の入力画像を該予測画像としても良いが、本発明はこれに限られない。
【0073】
図４に示すように、該処理方法はさらに以下のステップを含んでも良い。
【0074】
４０８：該予測画像が有効であるかを判断し、前記予測画像が有効である場合、４０９を実行し、前記予測画像が無効である場合、４１０を実行し；
４０９：前記予測画像に基づいて前記追跡情報を更新し；
４１０：前記追跡情報を除去する。
４０９：前記予測画像に基づいて前記追跡情報を更新し；
４１０：前記追跡情報を除去する。
【0075】
幾つかの実施例において、予測操作はずっと実行することができず、ｐｒｅｄｉｃｔ＿ｃｎｔは連続して予測したフレーム数を保存する。ｐｒｅｄｉｃｔ＿ｃｎｔが閾値よりも高い場合、予測の矩形を採用せず、且つこの追跡子に対して削除操作を行う。予測の矩形をｔｒａｃｋ＿ｒｅｃｔに更新した後、ｐｒｅｄｉｃｔ＿ｃｎｔに１をプラスする。或いは、検出したブラッブ又はテンプレートマッチング結果によりｔｒａｃｋ＿ｒｅｃｔを更新する場合、ｐｒｅｄｉｃｔ＿ｃｎｔを０に設定する。
【0076】
なお、上述の図４は本発明の実施例を例示的に説明するものに過ぎず、本発明はこれに限られない。例えば、各操作（ステップ）間の実行順序を適切に調整したり、幾つかの操作（ステップ）を増減したりしても良い。即ち、当業者は図４の記載をもとに上述の内容に対して適切に変更しても良い。
【0077】
幾つかの実施例において、追跡マッチングにより得られたブラッブ、又は、テンプレートマッチングにより得られたブラッブ、又は、予測操作により得られたブラッブの結果に基づいて、追跡子を更新する。ｔｒａｃｋ＿ｒｅｃｔはこの３種のブラッブのうちの１つの矩形により更新され、ｆｒａｍｅ＿ｃｎｔは１がプラスされ、この新しい矩形の底辺の中点はｋａｌｍａｎ＿ｆｉｌｔｅｒを更新する度量（Ｍｅａｓｕｒｅｍｅｎｔ）とされる。該矩形が追跡マッチングからのものである場合、ｖｅｈｉｃｌｅ＿ｃｎｔは１がプラスされ、該矩形が予測操作からのものである場合、ｐｒｅｄｉｃｔ＿ｃｎｔは１がプラスされる。
【0078】
幾つかの実施例において、後続のモジュールが軌跡情報を必要とする場合、追跡子の構造には、コンテナが軌迹点を保存するために追加されても良い。その後、交通イベントを判断するために用いられる。交通分析システムにおいて、追跡結果は、交通目標のカウント、混雑の検出、逆方向の検出、車線変更の検出、違法駐車の検出などのために用いられ得る。
【0079】
以上、本発明に係る各ステップ又はプロセスのみについて説明したが、本発明はこれに限られない。オブジェクト追跡方法はさらに他のステップ又はプロセスを含んでも良く、これらのステップ又はプロセスの具体的な内容については、従来技術を参照することができる。また、上述の公式を例にとって本発明の実施例について例示的に説明したが、本発明はこれらの公式に限定されず、これらの公式を適切に変更しても良いが、そのすべては、本発明の実施例の技術的範囲内に属する。
【0080】
さらに、上述の各実施例は本発明の実施例を例示的に説明するものに過ぎず、本発明はこれに限られず、上述の各実施例をもとに適切な変形を行っても良い。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの１つ又は複数を組み合わせて使用しても良い。
【0081】
上述の実施例から分かるように、１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い、そして、マッチング結果に基づいて前記追跡情報を更新し、及び、検出情報及び／又は追跡情報に基づいて関心領域の道路情報を更新することにより、迅速なオブジェクト追跡を実現し、リアルタイム道路監視ビデオに係るスケールの変化及び／又はブロッキングの問題を解決することができる。
【0082】
＜第二側面の実施例＞
本発明の実施例は道路監視ビデオのオブジェクト追跡装置を提供し、ここでは第一側面の実施例と同じ内容が省略される。
本発明の実施例は道路監視ビデオのオブジェクト追跡装置を提供し、ここでは第一側面の実施例と同じ内容が省略される。
【0083】
【0084】
オブジェクト検出ユニット８０１：道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得し；
追跡マッチングユニット８０２：前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
追跡更新ユニット８０３：マッチング結果に基づいて前記追跡情報を更新し；及び
道路更新ユニット（道路情報更新ユニット）８０４：前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新する。
追跡マッチングユニット８０２：前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
追跡更新ユニット８０３：マッチング結果に基づいて前記追跡情報を更新し；及び
道路更新ユニット（道路情報更新ユニット）８０４：前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新する。
【0085】
幾つかの実施例において、図８に示すように、道路監視ビデオのオブジェクト追跡装置８００はさらに以下のものを含んでも良い。
【0086】
初期化確定ユニット８０５：初期化段階にあるかを確定し、前記初期化段階にある場合、道路更新ユニット８０４は前記検出情報に基づいて前記関心領域の道路情報を更新し、前記初期化段階にない場合、追跡マッチングユニット８０２は前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う。
【0087】
幾つかの実施例において、道路更新ユニット８０４は、
前記検出情報の矩形の幅に所定スケール値をかけて、前記検出情報に対応する所定高さ範囲内の道路幅を更新；及び／又は
前記検出情報の底辺の中点に基づいて複数のフレームの間のベクトルの角度を計算し、前記検出情報に対応する所定高さ範囲内の道路方向を更新するように用いられる。
前記検出情報の矩形の幅に所定スケール値をかけて、前記検出情報に対応する所定高さ範囲内の道路幅を更新；及び／又は
前記検出情報の底辺の中点に基づいて複数のフレームの間のベクトルの角度を計算し、前記検出情報に対応する所定高さ範囲内の道路方向を更新するように用いられる。
【0088】
幾つかの実施例において、追跡マッチングユニット８０２は、以下のような条件のうちの少なくとも１つ又は任意の組み合わせが満足される場合、或る検出情報と或る追跡情報がマッチングし得ると判定し、即ち、
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの比較的小さいものに第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さいという条件である。
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの比較的小さいものに第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さいという条件である。
【0089】
幾つかの実施例において、追跡更新ユニット８０３は、或る追跡情報が１つ又は複数の検出情報に対応している場合、最も一致した検出情報を選んで前記追跡情報を更新し；或る検出情報が１つ又は複数の追跡情報に対応している場合、前記検出情報を、最も一致した追跡情報を更新するために使用するために用いられる。
【0090】
追跡更新ユニット８０３はさらに、或る検出情報とマッチする追跡情報がない場合、前記検出情報を新しいオブジェクトとし；或る追跡情報とマッチングする検出情報がない場合、前記追跡情報のために予測情報を構成し、又は、前記追跡情報を削除するために用いられる。
【0091】
幾つかの実施例において、追跡更新ユニット８０３は、
テンプレートマッチングフレーム数が第一閾値よりも小さい場合、現在のフレームを用いて入力画像を構成し、及び前のフレームを用いてテンプレート画像を構成し；
前記入力画像と前記テンプレート画像とのテンプレートマッチングを行い；及び
前記テンプレートマッチングのマッチング度が第二閾値よりも大きい場合、前記予測情報としての前記入力画像に基づいて前記追跡情報を更新するために用いられる。
テンプレートマッチングフレーム数が第一閾値よりも小さい場合、現在のフレームを用いて入力画像を構成し、及び前のフレームを用いてテンプレート画像を構成し；
前記入力画像と前記テンプレート画像とのテンプレートマッチングを行い；及び
前記テンプレートマッチングのマッチング度が第二閾値よりも大きい場合、前記予測情報としての前記入力画像に基づいて前記追跡情報を更新するために用いられる。
【0092】
幾つかの実施例において、追跡更新ユニット８０３はさらに、
カルマンフィルターに基づいてカレントフレームの予測点を計算し、対応する第一車道幅を取得し；
前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；
前記第一車道幅及び前記第二車道幅に基づいて車道幅の比率を計算し；及び
前記車道幅の比率に基づいて前記現在のフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得するために用いられる。
カルマンフィルターに基づいてカレントフレームの予測点を計算し、対応する第一車道幅を取得し；
前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；
前記第一車道幅及び前記第二車道幅に基づいて車道幅の比率を計算し；及び
前記車道幅の比率に基づいて前記現在のフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得するために用いられる。
【0093】
幾つかの実施例において、追跡更新ユニット８０３はさらに、
前記テンプレートマッチングフレーム数が前記第一閾値以上であり、又は、前記テンプレートマッチングのマッチング度が前記第二閾値以下である場合、予測フレーム数が第三閾値よりも小さいか、且つ総フレーム数が第四閾値よりも小さいかを判断し；
前記予測フレーム数が前記第三閾値よりも小さく、且つ前記総フレーム数が前記第四閾値よりも小さい場合、カレントフレームを用いて前記予測情報としての予測画像を構成し；及び
前記予測画像が有効である場合、前記予測画像に基づいて前記追跡情報を更新するために用いられる。
前記テンプレートマッチングフレーム数が前記第一閾値以上であり、又は、前記テンプレートマッチングのマッチング度が前記第二閾値以下である場合、予測フレーム数が第三閾値よりも小さいか、且つ総フレーム数が第四閾値よりも小さいかを判断し；
前記予測フレーム数が前記第三閾値よりも小さく、且つ前記総フレーム数が前記第四閾値よりも小さい場合、カレントフレームを用いて前記予測情報としての予測画像を構成し；及び
前記予測画像が有効である場合、前記予測画像に基づいて前記追跡情報を更新するために用いられる。
【0094】
幾つかの実施例において、追跡更新ユニット８０３はさらに
前記予測フレーム数が前記第三閾値以上であり、又は、前記総フレーム数が前記第四閾値以上であり、又は、前記予測画像が無効である場合、前記追跡情報を削除するように用いられる。
前記予測フレーム数が前記第三閾値以上であり、又は、前記総フレーム数が前記第四閾値以上であり、又は、前記予測画像が無効である場合、前記追跡情報を削除するように用いられる。
【0095】
便宜のため、図８では各部品又はモジュールの間の接続関係又は信号方向のみを示しているが、当業者が理解すべきは、バスによる接続などの各種の関連技術を採用しても良いということである。また、上述の各部品又はモジュールは、例えば、処理器、記憶器などのハードウェアにより実現されても良いが、本発明の実施例はこれについて限定しない。
【0096】
上述の各実施例は本発明の実施例を例示的に説明するためのものに過ぎず、本発明はこれに限られず、上述の各実施例をもとに適切な変更を行っても良い。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの１つ又は複数を組み合わせて使用しても良い。
【0097】
上述の実施例から分かるように、１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い、そして、マッチング結果に基づいて前記追跡情報を更新し、及び検出情報及び／又は追跡情報に基づいて関心領域の道路情報を更新することにより、迅速なオブジェクト追跡を実現し、リアルタイム道路監視ビデオに係るスケールの変化及び／又はブロッキングの問題を解決することができる。
【0098】
＜第三側面の実施例＞
本発明の実施例は電子機器を提供し、それは第二側面の実施例に記載の道路監視ビデオのオブジェクト追跡装置を含み、その内容はここに合併される。該電子機器は例えば、計算機、サーバー、ワークステーション、ノートパソコン、スマートフォンなどであっても良いが、本発明の実施例はこれに限定されない。
本発明の実施例は電子機器を提供し、それは第二側面の実施例に記載の道路監視ビデオのオブジェクト追跡装置を含み、その内容はここに合併される。該電子機器は例えば、計算機、サーバー、ワークステーション、ノートパソコン、スマートフォンなどであっても良いが、本発明の実施例はこれに限定されない。
【0099】
図９は本発明の実施例における電子機器を示す図である。図９に示すように、電子機器９００は処理器（例えば中央処理器ＣＰＵ）９１０及び記憶器９２０を含んでも良く、記憶器９２０は中央処理器９１０に接続される。そのうち、該記憶器９２０は各種のデータを記憶することができ、また、情報処理用のプログラム９２１を記憶し、且つ処理器９１０の制御下で該プログラム９２１を実行することもできる。
【0100】
幾つかの実施例において、道路監視ビデオのオブジェクト追跡装置８００の機能が処理器９１０に統合されて実現される。そのうち、処理器９１０は第一側面の実施例に記載の道路監視ビデオのオブジェクト追跡方法を実現するように構成される。
【0101】
幾つかの実施例において、道路監視ビデオのオブジェクト追跡装置８００が処理器９１０と別々で配置され、例えば、道路監視ビデオのオブジェクト追跡装置８００を、処理器９１０に接続されるチップとして構成し、処理器９１０の制御により道路監視ビデオのオブジェクト追跡装置８００の機能を実現しても良い。
【0102】
幾つかの実施例において、処理器９１０は次のような制御を行うように構成されても良く、即ち、道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得し；前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；マッチング結果に基づいて前記追跡情報を更新し；及び、前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新する。
【0103】
幾つかの実施例において、処理器９１０はさらに次のような制御を行うように構成されても良く、即ち、初期化段階にあるかを確定し；前記初期化段階にある場合、前記検出情報に基づいて前記関心領域の道路情報を更新し；前記初期化段階にない場合、前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う。
【0104】
幾つかの実施例において、処理器９１０はさらに次のような制御を行うように構成されても良く、即ち、前記検出情報の矩形の幅に所定スケール値をかけ、前記検出情報に対応する所定高さ範囲内の道路幅を更新し；及び／又は、前記検出情報の底辺の中点に基づいて複数のフレームの間のベクトルの角度を計算し、前記検出情報に対応する所定高さ範囲内の道路方向を更新する。
【0105】
幾つかの実施例において、処理器９１０はさらに次のような制御を行うように構成されても良く、即ち、以下の条件のうちの少なくともの１つ又は任意の組み合わせが満足される場合、或る検出情報と或る追跡情報がマッチし得ると判断し、即ち、
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトとが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの比較的小さいものに第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さい。
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトとが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの比較的小さいものに第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さい。
【0106】
幾つかの実施例において、処理器９１０はさらに次のような制御を行うように構成されても良く、即ち、或る追跡情報が１つ又は複数の検出情報に対応している場合、最も一致した検出情報を選択して前記追跡情報を更新し；或る検出情報が１つ又は複数の追跡情報に対応している場合、前記検出情報を、最も一致した追跡情報を更新するために使用しい；及び、或る検出情報とマッチする追跡情報がない場合、前記検出情報を新しいオブジェクトとし；或る追跡情報とマッチする検出情報がない場合、前記追跡情報のために予測情報を構成し又は前記追跡情報を削除する。
【0107】
幾つかの実施例において、処理器９１０はさらに次のような制御を行うように構成されても良く、即ち、テンプレートマッチングフレーム数が第一閾値よりも小さい場合、現在のフレームを用いて入力画像を構成し、及び前のフレームを用いてテンプレート画像を構成し；前記入力画像と前記テンプレート画像とのテンプレートマッチングを行い；及び、前記テンプレートマッチングのマッチング度が第二閾値よりも大きい場合、前記予測情報としての前記入力画像を用いて前記追跡情報を更新する。
【0108】
幾つかの実施例において、処理器９１０はさらに次のような制御を行うように構成されても良く、即ち、カルマンフィルターに基づいてカレントフレームの予測点を計算し、対応する第一車道幅を取得し；前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；前記第一車道幅と前記第二車道幅に基づいて車道幅の比率を計算し；及び、前記車道幅の比率に基づいて前記カレントフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得する。
【0109】
幾つかの実施例において、処理器９１０はさらに次のような制御を行うように構成されても良く、即ち、前記テンプレートマッチングフレーム数が第一閾値以上であり、又は、前記テンプレートマッチングのマッチング度が前記第二閾値以下である場合、予測フレーム数が第三閾値よりも小さいか、且つ総フレーム数が第四閾値よりも小さいかを判断し；前記予測フレーム数が前記第三閾値よりも小さく、且つ前記総フレーム数が前記第四閾値よりも小さい場合、カレントフレームを用いて前記予測情報としての予測画像を構成し；及び、前記予測画像が有効である場合、前記予測画像に基づいて前記追跡情報を更新する。
【0110】
幾つかの実施例において、処理器９１０はさらに次のような制御を行うように構成されても良く、即ち、前記予測フレーム数が前記第三閾値以上であり、又は前記総フレーム数が前記第四閾値以上であり、又は予測画像が無効な場合、前記追跡情報を削除する。
【0111】
また、図９に示すように、電子機器９００はさらに入出力（Ｉ／Ｏ）装置９３０、表示器９４０などを含んでも良く、そのうち、これらの部品の機能が従来技術と類似しているから、ここではその詳しい説明を省略す。なお、電子機器９００は図９におけるすべての部品を含む必要がない。また、電子機器９００は図９に無い部品を含んでも良いが、これについては関連技術を参照することができる。
【0112】
本発明の実施例はさらに計算機可読プログラムを提供し、そのうち、電子機器の中で前記プログラムを実行するときに、前記プログラムは計算機に、前記電子機器の中で第一側面の実施例に記載の道路監視ビデオのオブジェクト追跡方法を実行させる。
【0113】
本発明の実施例はさらに計算機可読プログラムを記録した記憶媒体を提供し、そのうち、前記計算機可読プログラムは計算機に、電子機器の中で第一側面の実施例に記載の道路監視ビデオのオブジェクト追跡方法を実行させる。
【0114】
本発明の実施例を参照しながら説明した装置や方法は、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、方法を示す図に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
【0115】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
【0116】
また、以上の実施例などに関し、さらに以下の付記を開示する。
【0117】
（付記１）
道路監視ビデオのオブジェクト追跡方法であって、
道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得し；
前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
前記マッチング結果に基づいて前記追跡情報を更新し；及び
前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新することを含む、方法。
道路監視ビデオのオブジェクト追跡方法であって、
道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得し；
前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行い；
前記マッチング結果に基づいて前記追跡情報を更新し；及び
前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新することを含む、方法。
【0118】
（付記２）
付記１に記載の方法であって、
前記方法はさらに、
初期化段階にあるかを確定することを含み、
前記初期化段階にある場合、前記検出情報に基づいて前記関心領域の道路情報を更新し、前記初期化段階にない場合、前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う、方法。
付記１に記載の方法であって、
前記方法はさらに、
初期化段階にあるかを確定することを含み、
前記初期化段階にある場合、前記検出情報に基づいて前記関心領域の道路情報を更新し、前記初期化段階にない場合、前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う、方法。
【0119】
（付記３）
付記１又は２に記載の方法であって、
前記検出情報の矩形の幅に所定スケール値をかけ、前記検出情報に対応する所定高さ範囲内の道路幅を更新し；及び／又は
前記検出情報の底辺の中点に基づいて複数のフレームの間のベクトルの角度を計算し、前記検出情報に対応する所定高さ範囲内の道路方向を更新する、方法。
付記１又は２に記載の方法であって、
前記検出情報の矩形の幅に所定スケール値をかけ、前記検出情報に対応する所定高さ範囲内の道路幅を更新し；及び／又は
前記検出情報の底辺の中点に基づいて複数のフレームの間のベクトルの角度を計算し、前記検出情報に対応する所定高さ範囲内の道路方向を更新する、方法。
【0120】
（付記４）
付記１乃至３の任意の１項に記載の方法であって、
以下の条件のうちの少なくとも１つ又は任意の組み合わせが満足される場合、或る検出情報と或る追跡情報がマッチし得ると確定し、即ち、
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトとが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道の幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの小さい面積に第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さいことである、方法。
付記１乃至３の任意の１項に記載の方法であって、
以下の条件のうちの少なくとも１つ又は任意の組み合わせが満足される場合、或る検出情報と或る追跡情報がマッチし得ると確定し、即ち、
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトとが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道の幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの小さい面積に第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さいことである、方法。
【0121】
（付記５）
付記１乃至４の任意の１項に記載の方法であって、
或る追跡情報が１つ又は複数の検出情報に対応している場合、最も一致した検出情報を選択して前記追跡情報を更新し、或る検出情報が１つ又は複数の追跡情報に対応している場合、前記検出情報を、最も一致した追跡情報を更新するために使用し；及び
或る検出情報とマッチする追跡情報がない場合、前記検出情報を新しいオブジェクトとし、或る追跡情報とマッチする検出情報がない場合、前記追跡情報のために予測情報を構成し、又は前記追跡情報を削除する、方法。
付記１乃至４の任意の１項に記載の方法であって、
或る追跡情報が１つ又は複数の検出情報に対応している場合、最も一致した検出情報を選択して前記追跡情報を更新し、或る検出情報が１つ又は複数の追跡情報に対応している場合、前記検出情報を、最も一致した追跡情報を更新するために使用し；及び
或る検出情報とマッチする追跡情報がない場合、前記検出情報を新しいオブジェクトとし、或る追跡情報とマッチする検出情報がない場合、前記追跡情報のために予測情報を構成し、又は前記追跡情報を削除する、方法。
【0122】
（付記６）
付記５に記載の方法であって、
前記方法はさらに、
テンプレートマッチングフレーム数が第一閾値よりも小さい場合、現在のフレームを用いて入力画像を構成し、及び前のフレームを用いてテンプレート画像を構成し；
前記入力画像と前記テンプレート画像とのテンプレートマッチングを行い；及び
前記テンプレートマッチングのマッチング度が第二閾値よりも大きい場合、前記予測情報としての前記入力画像に基づいて前記追跡情報を更新することを含む、方法。
付記５に記載の方法であって、
前記方法はさらに、
テンプレートマッチングフレーム数が第一閾値よりも小さい場合、現在のフレームを用いて入力画像を構成し、及び前のフレームを用いてテンプレート画像を構成し；
前記入力画像と前記テンプレート画像とのテンプレートマッチングを行い；及び
前記テンプレートマッチングのマッチング度が第二閾値よりも大きい場合、前記予測情報としての前記入力画像に基づいて前記追跡情報を更新することを含む、方法。
【0123】
（付記７）
付記６に記載の方法であって、
前記方法はさらに、
カルマンフィルターに基づいてカレントフレームの予測点を計算し、対応する第一車道幅を取得し；
前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；
前記第一車道幅と前記第二車道幅に基づいて車道幅の比率を計算し；及び
前記車道幅の比率に基づいて前記カレントフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得することを含む、方法。
付記６に記載の方法であって、
前記方法はさらに、
カルマンフィルターに基づいてカレントフレームの予測点を計算し、対応する第一車道幅を取得し；
前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；
前記第一車道幅と前記第二車道幅に基づいて車道幅の比率を計算し；及び
前記車道幅の比率に基づいて前記カレントフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得することを含む、方法。
【0124】
（付記８）
付記６又は７に記載の方法であって、
前記方法はさらに、
前記テンプレートマッチングフレーム数が前記第一閾値以上であり、又は前記テンプレートマッチングのマッチング度が前記第二閾値以下である場合、予測フレーム数が第三閾値よりも小さいか、且つ総フレーム数が第四閾値よりも小さいかを確定し；
前記予測フレーム数が前記第三閾値よりも小さく、且つ前記総フレーム数が前記第四閾値よりも小さい場合、カレントフレームを用いて前記予測情報としての予測画像を構成し；及び
前記予測画像が有効である場合、前記予測画像に基づいて前記追跡情報を更新することを含む、方法。
付記６又は７に記載の方法であって、
前記方法はさらに、
前記テンプレートマッチングフレーム数が前記第一閾値以上であり、又は前記テンプレートマッチングのマッチング度が前記第二閾値以下である場合、予測フレーム数が第三閾値よりも小さいか、且つ総フレーム数が第四閾値よりも小さいかを確定し；
前記予測フレーム数が前記第三閾値よりも小さく、且つ前記総フレーム数が前記第四閾値よりも小さい場合、カレントフレームを用いて前記予測情報としての予測画像を構成し；及び
前記予測画像が有効である場合、前記予測画像に基づいて前記追跡情報を更新することを含む、方法。
【0125】
（付記９）
付記８に記載の方法であって、
前記方法はさらに、
前記予測フレーム数が前記第三閾値以上であり、又は、前記総フレーム数が前記第四閾値以上であり、又は、前記予測画像が無効である場合、前記追跡情報を削除することを含む、方法。
付記８に記載の方法であって、
前記方法はさらに、
前記予測フレーム数が前記第三閾値以上であり、又は、前記総フレーム数が前記第四閾値以上であり、又は、前記予測画像が無効である場合、前記追跡情報を削除することを含む、方法。
【0126】
（付記１０）
道路監視ビデオのオブジェクト追跡装置であって、
道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得するオブジェクト検出ユニット；
前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う追跡マッチングユニット；
マッチング結果に基づいて前記追跡情報を更新する追跡更新ユニット；及び
前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新する道路更新ユニットを含む、装置。
道路監視ビデオのオブジェクト追跡装置であって、
道路関心領域のリアルタイム監視ビデオに対してオブジェクト検出を行い、１つ又は複数のオブジェクトの検出情報を取得するオブジェクト検出ユニット；
前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う追跡マッチングユニット；
マッチング結果に基づいて前記追跡情報を更新する追跡更新ユニット；及び
前記検出情報及び／又は前記追跡情報に基づいて前記関心領域の道路情報を更新する道路更新ユニットを含む、装置。
【0127】
（付記１１）
付記１０に記載の装置であって、
前記装置はさらに、
初期化段階にあるかを確定する初期化確定ユニットを含み、
前記初期化段階にある場合、前記道路更新ユニットは前記検出情報に基づいて前記関心領域の道路情報を更新し、前記初期化段階にない場合、前記追跡マッチングユニットは前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う、装置。
付記１０に記載の装置であって、
前記装置はさらに、
初期化段階にあるかを確定する初期化確定ユニットを含み、
前記初期化段階にある場合、前記道路更新ユニットは前記検出情報に基づいて前記関心領域の道路情報を更新し、前記初期化段階にない場合、前記追跡マッチングユニットは前記１つ又は複数のオブジェクトの検出情報と、オブジェクト追跡のための追跡情報とのマッチングを行う、装置。
【0128】
（付記１２）
付記１０又は１１に記載の装置であって、
前記道路更新ユニットは、
前記検出情報の矩形の幅に所定スケール値をかけ、前記検出情報に対応する所定高さ範囲内の道路幅を更新し；及び／又は
前記検出情報の底辺の中点を基づいて複数のフレームの間のベクトルの角度を計算し、前記検出情報に対応する所定高さ範囲内の道路方向を更新する、装置。
付記１０又は１１に記載の装置であって、
前記道路更新ユニットは、
前記検出情報の矩形の幅に所定スケール値をかけ、前記検出情報に対応する所定高さ範囲内の道路幅を更新し；及び／又は
前記検出情報の底辺の中点を基づいて複数のフレームの間のベクトルの角度を計算し、前記検出情報に対応する所定高さ範囲内の道路方向を更新する、装置。
【0129】
（付記１３）
付記１０乃至１２の任意の１項に記載の装置であって、
前記追跡マッチングユニットは、以下の条件のうちの少なくとも１つ又は任意の組み合わせが満足される場合、或る検出情報と或る追跡情報がマッチし得ると確定し、即ち、
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトとが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道の幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの小さい面積に第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さいことである、装置。
付記１０乃至１２の任意の１項に記載の装置であって、
前記追跡マッチングユニットは、以下の条件のうちの少なくとも１つ又は任意の組み合わせが満足される場合、或る検出情報と或る追跡情報がマッチし得ると確定し、即ち、
前記検出情報に対応するオブジェクトと、前記追跡情報に対応するオブジェクトとが同じ関心領域に位置し；
前記検出情報の底辺の中点と、前記追跡情報の底辺の中点との間の距離が、前記追跡情報に対応する車道の幅に第一所定係数をかけた値よりも小さく；
前記検出情報の矩形の面積と、前記追跡情報の矩形の面積との差が、両面積のうちの小さい面積に第二所定係数をかけた値よりも小さく；及び
前記検出情報のマッチングベクトル方向と、前記追跡情報に対応する車道走行方向との間の角度が所定角度よりも小さいことである、装置。
【0130】
（付記１４）
付記１０乃至１３の任意の１項に記載の装置であって、
前記追跡更新ユニットは、
或る追跡情報が１つ又は複数の検出情報に対応している場合、最も一致した検出情報を選択して前記追跡情報を更新し、或る検出情報が１つ又は複数の追跡情報に対応している場合、前記検出情報を、最も一致した追跡情報を更新するために使用し；及び
或る検出情報とマッチする追跡情報がない場合、前記検出情報を新しいオブジェクトとして、或る追跡情報とマッチする検出情報がない場合、前記追跡情報のために予測情報を構成し、又は前記追跡情報を削除する、装置。
付記１０乃至１３の任意の１項に記載の装置であって、
前記追跡更新ユニットは、
或る追跡情報が１つ又は複数の検出情報に対応している場合、最も一致した検出情報を選択して前記追跡情報を更新し、或る検出情報が１つ又は複数の追跡情報に対応している場合、前記検出情報を、最も一致した追跡情報を更新するために使用し；及び
或る検出情報とマッチする追跡情報がない場合、前記検出情報を新しいオブジェクトとして、或る追跡情報とマッチする検出情報がない場合、前記追跡情報のために予測情報を構成し、又は前記追跡情報を削除する、装置。
【0131】
（付記１５）
付記１４に記載の装置であって、
前記追跡更新ユニットは、
テンプレートマッチングフレーム数が第一閾値よりも小さい場合、現在のフレームを用いて入力画像を構成し、及び前のフレームを用いてテンプレート画像を構成し；
前記入力画像と前記テンプレート画像とのテンプレートマッチングを行い；及び
前記テンプレートマッチングのマッチング度が第二閾値よりも大きい場合、前記予測情報としての前記入力画像に基づいて前記追跡情報を更新することを含む、装置。
付記１４に記載の装置であって、
前記追跡更新ユニットは、
テンプレートマッチングフレーム数が第一閾値よりも小さい場合、現在のフレームを用いて入力画像を構成し、及び前のフレームを用いてテンプレート画像を構成し；
前記入力画像と前記テンプレート画像とのテンプレートマッチングを行い；及び
前記テンプレートマッチングのマッチング度が第二閾値よりも大きい場合、前記予測情報としての前記入力画像に基づいて前記追跡情報を更新することを含む、装置。
【0132】
（付記１６）
付記１５に記載の装置であって、
前記追跡更新ユニットはさらに、
カルマンフィルターに基づいてカレントフレームの予測点を計算し、対応する第一車道幅を取得し；
前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；
前記第一車道幅と前記第二車道幅に基づいて車道幅の比率を計算し；及び
前記車道幅の比率に基づいて前記カレントフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得することを含む、装置。
付記１５に記載の装置であって、
前記追跡更新ユニットはさらに、
カルマンフィルターに基づいてカレントフレームの予測点を計算し、対応する第一車道幅を取得し；
前記予測情報の底辺の中点に基づいて対応する第二車道幅を取得し；
前記第一車道幅と前記第二車道幅に基づいて車道幅の比率を計算し；及び
前記車道幅の比率に基づいて前記カレントフレームから前記入力画像を取得し、及び／又は、前記車道幅の比率に基づいて前記前のフレームから前記テンプレート画像を取得することを含む、装置。
【0133】
（付記１７）
付記１５又は１６に記載の装置であって、
前記追跡更新ユニットはさらに、
前記テンプレートマッチングフレーム数が前記第一閾値以上であり、又は前記テンプレートマッチングのマッチング度が前記第二閾値以下である場合、予測フレーム数が第三閾値よりも小さいか、且つ総フレーム数が第四閾値よりも小さいかを確定し；
前記予測フレーム数が前記第三閾値よりも小さく、且つ前記総フレーム数が前記第四閾値よりも小さい場合、カレントフレームを用いて前記予測情報としての予測画像を構成し；及び
前記予測画像が有効である場合、前記予測画像に基づいて前記追跡情報を更新する、装置。
付記１５又は１６に記載の装置であって、
前記追跡更新ユニットはさらに、
前記テンプレートマッチングフレーム数が前記第一閾値以上であり、又は前記テンプレートマッチングのマッチング度が前記第二閾値以下である場合、予測フレーム数が第三閾値よりも小さいか、且つ総フレーム数が第四閾値よりも小さいかを確定し；
前記予測フレーム数が前記第三閾値よりも小さく、且つ前記総フレーム数が前記第四閾値よりも小さい場合、カレントフレームを用いて前記予測情報としての予測画像を構成し；及び
前記予測画像が有効である場合、前記予測画像に基づいて前記追跡情報を更新する、装置。
【0134】
（付記１８）
付記１７に記載の装置であって、
前記追跡更新ユニットはさらに、
前記予測フレーム数が前記第三閾値以上であり、又は、前記総フレーム数が前記第四閾値以上であり、又は、前記予測画像が無効である場合、前記追跡情報を削除する、装置。
付記１７に記載の装置であって、
前記追跡更新ユニットはさらに、
前記予測フレーム数が前記第三閾値以上であり、又は、前記総フレーム数が前記第四閾値以上であり、又は、前記予測画像が無効である場合、前記追跡情報を削除する、装置。
【0135】
（付記１９）
電子機器であって、
記憶器及び処理器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行して付記１乃至９の任意の１項に記載の道路監視ビデオのオブジェクト追跡方法を実現するように構成される、電子機器。
電子機器であって、
記憶器及び処理器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行して付記１乃至９の任意の１項に記載の道路監視ビデオのオブジェクト追跡方法を実現するように構成される、電子機器。
【0136】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】