知財求人 - 知財ポータルサイト「IP Force」
特開2024-125917ビデオ処理装置、ビデオ処理方法及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024125917
(43)【公開日】2024-09-19
(54)【発明の名称】ビデオ処理装置、ビデオ処理方法及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/277 20170101AFI20240911BHJP
G06T 7/00 20170101ALI20240911BHJP
G06V 10/82 20220101ALI20240911BHJP
【ＦＩ】
G06T7/277
G06T7/00 350C
G06V10/82
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023034050
(22)【出願日】2023-03-06
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】汪 留安
(72)【発明者】
【氏名】孫 俊
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096DA02
5L096FA69
5L096GA30
5L096HA04
5L096HA11
5L096KA04
(57)【要約】
【課題】本発明は、ビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体を提供する。
【解決手段】ビデオ処理装置は、ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び、オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定する第一推定ユニットを含み、特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる。
【選択図】図２
【解決手段】ビデオ処理装置は、ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び、オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定する第一推定ユニットを含み、特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる。
【選択図】図２
【特許請求の範囲】
【請求項1】
ビデオ処理装置であって、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて前記第二時刻の第一予測の特徴情報を推定する第一推定ユニットであって、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる、第一推定ユニットを含む、ビデオ処理装置。
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて前記第二時刻の第一予測の特徴情報を推定する第一推定ユニットであって、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる、第一推定ユニットを含む、ビデオ処理装置。
【請求項2】
請求項１に記載のビデオ処理装置であって、さらに、
前記第一予測の特徴情報の次元を変換する変換ユニット；及び
次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより、第二予測の特徴情報を得る第一計算ユニットを含む、ビデオ処理装置。
前記第一予測の特徴情報の次元を変換する変換ユニット；及び
次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより、第二予測の特徴情報を得る第一計算ユニットを含む、ビデオ処理装置。
【請求項3】
請求項２に記載のビデオ処理装置であって、さらに、
前記第二画像フレームに基づいて前記第二時刻の特徴情報を計算する第二計算ユニット；及び
計算された前記第二時刻の特徴情報、前記第一予測の特徴情報、及び前記第二予測の特徴情報に基づいて、前記特徴情報に関する損失関数を計算する第三計算ユニットを含む、ビデオ処理装置。
前記第二画像フレームに基づいて前記第二時刻の特徴情報を計算する第二計算ユニット；及び
計算された前記第二時刻の特徴情報、前記第一予測の特徴情報、及び前記第二予測の特徴情報に基づいて、前記特徴情報に関する損失関数を計算する第三計算ユニットを含む、ビデオ処理装置。
【請求項4】
請求項３に記載のビデオ処理装置であって、さらに、
前記特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数に基づいて組み合わせ損失関数を得る組み合わせユニットであって、前記組み合わせ損失関数はニューラルネットワークを訓練するために用いられる、組み合わせユニットを含む、ビデオ処理装置。
前記特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数に基づいて組み合わせ損失関数を得る組み合わせユニットであって、前記組み合わせ損失関数はニューラルネットワークを訓練するために用いられる、組み合わせユニットを含む、ビデオ処理装置。
【請求項5】
請求項４に記載のビデオ処理装置であって、
前記ビデオがテスト用のビデオである場合、前記ビデオ処理装置は、さらに、
前記オプティカルフロー、前記第一画像フレーム、及び前記第一画像フレームにおける各検出目標の信頼度に基づいて、前記第二時刻のテスト用の先験的特徴情報を推定する第二推定ユニットを含む、ビデオ処理装置。
前記ビデオがテスト用のビデオである場合、前記ビデオ処理装置は、さらに、
前記オプティカルフロー、前記第一画像フレーム、及び前記第一画像フレームにおける各検出目標の信頼度に基づいて、前記第二時刻のテスト用の先験的特徴情報を推定する第二推定ユニットを含む、ビデオ処理装置。
【請求項6】
請求項５に記載のビデオ処理装置であって、
前記先験的特徴情報を推定するときに、前記第二推定ユニットは、前記第一画像フレームにおける各検出目標について、前記信頼度とスケーリング因子との乗積及び１のうちの比較的小さい値を新しい信頼度として使用する、ビデオ処理装置。
前記先験的特徴情報を推定するときに、前記第二推定ユニットは、前記第一画像フレームにおける各検出目標について、前記信頼度とスケーリング因子との乗積及び１のうちの比較的小さい値を新しい信頼度として使用する、ビデオ処理装置。
【請求項7】
請求項５又は６に記載のビデオ処理装置であって、
前記第二時刻のテスト用の先験的特徴情報は、前記第二時刻の第二画像フレームにおける１つ又は複数の目標を検出するために、訓練済みのニューラルネットワークに適用される、ビデオ処理装置。
前記第二時刻のテスト用の先験的特徴情報は、前記第二時刻の第二画像フレームにおける１つ又は複数の目標を検出するために、訓練済みのニューラルネットワークに適用される、ビデオ処理装置。
【請求項8】
請求項７に記載のビデオ処理装置であって、
前記第二画像フレームにおいて検出された１つ又は複数の目標に対しての追跡結果は、前記第二時刻の後続時刻の画像フレームにおける１つ又は複数の目標の検出に用いられ、前記後続時刻は前記第二時刻プラス前記第二時刻と前記第一時刻との時間差に等しい、ビデオ処理装置。
前記第二画像フレームにおいて検出された１つ又は複数の目標に対しての追跡結果は、前記第二時刻の後続時刻の画像フレームにおける１つ又は複数の目標の検出に用いられ、前記後続時刻は前記第二時刻プラス前記第二時刻と前記第一時刻との時間差に等しい、ビデオ処理装置。
【請求項9】
ビデオ処理方法であって、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて、前記第二時刻の第一予測の特徴情報を推定し、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられることを含む、ビデオ処理方法。
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて、前記第二時刻の第一予測の特徴情報を推定し、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられることを含む、ビデオ処理方法。
【請求項10】
コンピュータに、請求項９に記載のビデオ処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ処理の技術分野に関し、特に、多目標追跡のためのビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体に関する。
【背景技術】
【0002】
多目標追跡（ＭＯＴ（Ｍｕｌｔｉｐｌｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ））はリアル世界で困難なタスクの１つであり、それは複数の目標（オブジェクト）が互いに相互作用したり、環境と相互作用したりするなどに関する。例えば、ＭＯＴは歩行者検出、ビヘイビア分析などにおいて幅広く応用されている。今のところ、ＭＯＴ技術は主に目標検出及び目標追跡の２つの段階を含む。最も一般的な追跡方法は主に、検出－追跡方法を採用して、検出された目標枠を追跡する、例えば、図１における（ａ）に示す構成である。また、図１における（ｂ）に示すように、オプティカルフローを使用する方法もあり、それはオプティカルフローを用いて検出結果における目標をマッチすることで目標標識（識別）番号を確定する。しかし、このような方法はオプティカルフロー情報を使用しているが、検出部分のパフォーマンスがそれによって向上しないので、このような場合、検出段階は追跡段階から恩恵を受けることがない。
【0003】
一方、深層学習の発展に伴い、より正確な目標検出、代表的な特徴及び高度な追跡技術により、ＭＯＴのパフォーマンスが大幅に改善されている。しかし、検出器を開発するにつれて、訓練データ集合への様々な程度の過剰適合は依然として避けられない。例えば、画素の微小変化によって、同じ標識番号の境界枠の存在に関する信頼度が大幅に低下し、検出の欠失を招くことがある。これらの問題有りの検出も追跡のパフォーマンスに不利である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の問題に鑑み、本発明の目的は、少なくとも、多目標追跡のためのビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体を提供することにある。
【課題を解決するための手段】
【0005】
本発明の一側面によれば、ビデオ処理装置が提供され、それは、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び
オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定する第一推定ユニットであって、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる、第一推定ユニットを含む。
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び
オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定する第一推定ユニットであって、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる、第一推定ユニットを含む。
【0006】
本発明のもう１つの側面によれば、ビデオ処理方法が提供され、それは、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し；及び
オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定し、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられることを含む。
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し；及び
オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定し、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられることを含む。
【0007】
本発明のもう１つの側面によれば、マシン可読記憶媒体が提供され、その中にはマシン可読命令コードを記憶しているプログラムプロダクトがキャリー（ｃａｒｒｙ）されており、前記命令コードはコンピュータにより読み取られ実行されるときに、前記コンピュータに、本発明によるビデオ処理方法を実行させるができる。
【発明の効果】
【0008】
本発明に係るビデオ処理装置、ビデオ処理方法及びマシン可読記憶媒体により、オプティカルフローを導入することで画像フレームにおける１つ又は複数の目標を検出するための特徴情報を更新及び強化することができるため、目標検出及び目標追跡のパフォーマンスをさらに向上させることができる。
【図面の簡単な説明】
【0009】
【図1】従来技術の多目標追跡方法と本発明の多目標追跡方法との相違点を示す図である。
【図2】本発明の実施例におけるビデオ処理装置の構成を示すブロック図である。
【図3】本発明のもう１つの実施例におけるビデオ処理装置の構成を示すブロック図である。
【図4】本発明の実施例におけるビデオ処理装置の原理を示す図である。
【図5】本発明の実施例におけるビデオ処理装置の一部の原理を示す図である。
【図6】本発明の実施例におけるビデオ処理方法のフローチャートである。
【図7】本発明の実施例におけるもう１つのビデオ処理方法の訓練段階のフローチャートである。
【図8】本発明の実施例におけるもう１つのビデオ処理方法の推論段階のフローチャートである。
【図9】本発明の実施例におけるビデオ処理装置及び方法を実現し得る汎用パーソナルコンピュータの例示的な構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、このような実施例は例示に過ぎず、本発明を限定するものではない。
【0011】
以下、図１を参照しながら本発明の多目標追跡方法と従来技術の多目標追跡方法との相違点を説明する。図１において、Ｉ、Ｄ、Ｔはそれぞれ画像フレーム、検出枠、追跡枠を表す。よって、Ｉｔ－１、Ｉｔ及びＩｔ＋１はそれぞれ３つの連続時間の画像フレームを表し、Ｄｔ－１、Ｄｔ及びＤｔ＋１、あるいは、
（外１）
はそれぞれ３つの連続時間の検出枠の検出又は推定結果を表し、Ｔｔ－１、Ｔｔ及びＴｔ＋１、あるいは、
（外２）
はそれぞれ３つの連続時間の追跡枠の検出又は推定結果を表す。
（外１）
（外２）
【0012】
背景技術の部分に述べたように、ほとんどの検出－追跡アルゴリズムはその構成が図１における（ａ）に従い、このような構成では検出が現在のフレーム入力からのみ予測され、検出はパフォーマンスのボトルネックになり、検出器における過剰適合の問題は追跡のパフォーマンスに悪影響を直接与え得る。過剰適合の問題を軽減し、より正確な検出を得るために、検出器の１つのオプションは追加情報、例えば、時間情報を参照することである。純粋な検出タスクに比べて、ビデオフレームは連続したものであり、隣接するフレームの間には時間的相関性がある。追跡段階で時間的関係が考慮されているが、ほとんどの場合、それは検出段階に利益を与えることがない。また、追跡から検出までの間に情報のギャップ（間隔）が存在する。
【0013】
本発明では、オプティカルフロー及び追跡結果を使用して先験的ヒートマップ（ｈｅａｔｍａｐ）を計算することで、目標の位置を推定することが提案されている。先験的ヒートマップ及び画像フレームは検出器の入力とされることで、検出のパフォーマンスを向上させることができる。本発明による多目標追跡方法の構成は図１の（ｃ）に示すとおりであり、そのうち、履歴追跡情報は検出器に渡され、情報のギャップはオプティカルフローによって除去される。なお、図１における（ｃ）に示すのは３つの連続時間ｔ－１、ｔ及びｔ＋１であるが、以下の実施例を参照して詳細に説明するように、本発明は３つの連続時間に限定されず、即ち、本発明は連続画像フレーム以外の場合にも適用できる。
【0014】
図１における（ｂ）に示す多目標追跡方法と比較して、図１における（ｂ）に示す多目標追跡方法はオプティカルフローを使用しているが、オプティカルフローは追跡段階で次の１つのフレームの境界枠を推測するためにのみ用いられ、検出結果に役立たず、検出のパフォーマンスを向上させることはできない。
【0015】
以下、図２をもとに本発明の実施例におけるビデオ処理装置の詳細な構成を説明する。図２は本発明の実施例におけるビデオ処理装置の構成を示すブロック図である。図２に示すように、本発明の実施例におけるビデオ処理装置１００はオプティカルフロー計算ユニット１１０及び第一推定ユニット１２０を含み得る。
【0016】
オプティカルフロー計算ユニット１１０はビデオにおける第一時刻の第一画像フレームと、第一時刻の後の第二時刻の第二画像フレームとに基づいて、オプティカルフローを計算し、そして、計算したオプティカルフローを第一推定ユニット１２０に提供できる。
【0017】
さらに、第一推定ユニット１２０はオプティカルフロー計算ユニット１１０により提供されたオプティカルフロー及び第一画像フレームに基づいて、第二時刻の第一予測の特徴情報を推定できる。特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる。一例として、特徴情報はヒートマップであっても良い。
【0018】
ここで、ヒートマップは物体の先験的知識と見なすことができる。これにより、本発明によるビデオ処理装置１００は、オプティカルフローを導入することでヒートマップを更新及び強化することにより、目標検出及び目標追跡のパフォーマンスをさらに向上させることができる。
【0019】
また、好ましいビデオ処理装置として、図３は本発明のもう１つの実施例におけるビデオ処理装置の構成を示している。図３に示すように、本発明のもう１つの実施例におけるビデオ処理装置２００はオプティカルフロー計算ユニット２１０、第一推定ユニット２２０、変換ユニット２３０、第一計算ユニット２４０、第二計算ユニット２５０、第三計算ユニット２６０、組み合わせユニット２７０及び第二推定ユニット２８０を含んで良い。なお、図３に示すオプティカルフロー計算ユニット２１０及び第一推定ユニット２２０は図２に示すオプティカルフロー計算ユニット１１０及び第一推定ユニット１２０に対応する。
【0020】
図３に示すビデオ処理装置２００が実行する処理は２つの段階、即ち、訓練段階と推論段階に分けることができる。図３に示すように、点線の上の部分は訓練段階に対応し、点線の下の部分は推論段階に対応する。なお、訓練段階で使用されるのは真の値（真値）を有する訓練ビデオ集合であり、推論段階で使用されるのは真の値を有しないテストビデオ集合である。以下、この２つの段階から本発明のもう１つの実施例におけるビデオ処理装置２００の詳細な構成を説明する。
【0021】
＜訓練（ｔｒａｉｎｉｎｇ）＞
オプティカルフロー計算ユニット２１０は、訓練用のビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し、そして、計算したオプティカルフローを第一推定ユニット２２０に提供できる。
オプティカルフロー計算ユニット２１０は、訓練用のビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し、そして、計算したオプティカルフローを第一推定ユニット２２０に提供できる。
【0022】
さらに、第一推定ユニット２２０は、オプティカルフロー計算ユニット２１０が提供したオプティカルフロー、及び第一画像フレームに基づいて、第二時刻の第一予測の特徴情報を推定できる。特徴情報は、画像フレームにおける１つ又は複数の目標を検出するために用いられ得る。一例として、特徴情報はヒートマップであり得る。
【0023】
具体的には、第一推定ユニット２２０は、第一画像フレームにおける検出目標枠の中心点とオプティカルフローとの和を第二時刻の予測の目標枠の中心点として使用することで、第一予測の特徴情報を計算する。また、第一推定ユニット２２０は、計算した第二時刻の第一予測の特徴情報を変換ユニット２３０及び第三計算ユニット２６０に提供できる。
【0024】
さらに、変換ユニット２３０は第一予測の特徴情報の次元を、ニューラルネットワークの特徴抽出ネットワークから出力されるベクトルの次元と同じになるように変換できる。また、変換ユニット２３０は、次元変換後の第一予測の特徴情報を第一計算ユニット２４０に提供できる。
【0025】
さらに、第一計算ユニット２４０は次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより第二予測の特徴情報を取得し、かつ第二予測の特徴情報を第三計算ユニット２６０に提供できる。
【0026】
さらに、第二計算ユニット２５０は第二画像フレームに基づいて第二時刻の特徴情報を計算し、かつ第二時刻の特徴情報を第三計算ユニット２６０に提供できる。
【0027】
さらに、第三計算ユニット２６０は、第二計算ユニット２５０が計算した第二時刻の特徴情報、第一推定ユニット２２０が計算した第一予測の特徴情報、及び第一計算ユニット２４０が計算した第二予測の特徴情報に基づいて、特徴情報に関する損失関数を計算できる。
【0028】
さらに、組み合わせユニット２７０は、第三計算ユニット２６０が計算した、特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数に基づいて、組み合わせ損失関数を得ることができる。組み合わせ損失関数はニューラルネットワークを訓練するために用いることができる。
【0029】
これにより、本発明のもう１つの実施例におけるビデオ処理装置２００は、予測の特徴情報、例えば、ヒートマップとオプティカルフローとの間の損失関数を設計することで、ニューラルネットワークを訓練でき、このようにして、ニューラルネットワークが有用な情報をより良く学習し得るようにさせることができる。
【0030】
＜推論＞
テストビデオの第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームについて、第二推定ユニット２８０はオプティカルフローを計算し、そして、オプティカルフロー、第一画像フレーム、及び第一画像フレームにおける各検出目標の信頼度に基づいて、第二時刻のテストのための先験的特徴情報を推定できる。具体的には、この先験的特徴情報を推定するときに、第二推定ユニット２８０は第一画像フレームにおける各検出目標について、信頼度とスケーリング因子（Ｓｃａｌｉｎｇ Ｆａｃｔｏｒ）との積、及び、１のうちの、比較的小さい値を新しい信頼度とすることができる。
テストビデオの第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームについて、第二推定ユニット２８０はオプティカルフローを計算し、そして、オプティカルフロー、第一画像フレーム、及び第一画像フレームにおける各検出目標の信頼度に基づいて、第二時刻のテストのための先験的特徴情報を推定できる。具体的には、この先験的特徴情報を推定するときに、第二推定ユニット２８０は第一画像フレームにおける各検出目標について、信頼度とスケーリング因子（Ｓｃａｌｉｎｇ Ｆａｃｔｏｒ）との積、及び、１のうちの、比較的小さい値を新しい信頼度とすることができる。
【0031】
推定された第二時刻のテスト用の先験的特徴情報は、上述の訓練済みのニューラルネットワークに適用されることで、第二時刻の第二画像フレームにおいて検出目標に関する境界枠を検出し、即ち、第二画像フレームにおける１つ又は複数の目標を検出する。
【0032】
また、図３に示されないが、ビデオ処理装置２００はさらに、第二画像フレームにおいて検出された１つ又は複数の目標を追跡できる。さらに、第二画像フレームにおける目標に対しての追跡結果は、第二時刻の後続時刻の画像フレームの先験的ヒートマップの推理のための計算に適用でき、又は、第二時刻の後続時刻の画像フレーム中の１つ又は複数の目標の検出に使用できる。例えば、後続時刻は第二時刻プラス第二時刻と第一時刻との時間差に等しい。
【0033】
これにより、本発明の実施例におけるビデオ処理装置２００は、以前のフレームの追跡結果の履歴情報を使用して現在の検出結果における不確定性を低減し、検出のパフォーマンスを向上させることができる。また、対応して、追跡のパフォーマンスを向上させることもできる。
【0034】
本発明では、オプティカルフローによって、多目標追跡タスクにおける目標検出と目標追跡との関係を確立し、両者が相互に促進されるようにさせることで、多目標追跡タスクにおける目標検出及び目標追跡を改善し、多目標追跡の全体的なパフォーマンスを向上させることができる。
【0035】
本発明の技術案をより良く理解し得るために、以下、図４及び図５と併せて本発明のビデオ処理装置についてより詳しく説明する。図４は本発明の実施例におけるビデオ処理装置の原理を示す図である。図５は本発明の実施例におけるビデオ処理装置の一部の原理を示す図である。
【0036】
＜関連物理量＞
ビデオフレームが離散時間ステップ長ｔで記録され、ｔ＝１，…，Ｌであり、そのうち、Ｌはビデオフレームシーケンスの長さである。時間ステップ長ｔにおいて、画像フレームをＩｔと表し、ｉ番目の予測境界枠を
と表し、かつｊ番目の予測軌跡を
（外３）
と表す。ここで、軌跡は境界枠が時間の経過に伴う移動軌跡を表す。そうすると、予測の検出集合を
と表し、かつ予測軌跡の集合を
と表すことができ、そのうち、
（外４）
はそれぞれ時間ｔにおける境界枠の数及び保持の軌跡の数を表す。追跡期間中に予測された検出に対してフィルタリング及び更新を行い、得られた検出集合は、
と表される。
ビデオフレームが離散時間ステップ長ｔで記録され、ｔ＝１，…，Ｌであり、そのうち、Ｌはビデオフレームシーケンスの長さである。時間ステップ長ｔにおいて、画像フレームをＩｔと表し、ｉ番目の予測境界枠を
【数1】
（外３）
【数2】
【数3】
（外４）
【数4】
【0037】
同様に、
を真値検出集合と表す。Ｕｔ，ｋを用いて２つのフレーム｛Ｉｔ，Ｉｔ＋ｋ｝の間のオプティカルフローを表し、そのうち、ｋは２つの画像フレームの間のフレーム間隔である。２つのフレームの間の画素値は以下の式（１）に示すような関係を有する。
【数5】
【数6】
【0038】
式（１）では、ｐ＝（ｘ，ｙ）は画像における画素の座標を表す。
【0039】
＜ＦａｉｒＭＯＴモデル＞
図４における実線接続の部分はＦａｉｒＭＯＴモデルと称されても良い。図４の左端は、ビデオの異なる時刻ｔ及びｔ－ｋの２つの画像フレームであり、特徴抽出ネットワークはニューラルネットワークの主幹ネットワークであり、かつ画像における特徴情報を抽出するために用いられ、それは符号器－復号器と称されても良い。図４にはさらに、ヒートマップモジュール、枠サイズモジュール、中心偏移モジュール及びＲｅ－ＩＤ嵌入（埋め込み）モジュールが示されている。ヒートマップモジュールは検出目標のヒートマップを予測でき、枠サイズモジュールは境界枠サイズを予測でき、中心偏移モジュールは目標中心の偏移（ｏｆｆｓｅｔ）を、検出精度を上げるために予測でき、Ｒｅ－ＩＤ嵌入モジュールは各目標の標識特徴ベクトルを出力できる。
図４における実線接続の部分はＦａｉｒＭＯＴモデルと称されても良い。図４の左端は、ビデオの異なる時刻ｔ及びｔ－ｋの２つの画像フレームであり、特徴抽出ネットワークはニューラルネットワークの主幹ネットワークであり、かつ画像における特徴情報を抽出するために用いられ、それは符号器－復号器と称されても良い。図４にはさらに、ヒートマップモジュール、枠サイズモジュール、中心偏移モジュール及びＲｅ－ＩＤ嵌入（埋め込み）モジュールが示されている。ヒートマップモジュールは検出目標のヒートマップを予測でき、枠サイズモジュールは境界枠サイズを予測でき、中心偏移モジュールは目標中心の偏移（ｏｆｆｓｅｔ）を、検出精度を上げるために予測でき、Ｒｅ－ＩＤ嵌入モジュールは各目標の標識特徴ベクトルを出力できる。
【0040】
よって、ＦａｉｒＭＯＴモデルでは、ヒートマップモジュール、枠サイズモジュール及び中心偏移モジュールの出力に基づいて目標の境界枠を計算できる。Ｒｅ－ＩＤ嵌入モジュールは目標標識ベクトルを、追跡プロセスにおける目標識別（認識）を助けるために出力できる。
【0041】
ＦａｉｒＭＯＴモデルでは、モデルはヒートマップにおける目標中心を予測し、そのうち、各座標ｐにおける値は目標中心になる確率を表す。ＦａｉｒＭＯＴモデルでは、ヒートマップのサイズが入力フレームの１／４であるので、境界枠を１／４スケーリングする。各目標が真値検出集合Ｄｔにおける境界枠ｂｔ
ｉに対応し、スケーリング後の境界枠１／４ｂｔ
ｉの目標中心は座標
により表される。座標ｐ＝（ｘ，ｙ）における真値ヒートマップＭｔは、
と計算される。
【数7】
【数8】
【0042】
式（２）では、σｉは境界枠のサイズに比例する対象中心ｃｉの標準偏差を表す。図５にはＭｔの例が示されている。
【0043】
＜ＦｌｏｗＭＯＴモデル＞
本発明では、オプティカルフローをＦａｉｒＭＯＴモデルに統合することで、新しいＦｌｏｗＭＯＴモデルを形成する。本発明によるＦｌｏｗＭＯＴモデルのネットワークアーキテクチャは図４に示すとおりであり、ＦａｉｒＭＯＴモデルとの差異は点線で示されている。図４の左上の点線部分は、オプティカルフロー計算ユニット２１０がオプティカルフロー（図４における例では、Ｕｔ－ｋ，ｋである）を計算し、第一推定ユニット２２０が第二時刻の第一予測の特徴情報（図４における例では、
（外５）
である）を推定し、並びに、変換ユニット２３０及び第一計算ユニット２４０が第二予測の特徴情報（図４における例では、
（外６）
である）を計算することを示している。図４の右上の点線部分から分かるように、ｔ－ｋフレーム画像の下での追跡結果の更新はｔ番目のフレームの下での目標検出に適用される。
本発明では、オプティカルフローをＦａｉｒＭＯＴモデルに統合することで、新しいＦｌｏｗＭＯＴモデルを形成する。本発明によるＦｌｏｗＭＯＴモデルのネットワークアーキテクチャは図４に示すとおりであり、ＦａｉｒＭＯＴモデルとの差異は点線で示されている。図４の左上の点線部分は、オプティカルフロー計算ユニット２１０がオプティカルフロー（図４における例では、Ｕｔ－ｋ，ｋである）を計算し、第一推定ユニット２２０が第二時刻の第一予測の特徴情報（図４における例では、
（外５）
（外６）
【0044】
具体的には、画像フレームＩｔ－ｋ及びＩｋに基づいてオプティカルフローＵｔ－ｋ，ｋを計算し、そして、それを１／４スケーリングすることで、
（外７）
を得る。オプティカルフロー
（外８）
及び、Ｄｔ－ｋに基づいて算出された目標中心
（外９）
を用いて、以下の式（３）により、ｔ時刻の予測の目標中心
（外１０）
を得ることができる。
（外７）
（外８）
（外９）
（外１０）
【数9】
【0045】
そうすると、以下の（４）により、ｔ時刻におけるヒートマップを推定できる。
【数10】
【0046】
ここで、
（外１１）
は目標中心に関する先験と見なすことができる。図５は各物理量を示す図である。図５により、推定されたヒートマップが達成する効果をより明らかに説明できる。図５では、ｔ－ｋ時刻の画像Ｉｔ－ｋ及びｔ時刻の画像Ｉｋに基づいてオプティカルフローＵｔ－ｋ，ｋを得ることができ、Ｍｔ－ｋはｔ－ｋ時刻の真値ヒートマップであり、Ｍｔはｔ時刻の真値ヒートマップであり、
（外１２）
は上述の計算方法により得られたｔ時刻の推定ヒートマップである。図５に示すように、
（外１３）
はＭｔに良く近似しており、また、検出の不確定性を減少させるための情報を含む。
（外１１）
（外１２）
（外１３）
【0047】
次に、引き続き図４を参照する。畳み込み層を用いて、
（外１４）
を、特徴出力と同様の次元に変換し、その後、変換後の特徴図（特徴マップ）をニューラルネットワークに入力して最終予測のヒートマップ
（外１５）
を得ることができる。これは変換ユニット２３０及び第一計算ユニット２４０により実現され得る。
（外１４）
（外１５）
【0048】
具体的には、先験的ヒートマップに対して追加の畳み込み層を適用し、その後、変換後の特徴マップと、特徴抽出ネットワークの特徴出力Ｏｔとの加算を行い、そして、それらの総和をヒートマップモジュールｈにフィードバックして予測のヒートマップ
（外１６）
を、以下の式（５）に示すように取得する。
（外１６）
【数11】
【0049】
なお、ビデオシーケンスにおいて、オプティカルフローＵｔ－ｋ，ｋが最初のｋフレームについて不可用なものであるため、ｔ＜ｋ＋１の場合は、
（外１７）
をゼロヒートマップＦＭｚｅｒｏと設定して良い。また、ネットワークは、特徴抽出ネットワークからの情報の利用を断念し、代わりに、直接、先験的ヒートマップ
（外１８）
を
（外１９）
としてコピーする可能性がある。このような場合を避けるために、確率γを以って、ランダムに、
（外２０）
をゼロマッピングと設定でき、これは先験のドロップと称され、かつγはドロップ率である。
（外１７）
（外１８）
（外１９）
（外２０）
【0050】
＜全体損失関数計算＞
以下の式（６）により、予測ヒートマップ
（外２１）
と、第二計算ユニット２５０が算出したｔ時刻の真値ヒートマップＭｔとの間の損失を計算する。
以下の式（６）により、予測ヒートマップ
（外２１）
【数12】
【0051】
式（６）では、α及びβは正のサンプルと負のサンプルとの間の損失のバランスをとるためのハイパーパラメータである。
【0052】
先験的ヒートマップから有用な情報を得るために、ヒートマップ予測値と先験との間の損失関数を設計することで、新しいヒートマップを導入できる。具体的には、予測ヒートマップ
（外２２）
と先験的ヒートマップ
（外２３）
との間に正規化損失を導入できる。
（外２４）
における情報が完全に信頼できるものでないので、ネットワークは、特徴抽出ネットワークの出力Ｏｔに含まれる情報により
（外２５）
おける有用な情報を識別する必要がある。この目標を実現するために、新しいヒートマップＭｔ
ｍｉｘを使用し、それは、
（外２６）
とＭｔの両者の混合である。
（外２７）
の幾つかの部分（区域）において、
（外２８）
の値と、Ｍｔにおける同じ部分の値とがすべて閾値εよりも高い場合、Ｍｔ
ｍｉｘを、
（外２９）
に等しく設定する。その後、Ｍｔ
ｍｉｘの残りの部分を、Ｍｔと同じになるように設定する。つまり、以下の式（７）に示すとおりである。
（外２２）
（外２３）
（外２４）
（外２５）
（外２６）
（外２７）
（外２８）
（外２９）
【数13】
【0053】
そうすると、正規化損失は以下のように定義され得る。
式（８）では、ｍｔ
ｍｉｘはＭｔ
ｍｉｘに存在する目標中心の数を示し、かつ目標中心は、その値が１に等しい座標により表される。括弧内の条件が真である場合、演算子
（外３０）
の結果は１になり、そうでない場合、０になる。Ｍｔ
ｍｉｘの正規化損失により、モデルが
（外３１）
における有用な情報の区別（区分）を学習するに役立つことができるだけでなく、
（外３２）
を直接コピーすることを避けることもできる。ここで、ヒートマップモジュールの総損失は以下のとおりである。
【数14】
（外３０）
（外３１）
（外３２）
【数15】
【0054】
式（９）では、λはＬｈｅａｔとＬｍｉｘのバランスをとるための係数である。該ヒートマップモジュールの総損失は第三計算ユニット２６０により計算できる。
【0055】
その後、合計の損失関数又は組み合わせ損失関数は次のようになる。
【数16】
【0056】
ここで、Ｌｂｏｘは境界枠の偏移及びサイズの回帰損失を示し、Ｌｉｄはｒｅ－ＩＤ損失を示し、ｗ１及びｗ２は検出損失とｒｅ－ＩＤ損失のバランスをとるためのパラメータである。
【0057】
組み合わせ損失関数は図３における組み合わせユニット２７０により計算され得る。Ｌｂｏｘは目標枠に関する損失関数の一例であり、Ｌｉｄは目標標識特徴に関する損失関数の一例である。公式（１０）に基づいて算出される組み合わせ損失関数はニューラルネットワークを訓練するために用いられ得る。
【0058】
これにより、予測の特徴情報、例えば、ヒートマップとオプティカルフローの間の損失関数を設計してニューラルネットワークを訓練することで、ニューラルネットワークが有用な情報をより良く学習し得るようにさせることができる。
【0059】
＜推論＞
推論プロセスでは、真値検出がないので、
（外３３）
において追跡する目標を選択して先験的ヒートマップを計算する。各検出が信頼度ｃｏｎｆ（ｃｉ）と関連付けられるため、その信頼度を用いて各検出に対して加重（重み付け）を行う。検出の信頼度が追跡後に増加すべきであることを考慮して、追加のスケーリング因子ｓを導入して信頼度を上げることで、追跡のパフォーマンスを大幅に向上させることができる。テスト期間の最終的な推論先験的ヒートマップは以下の式（１１）により計算され得る。
推論プロセスでは、真値検出がないので、
（外３３）
【数17】
【0060】
式（１１）では、
（外３４）
は、上述の式（３）により、スケーリング後の境界枠
（外３５）
の目標中心
（外３６）
及びオプティカルフローＵｔ－ｋ，ｋに基づいて計算される予測目標中心である。
（外３４）
（外３５）
（外３６）
【0061】
上述のことから分かるように、本発明では、予測ヒートマップとオプティカルフローヒートマップとの間の損失関数に基づいてニューラルネットワークを訓練することが提案されている。これは次のような利点を有し、即ち、まず、オプティカルフローを用いて、多目標追跡タスクにおける目標の検出と追跡との間の関係を確立することで、両者が互いに促進されるようにさせ、次に、予測ヒートマップとオプティカルフローとの間の損失関数を設計してニューラルネットワークを訓練することで、ニューラルネットワークが有用な情報をより良く学習し得るようにさせることができる。
【0062】
以下、図６をベースに本発明の実施例におけるビデオ処理方法を説明する。
【0063】
図６に示すように、本発明の実施例におけるビデオ処理方法はステップＳ１１０でスタートする。ステップＳ１１０では、ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算する。
【0064】
続いて、ステップＳ１２０において、オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定し、特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる。例えば、特徴情報はヒートマップである。この後に、プロセスは終了する。
【0065】
これにより、本発明によるビデオ処理方法は、オプティカルフローを導入してヒートマップを更新及び強化することで、目標検出及び目標追跡のパフォーマンスをさらに向上させることができる。
【0066】
【0067】
図７に示すように、本発明の実施例におけるビデオ処理方法はステップＳ２１０でスタートする。ステップＳ２１０において、訓練用のビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいてオプティカルフローを計算する。
【0068】
続いて、ステップＳ２２０において、オプティカルフロー及び第一画像フレームに基づいて第二時刻の第一予測の特徴情報を推定し、特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる。例えば、特徴情報はヒートマップである。
【0069】
続いて、ステップＳ２３０において、第一予測の特徴情報の次元を変換し、かつ次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより、第二予測の特徴情報を取得する。
【0070】
続いて、ステップＳ２４０において、第二画像フレームに基づいて第二時刻の特徴情報を計算し、かつ計算した第二時刻の特徴情報、第一予測の特徴情報及び第二予測の特徴情報に基づいて特徴情報に関する損失関数を計算する。
【0071】
続いて、ステップＳ２５０において、特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数の組み合わせ損失関数に基づいて、ニューラルネットワークを訓練する。その後、プロセスは終了する。
【0072】
これにより、本発明のもう１つの実施例におけるビデオ処理方法は、予測の特徴情報、例えば、ヒートマップとオプティカルフローとの間の損失関数を設計してニューラルネットワークを訓練することで、ニューラルネットワークが有用な情報をより良く学習し得るようにさせることができる。
【0073】
図８は本発明の実施例におけるもう１つのビデオ処理方法の推論段階のフローチャートである。
【0074】
図８に示すように、本発明の実施例におけるビデオ処理方法はステップＳ３１０でスタートする。ステップＳ３１０において、テストビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいてオプティカルフローを計算する。
【0075】
続いて、ステップＳ３２０において、オプティカルフロー、第一画像フレーム、及び第一画像フレームにおける各検出目標の信頼度に基づいて、第二時刻のテスト用の先験的特徴情報を推定する。
【0076】
続いて、ステップＳ３３０において、第二時刻のテスト用の先験的特徴情報を訓練済みのニューラルネットワークに適用することで、第二画像フレームにおける１つ又は複数の目標を検出する。
【0077】
続いて、ステップＳ３４０において、テストビデオの第二画像フレームにおいて検出した１つ又は複数の目標に対して追跡を行う。その後、プロセスは終了する。
【0078】
なお、以上、第一時刻及び第二時刻の画像フレームのみについて本発明に係るビデオ処理方法の実施例を説明したが、実際の処理では、これは１つの循環的かつ継続的に進行するプロセスである。言い換えれば、第二時刻は次の第一時刻とされても良く、即ち、第二時刻の画像フレームにおける目標に対しての追跡結果は、第二時刻の後続時刻の画像フレームの推論先験的ヒートマップの計算に用いることができ、又は、第二時刻の後続時刻の画像フレームにおける１つ又は複数の目標の検出に用いることができる。例えば、後続時刻は第二時刻プラス第二時刻と第一時刻との時間差に等しい。
【0079】
これにより、本発明のもう１つの実施例におけるビデオ処理方法は、オプティカルフローを用いて多目標追跡タスクにおける目標の検出と追跡との間の関係を確立することで、両者が互いに促進されるようにさせることができ、このようにして、多目標追跡における目標検出及び目標追跡を改善し、多目標追跡のパフォーマンスを全体的に向上させることができる。
【0080】
なお、本発明の実施例におけるビデオ処理方法における上述のステップの様々な具体的な実施方式については既に詳細に説明したので、ここではその詳しい説明を省略する。
【0081】
明らかのように、本発明に係るビデオ処理方法の各操作のプロセスは、様々なマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムにより実現できる。
【0082】
また、本発明の目的は次のような方式で実現することもでき、即ち、上述の実行可能なプログラムコードを記憶している記憶媒体をシステム又は装置に直接又は間接的に提供し、かつ該システム又は装置におけるコンピュータ又は中央処理ユニット（ＣＰＵ）は上述のプログラムコードを読み出して実行する。このときに、該システム又は装置がプログラムを実行する機能を有すれば、本発明の実施形態はプログラムに限定されず、かつ該プログラムは任意の形式、例えば、目標プログラム、インタプリタ実行可能なプログラム、オペレーティングシステムに提供するスクリプトプログラムなどであっても良い。
【0083】
なお、上述のマシン可読記憶媒体は、様々な記憶器及び記憶ユニット、半導体装置、磁気ディスクユニット例えば光、磁気及び光磁気ディスク、情報の記憶に適した他の媒体などであっても良い。
【0084】
また、コンピュータはインターネット上の対応するサイトに接続され、かつ本発明によるコンピュータプログラムコードをコンピュータにダウンロードしてインストールした後に該プログラムを実行することで、本発明の技術案を実現することもできる。
【0085】
上述の装置における各構成コンポーネントやユニットなどは、ソフトウェア、ファームウェア、ハードウェア又はその組み合わせの方式で構成されても良い。なお、構成に使用される具体的な手段や方法は当業者にとって周知のものであるため、ここではその詳しい説明を省略する。ソフトウェア又はファームウェアにより実現される場合、記憶媒体又はネットワークから専用ハードウェア構成を有するコンピュータ（例えば、図９に示す汎用コンピュータ９００）に該ソフトウェアを構成するプログラムをインストールし、該コンピュータは各種のプログラムがインストールされているときに、各種の機能などを実現することができる。
【0086】
図９は、本発明の実施例における方法及び装置を実現し得るハードウェア構成（汎用コンピュータ）９００の構成図である。
【0087】
汎用コンピュータ９００は、例えば、コンピュータシステムであっても良い。なお、汎用コンピュータ９００は例示に過ぎず、本発明による方法及び装置の適用範囲又は機能について限定しない。また、汎用コンピュータ９００は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせにも依存しない。
【0088】
図９では、中央処理装置（ＣＰＵ）９０１は、ＲＯＭ９０２に記憶されるプログラム又は記憶部９０８からＲＡＭ９０３にロッドされているプログラムに基づいて各種の処理を行う。ＲＡＭ９０３では、ニーズに応じて、ＣＰＵ９０１が各種の処理を行うときに必要なデータなどを記憶することもできる。ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、バス９０４を経由して互いに接続される。入力／出力インターフェース９０５もバス９０４に接続される。
【0089】
また、入力／出力インターフェース９０５には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部９０６、液晶表示器（ＬＣＤ）などのような表示器及びスピーカーなどを含む出力部９０７、ハードディスクなどを含む記憶部９０８、ネットワーク・インターフェース・カード、例えば、ＬＡＮカード、モデムなどを含む通信部９０９である。通信部９０９は、例えば、インターネット、ＬＡＮなどのネットワークを経由して通信処理を行う。ドライブ９１０は、ニーズに応じて、入力／出力インターフェース９０５に接続されても良い。取り外し可能な媒体９１１、例えば、半導体メモリなどは、必要に応じて、ドライブ９１０にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部９０８にインストールすることができる。
【0090】
また、本発明は、さらに、マシン可読命令コードを含むプログラムプロダクトを提供する。このような命令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（ｃａｒｒｙ）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ－ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。
【0091】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【0092】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されるコンピュータ実行可能なプログラムの方式で実現することもできる。
【0093】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【0094】
（付記１）
ビデオ処理装置であって、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて前記第二時刻の第一予測の特徴情報を推定する第一推定ユニットであって、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる、第一推定ユニットを含む、装置。
ビデオ処理装置であって、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算するオプティカルフロー計算ユニット；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて前記第二時刻の第一予測の特徴情報を推定する第一推定ユニットであって、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられる、第一推定ユニットを含む、装置。
【0095】
（付記２）
付記１に記載のビデオ処理装置であって、さらに、
前記第一予測の特徴情報の次元を変換する変換ユニット；及び
次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより、第二予測の特徴情報を得る第一計算ユニットを含む、装置。
付記１に記載のビデオ処理装置であって、さらに、
前記第一予測の特徴情報の次元を変換する変換ユニット；及び
次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより、第二予測の特徴情報を得る第一計算ユニットを含む、装置。
【0096】
（付記３）
付記２に記載のビデオ処理装置であって、さらに、
前記第二画像フレームに基づいて前記第二時刻の特徴情報を計算する第二計算ユニット；及び
計算された前記第二時刻の特徴情報、前記第一予測の特徴情報、及び前記第二予測の特徴情報に基づいて、前記特徴情報に関する損失関数を計算する第三計算ユニットを含む、装置。
付記２に記載のビデオ処理装置であって、さらに、
前記第二画像フレームに基づいて前記第二時刻の特徴情報を計算する第二計算ユニット；及び
計算された前記第二時刻の特徴情報、前記第一予測の特徴情報、及び前記第二予測の特徴情報に基づいて、前記特徴情報に関する損失関数を計算する第三計算ユニットを含む、装置。
【0097】
（付記４）
付記３に記載のビデオ処理装置であって、さらに、
前記特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数に基づいて組み合わせ損失関数を得る組み合わせユニットであって、前記組み合わせ損失関数はニューラルネットワークを訓練するために用いられる、組み合わせユニットを含む、装置。
付記３に記載のビデオ処理装置であって、さらに、
前記特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数に基づいて組み合わせ損失関数を得る組み合わせユニットであって、前記組み合わせ損失関数はニューラルネットワークを訓練するために用いられる、組み合わせユニットを含む、装置。
【0098】
（付記５）
付記４に記載のビデオ処理装置であって、
前記ビデオがテスト用のビデオである場合、前記ビデオ処理装置は、さらに、
前記オプティカルフロー、前記第一画像フレーム、及び前記第一画像フレームにおける各検出目標の信頼度に基づいて、前記第二時刻のテスト用の先験的特徴情報を推定する第二推定ユニットを含む、装置。
付記４に記載のビデオ処理装置であって、
前記ビデオがテスト用のビデオである場合、前記ビデオ処理装置は、さらに、
前記オプティカルフロー、前記第一画像フレーム、及び前記第一画像フレームにおける各検出目標の信頼度に基づいて、前記第二時刻のテスト用の先験的特徴情報を推定する第二推定ユニットを含む、装置。
【0099】
（付記６）
付記５に記載のビデオ処理装置であって、
前記先験的特徴情報を推定するときに、前記第二推定ユニットは、前記第一画像フレームにおける各検出目標について、前記信頼度とスケーリング因子との乗積及び１のうちの比較的小さい値を新しい信頼度として使用する、装置。
付記５に記載のビデオ処理装置であって、
前記先験的特徴情報を推定するときに、前記第二推定ユニットは、前記第一画像フレームにおける各検出目標について、前記信頼度とスケーリング因子との乗積及び１のうちの比較的小さい値を新しい信頼度として使用する、装置。
【0100】
（付記７）
付記５又は６に記載のビデオ処理装置であって、
前記第二時刻のテスト用の先験的特徴情報は、前記第二時刻の第二画像フレームにおける１つ又は複数の目標を検出するために、訓練済みのニューラルネットワークに適用される、装置。
付記５又は６に記載のビデオ処理装置であって、
前記第二時刻のテスト用の先験的特徴情報は、前記第二時刻の第二画像フレームにおける１つ又は複数の目標を検出するために、訓練済みのニューラルネットワークに適用される、装置。
【0101】
（付記８）
付記７に記載のビデオ処理装置であって、
前記第二画像フレームにおいて検出された１つ又は複数の目標に対しての追跡結果は、前記第二時刻の後続時刻の画像フレームにおける１つ又は複数の目標の検出に用いられ、前記後続時刻は前記第二時刻プラス前記第二時刻と前記第一時刻との時間差に等しい、装置。
付記７に記載のビデオ処理装置であって、
前記第二画像フレームにおいて検出された１つ又は複数の目標に対しての追跡結果は、前記第二時刻の後続時刻の画像フレームにおける１つ又は複数の目標の検出に用いられ、前記後続時刻は前記第二時刻プラス前記第二時刻と前記第一時刻との時間差に等しい、装置。
【0102】
（付記９）
ビデオ処理方法であって、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて、前記第二時刻の第一予測の特徴情報を推定し、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられることを含む、方法。
ビデオ処理方法であって、
ビデオにおける第一時刻の第一画像フレーム及び第一時刻の後の第二時刻の第二画像フレームに基づいて、オプティカルフローを計算し；及び
前記オプティカルフロー及び前記第一画像フレームに基づいて、前記第二時刻の第一予測の特徴情報を推定し、前記特徴情報は画像フレームにおける１つ又は複数の目標を検出するために用いられることを含む、方法。
【0103】
（付記１０）
付記９に記載の方法であって、
前記特徴情報はヒートマップである、方法。
付記９に記載の方法であって、
前記特徴情報はヒートマップである、方法。
【0104】
（付記１１）
付記９に記載の方法であって、さらに、
前記第一予測の特徴情報の次元を変換し；及び
次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより、第二予測の特徴情報を得ることを含む、方法。
付記９に記載の方法であって、さらに、
前記第一予測の特徴情報の次元を変換し；及び
次元変換後の第一予測の特徴情報に基づいて、ニューラルネットワークにより、第二予測の特徴情報を得ることを含む、方法。
【0105】
（付記１２）
付記１１に記載の方法であって、さらに、
前記第二画像フレームに基づいて、前記第二時刻の特徴情報を計算し；及び
計算した前記第二時刻の特徴情報、前記第一予測の特徴情報、及び前記第二予測の特徴情報に基づいて、前記特徴情報に関する損失関数を計算することを含む、方法。
付記１１に記載の方法であって、さらに、
前記第二画像フレームに基づいて、前記第二時刻の特徴情報を計算し；及び
計算した前記第二時刻の特徴情報、前記第一予測の特徴情報、及び前記第二予測の特徴情報に基づいて、前記特徴情報に関する損失関数を計算することを含む、方法。
【0106】
（付記１３）
付記１２に記載の方法であって、さらに、
前記特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数の組み合わせ損失関数に基づいて、ニューラルネットワークを訓練することを含む、方法。
付記１２に記載の方法であって、さらに、
前記特徴情報に関する損失関数、目標枠に関する損失関数、及び目標標識特徴に関する損失関数の組み合わせ損失関数に基づいて、ニューラルネットワークを訓練することを含む、方法。
【0107】
（付記１４）
付記１３に記載の方法であって、さらに、
前記ビデオがテスト用のビデオである場合、
前記オプティカルフロー、前記第一画像フレーム、及び前記第一画像フレームにおける各検出目標の信頼度に基づいて、前記第二時刻のテスト用の先験的特徴情報を推定することを含む、方法。
付記１３に記載の方法であって、さらに、
前記ビデオがテスト用のビデオである場合、
前記オプティカルフロー、前記第一画像フレーム、及び前記第一画像フレームにおける各検出目標の信頼度に基づいて、前記第二時刻のテスト用の先験的特徴情報を推定することを含む、方法。
【0108】
（付記１５）
付記１４に記載の方法であって、
前記先験的特徴情報を推定するときに、前記第一画像フレームにおける各検出目標について、前記信頼度とスケーリング因子との乗積及び１のうちの比較的小さい値を新し信頼度として使用する、方法。
付記１４に記載の方法であって、
前記先験的特徴情報を推定するときに、前記第一画像フレームにおける各検出目標について、前記信頼度とスケーリング因子との乗積及び１のうちの比較的小さい値を新し信頼度として使用する、方法。
【0109】
（付記１６）
付記１４又は１５に記載の方法であって、さらに、
前記第二時刻のテスト用の先験的特徴情報を訓練済みのニューラルネットワークに適用し、前記第二時刻の第二画像フレームにおける１つ又は複数の目標を検出することを含む、方法。
付記１４又は１５に記載の方法であって、さらに、
前記第二時刻のテスト用の先験的特徴情報を訓練済みのニューラルネットワークに適用し、前記第二時刻の第二画像フレームにおける１つ又は複数の目標を検出することを含む、方法。
【0110】
（付記１７）
付記１６に記載の方法であって、さらに、
前記第二画像フレームにおいて検出された１つ又は複数の目標に対して追跡を行うことを含む、方法。
付記１６に記載の方法であって、さらに、
前記第二画像フレームにおいて検出された１つ又は複数の目標に対して追跡を行うことを含む、方法。
【0111】
（付記１８）
付記１７に記載の方法であって、
前記第二画像フレームにおいて検出された１つ又は複数の目標に対しての追跡結果は、前記第二時刻の後続時刻の画像フレームにおける１つ又は複数の目標の検出に用いられ、前記後続時刻は前記第二時刻プラス前記第二時刻と前記第一時刻との時間差に等しい、方法。
付記１７に記載の方法であって、
前記第二画像フレームにおいて検出された１つ又は複数の目標に対しての追跡結果は、前記第二時刻の後続時刻の画像フレームにおける１つ又は複数の目標の検出に用いられ、前記後続時刻は前記第二時刻プラス前記第二時刻と前記第一時刻との時間差に等しい、方法。
【0112】
（付記１９）
付記９に記載の方法であって、
前記第一画像フレームにおける検出目標枠の中心点と前記オプティカルフローとの和を前記第二時刻の予測の目標枠の中心点として用いることで、前記第一予測の特徴情報を計算する、方法。
付記９に記載の方法であって、
前記第一画像フレームにおける検出目標枠の中心点と前記オプティカルフローとの和を前記第二時刻の予測の目標枠の中心点として用いることで、前記第一予測の特徴情報を計算する、方法。
【0113】
（付記２０）
マシン可読記憶媒体であって、
マシン可読命令コードが記憶されているプログラムプロダクトをキャリーし、そのうち、前記命令コードはコンピュータによって読み取られ実行されるときに、前記コンピュータに、付記９－１９に記載のビデオ処理方法を実行させることができる、マシン可読記憶媒体。
マシン可読記憶媒体であって、
マシン可読命令コードが記憶されているプログラムプロダクトをキャリーし、そのうち、前記命令コードはコンピュータによって読み取られ実行されるときに、前記コンピュータに、付記９－１９に記載のビデオ処理方法を実行させることができる、マシン可読記憶媒体。
【0114】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】