ホーム > 特許ランキング > トヨタ自動車株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】評価システム、評価方法及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20241106BHJP
【ＦＩ】
G06T7/20
【請求項の数】
10
(21)【出願番号】P 2021199462
(22)【出願日】2021-12-08
(65)【公開番号】P2023085017
(43)【公開日】2023-06-20
【審査請求日】2023-07-11
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】長井 学
(72)【発明者】
【氏名】渡邊 英
(72)【発明者】
【氏名】中野 雄介
【審査官】高野 美帆子
(56)【参考文献】
【文献】“Challenges of Ground Truth Evaluation of Multi-target Tracking”，2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops，2013年，p.735-742，DOI: 10.1109/CVPRW.2013.111
【文献】小平 美沙季，ドライブレコーダデータに対するヒヤリハット危険度推定，第１１回データ工学と情報マネジメントに関するフォーラム （第１７回日本データベース学会年次大会） ［ｏｎｌｉｎｅ］ ，日本，2019年03月06日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２０
(57)【特許請求の範囲】
【請求項1】
動画像における移動可能なオブジェクトの位置を推定して前記オブジェクトの追跡を行うアルゴリズムの品質を評価する評価システムであって、前記動画像に対応する正解データと、前記動画像に対して推定を行った前記アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、少なくとも誤った推定結果の種類である複数の誤推定種類のいずれであるかを判定する推定結果判定部と、
複数の前記誤推定種類それぞれに対応し当該誤推定種類の影響の度合いに応じて高くなるように設けられた誤推定係数を、当該誤推定種類に対応するオブジェクトの数だけ加算し、複数の前記誤推定種類ごとに得られた前記誤推定係数の加算値の合計値に基づいて、前記アルゴリズムの評価値を算出する評価値算出部と、
を有し、
複数の前記誤推定種類のうち、前記アルゴリズムが前記正解データに含まれる複数の前記オブジェクトをあるタイミングと次のタイミングとで入れ替えて推定してしまうことに関する誤推定種類である第２の誤推定に対応する前記誤推定係数は、前記アルゴリズムが前記正解データに含まれる１つの前記オブジェクトをあるタイミングと次のタイミングとで別のオブジェクトであると推定してしまうことに関する誤推定種類である第３の誤推定に対応する前記誤推定係数よりも高く設定される、
評価システム。
【請求項2】
複数の前記誤推定種類のうち、前記正解データに含まれる前記オブジェクトを前記アルゴリズムが推定できなかったことに関する誤推定種類である第１の誤推定に対応する前記誤推定係数は、他の前記誤推定種類に対応する前記誤推定係数よりも高く設定される、請求項１に記載の評価システム。
【請求項3】
動画像における移動可能なオブジェクトの位置を推定して前記オブジェクトの追跡を行うアルゴリズムの品質を評価する評価システムであって、
前記動画像に対応する正解データと、前記動画像に対して推定を行った前記アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、少なくとも誤った推定結果の種類である複数の誤推定種類のいずれであるかを判定する推定結果判定部と、
複数の前記誤推定種類それぞれに対応し当該誤推定種類の影響の度合いに応じて高くなるように設けられた誤推定係数を、当該誤推定種類に対応するオブジェクトの数だけ加算し、複数の前記誤推定種類ごとに得られた前記誤推定係数の加算値の合計値に基づいて、前記アルゴリズムの評価値を算出する評価値算出部と、
前記誤推定係数を、前記動画像における前記オブジェクトの位置を推定するタイミングごとに算出する係数算出部と、
を有する評価システム。
【請求項4】
前記係数算出部は、あるオブジェクトについて前記誤推定種類の同じ誤推定が連続してなされた場合に、当該オブジェクトに関する当該誤推定種類に対応する前記誤推定係数をより高くするように、前記誤推定係数を算出する、請求項３に記載の評価システム。
【請求項5】
前記係数算出部は、前記正解データに含まれる前記オブジェクトを前記アルゴリズムが推定できなかったことに関する誤推定種類である第１の誤推定が連続してなされた場合に、前記第１の誤推定に対応する前記誤推定係数をより高くするように、前記誤推定係数を算出する、請求項４に記載の評価システム。
【請求項6】
前記係数算出部は、前記オブジェクトの速度が速いほど、当該オブジェクトに関する誤推定種類に対応する前記誤推定係数を高くするように、前記誤推定係数を算出する、請求項３から５のいずれか１項に記載の評価システム。
【請求項7】
前記係数算出部は、あるオブジェクトからの距離が予め定められた閾値以下である、当該オブジェクトと同じ種類の他のオブジェクトの数が多いほど、当該オブジェクトに関する誤推定種類に対応する前記誤推定係数を低くするように、前記誤推定係数を算出する、請求項３から６のいずれか１項に記載の評価システム。
【請求項8】
動画像における移動可能なオブジェクトの位置を推定して前記オブジェクトの追跡を行うアルゴリズムの品質を評価する評価方法であって、前記動画像に対応する正解データと、前記動画像に対して推定を行った前記アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、少なくとも誤った推定結果の種類である複数の誤推定種類のいずれであるかを判定し、
複数の前記誤推定種類それぞれに対応し当該誤推定種類の影響の度合いに応じて高くなるように設けられた誤推定係数を、当該誤推定種類に対応するオブジェクトの数だけ加算し、複数の前記誤推定種類ごとに得られた前記誤推定係数の加算値の合計値に基づいて、前記アルゴリズムの評価値を算出し、
複数の前記誤推定種類のうち、前記アルゴリズムが前記正解データに含まれる複数の前記オブジェクトをあるタイミングと次のタイミングとで入れ替えて推定してしまうことに関する誤推定種類である第２の誤推定に対応する前記誤推定係数は、前記アルゴリズムが前記正解データに含まれる１つの前記オブジェクトをあるタイミングと次のタイミングとで別のオブジェクトであると推定してしまうことに関する誤推定種類である第３の誤推定に対応する前記誤推定係数よりも高く設定される、
評価方法。
【請求項9】
動画像における移動可能なオブジェクトの位置を推定して前記オブジェクトの追跡を行うアルゴリズムの品質を評価する評価方法であって、
前記動画像に対応する正解データと、前記動画像に対して推定を行った前記アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、少なくとも誤った推定結果の種類である複数の誤推定種類のいずれであるかを判定し、
複数の前記誤推定種類それぞれに対応し当該誤推定種類の影響の度合いに応じて高くなるように設けられた誤推定係数を、当該誤推定種類に対応するオブジェクトの数だけ加算し、複数の前記誤推定種類ごとに得られた前記誤推定係数の加算値の合計値に基づいて、前記アルゴリズムの評価値を算出し、
前記誤推定係数を、前記動画像における前記オブジェクトの位置を推定するタイミングごとに算出する、
評価方法。
【請求項10】
動画像における移動可能なオブジェクトの位置を推定して前記オブジェクトの追跡を行うアルゴリズムの品質を評価する評価方法を実現するプログラムであって、前記動画像に対応する正解データと、前記動画像に対して推定を行った前記アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、少なくとも誤った推定結果の種類である複数の誤推定種類のいずれであるかを判定するステップと、
複数の前記誤推定種類それぞれに対応し当該誤推定種類の影響の度合いに応じて高くなるように設けられた誤推定係数を、当該誤推定種類に対応するオブジェクトの数だけ加算し、複数の前記誤推定種類ごとに得られた前記誤推定係数の加算値の合計値に基づいて、前記アルゴリズムの評価値を算出するステップと、
をコンピュータに実行させ、
複数の前記誤推定種類のうち、前記アルゴリズムが前記正解データに含まれる複数の前記オブジェクトをあるタイミングと次のタイミングとで入れ替えて推定してしまうことに関する誤推定種類である第２の誤推定に対応する前記誤推定係数は、前記アルゴリズムが前記正解データに含まれる１つの前記オブジェクトをあるタイミングと次のタイミングとで別のオブジェクトであると推定してしまうことに関する誤推定種類である第３の誤推定に対応する前記誤推定係数よりも高く設定される、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、評価システム、評価方法及びプログラムに関する。
【背景技術】
【0002】
映像データを用いて移動可能なオブジェクトをトラッキングする技術がある。この技術に関連し、特許文献１は、予測的異常挙動検出のためのシステムおよび方法を開示する。特許文献１にかかるシステムは、ビデオ・データ等の監視データを受取り、複数の予測モデルの作成および更新を行う。また、システムは、移動物体に関係するビデオ・データを受取り、生成した予測モデルに基づいてその移動物体の将来の場所の予測を生成する。予測された動きは、スコア付けエンジンによってスコア付けし、その予測される動きが安全でないか否か、あるいはそのほかの形で望ましくないか否かを決定する。また、非特許文献１は、トラッキングシステムを評価する方法を開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１２－５１８８４６号公報
【非特許文献】
【0004】
【文献】Jonathon Luiten et. al、「HOTA: A Higher Order Metric for Evaluating Multi-Object Tracking」、International Journal of Computer Vision (2021) 129:548-578、https://doi.org/10.1007/s11263-020-01375-2
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば交通管制等の特定の使用環境下でトラッキングシステムが使用された場合に、当該トラッキングシステムがその使用環境下で良好に性能を発揮するか否かを評価することが求められる。一方、特許文献１には、トラッキングシステムの評価方法について開示されていない。また、非特許文献１にかかる技術では、ＭＯＴＡ（Multi-Object Tracking Accuracy）等の評価手法が挙げられている。しかしながら、トラッキングシステムの使用環境によっては、非特許文献１に挙げられた評価式の値（評価値）が高くても、トラッキングシステムの性能が良好であるとは限らない。したがって、移動可能なオブジェクトの位置を推定してオブジェクトの追跡を行うアルゴリズム（トラッキングシステム）の品質を適切に評価することが望ましい。
【0006】
本発明は、移動可能なオブジェクトの位置を推定してオブジェクトの追跡を行うアルゴリズムの品質を適切に評価することが可能な評価システム、評価方法及びプログラムを提供するものである。
【課題を解決するための手段】
【0007】
本発明にかかる評価システムは、動画像における移動可能なオブジェクトの位置を推定して前記オブジェクトの追跡を行うアルゴリズムの品質を評価する評価システムであって、前記動画像に対応する正解データと、前記動画像に対して推定を行った前記アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、正しい推定結果又は誤った推定結果の種類である複数の誤推定種類のいずれかを判定する推定結果判定部と、複数の前記誤推定種類それぞれに対応し当該誤推定種類の影響の度合いに応じて高くなるように設けられた誤推定係数を、当該誤推定種類に対応するオブジェクトの数だけ加算し、複数の前記誤推定種類ごとに得られた前記誤推定係数の加算値の合計値に基づいて、前記アルゴリズムの評価値を算出する評価値算出部と、を有する。
【0008】
また、本発明にかかる評価方法は、動画像における移動可能なオブジェクトの位置を推定して前記オブジェクトの追跡を行うアルゴリズムの品質を評価する評価方法であって、前記動画像に対応する正解データと、前記動画像に対して推定を行った前記アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、正しい推定結果又は誤った推定結果の種類である複数の誤推定種類のいずれかを判定し、複数の前記誤推定種類それぞれに対応し当該誤推定種類の影響の度合いに応じて高くなるように設けられた誤推定係数を、当該誤推定種類に対応するオブジェクトの数だけ加算し、複数の前記誤推定種類ごとに得られた前記誤推定係数の加算値の合計値に基づいて、前記アルゴリズムの評価値を算出する。
【0009】
また、本発明にかかるプログラムは、動画像における移動可能なオブジェクトの位置を推定して前記オブジェクトの追跡を行うアルゴリズムの品質を評価する評価方法を実現するプログラムであって、前記動画像に対応する正解データと、前記動画像に対して推定を行った前記アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、正しい推定結果又は誤った推定結果の種類である複数の誤推定種類のいずれかを判定するステップと、複数の前記誤推定種類それぞれに対応し当該誤推定種類の影響の度合いに応じて高くなるように設けられた誤推定係数を、当該誤推定種類に対応するオブジェクトの数だけ加算し、複数の前記誤推定種類ごとに得られた前記誤推定係数の加算値の合計値に基づいて、前記アルゴリズムの評価値を算出するステップと、をコンピュータに実行させる。
【0010】
本発明においては、誤推定係数は、対応する誤推定種類の影響の度合いが大きいほど高くなるように設定されている。したがって、影響の度合いの大きな誤推定が多く行われるほど、評価は低くなり得る。そして、影響の度合いが大きな誤推定を多く行ってしまうアルゴリズムの品質は低いと言える。したがって、本発明は、アルゴリズムの品質を適切に評価することが可能となる。
【0011】
また、好ましくは、複数の前記誤推定種類のうち、前記正解データに含まれる前記オブジェクトを前記アルゴリズムが推定できなかったことに関する誤推定種類である第１の誤推定に対応する前記誤推定係数は、他の前記誤推定種類に対応する前記誤推定係数よりも高く設定される。
本発明は、このように構成されていることによって、アルゴリズムの品質をさらに適切に評価することが可能となる。
本発明は、このように構成されていることによって、アルゴリズムの品質をさらに適切に評価することが可能となる。
【0012】
また、好ましくは、複数の前記誤推定種類のうち、前記アルゴリズムが前記正解データに含まれる複数の前記オブジェクトをあるタイミングと次のタイミングとで入れ替えて推定してしまうことに関する誤推定種類である第２の誤推定に対応する前記誤推定係数は、前記アルゴリズムが前記正解データに含まれる１つの前記オブジェクトをあるタイミングと次のタイミングとで別のオブジェクトであると推定してしまうことに関する誤推定種類である第３の誤推定に対応する前記誤推定係数よりも高く設定される。
本発明は、このように構成されていることによって、アルゴリズムの品質をさらに適切に評価することが可能となる。
本発明は、このように構成されていることによって、アルゴリズムの品質をさらに適切に評価することが可能となる。
【0013】
また、好ましくは、前記誤推定係数を推定のタイミングごとに算出する係数算出部をさらに有する。
本発明は、このように構成されていることによって、状況の変化に応じて誤推定係数を変化させることができる。したがって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
本発明は、このように構成されていることによって、状況の変化に応じて誤推定係数を変化させることができる。したがって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0014】
また、好ましくは、前記係数算出部は、あるオブジェクトについて前記誤推定種類の同じ誤推定が連続してなされた場合に、当該オブジェクトに関する当該誤推定種類に対応する前記誤推定係数をより高くするように、前記誤推定係数を算出する。
本発明は、このように構成されていることによって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
本発明は、このように構成されていることによって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0015】
また、好ましくは、前記係数算出部は、前記正解データに含まれる前記オブジェクトを前記アルゴリズムが推定できなかったことに関する誤推定種類である第１の誤推定が連続してなされた場合に、前記第１の誤推定に対応する前記誤推定係数をより高くするように、前記誤推定係数を算出する。
本発明は、このように構成されていることによって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
本発明は、このように構成されていることによって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0016】
また、好ましくは、前記係数算出部は、前記オブジェクトの速度が速いほど、当該オブジェクトに関する誤推定種類に対応する前記誤推定係数を高くするように、前記誤推定係数を算出する。
本発明は、このように構成されていることによって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
本発明は、このように構成されていることによって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0017】
また、好ましくは、前記係数算出部は、あるオブジェクトからの距離が予め定められた閾値以下である、当該オブジェクトと同じ種類の他のオブジェクトの数が多いほど、当該オブジェクトに関する誤推定種類に対応する前記誤推定係数を低くするように、前記誤推定係数を算出する。
本発明は、このように構成されていることによって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
本発明は、このように構成されていることによって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【発明の効果】
【0018】
本発明によれば、移動可能なオブジェクトの位置を推定してオブジェクトの追跡を行うアルゴリズムの品質を適切に評価することが可能な評価システム、評価方法及びプログラムを提供できる。
【図面の簡単な説明】
【0019】
【図1】実施の形態１にかかる評価システムを示す図である。
【図2】本実施の形態にかかる誤推定種類を説明するための図である。
【図3】本実施の形態にかかる誤推定種類を説明するための図である。
【図4】実施の形態１にかかる評価装置の構成を示す図である。
【図5】実施の形態１にかかる評価システムによって実行される評価方法を示すフローチャートである。
【図6】実施の形態２にかかる評価装置の構成を示す図である。
【図7】実施の形態２にかかる評価システムによって実行される評価方法を示すフローチャートである。
【図8】実施の形態２にかかる評価システムによって実行される評価方法を示すフローチャートである。
【発明を実施するための形態】
【0020】
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0021】
図１は、実施の形態１にかかる評価システム１を示す図である。評価システム１は、追跡エンジン２０と、動画像格納装置４０と、評価装置１００とを有する。追跡エンジン２０と、動画像格納装置４０と、評価装置１００とは、有線又は無線のネットワーク２を介して通信可能に接続されていてもよい。
【0022】
追跡エンジン２０は、例えばコンピュータである。追跡エンジン２０は、移動可能なオブジェクト（移動オブジェクト）の位置を推定して移動オブジェクトの追跡を行う推定アルゴリズムを動作させる。つまり、推定アルゴリズムは、動画像からオブジェクトを検出する。追跡エンジン２０は、後述する動画像格納装置４０に格納された動画像を推定アルゴリズムに入力して、推定アルゴリズムを動作させる。推定アルゴリズムは、入力された動画像に対して、画像フレームごとにオブジェクトの位置及び種類の推定を行い、推定結果を出力する。追跡エンジン２０は、推定アルゴリズムから出力されたオブジェクトの推定結果を、出力データとして、評価装置１００に送信する。なお、推定アルゴリズムは、画像フレームの１つ１つに対して推定処理を行う必要はない。例えば偶数番目の画像フレームに対して推定処理が行われてもよい。
【0023】
なお、追跡エンジン２０は、画像フレームごとに、出力データ（推定結果）を送信してもよい。あるいは、追跡エンジン２０は、動画像全体について推定アルゴリズムがオブジェクトの推定及び追跡を行った後で、動画像全体に関する出力データ（推定結果）を送信してもよい。
【0024】
動画像格納装置４０は、例えばストレージ装置である。動画像格納装置４０は、推定アルゴリズムの品質を評価するのに使用される動画像を、予め格納している。動画像格納装置４０は、動画像と正解データとを、画像フレームごとに対応付けて格納する。言い換えると、動画像を構成する画像フレームには、正解データが対応付けられている。正解データは、対応する画像フレームで撮影されたオブジェクトの位置と、その位置におけるオブジェクトの種類とを示す。オブジェクトの種類は、例えば、歩行者、自転車、バイク、自動車、大型車等である。また、オブジェクトの位置は、画像フレーム上の位置（画素の位置）であってもよいし、画像フレームによって撮影された実環境（例えば交差点など）における位置情報であってもよい。位置情報は、例えばＧＮＳＳ（Global Navigation Satellite System；全球測位衛星システム）によって取得されてもよい。
【0025】
なお、追跡エンジン２０は、後述する評価装置１００によって実現されてもよい。つまり、評価装置１００が、推定アルゴリズムを動作させてもよい。同様に、動画像格納装置４０は、後述する評価装置１００によって実現されてもよい。つまり、評価装置１００が、正解データと対応付けられた動画像を格納してもよい。
【0026】
評価装置１００は、例えばコンピュータである。評価装置１００は、例えばサーバである。評価装置１００は、例えばクラウドコンピューティングによって実現されてもよい。評価装置１００（評価システム１）は、動画像を用いて推定アルゴリズムの品質を評価する。具体的には、評価装置１００は、動画像に対応する正解データと、推定アルゴリズムの推定結果を示す出力データとを用いて、各オブジェクトについて、正しい推定（正推定）又は複数の誤推定の種類（誤推定種類）のいずれかを判定する。正推定（正推定結果）は、オブジェクトに対して正しく推定がなされた推定結果である。一方、誤推定種類は、誤った推定結果の種類である。つまり、誤推定種類は、オブジェクトに対して誤った推定がなされた推定結果（誤推定）の種類である。本実施の形態では、複数の誤推定種類がある。誤推定種類の詳細については後述する。
【0027】
また、評価装置１００は、複数の誤推定種類それぞれについて、対応するオブジェクトの数だけ、当該誤推定種類に対応する誤推定係数を加算する。評価装置１００は、複数の誤推定種類ごとに得られた誤推定係数の加算値の合計値を算出する。そして、評価装置１００は、合計値に基づいて、推定アルゴリズムの評価値を算出する。なお、この評価値は、上記の合計値が大きいほどアルゴリズムの評価が低くなるような値であってもよい。評価値の詳細については後述する。
【0028】
図２及び図３は、本実施の形態にかかる誤推定種類を説明するための図である。図２は、誤推定種類の具体例を示す。図２に示すように、実施の形態において、推定結果は、正しい推定（正推定）と、誤推定種類とを含む。「正推定（ＴＰ：True Positive）」は、推定アルゴリズムの出力における推定結果が、正解データに存在するオブジェクトと対応している状態に対応する。また、誤推定種類は、「誤検出（誤追跡）」、「見逃し」、「新規誤検出」、及び「入れ替わり」を含む。
【0029】
「誤検出（ＦＰ：False Positive）」は、（第４の誤推定）推定アルゴリズムの出力における推定結果が、正解データに存在するどのオブジェクトにも対応していない状態に対応する。言い換えると、「誤検出」は、推定アルゴリズムが、実際にはオブジェクトが存在しない位置にオブジェクトを推定（検出）してしまった状態に対応する。さらに言い換えると、「誤検出」は、推定アルゴリズムが、実際には存在しないオブジェクトが存在すると推定してしまったことに関する誤推定種類である。さらに言い換えると、「誤検出」は、実際に存在するオブジェクトを別の位置に追跡してしまっていることに関する誤推定種類である。したがって、「誤検出」の誤推定が発生すると、推定アルゴリズムによる推定結果では、正解データに存在しない位置に、架空のオブジェクト又は実際には別の位置に存在するオブジェクトに関するＩＤ（Identifier：識別子）が付与されている。
【0030】
「見逃し（ＦＮ：False Negative）」（第１の誤推定）は、正解データに存在するオブジェクトが、推定アルゴリズムの出力における推定結果のいずれにも対応していない状態に対応する。つまり、「見逃し」は、正解データに存在するオブジェクトが、推定アルゴリズムの出力において推定されていない状態に対応する。言い換えると、「見逃し」は、推定アルゴリズムが、実際に存在するオブジェクトの位置にオブジェクトを推定（検出）できなかった状態に対応する。さらに言い換えると、「見逃し」は、正解データに含まれるオブジェクトを推定アルゴリズムが推定（検出）できなかったことに関する誤推定種類である。したがって、「見逃し」の誤推定が発生すると、推定アルゴリズムによる推定結果では、正解データに存在するオブジェクトに、ＩＤが付与されていない。
【0031】
「新規誤検出（ＩＤＳＷｎ：ID Switch New；新規ＩＤ付与）」（第３の誤推定）は、推定アルゴリズムが、正解データに存在する１つのオブジェクトを、前回の推定処理と今回の推定処理とで異なるオブジェクトとして推定してしまう状態に対応する。つまり、「新規誤検出」は、正解データに存在する１つのオブジェクトが、推定アルゴリズムの出力において、あるタイミングの推定結果と次のタイミングの推定結果とで、別のオブジェクトとして推定（検出）されてしまっている状態に対応する。言い換えると、「新規誤検出」は、推定アルゴリズムが、実際には１つのオブジェクトを、あるタイミングと次のタイミングとで別のオブジェクトであると推定（検出）してしまう状態に対応する。さらに言い換えると、「新規誤検出」は、推定アルゴリズムが、正解データに含まれる１つのオブジェクトを、あるタイミングと次のタイミングとで別のオブジェクトであると推定してしまうことに関する誤推定種類である。したがって、「新規誤検出」の誤推定が発生すると、推定アルゴリズムによる推定結果では、正解データに存在する１つのオブジェクトに、あるタイミングと次のタイミングとで、互いに異なるＩＤが付与されている。
【0032】
「入れ替わり（ＩＤＳＷｃ：ID Switch Change；ＩＤ入れ替わり）」（第２の誤推定）は、推定アルゴリズムが、正解データに含まれる複数のオブジェクトをあるタイミングと次のタイミングとで入れ替えて推定してしまうことに関する誤推定種類である。つまり、「入れ替わり」は、正解データに存在する複数のオブジェクトが、推定アルゴリズムの出力において、あるタイミングの推定結果と次のタイミングの推定結果とで、入れ替わって推定（検出）されてしまっている状態に対応する。したがって、「入れ替わり」の誤推定が発生すると、推定アルゴリズムによる推定結果では、正解データに存在する複数のオブジェクトそれぞれに対してあるタイミングで付与されたＩＤが、次のタイミングでは、複数のオブジェクトのうちの別のオブジェクトに付与されている。例えば、正解データにオブジェクトＡ及びオブジェクトＢが存在する場合、あるタイミングでオブジェクトＡの位置に付与されたＩＤが、次のタイミングではオブジェクトＢの位置に付与されている。同様に、あるタイミングでオブジェクトＢの位置に付与されたＩＤが、次のタイミングではオブジェクトＡの位置に付与されている。
【0033】
図３は、動画像における複数の誤推定種類及び正しい推定を例示する。図３は、道路の交差点の付近を撮影した動画像に含まれる複数のオブジェクト対して推定処理がなされた推定結果を例示する。図３において、オブジェクトＰ（Ｐ１～Ｐ４）は、正解データに含まれるオブジェクトを示す。一方、矩形Ｒ（Ｒ１１等）は、推定アルゴリズムが、オブジェクトが存在していると推定した位置を示す。また、図３の例では、画像フレームごとに推定がなされるとする。そして、ｔ（ｔ＝１～６）は、各画像フレームに対応し、対応する画像フレームにおける推定のタイミングを示す。
【0034】
図３に示した例では、オブジェクトＰ１について、ｔ＝１のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ１１で示すように、正しく推定を行っている。このとき、このオブジェクトＰ１に対応する矩形Ｒ１１には、「ＩＤ：＃０１」が付与されている。また、移動しているオブジェクトＰ１について、ｔ＝２～４のタイミング（画像フレーム）でも、推定アルゴリズムは、それぞれ矩形Ｒ１２～Ｒ１４で示すように、正しく推定を行っている。このとき、オブジェクトＰ１に対応する矩形Ｒ１２～Ｒ１４には、ｔ＝１で付与された「ＩＤ：＃０１」が、引き続き付与されている。
【0035】
一方、オブジェクトＰ１について、ｔ＝５のタイミング（画像フレーム）では、推定アルゴリズムは、推定を行うことができなかった。つまり、ｔ＝５では、オブジェクトＰ１について、「見逃し（ＦＮ）」の誤推定が発生している。同様に、ｔ＝６のタイミング（画像フレーム）でも、推定アルゴリズムは、推定を行うことができなかった。つまり、ｔ＝６でも、オブジェクトＰ１について、「見逃し（ＦＮ）」の誤推定が発生している。
【0036】
これに対し、ｔ＝５のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ１５で示すように、オブジェクトＰ１が存在しない位置にオブジェクトＰ１が存在すると推定している。つまり、ｔ＝５では、オブジェクトＰ１について、「誤検出（ＦＰ）」（誤追跡）の誤推定が発生している。同様に、ｔ＝６のタイミング（画像フレーム）でも、推定アルゴリズムは、矩形Ｒ１６で示すように、オブジェクトＰ１が存在しない位置にオブジェクトＰ１が存在すると推定している。つまり、ｔ＝６でも、オブジェクトＰ１について、「誤検出（ＦＰ）」の誤推定が発生している。このとき、矩形Ｒ１５～Ｒ１６には、ｔ＝１で付与された「ＩＤ：＃０１」が、引き続き付与されてしまっている。
【0037】
また、図３に示した例では、オブジェクトＰ２について、ｔ＝１のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ２１で示すように、正しく推定を行っている。このとき、このオブジェクトＰ２に対応する矩形Ｒ２１には、「ＩＤ：＃０２」が付与されている。また、移動しているオブジェクトＰ２について、ｔ＝２のタイミング（画像フレーム）でも、推定アルゴリズムは、それぞれ矩形Ｒ２２で示すように、正しく推定を行っている。このとき、オブジェクトＰ２に対応する矩形Ｒ２２には、ｔ＝１で付与された「ＩＤ：＃０２」が、引き続き付与されている。
【0038】
これに対し、ｔ＝３のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ２３で示すように、オブジェクトＰ２が存在しない位置にオブジェクトＰ２が存在すると推定している。つまり、ｔ＝３では、オブジェクトＰ２について、「誤検出（ＦＰ）」の誤推定が発生している。同様に、ｔ＝４のタイミング（画像フレーム）でも、推定アルゴリズムは、矩形Ｒ２４で示すように、オブジェクトＰ２が存在しない位置にオブジェクトＰ２が存在すると推定している。つまり、ｔ＝４でも、オブジェクトＰ２について、「誤検出（ＦＰ）」の誤推定が発生している。このとき、矩形Ｒ２３～Ｒ２４には、ｔ＝１で付与された「ＩＤ：＃０２」が、引き続き付与されてしまっている。
【0039】
一方、オブジェクトＰ２について、ｔ＝３のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ２’３で示すように、ｔ＝１～２で推定が行われたオブジェクトＰ２とは別のオブジェクトであると推定してしまっている。つまり、ｔ＝３では、オブジェクトＰ２について、「新規誤検出（ＩＤＳＷｎ）」の誤推定が発生している。このとき、矩形Ｒ２’３には、ｔ＝１で付与された、オブジェクトＰ２に対応する「ＩＤ：＃０２」とは異なる「ＩＤ：＃１２」が付与されてしまっている。また、ｔ＝４のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ２’４で示すように、ｔ＝３で推定が行われたオブジェクト（オブジェクトＰ２）と同じオブジェクトであると推定している。この場合、同じオブジェクトＰ２を前回の推定処理と今回の推定処理とで同じオブジェクトであると推定しているので、この推定結果は正しい推定（ＴＰ）である。このとき、矩形Ｒ２’４には、ｔ＝３で矩形Ｒ２’３に付与されたＩＤと同じ「ＩＤ：＃１２」が付与されている。
【0040】
また、図３に示した例では、オブジェクトＰ３とオブジェクトＰ４とが、互いに接近して移動している。オブジェクトＰ３について、ｔ＝１のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ３１で示すように、正しく推定を行っている。このとき、このオブジェクトＰ３に対応する矩形Ｒ３１には、「ＩＤ：＃０３」が付与されている。また、移動しているオブジェクトＰ３について、ｔ＝２のタイミング（画像フレーム）でも、推定アルゴリズムは、それぞれ矩形Ｒ３２で示すように、正しく推定を行っている。このとき、オブジェクトＰ３に対応する矩形Ｒ３２には、ｔ＝１で付与された「ＩＤ：＃０３」が、引き続き付与されている。
【0041】
また、オブジェクトＰ４について、ｔ＝１のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ４１で示すように、正しく推定を行っている。このとき、このオブジェクトＰ４に対応する矩形Ｒ４１には、「ＩＤ：＃０４」が付与されている。また、移動しているオブジェクトＰ４について、ｔ＝２のタイミング（画像フレーム）でも、推定アルゴリズムは、それぞれ矩形Ｒ４２で示すように、正しく推定を行っている。このとき、オブジェクトＰ４に対応する矩形Ｒ４２には、ｔ＝１で付与された「ＩＤ：＃０４」が、引き続き付与されている。
【0042】
これに対し、ｔ＝３のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ４３で示すように、オブジェクトＰ３の位置にオブジェクトＰ４が存在すると推定してしまっている。また、ｔ＝３のタイミング（画像フレーム）では、推定アルゴリズムは、矩形Ｒ３３で示すように、オブジェクトＰ４の位置にオブジェクトＰ３が存在すると推定してしまっている。つまり、ｔ＝３では、推定アルゴリズムは、オブジェクトＰ３をオブジェクトＰ４と誤って推定し、オブジェクトＰ４をオブジェクトＰ３と誤って推定してしまっている。したがって、ｔ＝３では、オブジェクトＰ３及びオブジェクトＰ４について、「入れ替わり（ＩＤＳＷｃ）」の誤推定が発生している。このとき、矩形Ｒ４３には、ｔ＝１～２ではオブジェクトＰ４に付与された「ＩＤ：＃０４」が付与されてしまっている。また、矩形Ｒ３３には、ｔ＝１～２ではオブジェクトＰ３に付与された「ＩＤ：＃０３」が付与されてしまっている。
【0043】
ここで、図２に示すように、「誤検出（ＦＰ）」に関する誤推定係数をαとする。「見逃し（ＦＮ）」に関する誤推定係数をβとする。「新規誤検出（ＩＤＳＷｎ）」に関する誤推定係数をγとする。「入れ替わり（ＩＤＳＷｃ）」に関する誤推定係数をδとする。ここで、誤推定係数は、推定アルゴリズムの評価に用いられる評価式において、複数の誤推定種類それぞれの重みとして機能する。そして、誤推定係数は、複数の誤推定種類ごとに異なるように設けられている。複数の誤推定種類のうち、誤推定係数が大きい誤推定が発生するほど、推定アルゴリズムの評価式の評価値が低くなり得る。
【0044】
ここで、推定アルゴリズムが自動運転車制御システム等の交通管制で用いられる場合、推定アルゴリズムは、歩行者等のオブジェクトの位置を推定し、歩行者等のオブジェクトを追跡する。そして、推定アルゴリズムの複数のタイミング（画像フレーム）における推定結果を用いて、歩行者等のオブジェクトの移動方向及び速度を推定することができる。具体的には、オブジェクトの速度は、そのオブジェクトの各画像フレームにおける位置の差分（距離）から算出された移動距離と、フレームレートとを用いて算出されてもよい。つまり、オブジェクトの速度は、そのオブジェクトの移動距離と、ある画像フレームが取得されてから次の画像フレームが取得されるまでの時間とを用いて算出されてもよい。さらに具体的には、動画像を撮影したカメラの画角等を用いて、各画像フレーム上の画素の位置と、画像が撮影された実環境上の位置とが対応付けられていてもよい。そして、例えばオブジェクトの下端（歩行者の足など）に対応する画素の位置から、そのオブジェクトの実環境における位置（実位置）を推定してもよい。そして、ある画像フレームに関するオブジェクトの実位置と次の画像フレームに関するオブジェクトの実位置との差分を、そのオブジェクトの移動距離として算出してもよい。そして、移動距離とフレームレートとによって、オブジェクトの速度を推定してもよい。また、オブジェクトの移動方向は、前回の画像フレームにおけるオブジェクトの実位置から今回の画像フレームにおけるオブジェクトの実位置までの方向を算出することによって、算出されてもよい。
【0045】
また、歩行者等のオブジェクトの移動方向及び速度を推定することにより、そのオブジェクトが特定の位置（例えば交差点又は車道等）に到達する可能性、及び到達する場合の到達時刻を予測することができる。したがって、推定アルゴリズムの推定結果を用いて、走行している車両がオブジェクトと衝突することを回避するように制御を行うことができる。
【0046】
このように推定アルゴリズムが交通管制という環境で用いられる場合、上述した誤推定種類それぞれが発生した場合のリスクは、互いに異なり得る。そして、本実施の形態では、誤推定種類それぞれのリスクが高いほど、対応する誤推定係数の値が高く設定される。言い換えると、誤推定係数は、対応する誤推定種類による影響（インパクト）の度合い（深刻度）が大きいほど、高く設定されている。つまり、誤推定係数は、対応する誤推定種類による影響の度合い（深刻度）に応じて設定されている。
【0047】
「誤検出」が発生した場合、実際には存在しないオブジェクトを存在するとして衝突回避等の制御が行われ得る。この場合、過剰な（余計な）制御となるが、交通管制上は安全側への制御となる。したがって、「誤検出」が発生した場合のリスクは小さい。言い換えると、「誤検出」が発生した場合の影響の度合いは小さい。したがって、「誤検出」に対応する誤推定係数αは、比較的低く設定され得る。
【0048】
「見逃し」が発生した場合、実際にはオブジェクトが存在する位置にオブジェクトが存在しないと推定されてしまうので、そのオブジェクトに対する衝突回避の制御が行われない可能性がある。この場合、交通管制上は、衝突回避という必要な制御が行われない可能性があることとなる。したがって、「見逃し」が発生した場合のリスクは大きい。言い換えると、「見逃し」が発生した場合の影響の度合いは大きい。したがって、「見逃し」に対応する誤推定係数βは、比較的高く設定され得る。
【0049】
「入れ替わり」が発生した場合、実際にオブジェクトが存在する位置に何らかのオブジェクトが存在すると推定しているので、「見逃し」の場合よりも影響の度合い（リスク）は小さい。しかしながら、途中でＩＤが入れ替わってしまうと、以下に説明するように、複数のオブジェクトそれぞれの移動方向及び速度を精度よく推定できない可能性がある。
【0050】
例えば、図３の例において、オブジェクトＰ３のｔ＝１～３の実際の移動軌跡から、オブジェクトＰ３は、実際には、矢印Ａ３で示される方向に移動すると予測されるべきであり得る。しかしながら、推定アルゴリズムの推定結果を用いると、「ＩＤ：＃０３」が付された矩形Ｒ３１、Ｒ３２、Ｒ３３の移動軌跡から、この「ＩＤ：＃０３」に対応するオブジェクトが、破線矢印Ａ３’で示される方向に移動すると予測されるおそれがある。同様に、オブジェクトＰ４のｔ＝１～３の実際の移動軌跡から、オブジェクトＰ４は、実際には、矢印Ａ４で示される方向に移動すると予測されるべきであり得る。しかしながら、推定アルゴリズムの推定結果を用いると、「ＩＤ：＃０４」が付された矩形Ｒ４１、Ｒ４２、Ｒ４３の移動軌跡から、この「ＩＤ：＃０４」に対応するオブジェクトが、破線矢印Ａ４’で示される方向に移動すると予測されるおそれがある。
【0051】
同様に、以下に説明するように、オブジェクトＰ３及びオブジェクトＰ４の移動速度も、精度よく予測できないおそれがある。特に、オブジェクトＰ３の実際の移動速度（時速）とオブジェクトＰ４の実際の移動速度（時速）との差が大きい場合に、両者の移動速度を精度よく予測できない可能性がある。
【0052】
具体的には、図３の例において、オブジェクトＰ３及びオブジェクトＰ４が共に概ね一定の速度で移動しているが、オブジェクトＰ３の方がオブジェクトＰ４よりも速く移動しているとする。この場合、実際には、ｔ＝３におけるオブジェクトＰ３の位置とｔ＝２におけるオブジェクトＰ３の位置との差分（移動距離）は、ｔ＝２におけるオブジェクトＰ３の位置とｔ＝１におけるオブジェクトＰ３の位置との差分（移動距離）と概ね同じである。一方、矩形Ｒ３３の位置と矩形Ｒ３２の位置との差分は、矩形Ｒ３２の位置と矩形Ｒ３１の位置との差分よりも小さくなり得る。したがって、「ＩＤ：＃０３」に対応するオブジェクト（オブジェクトＰ３）の速度が、急に遅くなったと推定されてしまうおそれがある。したがって、以降の「ＩＤ：＃０３」に対応するオブジェクトの速度も、実際のオブジェクトＰ３の速度よりも遅く予測されてしまうおそれがある。
【0053】
同様に、ｔ＝３におけるオブジェクトＰ４の位置とｔ＝２におけるオブジェクトＰ４の位置との差分は、ｔ＝２におけるオブジェクトＰ４の位置とｔ＝１におけるオブジェクトＰ４の位置との差分と概ね同じである。一方、矩形Ｒ４３の位置と矩形Ｒ４２の位置との差分は、矩形Ｒ４２の位置と矩形Ｒ４１の位置との差分よりも大きくなり得る。したがって、「ＩＤ：＃０４」に対応するオブジェクト（オブジェクトＰ４）の速度が、急に速くなったと推定されてしまうおそれがある。したがって、以降の「ＩＤ：＃０４」に対応するオブジェクトの速度も、実際のオブジェクトＰ４の速度よりも速く予測されてしまうおそれがある。
【0054】
上述したように、交通管制において、オブジェクトの移動方向及び移動速度の推定により、オブジェクトが交差点等の特定の位置に何秒後に到達するかを予測できる。これにより、衝突回避の制御を行うことができる。しかしながら、オブジェクトの移動方向及び移動速度が精度よく推定できないと、上述した到達時刻を精度よく予測できないおそれがある。したがって、衝突回避の制御を適切に行うことができないおそれがある。したがって、「入れ替わり」が発生した場合の影響の度合い（リスク）は、やや大きい。
【0055】
「新規誤検出」が発生した場合、実際にオブジェクトが存在する位置に何らかのオブジェクトが存在すると推定しているので、「見逃し」の場合よりも影響の度合い（リスク）は小さい。しかしながら、あるオブジェクトを正しく追跡できていないため、「入れ替わり」の場合と同様に、オブジェクトの移動方向及び移動速度を精度よく行うことができないおそれがある。一方、新たにＩＤが付与された後は、正しく推定が行われる可能性があるので、「新規誤検出」の影響の度合い（リスク）は、「入れ替わり」の影響の度合い（リスク）よりも小さい。
【0056】
例えば、図３の例において、オブジェクトＰ２について、ｔ＝２とｔ＝３とで、異なるＩＤが付与されている。したがって、ｔ＝３におけるオブジェクトＰ２（矩形Ｒ２’３）の位置とｔ＝２におけるオブジェクトＰ２（矩形Ｒ２２）の位置との差分から、オブジェクトＰ２の移動方向及び移動速度を推定することはできない。一方、オブジェクトＰ２について、ｔ＝３とｔ＝４とでは、同じＩＤ（ＩＤ：＃１２）が付与されている。したがって、ｔ＝４におけるオブジェクトＰ２（矩形Ｒ２’４）の位置とｔ＝３におけるオブジェクトＰ２（矩形Ｒ２’３）の位置との差分から、オブジェクトＰ２の移動方向及び移動速度を適切に推定することは可能である。また、オブジェクトＰ２の移動方向及び移動速度が概ね一定であるとする。この場合、ｔ＝１～２における移動軌跡から推定されるオブジェクトＰ２（ＩＤ：＃０２）の移動方向及び移動速度は、それぞれ、ｔ＝３～４における移動軌跡から推定されるオブジェクトＰ２（ＩＤ：＃１２）の移動方向及び移動速度と、概ね同じとなり得る。したがって、「新規誤検出」が発生したときの影響の度合いは、「入れ替わり」の影響の度合いよりも小さい。したがって、「新規誤検出」が発生した場合の影響の度合い（リスク）は、やや小さい。
【0057】
以上より、誤推定係数α、β、γ、δは、以下の式（１）のように設定される。なお、実施の形態１では、誤推定係数は、一定（初期値から不変）であるとする。
・・・（１）
【数1】
【0058】
すなわち、「見逃し（ＦＮ）」の影響の度合いは最も大きいので、「見逃し（ＦＮ）」（第１の誤推定）に対応する誤推定係数βは、他の誤推定種類に対応する誤推定係数（α、γ、δ）よりも高く設定される。また、「入れ替わり（ＩＤＳＷｃ）」の影響の度合いは「新規誤検出（ＩＤＳＷｎ）」よりも大きい。したがって、「入れ替わり（ＩＤＳＷｃ）」（第２の誤推定）に対応する誤推定係数δは、「新規誤検出（ＩＤＳＷｎ）」に対応する誤推定係数γよりも高く設定される。また、γ＋δ＝１である。
【0059】
また、実施の形態１において、タイミングｔで取得された画像フレームにおける推定アルゴリズムの評価に用いられる評価式は、以下の式（２）のように表される。
・・・（２）
【数2】
【0060】
式（２）において、ＧＴ（ｔ）は、タイミングｔの画像フレームに対応する正解データに含まれる実際のオブジェクトの数を示す。また、ＦＰ（ｔ）は、タイミングｔにおける画像フレームについて、「誤検出（ＦＰ）」であると誤推定されたオブジェクト（矩形）の数を示す。また、ＦＮ（ｔ）は、タイミングｔにおける画像フレームについて、「見逃し（ＦＮ）」であると誤推定されたオブジェクトの数を示す。また、ＩＤＳＷｎ（ｔ）は、タイミングｔにおける画像フレームについて、「新規誤検出（ＩＤＳＷｎ）」であると誤推定されたオブジェクト（矩形）の数を示す。また、ＩＤＳＷｃ（ｔ）は、タイミングｔにおける画像フレームについて、「入れ替わり（ＩＤＳＷｃ）」であると誤推定されたオブジェクト（矩形）の数を示す。
【0061】
式（２）の右辺第２項における分数の分子は、複数の誤推定種類それぞれについて対応するオブジェクトの数と誤推定係数とを乗算した値（α×ＦＰ（ｔ）、β×ＦＮ（ｔ）、γ×ＩＤＳＷｎ（ｔ）及びδ×ＩＤＳＷｃ（ｔ））の合計値に対応する。ここで、複数の誤推定種類それぞれについて対応するオブジェクトの数と誤推定係数とを乗算した値は、複数の誤推定種類それぞれに対応するオブジェクトの数だけ対応する誤推定係数を加算した値であると言える。例えば、「β×ＦＮ（ｔ）」は、誤推定係数βを、「見逃し（ＦＮ）」に対応するオブジェクトの数ＦＮ（ｔ）だけ加算した値（Σβ）に対応する。したがって、この合計値は、複数の誤推定種類それぞれに対応するオブジェクトの数だけ対応する誤推定係数を加算し、複数の誤推定種類ごとに得られた誤推定係数の加算値の合計値である。そして、式（２）に示すように、この合計値が大きいほど、評価値Ｆ（ｔ）が小さくなる。つまり、この合計値が大きいほど、推定アルゴリズムの評価が低くなる。
【0062】
ここで、非特許文献１では、式（２）における全ての誤推定係数を１として、推定アルゴリズムの評価値を算出していた。したがって、非特許文献１では、複数の誤推定種類それぞれのリスク、つまり誤推定の影響の度合い（深刻度）を考慮しないで、評価値を算出していた。したがって、非特許文献１の技術を適用しても、推定アルゴリズムの評価が高いからといって、リスク（影響の度合い）の大きな誤推定を行わないとは限らない。したがって、推定アルゴリズムの品質を適切に評価することができないおそれがある。つまり、例えば、ある推定アルゴリズムでは「見逃し（ＦＮ）」に対応するオブジェクトの数が多く、別の推定アルゴリズムでは「誤検出（ＦＰ）」に対応するオブジェクトの数が多い場合に、両者の推定アルゴリズムの品質が同程度と評価されるおそれがある。
【0063】
これに対し、実施の形態１では、誤推定係数は、複数の誤推定種類ごとに異なるように設けられている。具体的には、誤推定係数は、対応する誤推定種類の影響の度合いが大きいほど高くなるように設定されている。したがって、影響の度合いの大きな誤推定が多く行われるほど、評価値が小さくなり得る。言い換えると、影響の度合いの高い誤推定が多く行われるほど、推定アルゴリズムの評価が低くなり得る。ここで、影響の度合いが大きな誤推定を多く行ってしまう推定アルゴリズムの品質は低いと言える。したがって、実施の形態１では、推定アルゴリズムの品質を適切に評価することが可能となる。なお、「誤推定係数が高い」とは、単に誤推定係数の数値が大きいことに限られない。誤推定係数の数値自体は、影響の度合いが大きいほど小さくなってもよい。この場合は、「誤推定係数が高い」とは、誤推定係数の数値が小さいことに対応する。また、この場合、「複数の誤推定種類それぞれに対応するオブジェクトの数だけ対応する誤推定係数を加算し、複数の誤推定種類ごとに得られた誤推定係数の加算値の合計値」が小さいほど、推定アルゴリズムの評価が低くなり得る。
【0064】
また、実施の形態１では、複数の前記誤推定種類のうちの「見逃し（ＦＮ）」（第１の誤推定）に対応する誤推定係数βは、他の誤推定種類に対応する誤推定係数よりも高く設定される。上述したように、「見逃し（ＦＮ）」の影響の度合いは、複数の前記誤推定種類のうちで最も大きい。したがって、誤推定係数βを他の誤推定種類に対応する誤推定係数よりも高く設定することによって、推定アルゴリズムの品質をさらに適切に評価することが可能となる。つまり、影響の度合いの大きな「見逃し（ＦＮ）」を多く行ってしまう推定アルゴリズムの評価を低くすることができる。
【0065】
また、実施の形態１では、「入れ替わり（ＩＤＳＷｃ）」（第２の誤推定）に対応する誤推定係数δは、「新規誤検出（ＩＤＳＷｎ）」（第３の誤推定）に対応する誤推定係数γよりも高く設定される。上述したように、「入れ替わり（ＩＤＳＷｃ）」の影響の度合いは、「新規誤検出（ＩＤＳＷｎ）」の影響の度合いよりも大きい。したがって、誤推定係数δを誤推定係数γよりも高く設定することによって、推定アルゴリズムの品質をさらに適切に評価することが可能となる。つまり、「新規誤検出（ＩＤＳＷｎ）」よりも影響の度合いの大きな「入れ替わり（ＩＤＳＷｃ）」を多く行ってしまう推定アルゴリズムの評価を低くすることができる。
【0066】
図４は、実施の形態１にかかる評価装置１００の構成を示す図である。図４に示すように、評価装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８（ＩＦ；Interface）とを有する。制御部１０２、記憶部１０４、通信部１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。なお、追跡エンジン２０及び動画像格納装置４０も、図４に示した評価装置１００のハードウェア構成を有し得る。
【0067】
制御部１０２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。なお、制御部１０２は、複数のプロセッサを有してもよい。記憶部１０４は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１０４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１０４は、制御部１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。つまり、記憶部１０４（メモリ）は、１つ以上の命令を格納する。また、記憶部１０４は、処理データ等を一時的に記憶するための機能を有する。記憶部１０４は、データベースを含み得る。また、記憶部１０４は、複数のメモリを有してもよい。
【0068】
通信部１０６は、追跡エンジン２０又は動画像格納装置４０等の他の装置とネットワークを介して通信を行うために必要な処理を行う。通信部１０６は、通信ポート、ルータ、ファイアウォール等を含み得る。インタフェース部１０８（ＩＦ；Interface）は、例えばユーザインタフェース（ＵＩ）である。インタフェース部１０８は、キーボード、タッチパネル又はマウス等の入力装置と、ディスプレイ又はスピーカ等の出力装置とを有する。インタフェース部１０８は、例えばタッチスクリーン（タッチパネル）のように、入力装置と出力装置とが一体となるように構成されていてもよい。インタフェース部１０８は、ユーザ（オペレータ）によるデータの入力の操作を受け付け、ユーザに対して情報を出力する。
【0069】
実施の形態１にかかる評価装置１００は、構成要素として、正解データ取得部１１２と、出力データ取得部１１４と、推定結果判定部１２０と、パラメータ格納部１３０と、評価値算出部１６０と、評価値出力部１６２とを有する。上述した各構成要素は、例えば、制御部１０２の制御によって、プログラムを実行させることによって実現できる。より具体的には、各構成要素は、記憶部１０４に格納されたプログラム（命令）を、制御部１０２が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。これらのことは、後述する実施の形態２においても同様である。
【0070】
正解データ取得部１１２は、動画像格納装置４０から、推定アルゴリズムが推定処理及び追跡処理を行った動画像に対応する正解データを取得する。正解データ取得部１１２は、動画像を構成する画像フレームごとに、正解データを取得してもよい。出力データ取得部１１４は、追跡エンジン２０から、推定アルゴリズムの推定処理及び追跡処理による出力データを取得する。出力データ取得部１１４は、動画像を構成する画像フレームごとに、出力データを取得してもよい。
【0071】
推定結果判定部１２０は、取得された正解データ及び出力データを用いて、画像フレームごとに、推定結果を判定する。具体的には、推定結果判定部１２０は、正解データと出力データとを照合して、各オブジェクトについて、正しい推定結果又は複数の誤推定種類のいずれかを判定する。さらに具体的には、推定結果判定部１２０は、各オブジェクト（矩形）についての推定結果が、上述した「正推定（ＴＰ）」、「誤検出（ＦＰ）」、「見逃し（ＦＮ）」、「新規誤検出（ＩＤＳＷｎ）」及び「入れ替わり（ＩＤＳＷｃ）」のいずれであるかを判定する。さらに具体的には、推定結果判定部１２０は、正解データに含まれるオブジェクトの種類及び位置が、出力データにおいて正しく推定されているかを判定することで、推定結果を判定する。また、推定結果判定部１２０は、正解データに含まれる同じオブジェクトに対して、一連の画像フレームにおいて同じＩＤが付与されているかを判定することで、推定結果を判定する。
【0072】
図３の例では、ｔ＝１の画像フレームについては、矩形Ｒ１１の位置がオブジェクトＰ１の位置と対応しているので、正解データに含まれるオブジェクトＰ１の位置が正しく推定されている。したがって、推定結果判定部１２０は、オブジェクトＰ１の推定結果が「正推定（ＴＰ）」であると判定する。同様に、推定結果判定部１２０は、他のオブジェクトＰ２～Ｐ４の推定結果についても「正推定（ＴＰ）」であると判定する。
【0073】
また、ｔ＝２の画像フレームについては、矩形Ｒ１２の位置がオブジェクトＰ１の位置と対応しているので、正解データに含まれるオブジェクトＰ１の位置が正しく推定されている。さらに、矩形Ｒ１２に付与されたＩＤ（＃０１）は、ｔ＝１において矩形Ｒ１１に付与されたＩＤと同じである。したがって、推定結果判定部１２０は、オブジェクトＰ１の推定結果が「正推定（ＴＰ）」であると判定する。同様に、推定結果判定部１２０は、他のオブジェクトＰ２～Ｐ４の推定結果についても「正推定（ＴＰ）」であると判定する。また、ｔ＝３～４の画像フレームについても、推定結果判定部１２０は、上記と同様に、オブジェクトＰ１の推定結果が「正推定（ＴＰ）」であると判定する。
【0074】
また、ｔ＝３の画像フレームについて、矩形Ｒ２’３の位置がオブジェクトＰ２の位置と対応している。しかしながら、矩形Ｒ２’３に付与されたＩＤ（＃１２）は、ｔ＝２においてオブジェクトＰ２に対応する矩形Ｒ２２に付与されたＩＤ（＃０２）と異なる。したがって、推定結果判定部１２０は、オブジェクトＰ２に対応する矩形Ｒ２’３の推定結果が「新規誤検出（ＩＤＳＷｎ）」であると判定する。一方、ｔ＝４の画像フレームについては、矩形Ｒ２’４の位置がオブジェクトＰ２の位置と対応し、矩形Ｒ２’４に付与されたＩＤ（＃１２）は、ｔ＝３においてオブジェクトＰ２に対応する矩形Ｒ２’３に付与されたＩＤ（＃１２）と同じである。したがって、推定結果判定部１２０は、オブジェクトＰ２（矩形Ｒ２’４）の推定結果が「正推定（ＴＰ）」であると判定する。
【0075】
さらに、ｔ＝３の画像フレームについて、矩形Ｒ２３の位置にオブジェクトＰ２が存在していると推定されているが、矩形Ｒ２３の位置にはオブジェクトは存在していない。したがって、推定結果判定部１２０は、オブジェクトＰ２の付近の矩形Ｒ２３の推定結果が「誤検出（ＦＰ）」であると判定する。ｔ＝４の画像フレームについても同様である。
【0076】
また、ｔ＝３の画像フレームについて、矩形Ｒ３３の位置がオブジェクトＰ４の位置と対応している。ここで、矩形Ｒ３３に付与されたＩＤ（＃０３）は、ｔ＝２においてオブジェクトＰ４に対応する矩形Ｒ４２に付与されたＩＤ（＃０４）と異なり、ｔ＝２においてオブジェクトＰ３に対応する矩形Ｒ３２に付与されたＩＤ（＃０３）と同じである。したがって、推定結果判定部１２０は、オブジェクトＰ４の推定結果が「入れ替わり（ＩＤＳＷｃ）」であると判定する。
【0077】
同様に、ｔ＝３の画像フレームについて、矩形Ｒ４３の位置がオブジェクトＰ３の位置と対応している。ここで、矩形Ｒ４３に付与されたＩＤ（＃０４）は、ｔ＝２においてオブジェクトＰ３に対応する矩形Ｒ３２に付与されたＩＤ（＃０３）と異なり、ｔ＝２においてオブジェクトＰ４に対応する矩形Ｒ４２に付与されたＩＤ（＃０４）と同じである。したがって、推定結果判定部１２０は、オブジェクトＰ３の推定結果が「入れ替わり（ＩＤＳＷｃ）」であると判定する。
【0078】
また、ｔ＝５の画像フレームについて、矩形Ｒ１５の位置にオブジェクトＰ１が存在していると推定されているが、矩形Ｒ１５の位置にはオブジェクトは存在していない。したがって、推定結果判定部１２０は、オブジェクトＰ１の付近の矩形Ｒ１５の推定結果が「誤検出（ＦＰ）」であると判定する。ｔ＝６の画像フレームについても同様である。
【0079】
また、ｔ＝５の画像フレームについて、オブジェクトＰ１に対応する位置には矩形が存在しない。したがって、推定結果判定部１２０は、オブジェクトＰ１の推定結果が「見逃し（ＦＮ）」であると判定する。ｔ＝６の画像フレームについても同様である。
【0080】
さらに、推定結果判定部１２０は、画像フレームごとに、正推定及び各誤推定種類に対応するオブジェクト（矩形）の数をカウントする。具体的には、推定結果判定部１２０は、画像フレームごとに、「正推定（ＴＰ）」と判定されたオブジェクトの数をカウントする。同様に、推定結果判定部１２０は、画像フレームごとに、「見逃し（ＦＮ）」と判定されたオブジェクトの数をカウントする。同様に、推定結果判定部１２０は、画像フレームごとに、「入れ替わり（ＩＤＳＷｃ）」と判定されたオブジェクトの数をカウントする。また、推定結果判定部１２０は、画像フレームごとに、「誤検出（ＦＰ）」と判定された矩形の数をカウントする。同様に、推定結果判定部１２０は、画像フレームごとに、「新規誤検出（ＩＤＳＷｎ）」と判定された矩形の数をカウントする。
【0081】
図３の例では、ｔ＝３の画像フレームにおいて、推定結果判定部１２０は、「正推定（ＴＰ）」の数を１とカウントする。同様に、ｔ＝３の画像フレームにおいて、推定結果判定部１２０は、「誤検出（ＦＰ）」の数を１とカウントし、「新規誤検出（ＩＤＳＷｎ）」の数を１とカウントし、「入れ替わり（ＩＤＳＷｃ）」の数を２とカウントする。また、ｔ＝５の画像フレームにおいて、推定結果判定部１２０は、「誤検出（ＦＰ）」の数を１とカウントし、「見逃し（ＦＮ）」の数を１とカウントする。
【0082】
パラメータ格納部１３０は、評価値の算出の際に使用されるパラメータを格納する。実施の形態１においては、パラメータ格納部１３０は、上述した誤推定係数α、β、γ、δを格納する。また、パラメータ格納部１３０は、後述する処理により画像フレームごとに算出された評価値Ｆ（ｔ）を、一時的に格納してもよい。
【0083】
評価値算出部１６０は、推定アルゴリズムの評価値を算出する。具体的には、評価値算出部１６０は、式（２）に示した評価式を用いて、評価値を算出する。評価値算出部１６０は、画像フレーム（タイミングｔ）ごとに、評価値を算出する。そして、全ての画像フレームについて評価値が算出された場合に、評価値算出部１６０は、以下の式（３）のように、全ての画像フレームについて算出された評価値を合計して、推定アルゴリズムの動画像全体に対する評価値である全体評価値Ｆを算出する。例えば、フレームレートが１０ｆｐｓの５分間の動画像に対して推定アルゴリズムが推定処理（追跡処理）を行った場合、評価値算出部１６０は、１０×６０×５＝３０００枚の画像フレームで得られた評価値を合計して、全体評価値Ｆを算出する。
・・・（３）
【数3】
【0084】
評価値出力部１６２は、評価値算出部１６０によって算出された評価値を出力する。評価値出力部１６２は、例えば、インタフェース部１０８のディスプレイに評価値を表示させてもよい。また、評価値出力部１６２は、例えば、通信部１０６を制御して、他の装置（ユーザ端末等）のディスプレイに、評価値を表示させてもよい。評価値出力部１６２は、音声等によって評価値を出力してもよい。評価値出力部１６２は、全体評価値Ｆを出力してもよいし、画像フレームごとの評価値Ｆ（ｔ）を出力してもよい。
【0085】
図５は、実施の形態１にかかる評価システム１によって実行される評価方法を示すフローチャートである。図５に示す処理は、主に、評価装置１００によって実行され得る。まず、追跡エンジン２０によって、推定アルゴリズムによる推定処理が行われる（ステップＳ１００）。なお、この推定処理（Ｓ１００）が全ての画像フレームについて実行された後、Ｓ１０１以降の処理が実行されてもよい。
【0086】
評価装置１００は、ｔ＝１として（ステップＳ１０１）、ｔ番目の画像フレーム（タイミングｔの画像フレーム）を処理対象とする（ステップＳ１０２）。つまり、評価装置１００は、まず、１番目の画像フレームを処理対象とする。そして、評価装置１００は、１番目の画像フレームについて後述するＳ１０４～Ｓ１５０の処理を行い、未処理の画像フレームがある場合に（Ｓ１６０のＹＥＳ）、ｔを１つインクリメントして（ステップＳ１６２）、２番目の画像フレームを処理対象とする（Ｓ１０２）。評価装置１００は、以後、同様にして、ｔ番目の画像フレームについて、Ｓ１０４～Ｓ１５０の処理を行う。
【0087】
正解データ取得部１１２は、ｔ番目の画像フレームについて、正解データを取得する（ステップＳ１０４）。出力データ取得部１１４は、ｔ番目の画像フレームについて実行された推定処理に関する出力データを取得する（ステップＳ１０６）。推定結果判定部１２０は、上述したようにして、ｔ番目の画像フレームに関する推定結果を判定する（ステップＳ１１０）。具体的には、推定結果判定部１２０は、ｔ番目の画像フレームについて、オブジェクト及び矩形に対して、「正推定（ＴＰ）」、「誤検出（ＦＰ）」、「見逃し（ＦＮ）」、「新規誤検出（ＩＤＳＷｎ）」又は「入れ替わり（ＩＤＳＷｃ）」を判定する。推定結果判定部１２０は、上述したように、誤推定種類ごとに、オブジェクト数をカウントする（ステップＳ１１２）。評価値算出部１６０は、ｔ番目の画像フレームについて、式（２）に示した評価式を用いて、推定アルゴリズムの評価値を算出する（ステップＳ１５０）。
【0088】
そして、評価装置１００は、未処理の画像フレームがあるか否かを判定する（ステップＳ１６０）。未処理の画像フレームがある場合（Ｓ１６０のＹＥＳ）、評価装置１００は、ｔを１つインクリメントする（ステップＳ１６２）。そして、処理フローはＳ１０２に戻り、評価装置１００は、次の画像フレームを処理対象とする（Ｓ１０２）。そして、Ｓ１０４～Ｓ１５０の処理が繰り返される。
【0089】
一方、未処理の画像フレームがない場合（Ｓ１６０のＮＯ）、評価値算出部１６０は、式（３）に示すように、全ての画像フレームについて得られた評価値を合計する（ステップＳ１６４）。そして、評価値出力部１６２は、動画像全体の評価値を出力する（ステップＳ１６６）。
【0090】
（実施の形態２）
次に、実施の形態２について説明する。なお、実施の形態２にかかる評価システム１の構成については、図１に示した実施の形態１にかかる評価システム１の構成と実質的に同様であるので、説明を省略する。実施の形態２にかかる評価装置１００は、誤推定係数が、オブジェクトごとに異なり、画像フレームごとに変化し得る点で、実施の形態１にかかる評価装置１００と異なる。
次に、実施の形態２について説明する。なお、実施の形態２にかかる評価システム１の構成については、図１に示した実施の形態１にかかる評価システム１の構成と実質的に同様であるので、説明を省略する。実施の形態２にかかる評価装置１００は、誤推定係数が、オブジェクトごとに異なり、画像フレームごとに変化し得る点で、実施の形態１にかかる評価装置１００と異なる。
【0091】
図６は、実施の形態２にかかる評価装置１００の構成を示す図である。実施の形態１と同様に、実施の形態２にかかる評価装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８とを有する。また、実施の形態２にかかる評価装置１００は、構成要素として、正解データ取得部１１２と、出力データ取得部１１４と、推定結果判定部１２０と、パラメータ格納部１３０と、係数算出部２４０と、評価値算出部２６０と、評価値出力部１６２とを有する。係数算出部２４０は、連続誤推定演算部２４２と、オブジェクト群演算部２４４と、速度演算部２４６とを有する。
【0092】
なお、正解データ取得部１１２、出力データ取得部１１４、推定結果判定部１２０、パラメータ格納部１３０及び評価値出力部１６２の機能については、実施の形態１にかかるものと実質的に同様であるので、説明を省略する。なお、パラメータ格納部１３０は、後述する式（４）のａ及び式（６）のｃなどの、誤推定係数の算出に使用される定数を格納してもよい。また、パラメータ格納部１３０は、後述する処理により画像フレームごとにオブジェクト（矩形）ごとに算出された誤推定係数を、一時的に格納してもよい。
【0093】
係数算出部２４０は、変数である誤推定係数を、画像フレームごとに算出する。つまり、係数算出部２４０は、誤推定係数を推定のタイミングごとに算出する。さらに、係数算出部２４０は、画像フレームにおいて、複数の誤推定種類のうちのいずれかと判定されたオブジェクト（矩形）ごとに、誤推定係数を算出する。なお、あるオブジェクトに対する連続誤推定演算部２４２、オブジェクト群演算部２４４及び速度演算部２４６の処理は、互いに並行して実行されてもよいし、順次実行されてもよい。互いに並行して実行される場合、係数算出部２４０は、これらの処理で算出された値の合計値又は平均値を、そのオブジェクトに関する誤推定係数としてもよい。順次実行される場合については、後述する図８を用いて説明する。
【0094】
各誤推定種類に対応するオブジェクトの状態は、同じ誤推定種類であっても、オブジェクトごとに異なり得る。そして、同じ誤推定種類であっても、オブジェクトの状態に応じて、誤推定の影響の度合いも異なり得る。さらに、各誤推定種類に対応するオブジェクトの状態は、画像フレームごとに変化する。そして、オブジェクトの状態の変化に応じて、誤推定の影響の度合いも変化する。また、各誤推定種類の誤推定の影響の度合いは、前の画像フレームにおける誤推定の発生に応じて変化し得る。このように、各誤推定種類の誤推定の影響の度合いは、動画像を通じて一定とは限らない。したがって、実施の形態２にかかる係数算出部２４０は、画像フレームごとに誤推定係数を算出する。これにより、状況の変化に応じて誤推定係数を変化させることができる。したがって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0095】
連続誤推定演算部２４２は、対応するオブジェクトについて誤推定種類の同じ誤推定が連続してなされた場合に、当該オブジェクトに関する当該誤推定種類に対応する誤推定係数を高くするように、誤推定係数を算出する。具体的には、連続誤推定演算部２４２は、対応するオブジェクトについて誤推定種類の同じ誤推定が連続してなされた回数が多いほど、当該オブジェクトに関する当該誤推定種類に対応する誤推定係数を高くするように、誤推定係数を算出する。
【0096】
さらに具体的には、連続誤推定演算部２４２は、例えばあるオブジェクトに対して「見逃し（ＦＮ）」の誤推定がなされた場合に、以下の式（４）を用いて、誤推定係数を算出する。なお、連続誤推定演算部２４２は、他の誤推定種類に対応する誤推定係数についても、式（４）と同様にして算出してもよい。
・・・（４）
【数4】
【0097】
ここで、ｉは、画像フレームにおける、「見逃し（ＦＮ）」がなされたオブジェクトのインデックスである。また、ｏｂｊｉ（ｔ－１）は、タイミング（ｔ－１）の画像フレームにおいて、オブジェクトｉに対して判定された誤推定種類を示す。また、ａは、重加算定数であり、０より大きな定数である。なお、ａは、式４が適用される誤推定種類に応じて異なってもよい。例えば、βを算出する場合のａの値を、αを算出する場合のａの値よりも大きくしてもよい。また、β０は、誤推定係数βの初期値である。また、βｉ（ｔ）は、タイミングｔの画像フレームにおける、オブジェクトｉに対応する誤推定係数βの値である。
【0098】
式（４）に示すように、オブジェクトｉに対して、前回のタイミング（ｔ－１）において「見逃し（ＦＮ）」と判定され、今回のタイミングｔでも「見逃し（ＦＮ）」と判定された場合、前回のβの値に（１＋ａ）が乗算された値が、今回のβの値となる。ここで、（１＋ａ）は、１より大きい。したがって、誤推定係数βは、前回よりも高くなっている。さらに、オブジェクトｉに対して連続して「見逃し（ＦＮ）」と判定されるごとに、誤推定係数βに（１＋ａ）が乗算されることとなる。したがって、連続して「見逃し（ＦＮ）」と判定された回数が多いほど、誤推定係数βは高くなっていく。なお、式（４）は、連続誤推定演算部２４２の演算を示す一例である。連続誤推定演算部２４２は、あるオブジェクトに対して同じ誤推定が連続してなされた場合に誤推定係数が高くなるような他の式を用いて、誤推定係数を算出してもよい。
【0099】
図３の例では、ｔ＝５のタイミングでオブジェクトＰ１に対して「見逃し（ＦＮ）」と判定され、次のｔ＝６のタイミングでも、オブジェクトＰ１に対して「見逃し（ＦＮ）」と判定されている。したがって、オブジェクトＰ１に対応する誤推定係数は、ｔ＝５ではβｉ（５）＝β０と算出され、ｔ＝６ではβｉ（６）＝β０×（１＋ａ）と算出される。
【0100】
あるオブジェクトに対して一瞬だけ誤推定がなされても、次のタイミングで正しい推定が行われれば、オブジェクトの検出及び追跡を適切に行うことができる。したがって、影響の度合いはそれほど大きくない。一方、誤推定が連続して発生すると、その間、適切にオブジェクトの検出及び追跡を行うことができないおそれがある。そして、交通管制等において、オブジェクトの検出及び追跡を適切に行うことできない期間が長くなると、その期間ではそのオブジェクトに対する衝突回避の制御を適切に行うことができないおそれがある。したがって、影響の度合い（リスク）は増大する。したがって、このような推定処理を行ってしまう推定アルゴリズムの品質は低いと言える。逆に言うと、あるオブジェクトに対して連続して誤推定を行わないことが、推定アルゴリズムにとって望ましい。
【0101】
これに対し、実施の形態２にかかる評価装置１００は、あるオブジェクトについて誤推定種類の同じ誤推定が連続してなされた場合に、当該オブジェクトに関する当該誤推定種類に対応する誤推定係数を高くするように、誤推定係数を算出する。これにより、誤推定が連続してなされたことにより影響の度合いが増大した場合に、誤推定係数を高くすることができる。したがって、誤推定が連続してなされるといった影響の度合いを増大させる推定処理を行ってしまう推定アルゴリズムの品質の評価を低くすることができる。逆に言うと、誤推定が連続してなされることが発生し難い推定アルゴリズムの品質の評価を高くすることができる。したがって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0102】
また、あるオブジェクトに対して「見逃し（ＦＮ）」の誤推定が連続してなされた場合、そのオブジェクトを以降の画像フレームでも検出することができず、したがって、そのオブジェクトを追跡することができなくなってしまうおそれがある。言い換えると、そのオブジェクトを完全に見逃してしまうおそれがある。その場合、そのオブジェクトに対する衝突回避の制御を全く行うことができないおそれがある。したがって、影響の度合いはかなり大きくなる。したがって、「見逃し（ＦＮ）」の誤推定を連続して行ってしまう推定アルゴリズムの品質は、かなり低いと言える。例えば、特定の色の服装を着た歩行者に対して、推定アルゴリズムによっては、「見逃し（ＦＮ）」の誤推定を連続して行ってしまうことがある。
【0103】
これに対し、実施の形態２にかかる評価装置１００は、「見逃し（ＦＮ）」の誤推定（第１の誤推定）が連続してなされた場合に、誤推定係数βを高くするように、誤推定係数を算出する。これにより、「見逃し（ＦＮ）」の誤推定が連続してなされたことにより影響の度合いがかなり増大した場合に、誤推定係数βを高くすることができる。したがって、「見逃し（ＦＮ）」の誤推定が連続してなされてしまう推定アルゴリズムの品質の評価を低くすることができる。したがって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0104】
オブジェクト群演算部２４４は、あるオブジェクトからの距離が予め定められた閾値以下である他のオブジェクトの数が多いほど、当該オブジェクトに関する誤推定種類に対応する誤推定係数を低くするように、誤推定係数を算出する。ここで、「他のオブジェクト」は、当該オブジェクトと同じ種類のオブジェクトである。つまり、オブジェクト群演算部２４４は、オブジェクトの周囲に同じ種類の他のオブジェクトが多く存在する場合に、誤推定係数を、初期値よりも低くする。例えば、あるオブジェクトが「歩行者」である場合に、そのオブジェクトの周囲に他の「歩行者」が多く存在する場合に、そのオブジェクトに対する誤推定係数は低くなる。
【0105】
具体的には、例えば、オブジェクト群演算部２４４は、あるオブジェクトｉに対して「見逃し（ＦＮ）」の誤推定がなされた場合について、以下の式（５）を用いて、誤推定係数を算出する。なお、オブジェクト群演算部２４４は、他の誤推定種類に対応する誤推定係数についても、式（５）と同様にして算出してもよい。
・・・（５）
【数5】
【0106】
ここで、ｎは、オブジェクトｉからの距離が閾値以下の、オブジェクトｉの種類と同じ種類の他のオブジェクトの数である。式（５）から、ｎが大きいほど、誤推定係数βは低くなる。なお、式（５）は、オブジェクト群演算部２４４の演算を示す一例である。オブジェクト群演算部２４４は、他のオブジェクトの数ｎが多いほど誤推定係数が低くなるような他の式を用いて、誤推定係数を算出してもよい。
【0107】
上述したように、実施の形態２にかかる評価装置１００は、あるオブジェクトからの距離が予め定められた閾値以下である他のオブジェクトの数が多いほど、当該オブジェクトに関する誤推定種類に対応する誤推定係数を低くするように、誤推定係数を算出する。ここで、あるオブジェクトと同じ種類のオブジェクトがそのオブジェクトの周囲に存在する場合、それらの複数のオブジェクトを「オブジェクト群」として扱うことができる。したがって、そのオブジェクト群のうちの１つ程度を適切に検出できない（例えば「見逃し」）場合であっても、そのオブジェクト群に対して衝突回避の制御等を行えばよいので、影響の度合いはそれほど大きくない。言い換えると、このような誤推定が発生したときの影響の度合いは、周囲に同じ種類のオブジェクトがないオブジェクトに対して誤推定が発生した場合と比較して小さいと言える。つまり、このような誤推定を行ってしまう推定アルゴリズムの品質の評価を殊更低くする必要は、あまりないと言える。したがって、実施の形態２にかかる評価装置１００は、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0108】
速度演算部２４６は、対応するオブジェクトの速度に応じて誤推定係数を算出する。具体的には、速度演算部２４６は、オブジェクトの速度が速いほど、当該オブジェクトに関する誤推定種類に対応する誤推定係数を高くするように、誤推定係数を算出する。さらに具体的には、速度演算部２４６は、例えば「見逃し（ＦＮ）」の誤推定について、以下の式（６）を用いて、誤推定係数を算出する。なお、速度演算部２４６は、他の誤推定種類に対応する誤推定係数についても、式（６）と同様にして算出してもよい。
・・・（６）
【数6】
【0109】
ここで、ｖｉ（ｔ）は、オブジェクトｉのタイミングｔにおける速度である。ｖｉ（ｔ）は、オブジェクトｉがタイミング（ｔ－１）からタイミングｔまでに移動した距離と、タイミング（ｔ－１）の画像フレームとタイミングｔの画像フレームとの間の時間とから算出される。つまり、ｖｉ（ｔ）は、オブジェクトｉの移動距離と、フレームレートとから算出される。また、ｃは、０より大きな定数である。なお、ｃは、式６が適用される誤推定種類に応じて異なってもよい。例えば、βを算出する場合とαを算出する場合とで、ｃの値は互いに異なってもよい。
【0110】
式（６）から、オブジェクトｉの速度ｖｉ（ｔ）が速いほど、誤推定係数βは高くなる。なお、式（６）は、速度演算部２４６の演算を示す一例である。速度演算部２４６は、オブジェクトの速度が速いほど誤推定係数が高くなるような他の式を用いて、誤推定係数を算出してもよい。
【0111】
速度の速いオブジェクトに対して誤推定がなされると、そのオブジェクトを適切に検出できていない間に、そのオブジェクトは、長い距離を移動してしまう。したがって、そのオブジェクトに対する衝突回避の制御を適切に行うことが困難となるため、影響の度合いは大きい。特に、オブジェクトの速度が速いほど、そのオブジェクトを適切に検出できていない間の移動距離は長くなるため、影響の度合いはさらに増大する。なお、速度の速いオブジェクトに対して「見逃し（ＦＮ）」の誤推定がなされると、推定アルゴリズムがそのオブジェクトを全く検出できていない（見逃している）間にそのオブジェクトは、長い距離を移動してしまうこととなる。したがって、特に、速度の速いオブジェクトに対する「見逃し（ＦＮ）」の誤推定の影響の度合いは大きい。逆に言うと、速度の速いオブジェクトに対して誤推定が発生しないことが、推定アルゴリズムにとって望ましい。
【0112】
これに対し、実施の形態２にかかる評価装置１００は、オブジェクトの速度が速いほど、当該オブジェクトに関する誤推定種類に対応する誤推定係数を高くするように、誤推定係数を算出する。これにより、速度の速いオブジェクトに対して誤推定がなされたことにより影響の度合いが増大した場合に、誤推定係数を高くすることができる。したがって、速度が速いオブジェクトに対して誤推定がなされるといった影響の度合いを増大させる推定処理を行ってしまう推定アルゴリズムの品質の評価を低くすることができる。逆に言うと、速度が速いオブジェクトに対しても誤推定がなされ難い推定アルゴリズムの品質の評価を高くすることができる。したがって、より適切に、推定アルゴリズムの品質の評価を行うことが可能となる。
【0113】
評価値算出部２６０は、推定アルゴリズムの評価値を算出する。ここで、実施の形態１では、誤推定係数は、誤推定種類ごとに一定である。これに対し、実施の形態２では、誤推定係数は、オブジェクト（矩形）ごとに算出される。つまり、同じ種類の誤推定が複数のオブジェクトに対してなされたとしても、オブジェクトごとに、誤推定係数は異なり得る。
【0114】
したがって、実施の形態２では、評価値算出部２６０は、以下の式（７）に示した評価式を用いて、評価値を算出する。実施の形態１と同様に、評価値算出部２６０は、画像フレーム（タイミングｔ）ごとに、評価値を算出する。
・・・（７）
【数7】
【0115】
式（７）の右辺第２項の分数の分子の第２項（Σβｉ（ｔ））は、タイミングｔの画像フレームにおいて「見逃し（ＦＮ）」がなされたオブジェクトｉに関する誤推定係数βｉ（ｔ）を、「見逃し（ＦＮ）」に対応するオブジェクトの数（ＦＮ（ｔ））だけ加算することを示している。言い換えると、式（７）の右辺第２項の分数の分子の第２項は、誤推定係数を、その誤推定種類に対応するオブジェクトの数だけ加算した値に対応する。
【0116】
式（７）の右辺第２項の分数の分子の第１項（Σαｈ（ｔ））において、ｈは、「誤検出（ＦＰ）」の誤推定がなされた矩形（オブジェクト）のインデックスである。また、αｈ（ｔ）は、タイミングｔの画像フレームにおいて「誤検出（ＦＰ）」の誤推定がなされた矩形ｈについて算出された誤推定係数である。したがって、式（７）の右辺第２項の分数の分子の第１項は、タイミングｔの画像フレームにおいて「誤検出（ＦＰ）」がなされた矩形ｈに関する誤推定係数αｈ（ｔ）を、「誤検出（ＦＰ）」に対応するオブジェクト（矩形）の数（ＦＰ（ｔ））だけ加算することを示している。言い換えると、式（７）の右辺第２項の分数の分子の第１項は、誤推定係数を、その誤推定種類に対応するオブジェクト（矩形）の数だけ加算した値に対応する。
【0117】
式（７）の右辺第２項の分数の分子の第３項（Σγｊ（ｔ））において、ｊは、「新規誤検出（ＩＤＳＷｎ）」の誤推定がなされた矩形（オブジェクト）のインデックスである。また、γｊ（ｔ）は、タイミングｔの画像フレームにおいて「新規誤検出（ＩＤＳＷｎ）」の誤推定がなされた矩形ｊについて算出された誤推定係数である。したがって、式（７）の右辺第２項の分数の分子の第３項は、タイミングｔの画像フレームにおいて「新規誤検出（ＩＤＳＷｎ）」がなされた矩形ｊに関する誤推定係数γｊ（ｔ）を、「新規誤検出（ＩＤＳＷｎ）」に対応するオブジェクト（矩形）の数（ＩＤＳＷｎ（ｔ））だけ加算することを示している。言い換えると、式（７）の右辺第２項の分数の分子の第３項は、誤推定係数を、その誤推定種類に対応するオブジェクト（矩形）の数だけ加算した値に対応する。
【0118】
式（７）の右辺第２項の分数の分子の第４項（Σδｋ（ｔ））において、ｋは、「入れ替わり（ＩＤＳＷｃ）」の誤推定がなされたオブジェクトのインデックスである。また、δｋ（ｔ）は、タイミングｔの画像フレームにおいて「入れ替わり（ＩＤＳＷｃ）」の誤推定がなされたオブジェクトｋについて算出された誤推定係数である。したがって、式（７）の右辺第２項の分数の分子の第４項は、タイミングｔの画像フレームにおいて「入れ替わり（ＩＤＳＷｃ）」がなされたオブジェクトｋに関する誤推定係数δｋ（ｔ）を、「入れ替わり（ＩＤＳＷｃ）」に対応するオブジェクトの数（ＩＤＳＷｃ（ｔ））だけ加算することを示している。言い換えると、式（７）の右辺第２項の分数の分子の第４項は、誤推定係数を、その誤推定種類に対応するオブジェクトの数だけ加算した値に対応する。
【0119】
したがって、式（７）の右辺第２項の分数の分子は、複数の誤推定種類それぞれに対応するオブジェクトの数だけ対応する誤推定係数を加算した値の合計値に対応する。そして、式（７）に示すように、この合計値が大きいほど、評価値Ｆ（ｔ）が小さくなる。つまり、この合計値が大きいほど、推定アルゴリズムの評価が低くなる。そして、全ての画像フレームについて評価値が算出された場合に、評価値算出部２６０は、上記の式（３）のように、全ての画像フレームについて算出された評価値を合計して、推定アルゴリズムの動画像全体に対する評価値である全体評価値Ｆを算出する。
【0120】
図７及び図８は、実施の形態２にかかる評価システム１によって実行される評価方法を示すフローチャートである。図７及び図８に示す処理は、主に、評価装置１００によって実行され得る。まず、図５のＳ１００と同様に、追跡エンジン２０によって、推定アルゴリズムの推定処理が行われる（ステップＳ２００）。評価装置１００は、ｔ＝１として（ステップＳ２０１）、ｔ番目の画像フレームを処理対象とする（ステップＳ２０２）。
【0121】
正解データ取得部１１２は、図５のＳ１０４と同様に、ｔ番目の画像フレームについて、正解データを取得する（ステップＳ２０４）。出力データ取得部１１４は、図５のＳ１０６と同様に、ｔ番目の画像フレームについて実行された推定処理に関する出力データを取得する（ステップＳ２０６）。推定結果判定部１２０は、図５のＳ１１０と同様に、ｔ番目の画像フレームに関する推定結果を判定する（ステップＳ２１０）。推定結果判定部１２０は、図５のＳ１１２と同様に、上述したように、誤推定種類ごとに、オブジェクト数をカウントする（ステップＳ２１２）。係数算出部２４０は、オブジェクト（矩形）ごとに、対応する誤推定係数を算出する（ステップＳ２２０）。Ｓ２２０の処理については図８を用いて後述する。
【0122】
Ｓ２２０で誤推定係数が算出されると、評価値算出部１６０は、ｔ番目の画像フレームについて、上記の式（７）に示した評価式を用いて、推定アルゴリズムの評価値を算出する（ステップＳ２５０）。そして、評価装置１００は、未処理の画像フレームがあるか否かを判定する（ステップＳ２６０）。未処理の画像フレームがある場合（Ｓ２６０のＹＥＳ）、評価装置１００は、ｔを１つインクリメントする（ステップＳ２６２）。そして、処理フローはＳ２０２に戻り、評価装置１００は、次の画像フレームを処理対象とする（Ｓ２０２）。そして、Ｓ２０４～Ｓ２５０の処理が繰り返される。一方、未処理の画像フレームがない場合（Ｓ２６０のＮＯ）、評価値算出部１６０は、上記の式（３）に示すように、全ての画像フレームについて得られた評価値を合計する（ステップＳ２６４）。そして、評価値出力部１６２は、動画像全体の評価値を出力する（ステップＳ２６６）。
【0123】
図８を用いて、Ｓ２２０の処理について説明する。図８には、「見逃し（ＦＮ）」の誤推定がなされたオブジェクトに対する処理が示されている。なお、他の誤推定種類についても、図８と同様の処理が実行され得る。また、複数の誤推定種類に関する誤推定係数の算出は、並行して実行され得る。
【0124】
係数算出部２４０は、処理対象の画像フレームにおいて「見逃し（ＦＮ）」の誤推定がなされたオブジェクトから、処理対象のオブジェクトｉを決定する（ステップＳ２２２）。処理対象のオブジェクトは、オブジェクトのＩＤごとに決定され得る。係数算出部２４０は、誤推定係数の初期値を設定する（ステップＳ２２４）。具体的には、係数算出部２４０は、パラメータ格納部１３０から、「見逃し（ＦＮ）」に関する誤推定係数βの初期値（β０）を抽出して、抽出された初期値を設定する。
【0125】
連続誤推定演算部２４２は、処理対象のオブジェクトｉについて、前回の画像フレーム（ｔ－１）における誤推定の判定と今回の画像フレーム（ｔ）における誤推定の判定がともに「見逃し（ＦＮ）」であるか否かを判定する（ステップＳ２３０）。前回の画像フレームにおいてもオブジェクトｉに対して「見逃し（ＦＮ）」の誤推定と判定された場合（Ｓ２３０のＹＥＳ）、連続誤推定演算部２４２は、前回の画像フレームにおける誤推定係数βｉ（ｔ－１）から高くなるように、誤推定係数βｉ（ｔ）を算出する（ステップＳ２３２）。具体的には、連続誤推定演算部２４２は、上述した式（４）を用いて誤推定係数βｉ（ｔ）を算出する。一方、前回の画像フレームにおいて「見逃し（ＦＮ）」の誤推定と判定されていない場合（Ｓ２３０のＮＯ）、Ｓ２３２の処理はスキップされる。つまり、連続誤推定演算部２４２は、βｉ（ｔ）＝β０とする。
【0126】
オブジェクト群演算部２４４は、処理対象のオブジェクトｉと、同じ種類の他のオブジェクトとの距離を算出する（ステップＳ２３４）。なお、オブジェクト間の距離は、例えば、処理対象のオブジェクトｉ及び他のオブジェクトそれぞれに対応する画素からそれぞれの実位置を推定し、推定された実位置の間の距離を算出することによって、算出されてもよい。あるいは、オブジェクト間の距離は、例えば、画像フレームにおいて、処理対象のオブジェクトｉに対応する画素と、他のオブジェクトに対応する画素との間の距離を用いて算出されてもよい。
【0127】
オブジェクト群演算部２４４は、処理対象のオブジェクトｉからの距離が閾値以下の他のオブジェクトが存在するか否かを判定する（ステップＳ２３６）。なお、距離の閾値は、例えば、実環境において５ｍ程度であるが、これに限定されない。閾値は、オブジェクトｉからの距離が閾値以内の１つ以上のオブジェクトをオブジェクトｉとともにオブジェクト群と認識できる程度に、適宜、設定され得る。
【0128】
処理対象のオブジェクトｉからの距離が閾値以下の他のオブジェクトが存在する場合（Ｓ２３６のＹＥＳ）、オブジェクト群演算部２４４は、他のオブジェクトの数に応じて誤推定係数を算出する（ステップＳ２３８）。具体的には、オブジェクト群演算部２４４は、式（５）を用いて、誤推定係数βｉ（ｔ）を算出する。なお、Ｓ２３２の処理が行われた場合、オブジェクト群演算部２４４は、式（５）のβ０を、Ｓ２３２の処理で得られたβｉ（ｔ）の値と置き換えてもよい。
【0129】
一方、処理対象のオブジェクトｉからの距離が閾値以下の他のオブジェクトが存在しな場合（Ｓ２３６のＮＯ）、Ｓ２３８の処理はスキップされる。つまり、オブジェクト群演算部２４４は、βｉ（ｔ）を、連続誤推定演算部２４２によって算出された誤推定係数の値のままとする。
【0130】
速度演算部２４６は、処理対象のオブジェクトｉの速度に応じて誤推定係数を算出する（ステップＳ２４０）。具体的には、速度演算部２４６は、処理対象のオブジェクトｉの速度を算出（推定）する。そして、速度演算部２４６は、式（６）を用いて、誤推定係数βｉ（ｔ）を算出する。なお、Ｓ２３２及びＳ２３８の少なくともいずれかの処理が行われた場合、速度演算部２４６は、式（６）のβ０を、Ｓ２３８の処理までに得られたβｉ（ｔ）の値と置き換えてもよい。
【0131】
係数算出部２４０は、処理対象の画像フレームにおいて、未処理のオブジェクトがあるか否かを判定する（ステップＳ２４２）。図８の例では、係数算出部２４０は、「見逃し（ＦＮ）」に対応するオブジェクトのうち未処理のものがあるか否かを判定する。未処理のオブジェクトがある場合（Ｓ２４２のＹＥＳ）、処理フローはＳ２２２に戻る。そして、未処理のオブジェクトから処理対象のオブジェクトが決定され（Ｓ２２２）、Ｓ２２４～Ｓ２４０の処理が繰り返される。一方、未処理のオブジェクトがない場合（Ｓ２４２のＮＯ）、処理フローはＳ２５０に進む。
【0132】
（適用事例）
なお、本実施の形態にかかる評価装置１００を用いて、推定アルゴリズムにおいて、交通管制等において誤推定に対する影響の度合いが小さくなるように、観測値と推定値との同一性判定の一致度の閾値を決定することができる。つまり、評価装置１００による評価結果が高くなるような閾値を決定することによって、評価が高くなるような推定アルゴリズムを得ることができる。例えば、閾値を高く設定すると、「誤検出（ＦＰ）」が発生しやすくなり得る。一方、閾値を低く設定すると、「見逃し（ＦＮ）」が発生しやすくなり得る。そこで、例えば、推定アルゴリズムにおける閾値を７０％，８０％，９０％とした場合それぞれについて、評価装置１００を用いて推定アルゴリズムの評価を行い、評価値の大きな閾値を採用するということができる。
なお、本実施の形態にかかる評価装置１００を用いて、推定アルゴリズムにおいて、交通管制等において誤推定に対する影響の度合いが小さくなるように、観測値と推定値との同一性判定の一致度の閾値を決定することができる。つまり、評価装置１００による評価結果が高くなるような閾値を決定することによって、評価が高くなるような推定アルゴリズムを得ることができる。例えば、閾値を高く設定すると、「誤検出（ＦＰ）」が発生しやすくなり得る。一方、閾値を低く設定すると、「見逃し（ＦＮ）」が発生しやすくなり得る。そこで、例えば、推定アルゴリズムにおける閾値を７０％，８０％，９０％とした場合それぞれについて、評価装置１００を用いて推定アルゴリズムの評価を行い、評価値の大きな閾値を採用するということができる。
【0133】
また、本実施の形態にかかる評価装置１００を用いて、オブジェクトの追跡に用いるセンサの異常をリアルタイムで検知することもできる。すなわち、評価装置１００は、自動運転車等のオブジェクトから自身の位置情報を取得して、その位置情報を正解データとする。一方、それと並行して、推定アルゴリズムは、オブジェクト（自動運転車等）の位置の推定及び追跡を行い、推定結果を出力データとする。そして、評価装置１００は、正解データと出力データとを用いて、上述したような、推定アルゴリズムの評価処理を行う。そして、そのときの評価結果を通常時の評価結果と比較して、所定の閾値以上に評価が低い場合に、センサが異常であると判定することができる。
【0134】
（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートの各ステップ（処理）の順序は、適宜、変更可能である。また、上述したフローチャートの各ステップ（処理）の１つ以上は、省略可能である。例えば、図７のＳ２１２の処理は、省略されてもよい。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートの各ステップ（処理）の順序は、適宜、変更可能である。また、上述したフローチャートの各ステップ（処理）の１つ以上は、省略可能である。例えば、図７のＳ２１２の処理は、省略されてもよい。
【0135】
また、実施の形態２において、係数算出部２４０を構成する連続誤推定演算部２４２、オブジェクト群演算部２４４及び速度演算部２４６の全てが処理を行う必要はない。つまり、図８のフローチャートにおいて、Ｓ２３０～Ｓ２３２の処理、Ｓ２３４～Ｓ２３８の処理、及びＳ２４０の処理のうちのいずれかは、行われなくてもよい。
【0136】
また、上述した実施の形態では、推定アルゴリズムは、交通管制の環境で用いられるとしたが、推定アルゴリズムの使用環境は、交通管制に限られない。本実施の形態にかかる評価装置１００は、交通管制以外の任意の物体検出を行う推定アルゴリズムに対して、適用可能である。
【0137】
上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disk（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【符号の説明】
【0138】
１ 評価システム
２ ネットワーク
２０ 追跡エンジン
４０ 動画像格納装置
１００ 評価装置
１１２ 正解データ取得部
１１４ 出力データ取得部
１２０ 推定結果判定部
１３０ パラメータ格納部
１６０ 評価値算出部
１６２ 評価値出力部
２４０ 係数算出部
２４２ 連続誤推定演算部
２４４ オブジェクト群演算部
２４６ 速度演算部
２６０ 評価値算出部
２ ネットワーク
２０ 追跡エンジン
４０ 動画像格納装置
１００ 評価装置
１１２ 正解データ取得部
１１４ 出力データ取得部
１２０ 推定結果判定部
１３０ パラメータ格納部
１６０ 評価値算出部
１６２ 評価値出力部
２４０ 係数算出部
２４２ 連続誤推定演算部
２４４ オブジェクト群演算部
２４６ 速度演算部
２６０ 評価値算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】