特表 2022-550785 視覚物体追跡方法、視覚物体追跡システム、学習方法、及び学習システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-05

(54)【発明の名称】視覚物体追跡方法、視覚物体追跡システム、学習方法、及び学習システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221128BHJP

   G06T 7/246 20170101ALI20221128BHJP

【ＦＩ】

G06T7/00 350B

G06T7/246

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022519839

(86)(22)【出願日】2019-10-07

(85)【翻訳文提出日】2022-03-29

(86)【国際出願番号】 JP2019039513

(87)【国際公開番号】W WO2021070228

(87)【国際公開日】2021-04-15

(81)【指定国・地域】

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】バイエ フロリアン

(72)【発明者】

【氏名】岩井 孝法

(72)【発明者】

【氏名】篠原 悠介

(72)【発明者】

【氏名】逸身 勇人

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096FA06

5L096FA16

5L096GA51

5L096HA05

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

視覚物体追跡装置（１０）にて推定部（１１）は、複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定する。例えば、「検出境界ボックス」は、動画等の時系列の複数のフレームのそれぞれにおいて、検出器によって検出された「境界ボックス（境界領域）」である。「境界ボックス」は、フレームにおいて検出された物体画像を囲む枠である。例えば、「予測境界ボックス」は、過去の１つ又は複数のフレームについて推測された推定境界ボックスに基づいて、予測器によって予測された、「境界ボックス」である。
【選択図】図１

【特許請求の範囲】

【請求項1】

それぞれが対応する物体ＩＤが付された複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定すること、
を含む、
視覚物体追跡方法。

【請求項2】

前記複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、前記複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取ること、及び、
前記第１セット及び前記第２セットに基づいて、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成すること、
をさらに含み、
前記推定することは、
複数の前記予測信頼性ベクトル、複数の前記検出信頼性ベクトル、前記関連ウェイトマトリクス、前記第１セット、及び前記第２セットに基づいて、前記複数の推定境界ボックス、各推定境界ボックスの推定信頼性ベクトル、各推定境界ボックスの推定特徴ベクトル、及び、各推定境界ボックスに対応する推定物体ＩＤを推定すること、
を含む、
請求項１記載の視覚物体追跡方法。

【請求項3】

前記推定することは、
前記関連ウェイトに基づいて、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定すること、及び
いずれの検出境界ボックスともマッチせず且つ第１予測信頼性ベクトルの値が第１閾値よりも大きい第１予測境界ボックスに関して、前記第１予測境界ボックスと、前記第１予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
請求項２記載の視覚物体追跡方法。

【請求項4】

前記推定することは、
前記マッチしているペアであって、第２予測信頼性ベクトルの値が第１検出信頼性ベクトルの値よりも大きい、第２予測境界ボックス及び第１検出境界ボックスを含むペアに関して、前記第２予測境界ボックスと、前記第２予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
請求項３記載の視覚物体追跡方法。

【請求項5】

前記推定することは、
前記マッチしているペアであって、第３予測信頼性ベクトルの値が第２検出信頼性ベクトルの値よりも小さい、第３予測境界ボックス及び第２検出境界ボックスを含むペアに関して、前記第２検出境界ボックスと、前記第２検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、前記第３予測境界ボックスの物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
請求項３又は４に記載の視覚物体追跡方法。

【請求項6】

前記推定することは、
いずれの予測境界ボックスともマッチせず且つ第３検出信頼性ベクトルの値が第２閾値よりも大きい第３検出境界ボックスに関して、前記第３検出境界ボックスと、前記第３検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、新規の物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
請求項３から５のいずれか１項に記載の視覚物体追跡方法。

【請求項7】

それぞれが対応する物体ＩＤが付された複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定する推定手段を具備する視覚物体追跡システム。

【請求項8】

前記複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、前記複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する評価手段をさらに具備し、
前記推定手段は、前記評価手段にて生成された、複数の前記予測信頼性ベクトル、複数の前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスと、前記第１セット及び前記第２セットとに基づいて、複数の推定境界ボックス、各推定境界ボックスの推定信頼性ベクトル、各推定境界ボックスの推定特徴ベクトル、及び、各推定境界ボックスに対応する推定物体ＩＤを推定する、
請求項７記載の視覚物体追跡システム。

【請求項9】

前記推定手段は、
前記関連ウェイトに基づいて、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定し、
いずれの検出境界ボックスともマッチせず且つ第１予測信頼性ベクトルの値が第１閾値よりも大きい第１予測境界ボックスに関して、前記第１予測境界ボックスと、前記第１予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定する、
請求項８記載の視覚物体追跡システム。

【請求項10】

前記推定手段は、
前記マッチしているペアであって、第２予測信頼性ベクトルの値が第１検出信頼性ベクトルの値よりも大きい、第２予測境界ボックス及び第１検出境界ボックスを含むペアに関して、前記第２予測境界ボックスと、前記第２予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定する、
請求項９記載の視覚物体追跡システム。

【請求項11】

前記推定手段は、
前記マッチしているペアであって、第３予測信頼性ベクトルの値が第２検出信頼性ベクトルの値よりも小さい、第３予測境界ボックス及び第２検出境界ボックスを含むペアに関して、前記第２検出境界ボックスと、前記第２検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、前記第３予測境界ボックスの物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定する、
請求項９又は１０に記載の視覚物体追跡システム。

【請求項12】

前記推定手段は、
いずれの予測境界ボックスともマッチせず且つ第３検出信頼性ベクトルの値が第２閾値よりも大きい第３検出境界ボックスに関して、前記第３検出境界ボックスと、前記第３検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、新規の物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定する、
請求項９から１１のいずれか１項に記載の視覚物体追跡システム。

【請求項13】

予測境界ボックス及び検出境界ボックスについての評価モデルをトレーニングする学習方法であって、
前記評価モデルは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する、モデルであり、
前記学習方法は、
教師画像群に基づいて得られた前記第２セット及び前記教師画像群に対応する複数の正解境界ボックスに基づいて得られた前記第１セットを取得すること、
前記第１セット及び前記第２セットに基づいて、同じ正解境界ボックスとマッチする前記予測境界ボックス及び前記検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定すること、
前記特定されたペア、前記特定された予測境界ボックス、及び前記特定された検出境界ボックスに基づいて、正解予測信頼性ベクトル、正解検出信頼性ベクトル、及び正解関連ウェイトマトリクスを生成すること、
前記第１セット及び前記第２セットに基づいて前記評価モデルから出力される前記予測信頼性ベクトル、前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスと、前記正解関連ウェイトマトリクス、前記正解予測信頼性ベクトル、及び前記正解検出信頼性ベクトルとの乖離レベルを示す乖離指標を算出すること、及び、
前記乖離指標に基づいて、前記評価モデルのパラメータを調整すること、
を含む学習方法。

【請求項14】

予測境界ボックス及び検出境界ボックスについての評価モデルをトレーニングする学習システムであって、
前記評価モデルは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する、モデルであり、
前記学習システムは、
予測手段と、検出手段と、正解生成手段と、乖離指標算出手段と、最適化手段と、
を具備し、
前記検出手段は、教師画像群に基づいて得られた前記第２セットを、前記評価モデル及び前記正解生成手段へ出力し、
前記予測手段は、前記教師画像群に対応する複数の正解境界ボックスに基づいて得られた前記第１セットを、前記評価モデル及び前記正解生成手段へ出力し、
前記正解生成手段は、同じ正解境界ボックスとマッチする予測境界ボックス及び検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定し、前記特定されたペア、前記特定された予測境界ボックス、及び前記特定された検出境界ボックスに基づいて、正解関連ウェイトマトリクス、正解予測信頼性ベクトル、及び正解検出信頼性ベクトルを生成し、
前記乖離指標算出手段は、前記第１セット及び前記第２セットに基づいて前記評価モデルから出力される前記予測信頼性ベクトル、前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスのグループと、前記正解予測信頼性ベクトル、前記正解検出信頼性ベクトル、及び前記正解関連ウェイトマトリクスのグループとの乖離レベルを示す乖離指標を算出し、
前記最適化手段は、前記乖離指標に基づいて、前記評価モデルのパラメータを調整する、
学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、視覚物体追跡方法、視覚物体追跡システム、学習方法、及び学習システムに関する。

【背景技術】

【0002】

複数の物体を視覚的に追跡する技術が提案されている（例えば、非特許文献１）。非特許文献１に開示されている技術では、各画像フレームにて検出された物体画像をＩｏＵ（intersection-over-union）に基づいて対応付けることによって、物体を視覚的に追跡している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】E. Bochinski, V. Eiselein, T. Sikora. “High-Speed Trackingby Detection Without Using Image Information”. In International Workshop on Traffic and Street Surveillance for Safety and Security at IEEE AVSS 2017, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１に開示されている技術では、検出器（detector）の検出精度が良いことを前提としている。一方で、コスト的な理由又はリアルタイム制限（real-time constraints）に起因して、低い計算要求（low computational requirements）の物体検出器（light-weight object detector）が要求されるケースもある。

【0005】

しかしながら、負荷の小さい物体検出器の検出精度は通常低いため、非特許文献１に開示されている技術では追跡精度が低下してしまう可能性がある。

【0006】

本開示の目的は、追跡精度を向上させることができる、視覚物体追跡方法、視覚物体追跡システム、学習方法、及び学習システムを提供することにある。

【課題を解決するための手段】

【0007】

第１の態様にかかる視覚物体追跡方法は、
それぞれが対応する物体ＩＤが付された複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定すること、
を含む。

【0008】

第２の態様にかかる視覚物体追跡システムは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定する推定部を具備する。

【0009】

第３の態様にかかる学習方法は、予測境界ボックス及び検出境界ボックスについての評価モデルをトレーニングする学習方法であって、
前記評価モデルは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する、モデルであり、
前記学習方法は、
教師画像群に基づいて得られた前記第２セット及び前記教師画像群に対応する複数の正解境界ボックスに基づいて得られた前記第１セットを取得すること、
前記第１セット及び前記第２セットに基づいて、同じ正解境界ボックスとマッチする前記予測境界ボックス及び前記検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定すること、
前記特定されたペア、前記特定された予測境界ボックス、及び前記特定された検出境界ボックスに基づいて、正解関連ウェイトマトリクス、正解予測信頼性ベクトル、及び正解検出信頼性ベクトルを生成すること、
前記第１セット及び前記第２セットに基づいて前記評価モデルから出力される前記予測信頼性ベクトル、前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスと、前記正解予測信頼性ベクトル、前記正解検出信頼性ベクトル、及び前記正解関連ウェイトマトリクスとの乖離レベルを示す乖離指標を算出すること、及び、
前記乖離指標に基づいて、前記評価モデルのパラメータを調整すること、
を含む。

【0010】

第４の態様にかかる学習システムは、予測境界ボックス及び検出境界ボックスについての評価モデルをトレーニングする学習システムであって、
前記評価モデルは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する、モデルであり、
前記学習システムは、
予測手段と、検出手段と、正解生成手段と、乖離指標算出手段と、最適化手段と、
を具備し、
前記検出手段は、教師画像群に基づいて得られた前記第２セットを、前記評価モデル及び前記正解生成手段へ出力し、
前記予測手段は、前記教師画像群に対応する複数の正解境界ボックスに基づいて得られた前記第１セットを、前記評価モデル及び前記正解生成手段へ出力し、
前記正解生成手段は、同じ正解境界ボックスとマッチする予測境界ボックス及び検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定し、前記特定されたペア、前記特定された予測境界ボックス、及び前記特定された検出境界ボックスに基づいて、正解関連ウェイトマトリクス、正解予測信頼性ベクトル、及び正解検出信頼性ベクトルを生成し、
前記乖離指標算出手段は、前記第１セット及び前記第２セットに基づいて前記評価モデルから出力される前記予測信頼性ベクトル、前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスのグループと、前記正解予測信頼性ベクトル、前記正解検出信頼性ベクトル、及び前記正解関連ウェイトマトリクスのグループとの乖離レベルを示す乖離指標を算出し、
前記最適化手段は、前記乖離指標に基づいて、前記評価モデルのパラメータを調整する。

【発明の効果】

【0011】

本開示により、追跡精度を向上させることができる、視覚物体追跡方法、視覚物体追跡システム、学習方法、及び学習システムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態における視覚物体追跡装置（視覚物体追跡システム）の一例を示すブロック図である。

【図2】第１実施形態における視覚物体追跡装置（視覚物体追跡システム）の一例を示すブロック図である。

【図3】第３実施形態における視覚物体追跡装置の一例を示すブロック図である。

【図4】第３実施形態における視覚物体追跡装置の処理動作例の説明に供する図である。

【図5】第３実施形態における視覚物体追跡装置の処理動作例の説明に供する図である。

【図6】第４実施形態における学習装置（学習システム）の一例を示すブロック図である。

【図7】第４実施形態における学習装置の処理動作例の説明に供する図である。

【図8】視覚物体追跡装置（視覚物体追跡システム）のハードウェア構成例を示す図である。

【図9】学習装置（学習システム）のハードウェア構成例を示す図である。

【図10】ハードウェア構成の具体例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。

【0014】

＜第１実施形態＞
図１は、第１実施形態における視覚物体追跡装置（視覚物体追跡システム）の一例を示すブロック図である。図１において視覚物体追跡装置１０は、推定部（estimation unit）１１を有している。

【0015】

推定部１１は、複数の「予測境界ボックス（predicted bounding box）」と、複数の「検出境界ボックス（detected bounding box）」とを受け取る。複数の「予測境界ボックス（predicted bounding box）」には、対応する物体ＩＤ（IDentifier）がそれぞれ付されている。そして、推定部１１は、複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の「推定境界ボックス（estimated bounding box）」及び各推定境界ボックスに対応する「推定物体ＩＤ（estimated object ID）」を推定する。

【0016】

例えば、「検出境界ボックス」は、動画等の時系列の複数のフレームのそれぞれにおいて、検出器（detector）（不図示）によって検出された「境界ボックス（境界領域）」である。「境界ボックス」は、フレームにおいて検出された物体画像を囲む枠（enclosing line）である。

【0017】

また、例えば、「予測境界ボックス」は、過去の１つ又は複数のフレームについて推測された推定境界ボックスに基づいて、予測器（predictor）（不図示）によって予測された、「境界ボックス」である。

【0018】

例えば、ｎ番目のフレームについての検出境界ボックスが推定部１１に対して入力されるタイミングをタイミングＴｎとする。このタイミングＴｎでは、（ｎ－１）番目以前の１つ又は複数のフレームについて推測された「推定境界ボックス」等に基づいて予測器（不図示）によって予測された、ｎ番目のフレームについての予測境界ボックスも、推定部１１に対して入力される。すなわち、この場合、予測境界ボックスは、同じＩＤに対応する複数の境界ボックスの過去の軌跡に基づいて予測された、ｎ番目のフレームについての境界ボックスである。

【0019】

以上のように第１実施形態によれば、視覚物体追跡装置１０にて推定部１１は、複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定する。

【0020】

この視覚物体追跡装置１０の構成により、検出境界ボックスだけでなく予測境界ボックスに基づいて推定境界ボックス及び推定物体ＩＤを推定するので、追跡精度を向上させることができる。

【0021】

＜第２実施形態＞
図２は、第１実施形態における視覚物体追跡装置（視覚物体追跡システム）の一例を示すブロック図である。図２において視覚物体追跡装置２０は、評価部（evaluation unit）２１と、推定部２２とを有している。

【0022】

評価部２１は、複数の「予測境界ボックス」及び該複数の予測境界ボックスにそれぞれ対応する複数の「予測特徴ベクトル（predicted feature vector）」のセット（以下では、「第１セット」と呼ぶことがある）を受け取る。複数の「予測境界ボックス」には、対応する物体ＩＤ（IDentifier）がそれぞれ付されている。さらに、評価部２１は、複数の「検出境界ボックス」及び該複数の検出境界ボックスにそれぞれ対応する複数の「検出特徴ベクトル（detected feature vector）」のセット（以下では、「第２セット」と呼ぶことがある）を受け取る。

【0023】

例えば、「検出境界ボックス」及び「検出特徴ベクトル」は、動画等の時系列の複数のフレームのそれぞれにおいて、検出器（detector）（不図示）によって検出された「境界ボックス（境界領域）」及び「特徴ベクトル」である。「特徴ベクトル」は、例えば、対応する境界ボックス内の画像の特徴量（例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量、色分布特徴量、又は、ニューラルネットワーク（deep neural network）によって学習された特徴に対応する他の特徴量など）を要素とするベクトルであってもよい。

【0024】

また、例えば、「予測境界ボックス」及び「予測特徴ベクトル」は、過去の１つ又は複数のフレームについて推測された、少なくとも後述する「推定境界ボックス」及び「推定特徴ベクトル（estimated feature vector）」に基づいて、予測器（predictor）（不図示）によって予測された、「境界ボックス」及び「特徴ベクトル」である。

【0025】

例えば、ｎ番目のフレームについての検出境界ボックス及び検出特徴ベクトルが評価部２１に対して入力されるタイミングをタイミングＴｎとする。このタイミングＴｎでは、（ｎ－１）番目以前の１つ又は複数のフレームについて推測された「推定境界ボックス」等に基づいて予測器（不図示）によって予測された、ｎ番目のフレームについての予測境界ボックス及び予測特徴ベクトルも、評価部２１に対して入力される。すなわち、この場合、予測境界ボックス及び予測特徴ベクトルは、過去の軌跡に基づいて予測された、ｎ番目のフレームについての境界ボックス及び特徴ベクトルである。

【0026】

そして、評価部２１は、受け取った第１セット及び第２セットに基づいて、各予測境界ボックスの「予測信頼性ベクトル（prediction confidence vector）」と、各検出境界ボックスの「検出信頼性ベクトル（detection confidence vector）」と、「関連ウェイトマトリクス（association weight matrix）」とを生成する。「関連ウェイトマトリクス」は、予測境界ボックスと検出境界ボックスとの各「組み合わせ（pair）」についての「関連ウェイト（association weight）」を含む。これらの生成された予測信頼性ベクトル、検出信頼性ベクトル、及び、関連ウェイトマトリクスは、推定部２２へ出力される。

【0027】

評価部２１は、例えば、学習されたニューラルネットワーク（評価モデル）を含んでいる。このニューラルネットワーク（評価モデル）の例示的な学習については、第４実施形態において詳しく説明する。

【0028】

推定部２２は、上記の第１セットと、第２セットと、評価部２１にて生成された予測信頼性ベクトル、検出信頼性ベクトル、及び、関連ウェイトマトリクスと、を受け取る。

【0029】

そして、推定部２２は、評価部２１にて生成された、複数の予測信頼性ベクトル、複数の検出信頼性ベクトル、及び関連ウェイトマトリクスと、複数の予測境界ボックスと、複数の検出境界ボックスと、複数の予測特徴ベクトルと、複数の検出特徴ベクトルとに基づいて、複数の推定境界ボックス、各推定境界ボックスの推定信頼性ベクトル（estimated confidence vector）、各推定境界ボックスの推定特徴ベクトル、及び、各推定境界ボックスに対応する推定物体ＩＤを推定する。ｎ番目のフレームについて推定された、少なくとも推定境界ボックス及び推定物体ＩＤは、予測器（不図示）による（ｎ＋１）番目以降のフレームについての予測に用いられる。なお、ｎ番目のフレームについて推定された推定特徴ベクトルも、予測器（不図示）による（ｎ＋１）番目以降のフレームについての予測に用いられてもよい。更には、ｎ番目のフレームについて推定された推定信頼性ベクトルも、予測器（不図示）による（ｎ＋１）番目以降のフレームについての予測に用いられてもよい。

【0030】

以上のように第２実施形態によれば、視覚物体追跡装置２０にて推定部２２は、評価部２１にて生成された、複数の予測信頼性ベクトル、複数の検出信頼性ベクトル、及び関連ウェイトマトリクスと、複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定する。

【0031】

この視覚物体追跡装置２０の構成により、予測境界ボックス及び検出境界ボックスに加えて、評価部２１にて生成された、複数の予測信頼性ベクトル、複数の検出信頼性ベクトル、及び関連ウェイトマトリクスに基づいて推定境界ボックス及び推定物体ＩＤを推定するので、追跡精度をさらに向上させることができる。

【0032】

また、視覚物体追跡装置２０にて評価部２１は、受け取った第１セット及び第２セットに基づいて、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、関連ウェイトマトリクスとを生成する。第１セットは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び該複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルを含む。第２セットは、複数の検出境界ボックス及び該複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルを含む。

【0033】

この視覚物体追跡装置２０の構成により、予測境界ボックス及び検出境界ボックスだけでなく、予測特徴ベクトル及び検出特徴ベクトルに基づいて、予測信頼性ベクトル、検出信頼性ベクトル及び関連ウェイトマトリクスを生成するので、予測信頼性ベクトル、検出信頼性ベクトル及び関連ウェイトマトリクスを精度良く生成することができる。これにより、推定部２２による推定精度が向上するので、追跡精度をさらに向上させることができる。

【0034】

＜第３実施形態＞
第３実施形態は、より具体的な実施形態に関する。

【0035】

＜視覚物体追跡装置の構成例＞
図３は、第３実施形態における視覚物体追跡装置の一例を示すブロック図である。図３において視覚物体追跡装置３０は、評価部２１と、推定部２２と、検出部（detector）３１と、予測部（predictor）３２と、記憶部３３とを有している。

【0036】

検出部３１は、動画等の時系列の複数のフレームのそれぞれが順次入力される。そして、検出部３１は、入力されたフレーム（以下では、「現フレーム」と呼ぶことがある）に含まれる各物体画像を検出し、検出された各物体画像に対応する境界ボックスに関する情報（例えば、現フレームにおける境界ボックスの位置及び大きさに関する情報）を生成する。検出部３１は、生成した情報を上記の「検出境界ボックス」として出力する。また、検出部３１は、検出した境界ボックス内の画像に基づいて特徴ベクトルを生成し、生成した特徴ベクトルを上記の「検出特徴ベクトル」として出力する。すなわち、検出部３１は、上記の第２セットを出力する。

【0037】

記憶部３３は、推定部２２によって過去フレーム（つまり、現フレームよりも前のフレーム）について推定された、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び、推定物体ＩＤを保持している。

【0038】

予測部３２は、１つ又は複数の過去フレームについての、少なくとも推定境界ボックス及び推定物体ＩＤに関する情報を、記憶部３３から取得し、取得した情報に基づいて、現フレームについての境界ボックス及び該境界ボックスに対応する特徴ベクトルを予測する。この予測された境界ボックス及び特徴ベクトルが、上記の予測境界ボックス及び予測特徴ベクトルである。そして、予測部３２は、予測境界ボックス及び予測特徴ベクトル（つまり、上記の第１セット）を出力する。なお、予測部３２は、推定境界ボックス及び推定物体ＩＤに関する情報と共に、推定特徴ベクトルに関する情報を、又は、推定特徴ベクトル及び推定信頼性ベクトルに関する情報を記憶部３３から取得して、この取得した情報を用いて、現フレームについての境界ボックス及び該境界ボックスに対応する特徴ベクトルを予測してもよい。

【0039】

評価部２１は、第２実施形態と同様に、予測部３２及び検出部３１から受け取った第１セット及び第２セットに基づいて、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、関連ウェイトマトリクスとを生成する。

【0040】

推定部２２は、第２実施形態と同様に、評価部２１にて生成された、複数の予測信頼性ベクトル、複数の検出信頼性ベクトル、及び関連ウェイトマトリクスと、第１セットと、第２セットとに基づいて、複数の推定境界ボックス、各推定境界ボックスの推定信頼性ベクトル、各推定境界ボックスの推定特徴ベクトル、及び、各推定境界ボックスに対応する推定物体ＩＤを推定する。

【0041】

具体的には、第３実施形態における推定部２２は、関連ウェイトマトリクスの関連ウェイトに基づいて、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定する。

【0042】

例えば、推定部２２は、関連ウェイトの総和が最大となるようにペア群を選択する。ただし、制約条件として、同じ予測境界ボックスが複数のペアに含まれず、且つ、同じ検出境界ボックスが複数のペアに含まれないという条件を満たす必要がある。そして、推定部２２は、選択されたペア群のうち、関連ウェイトが「判定閾値」以上であるペアを上記のマッチしているペアとする。また、推定部２２は、選択されたペア群のうち、関連ウェイトが「判定閾値」より小さいペアに含まれる予測境界ボックス及び検出境界ボックスを、上記のいずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスとする。これは、後述する「第１処理動作例」に対応する。

【0043】

又は、例えば、推定部２２は、関連ウェイトと予測信頼性ベクトルと検出信頼性ベクトルとの総和が最大になるように、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定してもよい。ただし、制約条件として、予測境界ボックスと検出境界ボックスとがマッチしているペアに含まれる予測境界ボックスが、いずれの検出境界ボックスともマッチしない予測境界ボックスとなることはないという条件を満たす必要がある。また、制約条件として、予測境界ボックスと検出境界ボックスとがマッチしているペアに含まれる検出境界ボックスが、いずれの予測境界ボックスともマッチしない検出境界ボックスとなることはないという条件を満たす必要がある。これは、後述する「第２処理動作例」に対応する。

【0044】

そして、推定部２２は、いずれの検出境界ボックスともマッチせず且つ予測信頼性ベクトルの値が「第１閾値」よりも大きい予測境界ボックス（以下、「第１予測境界ボックス」と呼ぶ）に関して、第１予測境界ボックスと、第１予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとして決定する。

【0045】

また、推定部２２は、予測境界ボックスと検出境界ボックスとがマッチしているペアであって「第２予測境界ボックス」及び「第１検出境界ボックス」を含むペアに関して、第２予測境界ボックスと、第２予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとして決定する。ここで、「第２予測境界ボックス」の予測信頼性ベクトルの値は、「第１検出境界ボックス」の検出信頼性ベクトルの値よりも大きい。

【0046】

また、推定部２２は、予測境界ボックスと検出境界ボックスとがマッチしているペアであって「第３予測境界ボックス」及び「第２検出境界ボックス」を含むペアに関して、第２検出境界ボックスと、第２検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、第３予測境界ボックスの物体ＩＤとを、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとして決定する。ここで、「第３予測境界ボックス」の予測信頼性ベクトルの値は、「第２検出境界ボックス」の検出信頼性ベクトルの値よりも小さい。

【0047】

また、推定部２２は、いずれの予測境界ボックスともマッチせず且つ検出信頼性ベクトルの値が「第２閾値」よりも大きい検出境界ボックス（以下、「第３検出境界ボックス」と呼ぶ）に関して、第３検出境界ボックスと、第３検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、新規の物体ＩＤとを、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとして決定する。

【0048】

＜視覚物体追跡装置の動作例＞
以上の構成を有する視覚物体追跡装置の処理動作の一例について説明する。

【0049】

〈第１処理動作例〉
図４は、第３実施形態における視覚物体追跡装置の処理動作例の説明に供する図である。ここでは、特に、推定部２２の処理動作について説明する。

【0050】

図４において、情報Ｉ１は、上記の第１セットに対応する。また、情報Ｉ２は、上記の第２セットに対応する。また、情報Ｉ３は、評価部２１から出力される情報に対応する。

【0051】

推定部２２は、関連ウェイトマトリクスＰ_ｐｄに基づいて、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定する（ステップＳ１１，Ｓ１２）。

【0052】

具体的には、推定部２２は、関連ウェイトの総和が最大となるように、各ペアが予測境界ボックス及び検出境界ボックスを含むペア群を選択する。ただし、制約条件として、同じ予測境界ボックスが複数のペアに含まれず、且つ、同じ検出境界ボックスが複数のペアに含まれないという条件を満たす必要がある。例えば、３つの予測境界ボックスＰＢ１，ＰＢ２，ＰＢ３及び３つの検出境界ボックスＤＢ１，ＤＢ２，ＤＢ３が存在しているものとする。この場合、全部で９つのペアが存在する。そして、９つのペアに対応する関連ウェイトは、Ｐ_１１，Ｐ_１２，・・・，Ｐ_３３である。同じ予測境界ボックスが重複して選択されないこと及び同じ検出境界ボックスが重複して選択されないことを制約条件として、関連ウェイトの総和が最大となるように、各ペアが予測境界ボックス及び検出境界ボックスを含むペア群を選択する。例えば、関連ウェイトＰ_１１と関連ウェイトＰ_２３と関連ウェイトＰ_３２との総和が最大である場合、予測境界ボックスＰＢ１と検出境界ボックスＤＢ１とのペア、予測境界ボックスＰＢ２と検出境界ボックスＤＢ３とのペア、及び、予測境界ボックスＰＢ３と検出境界ボックスＤＢ２とのペアが選択されることになる。

【0053】

そして、推定部２２は、選択されたペア群のうち、関連ウェイトが「判定閾値」以上であるペアを上記のマッチしているペアとする。例えば、関連ウェイトＰ_１１及び関連ウェイトＰ_２３のそれぞれが「判定閾値」以上である場合、予測境界ボックスＰＢ１と検出境界ボックスＤＢ１とのペア、及び、予測境界ボックスＰＢ２と検出境界ボックスＤＢ３とのペアのそれぞれが、上記のマッチしているペアである。また、関連ウェイトＰ_３２が判定閾値より小さい場合、予測境界ボックスＰＢ３は、上記のいずれの検出境界ボックスともマッチしない予測境界ボックスであり、検出境界ボックスＤＢ２は、上記のいずれの予測境界ボックスともマッチしない検出境界ボックスである。

【0054】

次いで、推定部２２は、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤを決定する（ステップＳ１３）。

【0055】

具体的には、推定部２２は、いずれの予測境界ボックスともマッチせず且つ検出信頼性ベクトルの値が「所定の閾値（上記第２閾値）」よりも大きい検出境界ボックスに関して、この検出境界ボックスと、この検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、新規の物体ＩＤとを、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとして決定する。例えば、上記の検出境界ボックスＤＢ２の検出信頼性ベクトルｈ_２の値が所定の閾値よりも大きい場合、検出境界ボックスＤＢ２、検出信頼性ベクトルｈ_２、検出境界ボックスＤＢ２の検出特徴ベクトル、及び、新規の物体ＩＤが、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとなる。

【0056】

また、推定部２２は、いずれの検出境界ボックスともマッチせず且つ予測信頼性ベクトルの値が「所定の閾値（上記第１閾値）」よりも大きい予測境界ボックスに関して、この予測境界ボックスと、この予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとして決定する。例えば、上記の予測境界ボックスＰＢ３の予測信頼性ベクトルｖ_３の値が所定の閾値よりも大きい場合、予測境界ボックスＰＢ３、予測信頼性ベクトルｖ_３、並びに、予測境界ボックスＰＢ３の予測特徴ベクトル及び物体ＩＤが、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとなる。

【0057】

また、推定部２２は、予測境界ボックスと検出境界ボックスとがマッチしているペアに関して、この予測境界ボックスの予測信頼性ベクトルの値がこの検出境界ボックスの検出信頼性ベクトルの値よりも大きい場合、この予測境界ボックス、この予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤを、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとして決定する。例えば、上記の予測境界ボックスＰＢ１と検出境界ボックスＤＢ１とのペアに関して、予測信頼性ベクトルｖ_１の値が検出信頼性ベクトルｈ_１の値よりも大きい場合、予測境界ボックスＰＢ１、予測信頼性ベクトルｖ_１、並びに、予測境界ボックスＰＢ１の特徴ベクトル及び物体ＩＤが、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとなる。

【0058】

また、推定部２２は、予測境界ボックスと検出境界ボックスとがマッチしているペアに関して、この予測境界ボックスの予測信頼性ベクトルの値がこの検出境界ボックスの検出信頼性ベクトルの値よりも小さい場合、この検出境界ボックス、この検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトル、並びに、この予測境界ボックスの物体ＩＤを、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとして決定する。例えば、上記の予測境界ボックスＰＢ２と検出境界ボックスＤＢ３とのペアに関して、予測信頼性ベクトルｖ_２の値が検出信頼性ベクトルｈ_３の値よりも大きい場合、検出境界ボックスＤＢ３、検出信頼性ベクトルｈ_３、検出境界ボックスＤＢ３の検出特徴ベクトル、及び、予測境界ボックスＰＢ２の物体ＩＤが、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤとなる。

【0059】

〈第２処理動作例〉
図５は、第３実施形態における視覚物体追跡装置の処理動作例の説明に供する図である。ここでは、特に、推定部２２の処理動作について説明する。

【0060】

図５において、情報Ｉ１は、上記の第１セットに対応する。また、情報Ｉ２は、上記の第２セットに対応する。また、情報Ｉ３は、評価部２１から出力される情報に対応する。

【0061】

推定部２２は、関連ウェイトと予測信頼性ベクトルと検出信頼性ベクトルとの総和が最大になるように、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定する（ステップＳ２１，Ｓ２２）。ただし、制約条件として、予測境界ボックスと検出境界ボックスとがマッチしているペアに含まれる予測境界ボックスが、いずれの検出境界ボックスともマッチしない予測境界ボックスとなることはないという条件を満たす必要がある。また、制約条件として、予測境界ボックスと検出境界ボックスとがマッチしているペアに含まれる検出境界ボックスが、いずれの予測境界ボックスともマッチしない検出境界ボックスとなることはないという条件を満たす必要がある。

【0062】

例えば、関連ウェイトＰ_１１と関連ウェイトＰ_２３と予測信頼性ベクトルｖ_３と検出信頼性ベクトルｈ_２との総和が最大となる場合、予測境界ボックスＰＢ１と検出境界ボックスＤＢ１とのペア、及び、予測境界ボックスＰＢ２と検出境界ボックスＤＢ３とのペアのそれぞれが、上記のマッチしているペアである。また、予測境界ボックスＰＢ３は、上記のいずれの検出境界ボックスともマッチしない予測境界ボックスであり、検出境界ボックスＤＢ２は、上記のいずれの予測境界ボックスともマッチしない検出境界ボックスである。

【0063】

そして、推定部２２は、上記のステップＳ１３と同様に、推定境界ボックス、推定信頼性ベクトル、推定特徴ベクトル、及び推定物体ＩＤを決定する（ステップＳ２３）。

【0064】

＜変形例＞
検出部３１は、「検出境界ボックス」及び「検出特徴ベクトル」に加えて、「検出境界ボックス」の存在信頼性（existence confidence:ｃ_ｄ）を生成してもよい。また、予測部３２は、「予測境界ボックス」及び「予測特徴ベクトル」に加えて、「予測境界ボックス」の存在信頼性（existence confidence:ｃ_ｐ）を予測してもよい。そして、評価部２１は、予測部３２及び検出部３１から受け取った、「検出境界ボックス」、「検出特徴ベクトル」、「検出境界ボックス」の存在信頼性ｃ_ｄ、「予測境界ボックス」、「予測特徴ベクトル」、及び、「予測境界ボックス」の存在信頼性ｃ_ｐに基づいて、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、関連ウェイトマトリクスとを生成してもよい。これにより、評価部２１は、さらに「検出境界ボックス」の存在信頼性ｃ_ｄ及び「予測境界ボックス」の存在信頼性ｃ_ｐに基づいて、予測信頼性ベクトル、検出信頼性ベクトル及び関連ウェイトマトリクスを生成するので、予測信頼性ベクトル、検出信頼性ベクトル及び関連ウェイトマトリクスを精度良く生成することができる。これにより、推定部２２による推定精度が向上するので、追跡精度をさらに向上させることができる。

【0065】

＜第４実施形態＞
第４実施形態は、上記のニューラルネットワーク（評価モデル）の学習を制御する学習装置（学習システム）に関する。

【0066】

＜学習装置の構成例＞
図６は、第４実施形態における学習装置（学習システム）の一例を示すブロック図である。図６において学習装置５０は、検出部５１と、予測部５２と、正解生成部５３と、乖離指標算出部５４と、評価モデル５５と、最適化部５６と、記憶部５７とを有している。

【0067】

記憶部５７は、「教師画像群」と、該教師画像群に対応する複数の「正解境界ボックス」とを記憶している。そして、各正解境界ボックスには、物体ＩＤが付されている。「教師画像群」は、例えば、動画等の時系列の複数のフレームである。また、「正解境界ボックス」は、例えば、人の作業によって各教師画像に含まれる物体画像を囲むように設定された境界ボックスである。又は、「正解境界ボックス」は、例えば、オブジェクト検出器（不図示）によって事前に自動的に割り当てられた境界ボックスである。該オブジェクト検出器（不図示）は、検出器５１よりも精度は優れているが、推論時間の間のリアルタイム使用での実用よりも多くの計算を必要とする。そして、「正解境界ボックス」には、例えば人の作業によって、対応する物体のＩＤが付されている。

【0068】

検出部５１は、教師画像群の各教師画像が順次入力される。そして、検出部５１は、入力された教師画像（以下では、「現教師画像」又は「現フレーム」と呼ぶことがある）に含まれる各物体画像を検出し、検出された各物体画像に対応する境界ボックスに関する情報（例えば、現教師画像における境界ボックスの位置及び大きさに関する情報）を生成する。検出部５１は、生成した情報を「検出境界ボックス」として出力する。また、検出部５１は、検出した境界ボックス内の画像に基づいて特徴ベクトルを生成し、生成した特徴ベクトルを「検出特徴ベクトル」として出力する。

【0069】

予測部５２は、１つ又は複数の「過去教師画像」についての、少なくとも推定境界ボックス及び推定物体ＩＤに関する情報を、記憶部５７から取得し、取得した情報に基づいて、現教師画像についての境界ボックス及び該境界ボックスに対応する特徴ベクトルを予測する。「過去教師画像」は、上記の「現教師画像」の撮影タイミングよりも前のタイミングで撮影された画像である。そして、予測部５２は、予測した境界ボックス及び予測した特徴ベクトルを、「予測境界ボックス」及び「予測特徴ベクトル」として出力する。

【0070】

正解生成部５３は、現教師画像についての、複数の検出境界ボックス及び複数の検出特徴ベクトルを検出部５１から受け取る。また、正解生成部５３は、現教師画像についての、複数の予測境界ボックス及び複数の予測特徴ベクトルを予測部５２から受け取る。また、正解生成部５３は、現教師画像に対応する複数の（物体ＩＤ付きの）正解境界ボックスを受け取る。そして、正解生成部５３は、同じ正解境界ボックスとマッチする予測境界ボックス及び検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定する。そして、正解生成部５３は、特定されたペア、特定された予測境界ボックス、及び、特定された検出境界ボックスに基づいて、「正解関連ウェイトマトリクス」、「正解予測信頼性ベクトル」、及び「正解検出信頼性ベクトル」のグループを生成する。

【0071】

評価モデル５５は、第２実施形態及び第３実施形態にて説明した評価部２１の評価モデルに対応する。すなわち、評価モデル５５は、上記の「第１セット」及び「第２セット」に基づいて、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、関連ウェイトマトリクスとを生成する、モデルである。ここでの「第１セット」は、予測部５２から受け取る、現教師画像についての複数の予測境界ボックス及び複数の予測特徴ベクトルである。また、ここでの「第２セット」は、検出部５１から受け取る、現教師画像についての複数の検出境界ボックス及び複数の検出特徴ベクトルである。そして、評価モデル５５は、「第１セット」及び「第２セット」に基づいて生成した予測信頼性ベクトル、検出信頼性ベクトル、及び関連ウェイトマトリクスのグループを、乖離指標算出部５４へ出力する。

【0072】

乖離指標算出部５４は、正解生成部５３にて生成された上記グループと評価モデル５５から出力された上記グループとの「乖離レベル（乖離値）」を示す「乖離指標」を算出する。ここで、例えば、算出された「乖離指標」の示す「乖離レベル（乖離値）」がゼロに近いほど、評価モデル５５によって生成されたグループが正解生成部５３にて生成された正解グループに近いことを表しているので、評価モデル５５の学習が進んでいることになる。このため、評価モデル５５に対する学習は、「乖離レベル（乖離値）」が所定レベルよりも小さくなる学習進捗レベルに達するまで行われることになる。なお、乖離指標算出部５４は、「乖離指標」の算出のために、ロス関数（Loss Function）を用いてもよい。

【0073】

最適化部５６は、乖離指標算出部５４にて算出された「乖離指標」に基づいて、評価モデル５５のパラメータ（ニューラルネットワークの重み等）を調整する。すなわち、最適化部５６は、乖離指標算出部５４にて算出された「乖離指標」が小さくなる方向に、評価モデル５５のパラメータを調整する。

【0074】

＜学習装置の動作例＞
以上の構成を有する学習装置の処理動作の一例について説明する。図７は、第４実施形態における学習装置の処理動作例の説明に供する図である。ここでは、特に、正解生成部５３の処理動作について説明する。

【0075】

正解生成部５３は、「同じ正解境界ボックスとマッチする予測境界ボックス及び検出境界ボックスのペア」と、「いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックス」と、「いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックス」とを特定する（ステップＳ３１，Ｓ３２）。

【0076】

例えば、正解生成部５３は、現教師画像に対応する複数の（物体ＩＤ付きの）正解境界ボックスのうちで、選択される正解境界ボックスを順次変更しながら、各正解境界ボックスを「処理対象の正解境界ボックス」として順次選択する。そして、正解生成部５３は、「処理対象の正解境界ボックス」に対応する予測境界ボックスを特定する（ステップＳ３１）。また、正解生成部５３は、「処理対象の正解境界ボックス」に対応する検出境界ボックスを特定する（ステップＳ３２）。ステップＳ３１及びステップＳ３２にて「処理対象の正解境界ボックス」に対応する予測境界ボックス及び検出境界ボックスが特定される場合、これらの予測境界ボックス及び検出境界ボックスが、上記の「同じ正解境界ボックスとマッチする予測境界ボックス及び検出境界ボックスのペア」となる。また、ステップＳ３１にて「処理対象の正解境界ボックス」に対応する予測境界ボックスが特定される一方、ステップＳ３２にて「処理対象の正解境界ボックス」に対応する検出境界ボックスが特定されない（つまり、存在しない）場合、この予測境界ボックスは、上記の「いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックス」となる。また、ステップＳ３２にて「処理対象の正解境界ボックス」に対応する検出境界ボックスが特定される一方、ステップＳ３１にて「処理対象の正解境界ボックス」に対応する予測境界ボックスが特定されない（つまり、存在しない）場合、この検出境界ボックスは、上記の「いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックス」となる。

【0077】

そして、正解生成部５３は、特定されたペア、特定された予測境界ボックス、及び、特定された検出境界ボックスに基づいて、「正解関連ウェイトマトリクス」、「正解予測信頼性ベクトル」、及び「正解検出信頼性ベクトル」を生成（算出）する（ステップＳ３３）。

【0078】

例えば、正解生成部５３は、「同じ正解境界ボックスとマッチする予測境界ボックス及び検出境界ボックスのペア」の関連ウェイトＰ_ｐｄとして、この予測境界ボックスと正解境界ボックスとのＩｏＵの平方根とこの検出境界ボックスと正解境界ボックスとのＩｏＵの平方根との積を算出する。また、正解生成部５３は、「いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックス」の予測信頼性ベクトルｖ_ｐの値として、この予測境界ボックスと正解境界ボックスとのＩｏＵを算出する。また、正解生成部５３は、「いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックス」の検出信頼性ベクトルｈ_ｄの値として、この検出境界ボックスと正解境界ボックスとのＩｏＵを算出する。

【0079】

そして、上記の通り、正解生成部５３にて生成された「正解関連ウェイトマトリクス」、「正解予測信頼性ベクトル」、及び「正解検出信頼性ベクトル」に基づいて、乖離指標算出部５４が、「乖離指標」を算出する。そして、最適化部５６が、乖離指標算出部５４にて算出された「乖離指標」に基づいて、評価モデル５５のパラメータを調整する。以上のようにして、学習装置５０は、評価モデル５５を学習させることができる。

【0080】

＜他の実施形態＞
＜１＞第２実施形態から第４実施形態では、視覚物体追跡装置（視覚物体追跡システム）と学習装置（学習システム）とが異なる装置（システム）であることを前提に説明を行ったが、これに限定されるものではなく、同一の装置（システム）に含まれていてもよい。この場合、重複する複数の機能部、つまり、検出部３１及び検出部５１、予測部３２及び予測部５２、評価部２１及び評価モデル５５、並びに、記憶部３３及び記憶部５７は、それぞれ１つ設けられればよい。

【0081】

＜２＞図８は、視覚物体追跡装置（視覚物体追跡システム）のハードウェア構成例を示す図である。図８において視覚物体追跡装置（視覚物体追跡システム）１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。

【0082】

第１実施形態から第３実施形態の視覚物体追跡装置（視覚物体追跡システム）１０，２０，３０は、それぞれ、図８に示したハードウェア構成を有することができる。第１実施形態から第３実施形態の視覚物体追跡装置（視覚物体追跡システム）１０，２０，３０の推定部１１，２２と、評価部２１と、検出部３１と、予測部３２とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。記憶部３３は、メモリ１０２によって実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、視覚物体追跡装置（視覚物体追跡システム）１０，２０，３０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって視覚物体追跡装置（視覚物体追跡システム）１０，２０，３０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを視覚物体追跡装置（視覚物体追跡システム）１０，２０，３０に供給できる。

【0083】

＜３＞図９は、学習装置（学習システム）のハードウェア構成例を示す図である。図９において学習装置（学習システム）２００は、プロセッサ２０１と、メモリ２０２とを有している。プロセッサ２０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ２０１は、複数のプロセッサを含んでもよい。メモリ２０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ２０２は、プロセッサ２０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ２０１は、図示されていないI/Oインタフェースを介してメモリ２０２にアクセスしてもよい。

【0084】

第４実施形態の学習装置（学習システム）５０は、図９に示したハードウェア構成を有することができる。第４実施形態の学習装置（学習システム）５０の検出部５１と、予測部５２と、正解生成部５３と、乖離指標算出部５４と、評価モデル５５と、最適化部５６とは、プロセッサ２０１がメモリ２０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。記憶部５７は、メモリ２０２によって実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、学習装置（学習システム）５０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって学習装置（学習システム）５０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを学習装置（学習システム）５０に供給できる。
すなわち、第１実施形態から第３実施形態の視覚物体追跡装置（視覚物体追跡システム）１０，２０，３０、及び、第４実施形態の学習装置（学習システム）５０は、それぞれ、具体的なハードウェア構成として、図１０に示すようなハードウェア構成を有していてもよい。図１０は、ハードウェア構成の具体例を示す図である。

【0085】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0086】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0087】

（付記１）
それぞれが対応する物体ＩＤが付された複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定すること、
を含む、
視覚物体追跡方法。

【0088】

（付記２）
前記複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、前記複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取ること、及び、
前記第１セット及び前記第２セットに基づいて、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成すること、
をさらに含み、
前記推定することは、
複数の前記予測信頼性ベクトル、複数の前記検出信頼性ベクトル、前記関連ウェイトマトリクス、前記第１セット、及び前記第２セットに基づいて、前記複数の推定境界ボックス、各推定境界ボックスの推定信頼性ベクトル、各推定境界ボックスの推定特徴ベクトル、及び、各推定境界ボックスに対応する推定物体ＩＤを推定すること、
を含む、
付記１記載の視覚物体追跡方法。

【0089】

（付記３）
前記推定することは、
前記関連ウェイトに基づいて、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定すること、及び
いずれの検出境界ボックスともマッチせず且つ第１予測信頼性ベクトルの値が第１閾値よりも大きい第１予測境界ボックスに関して、前記第１予測境界ボックスと、前記第１予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
付記２記載の視覚物体追跡方法。

【0090】

（付記４）
前記推定することは、
前記マッチしているペアであって、第２予測信頼性ベクトルの値が第１検出信頼性ベクトルの値よりも大きい、第２予測境界ボックス及び第１検出境界ボックスを含むペアに関して、前記第２予測境界ボックスと、前記第２予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
付記３記載の視覚物体追跡方法。

【0091】

（付記５）
前記推定することは、
前記マッチしているペアであって、第３予測信頼性ベクトルの値が第２検出信頼性ベクトルの値よりも小さい、第３予測境界ボックス及び第２検出境界ボックスを含むペアに関して、前記第２検出境界ボックスと、前記第２検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、前記第３予測境界ボックスの物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
付記３又は４に記載の視覚物体追跡方法。

【0092】

（付記６）
前記推定することは、
いずれの予測境界ボックスともマッチせず且つ第３検出信頼性ベクトルの値が第２閾値よりも大きい第３検出境界ボックスに関して、前記第３検出境界ボックスと、前記第３検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、新規の物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
付記３から５のいずれか１項に記載の視覚物体追跡方法。

【0093】

（付記７）
それぞれが対応する物体ＩＤが付された複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定する推定手段を具備する視覚物体追跡システム。

【0094】

（付記８）
前記複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、前記複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する評価手段をさらに具備し、
前記推定手段は、前記評価手段にて生成された、複数の前記予測信頼性ベクトル、複数の前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスと、前記第１セット及び前記第２セットとに基づいて、複数の推定境界ボックス、各推定境界ボックスの推定信頼性ベクトル、各推定境界ボックスの推定特徴ベクトル、及び、各推定境界ボックスに対応する推定物体ＩＤを推定する、
付記７記載の視覚物体追跡システム。

【0095】

（付記９）
前記推定手段は、
前記関連ウェイトに基づいて、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定し、
いずれの検出境界ボックスともマッチせず且つ第１予測信頼性ベクトルの値が第１閾値よりも大きい第１予測境界ボックスに関して、前記第１予測境界ボックスと、前記第１予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定する、
付記８記載の視覚物体追跡システム。

【0096】

（付記１０）
前記推定手段は、
前記マッチしているペアであって、第２予測信頼性ベクトルの値が第１検出信頼性ベクトルの値よりも大きい、第２予測境界ボックス及び第１検出境界ボックスを含むペアに関して、前記第２予測境界ボックスと、前記第２予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定する、
付記９記載の視覚物体追跡システム。

【0097】

（付記１１）
前記推定手段は、
前記マッチしているペアであって、第３予測信頼性ベクトルの値が第２検出信頼性ベクトルの値よりも小さい、第３予測境界ボックス及び第２検出境界ボックスを含むペアに関して、前記第２検出境界ボックスと、前記第２検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、前記第３予測境界ボックスの物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定する、
付記９又は１０に記載の視覚物体追跡システム。

【0098】

（付記１２）
前記推定手段は、
いずれの予測境界ボックスともマッチせず且つ第３検出信頼性ベクトルの値が第２閾値よりも大きい第３検出境界ボックスに関して、前記第３検出境界ボックスと、前記第３検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、新規の物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定する、
付記９から１１のいずれか１項に記載の視覚物体追跡システム。

【0099】

（付記１３）
予測境界ボックス及び検出境界ボックスについての評価モデルをトレーニングする学習方法であって、
前記評価モデルは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する、モデルであり、
前記学習方法は、
教師画像群に基づいて得られた前記第２セット及び前記教師画像群に対応する複数の正解境界ボックスに基づいて得られた前記第１セットを取得すること、
前記第１セット及び前記第２セットに基づいて、同じ正解境界ボックスとマッチする前記予測境界ボックス及び前記検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定すること、
前記特定されたペア、前記特定された予測境界ボックス、及び前記特定された検出境界ボックスに基づいて、正解関連ウェイトマトリクス、正解予測信頼性ベクトル、及び正解検出信頼性ベクトルを生成すること、
前記第１セット及び前記第２セットに基づいて前記評価モデルから出力される前記予測信頼性ベクトル、前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスと、前記正解予測信頼性ベクトル、前記正解検出信頼性ベクトル、及び前記正解関連ウェイトマトリクスとの乖離レベルを示す乖離指標を算出すること、及び、
前記乖離指標に基づいて、前記評価モデルのパラメータを調整すること、
を含む学習方法。

【0100】

（付記１４）
予測境界ボックス及び検出境界ボックスについての評価モデルをトレーニングする学習システムであって、
前記評価モデルは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する、モデルであり、
前記学習システムは、
予測手段と、検出手段と、正解生成手段と、乖離指標算出手段と、最適化手段と、
を具備し、
前記検出手段は、教師画像群に基づいて得られた前記第２セットを、前記評価モデル及び前記正解生成手段へ出力し、
前記予測手段は、前記教師画像群に対応する複数の正解境界ボックスに基づいて得られた前記第１セットを、前記評価モデル及び前記正解生成手段へ出力し、
前記正解生成手段は、同じ正解境界ボックスとマッチする予測境界ボックス及び検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定し、前記特定されたペア、前記特定された予測境界ボックス、及び前記特定された検出境界ボックスに基づいて、正解関連ウェイトマトリクス、正解予測信頼性ベクトル、及び正解検出信頼性ベクトルを生成し、
前記乖離指標算出手段は、前記第１セット及び前記第２セットに基づいて前記評価モデルから出力される前記予測信頼性ベクトル、前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスのグループと、前記正解予測信頼性ベクトル、前記正解検出信頼性ベクトル、及び前記正解関連ウェイトマトリクスのグループとの乖離レベルを示す乖離指標を算出し、
前記最適化手段は、前記乖離指標に基づいて、前記評価モデルのパラメータを調整する、
学習システム。

【符号の説明】

【0101】

１０ 視覚物体追跡装置（視覚物体追跡システム）
１１ 推定部
２０ 視覚物体追跡装置（視覚物体追跡システム）
２１ 評価部
２２ 推定部
３０ 視覚物体追跡装置（視覚物体追跡システム）
３１ 検出部
３２ 予測部
３３ 記憶部
５０ 学習装置（学習システム）
５１ 検出部
５２ 予測部
５３ 正解生成部
５４ 乖離指標算出部
５５ 評価モデル
５６ 最適化部
５７ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2022-03-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

それぞれが対応する物体ＩＤが付された複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定すること、
を含む、
視覚物体追跡方法。

【請求項2】

前記複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、前記複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取ること、及び、
前記第１セット及び前記第２セットに基づいて、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成すること、
をさらに含み、
前記推定することは、
複数の前記予測信頼性ベクトル、複数の前記検出信頼性ベクトル、前記関連ウェイトマトリクス、前記第１セット、及び前記第２セットに基づいて、前記複数の推定境界ボックス、各推定境界ボックスの推定信頼性ベクトル、各推定境界ボックスの推定特徴ベクトル、及び、各推定境界ボックスに対応する推定物体ＩＤを推定すること、
を含む、
請求項１記載の視覚物体追跡方法。

【請求項3】

前記推定することは、
前記関連ウェイトに基づいて、予測境界ボックスと検出境界ボックスとがマッチしているペア、いずれの検出境界ボックスともマッチしない予測境界ボックス、及び、いずれの予測境界ボックスともマッチしない検出境界ボックスを決定すること、及び
いずれの検出境界ボックスともマッチせず且つ第１予測信頼性ベクトルの値が第１閾値よりも大きい第１予測境界ボックスに関して、前記第１予測境界ボックスと、前記第１予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
請求項２記載の視覚物体追跡方法。

【請求項4】

前記推定することは、
前記マッチしているペアであって、第２予測信頼性ベクトルの値が第１検出信頼性ベクトルの値よりも大きい、第２予測境界ボックス及び第１検出境界ボックスを含むペアに関して、前記第２予測境界ボックスと、前記第２予測境界ボックスの予測信頼性ベクトル、予測特徴ベクトル及び物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
請求項３記載の視覚物体追跡方法。

【請求項5】

前記推定することは、
前記マッチしているペアであって、第３予測信頼性ベクトルの値が第２検出信頼性ベクトルの値よりも小さい、第３予測境界ボックス及び第２検出境界ボックスを含むペアに関して、前記第２検出境界ボックスと、前記第２検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、前記第３予測境界ボックスの物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
請求項３又は４に記載の視覚物体追跡方法。

【請求項6】

前記推定することは、
いずれの予測境界ボックスともマッチせず且つ第３検出信頼性ベクトルの値が第２閾値よりも大きい第３検出境界ボックスに関して、前記第３検出境界ボックスと、前記第３検出境界ボックスの検出信頼性ベクトル及び検出特徴ベクトルと、新規の物体ＩＤとを、前記推定境界ボックス、前記推定信頼性ベクトル、前記推定特徴ベクトル、及び前記推定物体ＩＤとして決定すること、
を含む、
請求項３から５のいずれか１項に記載の視覚物体追跡方法。

【請求項7】

それぞれが対応する物体ＩＤが付された複数の予測境界ボックスと、複数の検出境界ボックスとに基づいて、複数の推定境界ボックス及び各推定境界ボックスに対応する推定物体ＩＤを推定する推定手段を具備する視覚物体追跡システム。

【請求項8】

前記複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、前記複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する評価手段をさらに具備し、
前記推定手段は、前記評価手段にて生成された、複数の前記予測信頼性ベクトル、複数の前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスと、前記第１セット及び前記第２セットとに基づいて、複数の推定境界ボックス、各推定境界ボックスの推定信頼性ベクトル、各推定境界ボックスの推定特徴ベクトル、及び、各推定境界ボックスに対応する推定物体ＩＤを推定する、
請求項７記載の視覚物体追跡システム。

【請求項9】

予測境界ボックス及び検出境界ボックスについての評価モデルをトレーニングする学習方法であって、
前記評価モデルは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する、モデルであり、
前記学習方法は、
教師画像群に基づいて得られた前記第２セット及び前記教師画像群に対応する複数の正解境界ボックスに基づいて得られた前記第１セットを取得すること、
前記第１セット及び前記第２セットに基づいて、同じ正解境界ボックスとマッチする前記予測境界ボックス及び前記検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定すること、
前記特定されたペア、前記特定された予測境界ボックス、及び前記特定された検出境界ボックスに基づいて、正解予測信頼性ベクトル、正解検出信頼性ベクトル、及び正解関連ウェイトマトリクスを生成すること、
前記第１セット及び前記第２セットに基づいて前記評価モデルから出力される前記予測信頼性ベクトル、前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスと、前記正解関連ウェイトマトリクス、前記正解予測信頼性ベクトル、及び前記正解検出信頼性ベクトルとの乖離レベルを示す乖離指標を算出すること、及び、
前記乖離指標に基づいて、前記評価モデルのパラメータを調整すること、
を含む学習方法。

【請求項10】

予測境界ボックス及び検出境界ボックスについての評価モデルをトレーニングする学習システムであって、
前記評価モデルは、それぞれが対応する物体ＩＤが付された複数の予測境界ボックス及び前記複数の予測境界ボックスにそれぞれ対応する複数の予測特徴ベクトルの第１セット、並びに、複数の検出境界ボックス及び前記複数の検出境界ボックスにそれぞれ対応する複数の検出特徴ベクトルの第２セットを受け取り、各予測境界ボックスの予測信頼性ベクトルと、各検出境界ボックスの検出信頼性ベクトルと、予測境界ボックスと検出境界ボックスとの各ペアについての関連ウェイトを含む関連ウェイトマトリクスとを生成する、モデルであり、
前記学習システムは、
予測手段と、検出手段と、正解生成手段と、乖離指標算出手段と、最適化手段と、
を具備し、
前記検出手段は、教師画像群に基づいて得られた前記第２セットを、前記評価モデル及び前記正解生成手段へ出力し、
前記予測手段は、前記教師画像群に対応する複数の正解境界ボックスに基づいて得られた前記第１セットを、前記評価モデル及び前記正解生成手段へ出力し、
前記正解生成手段は、同じ正解境界ボックスとマッチする予測境界ボックス及び検出境界ボックスのペアと、いずれの検出境界ボックスともマッチしない正解境界ボックスにマッチする予測境界ボックスと、いずれの予測境界ボックスともマッチしない正解境界ボックスにマッチする検出境界ボックスとを特定し、前記特定されたペア、前記特定された予測境界ボックス、及び前記特定された検出境界ボックスに基づいて、正解関連ウェイトマトリクス、正解予測信頼性ベクトル、及び正解検出信頼性ベクトルを生成し、
前記乖離指標算出手段は、前記第１セット及び前記第２セットに基づいて前記評価モデルから出力される前記予測信頼性ベクトル、前記検出信頼性ベクトル、及び前記関連ウェイトマトリクスのグループと、前記正解予測信頼性ベクトル、前記正解検出信頼性ベクトル、及び前記正解関連ウェイトマトリクスのグループとの乖離レベルを示す乖離指標を算出し、
前記最適化手段は、前記乖離指標に基づいて、前記評価モデルのパラメータを調整する、
学習システム。

【国際調査報告】