特許 7683812 学習装置、学習方法、追跡装置、追跡方法、及び、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-19

(45)【発行日】2025-05-27

(54)【発明の名称】学習装置、学習方法、追跡装置、追跡方法、及び、記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250520BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 10

(21)【出願番号】P 2024505688

(86)(22)【出願日】2022-03-08

(86)【国際出願番号】 JP2022009889

(87)【国際公開番号】W WO2023170772

(87)【国際公開日】2023-09-14

【審査請求日】2024-07-02

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】福井 宏

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－１８１２６８（ＪＰ，Ａ）

【文献】特開２０１８－０８１５４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

１本の動画を取得する取得手段と、
前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出する抽出手段と、
前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出手段と、
前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付ける対応付手段と、
前記複数の組の前記対応付手段による対応付結果に基づいて、前記対応付手段に前記物体の対応付方法の学習を行わせる学習手段と
を備え、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２間隔となる第２の組とを含む
学習装置。

【請求項2】

前記抽出手段は、前記複数のフレームから、前記第１フレーム、及び前記第２フレームをランダムに選択して前記組を抽出する
請求項１に記載の学習装置。

【請求項3】

前記抽出手段は、前記第１フレームより所定フレーム前、又は後のフレームを前記第２フレームとして選択して前記組を抽出する
請求項１又は２に記載の学習装置。

【請求項4】

前記学習手段は、前記対応付結果に基づいて学習損失を算出し、当該学習損失から前記対応付手段に前記対応付方法の学習を行わせる
請求項１又は２に記載の学習装置。

【請求項5】

前記学習手段は、前記第１フレームに含まれる物体に当該第１フレームより後のフレームである前記第２フレームに含まれる物体を対応付けた順方向対応付結果と、前記第２フレームに含まれる物体に、当該第２フレームより前のフレームである前記第１フレームに含まれる物体を対応付けた逆方向対応付結果とに基づいて、前記対応付手段に前記物体の対応付方法の学習を行わせる
請求項１又は２に記載の学習装置。

【請求項6】

動画を取得する取得手段と、
１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する追跡手段と、
を備え、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２間隔となる第２の組とを含む
追跡装置。

【請求項7】

コンピュータが実行する学習方法であって、
１本の動画を取得し、
前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、
前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、
前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付器を用いて対応付け、
前記複数の組の前記対応付器による対応付結果に基づいて、前記対応付器に前記物体の対応付方法の学習を行わせ、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２間隔となる第２の組とを含む
学習方法。

【請求項8】

コンピューターに、
１本の動画を取得し、
前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、
前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、
前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付器を用いて対応付け、
前記複数の組の前記対応付器による対応付結果に基づいて、前記対応付器に前記物体の対応付方法の学習を行わせ、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２間隔となる第２の組とを含む
学習方法を実行させるためのコンピュータプログラム。

【請求項9】

コンピュータが実行する追跡方法であって、
動画を取得し、
１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する
追跡方法であって、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２間隔となる第２の組とを含む
追跡方法。

【請求項10】

コンピューターに、
動画を取得し、
１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する
追跡方法であって、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２間隔となる第２の組とを含む
追跡方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、学習装置、学習方法、追跡装置、追跡方法、及び、記録媒体の技術分野に関する。

【背景技術】

【0002】

学習用画像に関する環境情報を取得し、環境情報を用いて、学習用画像に含まれる対象物体を検出する物体検出モデルの学習を行う技術が特許文献１に記載されている。対象画像を取得し、取得した対象画像から動きに関連したベクトルを導出し、導出したベクトルを追跡することによって動き検出を行い、計算コストを増大させることなく動き検出を行う技術が特許文献２に記載されている。複数枚のフレームそれぞれから、フレームに撮像されている空間の空間的構造を特徴化した特徴マップを抽出し、複数枚のフレームそれぞれに基づいて、フレームに撮像されている対象物体を捉え、対象物体の領域を示す領域マスクとを抽出し、特徴マップと、物体候補領域と、領域マスクとに基づいて、物体候補領域の特徴を表す領域特徴をフレーム毎に抽出し、フレーム毎に抽出された複数の領域特徴を用いて、フレーム間の物体の対応付けを行い、フレーム間で精度よく同一の物体を対応付ける技術が特許文献３に記載されている。特徴量抽出器を含み、生成器を含まない画像認識器の学習に用いられる学習データを取得し、取得された学習データに含まれるラベル付きの画像を用いた教師あり学習に用いられる第１の指標と、学習データに含まれる画像に基づいて取得される２以上の画像それぞれが特徴量抽出器に入力された場合に出力される特徴量データ同士の関係に関し、教師なし学習に用いられる第２の指標と、を用いて、学習データに含まれる画像に基づいて取得される２以上の画像それぞれが画像認識器に入力された場合に出力される出力データ同士の関係に関し、教師なし学習に用いられる第３の指標を用いずに、画像認識器を学習する技術が特許文献４に記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０２１／０７０３２４号

【文献】国際公開第２０２０／０２２３６２号

【文献】特開２０２０－１８１２６８号公報

【文献】特開２０１９－２０７５６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この開示は、先行技術文献に記載された技術の改良を目的とする学習装置、学習方法、追跡装置、追跡方法、及び、記録媒体を提供することを課題とする。

【課題を解決するための手段】

【0005】

学習装置の一の態様は、１本の動画を取得する取得手段と、前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出する抽出手段と、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出手段と、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付ける対応付手段と、前記複数の組の前記対応付手段による対応付結果に基づいて、前記対応付手段に前記物体の対応付方法の学習を行わせる学習手段とを備え、前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む。

【0006】

学習方法の一の態様は、１本の動画を取得し、前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付器を用いて対応付け、前記複数の組の前記対応付器による対応付結果に基づいて、前記対応付器に前記物体の対応付方法の学習を行わせ、前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む。

【0007】

記録媒体の第１の態様は、コンピューターに、１本の動画を取得し、前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付器を用いて対応付け、前記複数の組の前記対応付器による対応付結果に基づいて、前記対応付器に前記物体の対応付方法の学習を行わせ、前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む学習方法を実行させるためのコンピュータプログラムが記録されている。

【0008】

追跡装置の一の態様は、動画を取得する取得手段と、１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する追跡手段と、を備え、前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む。

【0009】

追跡方法の一の態様は、動画を取得し、１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する追跡方法であって、前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む。

【0010】

記録媒体の第２の態様は、コンピューターに、動画を取得し、１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する追跡方法であって、前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む追跡方法を実行させるためのコンピュータプログラムが記録されている。

【図面の簡単な説明】

【0011】

【図1】図１は、第１実施形態における学習装置の構成を示すブロック図である。

【図2】図２は、第２実施形態における学習装置の構成を示すブロック図である。

【図3】図３は、第２実施形態における学習装置が行う学習動作の流れを示すフローチャートである。

【図4】図４は、第１のペアの抽出例の概念図である。

【図5】図５は、第２のペアの抽出例の概念図である。

【図6】図６は、第２実施形態における学習装置が行う学習動作の変形例の流れを示すフローチャートである。

【図7】図７は、第３実施形態における学習装置が行う学習動作の流れを示すフローチャートである。

【図8】図８は、順方向ペアと逆方向ペアの概念図である。

【図9】図９は、第３実施形態における学習装置が行う学習動作の概念図である。

【図10】図１０は、第４実施形態における学習装置が行う学習動作の概念図である。

【図11】図１１は、第５実施形態における学習装置が行う学習動作の概念図である。

【図12】図１２は、第６実施形態における追跡装置の構成を示すブロック図である。

【図13】図１３は、第６実施形態における追跡装置が行う追跡動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、学習装置、学習方法、追跡装置、追跡方法、及び、記録媒体の実施形態について説明する。
［１：第１実施形態］

【0013】

学習装置、学習方法、及び、記録媒体の第１実施形態について説明する。以下では、学習装置、学習方法、及び記録媒体の第１実施形態が適用された学習装置１を用いて、学習装置、学習方法、及び記録媒体の第１実施形態について説明する。
［１－１：学習装置１の構成］

【0014】

図１を参照しながら、第１実施形態における学習装置１の構成について説明する。図１は、第１実施形態における学習装置１の構成を示すブロック図である。

【0015】

図１に示すように、第１実施形態における学習装置１は、取得部１１と、抽出部１２と、検出部１３と、対応付部１４と、学習部１５とを備えている。

【0016】

取得部１１は、１本の動画ＭＶを取得する。抽出部１２は、動画ＭＶが含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出する。複数の組は、第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、第１及び第２フレームの間の時間間隔が第１間隔とは異なる第２時間間隔となる第２の組とを含む。

【0017】

検出部１３は、第１フレームに含まれる物体、及び第２フレームに含まれる物体の各々を検出する。対応付部１４は、第１フレームに含まれる物体と、第２フレームに含まれる物体とを対応付ける。学習部１５は、複数の組の対応付部１４による対応付結果に基づいて、対応付部１４に物体の対応付方法の学習を行わせる。
［１－２：学習装置１の技術的効果］

【0018】

第１実施形態における学習装置１は、フレーム間の時間間隔が様々な第１及び第２フレームのペアを複数抽出する。複数のペアの各々は、対応付けの学習に用いられる学習データであってもよい。すなわち、学習装置１は、対応付けの学習に用いることができる多くのペアを用意することができる。学習装置１は、多くの第１及び第２フレームのペアを用いて、物体の対応付方法の学習をするので、精度よく物体を対応付けることができる対応付部１４を得ることができる。
［２：第２実施形態］

【0019】

学習装置、学習方法、及び、記録媒体の第２実施形態について説明する。以下では、学習装置、学習方法、及び記録媒体の第２実施形態が適用された学習装置２を用いて、学習装置、学習方法、及び記録媒体の第２実施形態について説明する。
［２－１：学習装置２の構成］

【0020】

図２を参照しながら、第２実施形態における学習装置２の構成について説明する。図２は、第２実施形態における学習装置２の構成を示すブロック図である。

【0021】

図２に示すように、学習装置２は、演算装置２１と、記憶装置２２とを備えている。更に、学習装置２は、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、学習装置２は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。

【0022】

演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｅｃｓｓｉｎｇ Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも１つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、学習装置２が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置２４）を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、学習装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、学習装置２が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、学習装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

【0023】

図２には、学習動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置２１内には、後述する付記に記載された「取得手段」の一具体例である取得部２１１と、後述する付記に記載された「抽出手段」の一具体例である抽出部２１２と、後述する付記に記載された「検出手段」の一具体例である検出部２１３と、後述する付記に記載された「対応付手段」の一具体例である対応付部２１４と、後述する付記に記載された「学習手段」の一具体例である学習部２１５とが実現される。

【0024】

記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している場合に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、学習装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも１つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。

【0025】

記憶装置２２は、複数の動画ＭＶを記憶していてもよい。動画ＭＶは、複数のフレームを含んだ画像データであってもよい。動画ＭＶは、学習装置２による学習動作に用いられてよい。但し、記憶装置２２は、動画ＭＶを記憶していなくてもよい。

【0026】

通信装置２３は、不図示の通信ネットワークを介して、学習装置２の外部の装置と通信可能である。

【0027】

入力装置２４は、学習装置２の外部からの学習装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、学習装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも１つ）を含んでいてもよい。例えば、入力装置２４は学習装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。

【0028】

出力装置２５は、学習装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
［２－２：学習装置２が行う学習動作］

【0029】

図３を参照して、第２実施形態における学習装置２が行う学習動作の流れを説明する。図３は、第２実施形態における学習装置２が行う学習動作の流れを示すフローチャートである。学習装置２が行う学習動作は、オフラインで実施される動作であってもよい。

【0030】

図３に示すように、取得部２１１は、１本の動画ＭＶを取得する（ステップＳ２０）。抽出部２１２は、動画ＭＶが含む複数のフレームから、ペア群を抽出する（ステップＳ２１）。１のペアは、第１フレーム、及び当該第１フレームとは異なる第２フレームを含んでいてもよい。抽出部２１２は、動画ＭＶが含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームのペアを複数抽出する。複数のペアは、第１及び第２フレームの間の時間間隔が第１間隔となる第１のペアと、第１及び第２フレームの間の時間間隔が第１間隔とは異なる第２時間間隔となる第２のペアとを含む。ここで、第１のペアに含まれる第１フレームと、第２のペアに含まれる第１フレームとは異なるフレームであってもよい。また、第１のペアに含まれる第２フレームと、第２のペアに含まれる第２フレームとは異なるフレームであってもよい。抽出部２１２は、１本の動画ＭＶに含まれる全てのフレームのうちの何れか２枚のフレームを選択してペアを生成してもよい。抽出部２１２は、１本の動画ＭＶに含まれる全てのフレームを用いて、バッチ数のペアを抽出してもよい。バッチ数は、例えば、１０２４以上であってもよい。バッチ数は特に限定はなく、任意の値を用いることができる。

【0031】

抽出部２１２は、抽出したペア群から１のペアを選択する（ステップＳ２２）。抽出部２１２は、抽出した複数のペアの内の第１及び第２フレームのペアを選択する。

【0032】

検出部２１３は、第１フレームに含まれる物体、及び第２フレームに含まれる物体の各々を検出する（ステップＳ２３）。対応付部２１４は、学習可能な対応付モデルＭＭを用いて、第１フレームに含まれる物体と、第２フレームに含まれる物体とを対応付ける（ステップＳ２４）。

【0033】

対応付モデルＭＭは、例えば、第１フレームに含まれる物体に関する情報と、第２フレームに含まれる物体に関する情報とが入力された場合に、第１フレームに含まれる物体と第２フレームに含まれる物体との対応付け結果に関する情報を出力可能なモデルであってもよい。対応付モデルＭＭは、典型的には、ニューラルネットワークを用いたモデルであるが、ニューラルネットワークを用いたモデルとは異なるモデルであってもよい。

【0034】

或いは、対応付モデルＭＭは、例えば、第１フレームと第２フレームとが入力された場合に、第１フレームに含まれる物体と第２フレームに含まれる物体との対応付け結果に関する情報を出力可能なモデルであってもよい。つまり、対応付モデルＭＭは、第１フレームに含まれる物体及び第２フレームに含まれる物体の各々を検出し、且つ、第１フレームに含まれる物体と第２フレームに含まれる物体とを対応付けるモデルであってもよい。この場合、検出部２１３は、対応付モデルＭＭを用いて、第１フレームに含まれる物体及び第２フレームに含まれる物体の各々を検出し、対応付部２１４は、学習可能な対応付モデルＭＭを用いて、第１フレームに含まれる物体と、第２フレームに含まれる物体とを対応付けてもよい。或いは、演算装置２１は、検出部２１３と対応付部２１４とが一体化された論理的な処理ブロックを備えていてもよい。

【0035】

抽出部２１２は、抽出した複数の第１及び第２フレームのペアの内に、ステップＳ２２からステップＳ２４の処理が未処理であるペアが有るか否かを判定する（ステップＳ２５）。未処理のペアが有る場合（ステップＳ２５：Ｙｅｓ）、ステップＳ２２に移行する。

【0036】

全てのペアについて、ステップＳ２２からステップＳ２４の処理を実施した場合（ステップＳ２５：Ｎｏ）、学習部２１５は、複数のペアの対応付部２１４による対応付結果に基づいて、対応付部２１４に物体の対応付方法の学習を行わせる（ステップＳ２６）。

【0037】

具体的に、学習部２１５は、対応付部２１４が用いる対応付モデルＭＭに物体の対応付方法の学習を行わせ、対応付モデルＭＭを構築してもよい。より具体的に、学習部２１５は、対応付モデルＭＭの動作を規定するパラメータを調整してもよい。対応付モデルＭＭがニューラルネットワークである場合には、対応付モデルＭＭの動作を規定するパラメータは、ニューラルネットワークの重み及びバイアスの少なくとも一つを含んでいてもよい。学習部２１５は、１本の動画ＭＶを取得し、バッチ数のペアの対応付結果に基づいて、対応付モデルＭＭの動作を規定するパラメータを更新してもよい。対応付モデルＭＭの動作を規定するパラメータは、例えば、ニューラルネットワークの重みやバイアスであってよい。対応付モデルＭＭの動作を規定するパラメータは、記憶装置２２に記憶されてもよい。

【0038】

学習部２１５は、対応付結果に基づいて学習損失を算出し、当該学習損失から対応付モデルＭＭに対応付方法の学習を行わせてもよい。学習部２１５は、対応付モデルＭＭに、対照学習をさせてもよい。学習部２１５は、フレーム間の物体のクロスエントロピー損失等の損失関数を算出し、当該対照損失が小さくなる（典型的には、最小になる）ように、対応付モデルＭＭに対応付方法の学習を行わせてもよい。

【0039】

学習装置２は、学習動作により、オンラインでの多物体追跡において用いることのできる対応付モデルＭＭを構築してもよい。
［２－３：第１のペアの抽出例］

【0040】

図４は、抽出部２１２による第１のペアの抽出例を例示している。抽出部２１２は、複数のフレームから、第１フレーム、及び第２フレームをランダムに選択してペアを抽出してもよい。

【0041】

図４は、１本の動画ＭＶに含まれる、フレーム［１］からフレーム［１０］を示している。フレーム［１］からフレーム［１０］は連続するフレームであってもよい。例えば、フレーム［１］の次のフレームがフレーム［２］であり、フレーム［２］の次のフレームがフレーム［３］であってもよい。

【0042】

例えば、図４に示すように、抽出部２１２は、第１フレームとしてフレーム［１］をランダムに選択し、第２フレームとしてフレーム［３］をランダムに選択してランダムにペアＰ１を抽出してもよい。また、抽出部２１２は、第１フレームとしてフレーム［２］をランダムに選択し、第２フレームとしてフレーム［６］をランダムに選択してランダムにペアＰ２を抽出してもよい。また、抽出部２１２は、第１フレームとしてフレーム［７］をランダムに選択し、第２フレームとしてフレーム［１０］をランダムに選択してランダムにペアＰ３を抽出してもよい。また、抽出部２１２は、第１フレームとしてフレーム［４］をランダムに選択し、第２フレームとしてフレーム［１０］をランダムに選択してランダムにペアＰ４を抽出してもよい。

【0043】

また、例えばフレーム［１］とフレーム［３］とのペアを「順方向ペア」と称し、フレーム［３］とフレーム［１］とのペアを「逆方向ペア」と称し、各々を別のペアとして区別してもよい。
［２－４：第２のペアの抽出例］

【0044】

図５は、抽出部２１２による第２のペアの抽出例を例示している。抽出部２１２は、第１フレームより所定フレーム前、又は後のフレームを第２フレームとして選択して組を抽出してもよい。

【0045】

図５も、１本の動画ＭＶに含まれる、フレーム［１］からフレーム［１０］を示している。フレーム［１］からフレーム［１０］は連続するフレームであってもよい。

【0046】

図５に示すフレーム［１］からフレーム［１０］の左側に示すように、第１フレームより２フレーム前、又は後のフレームを第２フレームとして選択して組を抽出してもよい。このように、２フレーム前、又は後のフレームを第２フレームとして選択することを、「１の飛ばし幅でフレームを選択」と称してもよい。また、図５に示すフレーム［１］からフレーム［１０］の右側に示すように、第１フレームより３フレーム前、又は後のフレームを第２フレームとして選択してペアを抽出してもよい。このように、３フレーム前、又は後のフレームを第２フレームとして選択することを、「２の飛ばし幅でフレームを選択」と称してもよい。図５においては、１の飛ばし幅、及び２の飛ばし幅を例に挙げて説明したが、任意の数字の飛ばし幅であってよい。フレームの飛ばし幅は、自動で決定してもよいし、手動で指定してもよい。

【0047】

なお、図６に示すように、ステップＳ２３の検出部２１３による物体検出動作は、抽出部２１２によるペアの抽出前に行ってもよい。抽出部２１２は、同一のフレームを選択して、異なるペアを抽出する場合がある。このため、取得部２１１が取得した１本の動画ＭＶに含まれるフレームについて、検出部２１３は、抽出部２１２によるペアの抽出前に、物体の検出を行ってもよい。
［２－５：学習装置２の技術的効果］

【0048】

第２実施形態における学習装置２は、複数のフレームから、第１フレーム、及び第２フレームをランダムに選択して組を抽出する、及び／又は、１フレームより所定フレーム前、又は後のフレームを第２フレームとして選択して組を抽出するので、様々なフレームの組み合わせを、より多く容易に生成することができる。学習装置２は、様々なフレームの組み合わせを用いるので、精度よく、且つ効率的に対応付方法を学習させることができ、精度よく対応付けができる対応付モデルＭＭを構築することができる。また、学習装置２は、対応付結果に基づいて学習損失を算出し、当該学習損失から対応付部２１４に対応付方法の学習を行わせるので、対応付けの精度を向上させることができる。

【0049】

例えば、１枚～１０枚程度の少数のフレームを用いて、オンラインで学習する比較例１の学習装置は、少数のペアを用いた学習を行うので、物体同士の対応付の精度が低下しやすい。第２実施形態における学習装置２は、動画に含まれている全てのフレームを用いて学習するので、比較例１の学習装置と比較して、物体同士の対応付の精度が高い。

【0050】

また、複数の動画に含まれる全フレームを用いて、バッチに変換してオフラインで学習を実施する比較例２の学習装置は、複数の動画を配列に落とし込むので、動画のフレーム数を取捨選択して揃える必要がある。このため、計算コストが高い。また、比較例２の学習装置により学習された対応付モデルは、動画に含まれている全てのフレームを用いて、オフラインで動作する。これに対し、第２実施形態における学習装置２は、１本の動画に含まれるフレームのみをバッチに変換すればよいので、計算コストを低くすることができる。これに対し、第２実施形態における対応付モデルＭＭは、１本の動画に含まれるフレーム数に依存する処理がない。

【0051】

また、第２実施形態における学習装置２が構築する対応付モデルＭＭは、オンライン物体追跡モデルの精度を向上させることができる。
［３：第３実施形態］

【0052】

学習装置、学習方法、及び、記録媒体の第３実施形態について説明する。以下では、学習装置、学習方法、及び記録媒体の第３実施形態が適用された学習装置３を用いて、学習装置、学習方法、及び記録媒体の第３実施形態について説明する。

【0053】

第３実施形態における学習装置３は、第２実施形態における学習装置２と同様に、演算装置２１と、記憶装置２２とを備えている。更に、学習装置３は、学習装置２と同様に、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、学習装置３は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。第３実施形態における学習装置３は、第２実施形態における学習装置２と比較して、学習部２１５が行う学習動作が異なる。学習装置３のその他の特徴は、学習装置２のその他の特徴と同一であってもよい。
［３－１：学習装置３が行う学習動作］

【0054】

図７は、第３実施形態における学習装置３が行う学習動作の流れを示すフローチャートである。図７に示すように、取得部２１１は、１本の動画ＭＶを取得する（ステップＳ２０）。

【0055】

検出部２１３は、取得部２１１が取得した１本の動画ＭＶが含むフレームに含まれる物体の各々を検出する。検出部２１３は、例えば順方向で物体を検出してもよい（ステップＳ３０）。検出部２１３は、動画ＭＶが含む複数のフレームの、フレームの撮像順に、物体を検出してもよい。例えば、動画ＭＶが、フレーム［１］からフレーム［１０］までを含む場合、検出部２１３は、まずフレーム［１］に含まれる物体を検出し、次にフレーム［２］に含まれる物体を検出し、次にフレーム［３］に含まれる物体を検出し、・・・最後にフレーム［１０］に含まれる物体を検出してもよい。

【0056】

なお、検出部２１３は、上記順方向での物体の検出に代えて、逆方向で物体を検出してもよい。この場合、検出部２１３は、動画ＭＶが含む複数のフレームの、フレームの撮像と逆順に、物体を検出してもよい。例えば、動画ＭＶが、フレーム［１］からフレーム［１０］までを含む場合、検出部２１３は、まずフレーム［１０］に含まれる物体を検出し、次にフレーム［９］に含まれる物体を検出し、次にフレーム［８］に含まれる物体を検出し、・・・最後にフレーム［１］に含まれる物体を検出してもよい。

【0057】

抽出部２１２は、動画ＭＶが含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームのペアを複数抽出する（ステップＳ２１）。
［３－２：ペア作成例］

【0058】

図８を参照して、第３実施形態における学習装置３が行うペア抽出動作の流れを説明する。図８に示すように、第３実施形態では、例えばフレーム［１］とフレーム［３］とのを、第１順方向ペアＰ１Ｆとして抽出し、フレーム［３］とフレーム［１］とを、第１逆方向ペアＰ１Ｂとして抽出してもよい。第１順方向ペアＰ１Ｆと第１逆方向ペアＰ１Ｂとは、別のペアとして区別してもよい。同様に、例えばフレーム［４］とフレーム［８］とのを、第２順方向ペアＰ２Ｆとして抽出し、フレーム［８］とフレーム［４］とを、第２逆方向ペアＰ２Ｂとして抽出してもよい。第２順方向ペアＰ２Ｆと第２逆方向ペアＰ２Ｂとは、別のペアとして区別してもよい。また、例えばフレーム［７］とフレーム［１０］とのを、第３順方向ペアＰ３Ｆとして抽出し、フレーム［１０］とフレーム［７］とを、第３逆方向ペアＰ３Ｂとして抽出してもよい。第３順方向ペアＰ３Ｆと第３逆方向ペアＰ３Ｂとは、別のペアとして区別してもよい。

【0059】

抽出部２１２は、抽出した複数の第１及び第２フレームのペアの内の１つのペアを選択する（ステップＳ２２）。抽出部２１２は、抽出したペア群から第１及び第２フレームの１のペアを選択する。対応付部２１４は、順方向の対応付けを行う（ステップＳ２４Ｆ）。対応付部２１４は、第１フレームに含まれる物体に、第２フレームに含まれる物体を対応付ける。対応付部２１４は、逆方向の対応付けを行う（ステップＳ２４Ｂ）。対応付部２１４は、第２フレームに含まれる物体に、第１フレームに含まれる物体を対応付ける。

【0060】

抽出部２１２は、抽出したペア群の内に、ステップＳ２２並びにステップＳ２４Ｆ及びステップＳ２４Ｂの処理が未処理であるペアが有るか否かを判定する（ステップＳ２５）。未処理のペアが有る場合（ステップＳ２５：Ｙｅｓ）、ステップＳ２２に移行する。

【0061】

全てのペアについて、ステップＳ２２及びステップＳ２４の処理を実施した場合（ステップＳ２５：Ｎｏ）、学習部２１５は、複数の組の対応付部１４による対応付結果に基づいて、対応付部２１４に物体の対応付方法の学習を行わせる（ステップＳ２６）。

【0062】

学習部２１５は、第１フレームに含まれる物体に、当該第１フレームより後のフレームである第２フレームに含まれる物体を対応付けた順方向対応付結果と、第２フレームに含まれる物体に、当該第２フレームより前のフレームである第１フレームに含まれる物体を対応付けた逆方向対応付結果とに基づいて、対応付部２１４に物体の対応付方法の学習を行わせてもよい。

【0063】

図９は、順方向対応付結果と、逆方向対応付結果との概念図である。図９（ａ）は、第１フレームとしてのフレーム［１］より後のフレームである第２フレームとしてのフレーム［３］に含まれる物体を、フレーム［１］に含まれる物体に対応付けた順方向対応付結果を示している。図９（ｂ）は、第２フレームとしてのフレーム［３］より前のフレームである第１フレームとしてのフレーム［１］に含まれる物体を、フレーム［３］に含まれる物体に対応付けた逆方向対応付結果を示している。

【0064】

図９に例示する場合では、各フレームは、２種類の物体を含んでいる。順方向対応付結果を例示する図９（ａ）は、対応付部２１４は、フレーム［３］における物体Ａを、フレーム［１］における物体Ａに対応付けたことを例示している。また、図９（ａ）は、対応付部２１４は、フレーム［３］における物体Ｂを、フレーム［１］における物体Ｂに対応付けたことを例示している。

【0065】

一方、逆方向対応付結果を例示する図９（ｂ）は、対応付部２１４は、フレーム［１］における物体Ａを、フレーム［３］における物体Ａに対応付けたことを例示している。また、図９（ｂ）は、対応付部２１４は、フレーム［１］における物体Ｂを、フレーム［３］における物体Ｂに対応付けたことを例示している。

【0066】

図９（ａ）に例示する順方向対応付結果と、図９（ｂ）に例示する逆方向対応付結果とを比較すると、対応付部２１４は、順方向対応付においても、逆方向対応付結果においても、同じ対応付けを行っている。

【0067】

また、図９（ｃ）は、第１フレームとしてのフレーム［４］より後のフレームである第２フレームとしてのフレーム［８］に含まれる物体を、フレーム［４］に含まれる物体に対応付けた順方向対応付結果を示している。図９（ｄ）は、第２フレームとしてのフレーム［８］より前のフレームである第１フレームとしてのフレーム［４］に含まれる物体を、フレーム［８］に含まれる物体に対応付けた逆方向対応付結果を示している。

【0068】

順方向対応付結果を例示する図９（ｃ）は、対応付部２１４は、フレーム［８］における物体Ａを、フレーム［４］における物体Ａに対応付けたことを例示している。また、図９（ｃ）は、対応付部２１４は、フレーム［８］における物体Ｂを、フレーム［４］における物体Ｂに対応付けたことを例示している。

【0069】

一方、逆方向対応付結果を例示する図９（ｄ）は、対応付部２１４は、フレーム［８］における物体Ａに、フレーム［４］における物体Ａを対応付けたことを例示している。また、図９（ｄ）は、対応付部２１４は、フレーム［８］における物体Ｂに、フレーム［４］における物体Ｂを対応付けたことを例示している。

【0070】

図９（ｃ）に例示する順方向対応付結果と、図９（ｄ）に例示する逆方向対応付結果とを比較すると、対応付部２１４は、順方向対応付と逆方向対応付とで、異なる対応付けを行っている。

【0071】

学習部２１５は、順方向対応付結果と逆方向対応付結果とが類似しないほど損失が大きくなる損失関数に基づいて、対応付部２１４に物体の対応付方法の学習を行わせてもよい。例えば図９に示す場合であれば、図９（ａ）に示す順方向対応付結果と、図９（ｂ）に示す逆方向対応付結果とが類似するので、損失関数の損失は小さくなってもよい。また、図９（ｃ）に示す順方向対応付結果と、図９（ｄ）に示す逆方向対応付結果とが類似しないので、損失関数の損失は大きくなってもよい。

【0072】

学習装置３は、順方向と逆方向とで物体の対応付けを実施し、両方向の対応付け結果のエラーが小さくなるように学習してもよい。つまり、学習装置３は、教師なし学習をしてもよい。
［３－３：学習装置３の技術的効果］

【0073】

第３実施形態における学習装置３は、第２フレームに含まれる物体を、当該第２フレームより前のフレームである第１フレームに含まれる物体に対応付けた順方向対応付結果と、第１フレームに含まれる物体を当該第１フレームより後のフレームである第２フレームに含まれる物体に対応付けた逆方向対応付結果とに基づいて、対応付部２１４に物体の対応付方法の学習を行わせるので、正解のデータを準備することなく、学習を行わせることができる。すなわち、学習装置３は、教師なし学習のアルゴリズムを用いることができる。

【0074】

学習装置３は、最初に各フレームにおける検出処理を行うので、抽出されたペア群におけるフレームのオーバーラップ分の検出処理を減らすことができ、計算コストを下げることができる。また、学習装置３は、逆方向に対応付けたペアを追加するので、学習に用いることのできるペア数を効率的に増やすことができる。

【0075】

また、学習装置３は、順方向対応付結果と逆方向対応付結果とが類似しないほど損失が大きくなる損失関数に基づいて、対応付部２１４に物体の対応付方法の学習を行わせるので、物体の対応付けの精度を向上させることができる。
［４：第４実施形態］

【0076】

学習装置、学習方法、及び、記録媒体の第４実施形態について説明する。以下では、学習装置、学習方法、及び記録媒体の第４実施形態が適用された学習装置４を用いて、学習装置、学習方法、及び記録媒体の第４実施形態について説明する。

【0077】

第４実施形態における学習装置４は、第３実施形態における学習装置３と同様に、演算装置２１と、記憶装置２２とを備えている。更に、学習装置４は、学習装置３と同様に、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、学習装置４は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。第４実施形態における学習装置４は、第３実施形態における学習装置３と比較して、検出部２１３が行う検出動作、及び学習部２１５が行う学習動作が異なる。学習装置４のその他の特徴は、学習装置３のその他の特徴と同一であってもよい。
［４－１：学習装置４が行う学習動作］

【0078】

第４実施形態では、図７に示すステップＳ３０、及びステップＳ３１において、検出部２１３は、第１フレームに含まれる物体、及び当該物体の位置、並びに第２フレームに含まれる物体、及び当該物体の位置の各々を検出する。検出部２１３は、取得部２１１が取得した１本の動画ＭＶが含むフレームに含まれる物体、及び当該物体の位置の各々を検出してもよい。検出部２１３は、例えば順方向で物体、及び当該物体の位置の各々を検出してもよい（ステップＳ３０）。なお、検出部２１３は、逆方向で物体、及び当該物体の位置の各々を検出してもよい。

【0079】

また、第４実施形態では、図７に示すステップＳ３２において、学習部２１５は、順方向対応付結果において、第１の物体が第１フレームに含まれている位置と、逆方向対応付結果において、当該第１の物体が第１フレームに含まれている位置の比較結果、及び順方向対応付結果において、第２の物体が第２フレームに含まれている位置と、逆方向対応付結果において、当該第２の物体が第２フレームに含まれている位置の比較結果の少なくとも一方に基づいて、対応付部２１４に物体の対応付方法の学習を行わせる。

【0080】

図１０は、図９と同様に、順方向対応付結果と、逆方向対応付結果との概念図である。図１０（ａ）は、フレーム［１］に含まれる物体に、フレーム［１］より後のフレームであるフレーム［３］に含まれる物体を対応付けた順方向対応付結果を示している。図１０（ｂ）は、フレーム［３］に含まれる物体に、フレーム［３］より前のフレームであるフレーム［１］に含まれる物体を対応付けた逆方向対応付結果を示している。

【0081】

順方向対応付結果を例示する図１０（ａ）は、対応付部２１４は、フレーム［３］における物体Ａを、フレーム［１］における物体Ａに対応付けたことを例示している。また、図１０（ａ）は、対応付部２１４は、フレーム［３］における物体Ｂを、フレーム［１］における物体Ｂに対応付けたことを例示している。

【0082】

一方、逆方向対応付結果を例示する図１０（ｂ）は、対応付部２１４は、フレーム［１］における物体Ａを、フレーム［３］における物体Ａに対応付けたことを例示している。また、図１０（ｂ）は、対応付部２１４は、フレーム［１］における物体Ｂを、フレーム［３］における物体Ｂに対応付けたことを例示している。

【0083】

図１０（ｃ）に例示するように、学習部２１５は、順方向ペアＰ１Ｆの対応付結果において、第１の物体としての物体Ａ及び物体Ｂが第１フレームとしての順方向ペアＰ１Ｆのフレーム［１］に含まれている位置と、逆方向対応付結果において、物体Ａ及び物体Ｂが逆方向ペアＰ１Ｂのフレーム［１］に含まれている位置の比較結果に基づいて、対応付部２１４に物体の対応付方法の学習を行わせてもよい。

【0084】

学習部２１５は、対応付部２１４による順方向対応付けの結果と、逆方向の対応付けの結果が一致しているか否かを判定する。例えば、学習部２１５は、図１０（ｃ）に例示するように、順方向ペアＰ１Ｆのフレーム［１］内の物体Ａ及び物体Ｂが含まれている位置と、逆方向ペアＰ１Ｂのフレーム［１］内の物体Ａ及び物体Ｂがに含まれている位置とが同じであるか否かに基づいて対応付部２１４による順方向対応付けの結果と、逆方向の対応付けの結果が一致しているか否かを判定してもよい。図１０（ｃ）に例示する場合であれば、順方向ペアＰ１Ｆのフレーム［１］内の物体Ａ及び物体Ｂが含まれている位置と、逆方向ペアＰ１Ｂのフレーム［１］内の物体Ａ及び物体Ｂがに含まれている位置とは同じであるので、学習部２１５は、対応付部２１４の対応付けが成功したと判定してもよい。

【0085】

また、図１０（ｄ）は、フレーム［４］に含まれる物体に、フレーム［４］より後のフレームであるフレーム［８］に含まれる物体を対応付けた順方向対応付結果を示している。図１０（ｅ）は、フレーム［８］に含まれる物体に、フレーム［８］より前のフレームであるフレーム［４］に含まれる物体を対応付けた逆方向対応付結果を示している。

【0086】

順方向対応付結果を例示する図１０（ｄ）は、対応付部２１４は、フレーム［８］における物体Ａを、フレーム［４］における物体Ａに対応付けたことを例示している。また、図１０（ｄ）は、対応付部２１４は、フレーム［８］における物体Ｂを、フレーム［４］における物体Ｂに対応付けたことを例示している。

【0087】

一方、逆方向対応付結果を例示する図１０（ｅ）は、対応付部２１４は、フレーム［８］における物体Ａに、フレーム［４］における物体Ａを対応付けたことを例示している。また、図１０（ｅ）は、対応付部２１４は、フレーム［８］における物体Ｂに、フレーム［４］における物体Ｂを対応付けたことを例示している。

【0088】

図１０（ｆ）に例示するように、学習部２１５は、順方向ペアＰ２Ｆの対応付結果において、物体Ａ及び物体Ｂが順方向ペアＰ２Ｆのフレーム［４］に含まれている位置と、逆方向ペアＰ２Ｂの対応付結果において、物体Ａ及び物体Ｂが逆方向ペアＰ２Ｂのフレーム［４］に含まれている位置の比較結果に基づいて、対応付部２１４に物体の対応付方法の学習を行わせてもよい。

【0089】

例えば、学習部２１５は、図１０（ｆ）に例示するように、順方向ペアＰ２Ｆのフレーム［４］内の物体Ａ及び物体Ｂが含まれている位置と、逆方向ペアＰ２Ｂのフレーム［４］内の物体Ａ及び物体Ｂがに含まれている位置とが同じであるか否かに基づいて対応付部２１４による順方向対応付けの結果と、逆方向の対応付けの結果が一致しているか否かを判定してもよい。図１０（ｆ）に例示する場合であれば、順方向ペアＰ２Ｆのフレーム［４］内の物体Ａ及び物体Ｂが含まれている位置と、逆方向ペアＰ２Ｂのフレーム［４］内の物体Ａ及び物体Ｂがに含まれている位置とが異なるので、学習部２１５は、対応付部２１４の対応付けが失敗したと判定してもよい。

【0090】

学習部２１５は、順方向対応付結果において、第１の物体が第１フレームに含まれている位置と、逆方向対応付結果において、当該第１の物体が第１フレームに含まれている位置の重なりが大きくなるように、対応付部２１４に物体の対応付方法の学習を行わせてもよい。
［４－３：学習装置４の技術的効果］

【0091】

第４実施形態における学習装置４は、順方向対応付結果において、第１の物体が第１フレームに含まれている位置と、逆方向対応付結果において、当該第１の物体が第１フレームに含まれている位置の比較結果、及び順方向対応付結果において、第２の物体が第２フレームに含まれている位置と、逆方向対応付結果において、当該第２の物体が第２フレームに含まれている位置の比較結果の少なくとも一方に基づいて、対応付部２１４に物体の対応付方法の学習を行わせるので、正解のデータを準備することなく、学習を行わせることができる。すなわち、学習装置４は、教師無し学習のアルゴリズムを用いることができる。また、学習装置４は、物体の位置の情報を用いて対応付けを行うので、物体の位置の情報を用いない場合と比較して、精度よく物体の対応付けをすることができる。

【0092】

第４実施形態における学習装置４は、学習装置３による効果に加えて、追跡結果の整合性を、順方向と逆方向の対応付けの結果の一致度合いから学習により反映することができるので、対応付けの精度をより向上させることができる。
［５：第５実施形態］

【0093】

学習装置、学習方法、及び、記録媒体の第５実施形態について説明する。以下では、学習装置、学習方法、及び記録媒体の第５実施形態が適用された学習装置５を用いて、学習装置、学習方法、及び記録媒体の第５実施形態について説明する。

【0094】

第５実施形態における学習装置５は、第２実施形態における学習装置２から第４実施形態における学習装置４の少なくとも１つと同様に、演算装置２１と、記憶装置２２とを備えている。更に、学習装置５は、第２実施形態における学習装置２から第４実施形態における学習装置４の少なくとも１つと同様に、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、学習装置５は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。第５実施形態における学習装置５は、第２実施形態における学習装置２から第４実施形態における学習装置４の少なくとも１つにおける学習装置４と比較して、取得部２１１が取得する動画ＭＶが含む情報、及び学習部２１５が行う学習動作が異なる。学習装置５のその他の特徴は、学習装置２から学習装置４の少なくとも１つのその他の特徴と同一であってもよい。
［５－１：学習装置５が行う学習動作］

【0095】

第５実施形態では、図６に示すステップＳ２０において、取得部２１１は、サンプル動画、及びサンプル動画が含む複数のサンプルフレームの各々に含まれるサンプル物体がどの物体かを示す正解ラベルを含む学習情報を、動画ＭＶとして取得する。

【0096】

ステップＳ２３において、検出部２１３は、複数のサンプルフレームのうちの第１サンプルフレームに含まれるサンプル物体、及び複数のサンプルフレームのうちの第２サンプルフレームに含まれるサンプル物体の各々を検出する。

【0097】

ステップＳ２４において、対応付部２１４は、第１サンプルフレームに含まれるサンプル物体と、第２サンプルフレームに含まれるサンプル物体とを対応付ける。

【0098】

学習部２１５は、正解ラベルと対応付部２１４による対応付結果に基づいて、対応付部２１４に物体の対応付方法の学習を行わせる。すなわち、第５実施形態における学習装置５は、教師あり学習を実施する。学習部２１５は、正解ラベルに基づく対応付結果と、対応付部２１４による対応付結果が類似しないほど損失が大きくなる損失関数に基づいて、対応付部２１４に物体の対応付方法の学習を行わせてもよい。

【0099】

図１１は、第５実施形態における学習装置５が行う学習動作を例示する概念図である。例えば、ステップＳ２２において選択された１ペアが、フレーム［６］とフレーム［３］のペアであったとする。

【0100】

図１１（ｃ）は、フレーム［６］に含まれる物体と、当該物体の正解ラベルとを例示している。また、図１１（ｄ）は、フレーム［３］に含まれる物体と、当該物体の正解ラベルとを例示している。図１１（ｃ）及び（ｄ）に示すように、丸い物体の正解ラベルは「ａ」であり、四角い物体の正解ラベルは「ｂ」である。すなわち、対応付部２１４は、図１１（ａ）と図１１（ｂ）との間の破線の矢印が例示するように、フレーム［６］に含まれる丸い物体と、フレーム［３］に含まれる丸い物体とを対応付けた場合、対応付けは成功したと判定してもよい。

【0101】

例えば、図１１（ａ）と図１１（ｂ）との間の実線の矢印が例示するように、対応付部２１４は、第１サンプルフレームとしてのフレーム［６］に含まれるサンプル物体Ａと、第２サンプルフレームとしてのフレーム［３］に含まれるサンプル物体Ａとを対応付けたとする。破線の矢印が例示する対応付結果と、実線の矢印が例示する対応付結果とが類似しないので、学習部２１５が用いる損失関数の損失は大きくなってもよい。
［５－３：学習装置５の技術的効果］

【0102】

第５実施形態における学習装置５は、教師あり学習により、対応付部２１４に物体の対応付方法の学習を行わせるので、学習精度を向上させることができる。
［６：第６実施形態］

【0103】

追跡装置、追跡方法、及び、記録媒体の第６実施形態について説明する。以下では、追跡装置、追跡方法、及び記録媒体の第６実施形態が適用された追跡装置６を用いて、追跡装置、追跡方法、及び記録媒体の第６実施形態について説明する。
［６－１：追跡装置６の構成］

【0104】

図１２を参照しながら、第６実施形態における追跡装置６の構成について説明する。図１２は、第６実施形態における追跡装置６の構成を示すブロック図である。

【0105】

図１２に示すように、追跡装置６は、演算装置６１と、記憶装置６２とを備えている。更に、追跡装置６は、通信装置６３と、入力装置６４と、出力装置６５とを備えていてもよい。但し、追跡装置６は、通信装置６３、入力装置６４及び出力装置６５のうちの少なくとも１つを備えていなくてもよい。演算装置６１と、記憶装置６２と、通信装置６３と、入力装置６４と、出力装置６５とは、データバス６６を介して接続されていてもよい。

【0106】

演算装置６１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｅｃｓｓｉｎｇ Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも１つを含む。演算装置６１は、コンピュータプログラムを読み込む。例えば、演算装置６１は、記憶装置６２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置６１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、追跡装置６が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置６４）を用いて読み込んでもよい。演算装置６１は、通信装置６３（或いは、その他の通信装置）を介して、追跡装置６の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置６１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置６１内には、追跡装置６が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置６１は、追跡装置６が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

【0107】

図１２には、学習動作を実行するために演算装置６１内に実現される論理的な機能ブロックの一例が示されている。図１１に示すように、演算装置６１内には、後述する付記に記載された「取得手段」の一具体例である取得部２１１と、後述する付記に記載された「抽出手段」の一具体例である抽出部２１２とが実現される。

【0108】

記憶装置６２は、所望のデータを記憶可能である。例えば、記憶装置６２は、演算装置６１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置６２は、演算装置６１がコンピュータプログラムを実行している場合に演算装置６１が一時的に使用するデータを一時的に記憶してもよい。記憶装置６２は、追跡装置６が長期的に保存するデータを記憶してもよい。尚、記憶装置６２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも１つを含んでいてもよい。つまり、記憶装置６２は、一時的でない記録媒体を含んでいてもよい。

【0109】

記憶装置６２は、対応付モデルＭＭの動作を規定するパラメータを記憶していてもよい。対応付モデルＭＭは、第２実施形態における学習装置２から第５実施形態における学習装置５の少なくとも１つによって構築された対応付モデルＭＭであってもよい。但し、記憶装置６２は、対応付モデルＭＭの動作を規定するパラメータを記憶していなくてもよい。

【0110】

通信装置６３は、不図示の通信ネットワークを介して、追跡装置６の外部の装置と通信可能である。通信装置６３は、通信ネットワークを介して、追跡動作に用いる動画ＭＶを撮像装置から取得してもよい。

【0111】

入力装置６４は、追跡装置６の外部からの追跡装置６に対する情報の入力を受け付ける装置である。例えば、入力装置６４は、追跡装置６のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも１つ）を含んでいてもよい。例えば、入力装置６４は追跡装置６に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。

【0112】

出力装置６５は、追跡装置６の外部に対して情報を出力する装置である。例えば、出力装置６５は、情報を画像として出力してもよい。つまり、出力装置６５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置６５は、情報を音声として出力してもよい。つまり、出力装置６５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置６５は、紙面に情報を出力してもよい。つまり、出力装置６５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
［６－２：追跡装置６が行う追跡動作］

【0113】

図１３を参照して、第６実施形態における追跡装置６が行う追跡動作の流れを説明する。図１３は、第６実施形態における追跡装置６が行う追跡動作の流れを示すフローチャートである。第６実施形態における追跡装置６は、オンラインで物体の追跡をしてもよい。

【0114】

図１２に示すように、取得部６１１は、動画ＭＶを取得する（ステップＳ６０）。取得部６１１は、動画ＭＶをフレーム毎に取得してもよい。

【0115】

追跡部６１６は、動画ＭＶに含まれる物体を追跡する（ステップＳ６１）。追跡部６１６は、動画ＭＶに含まれる複数の物体を追跡してもよい。

【0116】

追跡部６１６は、物体の対応付方法の学習を行わせて構築された対応付モデルＭＭを有していてもよい。追跡部６１６は、対応付モデルＭＭによる動画ＭＶが含む各フレームに含まれる物体の対応付けに基づいて、物体を追跡してもよい。対応付モデルＭＭは、上述の通り、第２実施形態における学習装置２から第５実施形態における学習装置５の少なくとも１つによって構築された対応付モデルＭＭであってもよい。

【0117】

第６実施形態における追跡装置６は、人物を追跡する場面、特に動く人物を生体認証する場面等に適用することができる。
［６－３：追跡装置６の技術的効果］

【0118】

第６実施形態における追跡装置６は、精度よく学習された対応付モデルＭＭを用いて追跡を行うので、精度よく物体を追跡することができる。
［７：付記］

【0119】

以上説明した実施形態に関して、更に以下の付記を開示する。
［付記１］
１本の動画を取得する取得手段と、
前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出する抽出手段と、
前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出手段と、
前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付ける対応付手段と、
前記複数の組の前記対応付手段による対応付結果に基づいて、前記対応付手段に前記物体の対応付方法の学習を行わせる学習手段と
を備え、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む
学習装置。
［付記２］
前記抽出手段は、前記複数のフレームから、前記第１フレーム、及び前記第２フレームをランダムに選択して前記組を抽出する
付記１に記載の学習装置。
［付記３］
前記抽出手段は、前記第１フレームより所定フレーム前、又は後のフレームを前記第２フレームとして選択して前記組を抽出する
付記１又は２に記載の学習装置。
［付記４］
前記学習手段は、前記対応付結果に基づいて学習損失を算出し、当該学習損失から前記対応付手段に前記対応付方法の学習を行わせる
付記１～３の何れか１項に記載の学習装置。
［付記５］
前記学習手段は、前記第１フレームに含まれる物体を当該第１フレームより後のフレームである前記第２フレームに含まれる物体に対応付けた順方向対応付結果と、前記第２フレームに含まれる物体を、当該第２フレームより前のフレームである前記第１フレームに含まれる物体に対応付けた逆方向対応付結果とに基づいて、前記対応付手段に前記物体の対応付方法の学習を行わせる
付記１～４の何れか１項に記載の学習装置。
［付記６］
前記学習手段は、前記順方向対応付結果と前記逆方向対応付結果とが類似しないほど損失が大きくなる損失関数に基づいて、前記対応付手段に前記物体の対応付方法の学習を行わせる
付記５に記載の学習装置。
［付記７］
前記検出手段は、前記第１フレームに含まれる物体、及び当該物体の位置、並びに前記第２フレームに含まれる物体、及び当該物体の位置の各々を検出し、
前記学習手段は、前記順方向対応付結果において、第１の物体が前記第１フレームに含まれている位置と、前記逆方向対応付結果において、当該第１の物体が前記第１フレームに含まれている位置の比較結果、及び前記順方向対応付結果において、第２の物体が前記第２フレームに含まれている位置と、前記逆方向対応付結果において、当該第２の物体が前記第２フレームに含まれている位置の比較結果の少なくとも一方に基づいて、前記対応付手段に前記物体の対応付方法の学習を行わせる
付記５又は６に記載の学習装置。
［付記８］
前記取得手段は、サンプル動画、及び前記サンプル動画が含む複数のサンプルフレームの各々に含まれるサンプル物体がどの物体かを示す正解ラベルを含む学習情報を取得し、
前記検出手段は、前記複数のサンプルフレームのうちの第１サンプルフレームに含まれるサンプル物体、及び前記複数のサンプルフレームのうちの第２サンプルフレームに含まれるサンプル物体の各々を検出し、
前記対応付手段は、前記第１サンプルフレームに含まれるサンプル物体と、前記第２サンプルフレームに含まれるサンプル物体とを対応付け、
前記学習手段は、前記正解ラベルと前記対応付手段による対応付結果に基づいて、前記対応付手段に前記物体の対応付方法の学習を行わせる
付記１～７の何れか１項に記載の学習装置。
［付記９］
動画を取得する取得手段と、
１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する追跡手段と、
を備え、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む
追跡装置。
［付記１０］
１本の動画を取得し、
前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、
前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、
前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付器を用いて対応付け、
前記複数の組の前記対応付器による対応付結果に基づいて、前記対応付器に前記物体の対応付方法の学習を行わせ、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む
学習方法。
［付記１１］
コンピューターに、
１本の動画を取得し、
前記動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、
前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、
前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付器を用いて対応付け、
前記複数の組の前記対応付器による対応付結果に基づいて、前記対応付器に前記物体の対応付方法の学習を行わせ、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む
学習方法を実行させるためのコンピュータプログラムが記録されている記録媒体。
［付記１２］
動画を取得し、
１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する
追跡方法であって、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む
追跡方法。
［付記１３］
コンピューターに、
動画を取得し、
１本の動画が含む複数のフレームから、第１フレーム、及び当該第１フレームとは異なる第２フレームの組を複数抽出し、前記第１フレームに含まれる物体、及び前記第２フレームに含まれる物体の各々を検出する検出し、前記第１フレームに含まれる物体と、前記第２フレームに含まれる物体とを対応付けた前記複数の組の対応付結果に基づいて、前記物体の対応付方法の学習を行わせて生成された対応付手段を有し、当該対応付手段による物体の対応付けに基づいて、前記動画に含まれる物体を追跡する
追跡方法であって、
前記複数の組は、前記第１及び第２フレームの間の時間間隔が第１間隔となる第１の組と、前記第１及び第２フレームの間の時間間隔が前記第１間隔とは異なる第２時間間隔となる第２の組とを含む
追跡方法を実行させるためのコンピュータプログラムが記録されている記録媒体。

【0120】

上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。

【0121】

この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う学習装置、学習方法、追跡装置、追跡方法、及び、記録媒体もまた、この開示の技術的思想に含まれる。

【符号の説明】

【0122】

１，２，３，４，５ 学習装置
１１，２１１，６１１ 取得部
１２，２１２ 抽出部
１３，２１３ 検出部
１４，２１４ 対応付部
１５，２１５ 学習部
ＭＭ 対応付モデル
６ 追跡装置
６１６ 追跡部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】