特開 2024-56495 機械学習プログラム，機械学習方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024056495

(43)【公開日】2024-04-23

(54)【発明の名称】機械学習プログラム，機械学習方法及び情報処理装置

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240416BHJP

   G06T 7/00 20170101ALI20240416BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022163400

(22)【出願日】2022-10-11

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(74)【代理人】

【識別番号】100189201

【弁理士】

【氏名又は名称】横田 功

(72)【発明者】

【氏名】安富 優

(72)【発明者】

【氏名】廣本 正之

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096DA01

5L096HA05

5L096HA08

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】ネットワーク環境を構築する際に、接続作業の工数を削減し、誤接続や誤設定を防止する。
【解決手段】コンピュータは、訓練データを用いて訓練された第１の機械学習モデルに、第１のフレーム画像２２１－１と第２のフレーム画像２２１－２とを少なくとも含む動画データを入力し、第１の機械学習モデルによる推論結果に基づいて、第１のフレーム画像２２１－１及び第２のフレーム画像２２１－２からそれぞれ第１対象物２２３－１及び第２対象物２２３－２を検出し、検出された第１対象物２２３－１と第２対象物２２３－２との同一性を判断し、同一性を有すると判断された第１対象物２２３－１を含む第１画像領域における第１データ２２６と第２対象物２２３－２を含む第２画像領域における第２データ２２７とを符号化器２３０に入力して符号化器２３０を訓練する。
【選択図】図７

【特許請求の範囲】

【請求項1】

訓練データを用いて訓練された第１の機械学習モデルに、第１のフレーム画像と第２のフレーム画像とを少なくとも含む動画データを入力し、
前記第１の機械学習モデルによる推論結果に基づいて、前記第１のフレーム画像及び前記第２のフレーム画像からそれぞれ第１対象物及び第２対象物を検出し、
検出された前記第１対象物と前記第２対象物との同一性を判断し、
前記同一性を有すると判断された前記第１対象物を含む第１画像領域における第１データと前記第２対象物を含む第２画像領域における第２データとを符号化器に入力して前記符号化器を訓練する、
処理をコンピュータに実行させる、機械学習プログラム。

【請求項2】

前記符号化器を訓練する処理において、
前記第１データを前記符号化器に入力して得られる第１の特徴量と、前記第２データを第２の特徴量との一致度を高めるように機械学習する、
処理を前記コンピュータに実行させる、請求項１に記載の機械学習プログラム。

【請求項3】

訓練された前記符号化器に基づいて、画像中から対象物を検出する第２の機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、請求項１または２に記載の機械学習プログラム。

【請求項4】

前記第２の機械学習モデルを訓練する処理において、
入力される画像データを複数の分割領域に分割して複数の分割画像を得て、
前記分割領域のそれぞれにおける前記分割画像を前記符号化器に入力して、前記分割領域におけるそれぞれの特徴量を算出し、
前記算出された結果と、入力される前記画像データに対応するラベルとに基づいて前記第２の機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、請求項３に記載の機械学習プログラム。

【請求項5】

前記第２の機械学習モデルを訓練する処理において、
入力される画像データを第１の分割解像度に応じて複数の第１分割領域に分割して複数の第１分割画像を得て、
入力される前記画像データを前記第１の分割解像度と異なる第２の分割解像度に応じて複数の第２分割領域に分割して複数の第２分割画像を得て、
前記第１分割領域のそれぞれにおける前記第１分割画像を前記符号化器に入力して、前記第１分割領域におけるそれぞれの特徴量を示す第１解像度特徴マップを得て、
前記第２分割領域のそれぞれにおける前記第２分割画像を前記符号化器に入力して、前記第２分割領域におけるそれぞれの特徴量を示す第２解像度特徴マップを得て、
前記第１解像度特徴マップ、前記第２解像度特徴マップ、及び前記画像データに基づいて、前記第２の機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、請求項３に記載の機械学習プログラム。

【請求項6】

動画における対象物の境界位置情報に関する特徴量を出力する位置情報モデルと、対象物のクラス分類に関する特徴量を出力するためのクラス分類モデルとを含む、第２の機械学習モデルにおいて、前記クラス分類モデルを前記符号化器として用い、
前記第１データを前記クラス分類モデルに入力して得られる第１のクラス分類用特徴量と、前記第２データを前記クラス分類モデルに入力して得られる第２のクラス分類用特徴量との一致度を高めるように機械学習する、
処理を前記コンピュータに実行させる、請求項１または２に記載の機械学習プログラム。

【請求項7】

訓練データを用いて訓練された第１の機械学習モデルに、第１のフレーム画像と第２のフレーム画像とを少なくとも含む動画データを入力し、
前記第１の機械学習モデルによる推論結果に基づいて、前記第１のフレーム画像及び前記第２のフレーム画像からそれぞれ第１対象物及び第２対象物を検出し、
検出された前記第１対象物と前記第２対象物との同一性を判断し、
前記同一性を有すると判断された前記第１対象物を含む第１画像領域における第１データと前記第２対象物を含む第２画像領域における第２データとを符号化器に入力して前記符号化器を訓練する、
処理をコンピュータが実行する、機械学習方法。

【請求項8】

訓練データを用いて訓練された第１の機械学習モデルに、第１のフレーム画像と第２のフレーム画像とを少なくとも含む動画データを入力し、
前記第１の機械学習モデルによる推論結果に基づいて、前記第１のフレーム画像及び前記第２のフレーム画像からそれぞれ第１対象物及び第２対象物を検出し、
検出された前記第１対象物と前記第２対象物との同一性を判断し、
前記同一性を有すると判断された前記第１対象物を含む第１画像領域における第１データと前記第２対象物を含む第２画像領域における第２データとを符号化器に入力して前記符号化器を訓練する、
プロセッサを備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習プログラム，機械学習方法及び情報処理装置に関する。

【背景技術】

【0002】

機械学習を用いて動画中の対象物を追跡する物体追跡技術が知られている。物体追跡技術は、物体検出技術と追跡技術を含み、物体追跡の性能は物体検出の性能に依存する。物体検出のための訓練データの量が十分に得られない場合には、過学習に起因して物体検出の性能が低くなるおそれがある。

【0003】

訓練データの量を増やす技術の一例として、ラベル伝播法が知られている。ラベル伝搬法は、物体追跡の結果を用いて、データのラベルを時間的または場所的に近傍にあるラベルなしデータに伝播（複写）する。ラベル伝播法は、予め定められた値以上の確信度で推論される推論結果に基づいて新たなラベルを生成する。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Yifu Zhang et al. “ByteTrack: Multi-Object Tracking by Associating Every Detection Box” arXiv:2110.06864v3 [cs.CV] 7 Apr 2022

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ラベル伝播法によって得られる訓練データは、予め定められた値以上の確信度で推論された推論結果に基づいて生成されるため、摂動（別言すれば、遮蔽物の影響等）がある場面を考慮することが困難な場合がある。これは摂動が生じている場合には、確信度が低くなることに起因する。したがって、ラベル伝播法によって訓練データを増やした場合であっても、物体検出の性能を向上することが困難となるおそれがある。

【0006】

１つの側面では、摂動による影響を低減して物体検出の性能を向上することを目的とする。

【課題を解決するための手段】

【0007】

１つの側面では、機械学習プログラムは、訓練データを用いて訓練された第１の機械学習モデルに、第１のフレーム画像と第２のフレーム画像とを少なくとも含む動画データを入力し、前記第１の機械学習モデルによる推論結果に基づいて、前記第１のフレーム画像及び前記第２のフレーム画像からそれぞれ第１対象物及び第２対象物を検出し、検出された前記第１対象物と前記第２対象物との同一性を判断し、前記同一性を有すると判断された前記第１対象物を含む第１画像領域における第１データと前記第２対象物を含む第２画像領域における第２データとを符号化器に入力して前記符号化器を訓練する、処理をコンピュータに実行させる。

【発明の効果】

【0008】

１つの側面では摂動による影響を低減して物体検出の性能を向上することができる。

【図面の簡単な説明】

【0009】

【図1】ラベル伝播法の一例を模式的に示す図である。

【図2】対照学習について説明する図である。

【図3】実施形態に係る対照学習モデルの訓練を説明する図である。

【図4】実施形態に係る情報処理装置による物体追跡モデルの訓練処理の一例を示す図である。

【図5】実施形態に係る物体検出の訓練データの一例を模式的に示す図である。

【図6】図４で示した訓練された物体追跡モデルに入力されるラベル無し動画データの一例を示す。

【図7】実施形態に係る情報処理装置における対照学習モデルの訓練処理の一例を示す図である。

【図8】実施形態に係る情報処理装置における物体検出モデルの訓練処理の一例を示す図である。

【図9】実施形態に係る情報処理装置による訓練フェーズにおける機能構成例を示すブロック図である。

【図10】実施形態に係る情報処理装置による推論フェーズにおける機能構成例を示すブロック図である。

【図11】実施形態に係る情報処理装置の機能を実現するコンピュータのハードウェア（ＨＷ）構成例を示すブロック図である。

【図12】実施形態に係る情報処理装置による訓練フェーズにおける動作の一例を示すフローチャートである。

【図13】実施形態に係る情報処理装置による推論フェーズにおける動作の一例を示すフローチャートである。

【図14】第１変形例に係る情報処理装置による物体検出モデルの訓練処理の一例を示す図である。

【図15】第１変形例に係る情報処理装置による訓練フェーズにおける動作の一例を示すフローチャートである。

【図16】第１変形例に係る情報処理装置による推論フェーズにおける動作の一例を示すフローチャートである。

【図17】第２変形例に係る分離型物体検出モデルについて示す図である。

【図18】第２変形例に係る情報処理装置による分離型物体検出モデルの訓練処理の一例を示す図である。

【図19】第２変形例に係る情報処理装置による訓練フェーズにおける機能構成例を示すブロック図である。

【図20】第２変形例に係る情報処理装置による推論フェーズにおける機能構成例を示すブロック図である。

【図21】第２変形例に係る情報処理装置による訓練フェーズにおける動作の一例を示すフローチャートである。

【図22】第２変形例に係る情報処理装置による推論フェーズにおける動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

〔Ａ〕関連技術
図１は、ラベル伝播法の一例を模式的に示す図である。

【0011】

図１に示されるように、関連技術においては、既存の訓練データ（不図示）を用いて訓練された物体追跡モデル（不図示）に対して、未知のラベル無し動画データ２０が入力される。ラベル無し動画データ２０は、複数のフレーム画像２１ａ，２１ｂ，及び２１ｃを含む。

【0012】

ラベル無し動画データ２０に対して、物体追跡モデルを用いて推論処理が実行される。この結果、対象物２２が検出される。対象物２２についての境界位置情報は、バウンディングボックス２３によって示されてよい。物体追跡モデルは、対象物２２のクラス２４を推定する。図１では、クラス２４は「自動車」である。本明細書において、「対象物」は、検出対象となる物体であればよく、自動車に限定されない。一例において、「対象物」は、自動車、トラック、バイク、自転車であってもよく、人物であってもよい。

【0013】

各対象物２２のバウンディングボックス２３には、対象物２２の同一性を識別するための識別情報２５（物体ＩＤ）と、確信度２６とが対応づけられてよい。確信度（confidence）２６は、対象物２２のクラス２４の判断結果の重みであってよい。確信度２６の数値が１に近いほど、物体検出モデルがより高い確度で判断したことを意味する。

【0014】

図１においては、物体追跡結果であるバウンディングボックス２３，クラス２４，識別情報２５，及び確信度２６等の少なくとも１つを用いて、ラベル付きデータが新たに生成される。

【0015】

一例において、確信度２６が予め定められた値より高いバウンディングボックス２３（及びクラス２４）に対応した新たなラベルが生成されてよい。図１では、フレーム画像２１ａ及びフレーム画像２１ｃにおいて、バウンディングボックス２３及びクラス２４等が新たなラベルとされてよい。

【0016】

図１に示される例では、時刻ｔでのフレーム画像２１ｂでは対象物２２が検出されない。しかし、前後（時刻ｔ－１，ｔ＋１）でのフレーム画像２１ａ，２１ｃでは対象物２２が検出される。この場合、前後のフレーム画像２１ａ，２１ｂにおけるバウンディングボックス２３等に基づいて、時刻ｔでのバウンディングボックス２７が補完されてよい。補完されたバウンディングボックス２７及びクラス２４が新たなラベルとされ、新たなラベル付きデータが生成されてもよい。

【0017】

なお、前後のフレーム画像（図１の２１ａ，２１ｂ）において検出された対象物２２の確信度２６が予め定められた閾値以上である場合に、補完されたバウンディングボックス２７が生成されてよい。さらに、物体検出における確信度のみならず、追跡アルゴリズムによる確信度の双方を考慮して、新たなラベル付きデータが生成されてもよい。

【0018】

図１に示される関連技術においては、確信度２６が予め定められた値以上である推論結果に基づいて新たなラベルが生成される。一方、確信度２６が予め定められた値未満の推論結果に基づいて新たなラベルが生成される場合には、かえって物体検出の性能が劣化するおそれがある。

【0019】

「摂動」がある場合には、確信度２６が低いことが多いため、「摂動」がある場合のデータは新たなラベル付きデータの生成に考慮されない場合が多い。したがって、図１に示される手法によると、摂動によって確信度２６が低くなる場合を考慮したラベル付きデータを生成することができないおそれがある。なお、「摂動」とは、例えば、対象物の一部が他の物体によって遮蔽されること、モーションブラー（別言すれば、動いている対象をカメラで撮影した時に生じる、ぶれ）、対象物の角度変化、及び照度の影響等を含んでよい。

【0020】

図１に示される手法によって生成されたラベル付きデータを新たな訓練データとして、物体検出モデルを訓練しても、摂動による影響に頑健な物体検出モデルを得ることができないおそれがある。そこで、摂動に頑健な物体検出モデルを生成することが想定される。

【0021】

図２は、対照学習について説明する図である。対照学習は、自己教師あり学習の一種である。図２では、簡単な例として、「ネコ」が映った画像データが入力データ３０として入力され、出力として、物体ラベル「ネコ」が出力される場合が例示される。

【0022】

対照学習においては、入力（入力データ３０）から２種類のデータ拡張によって、２つの拡張データ３１（３１ａ，３１ｂ）が得られる。データ拡張は、例えば、元画像である入力データ３０に対して、平行移動，回転，拡大縮小，上下反転，左右反転，明度調整，及びこれらの複数の組み合わせの変形を加える処理であってよい。

【0023】

２種類のデータ拡張によって得られた拡張データ３１ａ，３１ｂがそれぞれ対照学習モデル３２に入力されることによって、第１特徴ベクトル３３及び第２特徴ベクトル３４が得られる。

【0024】

２つの拡張データ３１ａ，３１ｂは、物体の本質を変えることなく、異なる変形が施されたデータである。したがって、第１特徴ベクトル３３及び第２特徴ベクトル３４は、物体の本質が変わっていないことに起因して、一致または類似する。

【0025】

対照学習においては、２つの第１特徴ベクトル３３（ｚ_ｉ）及び第２特徴ベクトル３４（ｚ_ｊ）の一致度（類似度）が高くなるように対照学習モデル３２が機械学習される。対照学習モデル３２は、符号化器（エンコーダ）である。一例において、損失関数Ｌ_φ＝‐ｓｉｍ（ｚ_ｉ，ｚ_ｊ）が算出され、この損失関数Ｌ_φの値が最小になるようにパラメータφが更新されてよい。

【0026】

〔Ｂ〕実施形態
以下、図面を参照して一実施形態を説明する。但し、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

【0027】

以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。

【0028】

〔Ｂ－１〕実施形態における訓練処理の説明
図３は、実施形態に係る対照学習モデル２３０の訓練の概要を示す図である。ラベル無し動画データ２２０（動画）の異なる時刻のフレーム画像２２１（２２１ａ，２２１ｂ）において物体追跡モデル（後述）によって同一の物体と認められた複数の対象物２２３ａ，２２３ｂの画像データ２２６，２２７が対照学習に用いられる。画像データ２２６，２２７がそれぞれ対照学習モデル２３０に入力された場合に出力として得られる第１特徴ベクトル２３１及び第２特徴ベクトル２３２の一致度を高めるように対照学習モデル２３０が訓練される。

【0029】

本実施形態の手法によれば、２つのデータ拡張によるのではなく、異なる時刻のフレーム画像２２１に写った同一の物体である対象物（２２３ａ，２２３ｂ）のペアの画像（２２６，２２７）が対照学習モデル２３０に入力されるデータとして用いられる。対照学習モデル２３０の訓練については、後述する。

【0030】

図４は、実施形態に係る情報処理装置１（図１１）による物体追跡モデル２１０の訓練処理の一例を示す図である。図５は、実施形態に係る物体検出の訓練データ３００の一例を模式的に示す図である。

【0031】

訓練データ３００（学習データ）は、物体追跡モデル２１０の訓練用のデータセットであってよい。訓練データ３００は、動画であってよく、複数のフレーム画像２００ａ，２００ｂ，及び２００ｃ（フレーム画像２００と総称する場合がある）を含んでよい。フレーム画像２００の数は、図４及び図５に示される場合に限られない。

【0032】

図５の訓練データ３００は、対象物２０１ａ～２０１ｅを含む。対象物２０１ａが自動車であり、２０１ｂがバイクであり、２０１ｃがトラックであり、２０１ｄが自動車であり、２０１ｅが自動車である。対象物２０１ａ～２０１ｅを総称して、対象物２０１という場合がある。

【0033】

対象物２０１のそれぞれの境界位置情報が、バウンディングボックス２０２ａ～２０２ｅ（バウンディングボックス２０２と総称する場合がある）によって示されてよい。境界位置情報は、バウンディングボックス２０２のそれぞれの高さ，幅，及び頂点の１つの平面座標を含んでよい。

【0034】

対象物２０１のそれぞれには、自動車、バイク、トラック等のように対象物の種類を示すクラス２０５ａ～２０５ｅ（クラス２０５と総称する場合がある）が対応づけられてよい。

【0035】

図４に示されるとおり、物体追跡モデル２１０は、物体検出モデル２１２及び追跡モデル２１４を含んでよい。物体検出モデル２１２は、動画の中から対象物２０１を検出する。追跡モデル２１４は、動画に含まれる複数のフレーム画像２００ａ，２００ｂ，２００ｃ間で同じ対象物２０１に対して同一の識別情報２２５（物体ＩＤ）を割り振る。

【0036】

物体検出モデル２１２として既存の手法が用いられてよい。一例において、Ｒ－ＣＮＮ(Regions with Convolutional Neural Network)、ＹＯＬＯ(You Only Look Once)、ＳＳＤ(Single Shot MultiBox Detector)、ＤＣＮ(Deformed Convolutional Networks)、ＤＥＴＲ等の物体検出手法が用いられてよい。したがって、詳しい説明を省略する。

【0037】

追跡モデル２１４は、既存のＭＯＴ（Multiple Object Tracking）技術における種々の手法が用いられてよい。一例において、物体検出モデル２１２によって検出された対象物２０１に対するバウンディングボックス２０２に対する特徴ベクトルが算出される。オプティカルフロー (Optical flow)推定及びカルマンフィルタを用いて、対象物２０１の動き予測が実行される。特徴ベクトルと動き予測の結果とを用いて、追跡中の対象物２０１のマッチングが実行される。これによって、同一であると判断される対象物２０１には同一の識別情報２２５（物体ＩＤ）が付与される。例えば、追跡モデル２１４は、ＢｙｔｅＴｒａｃｋを用いたモデルである。但し、追跡モデル２１４は、この場合に限られない。

【0038】

機械学習によって、物体検出モデル２１２及び追跡モデル２１４のパラメータが最適の値に調整される。

【0039】

図６は、図４で示した訓練された物体追跡モデル２１０に入力されるラベル無し動画データ２２０の一例を示す。図６は、物体追跡モデル２１０（図５）によってラベルが推定された結果（別言すれば、バウンディングボックス２２２、識別情報２２５，確信度２２８）を合わせて示す。

【0040】

ラベル無し動画データ２２０は、動画データの一例である。ラベル無し動画データ２２０は、複数のフレーム画像２２１－１～２２１－３を含む。情報処理装置１は、パラメータを固定した物体追跡モデル２１０に対して、ラベル無し動画データ２２０を入力する。

【0041】

情報処理装置１は、物体追跡モデル２１０の推論処理によって、フレーム画像２２１－１から対象物２２３－１（別言すれば、第１対象物）を検出する。同様に、情報処理装置１は、物体追跡モデル２１０の推論処理によって、フレーム画像２２１－２から対象物２２３－２を検出し、フレーム画像２２１－３から対象物２２３－２を検出する。

【0042】

情報処理装置１は、物体追跡モデル２１０を用いて、検出された複数の対象物２２３－１～２２３－３の同一性を判断する。例えば、情報処理装置１は、物体追跡モデル２１０による推論結果の一つである識別情報２２５（別言すれば、物体ＩＤ）に基づいて対象物２２３ａ（別言すれば、第１対象物）と対象物２２３ｂ（別言すれば、第２対象物）との同一性を判断する。識別情報２２５（別言すれば、物体ＩＤ）は、対象物２２３の同一性を識別するための情報であってよい。同一性とは、対象物２２３が同一の個体であることを表す。

【0043】

異なるフレーム画像２２１－１～２２１－３間においても同一の対象物２２３に対しては同一の識別情報２２５（別言すれば、物体ＩＤ）が付される。換言すれば、物体追跡モデル２１０の追跡モデル２１４（別言すれば、追跡アルゴリズム）は、異なる時刻の画像における同じ対象物２２３を紐づける。

【0044】

情報処理装置１は、対象物２２３についての境界位置情報の一例としてバウンディングボックス２２２－１～２２１－３を推定してよい。また、情報処理装置１は、クラス（図１の符号２４等を参照）について推定してよい。図６は、クラスについて表示を省略する。

【0045】

情報処理装置１は、確信度２２８－１～２２８－３についても推定してよい。確信度２２８－１～２２８－３は、対象物２２３のクラスの判断結果の重みであってよい。異なる時刻に対応する異なるフレーム画像２２１間において、確信度２２８－１～２２８－３は異なる。これは、対象物２２３を遮蔽する遮蔽物２２４の存在等の摂動に起因する。

【0046】

図７は、実施形態に係る情報処理装置１における対照学習モデル２３０の訓練処理の一例を示す図である。

【0047】

図７において、フレーム画像２２１－１及びフレーム画像２２１－２は、第１のフレーム画像及び第２のフレーム画像の一例である。第１のフレーム画像及び第２のフレーム画像は、互いに異なる時刻に対応する任意のフレーム画像であってよい。

【0048】

対象物２２３－１（別言すれば、第１対象物）と対象物２２３－２（別言すれば、第２対象物）が同一性を有すると判断される場合に、第１データ２２６及び第２データ２２７がペアの画像として、対照学習モデル２３０に入力される。これにより、対照学習モデル２３０が訓練される。対照学習モデル２３０は、第１データ２２６と第２データ２２７とが入力される符号化器（別言すれば、エンコーダ）の一例である。複数ペアの画像が取得されてよい。ペアの数は、対照学習に十分な数となるように設定されてよい。

【0049】

第１データ２２６は、ラベル無し動画データ２２０のうち、対象物２２３－１（別言すれば、第１対象物）を含む第１画像領域における画像データである。第２データ２２７は、ラベル無し動画データ２２０のうち、対象物２２３－２（別言すれば、第２対象物）を含む第２画像領域における画像データである。

【0050】

一例において、第１画像領域は、対象物２２３－１（別言すれば、第１対象物）を取り囲む矩形のバウンディングボックス２２２－１であってよく、第２画像領域は、対象物２２３－２（別言すれば、第２対象物）を取り囲む矩形のバウンディングボックス２２２ｂであってよい。

【0051】

第１データ２２６は、バウンディングボックス２２２－１の形状及び位置に対応してフレーム画像２２１－１（別言すれば、第１のフレーム画像）から切り出された画像データであってよい。第２データ２２７は、バウンディングボックス２２２－２の形状及び位置に対応してフレーム画像２２１－２（別言すれば、第２のフレーム画像）から切り出された画像データであってよい。但し、第１データ２２６及び第２データ２２７は、この場合に限られない。

【0052】

第１データ２２６は、対象物２２３－１（別言すれば、第１対象物）を含む領域の画像データであればよい。第１データ２２６は、フレーム画像２２１－１の全体であってもよく、フレーム画像２２１－１の一部分であってもよい。図７の例においては、第１データ２２６は、フレーム画像２２１－１の一部分である。

【0053】

同様に、第２データ２２７も、対象物２２３－２（別言すれば、第２対象物）を含む領域の画像データであればよい。第２データ２２７は、フレーム画像２２１－２の全体であってもよく、フレーム画像２２１－２の一部分であってもよい。図７の例においては、第２データ２２７は、フレーム画像２２１－２の一部分である。

【0054】

対象物２２３－１を含む第１データ２２６と対象物２２３－２を含む第２データ２２７とがそれぞれ対照学習モデル２３０に入力されることによって、第１特徴ベクトル２３１及び第２特徴ベクトル２３２が得られる。第１特徴ベクトル２３１は、第１特徴量の一例であり、第２特徴ベクトル２３２は、第２特徴量の一例である。

【0055】

特に、第１データ２２６と第２データ２２７とは、同一の対象物２２３に対する画像データである。しかし、対応する時刻（ｔ，ｔ－１）が異なるので、対象物２２３の角度，遮蔽物２２４の有無，モーションブラーの有無，及び照明の違い等の差異が第１データ２２６と第２データ２２７との間に生じる。

【0056】

したがって、同一のデータからデータ拡張によって得られた拡張データ３１ａ，３１ｂの代わりに、第１データ２２６及び第２データ２２７を用いて、本来の対照学習と同様の訓練が可能となる。

【0057】

さらに、第１データ２２６及び第２データ２２７は、対象物２２３の角度，遮蔽物２２４の有無，モーションブラーの有無，及び照明の違い等の差異等、すなわち、「摂動」について考慮して生成される。したがって、第１データ２２６及び第２データ２２７を用いて対照学習モデル２３０を訓練することで、「摂動」を考慮した対照学習モデル２３０を訓練することが可能となる。

【0058】

図８は、実施形態に係る情報処理装置１における物体検出モデル２４０の訓練処理の一例を示す図である。情報処理装置１は、図７において示した訓練ずみの対照学習モデル２３０を用いて、新たに物体検出モデル２４０を訓練する。物体検出モデル２４０は、訓練された対照学習モデル２３０に基づいて、画像中から対象物を検出する第２の機械学習モデルの一例である。

【0059】

物体検出モデル２４０は、入力層と出力層との間に隠れ層（中間層）を多層にしたＤＮＮ（ディープニューラルネットワーク）であってよい。物体検出モデル２４０は、物体検出モデル２１２と同様に、既知の物体検出手法が用いられてよい。したがって、詳しい説明を省略する。物体検出モデル２４０は、物体検出モデル２１２であってもよく、異なるモデルであってもよい。

【0060】

訓練画像データ２５０が準備される。一例において、訓練画像データ２５０は、画像データとラベル２５３とを有する教師あり訓練データであってよい。情報処理装置１は、訓練画像データ２５０を複数の分割領域２５１（２５１－１，２５１－２・・・）に分割して、複数の分割画像２５２（２５２－１，２５２－２・・・）を得る。複数の分割画像２５２（２５２－１，２５２－２・・・）は、パッチと呼ばれてよい。各分割領域２５１は、相互にオーバーラップする部分を有してよい。分割画像２５２の生成は、スライディングウィンドウ技法によって実行されてよい。スライディングウィンドウ技法は、ウィンドウと呼ばれる枠をスライドさせていきながらその位置毎にパッチを取得する。

【0061】

情報処理装置１は、訓練されてパラメータが固定された対照学習モデル２３０（図７を参照）にそれぞれの分割画像２５２を入力して、それぞれの特徴ベクトル（別言すれば、表現ベクトル）を得る。一例において、情報処理装置１は、分割領域２５１毎の特徴ベクトルで表される特徴マップ２３３（特徴量マップ）を各フレームについて算出する。

【0062】

情報処理装置１は、物体検出モデル２４０にラベル２５３と特徴マップ２３３を入力する。ラベル２５３は、クラス（アノテーション）を含んでよい。物体検出モデル２４０は、特徴マップ２３３とラベル２５３を用いて、対象物の境界位置情報と対象物の特徴を機械学習する。物体検出モデル２４０としては既存の手術の手法が用いられてよい。一例において、Ｒ－ＣＮＮ(Regions with Convolutional Neural Network)、ＹＯＬＯ(You Only Look Once)、ＳＳＤ(Single Shot MultiBox Detector)、ＤＣＮ(Deformed Convolutional Networks)、ＤＥＴＲ等の物体検出手法が用いられてよい。

【0063】

推論時においても、情報処理装置１は、入力された画像を分割画像２５２に分ける。情報処理装置１は、訓練されてパラメータが固定された対照学習モデル２３０（図７を参照）にそれぞれの分割画像２５２を入力して特徴マップを生成する。情報処理装置１は、訓練済みの物体検出モデル２４０に、特徴マップ２３３を入力して、クラス，境界位置情報（バウンディングボックス２２２），及び確信度２２８等のラベル２５３を推論する。

【0064】

情報処理装置１は、異なる時刻のフレーム画像２２１を用いて訓練された対照学習モデル２３０による推論結果によって摂動に対してロバスト（頑健）な特徴マップ２３３を生成する。そして、情報処理装置１は、特徴マップ２３３に基づいて物体検出モデル２４０を訓練する。したがって、本実施形態の機械学習方法によれば、摂動による影響を低減して物体検出の性能を向上することができる。

【0065】

〔Ｂ－２〕実施形態に係る情報処理装置１の機能構成例
〔Ｂ－２－１〕訓練フェーズ
図９は、実施形態に係る情報処理装置１による訓練フェーズにおける機能構成例を示すブロック図である。情報処理装置１は、訓練処理を実行するコンピュータの一例である。

【0066】

図９に示すように、情報処理装置１は、例示的に、記憶部３１１，取得部３１２，第１訓練実行部３１３，対象物検出部３１４，ＩＤ割当部３１５，画像取得部３１６，第２訓練実行部３１７，第３訓練実行部３１８，及びパッチ生成部３１９を備えてよい。これらの３１２～３１９の構成は、制御部３２０の一例である。

【0067】

記憶部３１１は、記憶領域の一例であり、情報処理装置１が利用する種々のデータを記憶する。記憶部３１１は、例えば、後述する図１１に示すメモリ部１２及び記憶装置１４のうちの一方または双方が有する記憶領域により実現されてもよい。

【0068】

図９に示すように、記憶部３１１は、例示的に、訓練データ３００，物体追跡モデル２１０，ラベル無し動画データ２２０，対照学習モデル２３０，物体検出モデル２４０，訓練画像データ２５０等を記憶可能であってよい。

【0069】

記憶部３１１が格納する情報は、テーブル形式であってもよく、他の形式であってもよい。一例において、記憶部３１１が格納する情報のうちの少なくとも１つは、データベース（ＤＢ）または配列等の種々の形式であってもよい。

【0070】

取得部３１２は、情報処理装置１で利用される種々の情報を取得する。例えば、取得部３１２は、記憶部３１１から訓練データ３００を取得する。訓練データ３００（別言すれば、学習データ）は、物体追跡モデル２１０の訓練用のデータセットであってよい。

【0071】

第１訓練実行部３１３は、訓練データ３００を物体追跡モデル２１０（別言すれば、第１の機械学習モデル）に入力して物体追跡モデル２１０を訓練する。

【0072】

対象物検出部３１４は、訓練された物体追跡モデル２１０に、フレーム画像２２１－１（第１のフレーム画像の一例）とフレーム画像２２１－２（第２のフレーム画像の一例）とを少なくとも含むラベル無し動画データ２２０を入力してよい。対象物検出部３１４は、物体追跡モデル２１０の推論結果に基づいてフレーム画像２２１－１から対象物２２３－１（第１の対象物の一例）を検出する。同様に、対象物検出部３１４は、物体追跡モデル２１０の推論結果に基づいて、フレーム画像２２１－２から対象物２２３－２（第２の対象物の一例）を検出する。

【0073】

ＩＤ割当部３１５は、物体追跡モデル２１０による推論結果に基づいて、第１の対象物（対象物２２３－１等）と第２の対象物（対象物２２３－２等）との同一性を判断する。ＩＤ割当部３１５は、対象物２２３－１と対象物２２３－２とが同一の物体である場合には、対象物２２３－１と対象物２２３－２とに同一の識別情報２２５（別言すれば、物体ＩＤ）を割り当てる。

【0074】

画像取得部３１６は、対象物２２３－１と対象物２２３－２とが互いに同一性を有すると判断される場合に、第１データ２２６及び第２データ２２７を取得する。第１データ２２６は、対象物２２３－１を含む第１画像領域における画像データであり、第２データ２２７は、対象物２２３－２を含む第２画像領域における画像データである。第１データ２２６は、バウンディングボックス２２２－１の形状及び位置に対応してフレーム画像２２１－１から切り出された画像データであってよい。第２データ２２７は、バウンディングボックス２２２－２の形状及び位置に対応してフレーム画像２２１－２から切り出された画像データであってよい。

【0075】

第２訓練実行部３１７は、第１データ２２６及び第２データ２２７を対照学習モデル２３０に入力し、対照学習モデル２３０を訓練する。一例において、第２訓練実行部３１７は、第１データ２２６を対照学習モデル２３０に入力して対照学習モデル２３０から出力される第１特徴ベクトル２３１（第１の特徴量の一例）を得る。同様に、第２訓練実行部３１７は、第２データ２２７を対照学習モデル２３０に入力して対照学習モデル２３０から出力される第２特徴ベクトル２３２（第２の特徴量の一例）を得る。第２訓練実行部３１７は、第１特徴ベクトル２３１（ｚ_ｉ）と第２特徴ベクトル２３２（ｚ_ｊ）との一致度を高めるように対照学習モデル２３０のパラメータを調整する。一例において、損失関数Ｌ_φ＝‐ｓｉｍ（ｚ_ｉ，ｚ_ｊ）が算出され、この損失関数Ｌ_φの値が最小になるようにパラメータφが更新されてよい。

【0076】

第３訓練実行部３１８は、訓練されてパラメータが固定された対照学習モデル２３０に基づいて、画像中から対象物を検出する物体検出モデル２４０を訓練する。第３訓練実行部３１８は、物体検出モデル２４０の訓練に訓練画像データ２５０を用いる。訓練画像データ２５０は、画像と、ラベル２５３を有してよい。

【0077】

訓練画像データ２５０は、訓練データ３００と一部または全部が共通していてもよく、訓練データ３００と異なるデータであってもよい。

【0078】

訓練画像データ２５０は、パッチ生成部３１９によって複数の分割領域２５１に分割され、複数の分割画像２５２（別言すれば、パッチ）が生成される。分割領域２５１のサイズは、対象物の標準的なサイズ等に応じて予め定められてよい。

【0079】

第３訓練実行部３１８は、訓練されてパラメータが固定された対照学習モデル２３０（図７を参照）にそれぞれの分割画像２５２を入力して、それぞれの特徴ベクトル（別言すれば、表現ベクトル）を得る。一例において、第３訓練実行部３１８は、分割領域２５１毎の特徴ベクトルで表される特徴マップ２３３を各フレームについて算出する。

【0080】

第３訓練実行部３１８は、特徴マップ２３３とラベル２５３を物体検出モデル２４０に入力して訓練する。これによって物体検出モデル２４０において、特徴マップ２３３における位置毎の特徴量と、正解となるバウンディングボックス２２２及びクラス等のラベル２５３とに基づいて、パラメータが変更される。

【0081】

摂動にロバスト（別言すれば、頑健）な特徴マップ２３３を用いて物体検出モデル２４０を訓練することができるので、摂動にロバストな物体検出モデル２４０を実現することができる。

【0082】

対象物２２３の角度，遮蔽物２２４の有無，モーションブラーの有無，及び照明の違い等を反映したバラエティーに富んだデータを用いて生成された特徴マップ２３３のデータ量を増加することが可能になる。したがって、データ数が増加された特徴マップ２３３を用いて物体検出モデル２４０を訓練することによって、物体検出モデル２４０の過学習に起因した物体検出の性能低下を抑制することができる。

【0083】

〔Ｂ－２－２〕推論フェーズ
図１０は、実施形態に係る情報処理装置１による推論フェーズにおける機能構成例を示すブロック図である。

【0084】

情報処理装置１は、記憶部３１１，パッチ生成部３１９，及び推論部３２１を備える。パッチ生成部３１９及び推論部３２１は、制御部３２０の一例である。

【0085】

記憶部３１１は、対照学習モデル２３０及び物体検出モデル２４０を有してよい。対照学習モデル２３０及び物体検出モデル２４０は、訓練済みであり、パラメータが固定されてよい。

【0086】

記憶部３１１は、物体検出の対象となる入力画像２６０を記憶してよい。記憶部３１１は、推論処理によって得られた推論結果２７０を記憶してよい。

【0087】

パッチ生成部３１９は、入力画像２６０を取得し、入力画像２６０を複数の分割領域２５１に分割して、複数の分割画像２５２（パッチ）を生成する。分割領域２５１及び分割画像２５２は、対象となる画像が訓練画像データ２５０であるか入力画像２６０であるかの違いを除いて同様である。

【0088】

推論部３２１は、訓練されてパラメータが固定された対照学習モデル２３０（図７）にそれぞれの分割画像２５２を入力して、それぞれの特徴ベクトル（表現ベクトル）を得る。一例において、推論部３２１は、対照学習モデル２３０を用いて分割領域２５１毎の特徴ベクトルで表される特徴マップ２３３を算出する。

【0089】

推論部３２１は、算出された特徴マップ２３３を物体検出モデル２４０に入力して、物体検出モデル２４０によってラベルを推定する。一例において、推論部３２１は、図６に示される場合と同様に、対象物の境界位置情報であるバウンディングボックス２２２，対象物のクラス，及び確信度２２８等を推定する。

【0090】

なお、物体検出モデル２４０による推定結果を図４に示された追跡モデル２１４に入力することによって新たな物体追跡モデルが構成されてもよい。

【0091】

〔Ｂ－３〕実施形態に係る情報処理装置１のハードウェア構成例
図１１は、実施形態に係る情報処理装置１の機能を実現するコンピュータのハードウェア（ＨＷ）構成例を示すブロック図である。

【0092】

図１１に示すように、情報処理装置１は、ＣＰＵ１１，メモリ部１２，表示制御部１３，記憶装置１４，入力ＩＦ１５，外部記録媒体処理部１６及び通信ＩＦ１７を備える。

【0093】

メモリ部１２は、記憶部の一例であり、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）などである。メモリ部１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ部１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ部１２のＲＡＭは、一時記録メモリあるいはワーキングメモリとして利用されてよい。

【0094】

表示制御部１３は、表示装置１３１と接続され、表示装置１３１を制御する。表示装置１３１は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３１は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。

【0095】

記憶装置１４は、高ＩＯ性能の記憶装置であり、例えば、Dynamic Random Access Memory（ＤＲＡＭ）やＳＳＤ，Storage Class Memory（ＳＣＭ），ＨＤＤが用いられてよい。記憶装置１４は、ネットワーク構成テーブル１０１を記憶してよい。

【0096】

入力ＩＦ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御してよい。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行なう。

【0097】

外部記録媒体処理部１６は、記録媒体１６０が装着可能に構成される。外部記録媒体処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、または、半導体メモリ等である。

【0098】

通信ＩＦ１７は、外部装置との通信を可能にするためのインタフェースである。

【0099】

ＣＰＵ１１は、プロセッサ（別言すれば、コンピュータ）の一例であり、種々の制御や演算を行なう処理装置である。ＣＰＵ１１は、メモリ部１２に読み込まれたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。なお、ＣＰＵ１１は、複数のＣＰＵを含むマルチプロセッサであってもよいし、複数のＣＰＵコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。

【0100】

情報処理装置１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、情報処理装置１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。

【0101】

〔Ｂ－４〕実施形態に係る情報処理装置１の動作例
〔Ｂ－４－１〕訓練フェーズ
図１１に示した実施形態の情報処理装置１の訓練フェーズにおける動作の一例を、図１２に示すフローチャート（ステップＳ１～ステップＳ６）に従って説明する。

【0102】

取得部３１２は、既存の訓練データ３００を取得する。第１訓練実行部３１３は、既存の訓練データ３００を用いて物体追跡モデル２１０を訓練する（ステップＳ１）。図４に示されるように、物体追跡モデル２１０は、物体検出モデル２１２と追跡モデル２１４とを含んでよい。

【0103】

対象物検出部３１４は、ラベル無し動画データ２２０に対して、訓練された物体追跡モデル２１０を適用する（ステップＳ２）。対象物検出部３１４は、ラベル無し動画データ２２０において、各対象物２２３を検出する。

【0104】

ＩＤ割当部３１５は、物体追跡モデル２１０による推論結果に基づいて、対象物２２３－１（別言すれば、第１の対象物）と対象物２２３－２（別言すれば、第２の対象物）との同一性を判断する。ＩＤ割当部３１５は、対象物２２３－１と対象物２２３－２とが同一の物体である場合には、対象物２２３－１と対象物２２３－２とに同一の識別情報２２５（別言すれば、物体ＩＤ）を割り当てる。画像取得部３１６は、物体追跡の結果、同一の識別情報２２５（別言すれば、物体ＩＤ）となった異なる時刻のペアの画像を切り出す（ステップＳ３）。

【0105】

一例において、ペアの画像は、第１データ２２６及び第２データ２２７である。第１データ２２６は、対象物２２３－１を含む第１画像領域における画像データであり、第２データ２２７は、対象物２２３－２を含む第２画像領域における画像データである。

【0106】

第２訓練実行部３１７は、ペアの画像である第１データ２２６及び第２データ２２７を対照学習モデル２３０に入力し、対照学習モデル２３０を訓練する（ステップＳ４）。

【0107】

パッチ生成部３１９は、訓練データとして訓練画像データ２５０を取得する。パッチ生成部３１９は、訓練画像データ２５０を複数のパッチに分けて、パラメータを固定した対照学習モデル２３０に入力して、特徴マップ２３３を得る（ステップＳ５）。

【0108】

第３訓練実行部３１８は、特徴マップ２３３と、訓練画像データ２５０のラベル２５３を用いて、新たに物体検出モデル２４０を訓練する（ステップＳ６）。そして、訓練フェーズにおける処理は終了する。

【0109】

〔Ｂ－４－２〕推論フェーズ
図１１に示した実施形態の情報処理装置１の推論フェーズにおける動作の一例を、図１３に示すフローチャート（ステップＳ１１～ステップＳ１３）に従って説明する。

【0110】

制御部３２０は、少なくとも１枚の入力画像２６０を受け取る（ステップＳ１１）。

【0111】

パッチ生成部３１９は、入力画像２６０を取得する。パッチ生成部３１９は、入力画像２６０を複数のパッチに分ける。推論部３２１は、訓練されてパラメータが固定された対照学習モデル２３０（図７を参照）にそれぞれのパッチを入力して、それぞれの特徴ベクトル（別言すれば、表現ベクトル）を得る。一例において、推論部３２１は、対照学習モデル２３０を用いて分割領域毎の特徴ベクトルで表される特徴マップ２３３を得る（ステップＳ１２）。特徴マップ２３３は、対象となる画像が訓練画像データ２５０であるか入力画像２６０であるかの違いを除いて特徴マップ２３３と同様である。

【0112】

推論部３２１は、算出された特徴マップ２３３を物体検出モデル２４０に入力して、物体検出に関する推論結果２７０を得る（ステップＳ１３）。そして、推論フェーズにおける処理は終了する。

【0113】

〔Ｃ〕第１変形例
〔Ｃ－１〕第１変形例における訓練処理の説明
図１４は、第１変形例に係る情報処理装置１による物体検出モデル２４２の訓練処理の一例を示す図である。物体検出モデル２４２は、訓練された対照学習モデル２３０に基づいて、画像中から対象物を検出する第２の機械学習モデルの一例である。

【0114】

第１変形例の処理は、図３～図７に示される処理においては、実施形態の場合と共通する。したがって、繰り返しの説明を省略する。第１変形例の処理は、実施形態の図８に示される処理に代えて、図１４に示される処理を含む。

【0115】

図１４に示されるように、第１変形例においては、制御部３２０のうち、パッチ生成部３１９は、第１の分割解像度（例えば、高解像度），第２の分割解像度（例えば、中解像度），及び第３の分割解像度（例えば、低解像度）に応じて、それぞれ分割画像２５２を得る。

【0116】

一例において、パッチ生成部３１９は、入力される訓練画像データ２５０を第１の分割解像度に応じて複数の第１分割領域２５１ａに分割して複数の第１分割画像２５２ａを得る。また、パッチ生成部３１９は、入力される訓練画像データ２５０を第１の分割解像度と異なる第２の分割解像度に応じて複数の第２分割領域２５１ｂに分割して複数の第２分割画像２５２ｂを得る。さらに、パッチ生成部３１９は、入力される訓練画像データ２５０を第１及び第２の分割解像度と異なる第３の分割解像度に応じて複数の第３分割領域２５１ｃに分割して複数の第３分割画像２５２ｃを得る。

【0117】

第３訓練実行部３１８は、訓練されてパラメータが固定された対照学習モデル２３０（図７を参照）にそれぞれの第１分割画像２５２ａを入力して、それぞれの特徴ベクトル（別言すれば、表現ベクトル）を得る。一例において、第３訓練実行部３１８は、第１分割領域２５１ａ毎の特徴ベクトルで表される第１解像度特徴マップ２３３ａを算出する。

【0118】

同様に、第３訓練実行部３１８は、対照学習モデル２３０にそれぞれの第２分割画像２５２ｂを入力して、それぞれの特徴ベクトル（別言すれば、表現ベクトル）を得る。一例において、第３訓練実行部３１８は、第２分割領域２５１ｂ毎の特徴ベクトルで表される第２解像度特徴マップ２３３ｂを算出する。

【0119】

第３訓練実行部３１８は、対照学習モデル２３０にそれぞれの第３分割画像２５２ｃを入力して、それぞれの特徴ベクトル（別言すれば、表現ベクトル）を得る。一例において、第３訓練実行部３１８は、第３分割領域２５１ｃ毎の特徴ベクトルで表される第３解像度特徴マップ２３３ｃを算出する。

【0120】

第３訓練実行部３１８は、第１解像度特徴マップ２３３ａ，第２解像度特徴マップ２３３ｂ，第３解像度特徴マップ２３３ｃ，及び訓練画像データ２５０に基づいて、物体検出モデル２４２を訓練する。一例において、訓練画像データ２５０は、画像データとラベル２５３とを有する教師あり訓練データであってよい。

【0121】

一例において、物体検出モデル２４２の入力層には、訓練画像データ２５０（ラベル２５３を含む）が入力されてよい。対照学習モデル２３０の出力（第１解像度特徴マップ２３３ａ、第２解像度特徴マップ２３３ｂ、第３解像度特徴マップ２３３ｃ等）は、それぞれ物体検出モデル２４２の中間層出力に結合してよい。

【0122】

物体検出モデル２４２は、ＤＮＮ（ディープニューラルネット）ベースの物体検出モデルであってよい。この場合に、物体検出モデル２４２の中間層出力は、互いに異なる解像度に対応している場合がある。一例において、ＣＮＮ（畳み込みニューラルネットワーク）ベースの物体検出モデルの場合、出力層に近づくにつれて徐々に内部的な画像の解像度を低くしつつ物体検出が行なわれる。

【0123】

物体検出モデル２４２の各中間層出力の解像度が既知である場合には、第１の分割解像度，第２の分割解像度，及び第３の分割解像度等の各分割解像度を各中間層出力の解像度に対応させてよい。この場合、中間層には、当該中間層の出力解像度に対応する分割解像度の解像度特徴マップが結合される。

【0124】

サイズが異なる複数種類の対象物２２３が存在する場合において、複数種類の分割解像度に応じたサイズのパッチに分けて得られた複数種類の特徴マップ（２３３ａ、２３３ｂ、２３３ｃ）によって、物体検出モデル２４２を訓練する。したがって、サイズの異なる対象物２２３に対する検出精度を向上することができる。

【0125】

図１４においては、第１～第３の分割解像度という３段階の分割解像度の場合が示されたが、本実施形態は、この場合に限られず、２段階以上の分割解像度であればよい。物体検出モデル２４２の畳み込み層とプーリング層の層数に応じて、分割解像度の段階が設定されてよい。

【0126】

以上の点を除いて、第１変形例における物体検出モデル２４２の訓練処理は、実施形態の場合と同様である。したがって、第１変形例に係る情報処理装置１のソフトウェア構成及びハードウェア構成についての説明は省略する。

【0127】

〔Ｃ－２〕第１変形例における情報処理装置１の動作例
〔Ｃ－２－１〕訓練フェーズ
第１変形例に係る情報処理装置１の訓練フェーズにおける動作の一例を、図１５に示すフローチャート（ステップＳ２１～ステップＳ２８）に従って説明する。

【0128】

ステップＳ２１～ステップＳ２４の処理は、図１２におけるステップＳ１～Ｓ４の処理とそれぞれ同様である。したがって、説明を省略する。

【0129】

パッチ生成部３１９は、パッチサイズを選択する（ステップＳ２５）。パッチサイズは、分割領域２５１の辺の長さであってよい。パッチサイズは、分割解像度に反比例してよい。パッチサイズが大きくなるにつれて、分割解像度は低くなる。パッチサイズの種類は、予め設定されてよい。

【0130】

パッチ生成部３１９は、選択されたパッチサイズに従って訓練画像データ２５０をパッチに分けて、パラメータを固定した対照学習モデル２３０に入力して、特徴マップ（例えば、第１解像度特徴マップ２３３ａ）を得る（ステップＳ２６）。

【0131】

パッチ生成部３１９は、全てのパッチサイズの特徴マップを得たか否かを判断する（ステップＳ２７）。まだ得ていないパッチサイズの特徴マップがある場合には（ステップＳ２７：ＮＯルート参照）、パッチ生成部３１９は、次のパッチサイズを選択する（ステップＳ２５）。全てのパッチサイズの特徴マップを得た場合には（ステップＳ２７：ＹＥＳルート参照）、処理はステップＳ２８に進む。

【0132】

第３訓練実行部３１８は、各特徴マップ（２３３ａ，２３３ｂ，２３３ｃ）と、訓練データである訓練画像データ２５０のラベル２５３と画像とを物体検出モデル２４２に入力することで、物体検出モデル２４２を訓練する（ステップＳ２８）。そして、訓練フェーズにおける処理は終了する。

【0133】

〔Ｃ－２－２〕推論フェーズ
第１変形例に係る情報処理装置１の推論フェーズにおける動作の一例を、図１６に示すフローチャート（ステップＳ３１～ステップＳ３５）に従って説明する。

【0134】

制御部３２０は、少なくとも１枚の入力画像２６０を受け取る（ステップＳ３１）。

【0135】

パッチ生成部３１９は、パッチサイズを選択する（ステップＳ３２）。

【0136】

パッチ生成部３１９は、選択されたパッチサイズに従って入力画像２６０をパッチに分けて、パラメータを固定した対照学習モデル２３０に入力して、特徴マップ（例えば、第１解像度特徴マップ２３３ａ）を得る（ステップＳ３３）。

【0137】

パッチ生成部３１９は、全てのパッチサイズの特徴マップを得たか否かを判断する（ステップＳ３４）。まだ得ていないパッチサイズの特徴マップがある場合には（ステップＳ３４：ＮＯルート参照）、パッチ生成部３１９は、次のパッチサイズを選択する（ステップＳ３２）。全てのパッチサイズの特徴マップを得た場合には（ステップＳ３４：ＹＥＳルート参照）、処理はステップＳ３５に進む。

【0138】

ステップＳ３５においては、推論部３２１は、入力画像２６０と、各特徴マップ（２３３ａ，２３３ｂ，２３３ｃ）とを物体検出モデル２４２に入力して、物体検出に関する推論結果２７０を得る。

【0139】

〔Ｄ〕第２変形例
〔Ｄ－１〕第２変形例における訓練処理の説明
実施形態及び第１変形例においては、物体検出モデル２４０，２４２とは別に対照学習モデル２３０（符号化器）を設けられる場合が示された。但し、本実施形態は、この場合に限られない。第２変形例の機械学習方法においては、物体検出モデルの一部の機能が対照学習モデル（別言すれば、符号化器）として用いられる。

【0140】

図１７は、第２変形例に係る分離型物体検出モデル２８０について示す図である。分離型物体検出モデル２８０（decoupled object detection model）は、物体検出モデルの一例であり、第２の機械学習モデルの一例である。

【0141】

分離型物体検出モデル２８０（別言すれば、分離型物体検出ヘッド）においては、クラス分類用特徴抽出部２８１とバウンディングボックス用特徴抽出部２８２とが分離されている。クラス分類用特徴抽出部２８１は、物体検出の機能のうち、クラス分類のための特徴量を抽出する。バウンディングボックス用特徴抽出部２８２は、バウンディングボックス生成のための特徴量を抽出する。クラス分類用特徴抽出部２８１は、対象物のクラス分類に関する特徴量を出力するためのクラス分類モデルの一例である。バウンディングボックス用特徴抽出部２８２は、動画における対象物の境界位置情報に関する特徴量を出力する位置情報モデルの一例である。

【0142】

特徴マップ２８３は、分離型物体検出モデル２８０に入力されると、入力部２８４において、クラス分類用特徴抽出部２８１と、バウンディングボックス用特徴抽出部２８２とに分けられる。

【0143】

クラス分類用特徴抽出部２８１からの出力は、クラス分類部２８５によってクラス分類される。バウンディングボックス用特徴抽出部２８２からの出力は、バウンディングボックス回帰予測部２８６(regression)に入力される。バウンディングボックス回帰予測部２８６は、バウンディングボックスの位置を算出する。

【0144】

分離型物体検出モデル２８０は、一例において、ＹＯＬＯＸベースの物体検出モデルであってよい。

【0145】

第２変形例においては、分離型物体検出モデル２８０のうち、クラス分類用特徴抽出部２８１を対照学習モデルとして用いる。クラス分類用特徴抽出部２８１は符号化器の一例である。

【0146】

図１８は、第２変形例に係る情報処理装置１による分離型物体検出モデル２８０の訓練処理の一例を示す図である。

【0147】

図１９は、第２変形例に係る情報処理装置１による訓練フェーズにおける機能構成例を示すブロック図である。図２０は、第２変形例に係る情報処理装置１による推論フェーズにおける機能構成例を示すブロック図である。

【0148】

図１９及び図２０に示されるとおり、第２変形例の情報処理装置１においては、実施形態に係る情報処理装置１に比べて、第２訓練実行部３１７が省略されてよい。第３訓練実行部３１８が、第２訓練実行部３１７の機能を実現する。第２変形例の情報処理装置１においては、パッチ生成部３１９が省略されてよい。

【0149】

図１８及び図１９に示されるように、最適化部３２２が設けられてよい。最適化部３２２は、後述のように、第１要素２８６ａの値（別言すれば、第１のクラス分類用特徴量）と第２要素２８６ｂの値（別言すれば、第２のクラス分類用特徴量）との一致度を高めるようにクラス分類用特徴抽出部２８１を機械学習する。

【0150】

第２変形例に係る情報処理装置１は、実施形態における図３～図６に示される処理と同様の処理を実行する。情報処理装置１は、互いに同一の物体である対象物２２３－１（別言すれば、第１の対象物）を含む第１フレーム画像（別言すれば、フレーム画像２２１－１），２２３－２（別言すれば、第２の対象物）を含む第２フレーム画像（別言すれば、フレーム画像２２１－２）を得る。

【0151】

画像取得部３１６は、対象物２２３－１（別言すれば、第１の対象物）と対象物２２３－２（別言すれば、第２の対象物）とが互いに同一性を有すると判断される場合に、第１データ２２６及び第２データ２２７を取得する。

【0152】

実施形態及び第１変形例においては、主として、第１データ２２６は、バウンディングボックス２２２－１の形状及び位置に対応してフレーム画像２２１－１から切り出された画像データである場合が示された。第２データ２２７も、同様にフレーム画像２２１－２から切り出された画像データである場合が示された。

【0153】

第２変形例においては、第１データ２２６は、フレーム画像２２１－１の全体であってよい。第２データ２２７は、フレーム画像２２１－２の全体であってよい。

【0154】

第２変形例においては、第３訓練実行部３１８（第２訓練実行部３１７を兼ねる）は、対照学習モデルとしても機能するクラス分類用特徴抽出部２８１に第１データ２２６及び第２データ２２７をそれぞれ入力する。

【0155】

物体追跡の結果、異なる時刻（ｔ－１，ｔ）で同じ物体である対象物（２２３－１，２２３－２）が検出された場合、第３訓練実行部３１８は、対象物（２２３－１，２２３－２）の各時刻での位置に対応する特徴マップ上の第１要素２８８ａ（ｔ－１時）及び第２要素２８８ｂ（ｔ時）を取得する。第３訓練実行部３１８は、第１要素２８８ａの値と第２要素２８８ｂの値を取得する。

【0156】

第１要素２８８ａの値は、第１データ２２６をクラス分類モデルに入力して得られる第１のクラス分類用特徴量２８９ａの一例である。第２要素２８８ｂの値は、第２データ２２７をクラス分類モデルに入力して得られる第２のクラス分類用特徴量２８９ｂの一例である。

【0157】

ペアとなる対象物２２３の組は、複数組あってよい。ペアの数は予め定められてよい。

【0158】

最適化部３２２は、第１のクラス分類用特徴量２８９ａ（ｚ_ｉ）と第２のクラス分類用特徴量２８９ｂ（ｚ_ｊ）との一致度を高めるようにクラス分類用特徴抽出部２８１を機械学習する。最適化部３２２は、損失関数Ｌ_φ＝‐ｓｉｍ（ｚ_ｉ，ｚ_ｊ）が算出され、この損失関数Ｌ_φの値が最小になるようにパラメータφが更新されてよい。

【0159】

取り出された第１のクラス分類用特徴量２８９ａと第２のクラス分類用特徴量２８９ｂ（ｚ_ｊ）とは、同じ物体に対する特徴量であるので、対照学習と同様の考え方を適用することができる。

【0160】

クラス分類用特徴抽出部２８１等によるクラス分類の機械学習、バウンディングボックス用特徴抽出部２８２等による境界位置情報の機械学習と、対照学習とが並行して実施されてよい。この場合には、ラベル無し動画データ２２０に代えて、ラベル付き動画データが入力されてよい。

【0161】

第２変形例のように、物体検出モデル（分離型物体検出モデル２８０）の一部の機能が対照学習モデル（符号化器）として用いられる場合においても訓練が可能となり、対照学習モデルを別個に訓練する場合に比べても、物体検出に適した訓練が可能となり得る。
〔Ｄ－２〕第２変形例における情報処理装置１の動作例
〔Ｄ－２－１〕訓練フェーズ
第２変形例に係る情報処理装置１の訓練フェーズにおける動作の一例を、図２１に示すフローチャート（ステップＳ４１～ステップＳ４８）に従って説明する。

【0162】

ステップＳ４１～ステップＳ４２の処理は、図１２におけるステップＳ１～Ｓ２の処理とそれぞれ同様である。したがって、説明を省略する。

【0163】

ＩＤ割当部３１５は、物体追跡モデル２１０による推論結果に基づいて、対象物２２３－１（別言すれば、第１の対象物）と対象物２２３－２（別言すれば、第２の対象物）との同一性を判断する。ＩＤ割当部３１５は、対象物２２３－１と対象物２２３－２とが同一の物体である場合には、対象物２２３－１と対象物２２３－２とに同一の識別情報２２５（別言すれば、物体ＩＤ）を割り当てる。画像取得部３１６は、物体追跡の結果、同一の識別情報２２５（別言すれば、物体ＩＤ）となった異なる時刻のペアの対象物２２３－１，２２３－２を見つける（ステップＳ４３）。

【0164】

画像取得部３１６は、ペアの対象物２２３－１，２２３－２が含まれる画像を選択する（ステップＳ４４）。ペアの画像は、フレーム画像２２１－１の全体及びフレーム画像２２１－２の全体であってよい。

【0165】

第３訓練実行部３１８は、選択されたペアの画像（別言すれば、第１データ２２６，第２データ２２７）をそれぞれ物体検出モデルに入力する（ステップＳ４５）。一例において、フレーム画像２２１－１の全体及びフレーム画像２２１－２の全体が分離型物体検出モデル２８０に入力される。

【0166】

第３訓練実行部３１８は、対象物２２３－１，２２３－２の各時刻での位置に対応する特徴マップ上の第１要素２８８ａ及び第２要素２８８ｂを特定する（ステップＳ４６）。

【0167】

第３訓練実行部３１８は、同一性が認められた全ての対象物２２３のペアについて、第１要素２８８ａ及び第２要素２８８ｂが特定されたか否かを判断する（ステップＳ４７）。同一性が認められた全ての対象物２２３のペアについて、第１要素２８８ａ及び第２要素２８８ｂが特定されていない場合には（ステップＳ４７：ＮＯルート参照）、第３訓練実行部３１８は、他のペアの対象物が含まれる画像を選択する（ステップＳ４４）。同一性が認められた全ての対象物２２３のペアについて、第１要素２８８ａ及び第２要素２８８ｂが特定された場合には（ステップＳ４７：ＹＥＳルート参照）、処理はステップＳ４８に進む。

【0168】

最適化部３２２は、特定された全てのペアにおける第１要素２８８ａの値と第２要素２８８ｂの値の一致度を高めるように、対照学習によってクラス分類用特徴抽出部２８１を機械学習する（ステップＳ４８）。最適化部３２２は、第１のクラス分類用特徴量２８９ａ（ｚ_ｉ）と第２のクラス分類用特徴量２８９ｂ（ｚ_ｊ）との一致度を高めるようにクラス分類用特徴抽出部２８１を機械学習する。最適化部３２２は、各ペアにおいて損失関数Ｌ_φ＝‐ｓｉｍ（ｚ_ｉ，ｚ_ｊ）が算出され、全てのペアについて損失関数Ｌ_φを合計した値が最小になるようにパラメータφが更新されてよい。そして、訓練フェーズにおける処理は終了する。

【0169】

〔Ｄ－２－２〕推論フェーズ
第２変形例に係る情報処理装置１の推論フェーズにおける動作の一例を、図２２に示すフローチャート（ステップＳ５１～ステップＳ５２）に従って説明する。

【0170】

制御部３２０は、少なくとも１枚の入力画像２６０を受け取る（ステップＳ５１）。

【0171】

訓練されてパラメータが固定された物体検出モデルである分離型物体検出モデル２８０に入力画像２６０を入力して、推論結果２７０を得る（ステップＳ５２）。そして、推論フェーズにおける処理は終了する。

【0172】

〔Ｅ〕効果
上述した実施形態の一例によれば、例えば、以下の作用効果を奏することができる。

【0173】

制御部３２０は、訓練データ３００を用いて訓練された物体追跡モデル２１０に、第１のフレーム画像（フレーム画像２２１－１等）と第２のフレーム画像（フレーム画像２２１－２等）とを少なくとも含むラベル無し動画データ２２０を入力する。制御部３２０は、物体追跡モデル２１０による推論結果に基づいて、第１のフレーム画像（フレーム画像２２１－１等）及び第２のフレーム画像（フレーム画像２２１－２等）からそれぞれ対象物２２３－１（別言すれば、第１対象物）及び対象物２２３－２（別言すれば、第２対象物）を検出する。制御部３２０は、検出された対象物２２３－１と対象物２２３－２との同一性を判断する。制御部３２０は、同一性を有すると判断された対象物２２３－１を含む第１画像領域における第１データ２２６と対象物２２３－２を含む第２画像領域における第２データ２２７とを対照学習モデル２３０に入力して対照学習モデル２３０を訓練する。

【0174】

これにより、遮蔽物２２４等に起因する摂動による影響を低減して物体検出の性能を向上することができる。対照学習モデル２３０によって訓練データの量を増加させることができるので、過学習などによる物体の検出性能の低下を抑制することができる。

【0175】

特別のデータ拡張処理を経由せずとも、対象物２２３の角度，遮蔽物２２４の有無，モーションブラーの有無，及び照明の違い等の差異等が考慮された対照学習用の画像のペアを取得することができる。ラベル伝播により擬似的にラベルを増やす方法に比べて、バリエーション豊かな訓練データが得られる。したがって、対象物２２３の角度，遮蔽物２２４の有無，モーションブラーの有無，及び照明の違い等の差異に対してロバスト（別言すれば、頑健）な物体検知を実現することができる。

【0176】

制御部３２０は、対照学習モデル２３０を訓練する処理において、第１データ２２６を対照学習モデル２３０に入力して得られる第１の特徴量と、第２データ２２７を第２の特徴量との一致度を高めるように機械学習する。

【0177】

これにより、遮蔽物２２４等による摂動に頑健な対照学習モデル２３０が得られる。

【0178】

制御部３２０は、訓練された対照学習モデル２３０に基づいて、画像中から対象物を検出する物体検出モデル２４０を訓練する。

【0179】

遮蔽物２２４等による摂動に頑健な対照学習モデル２３０を活かした物体検出モデル２４０の訓練を行なうことができ、より頑健な物体検出が可能となる。対照学習モデル２３０によってバラエティーに富む訓練データの量を増やすことができるので、過学習が抑制される。

【0180】

制御部３２０は、物体検出モデル２４０を訓練する処理において、入力される訓練画像データ２５０を複数の分割領域２５１に分割して複数の分割画像２５２を得る。制御部３２０は、各分割領域２５１の分割画像２５２を対照学習モデル２３０に入力して、分割領域２５１におけるそれぞれの特徴量を算出し、算出された結果と、入力される訓練画像データ２５０に対応するラベル２５３とに基づいて物体検出モデル２４０を訓練する。

【0181】

これにより、構成を複雑化することなく、対照学習モデル２３０による訓練結果を物体検出モデル２４０に反映させることが可能となる。

【0182】

制御部３２０は、物体検出モデル２４２を訓練する処理において、入力される訓練画像データ２５０を第１の分割解像度に応じて複数の第１分割領域２５１ａに分割して複数の第１分割画像２５２ａを得る。制御部３２０は、入力される訓練画像データ２５０を第１の分割解像度と異なる第２の分割解像度に応じて複数の第２分割領域２５１ｂに分割して複数の第２分割画像２５２ｂを得る。制御部３２０は、第１分割領域２５１ａのそれぞれにおける第１分割画像２５２ａを対照学習モデル２３０に入力して、第１分割領域２５１ａにおけるそれぞれの特徴量を示す第１解像度特徴マップ２３３ａを得る。制御部３２０は、第２分割領域２５１ｂのそれぞれにおける第２分割画像２５２ｂを対照学習モデル２３０に入力して、第２分割領域２５１ｂにおけるそれぞれの特徴量を示す第２解像度特徴マップ２３３ｂを得る。制御部３２０は、第１解像度特徴マップ２３３ａ、第２解像度特徴マップ２３３ｂ、及び訓練画像データ２５０に基づいて、物体検出モデル２４２を訓練する。

【0183】

これにより、検出対象物が画像中に様々なスケールで表れる場合にも効果的に物体検出性能を向上することができる。

【0184】

物体検出モデルとして、動画における対象物の境界位置情報に関する特徴量を出力する位置情報モデルと、対象物のクラス分類に関する特徴量を出力するためのクラス分類用特徴抽出部２８１（別言すれば、クラス分類モデル）とを含む分離型物体検出モデル２８０が用いられる。分離型物体検出モデル２８０において、クラス分類用特徴抽出部２８１が対照学習モデル（別言すれば、符号化器）として用いられる。制御部３２０は、第１データ２２６をクラス分類用特徴抽出部２８１に入力して得られる第１のクラス分類用特徴量２８９ａと、第２データ２２７をクラス分類用特徴抽出部２８１に入力して得られる第２のクラス分類用特徴量２８９ｂとの一致度を高めるように機械学習する。

【0185】

これにより、物体検出モデル（別言すれば、分離型物体検出モデル２８０）の一部を対照学習モデルとして兼用することができ、物体検出と対照学習の親和性が高い処理を実現することができる。

【0186】

〔Ｆ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

【0187】

〔Ｇ〕付記
以上の実施形態に関し、さらに以下の付記が開示される。

【0188】

（付記１）
訓練データを用いて訓練された第１の機械学習モデルに、第１のフレーム画像と第２のフレーム画像とを少なくとも含む動画データを入力し、
前記第１の機械学習モデルによる推論結果に基づいて、前記第１のフレーム画像及び前記第２のフレーム画像からそれぞれ第１対象物及び第２対象物を検出し、検出された前記第１対象物と前記第２対象物との同一性を判断し、前記同一性を有すると判断された前記第１対象物を含む第１画像領域における第１データと前記第２対象物を含む第２画像領域における第２データとを符号化器に入力して前記符号化器を訓練する、
処理をコンピュータに実行させる、機械学習プログラム。

【0189】

（付記２）
前記符号化器を訓練する処理において、
前記第１データを前記符号化器に入力して得られる第１の特徴量と、前記第２データを第２の特徴量との一致度を高めるように機械学習する、
処理を前記コンピュータに実行させる、付記１に記載の機械学習プログラム。

【0190】

（付記３）
訓練された前記符号化器に基づいて、画像中から対象物を検出する第２の機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、付記１または２に記載の機械学習プログラム。

【0191】

（付記４）
前記第２の機械学習モデルを訓練する処理において、
入力される画像データを複数の分割領域に分割して複数の分割画像を得て、
前記分割領域のそれぞれにおける前記分割画像を前記符号化器に入力して、前記分割領域におけるそれぞれの特徴量を算出し、
前記算出された結果と、前記入力される画像データに対応するラベルとに基づいて前記第２の機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、付記３に記載の機械学習プログラム。

【0192】

（付記５）
前記第２の機械学習モデルを訓練する処理において、
入力される画像データを第１の分割解像度に応じて複数の第１分割領域に分割して複数の第１分割画像を得て、
入力される前記画像データを前記第１の分割解像度と異なる第２の分割解像度に応じて複数の第２分割領域に分割して複数の第２分割画像を得て、
前記第１分割領域のそれぞれにおける前記第１分割画像を前記符号化器に入力して、前記第１分割領域におけるそれぞれの特徴量を示す第１解像度特徴マップを得て、
前記第２分割領域のそれぞれにおける前記第２分割画像を前記符号化器に入力して、前記第２分割領域におけるそれぞれの特徴量を示す第２解像度特徴マップを得て、
前記第１解像度特徴マップ、前記第２解像度特徴マップ、及び前記画像データに基づいて、前記第２の機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、付記３に記載の機械学習プログラム。

【0193】

（付記６）
動画における対象物の境界位置情報に関する特徴量を出力する位置情報モデルと、対象物のクラス分類に関する特徴量を出力するためのクラス分類モデルとを含む、第２の機械学習モデルにおいて、前記クラス分類モデルを前記符号化器として用い、
前記第１データを前記クラス分類モデルに入力して得られる第１のクラス分類用特徴量と、前記第２データを前記クラス分類モデルに入力して得られる第２のクラス分類用特徴量との一致度を高めるように機械学習する、
処理を前記コンピュータに実行させる、付記１または２に記載の機械学習プログラム。

【0194】

（付記７）
訓練データを用いて訓練された第１の機械学習モデルに、第１のフレーム画像と第２のフレーム画像とを少なくとも含む動画データを入力し、
前記第１の機械学習モデルによる推論結果に基づいて、前記第１のフレーム画像及び前記第２のフレーム画像からそれぞれ第１対象物及び第２対象物を検出し、検出された前記第１対象物と前記第２対象物との同一性を判断し、前記同一性を有すると判断された前記第１対象物を含む第１画像領域における第１データと前記第２対象物を含む第２画像領域における第２データとを符号化器に入力して前記符号化器を訓練する、
処理をコンピュータが実行する、機械学習方法。

【0195】

（付記８）
前記符号化器を訓練する処理において、
前記第１データを前記符号化器に入力して得られる第１の特徴量と、前記第２データを第２の特徴量との一致度を高めるように機械学習する、
処理を前記コンピュータが実行する、付記７に記載の機械学習方法。

【0196】

（付記９）
訓練された前記符号化器に基づいて、画像中から対象物を検出する第２の機械学習モデルを訓練する、
処理を前記コンピュータが実行する、付記７または８に記載の機械学習方法。

【0197】

（付記１０）
前記第２の機械学習モデルを訓練する処理において、
入力される画像データを複数の分割領域に分割して複数の分割画像を得て、
前記分割領域のそれぞれにおける前記分割画像を前記符号化器に入力して、前記分割領域におけるそれぞれの特徴量を算出し、
前記算出された結果と、前記入力される画像データに対応するラベルとに基づいて前記第２の機械学習モデルを訓練する、
処理を前記コンピュータが実行する、付記９に記載の機械学習方法。

【0198】

（付記１１）
前記第２の機械学習モデルを訓練する処理において、
入力される画像データを第１の分割解像度に応じて複数の第１分割領域に分割して複数の第１分割画像を得て、
入力される前記画像データを前記第１の分割解像度と異なる第２の分割解像度に応じて複数の第２分割領域に分割して複数の第２分割画像を得て、
前記第１分割領域のそれぞれにおける前記第１分割画像を前記符号化器に入力して、前記第１分割領域におけるそれぞれの特徴量を示す第１解像度特徴マップを得て、
前記第２分割領域のそれぞれにおける前記第２分割画像を前記符号化器に入力して、前記第２分割領域におけるそれぞれの特徴量を示す第２解像度特徴マップを得て、
前記第１解像度特徴マップ、前記第２解像度特徴マップ、及び前記画像データに基づいて、前記第２の機械学習モデルを訓練する、
処理を前記コンピュータが実行する、付記９に記載の機械学習方法。

【0199】

（付記１２）
動画における対象物の境界位置情報に関する特徴量を出力する位置情報モデルと、対象物のクラス分類に関する特徴量を出力するためのクラス分類モデルとを含む、第２の機械学習モデルにおいて、前記クラス分類モデルを前記符号化器として用い、
前記第１データを前記クラス分類モデルに入力して得られる第１のクラス分類用特徴量と、前記第２データを前記クラス分類モデルに入力して得られる第２のクラス分類用特徴量との一致度を高めるように機械学習する、
処理を前記コンピュータが実行する、付記７または付記８に記載の機械学習方法。

【0200】

（付記１３）
訓練データを用いて訓練された第１の機械学習モデルに、第１のフレーム画像と第２のフレーム画像とを少なくとも含む動画データを入力し、
前記第１の機械学習モデルによる推論結果に基づいて、前記第１のフレーム画像及び前記第２のフレーム画像からそれぞれ第１対象物及び第２対象物を検出し、検出された前記第１対象物と前記第２対象物との同一性を判断し、前記同一性を有すると判断された前記第１対象物を含む第１画像領域における第１データと前記第２対象物を含む第２画像領域における第２データとを符号化器に入力して前記符号化器を訓練する、
プロセッサを備える、情報処理装置。

【0201】

（付記１４）
前記符号化器を訓練する処理は、
前記第１データを前記符号化器に入力して得られる第１の特徴量と、前記第２データを第２の特徴量との一致度を高めるように機械学習する処理を含む、付記１３に記載の情報処理装置。

【0202】

（付記１５）
前記プロセッサは、訓練された前記符号化器に基づいて、画像中から対象物を検出する第２の機械学習モデルを訓練する、付記１３または１４に記載の情報処理装置。

【0203】

（付記１６）
前記第２の機械学習モデルを訓練する処理は、
入力される画像データを複数の分割領域に分割して複数の分割画像を得て、
前記分割領域のそれぞれにおける前記分割画像を前記符号化器に入力して、前記分割領域におけるそれぞれの特徴量を算出し、
前記算出された結果と、前記入力される画像データに対応するラベルとに基づいて前記第２の機械学習モデルを訓練する、
処理を含む、付記１５に記載の情報処理装置。

【0204】

（付記１７）
前記第２の機械学習モデルを訓練する処理は、
入力される画像データを第１の分割解像度に応じて複数の第１分割領域に分割して複数の第１分割画像を得て、
入力される前記画像データを前記第１の分割解像度と異なる第２の分割解像度に応じて複数の第２分割領域に分割して複数の第２分割画像を得て、
前記第１分割領域のそれぞれにおける前記第１分割画像を前記符号化器に入力して、前記第１分割領域におけるそれぞれの特徴量を示す第１解像度特徴マップを得て、
前記第２分割領域のそれぞれにおける前記第２分割画像を前記符号化器に入力して、前記第２分割領域におけるそれぞれの特徴量を示す第２解像度特徴マップを得て、
前記第１解像度特徴マップ、前記第２解像度特徴マップ、及び前記画像データに基づいて、前記第２の機械学習モデルを訓練する、
処理を含む、付記１５に記載の情報処理装置。

【0205】

（付記１８）
動画における対象物の境界位置情報に関する特徴量を出力する位置情報モデルと、対象物のクラス分類に関する特徴量を出力するためのクラス分類モデルとを含む、第２の機械学習モデルにおいて、前記クラス分類モデルを前記符号化器として有し、
前記プロセッサは、前記第１データを前記クラス分類モデルに入力して得られる第１のクラス分類用特徴量と、前記第２データを前記クラス分類モデルに入力して得られる第２のクラス分類用特徴量との一致度を高めるように機械学習する、付記１３または１４に記載の情報処理装置。

【符号の説明】

【0206】

１ ：情報処理装置
１１ ：プロセッサ
１２ ：メモリ部
１３ ：表示制御部
１３０ ：表示装置
１４ ：記憶装置
１５ ：入力ＩＦ
１５１ ：マウス
１５２ ：キーボード
１６ ：外部記録媒体処理部
１６０ ：記録媒体
１７ ：通信ＩＦ
２００ ：フレーム画像
２０１ ：対象物
２０２ ：バウンディングボックス
２０５ ：クラス
２１０ ：物体追跡モデル
２１２ ：物体検出モデル
２１４ ：追跡モデル
２２０ ：ラベル無し動画データ
２２１ ：フレーム画像
２２２ ：バウンディングボックス
２２３ ：対象物
２２３ａ ：第１対象物
２２３ｂ ：第２対象物
２２４ ：遮蔽物
２２５ ：識別情報
２２６ ：第１データ
２２７ ：第２データ
２２８ ：確信度
２３０ ：対照学習モデル
２３１ ：第１特徴ベクトル
２３２ ：第２特徴ベクトル
２５０ ：訓練画像データ
２５１ ：分割領域
２５２ ：分割画像
２５３ ：ラベル
２６０ ：入力画像
２７０ ：推論結果
２８０ ：分離型物体検出モデル
２８１ ：クラス分類用特徴抽出部
２８２ ：バウンディングボックス用特徴抽出部
２８３ ：特徴マップ
２８４ ：入力部
２８５ ：クラス分類部
２８６ ：バウンディングボックス回帰予測部
２８８ａ ：第１要素
２８８ｂ ：第２要素
２８９ａ ：第１のクラス分類用特徴量
２８９ｂ ：第２のクラス分類用特徴量
３００ ：訓練データ
３１１ ：記憶部
３１２ ：取得部
３１３ ：第１訓練実行部
３１４ ：対象物検出部
３１５ ：ＩＤ割当部
３１６ ：画像取得部
３１７ ：第２訓練実行部
３１８ ：第３訓練実行部
３１９ ：パッチ生成部
３２０ ：制御部
３２１ ：推論部
３２２ ：最適化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】