特開 2024-68729 学習装置、パラメータ調整方法、及び、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024068729

(43)【公開日】2024-05-21

(54)【発明の名称】学習装置、パラメータ調整方法、及び、記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240514BHJP

   G06T 7/10 20170101ALI20240514BHJP

【ＦＩ】

G06T7/00 350B

G06T7/10

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022179283

(22)【出願日】2022-11-09

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】金子 智一

(72)【発明者】

【氏名】白石 壮馬

(72)【発明者】

【氏名】坂井 亮介

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA02

5L096KA04

(57)【要約】

【課題】物体認識における認識精度の低下を防ぐことが可能な学習装置等を提供する。
【解決手段】学習装置は、静止画像用の学習モデルを有する。学習モデルは、静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成するマスク生成手段を具備する。第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータは、静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する第１の物体マスクの差を示す第１の損失に基づいて調整される。
【選択図】図２

【特許請求の範囲】

【請求項1】

静止画像用の学習モデルを有する学習装置であって、
前記学習モデルは、静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成するマスク生成手段を具備し、
前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータは、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整される学習装置。

【請求項2】

前記第１のパラメータは、前記第１の損失が０になるように調整される請求項１に記載の学習装置。

【請求項3】

前記学習モデルは、前記静止画像全体の特徴を表す第１の特徴量を抽出する特徴抽出手段をさらに有し、
前記第１の特徴量の抽出に係る処理に用いられる少なくとも１つのパラメータを含む第２のパラメータは、前記動画像全体の特徴を表す第２の特徴量に対する前記第１の特徴量の差を示す第２の損失に基づいて調整される請求項１に記載の学習装置。

【請求項4】

前記第１のパラメータ及び前記第２のパラメータは、前記第１の損失及び前記第２の損失が両方とも０になるように調整される請求項３に記載の学習装置。

【請求項5】

前記学習モデルは、前記静止画像における個々の物体毎の第１の物体表現を取得する表現取得手段をさらに有し、
前記第１の物体表現の取得に係る処理に用いられる少なくとも１つのパラメータを含む第３のパラメータは、前記動画像における個々の物体毎の第２の物体表現に対する前記第１の物体表現の差を示す第３の損失に基づいて調整される請求項１に記載の学習装置。

【請求項6】

前記第１のパラメータ及び前記第３のパラメータは、前記第１の損失及び前記第３の損失が両方とも０になるように調整される請求項５に記載の学習装置。

【請求項7】

前記学習モデルは、前記静止画像全体の特徴を表す第１の特徴量を抽出する特徴抽出手段と、前記第１の特徴量に基づいて前記静止画像における個々の物体毎の第１の物体表現を取得する表現取得手段と、前記第１の物体表現に基づいて前記第１の物体マスクを生成する前記マスク生成手段と、を有し、
前記第１の特徴量の抽出に係る処理に用いられる少なくとも１つのパラメータを含む第２のパラメータは、前記動画像全体の特徴を表す第２の特徴量に対する前記第１の特徴量の差を示す第２の損失に基づいて調整され、
前記第１の物体表現の取得に係る処理に用いられる少なくとも１つのパラメータを含む第３のパラメータは、前記動画像における個々の物体毎の第２の物体表現に対する前記第１の物体表現の差を示す第３の損失に基づいて調整される請求項１に記載の学習装置。

【請求項8】

前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータは、前記第１の損失、前記第２の損失及び前記第３の損失が全て０になるように調整される請求項７に記載の学習装置。

【請求項9】

静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成する静止画像用の学習モデルに対して適用されるパラメータ調整方法であって、
前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータを、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整するパラメータ調整方法。

【請求項10】

静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成する静止画像用の学習モデルに対する処理をコンピュータに実行させるプログラムを記録した記録媒体であって、
前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータを、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整する処理を前記コンピュータに実行させるプログラムを記録した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習の技術に関する。

【背景技術】

【0002】

機械学習の分野において、教師なし画像に含まれる個々の物体毎の物体表現を取得できるように学習された機械学習モデルが近年提案されている。

【0003】

具体的には、例えば、非特許文献１には、静止画像に含まれる個々の物体毎の物体表現を取得できるように学習された機械学習モデルが提案されている。

【0004】

また、前述のように学習された機械学習モデルにより得られた物体表現は、例えば、物体認識に係る処理において活用することができる。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ｆｒａｎｃｅｓｃｏ Ｌｏｃａｔｅｌｌｏ， ｅｔ．ａｌ，「Ｏｂｊｅｃｔ－Ｃｅｎｔｒｉｃ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｓｌｏｔ Ａｔｔｅｎｔｉｏｎ」、［ｏｎｌｉｎｅ］、２０２０年１０月１４日、ａｒＸｉｖ、［２０２２年１０月２８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／２００６．１５０５５．ｐｄｆ＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、非特許文献１に開示された技術によれば、例えば、複雑なテクスチャを有する物体が静止画像に含まれているような場合において、当該物体の境界の認識が困難であることに起因し、物体表現の取得精度が低下してしまう、という問題点がある。

【0007】

すなわち、非特許文献１に開示された技術によれば、物体認識における認識精度が低下してしまう場合がある、という前述の問題点に応じた課題が生じている。

【0008】

本開示の１つの目的は、物体認識における認識精度の低下を防ぐことが可能な学習装置を提供することにある。

【課題を解決するための手段】

【0009】

本開示の一つの観点では、学習装置は、静止画像用の学習モデルを有する。前記学習モデルは、静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成するマスク生成手段を具備する。前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータは、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整される。

【0010】

本開示の他の観点では、パラメータ調整方法は、静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成する静止画像用の学習モデルに対して適用される。前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータは、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整される。

【0011】

本開示のさらに他の観点では、記録媒体は、静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成する静止画像用の学習モデルに対する処理をコンピュータに実行させるプログラムを記録する。前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータは、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整される。

【発明の効果】

【0012】

本開示によれば、物体認識における認識精度の低下を防ぐことが可能となる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態に係る学習装置のハードウェア構成を示すブロック図。

【図2】第１実施形態に係る学習装置の機能構成を示すブロック図。

【図3】マスク画像の生成に係る処理の概要を示す図。

【図4】第１実施形態に係る学習装置において継承される知識を蒸留するために利用される情報処理装置の構成を説明するためのブロック図。

【図5】第１実施形態に係る学習装置において行われる処理の一例を示すフローチャート。

【図6】第１実施形態の変形例を説明するためのブロック図。

【図7】合成マスク画像の生成に係る処理の一例を示す図。

【図8】第２実施形態に係る学習装置の機能構成を示すブロック図。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本開示の好適な実施形態について説明する。

【0015】

［ハードウェア構成］
図１は、第１実施形態に係る学習装置のハードウェア構成を示すブロック図である。学習装置１００は、図１に示すように、インタフェース（ＩＦ）１１１と、プロセッサ１１２と、メモリ１１３と、記録媒体１１４と、データベース（ＤＢ）１１５と、を有している。

【0016】

ＩＦ１１１は、外部装置との間でデータの入出力を行う。例えば、カメラ等により撮影された物体を含む静止画像がＩＦ１１１を通じて学習装置１００に入力される。

【0017】

プロセッサ１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、学習装置１００の全体を制御する。具体的には、プロセッサ１１２は、例えば、静止画像に含まれる個々の物体毎の物体表現を取得するための処理等を行う。

【0018】

メモリ１１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１１３は、プロセッサ１１２による各種の処理の実行中に作業メモリとしても使用される。

【0019】

記録媒体１１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、学習装置１００に対して着脱可能に構成される。記録媒体１１４は、プロセッサ１１２が実行する各種のプログラムを記録している。学習装置１００が各種の処理を実行する際には、記録媒体１１４に記録されているプログラムがメモリ１１３にロードされ、プロセッサ１１２により実行される。

【0020】

ＤＢ１１５には、例えば、ＩＦ１１１を通じて入力された情報、及び、プロセッサ１１２の処理により得られた処理結果等が格納される。

【0021】

［機能構成］
図２は、第１実施形態に係る学習装置の機能構成を示すブロック図である。学習装置１００は、図２に示すように、学習モデル１０を有している。

【0022】

学習モデル１０は、教師なしの静止画像に含まれる個々の物体毎の物体表現を取得できるように学習された静止画像用の機械学習モデルとして構成されている。また、学習モデル１０は、例えば、Ｆｒａｎｃｅｓｃｏ Ｌｏｃａｔｅｌｌｏ， ｅｔ．ａｌ，「Ｏｂｊｅｃｔ－Ｃｅｎｔｒｉｃ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｓｌｏｔ Ａｔｔｅｎｔｉｏｎ」に開示されているモデルのような、静止画像用の世界モデルに相当する構成を有している。また、学習モデル１０は、図２に示すように、特徴抽出部１１と、表現取得部１２と、マスク生成部１３と、を有している。

【0023】

特徴抽出部１１は、特徴抽出手段としての機能を有している。また、特徴抽出部１１は、学習装置１００の外部から入力された静止画像ＳＧ全体の特徴を表す特徴量ＳＧＦを抽出し、当該抽出した特徴量ＳＧＦを表現取得部１２へ出力する。

【0024】

表現取得部１２は、表現取得手段としての機能を有している。また、表現取得部１２は、特徴抽出部１１により抽出された特徴量ＳＧＦに基づき、静止画像ＳＧに含まれる個々の物体に対応する表現ベクトルＳＧＶを算出する。表現ベクトルＳＧＶには、静止画像ＳＧにおける物体の個数と同数のベクトルが含まれている。また、表現取得部１２は、表現ベクトルＳＧＶの算出結果を静止画像ＳＧにおける個々の物体毎の物体表現ＳＧＲとして取得し、当該取得した物体表現ＳＧＲをマスク生成部１３へ出力する。

【0025】

マスク生成部１３は、マスク生成手段としての機能を有している。また、マスク生成部１３は、表現取得部１２により得られた物体表現ＳＧＲに基づき、静止画像ＳＧにおいて物体が存在する領域である物体領域ＳＧＡの推定を行う。また、マスク生成部１３は、前述の推定により得られた個々の物体領域ＳＧＡを識別可能な物体マスクＳＧＭを生成する。物体マスクＳＧＭは、例えば、個々の物体領域ＳＧＡを異なる色で塗りつぶしたマスク画像として生成される。また、物体マスクＳＧＭには、静止画像ＳＧにおける物体の個数と同数のマスク画像が含まれている。具体的には、マスク生成部１３は、静止画像ＳＧに対応するマスク画像として、例えば、図３に示すようなマスク画像ＭＧＡ及びＭＧＢを生成する。図３は、マスク画像の生成に係る処理の概要を示す図である。マスク画像ＭＧＡには、静止画像ＳＧにおける物体ＢＡに対応する物体領域を示すマスクＭＡが含まれている。また、マスク画像ＭＧＢには、静止画像ＳＧにおける物体ＢＢに対応する物体領域を示すマスクＭＢが含まれている。なお、図３においては、図示の便宜上、マスクＭＡ及びＭＢを、互いに異なる色で塗りつぶされた領域ではなく、互いに異なるハッチングが施された領域として示している。すなわち、マスク生成部１３は、表現取得部１２により得られた物体表現ＳＧＲに基づき、静止画像ＳＧにおいて物体が存在する領域である物体領域ＳＧＡを個々の物体毎に識別可能な物体マスクＳＧＭを生成する。また、マスク生成部１３は、物体マスクＳＧＭと、物体表現ＳＧＲと、を学習装置１００の外部へ出力する。

【0026】

［知識蒸留］
本実施形態においては、例えば、図４に示すような情報処理装置２００により蒸留された知識が学習モデル１０に継承されるようにしている。このような知識蒸留を可能とするための情報処理装置２００の具体的な構成について、以下に説明する。図４は、第１実施形態に係る学習装置において継承される知識を蒸留するために利用される情報処理装置の構成を説明するためのブロック図である。

【0027】

情報処理装置２００は、学習装置１００と同様のハードウェア構成を有している。また、情報処理装置２００は、学習装置１００に対して着脱可能に構成されている。また、情報処理装置２００は、図４に示すように、学習モデル２０と、損失算出部３１、３２及び３３と、パラメータ調整部４１、４２及び４３と、を有している。

【0028】

学習モデル２０は、教師なしの動画像に含まれる個々の物体毎の物体表現を取得できるように学習された動画像用の機械学習モデルとして構成されている。また、学習モデル２０は、例えば、Ｔｈｏｍａｓ Ｋｉｐｆ， ｅｔ．ａｌ，「Ｃｏｎｄｉｔｉｏｎａｌ Ｏｂｊｅｃｔ－Ｃｅｎｔｒｉｃ Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｖｉｄｅｏ」に開示されているモデルのような、動画像用の世界モデルに相当する構成を有している。また、学習モデル２０は、図４に示すように、特徴抽出部２１と、表現取得部２２と、マスク生成部２３と、動き推定部２４と、を有している。

【0029】

特徴抽出部２１は、情報処理装置２００の外部から入力された動画像ＤＧ全体の特徴を表す特徴量ＤＧＦを抽出し、当該抽出した特徴量ＤＧＦを表現取得部２２へ出力する。

【0030】

表現取得部２２は、特徴抽出部２１により抽出された特徴量ＤＧＦに基づき、動画像ＤＧに存在する個々の物体に対応する表現ベクトルＤＧＶを算出する。表現ベクトルＤＧＶには、動画像ＤＧにおける物体の個数と同数のベクトルが含まれている。また、表現取得部２２は、表現ベクトルＤＧＶの算出結果を動画像ＤＧにおける個々の物体毎の物体表現ＤＧＲとして取得し、当該取得した物体表現ＤＧＲをマスク生成部２３及び動き推定部２４へ出力する。

【0031】

マスク生成部２３は、表現取得部２２により得られた物体表現ＤＧＲに基づき、動画像ＤＧにおいて物体が存在する領域である物体領域ＤＧＡの推定を行う。また、マスク生成部２３は、前述の推定により得られた個々の物体領域ＤＧＡを識別可能な物体マスクＤＧＭを生成する。物体マスクＤＧＭは、例えば、個々の物体領域ＤＧＡを異なる色で塗りつぶしたマスク画像として生成される。また、物体マスクＤＧＭには、動画像ＤＧにおける物体の個数と同数のマスク画像が含まれている。具体的には、マスク生成部２３は、マスク生成部１３と同様の処理を行うことにより、動画像ＤＧに含まれる時系列な複数の画像各々について、図３において例示したものと同様のマスク画像を生成する。すなわち、マスク生成部２３は、表現取得部２２により得られた物体表現ＤＧＲに基づき、動画像ＤＧにおいて物体が存在する領域である物体領域ＤＧＡを個々の物体毎に識別可能な物体マスクＤＧＭを生成する。

【0032】

動き推定部２４は、表現取得部２２により得られた物体表現ＤＧＲに基づいてオプティカルフローを算出することにより、動画像ＤＧに含まれる個々の物体の動きを推定する。また、動き推定部２４は、前述の推定により得られた推定結果を動きデータＤＧＵとして取得する。

【0033】

損失算出部３１には、特徴抽出部１１により抽出された特徴量ＳＧＦと、特徴抽出部２１により抽出された特徴量ＤＧＦと、が入力される。また、損失算出部３１は、特徴量ＤＧＦに対する特徴量ＳＧＦの差を示す損失ＬＦを算出し、当該算出した損失ＬＦをパラメータ調整部４１へ出力する。なお、前述の差は、誤差またはズレ量と読み替えてもよい。

【0034】

損失算出部３２には、表現取得部１２により抽出された物体表現ＳＧＲと、表現取得部２２により得られた物体表現ＤＧＲと、が入力される。また、損失算出部３２は、物体表現ＤＧＲに対する物体表現ＳＧＲの差を示す損失ＬＲを算出し、当該算出した損失ＬＲをパラメータ調整部４２へ出力する。具体的には、損失算出部３２は、例えば、ハンガリアンアルゴリズム及びコサイン類似度を用いた処理を行うことにより、物体表現ＤＧＲの表現ベクトルＤＧＶに含まれるｎ個のベクトルと、物体表現ＳＧＲの表現ベクトルＳＧＶに含まれるｎ個のベクトルと、において互いに類似するベクトル同士を対応付けたｎ組のベクトルを取得する。そして、損失算出部３２は、前述のように取得したｎ組のベクトル各々における差を損失ＬＲとして算出する。なお、前述の差は、誤差またはズレ量と読み替えてもよい。

【0035】

損失算出部３３には、マスク生成部１３により生成された物体マスクＳＧＭと、マスク生成部２３により生成された物体マスクＤＧＭと、が入力される。また、損失算出部３３は、物体マスクＤＧＭに対する物体マスクＳＧＭの差を示す損失ＬＭを算出し、当該算出した損失ＬＭをパラメータ調整部４３へ出力する。具体的には、損失算出部３３は、例えば、ハンガリアンアルゴリズム及びコサイン類似度を用いた処理を行うことにより、物体マスクＤＧＭに含まれるｐ個のマスク画像と、物体マスクＳＧＭに含まれるｐ個のマスク画像と、において互いに類似するマスク画像同士を対応付けたｎ組のマスク画像を取得する。そして、損失算出部３３は、前述のように取得したｎ組のマスク画像各々における差を損失ＬＭとして算出する。なお、前述の差は、誤差またはズレ量と読み替えてもよい。

【0036】

パラメータ調整部４１は、損失算出部３１により算出された損失ＬＦに基づき、特徴抽出部１１による特徴量ＳＧＦの抽出に係る処理において用いられる少なくとも１つのパラメータを調整する。

【0037】

パラメータ調整部４２は、損失算出部３２により算出された損失ＬＲに基づき、表現取得部１２による物体表現ＳＧＲの取得に係る処理において用いられる少なくとも１つのパラメータを調整する。

【0038】

パラメータ調整部４３は、損失算出部３３により算出された損失ＬＭに基づき、マスク生成部１３による物体マスクＳＧＭの生成に係る処理において用いられる少なくとも１つのパラメータを調整する。

【0039】

以上に述べたような構成を有する情報処理装置２００によれば、損失算出部３１、３２及び３３と、パラメータ調整部４１、４２及び４３と、において知識蒸留に係る処理が行われることにより、学習モデル２０の特性（長所）を学習モデル１０に継承させることができる。換言すると、学習装置１００は、情報処理装置２００により蒸留された知識に相当する学習モデル２０の特性（長所）が継承されるように、学習モデル１０の各部（特徴抽出部１１、表現取得部１２及びマスク生成部１３）の処理に係るパラメータを設定することができる。

【0040】

以上に述べたような構成を有する情報処理装置２００を用いて知識蒸留を行う場合には、例えば、動画像ＤＧが学習モデル２０に入力されるとともに、当該動画像ＤＧを１フレーム毎に分割することにより得られた静止画像ＳＧが学習モデル１０に順次入力されるようにすればよい。

【0041】

また、以上に述べたような構成を有する情報処理装置２００を用いて知識蒸留を行う場合には、損失ＬＦと、損失ＬＲと、損失ＬＭと、が全て０になるまで、パラメータ調整部４１、４２及び４３によるパラメータ調整が繰り返されることが望ましい。換言すると、特徴量ＳＧＦの抽出に係る処理において用いられる少なくとも１つのパラメータ、物体表現ＳＧＲの取得に係る処理において用いられる少なくとも１つのパラメータ、及び、物体マスクＳＧＭの生成に係る処理において用いられる少なくとも１つのパラメータは、損失ＬＦ、損失ＬＲ及び損失ＬＭが全て０になるように調整されることが望ましい。前述のパラメータ調整によれば、学習モデル２０の特性（長所）であるテクスチャに対する頑健性を学習モデル１０に継承させることができる。また、前述のパラメータ調整によれば、例えば、複雑なテクスチャを有する物体が静止画像に含まれているような場合であっても、学習モデル１０が当該物体の境界を適切に認識することができるため、学習モデル１０による物体表現の取得精度を向上させることができる。

【0042】

［処理フロー］
続いて、第１実施形態に係る学習装置において行われる処理の流れについて説明する。図５は、第１実施形態に係る学習装置において行われる処理の一例を示すフローチャートである。

【0043】

学習装置１００は、情報処理装置２００により蒸留された知識に相当する学習モデル２０の特性（長所）が継承されるように、学習モデル１０の各部（特徴抽出部１１、表現取得部１２及びマスク生成部１３）の処理に係るパラメータを設定する（ステップＳ１１）。ステップＳ１１においては、前述の知識蒸留に相当する処理が行われるようにすればよい。

【0044】

学習装置１００は、ステップＳ１１によるパラメータ設定を行った後で、外部から入力された静止画像全体の特徴を表す特徴量を抽出する（ステップＳ１２）。ステップＳ１２以降の処理は、前述の知識蒸留が行われた後に学習装置１００に入力される静止画像について、当該静止画像に含まれる個々の物体に対応する物体表現及び物体マスクを取得するための処理に相当する。

【0045】

学習装置１００は、ステップＳ１２により抽出した特徴量に基づき、ステップＳ１２の処理対象となった静止画像に含まれる個々の物体に対応する表現ベクトルを算出する。また、学習装置１００は、前述の表現ベクトルの算出結果を、ステップＳ１２の処理対象となった静止画像における個々の物体毎の物体表現として取得する（ステップＳ１３）。

【0046】

学習装置１００は、ステップＳ１３により取得した物体表現に基づき、ステップＳ１２の処理対象となった静止画像において物体が存在する領域である物体領域の推定を行う。また、学習装置１００は、前述の推定により得られた個々の物体領域を識別可能な物体マスクを生成する（ステップＳ１４）。

【0047】

学習装置１００は、ステップＳ１３により取得した物体表現と、ステップＳ１４により生成した物体マスクと、を外部へ出力する（ステップＳ１５）。

【0048】

以上に述べたように、本実施形態によれば、知識蒸留に係る処理により得られた学習モデル２０の特性（長所）を継承した学習モデル１０を用い、静止画像に含まれる個々の物体毎の物体表現を取得することができる。従って、本実施形態によれば、物体表現に基づいて物体認識を行う場合に生じる認識精度の低下を防ぐことができる。

【0049】

なお、本実施形態に係る学習装置１００は、情報処理装置２００を用いた知識蒸留により、特徴抽出部１１、表現取得部１２及びマスク生成部１３のうちの少なくとも１つの処理に係るパラメータが調整されるものであればよい。また、このような場合においては、算出対象となる全ての損失が０になるようにパラメータ調整が行われることが望ましい。

【0050】

また、本実施形態によれば、例えば、学習モデル２０の各部において行われる処理と、学習モデル２０により得られた物体マスクＤＧＭ及び動きデータＤＧＵに基づいて行われる１つ以上の処理と、を含む一連の処理から得られる知識を蒸留することにより、学習モデル１０の各部に対するパラメータ調整が行われるようにしてもよい。物体マスクＤＧＭ及び動きデータＤＧＵに基づいて行われる処理には、例えば、動画像ＤＧに含まれる個々の物体の特徴を抽出する処理を含めることができる。

【0051】

また、本実施形態は、例えば、学習装置１００と、情報処理装置２００と、を有する情報処理システムに対しても適用することができる。

【0052】

［変形例］
以下、上記の実施形態に対する変形例を説明する。なお、以降においては、簡単のため、既述の処理等を適用可能な部分に関する具体的な説明を適宜省略するものとする。

【0053】

本実施形態は、図４に示したような構成を有する学習装置１００及び情報処理装置２００に対して適用されるものに限らず、例えば、図６に示すような構成を有する学習装置１００Ａ及び情報処理装置２００Ａに対しても適用することができる。図６は、第１実施形態の変形例を説明するためのブロック図である。

【0054】

学習装置１００Ａは、学習装置１００と同様のハードウェア構成を有している。また、学習装置１００Ａは、学習モデル１０Ａを有している。

【0055】

学習モデル１０Ａは、教師なしの静止画像に含まれる個々の物体毎の物体領域を識別可能な物体マスクを生成するように学習された静止画像用の機械学習モデルとして構成されている。また、学習モデル１０Ａは、インスタンスセグメンテーションモデルに相当する構成を有している。また、学習モデル１０Ａは、図６に示すように、マスク生成部１３Ａを有している。

【0056】

マスク生成部１３Ａは、学習装置１００Ａの外部から入力された静止画像ＳＧにおいて物体が存在する領域である物体領域ＳＧＡを個々の物体毎に識別可能な物体マスクＳＧＮを生成し、当該生成した物体マスクＳＧＮを学習装置１００Ａの外部へ出力する。物体マスクＳＧＮは、例えば、個々の物体領域ＳＧＡを異なる色で塗りつぶしたマスク画像として生成される。また、物体マスクＳＧＮには、静止画像ＳＧにおける物体の個数と同数のマスク画像が含まれている。具体的には、マスク生成部１３Ａは、マスク生成部１３と同様の処理を行うことにより、図３において例示したものと同様のマスク画像を生成することができる。

【0057】

情報処理装置２００Ａは、学習装置１００と同様のハードウェア構成を有している。また、情報処理装置２００Ａは、学習装置１００Ａに対して着脱可能に構成されている。また、情報処理装置２００Ａは、図６に示すように、学習モデル２０と、損失算出部３３Ａと、パラメータ調整部４３Ａと、を有している。

【0058】

損失算出部３３Ａには、マスク生成部１３Ａにより生成された物体マスクＳＧＮと、マスク生成部２３により生成された物体マスクＤＧＭと、が入力される。また、損失算出部３３Ａは、物体マスクＤＧＭに対する物体マスクＳＧＮの差を示す損失ＬＮを算出し、当該算出した損失ＬＮをパラメータ調整部４３Ａへ出力する。具体的には、損失算出部３３Ａは、物体マスクＤＧＭに含まれる各マスク画像における信頼度の高いマスクを合成することにより得られた合成マスク画像に対する、物体マスクＳＧＮに含まれる各マスク画像における信頼度の高いマスクを合成することにより得られた合成マスク画像の差を損失ＬＮとして算出する。前述の信頼度は、例えば、最前面の物体領域を示す一のマスクにおいて相対的に大きくなり、かつ、当該最前面の物体領域に隠れた物体領域を含む他のマスクにおいて相対的に小さくなるような値として表すことができる。また、前述の差は、誤差またはズレ量と読み替えてもよい。また、損失算出部３３Ａは、図３に例示したように、マスク画像ＭＧＡのマスクＭＡと、マスク画像ＭＧＢのマスクＭＢと、において重複する領域（画素）が存在しない場合には、当該マスク画像ＭＧＡ及びＭＧＢをそのまま合成した合成マスク画像に基づいて損失ＬＮを算出すればよい。また、損失算出部３３Ａは、例えば、図７に示すように、マスク画像ＭＧＣのマスクＭＣと、マスク画像ＭＧＤのマスクＭＤと、において重複する領域（画素）が存在する場合には、当該マスク画像ＭＧＣ及びＭＧＤにおける最前面の物体領域を示すように合成された合成マスクＣＭを有する合成マスク画像ＣＭＧに基づいて損失ＬＮを算出すればよい。図７の合成マスクＣＭは、マスクＭＣとマスクＭＤとが重複する領域において、当該マスクＭＣの信頼度が相対的に低く、かつ、当該マスクＭＤの信頼度が相対的に高い場合の合成結果を示している。図７は、合成マスク画像の生成に係る処理の一例を示す図である。

【0059】

パラメータ調整部４３Ａは、損失算出部３３Ａにより算出された損失ＬＮに基づき、マスク生成部１３Ａによる物体マスクＳＧＮの生成に係る処理において用いられる少なくとも１つのパラメータを調整する。

【0060】

以上に述べたような構成を有する情報処理装置２００Ａによれば、損失算出部３３Ａと、パラメータ調整部４３Ａと、において知識蒸留に係る処理が行われることにより、学習モデル２０の特性（長所）を学習モデル１０Ａに継承させることができる。換言すると、学習装置１００Ａは、情報処理装置２００Ａにより蒸留された知識に相当する学習モデル２０の特性（長所）が継承されるように、学習モデル１０Ａにおけるマスク生成部１３Ａの処理に係るパラメータを設定することができる。

【0061】

以上に述べたような構成を有する情報処理装置２００Ａを用いて知識蒸留を行う場合には、損失ＬＮが０になるまで、パラメータ調整部４３Ａによるパラメータ調整が繰り返されることが望ましい。換言すると、物体マスクＳＧＮの生成に係る処理において用いられる少なくとも１つのパラメータは、損失ＬＮが０になるように調整されることが望ましい。前述のパラメータ調整によれば、学習モデル２０の特性（長所）であるテクスチャに対する頑健性を学習モデル１０Ａに継承させることができる。

【0062】

以上に述べたように、本変形例によれば、知識蒸留に係る処理により得られた学習モデル２０の特性（長所）を継承した学習モデル１０Ａを用い、静止画像に含まれる個々の物体毎の物体領域を識別可能な物体マスクを取得することができる。従って、本変形例によれば、物体マスクに基づいて物体認識を行う場合に生じる認識精度の低下を防ぐことができる。

【0063】

なお、情報処理装置２００Ａを用いた知識蒸留は、学習モデル１０Ａがインスタンスセグメンテーションモデルに相当する構成を有している場合に限らず、例えば、学習モデル１０Ａがパノプティックセグメンテーションモデルまたはアモーダルセグメンテーションモデルのいずれかに相当する構成を有している場合においても適用することができる。

【0064】

学習モデル１０Ａがパノプティックセグメンテーションモデルに相当する構成を有している場合には、物体マスクＳＧＮと、静止画像ＳＧにおける物体領域以外の領域を示す背景マスクＳＧＨと、がマスク生成部１３Ａから出力されるようにすればよい。また、学習モデル１０Ａがパノプティックセグメンテーションモデルに相当する構成を有している場合には、物体マスクＤＧＭと、動画像ＤＧにおける物体領域以外の領域を示す背景マスクＤＧＨと、がマスク生成部２３から出力されるようにすればよい。また、学習モデル１０Ａがパノプティックセグメンテーションモデルに相当する構成を有している場合には、物体マスクＤＧＭに対する物体マスクＳＧＮの差を示す損失ＬＮと、背景マスクＤＧＨに対する背景マスクＳＧＨの差を示す損失ＬＨと、が損失算出部３３Ａにより算出されるようにすればよい。また、前述の差は、誤差またはズレ量と読み替えてもよい。また、学習モデル１０Ａがパノプティックセグメンテーションモデルに相当する構成を有している場合には、損失ＬＮ及びＬＨに基づくパラメータ調整がパラメータ調整部４３Ａにより行われるようにすればよい。このような場合には、損失ＬＮと、損失ＬＨと、が両方０になるまで、パラメータ調整部４３Ａによるパラメータ調整が繰り返されることが望ましい。換言すると、学習モデル１０Ａがパノプティックセグメンテーションモデルに相当する構成を有している場合には、物体マスクＳＧＮ及び背景マスクＳＧＨの生成に係る処理において用いられる少なくとも１つのパラメータは、損失ＬＮ及び損失ＬＨが両方とも０になるように調整されることが望ましい。

【0065】

学習モデル１０Ａがアモーダルセグメンテーションモデルに相当する構成を有している場合には、物体マスクＤＧＭに対する物体マスクＳＧＮの差を示す損失ＬＺが損失算出部３３Ａにより算出されるようにすればよい。損失ＬＺは、損失算出部３３による損失ＬＭの算出方法と同様の方法により算出されるようにすればよい。また、前述の差は、誤差またはズレ量と読み替えてもよい。また、学習モデル１０Ａがアモーダルセグメンテーションモデルに相当する構成を有している場合には、損失ＬＺに基づくパラメータ調整がパラメータ調整部４３Ａにより行われるようにすればよい。このような場合には、損失ＬＺが０になるまで、パラメータ調整部４３Ａによるパラメータ調整が繰り返されることが望ましい。換言すると、学習モデル１０Ａがアモーダルセグメンテーションモデルに相当する構成を有している場合には、物体マスクＳＧＮの生成に係る処理において用いられる少なくとも１つのパラメータは、損失ＬＺが０になるように調整されることが望ましい。

【0066】

＜第２実施形態＞
図８は、第２実施形態に係る学習装置の機能構成を示すブロック図である。

【0067】

本実施形態に係る学習装置５００は、学習装置１００と同様のハードウェア構成を有している。また、学習装置５００は、静止画像用の学習モデル５１０を有している。また、学習モデル５１０は、マスク生成手段５２０を具備している。

【0068】

マスク生成手段５２０は、静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成する。

【0069】

前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータは、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整される。

【0070】

本実施形態によれば、物体認識における認識精度の低下を防ぐことができる。

【0071】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0072】

（付記１）
静止画像用の学習モデルを有する学習装置であって、
前記学習モデルは、静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成するマスク生成手段を具備し、
前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータは、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整される学習装置。

【0073】

（付記２）
前記第１のパラメータは、前記第１の損失が０になるように調整される付記１の学習装置。

【0074】

（付記３）
前記学習モデルは、前記静止画像全体の特徴を表す第１の特徴量を抽出する特徴抽出手段をさらに有し、
前記第１の特徴量の抽出に係る処理に用いられる少なくとも１つのパラメータを含む第２のパラメータは、前記動画像全体の特徴を表す第２の特徴量に対する前記第１の特徴量の差を示す第２の損失に基づいて調整される付記１の学習装置。

【0075】

（付記４）
前記第１のパラメータ及び前記第２のパラメータは、前記第１の損失及び前記第２の損失が両方とも０になるように調整される付記３の学習装置。

【0076】

（付記５）
前記学習モデルは、前記静止画像における個々の物体毎の第１の物体表現を取得する表現取得手段をさらに有し、
前記第１の物体表現の取得に係る処理に用いられる少なくとも１つのパラメータを含む第３のパラメータは、前記動画像における個々の物体毎の第２の物体表現に対する前記第１の物体表現の差を示す第３の損失に基づいて調整される付記１の学習装置。

【0077】

（付記６）
前記第１のパラメータ及び前記第３のパラメータは、前記第１の損失及び前記第３の損失が両方とも０になるように調整される付記５の学習装置。

【0078】

（付記７）
前記学習モデルは、前記静止画像全体の特徴を表す第１の特徴量を抽出する特徴抽出手段と、前記第１の特徴量に基づいて前記静止画像における個々の物体毎の第１の物体表現を取得する表現取得手段と、前記第１の物体表現に基づいて前記第１の物体マスクを生成する前記マスク生成手段と、を有し、
前記第１の特徴量の抽出に係る処理に用いられる少なくとも１つのパラメータを含む第２のパラメータは、前記動画像全体の特徴を表す第２の特徴量に対する前記第１の特徴量の差を示す第２の損失に基づいて調整され、
前記第１の物体表現の取得に係る処理に用いられる少なくとも１つのパラメータを含む第３のパラメータは、前記動画像における個々の物体毎の第２の物体表現に対する前記第１の物体表現の差を示す第３の損失に基づいて調整される付記１の学習装置。

【0079】

（付記８）
前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータは、前記第１の損失、前記第２の損失及び前記第３の損失が全て０になるように調整される付記７の学習装置。

【0080】

（付記９）
静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成する静止画像用の学習モデルに対して適用されるパラメータ調整方法であって、
前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータを、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整するパラメータ調整方法。

【0081】

（付記１０）
静止画像において物体が存在する領域を個々の物体毎に識別可能な第１の物体マスクを生成する静止画像用の学習モデルに対する処理をコンピュータに実行させるプログラムを記録した記録媒体であって、
前記第１の物体マスクの生成に係る処理に用いられる少なくとも１つのパラメータを含む第１のパラメータを、前記静止画像を含む動画像において物体が存在する領域を個々の物体毎に識別可能な第２の物体マスクに対する前記第１の物体マスクの差を示す第１の損失に基づいて調整する処理を前記コンピュータに実行させるプログラムを記録した記録媒体。

【0082】

以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0083】

１０ 学習モデル
１１ 特徴抽出部
１２ 表現取得部
１３ マスク生成部
１００ 学習装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】