(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024095309
(43)【公開日】2024-07-10
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240703BHJP
G06T 7/00 20170101ALI20240703BHJP
G06T 7/70 20170101ALI20240703BHJP
【FI】
G06N20/00 130
G06T7/00 350B
G06T7/70 Z
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022212499
(22)【出願日】2022-12-28
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】田中 勇貴
(72)【発明者】
【氏名】寺尾 真
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096EA39
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096HA11
5L096JA03
5L096KA04
(57)【要約】
【課題】正解なしデータを用いる機械学習において推論精度の高い学習モデルを生成する技術を提供する。
【解決手段】情報処理装置(1)は、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する取得部(11)と、上記正解ありデータの属性情報と上記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する属性間距離算出部(12)と、複数の上記正解なしデータの中から、上記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する抽出部(13)と、上記正解ありデータと上記抽出部(13)が抽出した正解なしデータとを用いて学習モデルのモデルパラメータを更新する更新部(14)と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する取得手段と、
前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する属性間距離算出手段と、
複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する抽出手段と、
前記正解ありデータと前記抽出手段が抽出した正解なしデータとを用いて学習モデルのモデルパラメータを更新する更新手段と、
を備える情報処理装置。
【請求項2】
前記抽出手段は、前記学習モデルの学習が進むにつれて抽出する正解なしデータの距離の最大値が大きくなるように前記正解なしデータの抽出を行う、
請求項1に記載の情報処理装置。
【請求項3】
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果に基づき、当該正解なしデータに擬似ラベルを付与する擬似ラベル付与手段を更に備え、
前記更新手段は、前記擬似ラベルが付与された正解なしデータと、前記正解ありデータとを用いて前記学習モデルのモデルパラメータを更新する、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記属性情報は、前記画像に含まれる物体の姿勢及び位置、撮影時刻、撮影時間帯、撮影装置の種類及び位置、並びに画質、の少なくともいずれかを示す情報を含み、
前記距離は、前記画像に含まれる物体の姿勢差及び位置の差、撮影時刻差、撮影時間帯の近さ、撮影装置の種類の類似の度合い、撮影装置の位置の差、並びに画質差、の少なくともいずれかに基づき算出される値である、
請求項1又は2に記載の情報処理装置。
【請求項5】
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果が所定の条件を満たす正解なしデータに擬似ラベルを付与する擬似ラベル付与手段を更に備え、
前記抽出手段は、抽出した正解なしデータに対する前記擬似ラベルの付与率が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる、
請求項2に記載の情報処理装置。
【請求項6】
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果が所定の条件を満たす正解なしデータに擬似ラベルを付与する擬似ラベル付与手段を更に備え、
前記抽出手段は、抽出した正解なしデータに対する前記擬似ラベルの付与率が所定の閾値を超える度に、抽出する正解なしデータの数を増加させる、
請求項2に記載の情報処理装置。
【請求項7】
前記抽出手段は、前記学習モデルの学習時間が所定の閾値に達する毎に、抽出する正解なしデータの数を増加させる、
請求項2に記載の情報処理装置。
【請求項8】
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果に基づき当該正解なしデータに擬似ラベルを付与する擬似ラベル付与手段と、
前記正解ありデータと前記学習モデルとを用いた推論結果と、当該正解ありデータの正解ラベルと、を用いて損失を算出する第1損失算出手段と、
前記正解なしデータと前記学習モデルとを用いた推論結果と、当該正解なしデータの擬似ラベルと、を用いて損失を算出する第2損失算出手段と、
を更に備え、
前記抽出手段は、前記第1損失算出手段が算出した損失と前記第2損失算出手段が算出した損失との和又は重み付き和が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる、
請求項2に記載の情報処理装置。
【請求項9】
少なくとも1つのプロセッサが、
画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得することと、
前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出することと、
複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出することと、
前記正解ありデータと前記抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新することと、
を含む、情報処理方法。
【請求項10】
コンピュータに、
画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する処理と、
前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する処理と、
複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する処理と、
前記正解ありデータと前記抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新する処理と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習により学習モデルを生成する技術に関する。
【背景技術】
【0002】
教師あり学習では、正解ラベルが付された大量の教師データを用いて学習を行うことで高精度な学習済モデルを構築することができる。しかしながら、教師データを大量に用意するためには大量の画像収集及び正解ラベル付け等を行う必要があり、作業コストが高いという問題がある。そこで、少ない正解ありデータと大量の正解なしデータとから学習済モデルを高精度に実現する手法が提案されている(例えば非特許文献1、特許文献1等参照)。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【非特許文献1】Kihyuk Sohn et al., FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence, NeurIPS (2020)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献1及び特許文献1に記載の技術では、正解なしデータについて誤った擬似ラベルが生成されたり、学習がうまく進まなかったりするという問題があり、学習モデルの推論精度を高くするという観点において改善の余地がある。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、正解なしデータを用いる機械学習において推論精度の高い学習モデルを生成する技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理装置は、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する取得手段と、前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する属性間距離算出手段と、複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する抽出手段と、前記正解ありデータと前記抽出手段が抽出した正解なしデータとを用いて学習モデルのモデルパラメータを更新する更新手段とを備える。
【0008】
本発明の一態様に係る情報処理方法は、少なくとも1つのプロセッサが、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得することと、前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出することと、複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出することと、前記正解ありデータと前記抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新することと、を含む。
【0009】
本発明の一態様に係るプログラムは、コンピュータに、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する処理と、前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する処理と、複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する処理と、前記正解ありデータと前記抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新する処理と、を実行させるためのプログラムである。
【発明の効果】
【0010】
本発明の一態様によれば、正解なしデータを用いる機械学習において推論精度の高い学習モデルを生成することができる。
【図面の簡単な説明】
【0011】
【
図1】例示的実施形態1に係る情報処理装置の構成を示すブロック図である。
【
図2】例示的実施形態1に係る情報処理方法の流れを示すフロー図である。
【
図3】例示的実施形態2に係る情報処理装置が行う機械学習の概要を示す図である。
【
図4】例示的実施形態2に係る情報処理装置の構成を示すブロック図である。
【
図5】例示的実施形態2に係る情報処理装置の機能構成及び処理の流れの一例を示すブロック図である。
【
図6】例示的実施形態2に係る学習データ制御部の構成の一例を示す図である。
【
図7】例示的実施形態2に係る属性間距離の具体例を示す図である。
【
図8】例示的実施形態2に係る属性間距離の具体例を示す図である。
【
図9】例示的実施形態2に係る属性間距離の具体例を示す図である。
【
図10】各例示的実施形態に係る情報処理装置として機能するコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態1〕
本発明の第1の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
(情報処理装置の構成)
本例示的実施形態に係る情報処理装置1の構成について、
図1を参照して説明する。
図1は、情報処理装置1の構成を示すブロック図である。情報処理装置1は、取得部11(取得手段)、属性間距離算出部12(属性間距離算出手段)、抽出部13(抽出手段)及び更新部14(更新手段)を備える。
【0014】
取得部11は、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する。属性間距離算出部12は、上記正解ありデータの属性情報と上記正解なしデータの属性情報とにより定まる、上記正解ありデータと上記正解なしデータとの距離を算出する。抽出部13は、複数の上記正解なしデータの中から、上記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する。更新部14は、上記正解ありデータと抽出部13が抽出した正解なしデータとを用いて学習モデルのモデルパラメータを更新する。
【0015】
以上のように、本例示的実施形態に係る情報処理装置1においては、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する取得部11と、上記正解ありデータの属性情報と上記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する属性間距離算出部12と、複数の上記正解なしデータの中から、上記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する抽出部13と、上記正解ありデータと抽出部13が抽出した正解なしデータとを用いて学習モデルのモデルパラメータを更新する更新部14と、を備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置1によれば、正解なしデータを用いる機械学習において推論精度の高い学習モデルを生成することができるという効果が得られる。
【0016】
(プログラム)
上述の情報処理装置1の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する処理と、上記正解ありデータの属性情報と上記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する処理と、複数の上記正解なしデータの中から、上記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する処理と、上記正解ありデータと上記抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新する処理と、を実行させるためのプログラムである。
【0017】
(情報処理方法の流れ)
本例示的実施形態に係る情報処理方法S1の流れについて、
図2を参照して説明する。
図2は、情報処理方法S1の流れを示すフロー図である。なお、情報処理方法S1における各ステップの実行主体は、情報処理装置1が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
【0018】
S11では、少なくとも1つのプロセッサが、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する。S12では、少なくとも1つのプロセッサが、上記正解ありデータの属性情報と上記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する。S13では、少なくとも1つのプロセッサが、複数の上記正解なしデータの中から、上記正解なしデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する。S14では、少なくとも1つのプロセッサが、上記正解ありデータと抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新する。
【0019】
以上のように、本例示的実施形態に係る情報処理方法S1は、少なくとも1つのプロセッサが、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得することと、上記正解ありデータの属性情報と上記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出することと、複数の上記正解なしデータの中から、上記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出することと、上記正解ありデータと上記抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新することと、を含む。このため、本例示的実施形態に係る情報処理方法S1によれば、正解なしデータを用いる機械学習において推論精度の高い学習モデルを生成することができるという効果が得られる。
【0020】
〔例示的実施形態2〕
(情報処理装置の概要)
本発明の第2の例示的実施形態について図面を参照して説明する。本例示的実施形態に係る情報処理装置1Aは、機械学習により学習モデルを生成する。学習モデルとしては例えば、画像に含まれる物体(商品等)を識別するモデル、画像に含まれる人物の行動を認識するモデル、画像を分類するモデル、等が上げられる。本例示的実施形態に係る学習モデルは、画像分類に限らず、物体検知やセグメンテーションも含めた画像認識タスク一般に用いることができる。ただし、学習モデルは上述した例に限定されない。また、学習モデルの学習手法としては例えばニューラルネットワーク、SVM(Support Vector Machine)、等が挙げられる。ただし、学習モデルの学習手法は上述した例に限定されない。推論フェーズにおける学習モデルの入力は、一例として画像データを含む。学習モデルの出力は、一例として物体(商品等)の識別結果、人物の行動の認識結果、画像の分類結果、等を示す情報を含む。
【0021】
情報処理装置1Aは、正解ありデータと正解なしデータとを用いて学習モデルを生成する。正解ありデータは、画像データに属性情報及び正解ラベルが付されたデータである。正解ありデータは一例として、商品の撮影画像を表す画像データに、商品の姿勢を示す属性情報と、商品の種別を示すラベルが付されたデータである。正解なしデータは、画像データに属性情報が付されたデータであり、正解なしデータには正解ラベルが付されていない。正解なしデータは一例として、商品の撮影画像を表す画像データに、商品の姿勢を示す属性情報が付されたデータである。
【0022】
属性情報は、画像の属性を示す情報である。属性情報は、一例として、画像に含まれる物体の姿勢及び位置、撮影時刻、撮影時間帯(朝、昼、夕方、夜、等)、撮影装置の種類及び位置、並びに画質、の少なくともいずれかを示す情報を含む。物体の位置を示す情報は、一例として、物体の座標を示す情報、又は物体が置かれた棚を識別する情報等を含む。撮影時間帯を示す情報は、一例として、物体の撮影時刻が朝、昼、夕方、夜、等のどの時間帯に属するかを示す情報を含む。ただし、属性情報はこれらに限定されない。また、画像データとしては、例えば商品を撮影した画像を表すデータが挙げられるが、画像データはこれに限定されるものではなく、他のデータであってもよい。
【0023】
本例示的実施形態に係る情報処理装置1Aは、正解なしデータを全て同列に扱って一括で学習に用いるのではなく、正解なしデータから抽出した一部の正解なしデータに擬似ラベルを付与し、擬似ラベルを付与した正解なしデータと正解ありデータとを用いて学習を行う。このとき、情報処理装置1Aは、属性情報により定まる正解ありデータと正解なしデータとの距離に基づき、学習モデルの学習に用いる正解なしデータの抽出を行う。
【0024】
本例示的実施形態において、正解ありデータと正解なしデータとの距離は、正解ありデータの属性情報と正解なしデータの属性情報とにより定まる値である。以下の説明では、正解ありデータの属性情報と正解なしデータの属性情報とにより定まる上記距離を「属性間距離」ともいう。属性間距離は、一例として、画像に含まれる物体の姿勢差及び位置の差、撮影時刻差、撮影時間帯の近さ、撮影装置の種類の類似の度合い、撮影装置の位置の差、並びに画質差、の少なくともいずれかに基づき算出される値である。物体の姿勢差は一例として、物体の角度差(上下角の差及び/又は水平角の差)である。また、物体の位置の差は一例として、物体の座標差である。また、撮影装置の位置の差は一例として、撮影装置の座標差及び/又は撮影方向の角度差を含む。
【0025】
また、属性間距離は、画像の属性を示す複数の要素を組み合わせて算出される値であってもよい。属性間距離は例えば、画像に含まれる物体の角度差と撮影時刻差とを用いて算出される値であってもよい。ただし、属性間距離は上述した例に限定されない。属性間距離は例えば、撮影装置の種類の類似度を示す情報であってもよい。
【0026】
図3は、情報処理装置1Aが行う機械学習の概要を示す図である。
図3の例で、情報処理装置1Aは、第1ステップ~第nステップのn回に分けて学習モデルの学習を行う。第1ステップにおいて、情報処理装置1Aは、正解ありデータと、正解なしデータのうちの一部のデータとを用いて学習を行う。ここで、情報処理装置1Aが第1ステップで用いる正解なしデータは、正解ありデータとの属性間距離が近い順に選択された一部の正解なしデータである。また、第2ステップにおいて、情報処理装置1Aは第1ステップで用いた正解なしデータよりも正解ありデータとの属性間距離が遠いデータを含む正解なしデータを用いて学習を行う。また、第3ステップにおいて、情報処理装置1Aは、更に遠い正解なしデータを用いて学習を行う。このように、情報処理装置1Aは学習のステップが進むにつれて用いる正解なしデータを徐々に多くする。情報処理装置1Aは、最終ステップである第nステップでは、正解ありデータと全ての正解なしデータとを用いて学習を行う。ただし、必ずしも最終ステップですべての正解なしデータを使う必要はなく、最終ステップにおいて学習に用いられないデータがあってもよい。
【0027】
このように本例示的実施形態では、情報処理装置1Aは、属性間距離が正解ありデータとより近い正解なしデータを優先して学習に使用する。換言すると、情報処理装置1Aは正解なしデータを学習に投入する順序を属性間距離に基づき制御する。属性間距離が正解ありデータとより近い正解なしデータを優先して学習に使用し、学習が進むにつれて学習に用いる正解なしデータの数を増やしていくことにより、本例示的実施形態によれば、擬似ラベルを精度よく生成することができ、これにより推論精度の高い学習モデルを生成することができる。
【0028】
(情報処理装置の構成)
図4は、本例示的実施形態に係る情報処理装置1Aの構成を示すブロック図である。情報処理装置1Aは、制御部10A、記憶部20A、通信部30A及び入出力部40Aを備える。制御部10Aは、学習データ制御部12A、パラメータ更新部13A、推論部14A、第1損失計算部15A、及び第2損失計算部16Aを備える。学習データ制御部12Aは、本明細書に係る取得手段、属性間距離算出手段、及び抽出手段の一例である。パラメータ更新部13Aは、本明細書に係る更新手段の一例である。推論部14Aは、本明細書に係る擬似ラベル付与手段の一例である。第1損失計算部15Aは、本明細書に係る損失算出手段及び第1損失算出手段の一例である。及び第2損失計算部16Aは、本明細書に係る損失算出手段及び第2損失算出手段の一例である。
【0029】
学習データ制御部12Aは、正解ありデータと正解なしデータとを取得する。学習データ制御部12Aは、例えば情報処理装置1Aの入出力部40Aを介して正解ありデータ及び正解なしデータを取得してもよいし、また、通信部30Aを介して正解ありデータ及び正解なしデータを受信してもよい。また、学習データ制御部12Aは情報処理装置1Aが内蔵する記憶装置又は外部記憶装置から正解ありデータ及び正解なしデータを読み出すことにより正解ありデータ及び正解なしデータを取得してもよい。
【0030】
また、学習データ制御部12Aは、正解ありデータと上記正解なしデータとの属性間距離を算出し、算出した属性間距離と学習モデルLMの学習の進捗状況とに応じて、取得した正解なしデータの中から学習モデルLMの学習に用いる正解なしデータを抽出する。学習データ制御部12Aが行う属性間距離の算出処理及び正解なしデータの抽出処理については後述する。
【0031】
推論部14Aは、学習モデルLMに画像データを入力することにより推論を行う。また、推論部14Aは、学習データ制御部12Aが抽出した正解なしデータを学習モデルLMに入力して得られる推論結果に基づき、当該正解なしデータに擬似ラベルを付与する。パラメータ更新部13Aは、擬似ラベルが付与された正解なしデータと、正解ありデータとを用いて学習モデルLMのモデルパラメータを更新する。パラメータ更新部13Aの更新方法については後述する。
【0032】
第1損失計算部15Aは、正解ありデータと学習モデルLMとを用いた推論結果と、当該正解ありデータの正解ラベルと、を用いて損失を算出する。第2損失計算部16Aは、正解なしデータと学習モデルLMとを用いた推論結果と、当該正解なしデータの擬似ラベルと、を用いて損失を算出する。
【0033】
通信部30Aは、情報処理装置1Aの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線LAN(Local Area Network)、有線LAN、WAN(Wide Area Network)、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部30Aは、制御部10Aから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部10Aに供給したりする。
【0034】
入出力部40Aには、キーボード、マウス、ディスプレイ、プリンタ、タッチパネル等の入出力機器が接続される。入出力部40Aは、接続された入力機器から情報処理装置1Aに対する各種の情報の入力を受け付ける。また、入出力部40Aは、制御部10Aの制御の下、接続された出力機器に各種の情報を出力する。入出力部40Aとしては、例えばUSB(Universal Serial Bus)などのインタフェースが挙げられる。
【0035】
記憶部20Aには、学習データ制御部12Aが取得する正解ありデータTD1及び正解なしデータTD2が記憶される。また、記憶部20Aには、学習モデルLMが記憶される。ここで、記憶部20Aに学習モデルLMが記憶されるとは、学習モデルLMを定めるモデルパラメータが記憶部20Aに記憶されることをいう。
【0036】
また、記憶部20Aには、進捗情報PIが記憶される。進捗情報PIは、学習モデルLMの機械学習の進捗状況を示す情報である。進捗情報PIは一例として、学習ステップ数(学習時間)、正解なしデータに対する擬似ラベルの付与率、正解ありデータを用いて算出された損失、及び、正解なしデータを用いて算出された損失、の少なくともいずれかを示す情報を含む。ただし、進捗情報PIは上述した例に限定されず、進捗情報PIは学習の進捗状況を示す他の情報であってもよい。
【0037】
図5は、情報処理装置1Aの機能構成及び処理の流れの一例を示すブロック図である。なお、
図5における一方向性の矢印はある信号(データ)の流れの方向を端的に示したものであり、双方向性を排除するものではない。
図5に示す学習データ制御部12A、パラメータ更新部13A、推論部14A、第1損失計算部15A、及び第2損失計算部16Aが行う処理の具体例について順に図面を参照しつつ説明する。
【0038】
(学習データ制御部)
図6は、学習データ制御部12Aの構成の一例を示す図である。なお、
図6における一方向性の矢印はある信号(データ)の流れの方向を端的に示したものであり、双方向性を排除するものではない。
図6の例で、学習データ制御部12Aは、属性間距離算出部121及び学習データ決定部122を備える。属性間距離算出部121は、正解ありデータの属性情報と正解なしデータの属性情報とを用いて属性間距離を算出する。属性間距離算出部121が算出する属性間距離については後述する。
【0039】
学習データ決定部122は、属性間距離算出部121が算出した属性間距離と、進捗情報PIとに基づき、正解なしデータTD2の中から学習に用いる正解なしデータを抽出する。ここで、学習データ決定部122が抽出する正解なしデータは、正解ありデータとの属性間距離が他の正解なしデータ(抽出されない正解データ)よりも小さいデータである。なお、正解ありデータが複数ある場合、属性間距離算出部121は一例として、正解なしデータのそれぞれについて複数の正解ありデータとの属性間距離を算出し、学習データ決定部122は、1つの正解なしデータについて算出された複数の属性間距離のうち最も小さい属性間距離を用いて上記抽出処理を行う。
【0040】
また、学習データ決定部122は、学習モデルLMの機械学習が進むにつれて抽出する正解なしデータの距離の最大値が大きくなるように正解なしデータの抽出を行う。以下では、学習モデルLMの学習に用いるデータ(正解ありデータと学習データ決定部122が抽出した正解なしデータ)を「学習データ」ともいう。
【0041】
(推論部)
図5の説明に戻る。
図5において、推論部14Aは、正解ありデータに含まれる画像データを学習モデルLMに入力することにより得られる推論結果を、第1損失計算部15Aに供給する。推論結果は一例として、各ラベルの確からしさを示す推論スコアを含む。
【0042】
また、推論部14Aは、学習データ制御部12Aが抽出した正解なしデータに含まれる画像データを学習モデルLMに入力することにより得られる推論結果に基づき、正解なしデータに擬似ラベルを付与し、推論結果と擬似ラベルとを第2損失計算部16Aに供給する。このとき、推論部14Aは、全ての正解なしデータに擬似ラベルを付与するのではなく、学習データ制御部12Aが抽出した正解なしデータを学習モデルLMに入力して得られる推論結果が所定の条件を満たす正解なしデータに擬似ラベルを付与する。より具体的には、推論部14Aは一例として、推論スコアが所定の閾値を越えた正解なしデータに擬似ラベルを付与する。また、推論部14Aは、学習データ制御部12Aが抽出した正解なしデータに対する擬似データの付与率を示す情報を進捗情報PIとして記憶部20Aに記憶する。
【0043】
(第1損失計算部)
第1損失計算部15Aは、推論部14Aによる正解ありデータの推論結果と当該正解ありデータの正解ラベルとを用いて損失を計算する。第1損失計算部15Aは、計算した損失をパラメータ更新部13Aに供給するとともに、進捗情報PIとして記憶部20Aに記憶する。
【0044】
(第2損失計算部)
第2損失計算部16Aは、推論部14Aによる擬似ラベルが付された正解なしデータの推論結果と、当該正解なしデータに付された擬似ラベルとを用いて損失を計算する。第2損失計算部16Aは、計算した損失をパラメータ更新部13Aに供給するとともに、進捗情報PIとして記憶部20Aに記憶する。
【0045】
(パラメータ更新部)
パラメータ更新部13Aは、第1損失計算部15Aが計算した損失と、第2損失計算部16Aが計算した損失とを用いて、学習モデルLMを規定するモデルパラメータを更新する。パラメータ更新部13Aは一例として、第1損失計算部15が計算した損失及び第2損失計算部16Aが計算した損失が小さくなるように上記モデルパラメータを更新する。推論部14Aによる推論処理~パラメータ更新部13Aによるモデルパラメータの更新処理が繰り返し実行されることにより、学習モデルLMの学習が進行する。
【0046】
(属性間距離の具体例1~3)
ここで、属性間距離算出部121が算出する属性間距離の具体例1~3について図面を参照しつつ説明する。
図7~
図9は、属性間距離算出部121が算出する属性間距離の具体例1~3を示す図である。
図7~
図9の例において、正解ありデータ及び正解なしデータに含まれる画像データは、商品を撮影した撮影画像を表すデータである。
【0047】
(属性間距離の具体例1)
図7の例で、属性情報は、撮影画像に含まれる商品の姿勢(角度)を示す情報であり、属性間距離は、画像データに含まれる商品の姿勢(角度)の差に基づき定まる値である。この例で、姿勢の差が大きいほど属性間距離は大きくなる。
【0048】
図7の例で、正解ありデータに含まれる画像データは、一例として、商品を正面から撮影した画像を表すデータである。ここで、商品の正面とは、一例として、商品名が記されたラベル等が最も視認し易い方向である。ただし、正解ありデータに含まれる画像データは、商品を正面から撮影した画像を表すデータに限られず、商品を他の方向から撮影した画像を表すデータであってもよい。
【0049】
また、正解ありデータに含まれる属性情報は、撮影画像に含まれる商品の上下角が0度であり、水平角が0度である旨を示す情報である。ここで、上下角は鉛直方向における商品の角度であり、水平角は鉛直方向に垂直な方向における商品の角度である。すなわち、
図7の例における正面方向は、上下角が0度であり、かつ水平角が0度である方向である。また、正解なしデータに含まれる画像データは、商品を様々な方向から撮影した画像を表すデータであり、正解なしデータに含まれる属性情報は、それぞれの撮影画像に含まれる商品の上下角と水平角とを示す情報である。
【0050】
ここで、正解ありデータの上下角をα0、水平角をβ0とし、正解なしデータの上下角をαi、水平角をβiとすると、属性間距離算出部121は、上下角の差分|αi-α0|及び水平角の差分|βi-β0|の少なくともいずれかを用いて属性間距離を算出する。属性間距離算出部121は、一例として、上下角の差分|αi-α0|と水平角の差分|βi-β0|の二乗和を属性間距離として算出してもよく、また、上下角の差分|αi-α0|と水平角の差分|βi-β0|の重み付け二乗和を属性間距離として算出してもよい。
【0051】
また、属性間距離算出部121は、水平角の差分を用いることなく上下角の差分のみを用いて属性間距離を算出してもよい。この場合、上下角が0度である正解ありデータとの距離は、例えば、上下0度の画像(水平角は任意)、上下30度の画像(水平角は任意)、上下60度の画像(水平角は任意)、…の順に大きくなる。この場合、上下角の差分が同じであれば距離も同じになる。
【0052】
また、属性間距離算出部121は、上下角の差分を用いて属性間距離を算出し、かつ、上下角の差分が同じである画像については水平角の差分が小さいほど距離が近くなるように、属性間距離を算出してもよい。この場合、上下角が0度、水平角が0である正解ありデータとの距離は、例えば、上下0度の画像、上下30度の画像、上下60度の画像、…の順に大きくなり、かつ、上下角の差分が同じである画像の正解ありデータとの距離は、水平角の差分が大きいほど、大きくなる。ただし、属性間距離を算出する手法は上述した例に限られず、属性間距離算出部121は他の手法により属性間距離を算出してもよい。
【0053】
(属性間距離の具体例2)
図8の例で、属性情報は、画像の撮影時刻を示す情報であり、属性間距離は、撮影時刻の差分に基づき定まる値である。この例で、時刻の差分が大きいほど属性間距離は大きくなる。この場合、正解ありデータに含まれる画像データは、ある時刻に撮影された画像を表すデータである。正解なしデータに含まれる画像データは、様々な時刻に撮影された画像を表すデータである。
【0054】
(属性間距離の具体例3)
図9の例において、属性情報は、撮影装置の位置(座標)、角度を示す情報であり、属性間距離は、撮影装置の位置の座標差、角度差に基づき定まる値である。この例では、撮影装置の座標差及び/又は角度差が大きいほど属性間距離は大きくなる。この場合、正解ありデータに含まれる画像データは、ある位置で撮影された画像を表すデータであり、正解なしデータに含まれる画像データは、様々な位置で撮影された画像を表すデータである。
【0055】
属性間距離算出部121は、一例として、座標の差分値と角度の差分値の二乗和を属性間距離として算出してもよく、また、座標の差分値と角度の差分値の重み付け二乗和を属性間距離として算出してもよい。
【0056】
(学習データの決定の具体例1~5)
次いで、学習データ決定部122が行う正解なしデータの抽出方法の具体例1~3について説明する。
【0057】
(学習データの決定の具体例1)
具体例1は、トータルの学習時間をN等分して、正解ありデータとの属性間距離が小さい順に1/Nずつ学習データを増やしていく手法である。換言すると、学習データ制御部12Aは、学習モデルLMの機械学習の学習時間が所定の閾値に達する毎に、抽出する正解なしデータの数を増加させる。また、このとき、学習データ制御部12Aは、複数の正解なしデータを距離に基づき複数のグループに分類し、学習モデルLMの機械学習が進むにつれて抽出するグループを増加させる。
【0058】
より具体的には、例えば、正解なしデータの総数が100、N=5、トータル学習時間が5、である場合、0~1の学習時間では、学習データ決定部122は正解ありデータとの属性間距離が他の正解なしデータよりも近い20個の正解なしデータを抽出する。また、1~2の学習時間では、学習データ決定部122は正解ありデータとの属性間距離が他の正解なしデータよりも近い40(20+20)個の正解なしデータを抽出する。また、2~3の学習時間では、学習データ決定部122は正解ありデータとの属性間距離が他の正解なしデータよりも近い60(40+20)個の正解なしデータを抽出する。また、3~4の学習時間では、学習データ決定部122は正解ありデータとの属性間距離が他の正解なしデータよりも近い順に80(60+20)個の正解なしデータを抽出する。また、4~5の学習時間では、100個(80+20)個の正解なしデータを抽出する。
【0059】
(学習データの決定の具体例2)
具体例2は、学習データの一定数(例えば8割)に擬似ラベルが付与されたら、次の学習データを追加する、という手法である。換言すると、学習データ制御部12Aは、抽出した正解なしデータに対する擬似ラベルの付与率が所定の閾値を越える度に、抽出する正解なしデータの数を増加させる。
【0060】
より具体的には、学習データ制御部12Aは、例えば、学習データ制御部12Aが抽出した正解なしデータの8割に擬似ラベルが付与される度に、次の正解なしデータを学習データに追加する、という処理を繰り返し実行する。これにより、正解なしデータが属性間距離の近い順に徐々に学習に使用される。
【0061】
(学習データの決定の具体例3)
具体例3は、正解ありデータについて計算された損失がある程度落ち着いたら次の学習データを追加する、という手法である。換言すると、学習データ制御部12Aは、第1損失計算部15Aが算出した損失が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる。ここで、収束判定条件は、損失がある程度収束したことを示す条件であり、一例として、損失の変化量が所定の閾値以下に収まっている、といった条件である。
【0062】
(学習データの決定の具体例4)
具体例4は、正解なしデータについて計算された損失がある程度落ち着いたら次の学習データを追加する、という手法である。換言すると、学習データ制御部12Aは、第2損失計算部16Aが算出した損失が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる。収束判定条件は、損失がある程度収束したことを示す条件であり、一例として、損失の変化量が所定の閾値以下に収まっている、といった条件である。
【0063】
(学習データの決定の具体例5)
具体例5は、擬似ラベルの付与率がある程度落ち着いたら、次の学習データを追加する、という手法である。換言すると、学習データ制御部12Aは、抽出した正解なしデータに対する擬似ラベルの付与率が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる。ここで、収束判定条件は、付与率がある程度収束したことを示す条件であり、一例として、付与率の変化量(増加量又は減少量)が所定の閾値以下に収まっている、といった条件である。
【0064】
(学習データの決定の具体例6)
具体例6は、正解あり損失と正解なし損失の和(もしくは重みつき和)がある程度収束したら次の学習データを追加する、という手法である。換言すると、学習データ制御部12Aは、第1損失計算部15Aが算出した損失と第2損失計算部16A手段が算出した損失との和又は重み付き和が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる。ここで、収束判定条件は、上記和又は重み付き和がある程度収束したことを示す条件であり、一例として、上記和又は重み付き和の変化量(増加量又は減少量等)が所定の閾値以下に収まっている、といった条件である。
【0065】
ただし、学習データ制御部12Aが学習データを決定する手法は上述した例に限定されるものではなく、学習データ制御部12Aは他の手法により学習データを決定してもよい。また、学習データ制御部12Aは、上述の具体例1~5の一部又は全部の手法を組み合わせて学習データを決定してもよい。例えば、学習データ制御部12Aは、(i)擬似ラベルの付与率が所定の閾値を越えた場合、(ii)正解ありデータについて算出された損失が所定の収束判定条件を満たした場合、及び、(iii)正解なしありデータについて算出された損失が所定の収束判定条件を満たした場合、の少なくともいずれかの場合に、学習データを追加してもよい。
【0066】
(情報処理装置の効果)
本例示的実施形態に係る情報処理装置1Aの学習データ制御部12Aは、学習モデルLMの学習が進むにつれて抽出する正解なしデータの距離の最大値が大きくなるように、正解なしデータの抽出を行う構成が採用されている。このため、本例示的実施形態に係る情報処理装置1Aによれば、正解ありデータの属性との類似度がより高い属性を有する正解なしデータを優先して学習に用いるとともに、学習に用いる正解なしデータを学習が進むにつれて増やすことができ、これにより、より推論精度の高い学習モデルを生成できるという効果が得られる。
【0067】
また、本例示的実施形態に係る情報処理装置1Aにおいては、学習データ制御部12Aが抽出した正解なしデータを学習モデルLMに入力して得られる推論結果に基づき、当該正解なしデータに擬似ラベルを付与する推論部14Aを備え、パラメータ更新部13Aは、正解ありデータと擬似ラベルが付与された正解なしデータとを用いて学習モデルLMのモデルパラメータを更新するという構成が採用されている。このため、本例示的実施形態に係る情報処理装置1Aによれば、擬似ラベルを精度よく生成できるとともに、生成された擬似ラベルを用いることでより推論精度の高い学習モデルを生成できるという効果が得られる。
【0068】
また、本例示的実施形態に係る情報処理装置1Aにおいては、属性情報は、画像に含まれる物体の姿勢及び位置、撮影時刻、撮影時間帯、撮影装置の種類及び位置、並びに画質、の少なくともいずれかを示す情報を含み、距離は、画像に含まれる物体の姿勢差及び位置の差、撮影時刻差、撮影時間帯の近さ、撮影装置の種類の類似の度合い、撮影装置の位置の差、並びに画質差、の少なくともいずれかに基づき算出される値である。
【0069】
例えば同じ棚においてある商品では隣り合った商品は似ていると推定することができる。このように、正解ありデータにより類似した正解なしデータ(例えば物品の姿勢が正解なしデータに近い正解なしデータ、撮影時刻が正解なりデータに近い正解なしデータ、正解ありデータの商品と同じ棚に置かれた商品を撮影した画像を含む正解なしデータ、等)を他の正解なしデータよりも優先して学習に用いることで、学習モデルLMの推論精度を高くすることができる。
【0070】
また、本例示的実施形態に係る情報処理装置1Aは、学習データ制御部12Aが抽出した正解なしデータを学習モデルLMに入力して得られる推論結果が所定の条件を満たす正解なしデータに擬似ラベルを付与する推論部14Aを備え、学習データ制御部12Aは、抽出した正解なしデータに対する前記擬似ラベルの付与率が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる。学習モデルLMの学習が進むほど擬似ラベルの付与率は安定するため、本例示的実施形態に係る情報処理装置1Aによれば、学習モデルLMの学習が進むについて学習に用いる正解なしデータを増やすことができ、これにより、推論精度の高い学習モデルLMを生成できるという効果が得られる。
【0071】
また、本例示的実施形態に係る情報処理装置1Aは、学習データ制御部12Aが抽出した正解なしデータを学習モデルLMに入力して得られる推論結果が所定の条件を満たす正解なしデータに擬似ラベルを付与する推論部14Aを備え、学習データ制御部12Aは、抽出した正解なしデータに対する擬似ラベルの付与率が所定の閾値を越える度に、抽出する正解なしデータの数を増加させる。
【0072】
学習モデルLMの学習が進むほど擬似ラベルの付与率は高くなるため、本例示的実施形態に係る情報処理装置1Aによれば、学習モデルLMの学習が進むにつれて学習に用いる正解なしデータを増やすことができ、これにより、推論精度の高い学習モデルLMを生成できるという効果が得られる。
【0073】
また、本例示的実施形態に係る情報処理装置1Aの学習データ制御部12Aは、学習モデルLMの学習時間が所定の閾値に達する毎に、抽出する正解なしデータの数を増加させる。このため、本例示的実施形態に係る情報処理装置1Aによれば、学習モデルLMの学習が進むにつれて学習に用いる正解なしデータを増やすことができ、これにより、推論精度の高い学習モデルLMを生成できるという効果が得られる。
【0074】
また、本例示的実施形態に係る情報処理装置1Aの学習データ制御部12Aは、第1損失計算部15Aが算出した損失と第2損失計算部16Aが算出した損失との和又は重み付き和が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる。学習モデルLMの学習が進むほど上記和又は重み付け和は安定するため、本例示的実施形態に係る情報処理装置1Aによれば、学習モデルLMの学習が進むにつれて学習に用いる正解なしデータを増やすことができ、これにより、推論精度の高い学習モデルLMを生成できるという効果が得られる。
【0075】
また、本例示的実施形態に係る情報処理装置1Aは、正解ありデータと学習モデルLMとを用いた推論結果と、当該正解ありデータの正解ラベルと、を用いて損失を算出する第1損失計算部15Aを備え、学習データ制御部12Aは、第1損失計算部15Aが算出した損失が所定の収束判定条件を満たす度に抽出する正解なしデータの数を増加させる。
【0076】
学習モデルLMの学習が進むほど損失は収束するため、本例示的実施形態に係る情報処理装置1Aによれば、学習モデルLMの学習が進むにつれて学習に用いる正解なしデータを増やすことができ、これにより、推論精度の高い学習モデルLMを生成できるという効果が得られる。
【0077】
また、本例示的実施形態に係る情報処理装置1Aは、学習データ制御部12Aが抽出した正解なしデータを学習モデルLMに入力して得られる推論結果に基づき当該正解なしデータに擬似ラベルを付与する推論部14Aと、上記正解なしデータと学習モデルLMとを用いた推論結果と、当該正解なしデータの擬似ラベルと、を用いて損失を算出する第2損失計算部16Aとを備え、学習データ制御部12Aは、第2損失計算部16Aが算出した損失が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる。
【0078】
学習モデルLMの学習が進むほど損失は収束するため、本例示的実施形態に係る情報処理装置1Aによれば、学習モデルLMの学習が進むにつれて学習に用いる正解なしデータを増やすことができ、これにより、推論精度の高い学習モデルLMを生成できるという効果が得られる。
【0079】
また、本例示的実施形態に係る情報処理装置1Aの学習データ制御部12Aは、複数の正解なしデータを距離に基づき複数のグループに分類し、機械学習が進むにつれて抽出するグループを増加させる。このため、本例示的実施形態に係る情報処理装置1Aによれば、学習モデルLMの学習が進むにつれて学習に用いる正解なしデータを増やすことができ、これにより、推論精度の高い学習モデルLMを生成できるという効果が得られる。
【0080】
〔ソフトウェアによる実現例〕
情報処理装置1、1Aの一部又は全部の機能は、集積回路(ICチップ)等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0081】
後者の場合、情報処理装置1、1Aは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例(以下、コンピュータCと記載する)を
図10に示す。コンピュータCは、少なくとも1つのプロセッサC1と、少なくとも1つのメモリC2と、を備えている。メモリC2には、コンピュータCを情報処理装置1、1Aとして動作させるためのプログラムPが記録されている。コンピュータCにおいて、プロセッサC1は、プログラムPをメモリC2から読み取って実行することにより、情報処理装置1、1Aの各機能が実現される。
【0082】
プロセッサC1としては、例えば、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、TPU(Tensor Processing Unit)、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリC2としては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、これらの組み合わせなどを用いることができる。
【0083】
なお、コンピュータCは、プログラムPを実行時に展開したり、各種データを一時的に記憶したりするためのRAM(Random Access Memory)を更に備えていてもよい。また、コンピュータCは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータCは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0084】
また、プログラムPは、コンピュータCが読み取り可能な、一時的でない有形の記録媒体Mに記録することができる。このような記録媒体Mとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータCは、このような記録媒体Mを介してプログラムPを取得することができる。また、プログラムPは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータCは、このような伝送媒体を介してプログラムPを取得することもできる。
【0085】
〔付記事項1〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0086】
〔付記事項2〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
(付記1)
画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する取得手段と、前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する属性間距離算出手段と、複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する抽出手段と、前記正解ありデータと前記抽出手段が抽出した正解なしデータとを用いて学習モデルのモデルパラメータを更新する更新手段と、を備える情報処理装置。
【0087】
(付記2)
前記抽出手段は、前記学習モデルの学習が進むにつれて抽出する正解なしデータの距離の最大値が大きくなるように前記正解なしデータの抽出を行う、付記1に記載の情報処理装置。
【0088】
(付記3)
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果に基づき、当該正解なしデータに擬似ラベルを付与する擬似ラベル付与手段を更に備え、前記更新手段は、前記擬似ラベルが付与された正解なしデータと、前記正解ありデータとを用いて前記学習モデルのモデルパラメータを更新する、付記1又は2に記載の情報処理装置。
【0089】
(付記4)
前記属性情報は、前記画像に含まれる物体の姿勢及び位置、撮影時刻、撮影時間帯、撮影装置の種類及び位置、並びに画質、の少なくともいずれかを示す情報を含み、前記距離は、前記画像に含まれる物体の姿勢差及び位置の差、撮影時刻差、撮影時間帯の近さ、撮影装置の種類の類似の度合い、撮影装置の位置の差、並びに画質差、の少なくともいずれかに基づき算出される値である、付記1から3のいずれか1つに記載の情報処理装置。
【0090】
(付記5)
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果が所定の条件を満たす正解なしデータに擬似ラベルを付与する擬似ラベル付与手段を更に備え、前記抽出手段は、抽出した正解なしデータに対する前記擬似ラベルの付与率が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる、付記2に記載の情報処理装置。
【0091】
(付記6)
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果が所定の条件を満たす正解なしデータに擬似ラベルを付与する擬似ラベル付与手段を更に備え、前記抽出手段は、抽出した正解なしデータに対する前記擬似ラベルの付与率が所定の閾値を超える度に、抽出する正解なしデータの数を増加させる、付記2に記載の情報処理装置。
【0092】
(付記7)
前記抽出手段は、前記学習モデルの学習の学習時間が所定の閾値に達する毎に、抽出する正解なしデータの数を増加させる、付記2に記載の情報処理装置。
【0093】
(付記8)
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果に基づき当該正解なしデータに擬似ラベルを付与する擬似ラベル付与手段と、前記正解ありデータと前記学習モデルとを用いた推論結果と、当該正解ありデータの正解ラベルと、を用いて損失を算出する第1損失算出手段と、前記正解なしデータと前記学習モデルとを用いた推論結果と、当該正解なしデータの擬似ラベルと、を用いて損失を算出する第2損失算出手段と、を更に備え、前記抽出手段は、前記第1損失算出手段が算出した損失と前記第2損失算出手段が算出した損失との和又は重み付き和が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる、付記2に記載の情報処理装置。
【0094】
(付記9)
少なくとも1つのプロセッサが、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得することと、前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出することと、複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出することと、前記正解ありデータと前記抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新することと、を含む、情報処理方法。
【0095】
(付記10)
コンピュータに、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する処理と、前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する処理と、複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する処理と、前記正解ありデータと前記抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新する処理と、を実行させるためのプログラム。
【0096】
(付記11)
前記正解ありデータと前記学習モデルとを用いた推論結果と、当該正解ありデータの正解ラベルと、を用いて損失を算出する損失算出手段、を更に備え、前記抽出手段は、前記損失算出手段が算出した損失が所定の収束判定条件を満たす度に抽出する正解なしデータの数を増加させる、付記2に記載の情報処理装置。
【0097】
(付記12)
前記抽出手段が抽出した正解なしデータを前記学習モデルに入力して得られる推論結果に基づき当該正解なしデータに擬似ラベルを付与する擬似ラベル付与手段と、前記正解なしデータと前記学習モデルとを用いた推論結果と、当該正解なしデータの擬似ラベルと、を用いて損失を算出する損失算出手段と、を更に備え、前記抽出手段は、前記損失算出手段が算出した損失が所定の収束判定条件を満たす度に、抽出する正解なしデータの数を増加させる、付記2に記載の情報処理装置。
【0098】
(付記13)
前記抽出手段は、複数の前記正解なしデータを前記距離に基づき複数のグループに分類し、前記学習モデルの学習が進むにつれて抽出するグループを増加させる、付記2、5から8、11、及び12のいずれか1つに記載の情報処理装置。
【0099】
(付記14)
少なくとも1つのプロセッサを備え、前記プロセッサは、画像データに画像の属性を示す属性情報及び正解ラベルが付された正解ありデータと、画像データに画像の属性を示す属性情報が付された正解なしデータとを取得する取得処理と、前記正解ありデータの属性情報と前記正解なしデータの属性情報とにより定まる、当該正解ありデータと当該正解なしデータとの距離を算出する属性間距離算出処理と、複数の前記正解なしデータの中から、前記正解ありデータとの距離が他の正解なしデータよりも小さい正解なしデータを抽出する抽出処理と、前記正解ありデータと前記抽出処理において抽出された正解なしデータとを用いて学習モデルのモデルパラメータを更新する更新処理とを実行する情報処理装置。
【0100】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記属性間距離算出処理と、前記抽出処理と、前記更新処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0101】
1、1A 情報処理装置
11 取得部
12、121 属性間距離算出部
13 抽出部
14 更新部
12A 学習データ制御部
122 学習データ決定部
13A パラメータ更新部
14A 推論部
15A 第1損失計算部
16A 第2損失計算部