特許7582442情報処理装置、情報処理方法、検知モデルの製造方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】情報処理装置、情報処理方法、検知モデルの製造方法、およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241106BHJP
G06N 3/0895 20230101ALI20241106BHJP
G06T 7/00 20170101ALI20241106BHJP
G06V 10/774 20220101ALI20241106BHJP
【ＦＩ】
G06N20/00 130
G06N3/0895
G06T7/00 350B
G06V10/774
【請求項の数】
12
(21)【出願番号】P 2023503690
(86)(22)【出願日】2022-02-15
(86)【国際出願番号】 JP2022005877
(87)【国際公開番号】W WO2022185899
(87)【国際公開日】2022-09-09
【審査請求日】2023-08-31
(31)【優先権主張番号】PCT/JP2021/008696
(32)【優先日】2021-03-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】田中 勇貴
(72)【発明者】
【氏名】吉田 周平
(72)【発明者】
【氏名】寺尾 真
【審査官】北川 純次
(56)【参考文献】
【文献】特開２０２０－１９７９７４（ＪＰ，Ａ）
【文献】特開２０２１－０２２３８０（ＪＰ，Ａ）
【文献】国際公開第２０２０／２２５９２３（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２０／０４１０３８８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００ － ２０／２０
Ｇ０６Ｎ ３／０２ － ３／１０
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／７７４
(57)【特許請求の範囲】
【請求項1】
第１のデータセットを用いて検知モデルの学習を行う学習手段と、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定手段と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論手段と、
前記推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成手段と
を備えていることを特徴とする情報処理装置。
【請求項2】
前記疑似ラベル付与後のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習手段を更に備えていることを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記擬似ラベル参照学習手段は、前記対象画像用検知モデルの学習として、前記検知モデルの再学習を行うことを特徴とする請求項２に記載の情報処理装置。
【請求項4】
第１のデータセットを用いて第１の検知モデルの学習を行う第１の学習手段と、第２のデータセットを用いて第２の検知モデルの学習を行う第２の学習手段と、
第１の評価用データセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する第１の閾値決定手段と、
第２の評価用データセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第２の閾値を決定する第２の閾値決定手段と、
前記第２のデータセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第１の推論手段と、
前記第１のデータセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第２の推論手段と、
前記第１の推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第２のデータセットを生成する第１のデータセット生成手段と、
前記第２の推論手段による１又は複数の推論結果のうち、前記第２の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第１のデータセットを生成する第２のデータセット生成手段と、
を備えていることを特徴とする情報処理装置。
【請求項5】
対象画像を取得する取得手段と、前記対象画像を入力とし、前記対象画像に含まれるオブジェクトに関する推論結果を出力する対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知手段と、
を更に備え、
前記対象画像用検知モデルは、前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理によって学習されたものである
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項6】
少なくとも１つのプロセッサが、
第１のデータセットを用いて検知モデルの学習を行う学習工程と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定工程と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論工程と、
前記推論工程による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成工程と
を含んでいることを特徴とする情報処理方法。
【請求項7】
前記少なくとも１つのプロセッサが、
対象画像を取得することと、
前記対象画像を入力とし、前記対象画像に含まれるオブジェクトに関する推論結果を出力する対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行うことと、
を更に含み、
前記対象画像用検知モデルは、前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理によって学習されたものである
ことを特徴とする請求項６に記載の情報処理方法。
【請求項8】
少なくとも１つのプロセッサが、
第１のデータセットを用いて検知モデルの学習を行う学習工程と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定工程と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論工程と、
前記推論工程による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成工程と、
前記疑似ラベル付与後のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習工程と
を含んでいることを特徴とする検知モデルの製造方法。
【請求項9】
コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、第１のデータセットを用いて検知モデルの学習を行う学習手段と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定手段と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論手段と、
前記推論手段による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成手段と
として機能させるプログラム。
【請求項10】
前記コンピュータを、対象画像を取得する取得手段と、
前記対象画像を入力とし、前記対象画像に含まれるオブジェクトに関する推論結果を出力する対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知手段と、
として更に機能させ、
前記対象画像用検知モデルは、前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理によって学習されたものである
請求項９に記載のプログラム。
【請求項11】
少なくとも１つのプロセッサが、
第１のデータセットを用いて第１の検知モデルの学習を行う第１の学習工程と、
第２のデータセットを用いて第２の検知モデルの学習を行う第２の学習工程と、
第１の評価用データセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する第１の閾値決定工程と、
第２の評価用データセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第２の閾値を決定する第２の閾値決定工程と、
前記第２のデータセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第１の推論工程と、
前記第１のデータセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第２の推論工程と、
前記第１の推論工程による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第２のデータセットを生成する第１のデータセット生成工程と、
前記第２の推論工程による１又は複数の推論結果のうち、前記第２の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第１のデータセットを生成する第２のデータセット生成工程と、
を含んでいることを特徴とする情報処理方法。
【請求項12】
コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
第１のデータセットを用いて第１の検知モデルの学習を行う第１の学習手段と、
第２のデータセットを用いて第２の検知モデルの学習を行う第２の学習手段と、
第１の評価用データセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する第１の閾値決定手段と、
第２の評価用データセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第２の閾値を決定する第２の閾値決定手段と、
前記第２のデータセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第１の推論手段と、
前記第１のデータセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第２の推論手段と、
前記第１の推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第２のデータセットを生成する第１のデータセット生成手段と、
前記第２の推論手段による１又は複数の推論結果のうち、前記第２の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第１のデータセットを生成する第２のデータセット生成手段と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検知モデルの再学習に用いるデータセットに含まれる１又は複数の画像に、擬似ラベルを関連付ける技術に関する。
【背景技術】
【0002】
画像に含まれるオブジェクトを検知する検知モデルは、多数の正解ありデータを用いて学習を行うことで高精度の検知モデルとなる。一方で、多数のデータを収集し、当該データに正解ラベルを関連付ける処理は高コストである。このため、少数の正解ありデータから高精度の検知モデルを生成するために、正解なしデータに対して擬似ラベルを関連付ける技術が知られている。
【0003】
擬似ラベルとは、正解ありデータセットのみで学習を行った検知モデルを用いて、正解なしデータセットの画像を推論した推論結果のうちの信頼できるものを指す。例えば、非特許文献１には、推論結果の信頼度が閾値以上であるものを擬似ラベルとして採用する手法が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】Xiangyun Zhao et. al.，"Object Detection with a Unified Label Space from Multiple Datasets"，August 15, 2020，arXiv:2008.06614v1
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１に記載の手法は、適切な閾値を設定するための調整が必要であるため、この調整にかかる時間的コスト及び計算的コストに削減の余地がある。換言すれば、擬似ラベルを用いた高精度の検知モデルの生成コストをより低減させる余地がある。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものである。すなわち、本発明の一態様は、生成コストを抑制しつつ、高精度な検知モデルを生成することのできる技術を提供することを一目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理装置は、第１のデータセットを用いて検知モデルの学習を行う学習手段と、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定手段と、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論手段と、前記推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成手段と、を備える。
【0008】
本発明の一態様に係る情報処理装置は、第１のデータセットを用いて第１の検知モデルの学習を行う第１の学習手段と、第２のデータセットを用いて第２の検知モデルの学習を行う第２の学習手段と、第１の評価用データセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する第１の閾値決定手段と、第２の評価用データセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第２の閾値を決定する第２の閾値決定手段と、前記第２のデータセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第１の推論手段と、前記第１のデータセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第２の推論手段と、前記第１の推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第２のデータセットを生成する第１のデータセット生成手段と、前記第２の推論手段による１又は複数の推論結果のうち、前記第２の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第１のデータセットを生成する第２のデータセット生成手段と、を備える。
【0009】
本発明の一態様に係る情報処理装置は、対象画像を取得する取得手段と、対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知手段と、を備え、前記対象画像用検知モデルは、第１のデータセットを用いて検知モデルの学習を行う学習処理、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定処理、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、前記推論処理による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理によって学習されたものである。
【0010】
本発明の一態様に係る情報処理方法は、第１のデータセットを用いて検知モデルの学習を行う学習工程と、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定工程と、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論工程と、前記推論工程による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成工程と、を含む。
【0011】
本発明の一態様に係る情報処理方法は、対象画像を取得することと、対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行うことと、を含み、前記対象画像用検知モデルは、第１のデータセットを用いて検知モデルの学習を行う学習処理、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定処理、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、前記推論処理による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理によって学習されたものである。
【0012】
本発明の一態様に係る検知モデルの製造方法は、第１のデータセットを用いて検知モデルの学習を行う学習工程と、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定工程と、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論工程と、前記推論工程による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成工程と、前記疑似ラベル付与後のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習工程とを含む。
【0013】
本発明の一態様に係るプログラムは、コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、第１のデータセットを用いて検知モデルの学習を行う学習手段と、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定手段と、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論手段と、前記推論手段による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成手段と、として機能させる。
【0014】
本発明の一態様に係るプログラムは、コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、対象画像を取得する取得手段と、対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知手段と、として機能させ、前記対象画像用検知モデルは、第１のデータセットを用いて検知モデルの学習を行う学習処理、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、前記推論処理による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理によって学習されたものである。
【発明の効果】
【0015】
本発明の一態様によれば、生成コストを抑制しつつ、高精度な検知モデルを生成することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図3】本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図5】本発明の例示的実施形態２に係る情報処理装置の構成を示すブロック図である。
【図6】本発明の例示的実施形態２に係る第１のデータセットおよび第２のデータセットに含まれるデータの具体例を示す図である。
【図8】本発明の例示的実施形態２に係る、擬似ラベルが付与されたデータセットに含まれるデータの具体例を示す図である。
【図10】本発明の例示的実施形態２に係る情報処理装置の構成を示すブロック図である。
【図11】本発明の例示的実施形態３に係る情報処理装置の構成を示すブロック図である。
【図12】本発明の例示的実施形態３に係る第１のデータセットおよび第２のデータセットに含まれるデータの具体例を示す図である。
【図13】本発明の例示的実施形態３に係る第２のデータセットと、第２のデータセットから生成された、擬似ラベルが付与されたデータセットとに含まれるデータの具体例を示す図である。
【図14】本発明の例示的実施形態４に係る情報処理装置の構成を示すブロック図である。
【図15】本発明の例示的実施形態４に係る第１のデータセットおよび第２のデータセットに含まれるデータの具体例を示す図である。
【図16】本発明の例示的実施形態４に係る、擬似ラベルが付与されたデータセットに含まれるデータの具体例を示す図である。
【図17】本発明の例示的実施形態５に係る情報処理装置の構成を示すブロック図である。
【図19】本発明の例示的実施形態６に係る情報処理装置の構成を示すブロック図である。
【図20】本発明の各例示的実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0017】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0018】
＜情報処理装置１０の概要＞
本例示的実施形態に係る情報処理装置１０は、対象のデータセットに疑似ラベルを付与することによって擬似ラベル付与後のデータセットを生成するデータセット生成装置としての機能を有している。
本例示的実施形態に係る情報処理装置１０は、対象のデータセットに疑似ラベルを付与することによって擬似ラベル付与後のデータセットを生成するデータセット生成装置としての機能を有している。
【0019】
より具体的に言えば、情報処理装置１０は、まず、第１のデータセットを用いて検知モデルの学習を行う。さらに情報処理装置１０は、評価用データセットに含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該画像の各々に付された１又は複数の正解ラベルとの比較結果とを参照して第１の閾値を決定する。さらに情報処理装置１０は、第２のデータセットに含まれる１又は複数の画像の各々を検知モデルに入力することによって、当該画像の各々についての１又は複数の推論結果を取得する。さらに情報処理装置１０は、第２のデータセットに含まれる１又は複数の画像からの１又は複数の推論結果のうち、第１の閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを、対応する画像に関連付けることにより、擬似ラベル付与後のデータセットを生成する。
【0020】
【0021】
図１に示すように、情報処理装置１０は、学習部１０１と、閾値決定部１０２と、推論部１０３と、データセット生成部１０４とを備える。学習部１０１は、本例示的実施形態において学習手段を実現する構成である。閾値決定部１０２は、本例示的実施形態において閾値決定手段を実現する構成である。推論部１０３は、本例示的実施形態において推論手段を実現する構成である。データセット生成部１０４は、本例示的実施形態においてデータセット生成手段を実現する構成である。
【0022】
学習部１０１は、第１のデータセットを用いて検知モデルの学習を行う。具体的には、学習部１０１は、１又は複数の画像を含む第１のデータセットを用いて、当該画像に含まれるオブジェクトの検知のための検知モデルの学習を行う。検知とは、画像を検知モデルに入力することにより、
・当該画像に含まれるオブジェクトの存否
・当該画像に含まれるオブジェクトの位置
・当該画像に含まれるオブジェクトのサイズ
・当該画像に含まれるオブジェクトのカテゴリ
の少なくとも何れかに関する推論結果を出力することである。学習部１０１は、画像を入力とし上記のような推論結果を出力する検知モデルを学習させる。
・当該画像に含まれるオブジェクトの存否
・当該画像に含まれるオブジェクトの位置
・当該画像に含まれるオブジェクトのサイズ
・当該画像に含まれるオブジェクトのカテゴリ
の少なくとも何れかに関する推論結果を出力することである。学習部１０１は、画像を入力とし上記のような推論結果を出力する検知モデルを学習させる。
【0023】
閾値決定部１０２は、評価用データセットに含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する。ここで、正解ラベルとは、評価用データセットに含まれる１又は複数の画像の各々に含まれる１又は複数のオブジェクトについて、
・当該画像に含まれるオブジェクトの位置
・当該画像に含まれるオブジェクトのサイズ
・当該画像に含まれるオブジェクトのカテゴリ
の少なくとも何れかに関する正解（Ground Truth）データを含むラベルのことである。
・当該画像に含まれるオブジェクトの位置
・当該画像に含まれるオブジェクトのサイズ
・当該画像に含まれるオブジェクトのカテゴリ
の少なくとも何れかに関する正解（Ground Truth）データを含むラベルのことである。
【0024】
推論部１０３は、第２のデータセットに含まれる１又は複数の画像の各々を、上述した検知モデルに入力することによって、当該画像の各々についての１又は複数の推論結果を取得する。第２のデータセットとは、第１のデータセットと異なる１又は複数の画像を含む。
【0025】
データセット生成部１０４は、推論部１０３による１又は複数の推論結果のうち、第１の閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを、対応する画像に関連付けることによって、擬似ラベル付与後のデータセットを生成する。ここで、擬似ラベルとは、第２のデータセットに含まれる１又は複数の画像の各々について、
・推論部１０３によってオブジェクトであると推論された１又は複数のオブジェクトの各々の位置
・上記各オブジェクトのサイズ
・上記各オブジェクトのカテゴリ
の少なくとも何れかに関するデータを含むラベルである。
・推論部１０３によってオブジェクトであると推論された１又は複数のオブジェクトの各々の位置
・上記各オブジェクトのサイズ
・上記各オブジェクトのカテゴリ
の少なくとも何れかに関するデータを含むラベルである。
【0026】
なお、あるオブジェクトに対して正解ラベルが存在すると仮定した場合、当該オブジェクトに対して付与された疑似ラベルは、当該正解ラベルと一致する場合もあるし、一致しない場合もある。例えば、当該オブジェクトに関する正解データに含まれる当該オブジェクトの位置、サイズ、カテゴリのうち、何れか１又は複数の項目が、疑似ラベルにおける当該オブジェクトの位置、サイズ、カテゴリに一致し、他の項目は一致しないといったことも起こり得る。
【0027】
疑似ラベルの精度は、一般に、上述した第１の閾値を調整することによって調整することができるが、当該第１の閾値の調整には、一般に、時間的コスト及び計算的コストが必要となり得る。
【0028】
上述のように、本例示的実施形態に係る情報処理装置１０においては、第２のデータセットに含まれる画像の各々についての推論結果を擬似ラベルとするか否かを決定するための第１の閾値を自動で決定する構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０によれば、当該第１の閾値の調整に関するコストを削減することができるという効果が得られる。したがって、本例示的実施形態に係る情報処理装置１０によれば、生成コストを抑制しつつ、高精度な検知モデルを生成することができる。
【0029】
＜情報処理方法の流れ＞
以上のように構成された情報処理装置１０が実行する情報処理方法Ｓ１０の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１０の流れを示すフロー図である。情報処理装置１０は、擬似ラベルが関連付けられた画像を含む第２のデータセットを生成するために、情報処理方法Ｓ１０を実行する。
以上のように構成された情報処理装置１０が実行する情報処理方法Ｓ１０の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１０の流れを示すフロー図である。情報処理装置１０は、擬似ラベルが関連付けられた画像を含む第２のデータセットを生成するために、情報処理方法Ｓ１０を実行する。
【0030】
図２に示すように、情報処理方法Ｓ１０は、ステップＳ１０１～Ｓ１０４を含む。
【0031】
（ステップＳ１０１）
ステップＳ１０１において、学習部１０１は、検知モデルの学習を行う。具体的には、学習部１０１は、第１のデータセットを用いて検知モデルの学習を行う。ステップＳ１０１は、本例示的実施形態における学習工程である。
ステップＳ１０１において、学習部１０１は、検知モデルの学習を行う。具体的には、学習部１０１は、第１のデータセットを用いて検知モデルの学習を行う。ステップＳ１０１は、本例示的実施形態における学習工程である。
【0032】
（ステップＳ１０２）
ステップＳ１０２において、閾値決定部１０２は、第１の閾値を決定する。具体的には、閾値決定部１０２は、評価用データセットに含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、擬似ラベルを決定するための第１の閾値を決定する。ステップＳ１０２は、本例示的実施形態における閾値決定工程である。
ステップＳ１０２において、閾値決定部１０２は、第１の閾値を決定する。具体的には、閾値決定部１０２は、評価用データセットに含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、擬似ラベルを決定するための第１の閾値を決定する。ステップＳ１０２は、本例示的実施形態における閾値決定工程である。
【0033】
（ステップＳ１０３）
ステップＳ１０３において、推論部１０３は、推論を行う。具体的には、推論部１０３は、第２のデータセットに含まれる１又は複数の画像の各々を検知モデルに入力することによって、当該画像の各々についての１又は複数の推論結果を取得する。ステップＳ１０３は、本例示的実施形態における推論工程である。
ステップＳ１０３において、推論部１０３は、推論を行う。具体的には、推論部１０３は、第２のデータセットに含まれる１又は複数の画像の各々を検知モデルに入力することによって、当該画像の各々についての１又は複数の推論結果を取得する。ステップＳ１０３は、本例示的実施形態における推論工程である。
【0034】
（ステップＳ１０４）
ステップＳ１０４において、データセット生成部１０４は、擬似ラベル付与後のデータセットを生成する。具体的には、データセット生成部１０４は、ステップＳ１０３における１又は複数の推論結果のうち、第１の閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを、第２のデータセットにおける対応する画像に関連付けることによって、擬似ラベル付与後のデータセットを生成する。ステップＳ１０４は、本例示的実施形態におけるデータセット生成工程である。
ステップＳ１０４において、データセット生成部１０４は、擬似ラベル付与後のデータセットを生成する。具体的には、データセット生成部１０４は、ステップＳ１０３における１又は複数の推論結果のうち、第１の閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを、第２のデータセットにおける対応する画像に関連付けることによって、擬似ラベル付与後のデータセットを生成する。ステップＳ１０４は、本例示的実施形態におけるデータセット生成工程である。
【0035】
なお、ステップＳ１０３の実行タイミングは、ステップＳ１０２の実行後に限定されない。当該実行タイミングは、ステップＳ１０１の実行後、かつステップＳ１０４の実行前であればよく、例えば、ステップＳ１０２の実行前であってもよい。
【0036】
上述のように、本例示的実施形態に係る情報処理方法Ｓ１０によれば、情報処理装置１０と同様の作用効果が得られる。すなわち、本例示的実施形態に係る情報処理方法Ｓ１０においては、第２のデータセットに含まれる画像の各々についての推論結果を擬似ラベルとするか否かを決定するための第１の閾値を自動で決定する構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１０によれば、当該第１の閾値の調整に関するコストを削減することができるという効果が得られる。したがって、本例示的実施形態に係る情報処理方法Ｓ１０によれば、生成コストを抑制しつつ、高精度な検知モデルを生成することができる。
【0037】
＜情報処理装置２０の概要＞
情報処理装置２０は、対象画像を取得し、対象画像用検知モデルを用いて、当該画像に含まれるオブジェクトの検知を行う。典型的には、対象画像用検知モデルは、上述した情報処理装置１０、具体的には学習部１０１が学習した検知モデルに対する再学習であって、情報処理装置１０が生成した擬似ラベル付与後のデータセットを参照した再学習が行われた検知モデルである。なお、対象画像用検知モデルはこれに限定されない。対象画像用検知モデルは、擬似ラベル付与後のデータセットを用いて学習された検知モデルであればよく、例えば、擬似ラベル付与後のデータセットを用いて学習された、新たな検知モデルであってもよい。ここで、新たな検知モデルとは、学習部１０１が学習した検知モデルとは異なる検知モデルである。
情報処理装置２０は、対象画像を取得し、対象画像用検知モデルを用いて、当該画像に含まれるオブジェクトの検知を行う。典型的には、対象画像用検知モデルは、上述した情報処理装置１０、具体的には学習部１０１が学習した検知モデルに対する再学習であって、情報処理装置１０が生成した擬似ラベル付与後のデータセットを参照した再学習が行われた検知モデルである。なお、対象画像用検知モデルはこれに限定されない。対象画像用検知モデルは、擬似ラベル付与後のデータセットを用いて学習された検知モデルであればよく、例えば、擬似ラベル付与後のデータセットを用いて学習された、新たな検知モデルであってもよい。ここで、新たな検知モデルとは、学習部１０１が学習した検知モデルとは異なる検知モデルである。
【0038】
【0039】
図３に示すように、情報処理装置２０は、取得部２０１と、検知部２０２とを備える。取得部２０１は、本例示的実施形態において取得手段を実現する構成である。検知部２０２は、本例示的実施形態において検知手段を実現する構成である。
【0040】
取得部２０１は、対象画像を取得する。ここで、対象画像とは、当該画像に含まれるオブジェクトの検知のために、検知モデルに入力される画像である。例えば、取得部２０１は、情報処理装置２０に記憶された対象画像を読み出すことで、対象画像を取得してもよいし、撮像装置から供給される対象画像を取得してもよい。また、例えば、取得部２０１は、入力装置（図示せず）を介して対象画像を取得してもよい。また、例えば、取得部２０１は、情報処理装置２０と通信可能に接続された他の装置（図示せず）から対象画像を取得してもよい。
【0041】
検知部２０２は、対象画像用検知モデルを用いて、対象画像に含まれるオブジェクトの検知を行う。対象画像用検知モデルは、対象画像に含まれるオブジェクトを検知するために用いる検知モデルであり、本例示的実施形態に係る対象画像用検知モデルは、上述した再学習が行われた検知モデルである。検知部２０２は、対象画像を対象画像用検知モデルに入力することにより、対象画像用検知モデルから出力された推論結果を取得する。例えば、検知部２０２は、対象画像用検知モデルを保持しており、当該対象画像用検知モデルに対象画像を入力する。また、例えば、検知部２０２は、記憶装置（図示せず）に記憶されている対象画像用検知モデルにアクセスし、対象画像を入力する。
【0042】
上述のように、本例示的実施形態に係る情報処理装置２０においては、自動で決定された第１の閾値を用いて擬似ラベルが決定され、当該擬似ラベルが関連付けられた画像を含むデータセットを用いて学習が行われた対象画像用検知モデルを用いてオブジェクトを検知する構成が採用されている。このため、本例示的実施形態に係る情報処理装置２０によれば、第１の閾値の調整に関するコストを削減した対象画像用検知モデルを用いて、画像に含まれるオブジェクトを検知することができるという効果が得られる。
【0043】
＜情報処理方法の流れ＞
以上のように構成された情報処理装置２０が実行する情報処理方法Ｓ２０の流れについて、図４を参照して説明する。図４は、情報処理方法Ｓ２０の流れを示すフロー図である。情報処理装置２０は、対象画像に含まれるオブジェクトを検知するために、情報処理方法Ｓ２０を実行する。
以上のように構成された情報処理装置２０が実行する情報処理方法Ｓ２０の流れについて、図４を参照して説明する。図４は、情報処理方法Ｓ２０の流れを示すフロー図である。情報処理装置２０は、対象画像に含まれるオブジェクトを検知するために、情報処理方法Ｓ２０を実行する。
【0044】
図４に示すように、情報処理方法Ｓ２０は、ステップＳ２０１およびＳ２０２を含む。
【0045】
（ステップＳ２０１）
ステップＳ２０１において、取得部２０１は、対象画像を取得する。
ステップＳ２０１において、取得部２０１は、対象画像を取得する。
【0046】
（ステップＳ２０２）
ステップＳ２０２において、検知部２０２は、オブジェクトを検知する。具体的には、検知部２０２は、対象画像用検知モデルを用いて、対象画像に含まれるオブジェクトの検知を行う。より具体的には、検知部２０２は、取得部２０１が取得した対象画像を対象画像用検知モデルに入力し、当該検知モデルが出力した推論結果を取得する。
上述のように、本例示的実施形態に係る情報処理方法Ｓ２０によれば、情報処理装置２０と同様の作用効果が得られる。すなわち、本例示的実施形態に係る情報処理方法Ｓ２０においては、自動で決定された第１の閾値を用いて擬似ラベルを決定し、当該擬似ラベルが関連付けられた画像を含むデータセットを用いて学習が行われた対象画像用検知モデルを用いてオブジェクトを検知する構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ２０によれば、第１の閾値の調整に関するコストを削減した対象画像用検知モデルを用いて、画像に含まれるオブジェクトを検知することができるという効果が得られる。
ステップＳ２０２において、検知部２０２は、オブジェクトを検知する。具体的には、検知部２０２は、対象画像用検知モデルを用いて、対象画像に含まれるオブジェクトの検知を行う。より具体的には、検知部２０２は、取得部２０１が取得した対象画像を対象画像用検知モデルに入力し、当該検知モデルが出力した推論結果を取得する。
上述のように、本例示的実施形態に係る情報処理方法Ｓ２０によれば、情報処理装置２０と同様の作用効果が得られる。すなわち、本例示的実施形態に係る情報処理方法Ｓ２０においては、自動で決定された第１の閾値を用いて擬似ラベルを決定し、当該擬似ラベルが関連付けられた画像を含むデータセットを用いて学習が行われた対象画像用検知モデルを用いてオブジェクトを検知する構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ２０によれば、第１の閾値の調整に関するコストを削減した対象画像用検知モデルを用いて、画像に含まれるオブジェクトを検知することができるという効果が得られる。
【0047】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0048】
＜情報処理装置１０ａの概要＞
本例示的実施形態に係る情報処理装置１０ａは、例示的実施形態１を変形したものである。具体的には、情報処理装置１０ａは、第１のデータセットを取得し、例示的実施形態１で説明した検知モデルの学習、閾値の決定、推論および擬似ラベル付与後のデータセットの作成を行う。さらに情報処理装置１０ａは、生成した擬似ラベル付与後のデータセットを用いて、対象画像用検知モデルの学習を行う。典型的には、対象画像用検知モデルは、上記検知モデルに対する再学習であって、擬似ラベル付与後のデータセットを参照した再学習が行われた検知モデルである。なお、上述したとおり、対象画像用検知モデルは、再学習が行われた検知モデルに限定されず、擬似ラベル付与後のデータセットを用いて学習された検知モデルであればよい。
本例示的実施形態に係る情報処理装置１０ａは、例示的実施形態１を変形したものである。具体的には、情報処理装置１０ａは、第１のデータセットを取得し、例示的実施形態１で説明した検知モデルの学習、閾値の決定、推論および擬似ラベル付与後のデータセットの作成を行う。さらに情報処理装置１０ａは、生成した擬似ラベル付与後のデータセットを用いて、対象画像用検知モデルの学習を行う。典型的には、対象画像用検知モデルは、上記検知モデルに対する再学習であって、擬似ラベル付与後のデータセットを参照した再学習が行われた検知モデルである。なお、上述したとおり、対象画像用検知モデルは、再学習が行われた検知モデルに限定されず、擬似ラベル付与後のデータセットを用いて学習された検知モデルであればよい。
【0049】
＜情報処理装置１０ａの構成＞
情報処理装置１０ａの構成について、図５を参照して説明する。図５は、情報処理装置１０ａの構成を示すブロック図である。図５に示すように、情報処理装置１０ａは、制御部１００ａおよび記憶部１５０ａを備える。制御部１００ａは、情報処理装置１０ａの各部を統括して制御する。記憶部１５０ａは、情報処理装置１０ａが使用する各種プログラムやデータを記憶する。
情報処理装置１０ａの構成について、図５を参照して説明する。図５は、情報処理装置１０ａの構成を示すブロック図である。図５に示すように、情報処理装置１０ａは、制御部１００ａおよび記憶部１５０ａを備える。制御部１００ａは、情報処理装置１０ａの各部を統括して制御する。記憶部１５０ａは、情報処理装置１０ａが使用する各種プログラムやデータを記憶する。
【0050】
記憶部１５０ａは、評価用データセットＤＳＥ、データセット１（ＤＳ１）、データセット２（ＤＳ２）、データセット２’（ＤＳ２’）、物体検知モデルＤＭを記憶する。評価用データセットＤＳＥは、本例示的実施形態における評価用データセットである。データセット１（ＤＳ１）は、本例示的実施形態における第１のデータセットである。データセット２（ＤＳ２）は、本例示的実施形態における第２のデータセットである。データセット２’（ＤＳ２’）は、本例示的実施形態における、疑似ラベル付与後のデータセットである。
【0051】
ここで、データセット１（ＤＳ１）およびデータセット２（ＤＳ２）の詳細について説明する。図６は、データセット１（ＤＳ１）およびデータセット２（ＤＳ２）に含まれるデータの具体例を示す図である。具体的には、図６には、データセット１（ＤＳ１）に含まれる画像の１つと、データセット２（ＤＳ２）に含まれる画像の１つとが示されている。
【0052】
これらの画像の各々には、５つのオブジェクト、具体的には３人の人物と、２つの鞄とが含まれている。データセット１（ＤＳ１）に含まれる画像において、当該５つのオブジェクトの各々には、正解ラベルが関連付けられている。典型的には、正解ラベルは、図６に示すようにカテゴリおよびバウンディングボックスを含むラベルである。カテゴリは、正解ラベルに関連付けられた画像に含まれるオブジェクトのカテゴリを示すカテゴリ情報であり、具体的には、当該オブジェクトのカテゴリに関する正解データである。図６の例では、３人の人物の各々には「ｐｅｒｓｏｎ」のカテゴリが、２つの鞄の各々には「ｂａｇ」のカテゴリが関連付けられている。バウンディングボックスは、正解ラベルに関連付けられた画像に含まれるオブジェクトの領域を示す領域情報であり、具体的には、画像に含まれるオブジェクトの位置およびサイズに関する正解データである。１つのオブジェクトに１つのバウンディングボックスが関連付けられており、バウンディングボックスの典型例は、図６に示すように、オブジェクトが内包される最小の矩形を示すデータである。
【0053】
一方、データセット２（ＤＳ２）に含まれる画像において、オブジェクトには正解ラベルは関連付けられていない。
【0054】
以上をふまえ、各例示的実施形態に記載の「画像」、「データセット」および「正解ラベル」は、以下のように表現することができる。
・検知モデルに入力される画像ｘは、データ空間Ｘの要素である。ここで、データ空間Ｘは当該画像ｘを含むデータセットに対応する。なお、１つの画像ｘに含まれるオブジェクトの数は任意である。
・正解ラベルは、カテゴリｙおよびバウンディングボックスｂの組（ｙ，ｂ）で表現することができる。なお、カテゴリｙは、カテゴリの集合Ｙの要素であり、図６の例では、集合Ｙは、「ｐｅｒｓｏｎおよびｂａｇ」である。
・以上より、正解ラベルが関連付けられたデータセットＤは、画像ｘと、画像ｘに含まれる全てのオブジェクトの集合
との組
の集合として、
と表現することができる。
・検知モデルに入力される画像ｘは、データ空間Ｘの要素である。ここで、データ空間Ｘは当該画像ｘを含むデータセットに対応する。なお、１つの画像ｘに含まれるオブジェクトの数は任意である。
・正解ラベルは、カテゴリｙおよびバウンディングボックスｂの組（ｙ，ｂ）で表現することができる。なお、カテゴリｙは、カテゴリの集合Ｙの要素であり、図６の例では、集合Ｙは、「ｐｅｒｓｏｎおよびｂａｇ」である。
・以上より、正解ラベルが関連付けられたデータセットＤは、画像ｘと、画像ｘに含まれる全てのオブジェクトの集合
【数1】
【数2】
【数3】
【0055】
（制御部１００ａの構成）
図５に示すように、制御部１００ａは、学習部１０１、閾値決定部１０２、推論部１０３、データセット生成部１０４、及び再学習部１０５を備えている。また、閾値決定部１０２は、図５に示すように、評価データセット推論部１０２１、評価値算出部１０２２、及び閾値判断部１０２３を備えている。また、データセット生成部１０４は、図５に示すように、擬似ラベル生成部１０４１、及び関連付け部１０４２を備えている。
図５に示すように、制御部１００ａは、学習部１０１、閾値決定部１０２、推論部１０３、データセット生成部１０４、及び再学習部１０５を備えている。また、閾値決定部１０２は、図５に示すように、評価データセット推論部１０２１、評価値算出部１０２２、及び閾値判断部１０２３を備えている。また、データセット生成部１０４は、図５に示すように、擬似ラベル生成部１０４１、及び関連付け部１０４２を備えている。
【0056】
評価データセット推論部１０２１、評価値算出部１０２２および閾値判断部１０２３は、例示的実施形態１における閾値決定部１０２に相当し、本例示的実施形態において閾値決定手段を実現する構成である。擬似ラベル生成部１０４１および関連付け部１０４２は、例示的実施形態１におけるデータセット生成部１０４に相当し、本例示的実施形態においてデータセット生成手段を実現する構成である。再学習部１０５は、本例示的実施形態において擬似ラベル参照学習手段を実現する構成である。
【0057】
学習部１０１は、データセット１（ＤＳ１）を取得し、当該データセット１（ＤＳ１）を用いて擬似ラベル生成用物体検知モデルの学習を行う。すなわち、学習部１０１は、第１のデータセットを取得する取得部としても機能する。具体的には、学習部１０１は、記憶部１５０ａに記憶されているデータセット１（ＤＳ１）を読み出し、当該データセット１（ＤＳ１）、すなわち、１又は複数の画像の各々に正解ラベルが関連付けられたデータセットを用いて、擬似ラベル生成用物体検知モデルの学習を行う。そして、学習部１０１は、学習済みの擬似ラベル生成用物体検知モデルを評価データセット推論部１０２１と、推論部１０３とへ出力する。
【0058】
評価データセット推論部１０２１は、評価用データセットによる推論結果を生成する。具体的には、評価データセット推論部１０２１は、評価用データセットＤＳＥおよび擬似ラベル生成用物体検知モデルを取得し、当該評価用データセットＤＳＥに含まれる１又は複数の画像の各々を擬似ラベル生成用物体検知モデルに入力して推論結果を得る。より具体的には、評価データセット推論部１０２１は、記憶部１５０ａに記憶されている評価用データセットＤＳＥを読み出し、学習部１０１から取得した擬似ラベル生成用物体検知モデルに入力する。そして、評価データセット推論部１０２１は、擬似ラベル生成用物体検知モデルが出力した推論結果を取得し、当該推論結果を評価値算出部１０２２へ出力する。
【0059】
評価用データセットＤＳＥは、データセット１（ＤＳ１）と同様に、各画像に含まれるオブジェクトの各々に正解ラベルが関連付けられたデータセットである。例えば、評価用データセットＤＳＥに含まれる画像は、データセット１（ＤＳ１）に含まれる画像の一部であってもよい。また、例えば、評価用データセットＤＳＥに含まれる画像は、データセット２（ＤＳ２）に含まれる画像の一部に正解ラベルを付与することにより生成されたものであってもよい。また、例えば、評価用データセットＤＳＥに含まれる画像は、データセット１（ＤＳ１）およびデータセット２（ＤＳ２）に含まれない画像に正解ラベルを付与することにより生成されたものであってもよい。
【0060】
評価データセット推論部１０２１による推論結果は、評価用データセットＤＳＥに含まれる１又は複数の画像の各々について、
・オブジェクトであると推論された１又は複数のオブジェクトの各々の位置
・上記各オブジェクトのサイズ
・上記各オブジェクトのカテゴリ
の少なくともいずれかに関するデータを含み、さらに、上記各オブジェクトについて、推論の確からしさに関するデータを含む。典型的には、評価データセット推論部１０２１による推論結果は、カテゴリ、バウンディングボックスおよび信頼度を含む。信頼度は、推論の確からしさに関するデータの一例であり、例えば、０を最小値、１を最大値とする数値である。
・オブジェクトであると推論された１又は複数のオブジェクトの各々の位置
・上記各オブジェクトのサイズ
・上記各オブジェクトのカテゴリ
の少なくともいずれかに関するデータを含み、さらに、上記各オブジェクトについて、推論の確からしさに関するデータを含む。典型的には、評価データセット推論部１０２１による推論結果は、カテゴリ、バウンディングボックスおよび信頼度を含む。信頼度は、推論の確からしさに関するデータの一例であり、例えば、０を最小値、１を最大値とする数値である。
【0061】
評価値算出部１０２２は、推論結果に基づき評価値を算出する。具体的には、評価値算出部１０２２は、評価用データセットＤＳＥに含まれる１又は複数の画像の各々における各推論結果と、当該画像の各々における正解ラベルとの比較結果に基づき、各推論結果の評価値を算出する。
【0062】
例えば、評価値は、適合率（precision）と再現率（recall）との調和平均、すなわちＦ値である。ここで、評価値算出部１０２２が実行するＦ値の算出処理について説明する。
【0063】
具体的には、評価値算出部１０２２は、以下の（１）～（６）の処理を実行する。
【0064】
（１）すべての推論結果を信頼度が高い順にソートする。
【0065】
（２）信頼度が基準値以上である推論結果を特定する。当該基準値は、例えば０．９とする。なお、後述のとおり、Ｆ値の算出処理では複数のＦ値を算出する。そして、当該基準値はＦ値の各々において異なる値となる。つまり、上述の値０．９は、基準値の初期値と表現することができる。
【0066】
（３）特定した推論結果について、ＴＰ（True Positive）、ＦＰ（false positive）のいずれであるかを特定する。ここで、ＴＰは、バウンディングボックスと正解ラベルのバウンディングボックスとの重なり度合いが所定値以上であり、かつ、カテゴリが正解ラベルと一致している推論結果である。また、ＦＰは、
（Ａ）カテゴリが正解ラベルと一致しているが、バウンディングボックスと当該正解ラベルのバウンディングボックスとの重なり度合いが所定値以下である推論結果
（Ｂ）バウンディングボックスが重なる正解ラベルとカテゴリが異なる推論結果
（Ｃ）バウンディングボックスが重なる正解ラベルが存在しない推論結果
のいずれかである。なお、バウンディングボックスの重なり度合いを示す値としては、例えば、ＩＯＵ（Intersection Over Union）を用いる。
（Ａ）カテゴリが正解ラベルと一致しているが、バウンディングボックスと当該正解ラベルのバウンディングボックスとの重なり度合いが所定値以下である推論結果
（Ｂ）バウンディングボックスが重なる正解ラベルとカテゴリが異なる推論結果
（Ｃ）バウンディングボックスが重なる正解ラベルが存在しない推論結果
のいずれかである。なお、バウンディングボックスの重なり度合いを示す値としては、例えば、ＩＯＵ（Intersection Over Union）を用いる。
【0067】
（４）正解ラベルについて、ＦＮ（false negative）となる正解ラベルを特定する。ＦＮは、
（Ｄ）バウンディングボックスが重なる推論結果が存在しない正解ラベル
（Ｅ）バウンディングボックスが重なる推論結果とカテゴリが異なる正解ラベル
のいずれかである。
（Ｄ）バウンディングボックスが重なる推論結果が存在しない正解ラベル
（Ｅ）バウンディングボックスが重なる推論結果とカテゴリが異なる正解ラベル
のいずれかである。
【0068】
（５）適合率および再現率を算出する。適合率は、推論結果の正解率であり、例えば、適合率＝ＴＰの数／（ＴＰの数＋ＦＰの数）で算出される。再現率は、正解ラベルのうち、正しく推論された割合であり、例えば、再現率＝ＴＰの数／（ＴＰの数＋ＦＮの数）で算出される。図７は、適合率と再現率との関係を示すグラフである。図７に示すとおり、信頼度が高いほど適合率は高くなるが、再現率が低くなる。一方、信頼度が低いほど適合率は低くなるが、再現率が高くなる。このように、適合率と再現率とはトレードオフの関係となる。なお、ここでの信頼度とは、（２）の処理で設定した基準値である。
【0069】
（６）Ｆ値を算出する。Ｆ値は、（２×適合率×再現率）／（適合率＋再現率）で算出される。
【0070】
以上の処理が終了すると、評価値算出部１０２２は、基準値を減少させ、（２）～（６）の処理を再度実行する。例えば、評価値算出部１０２２は、次の基準値を０．８とする。換言すれば、評価値算出部１０２２は、次の基準値に基づくＦ値を算出する。評価値算出部１０２２は、（２）～（６）の処理を繰り返して、各基準値に基づくＦ値を算出する。これにより、異なる基準値の各々に基づく複数のＦ値が算出される。
【0071】
一例として、評価値算出部１０２２は、最小の信頼度以下の基準値でＦ値を算出するまで（２）～（６）の処理を繰り返す。この例の場合、最後の（２）～（６）の処理は、すべての推論結果を対象としてＦ値が算出される。なお、２回目以降の（２）の処理で特定された推論結果のうち、過去の（２）の処理で特定済みの推論結果については、（３）および（４）の処理を省略し、過去の（３）および（４）の処理における特定結果を用いてもよい。
【0072】
評価値算出部１０２２は、算出した各評価値、すなわちＦ値について、各Ｆ値の算出において用いた基準値を紐付けて閾値判断部１０２３へ出力する。
【0073】
なお、（５）の処理において、評価値算出部１０２２は、推論結果および正解ラベルにおいてカテゴリが複数ある場合、カテゴリ毎に適合率および再現率を算出してもよい。この例の場合、（６）の処理では、評価値算出部１０２２は、カテゴリ毎にＦ値を算出することとなる。結果として、基準値の各々には、カテゴリごとに算出された複数のＦ値が紐づけられる。
【0074】
また、評価値算出部１０２２が算出する評価値は、Ｆ値に限定されない。例えば、当該評価値は適合率または再現率を重視した値であってもよい。この例の場合、（６）の処理において、評価値算出部１０２２は、例えば、｛（１＋β２）×適合率×再現率｝／｛（β２×適合率）＋再現率）で評価値を算出してもよい。βは再現率に対する適合率の重要度を調整するための値であり、βの値を０＜β＜１の範囲とすれば、再現率を重視する評価値となり、１＜βの範囲とすれば、適合率を重視する評価値となる。
【0075】
なお、複数の評価値を算出するにあたり、（２）の処理において推論結果の少なくとも一部を特定する方法は、上述の例に限定されない。例えば、評価値算出部１０２２は、所定の個数の推論結果を信頼度が高い順に特定してもよい。この例において、評価値算出部１０２２は、当該所定の個数を、（６）の処理が終了し、次の（２）～（６）の処理となるたびに所定数増加させる。そして、評価値算出部１０２２は、すべての推論結果を（２）の処理で特定して評価値を算出するまで、（２）～（６）の処理を繰り返す。なお、最後の（２）の処理における所定の個数の増加量は、１以上所定数以下であればよい。この例では、算出した各評価値に、特定した推論結果における信頼度のうち、最小の信頼度を紐付けて閾値判断部１０２３へ出力する。
【0076】
また、例えば、評価値算出部１０２２は、（２）～（６）の処理に代えて、
・全ての推論結果について、ＴＰ，ＦＰおよびＦＮを特定する。
・信頼度に複数の閾値を設定しておき、各閾値以上の信頼度であるＴＰの数を特定する。
・特定したＴＰの数の各々について、適合率および再現率を算出する。
・算出した複数の適合率および再現率の組み合わせの各々について、評価値（典型例：Ｆ値）を算出する。
との処理を実行してもよい。なお、特定するＴＰの数は、再現率の値に比例する。この例では、算出した各評価値に、ＴＰの数の特定に用いた閾値を紐づけて閾値判断部１０２３へ出力する。
・全ての推論結果について、ＴＰ，ＦＰおよびＦＮを特定する。
・信頼度に複数の閾値を設定しておき、各閾値以上の信頼度であるＴＰの数を特定する。
・特定したＴＰの数の各々について、適合率および再現率を算出する。
・算出した複数の適合率および再現率の組み合わせの各々について、評価値（典型例：Ｆ値）を算出する。
との処理を実行してもよい。なお、特定するＴＰの数は、再現率の値に比例する。この例では、算出した各評価値に、ＴＰの数の特定に用いた閾値を紐づけて閾値判断部１０２３へ出力する。
【0077】
閾値判断部１０２３は、評価値に基づき閾値を決定する。具体的には、閾値判断部１０２３は、取得した複数のＦ値のうち、最大値を特定し、特定したＦ値に紐付けられた基準値を閾値とする。ここで、Ｆ値のうちの最大値は、適合率と再現率とのバランスがとれる値と表現することができる。上述したとおり、Ｆ値は適合率および再現率を含む式で算出されるので、閾値判断部１０２３は、評価値算出部１０２２による比較結果が示す適合率と再現率とを参照して閾値を決定すると表現することができる。また、上述したとおり、適合率と再現率とはトレードオフの関係となるので、Ｆ値が最大値となる適合率および再現率は、図７におけるグラフにおいて、適合率または再現率が最大となる点ではなく、例えば図７におけるグラフの星印が示す点となる。閾値判断部１０２３は、決定した閾値を擬似ラベル生成部１０４１へ出力する。
【0078】
なお、カテゴリ毎にＦ値が算出される例の場合、閾値判断部１０２３は、カテゴリ毎に閾値を設定する。すなわち、閾値判断部１０２３は、カテゴリ毎に複数の閾値を決定し、当該複数の閾値に、対応するカテゴリを示す情報を紐づけて擬似ラベル生成部１０４１へ出力する。
【0079】
推論部１０３は、記憶部１５０ａに記憶されているデータセット２（ＤＳ２）を読み出し、学習部１０１から取得した擬似ラベル生成用物体検知モデルに、当該データセット２（ＤＳ２）に含まれる１又は複数の画像の各々を入力し、当該画像の各々についての１又は複数の推論結果を取得する。推論部１０３は、取得した推論結果を擬似ラベル生成部１０４１へ出力する。
【0080】
擬似ラベル生成部１０４１は、擬似ラベルを生成する。具体的には、擬似ラベル生成部１０４１は、推論部１０３による１又は複数の推論結果のうち、閾値判断部１０２３が決定した閾値以上の信頼度を有する推論結果を擬似ラベルに設定する。擬似ラベル生成部１０４１は、擬似ラベルに設定した推論結果を、関連付け部１０４２へ出力する。
【0081】
なお、擬似ラベル生成部１０４１は、カテゴリ毎に設定された複数の閾値を取得した場合、推論部１０３による１又は複数の推論結果のうち、カテゴリ毎に設定された閾値以上の信頼度を有する推論結果を擬似ラベルに設定する。具体的には、擬似ラベル生成部１０４１は、推論部１０３による推論結果をカテゴリ毎に分類し、それぞれの分類について、対応する閾値、換言すれば、カテゴリが一致する閾値を特定する。そして、擬似ラベル生成部１０４１は、それぞれの分類について、各推論結果の信頼度と、特定した閾値とを比較し、当該閾値以上の信頼度を有する推論結果を擬似ラベルに設定する。
【0082】
関連付け部１０４２は、擬似ラベル生成部１０４１が設定した擬似ラベルを、対応する画像に関連付ける。これにより、データセット２（ＤＳ２）に含まれる１又は複数の画像の各々に、擬似ラベルが関連付けられたデータセット２’（ＤＳ２’）が生成される。関連付け部１０４２は、生成したデータセット２’（ＤＳ２’）を記憶部１５０ａに記憶し、再学習部１０５へ通知する。
【0083】
図８は、データセット２’（ＤＳ２’）に含まれるデータの具体例を示す図である。具体的には、図８には、データセット２’（ＤＳ２’）に含まれる画像の１つが示されている。当該画像は、図６に示したデータセット２（ＤＳ２）に含まれる画像であり、当該画像に含まれる５つのオブジェクトの各々に擬似ラベルが関連付けられている。典型的には、擬似ラベルは、図８に示すようにカテゴリおよびバウンディングボックスを含むラベルである。カテゴリは、擬似ラベルに関連付けられた画像に含まれるオブジェクトのカテゴリを示すカテゴリ情報である。図８の例では、３人の人物の各々には「ｐｅｒｓｏｎ」のカテゴリが、２つの鞄の各々には「ｂａｇ」のカテゴリが関連付けられている。バウンディングボックスは、擬似ラベルに関連付けられた画像に含まれるオブジェクトの領域を示す領域情報である。１つのオブジェクトに１つのバウンディングボックスが関連付けられており、バウンディングボックスの典型例は、図８に示すように、オブジェクトが内包される最小の矩形を示すデータである。
【0084】
再学習部１０５は、擬似ラベル付与後のデータセットを用いて、対象画像用検知モデルの学習を行う。一例として、再学習部１０５は、対象画像用検知モデルの学習として、学習部１０１により学習された検知モデルの再学習を行う。具体的には、再学習部１０５は、データセット２’（ＤＳ２’）を記憶部１５０ａから読み出し、当該データセット２’（ＤＳ２’）を用いて、物体検知モデルＤＭの学習を行う。そして、再学習部１０５は、学習済みの物体検知モデルＤＭを記憶部１５０ａに記憶する。また、他の例として、再学習部１０５は、対象画像用検知モデルの学習として、新たな検知モデルの学習を行い、当該新たな検知モデルを記憶部１５０ａに記憶してもよい。
【0085】
上述のように、本例示的実施形態に係る情報処理装置１０ａにおいては、擬似ラベル付与後のデータセットを用いて対象画像用検知モデルの学習を行う構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０ａによれば、閾値の調整に関するコストを削減して対象画像用検知モデルを生成することができるという効果が得られる。したがって、本例示的実施形態に係る情報処理装置１０ａによれば、生成コストを抑制しつつ、高精度な対象画像用検知モデルを生成することができる。
【0086】
また、本例示的実施形態に係る情報処理装置１０ａにおいては、当該対象画像用検知モデルの学習として、学習部１０１により学習された検知モデルの再学習を行う構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０ａによれば、再学習にかかるコストを抑制しつつ、検知モデルをより高精度なものとすることができる。
【0087】
また、本例示的実施形態に係る情報処理装置１０ａにおいては、第２のデータセットに含まれる画像の各々についての推論結果を擬似ラベルとするか否かを決定するための閾値を自動で決定する構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０ａによれば、閾値の調整の度に必要であった再学習の回数を１回とすることができるという効果が得られる。結果として、再学習にかかる時間を低減させることができ、検知モデルの生成にかかる時間を低減させることができるという効果が得られる。
【0088】
また、上述のように、本例示的実施形態に係る情報処理装置１０ａにおいては、正解ラベルおよび擬似ラベルが、領域情報およびカテゴリ情報を含む構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０ａによれば、再学習後の検知モデルを用いた、画像に含まれるオブジェクトの検知の精度を向上させることができるという効果が得られる。
【0089】
また、上述のように、本例示的実施形態に係る情報処理装置１０ａにおいては、算出した適合率と再現率とを参照して閾値を決定する構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０ａによれば、擬似ラベルの設定の精度を向上させることができるという効果が得られる。また、本例示的実施形態に係る情報処理装置１０ａによれば、学習データの質（適合率）および学習データの量（再現率）の両方を考慮して擬似ラベルを設定することができるため、高精度な対象画像用検知モデルを生成することができるという効果が得られる。
【0090】
また、上述のように、本例示的実施形態に係る情報処理装置１０ａにおいては、擬似ラベル生成用物体検知モデルによる、評価用データセットに含まれる画像の推論結果と、当該画像に関連付けられた正解ラベルとにおけるカテゴリ毎に閾値が設定される構成が採用されてもよい。このため、当該構成を採用した本例示的実施形態に係る情報処理装置１０ａによれば、擬似ラベルの設定の精度を向上させることができる。
【0091】
また、上述のように、本例示的実施形態に係る情報処理装置１０ａにおいては、評価用データセットＤＳＥに含まれる画像は、第１のデータセットに含まれる構成が採用されてもよい。このため、当該構成を採用した本例示的実施形態に係る情報処理装置１０ａによれば、評価用データセットＤＳＥの生成のために、作業にかかるコストの高い正解付け作業を新たに行う必要がなくなるという効果が得られる。また、当該構成を採用した本例示的実施形態に係る情報処理装置１０ａによれば、予め用意する画像の数を抑えることができるという効果が得られる。
【0092】
また、上述のように、本例示的実施形態に係る情報処理装置１０ａにおいては、評価用データセットＤＳＥに含まれる画像は、第２のデータセットの一部に、正解ラベルを付与することによって生成する構成が採用されてもよい。このため、当該構成を採用した本例示的実施形態に係る情報処理装置１０ａによれば、擬似ラベルが付与されるデータセットの一部が評価用データセットＤＳＥとして用いられて閾値が決定されることとなるので、付与される擬似ラベルの精度を向上させることができるという効果が得られる。また、当該構成を採用した本例示的実施形態に係る情報処理装置１０ａによれば、あらかじめ用意する画像の数を抑えることができるという効果が得られる。
【0093】
＜情報処理方法の流れ＞
以上のように構成された情報処理装置１０ａが実行する情報処理方法Ｓ１０ａの流れについて、図９を参照して説明する。図９は、情報処理方法Ｓ１０ａの流れを示すフロー図である。情報処理装置１０ａは、擬似ラベルが関連付けられた画像を含む第２のデータセットを生成するために、情報処理方法Ｓ１０ａを実行する。
以上のように構成された情報処理装置１０ａが実行する情報処理方法Ｓ１０ａの流れについて、図９を参照して説明する。図９は、情報処理方法Ｓ１０ａの流れを示すフロー図である。情報処理装置１０ａは、擬似ラベルが関連付けられた画像を含む第２のデータセットを生成するために、情報処理方法Ｓ１０ａを実行する。
【0094】
（ステップＳ１０１）
ステップＳ１０１において、学習部１０１は、検知モデルを学習する。具体的には、学習部１０１は、記憶部１５０ａに記憶されているデータセット１（ＤＳ１）を読み出し、当該データセット１（ＤＳ１）、すなわち、１又は複数の画像の各々に正解ラベルが関連付けられたデータセットを用いて、擬似ラベル生成用物体検知モデルの学習を行う。そして、学習部１０１は、学習済みの擬似ラベル生成用物体検知モデルを評価データセット推論部１０２１と、推論部１０３とへ出力する。
ステップＳ１０１において、学習部１０１は、検知モデルを学習する。具体的には、学習部１０１は、記憶部１５０ａに記憶されているデータセット１（ＤＳ１）を読み出し、当該データセット１（ＤＳ１）、すなわち、１又は複数の画像の各々に正解ラベルが関連付けられたデータセットを用いて、擬似ラベル生成用物体検知モデルの学習を行う。そして、学習部１０１は、学習済みの擬似ラベル生成用物体検知モデルを評価データセット推論部１０２１と、推論部１０３とへ出力する。
【0095】
（ステップＳ１０２１）
ステップＳ１０２１において、評価データセット推論部１０２１は、評価用データセットによる推論結果を生成する。具体的には、評価データセット推論部１０２１は、記憶部１５０ａに記憶されている評価用データセットＤＳＥを読み出し、学習部１０１から取得した擬似ラベル生成用物体検知モデルに入力する。そして、評価データセット推論部１０２１は、擬似ラベル生成用物体検知モデルが出力した推論結果を取得し、当該推論結果を評価値算出部１０２２へ出力する。
ステップＳ１０２１において、評価データセット推論部１０２１は、評価用データセットによる推論結果を生成する。具体的には、評価データセット推論部１０２１は、記憶部１５０ａに記憶されている評価用データセットＤＳＥを読み出し、学習部１０１から取得した擬似ラベル生成用物体検知モデルに入力する。そして、評価データセット推論部１０２１は、擬似ラベル生成用物体検知モデルが出力した推論結果を取得し、当該推論結果を評価値算出部１０２２へ出力する。
【0096】
（ステップＳ１０２２）
ステップＳ１０２２において、評価値算出部１０２２は、推論結果に基づき評価値を算出する。具体的には、評価値算出部１０２２は、評価データセット推論部１０２１による推論結果のうち、基準値に基づき特定された推論結果と、評価用データセットＤＳＥに含まれる１又は複数の画像の各々における正解ラベルとの比較結果に基づき適合率および再現率を算出し、当該適合率および再現率から、評価値としてのＦ値を算出する。評価値算出部１０２２は、基準値を変更してＦ値の算出を繰り返し、各基準値に対応する複数のＦ値を算出する。評価値算出部１０２２は、算出したＦ値の各々に、対応する基準値を紐付けて閾値判断部１０２３へ出力する。
ステップＳ１０２２において、評価値算出部１０２２は、推論結果に基づき評価値を算出する。具体的には、評価値算出部１０２２は、評価データセット推論部１０２１による推論結果のうち、基準値に基づき特定された推論結果と、評価用データセットＤＳＥに含まれる１又は複数の画像の各々における正解ラベルとの比較結果に基づき適合率および再現率を算出し、当該適合率および再現率から、評価値としてのＦ値を算出する。評価値算出部１０２２は、基準値を変更してＦ値の算出を繰り返し、各基準値に対応する複数のＦ値を算出する。評価値算出部１０２２は、算出したＦ値の各々に、対応する基準値を紐付けて閾値判断部１０２３へ出力する。
【0097】
（ステップＳ１０２３）
ステップＳ１０２３において、閾値判断部１０２３は、評価値に基づき閾値を決定する。具体的には、閾値判断部１０２３は、取得した複数のＦ値のうち、最大値を特定し、特定したＦ値に紐付けられた基準値を閾値とする。閾値判断部１０２３は、決定した閾値を擬似ラベル生成部１０４１へ出力する。
ステップＳ１０２３において、閾値判断部１０２３は、評価値に基づき閾値を決定する。具体的には、閾値判断部１０２３は、取得した複数のＦ値のうち、最大値を特定し、特定したＦ値に紐付けられた基準値を閾値とする。閾値判断部１０２３は、決定した閾値を擬似ラベル生成部１０４１へ出力する。
【0098】
なお、ステップＳ１０２１～Ｓ１０２３は、例示的実施形態１にて説明したステップＳ１０２に対応する。
【0099】
（ステップＳ１０３）
ステップＳ１０３において、推論部１０３は、推論を行う。具体的には、推論部１０３は、記憶部１５０ａに記憶されているデータセット２（ＤＳ２）を読み出し、学習部１０１から取得した擬似ラベル生成用物体検知モデルに、当該データセット２（ＤＳ２）に含まれる１又は複数の画像の各々を入力し、当該画像の各々についての１又は複数の推論結果を取得する。推論部１０３は、取得した推論結果を擬似ラベル生成部１０４１へ出力する。
ステップＳ１０３において、推論部１０３は、推論を行う。具体的には、推論部１０３は、記憶部１５０ａに記憶されているデータセット２（ＤＳ２）を読み出し、学習部１０１から取得した擬似ラベル生成用物体検知モデルに、当該データセット２（ＤＳ２）に含まれる１又は複数の画像の各々を入力し、当該画像の各々についての１又は複数の推論結果を取得する。推論部１０３は、取得した推論結果を擬似ラベル生成部１０４１へ出力する。
【0100】
（ステップＳ１０４１）
ステップＳ１０４１において、擬似ラベル生成部１０４１は、擬似ラベルを生成する。具体的には、擬似ラベル生成部１０４１は、推論部１０３による１又は複数の推論結果のうち、閾値判断部１０２３が決定した閾値以上の信頼度を有する推論結果を擬似ラベルに設定する。擬似ラベル生成部１０４１は、擬似ラベルに設定した推論結果を、関連付け部１０４２へ出力する。
ステップＳ１０４１において、擬似ラベル生成部１０４１は、擬似ラベルを生成する。具体的には、擬似ラベル生成部１０４１は、推論部１０３による１又は複数の推論結果のうち、閾値判断部１０２３が決定した閾値以上の信頼度を有する推論結果を擬似ラベルに設定する。擬似ラベル生成部１０４１は、擬似ラベルに設定した推論結果を、関連付け部１０４２へ出力する。
【0101】
（ステップＳ１０４２）
ステップＳ１０４２において、関連付け部１０４２は、画像と擬似ラベルとを関連付ける。具体的には、関連付け部１０４２は、データセット２（ＤＳ２）に含まれる１又は複数の画像の各々に、対応する擬似ラベルを関連付け、データセット２’（ＤＳ２’）を生成する。擬似ラベル生成部１０４１は、関連付け部１０４２は、生成したデータセット２’（ＤＳ２’）を記憶部１５０ａに記憶し、再学習部１０５へ通知する。
ステップＳ１０４２において、関連付け部１０４２は、画像と擬似ラベルとを関連付ける。具体的には、関連付け部１０４２は、データセット２（ＤＳ２）に含まれる１又は複数の画像の各々に、対応する擬似ラベルを関連付け、データセット２’（ＤＳ２’）を生成する。擬似ラベル生成部１０４１は、関連付け部１０４２は、生成したデータセット２’（ＤＳ２’）を記憶部１５０ａに記憶し、再学習部１０５へ通知する。
【0102】
なお、ステップＳ１０４１～Ｓ１０４２は、例示的実施形態１にて説明したステップＳ１０４に対応する。
【0103】
また、図９に示してはいないが、再学習部１０５は、擬似ラベル付与後のデータセットを用いて対象画像用検知モデルの学習を行う。一例として、再学習部１０５は、当該学習として、学習部１０１により学習された検知モデルの再学習を行う。具体的には、再学習部１０５は、データセット２’（ＤＳ２’）を記憶部１５０ａから読み出し、当該データセット２’（ＤＳ２’）を用いて、物体検知モデルＤＭの学習を行う。そして、再学習部１０５は、学習済みの物体検知モデルＤＭを記憶部１５０ａに記憶する。また、他の例として、再学習部１０５は、対象画像用検知モデルの学習として、新たな検知モデルの学習を行い、当該新たな検知モデルを記憶部１５０ａに記憶してもよい。
【0104】
上述のように、本例示的実施形態に係る情報処理方法Ｓ１０ａによれば、情報処理装置１０ａと同様の作用効果が得られる。すなわち、本例示的実施形態に係る情報処理方法Ｓ１０ａにおいては、擬似ラベル付与後のデータセットを用いて対象画像用検知モデルの学習を行う構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１０ａによれば、閾値の調整に関するコストを削減して、情報処理装置が使用する対象画像用検知モデルを生成することができるという効果が得られる。したがって、本例示的実施形態に係る情報処理方法Ｓ１０ａによれば、生成コストを抑制しつつ、高精度な検知モデルを生成することができる。
【0105】
【0106】
図１０に示すように、情報処理装置２０ａは、制御部２００ａ、記憶部２５０ａおよび出力部２６０ａを備える。制御部２００ａは、情報処理装置２０ａの各部を統括して制御する。記憶部２５０ａは、情報処理装置２０ａが使用する各種プログラムやデータを記憶する。出力部２６０ａは、情報処理装置２０ａによる情報処理結果を出力する。
【0107】
記憶部２５０ａは、対象データセットＴＤＳおよび物体検知モデルＤＭを記憶する。対象データセットＴＤＳは、オブジェクトの検知対象である１又は複数の対象画像を含むデータセットである。物体検知モデルＤＭは、対象画像用検知モデルであり、具体的には、情報処理装置１０ａの再学習部１０５が生成した物体検知モデルＤＭである。
【0108】
すなわち、物体検知モデルＤＭは、
・第１のデータセットを用いて検知モデルの学習を行う学習処理、
・評価用データセットに含まれる１又は複数の画像の各々を当該検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、
・第２のデータセットに含まれる１又は複数の画像の各々を当該検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、
・当該推論処理による１又は複数の推論結果のうち、閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを、対応する画像に関連付けることによって、擬似ラベル付与後のデータセットを生成するデータセット生成処理、及び
・擬似ラベル付与後のデータセットを参照して、対象画像用検知モデルの再学習を行う擬似ラベル参照学習処理
によって学習されたものである。換言すれば、物体検知モデルＤＭは、上記各処理の各々を行う工程を含む方法で製造される。
・第１のデータセットを用いて検知モデルの学習を行う学習処理、
・評価用データセットに含まれる１又は複数の画像の各々を当該検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、
・第２のデータセットに含まれる１又は複数の画像の各々を当該検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、
・当該推論処理による１又は複数の推論結果のうち、閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを、対応する画像に関連付けることによって、擬似ラベル付与後のデータセットを生成するデータセット生成処理、及び
・擬似ラベル付与後のデータセットを参照して、対象画像用検知モデルの再学習を行う擬似ラベル参照学習処理
によって学習されたものである。換言すれば、物体検知モデルＤＭは、上記各処理の各々を行う工程を含む方法で製造される。
【0109】
（制御部２００ａの構成）
図１０に示すように、制御部２００ａは、取得部２０１および検知部２０２を含む。
図１０に示すように、制御部２００ａは、取得部２０１および検知部２０２を含む。
【0110】
取得部２０１は、対象画像を取得する。具体的には、取得部２０１は、対象データセットＴＤＳを記憶部２５０ａから読み出し、検知部２０２へ出力する。
【0111】
検知部２０２は、対象画像用検知モデルを用いて、対象画像に含まれるオブジェクトの検知を行う。具体的には、検知部２０２は、取得部２０１から取得した対象データセットＴＤＳに含まれる対象画像を物体検知モデルＤＭに入力し、物体検知モデルＤＭから出力された推論結果を取得する。検知部２０２は、取得した推論結果を出力部２６０ａへ出力する。これにより、出力部２６０ａは、対象画像の各々について、
・対象画像に含まれるオブジェクトの存否
・対象画像に含まれるオブジェクトの位置
・対象画像に含まれるオブジェクトのサイズ
・対象画像に含まれるオブジェクトのカテゴリ
の少なくとも何れかを出力する。典型的には、出力部２６０ａは、オブジェクトの少なくとも一部にカテゴリおよびバウンディングボックスが付された対象画像を表示装置に表示させる。当該表示装置は、出力部２６０ａであってもよいし、情報処理装置２０ａと通信可能に接続された表示装置（図示せず）であってもよい。
・対象画像に含まれるオブジェクトの存否
・対象画像に含まれるオブジェクトの位置
・対象画像に含まれるオブジェクトのサイズ
・対象画像に含まれるオブジェクトのカテゴリ
の少なくとも何れかを出力する。典型的には、出力部２６０ａは、オブジェクトの少なくとも一部にカテゴリおよびバウンディングボックスが付された対象画像を表示装置に表示させる。当該表示装置は、出力部２６０ａであってもよいし、情報処理装置２０ａと通信可能に接続された表示装置（図示せず）であってもよい。
【0112】
上述のように、本例示的実施形態に係る情報処理装置２０ａにおいては、自動で決定された閾値を用いて擬似ラベルを決定し、当該擬似ラベルが関連付けられた画像を含むデータセットを用いて学習が行われた対象画像用検知モデルを用いてオブジェクトを検知する構成が採用されている。このため、本例示的実施形態に係る情報処理装置２０ａによれば、閾値の調整に関するコストを削減した対象画像用検知モデルを用いて、画像に含まれるオブジェクトを検知することができるという効果が得られる。
【0113】
また、本例示的実施形態に係る情報処理装置２０ａにおいては、対象画像用検知モデルによる、対象画像における推論結果を出力する構成が採用されている。このため、本例示的実施形態に係る情報処理装置２０ａによれば、情報処理装置２０ａのユーザが、当該推論結果を認識することができるという効果が得られる。
【0114】
〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１または２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１または２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0115】
＜情報処理装置１０ｂの構成＞
情報処理装置１０ｂの構成について、図１１を参照して説明する。図１１は、情報処理装置１０ｂの構成を示すブロック図である。図１１に示すように、情報処理装置１０ｂは、制御部１００ｂおよび記憶部１５０ｂを備える。制御部１００ｂは、情報処理装置１０ｂの各部を統括して制御する。記憶部１５０ｂは、情報処理装置１０ｂが使用する各種プログラムやデータを記憶する。
情報処理装置１０ｂの構成について、図１１を参照して説明する。図１１は、情報処理装置１０ｂの構成を示すブロック図である。図１１に示すように、情報処理装置１０ｂは、制御部１００ｂおよび記憶部１５０ｂを備える。制御部１００ｂは、情報処理装置１０ｂの各部を統括して制御する。記憶部１５０ｂは、情報処理装置１０ｂが使用する各種プログラムやデータを記憶する。
【0116】
記憶部１５０ｂが、例示的実施形態２にて説明した記憶部１５０ａと異なる点は、データセット２（ＤＳ２）に含まれるデータである。当該データの詳細について、図１２を参照して説明する。
【0117】
図１２は、データセット１（ＤＳ１）およびデータセット２（ＤＳ２）に含まれるデータの具体例を示す図である。具体的には、図１２には、データセット１（ＤＳ１）に含まれる画像の１つと、データセット２（ＤＳ２）に含まれる画像の１つとが示されている。
【0118】
本例示的実施形態において、データセット１（ＤＳ１）に含まれる画像には、５つのオブジェクト、具体的には、３体の犬と、２体の牛とが含まれている。また、データセット２（ＤＳ２）に含まれる画像には、５つのオブジェクト、具体的には、２体の犬と、３体の牛とが含まれている。本例示的実施形態に係るデータセット１（ＤＳ１）およびデータセット２（ＤＳ２）は、正解付けされたカテゴリ（責任範囲）が異なる複数のデータセット（エキスパートデータセットとも呼ぶ）である。
【0119】
本例示的実施形態では、例示的実施形態２と異なり、データセット２（ＤＳ２）に含まれる１又は複数の画像の少なくとも一部には、１又は複数の正解ラベルが付されている。データセット１（ＤＳ１）に含まれる画像において、３体の犬の各々には正解ラベルが関連付けられている。すなわち、データセット１（ＤＳ１）は、責任範囲が「犬（ｄｏｇ）」であるエキスパートデータセットである。データセット２（ＤＳ２）に含まれる画像において、オブジェクトＯｂ１を含む３体の牛の各々には正解ラベルが関連付けられている。すなわち、データセット２（ＤＳ２）は、責任範囲が「牛（ｃｏｗ）」であるエキスパートデータセットである。なお、図示してはいないが、本例示的実施形態に係る評価用データセットＤＳＥは、データセット１（ＤＳ１）と同様に、犬に正解ラベルが関連付けられた画像を含むデータセットである。
【0120】
（制御部１００ｂの構成）
図１１に示すように、制御部１００ｂが、例示的実施形態２にて説明した制御部１００ａと異なる点は、関連付け部１０４２に代えて関連付け部１０４２ｂを含む点である。擬似ラベル生成部１０４１および関連付け部１０４２ｂは、例示的実施形態１におけるデータセット生成部１０４に相当し、本例示的実施形態においてデータセット生成手段を実現する構成である。
図１１に示すように、制御部１００ｂが、例示的実施形態２にて説明した制御部１００ａと異なる点は、関連付け部１０４２に代えて関連付け部１０４２ｂを含む点である。擬似ラベル生成部１０４１および関連付け部１０４２ｂは、例示的実施形態１におけるデータセット生成部１０４に相当し、本例示的実施形態においてデータセット生成手段を実現する構成である。
【0121】
関連付け部１０４２ｂは、関連付け部１０４２の機能に加え、以下の機能を有する。すなわち、関連付け部１０４２ｂは、擬似ラベルに関連付けられた画像に含まれるオブジェクトに正解ラベルが付与されていた場合であって、当該擬似ラベルに含まれる領域情報が示す領域と、当該正解ラベルに含まれる領域情報が示す領域との重なりの度合いが所定の度合い以上である場合に、当該擬似ラベルを削除する。
【0122】
図１３は、データセット２（ＤＳ２）、データセット２’（ＤＳ２’）およびデータセット２”に含まれるデータの具体例を示す図である。具体的には、図１３には、データセット２（ＤＳ２）、データセット２’（ＤＳ２’）およびデータセット２”の各々に含まれる画像の１つが示されている。なお、本例示的実施形態に係るデータセット２（ＤＳ２）はすでに説明しているため、ここでは説明を繰り返さない。
【0123】
データセット２’（ＤＳ２’）は、例示的実施形態２にて説明したとおり、データセット２（ＤＳ２）に含まれる１又は複数の画像の各々に、擬似ラベルが関連付けられたデータセットである。当該擬似ラベルは、データセット１（ＤＳ１）および評価用データセットＤＳＥに基づくものといえるため、図１３の例では、カテゴリが「ｄｏｇ」である正解ラベルが、オブジェクトの一部に関連付けられている。ここで、図１３の例では、オブジェクトＯｂ１に「ｄｏｇ」とのカテゴリを含む擬似ラベル、すなわち誤った擬似ラベルが関連付けられている。なお、図１３には示していないが、データセット２’（ＤＳ２’）の生成元であるデータセット２（ＤＳ２）に含まれる画像において、オブジェクトＯｂ１には正解ラベルが関連付けられているため、データセット２’（ＤＳ２’）に含まれる画像において、オブジェクトＯｂ１には、擬似ラベルに加えて当該正解ラベルが関連付けられている。
【0124】
関連付け部１０４２ｂは、データセット２’（ＤＳ２’）に含まれる各画像について、データセット２（ＤＳ２）に含まれる画像から対応する画像を特定する。
【0125】
続いて、関連付け部１０４２ｂは、データセット２’（ＤＳ２’）に含まれる画像の１つを選択し、当該画像に関連付けられた擬似ラベルのバウンディングボックスの各々について、特定した画像に含まれる正解ラベルのバウンディングボックスとのＩＯＵを算出する。当該ＩＯＵが、上述した重なりの度合いに相当する。関連付け部１０４２ｂは、データセット２’（ＤＳ２’）に含まれる画像のすべてについてこの処理を実行する。
【0126】
関連付け部１０４２ｂは、ＩＯＵが所定値以上となる正解ラベルがある場合、擬似ラベルを削除する。図１３の例では、オブジェクトＯｂ１に関連付けられた擬似ラベルが、オブジェクトＯｂ１に関連付けられた正解ラベルとのＩＯＵが所定値以上となる。このため、関連付け部１０４２ｂは、オブジェクトＯｂ１に関連付けられた擬似ラベルを削除する。図１３に示すデータセット２”に含まれる画像は、当該擬似ラベルの削除後の画像である。図１３に示すように、当該画像では、オブジェクトＯｂ１に関連付けられていた擬似ラベルが削除され、オブジェクトＯｂ１には正解ラベルのみが関連付けられている。
【0127】
上述のように、本例示的実施形態に係る情報処理装置１０ｂにおいては、画像に付された擬似ラベルおよび正解ラベルにおいて、擬似ラベルに含まれる領域情報が示す領域と、正解ラベルに含まれる領域情報が示す領域との重なりの度合いが所定の度合い以上である場合に、擬似ラベルを削除する構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０ｂによれば、擬似ラベルが適切でない場合に当該擬似ラベルが削除され、正解ラベルが残るので、対象画像用検知モデルを用いた、オブジェクトの検知精度を向上させることができるという効果が得られる。なお、擬似ラベルが適切でないとは、例えば、（１）当該擬似ラベルのカテゴリが、オブジェクトのカテゴリと異なる、（２）当該擬似ラベルのバウンディングボックスが、オブジェクトの一部を内包していない、などを指す。
【0128】
特に、本例示的実施形態にて示した犬、牛などの、見た目が似ているオブジェクトに正解ラベルが付されたエキスパートデータセットの場合、オブジェクトにカテゴリが誤った擬似ラベルが関連付けられる可能性が高い。これに対し、本例示的実施形態に係る情報処理装置１０ｂによれば、この誤った擬似ラベルを削除することができるので、精度よく擬似ラベルを生成することができ、対象画像用検知モデルを用いた、オブジェクトの検知精度を向上させることができるという効果が得られる。
【0129】
〔例示的実施形態４〕
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0130】
＜情報処理装置１０ｃの概要＞
本例示的実施形態に係る情報処理装置１０ｃは、エキスパートデータセットの各々に基づき閾値を決定し、当該閾値に基づき複数のデータセットの各々に擬似ラベルを付与する。
本例示的実施形態に係る情報処理装置１０ｃは、エキスパートデータセットの各々に基づき閾値を決定し、当該閾値に基づき複数のデータセットの各々に擬似ラベルを付与する。
【0131】
＜情報処理装置１０ｃの構成＞
情報処理装置１０ｃの構成について、図１４を参照して説明する。図１４は、情報処理装置１０ｃの構成を示すブロック図である。図１４に示すように、情報処理装置１０ｃは、第１の制御部１００ｃ、第１の記憶部１５０ｃ、第２の制御部１１０ｃ、第２の記憶部１６０ｃを備える。第１の制御部１００ｃおよび第２の制御部１１０ｃは、情報処理装置１０ｃの各部を統括して制御する。第１の記憶部１５０ｃおよび第２の記憶部１６０ｃは、情報処理装置１０ｃが使用する各種プログラムやデータを記憶する。
情報処理装置１０ｃの構成について、図１４を参照して説明する。図１４は、情報処理装置１０ｃの構成を示すブロック図である。図１４に示すように、情報処理装置１０ｃは、第１の制御部１００ｃ、第１の記憶部１５０ｃ、第２の制御部１１０ｃ、第２の記憶部１６０ｃを備える。第１の制御部１００ｃおよび第２の制御部１１０ｃは、情報処理装置１０ｃの各部を統括して制御する。第１の記憶部１５０ｃおよび第２の記憶部１６０ｃは、情報処理装置１０ｃが使用する各種プログラムやデータを記憶する。
【0132】
なお、第１の制御部１００ｃおよび第２の制御部１１０ｃは一体となっていてもよい。また、第１の記憶部１５０ｃおよび第２の記憶部１６０ｃは一体となっていてもよい。あるいは、第２の制御部１１０ｃおよび第２の記憶部１６０ｃは、情報処理装置１０ｃと通信可能に接続された別装置に備えられていてもよい。
【0133】
第１の記憶部１５０ｃは、データセット１（ＤＳ１）、データセット２（ＤＳ２）、評価用データセット１（ＤＳＥ１）および評価用データセット２（ＤＳＥ２）を記憶する。データセット１（ＤＳ１）は、本例示的実施形態における第１のデータセットである。データセット２（ＤＳ２）は、本例示的実施形態における第２のデータセットである。また、データセット１（ＤＳ１）およびデータセット２（ＤＳ２）は、上述のエキスパートデータセットである。評価用データセット１（ＤＳＥ１）は、本例示的実施形態における第１の評価用データセットである。評価用データセット２（ＤＳＥ２）は、本例示的実施形態における第２の評価用データセットである。
【0134】
ここで、データセット１（ＤＳ１）およびデータセット２（ＤＳ２）の詳細について説明する。図１５は、データセット１（ＤＳ１）およびデータセット２（ＤＳ２）に含まれるデータの具体例を示す図である。具体的には、図１５には、データセット１（ＤＳ１）に含まれる画像の１つと、データセット２（ＤＳ２）に含まれる画像の１つとが示されている。
【0135】
これらの画像の各々には、５つのオブジェクト、具体的には３人の人物と、２つの鞄とが含まれている。データセット１（ＤＳ１）に含まれる画像において、２つの鞄の各々には正解ラベルが関連付けられている。すなわち、データセット１（ＤＳ１）は、責任範囲が「鞄（ｂａｇ）」であるエキスパートデータセットである。データセット２（ＤＳ２）に含まれる画像において、３人の人物には正解ラベルが関連付けられている。すなわち、データセット２（ＤＳ２）は、責任範囲が「人物（ｐｅｒｓｏｎ）」であるエキスパートデータセットである。
【0136】
評価用データセット１（ＤＳＥ１）は、データセット１（ＤＳ１）と同様に、各画像に含まれる責任範囲のオブジェクトの各々に正解ラベルが関連付けられたデータセットである。図１５の例に基づけば、評価用データセット１（ＤＳＥ１）は、鞄に正解ラベルが関連付けられた画像を含むデータセットである。例えば、評価用データセット１（ＤＳＥ１）に含まれる画像は、データセット１（ＤＳ１）に含まれる画像の一部であってもよい。また、例えば、評価用データセット１（ＤＳＥ１）に含まれる画像は、データセット１（ＤＳ１）に含まれない画像であって、データセット１（ＤＳ１）における責任範囲のオブジェクトに正解ラベルが関連付けられた画像であってもよい。
【0137】
評価用データセット２（ＤＳＥ２）は、データセット２（ＤＳ２）と同様に、各画像に含まれる責任範囲のオブジェクトの各々に正解ラベルが関連付けられたデータセットである。図１５の例に基づけば、評価用データセット２（ＤＳＥ２）は、人物に正解ラベルが関連付けられた画像を含むデータセットである。例えば、評価用データセット２（ＤＳＥ２）に含まれる画像は、データセット２（ＤＳ２）に含まれる画像の一部であってもよい。また、例えば、評価用データセット２（ＤＳＥ２）に含まれる画像は、データセット２（ＤＳ２）に含まれない画像であって、データセット２（ＤＳ２）における責任範囲のオブジェクトに正解ラベルが関連付けられた画像であってもよい。
【0138】
（第１の制御部１００ｃの構成）
図１４に示すように、第１の制御部１００ｃは、第１の学習部１０１－１、第２の学習部１０１－２、第１の閾値決定部１０２－１、第２の閾値決定部１０２－２、第１の推論部１０３－１、第２の推論部１０３－２、第１のデータセット生成部１０４－１、第２のデータセット生成部１０４－２を備えている。
図１４に示すように、第１の制御部１００ｃは、第１の学習部１０１－１、第２の学習部１０１－２、第１の閾値決定部１０２－１、第２の閾値決定部１０２－２、第１の推論部１０３－１、第２の推論部１０３－２、第１のデータセット生成部１０４－１、第２のデータセット生成部１０４－２を備えている。
【0139】
第１の学習部１０１－１は、本例示的実施形態において第１の学習手段を実現する構成である。第２の学習部１０１－２は、本例示的実施形態において第２の学習手段を実現する構成である。第１の閾値決定部１０２－１は、本例示的実施形態において第１の閾値決定手段を実現する構成である。第２の閾値決定部１０２－２は、本例示的実施形態において第２の閾値決定手段を実現する構成である。第１の推論部１０３－１は、本例示的実施形態において第１の推論手段を実現する構成である。第２の推論部１０３－２は、本例示的実施形態において第２の推論手段を実現する構成である。第１のデータセット生成部１０４－１は、本例示的実施形態において第１のデータセット生成手段を実現する構成である。第２のデータセット生成部１０４－２は、本例示的実施形態において第２のデータセット生成手段を実現する構成である。
【0140】
第１の学習部１０１－１は、第１のデータセットを用いて第１の検知モデルの学習を行う。具体的には、第１の学習部１０１－１は、データセット１（ＤＳ１）を取得し、当該データセット１（ＤＳ１）を用いて、第１の擬似ラベル生成用物体検知モデルＰＤＭ１の学習を行う。より具体的には、第１の学習部１０１－１は、第１の記憶部１５０ｃに記憶されているデータセット１（ＤＳ１）を読み出し、当該データセット１（ＤＳ１）を用いて、第１の擬似ラベル生成用物体検知モデルＰＤＭ１の学習を行う。そして、第１の学習部１０１－１は、学習済みの第１の擬似ラベル生成用物体検知モデルＰＤＭ１を第１の閾値決定部１０２－１および第１の推論部１０３－１へ出力する。
【0141】
第１の閾値決定部１０２－１は、第１の評価用データセットに含まれる１又は複数の画像の各々を第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する。
【0142】
具体的には、第１の閾値決定部１０２－１は、第１の記憶部１５０ｃに記憶されている評価用データセット１（ＤＳＥ１）を読み出し、第１の学習部１０１－１から取得した第１の擬似ラベル生成用物体検知モデルＰＤＭ１に入力する。そして、第１の閾値決定部１０２－１は、第１の擬似ラベル生成用物体検知モデルＰＤＭ１が出力した推論結果を取得する。
【0143】
続いて、第１の閾値決定部１０２－１は、評価用データセット１（ＤＳＥ１）に含まれる１又は複数の画像の各々における各推論結果と、当該画像の各々における正解ラベルとの比較結果に基づき、各推論結果の評価値を算出する。当該評価値は、例えば、Ｆ値である。なお、評価値がＦ値である例における、Ｆ値の算出処理の詳細は、例示的実施形態２にて説明しているため、ここでは説明を繰り返さない。
【0144】
続いて、第１の閾値決定部１０２－１は、基準値ごとに算出された複数のＦ値のうちの最大値を特定し、特定したＦ値に紐づけられた基準値を閾値とする。当該閾値が上述の第１の閾値である。第１の閾値決定部１０２－１は、決定した第１の閾値を第１のデータセット生成部１０４－１へ出力する。
【0145】
第１の推論部１０３－１は、第２のデータセットに含まれる１又は複数の画像の各々を第１の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する。具体的には、第１の推論部１０３－１は、第１の記憶部１５０ｃに記憶されているデータセット２（ＤＳ２）を読み出し、第１の学習部１０１－１から取得した第１の擬似ラベル生成用物体検知モデルＰＤＭ１に、当該データセット２（ＤＳ２）に含まれる１又は複数の画像の各々を入力し、当該画像の各々についての１又は複数の推論結果ＰＲ１を取得する。第１の推論部１０３－１は、取得した推論結果ＰＲ１を第１のデータセット生成部１０４－１へ出力する。
【0146】
第１のデータセット生成部１０４－１は、第１の推論部１０３－１による１又は複数の推論結果のうち、第１の閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを、対応する画像に関連付けることによって、擬似ラベル付与後の第２のデータセットを生成する。具体的には、第１のデータセット生成部１０４－１は、第１の推論部１０３－１による１又は複数の推論結果ＰＲ１のうち、第１の閾値以上の信頼度を有する推論結果を擬似ラベルに設定する。続いて、第１のデータセット生成部１０４－１は、当該擬似ラベルを、対応する画像に関連付ける。これにより、データセット２（ＤＳ２）に含まれる１又は複数の画像の各々に、擬似ラベルが関連付けられたデータセット２’（ＤＳ２’）が生成される。第１のデータセット生成部１０４－１は、生成したデータセット２’（ＤＳ２’）を第２の記憶部１６０ｃに記憶する。
【0147】
第２の学習部１０１－２は、第２のデータセットを用いて第２の検知モデルの学習を行う。具体的には、第２の学習部１０１－２は、データセット２（ＤＳ２）を取得し、当該データセット２（ＤＳ２）を用いて、第２の擬似ラベル生成用物体検知モデルＰＤＭ２の学習を行う。より具体的には、第２の学習部１０１－２は、第１の記憶部１５０ｃに記憶されているデータセット２（ＤＳ２）を読み出し、当該データセット２（ＤＳ２）を用いて、第２の擬似ラベル生成用物体検知モデルＰＤＭ２の学習を行う。そして、第２の学習部１０１－２は、学習済みの第２の擬似ラベル生成用物体検知モデルＰＤＭ２を第２の閾値決定部１０２－２および第２の推論部１０３－２へ出力する。
【0148】
第２の閾値決定部１０２－２は、第２の評価用データセットに含まれる１又は複数の画像の各々を第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第２の閾値を決定する。
【0149】
具体的には、第２の閾値決定部１０２－２は、第１の記憶部１５０ｃに記憶されている評価用データセット２（ＤＳＥ２）を読み出し、第２の学習部１０１－２から取得した第２の擬似ラベル生成用物体検知モデルＰＤＭ２に入力する。そして、第２の閾値決定部１０２－２は、第２の擬似ラベル生成用物体検知モデルＰＤＭ２が出力した推論結果を取得する。
【0150】
続いて、第２の閾値決定部１０２－２は、評価用データセット２（ＤＳＥ２）に含まれる１又は複数の画像の各々における各推論結果と、当該画像の各々における正解ラベルとの比較結果に基づき、各推論結果の評価値を算出する。当該評価値は、例えば、Ｆ値である。なお、評価値がＦ値である例における、Ｆ値の算出処理の詳細は、例示的実施形態２にて説明しているため、ここでは説明を繰り返さない。
【0151】
続いて、第２の閾値決定部１０２－２は、基準値ごとに算出された複数のＦ値のうちの最大値を特定し、特定したＦ値に紐づけられた基準値を閾値とする。当該閾値が上述の第２の閾値である。第２の閾値決定部１０２－２は、決定した第２の閾値を第２のデータセット生成部１０４－２に出力する。
【0152】
第２の推論部１０３－２は、第１のデータセットに含まれる１又は複数の画像の各々を第２の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する。具体的には、第２の推論部１０３－２は、第１の記憶部１５０ｃに記憶されているデータセット１（ＤＳ１）を読み出し、第２の学習部１０１－２から取得した第２の擬似ラベル生成用物体検知モデルＰＤＭ２に、当該データセット１（ＤＳ１）に含まれる１又は複数の画像の各々を入力し、当該画像の各々についての１又は複数の推論結果ＰＲ２を取得する。第２の推論部１０３－２は、取得した推論結果ＰＲ２を第２のデータセット生成部１０４－２へ出力する。
【0153】
第２のデータセット生成部１０４－２は、第２の推論部１０３－２による１又は複数の推論結果のうち、第２の閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを、対応する画像に関連付けることによって、擬似ラベル付与後の第１のデータセットを生成する。具体的には、第２のデータセット生成部１０４－２は、第２の推論部１０３－２による１又は複数の推論結果ＰＲ２のうち、第２の閾値以上の信頼度を有する推論結果を擬似ラベルに設定する。続いて、第２のデータセット生成部１０４－２は、当該擬似ラベルを、対応する画像に関連付ける。これにより、データセット１（ＤＳ１）に含まれる１又は複数の画像の各々に、擬似ラベルが関連付けられたデータセット１’（ＤＳ１’）が生成される。第２のデータセット生成部１０４－２は、生成したデータセット１’（ＤＳ１’）を第２の記憶部１６０ｃに記憶する。
【0154】
ここで、データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）の詳細について説明する。図１６は、データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）に含まれるデータの具体例を示す図である。具体的には、図１６には、データセット１’（ＤＳ１’）に含まれる画像の１つと、データセット２’（ＤＳ２’）に含まれる画像の１つとが示されている。
【0155】
図１６に示すデータセット１’（ＤＳ１’）に含まれる画像は、データセット１（ＤＳ１）に含まれる画像（図１５参照）と同一である。データセット１’（ＤＳ１’）に含まれる画像のオブジェクトについて、２つの鞄の各々には正解ラベルが、３人の人物の各々には擬似ラベルが関連付けられている。当該正解ラベルは、データセット１’（ＤＳ１’）の生成元であるデータセット１（ＤＳ１）に含まれる画像において、データセット１（ＤＳ１）の責任範囲である鞄に関連付けられていた正解ラベルである。また、当該擬似ラベルは、第２のデータセット生成部１０４－２が、推論結果ＰＲ２に基づき設定した擬似ラベルである。推論結果ＰＲ２は、責任範囲が人物であるデータセット２（ＤＳ２）による学習が行われた、第２の擬似ラベル生成用物体検知モデルＰＤＭ２を用いた推論結果であるので、当該擬似ラベルは人物に関連付けられている。
【0156】
図１６に示すデータセット２’（ＤＳ２’）に含まれる画像は、データセット２（ＤＳ２）に含まれる画像（図１５参照）と同一である。データセット２’（ＤＳ２’）に含まれる画像のオブジェクトについて、３人の人物の各々には正解ラベルが、２つの鞄の各々には擬似ラベルが関連付けられている。当該正解ラベルは、データセット２’（ＤＳ２’）の生成元であるデータセット２（ＤＳ２）に含まれる画像において、データセット２（ＤＳ２）の責任範囲である人物に関連付けられていた正解ラベルである。また、当該擬似ラベルは、第１のデータセット生成部１０４－１が、推論結果ＰＲ１に基づき設定した擬似ラベルである。推論結果ＰＲ１は、責任範囲が鞄であるデータセット１（ＤＳ１）による学習が行われた、第１の擬似ラベル生成用物体検知モデルＰＤＭ１を用いた推論結果であるので、当該擬似ラベルは鞄に関連付けられている。
【0157】
第２の記憶部１６０ｃは、データセット１’（ＤＳ１’）、データセット２’（ＤＳ２’）および物体検知モデルＤＭを記憶している。データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）は、それぞれ、第２のデータセット生成部１０４－２および第１のデータセット生成部１０４－１が生成したデータセットである。物体検知モデルＤＭは、対象画像用検知モデルであり、詳細については後述する。
【0158】
（第２の制御部１１０ｃの構成）
図１４に示すように、第２の制御部１１０ｃは、再学習部１０５を備えている。再学習部１０５は、本例示的実施形態において擬似ラベル参照学習手段を実現する構成である。再学習部１０５は、擬似ラベル付与後のデータセットを用いて対象画像用検知モデルの学習を行う。具体的には、再学習部１０５は、当該学習として、第１の擬似ラベル生成用物体検知モデルＰＤＭ１、または、第２の擬似ラベル生成用物体検知モデルＰＤＭ２の再学習を行う。より具体的には、再学習部１０５は、データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）を第２の記憶部１６０ｃから読み出し、当該データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）を用いて、第１の擬似ラベル生成用物体検知モデルＰＤＭ１、または、第２の擬似ラベル生成用物体検知モデルＰＤＭ２の再学習を行う。そして、再学習部１０５は、当該再学習によって生成された物体検知モデルＤＭを第２の記憶部１６０ｃに記憶する。なお、再学習部１０５は、データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）を用いて、新たな物体検知モデルＤＭの学習を行ってもよい。新たな物体検知モデルＤＭとは、第１の擬似ラベル生成用物体検知モデルＰＤＭ１及び第２の擬似ラベル生成用物体検知モデルＰＤＭ２のいずれとも異なる対象画像用検知モデルである。
図１４に示すように、第２の制御部１１０ｃは、再学習部１０５を備えている。再学習部１０５は、本例示的実施形態において擬似ラベル参照学習手段を実現する構成である。再学習部１０５は、擬似ラベル付与後のデータセットを用いて対象画像用検知モデルの学習を行う。具体的には、再学習部１０５は、当該学習として、第１の擬似ラベル生成用物体検知モデルＰＤＭ１、または、第２の擬似ラベル生成用物体検知モデルＰＤＭ２の再学習を行う。より具体的には、再学習部１０５は、データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）を第２の記憶部１６０ｃから読み出し、当該データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）を用いて、第１の擬似ラベル生成用物体検知モデルＰＤＭ１、または、第２の擬似ラベル生成用物体検知モデルＰＤＭ２の再学習を行う。そして、再学習部１０５は、当該再学習によって生成された物体検知モデルＤＭを第２の記憶部１６０ｃに記憶する。なお、再学習部１０５は、データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）を用いて、新たな物体検知モデルＤＭの学習を行ってもよい。新たな物体検知モデルＤＭとは、第１の擬似ラベル生成用物体検知モデルＰＤＭ１及び第２の擬似ラベル生成用物体検知モデルＰＤＭ２のいずれとも異なる対象画像用検知モデルである。
【0159】
上述のように、本例示的実施形態に係る情報処理装置１０ｃにおいては、複数のエキスパートデータセットの各々に基づき閾値を決定し、当該閾値に基づき複数のデータセットの各々に擬似ラベルを付与する構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０ｃによれば、各々に擬似ラベルが付与された複数のデータセット、具体的には、データセット１’（ＤＳ１’）およびデータセット２’（ＤＳ２’）を用いて検知モデルの再学習を行うことができるので、再学習後の検知モデルを用いた、画像に含まれるオブジェクトの検知精度をさらに向上させることができるという効果が得られる。また、本例示的実施形態に係る情報処理装置１０ｃによれば、各々に擬似ラベルが付与された複数のデータセットを生成する場合、すなわち、擬似ラベルを決定するための閾値が複数必要である場合でも、当該複数の閾値を自動で決定することができるので、閾値の調整に関するコストを削減することができるという効果が得られる。また、本例示的実施形態に係る情報処理装置１０ｃによれば、責任範囲の異なる複数のデータセットから、高精度な１つの対象画像用検知モデルの学習を行うことができるという効果が得られる。
【0160】
なお、本例示的実施形態では、エキスパートデータセットの数が「２」である例を説明したが、エキスパートデータセットの数はこの例に限定されない。また、情報処理装置１０ｃが記憶するデータセットおよび評価用データセットの数、並びに、情報処理装置１０ｃにおける学習手段、閾値決定手段、推論手段およびデータセット生成手段を実現する部材の数は、エキスパートデータセットの数に応じたものとなる。例えば、エキスパートデータセットの数を「３」とする場合、情報処理装置１０ｃは、第３のデータセットおよび第３の評価用データセットをさらに記憶し、また、第３の学習部、第３の閾値決定部、第３の推論部および第３のデータセット生成部をさらに備える。
【0161】
また、本例示的実施形態では、各エキスパートデータセットの責任範囲はそれぞれ異なるものとして説明したが、責任範囲が、エキスパートデータセット間で重複していてもよい。
【0162】
また、本例示的実施形態に係る第１のデータセット生成部１０４－１および第２のデータセット生成部１０４－２は、例示的実施形態３にて説明した関連付け部１０４２ｂの機能を備えていてもよい。すなわち、第１のデータセット生成部１０４－１は、データセット２’（ＤＳ２’）について、擬似ラベルに関連付けられた画像に含まれるオブジェクトに正解ラベルが付与されていた場合であって、当該擬似ラベルに含まれる領域情報が示す領域と、当該正解ラベルに含まれる領域情報が示す領域との重なりの度合いが所定の度合い以上である場合に、当該擬似ラベルを削除してもよい。また、第２のデータセット生成部１０４－２は、データセット１’（ＤＳ１）’について、擬似ラベルに関連付けられた画像に含まれるオブジェクトに正解ラベルが付与されていた場合であって、当該擬似ラベルに含まれる領域情報が示す領域と、当該正解ラベルに含まれる領域情報が示す領域との重なりの度合いが所定の度合い以上である場合に、当該擬似ラベルを削除してもよい。
【0163】
〔例示的実施形態５〕
本発明の第５の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～４にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の第５の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～４にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0164】
＜情報処理装置１０ｄの構成＞
本例示的実施形態に係る情報処理装置１０ｄの構成について、図１７を参照して説明する。図１７は、情報処理装置１０ｄの構成を示すブロック図である。図１７に示すように、情報処理装置１０ｄは、制御部１００ｄおよび記憶部１５０ｄを備える。制御部１００ｄは、情報処理装置１０ｄの各部を統括して制御する。記憶部１５０ｄは、情報処理装置１０ｄが使用する各種プログラムおよびデータを記憶する。
本例示的実施形態に係る情報処理装置１０ｄの構成について、図１７を参照して説明する。図１７は、情報処理装置１０ｄの構成を示すブロック図である。図１７に示すように、情報処理装置１０ｄは、制御部１００ｄおよび記憶部１５０ｄを備える。制御部１００ｄは、情報処理装置１０ｄの各部を統括して制御する。記憶部１５０ｄは、情報処理装置１０ｄが使用する各種プログラムおよびデータを記憶する。
【0165】
制御部１００ｄは、上述した例示的実施形態２に係る学習部１０１、閾値決定部１０２、推論部１０３、データセット生成部１０４および再学習部１０５に加えて、学習不実施領域決定部１０６を備える。学習不実施領域決定部１０６は、本例示的実施形態において学習不実施領域決定手段を実現する構成である。
【0166】
閾値決定部１０２は、上述の例示的実施形態２と同様に、評価用データセットＤＳＥに含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する。閾値決定部１０２が第１の閾値を決定する手法は上述の例示的実施形態２においてすでに説明しているため、ここでは説明を繰り返さない。
【0167】
また、本例示的実施形態では、閾値決定部１０２は更に、評価用データセットＤＳＥに含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、第１の閾値より小さい第２の閾値を決定する。
【0168】
第２の閾値は第１の閾値より小さい値であり、一例として、第１の閾値が適合率（precision）を重視した値とし、第２の閾値を再現率（recall）を重視した値としてもよい。例えば、第１の閾値は適合率を重視したＦ値であるF0.5-scoreが最大値をとる信頼度であり、第２の閾値は再現率を重視したF2-scoreが最大値をとる信頼度であってもよい。
【0169】
学習不実施領域決定部１０６は、データセット生成部１０４が生成した疑似ラベル付与後のデータセット２’（ＤＳ２’）において、推論部１０３による１又は複数の推論結果のうち、上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域を、再学習部１０５による学習の対象とならない学習不実施領域として決定する。
【0170】
＜情報処理方法の流れ＞
以上のように構成された情報処理装置１０ｄが実行する情報処理方法Ｓ１０ｄの流れについて、図１８を参照して説明する。図１８は、情報処理方法Ｓ１０ｄの流れを示すフロー図である。情報処理方法Ｓ１０ｄは、ステップＳ１０１～Ｓ１０２２、Ｓ１０２３ｄ、Ｓ１０３～Ｓ１０４１、Ｓ１０４１ｄ、およびＳ１０４２を含む。これらのステップのうち、ステップＳ１０１～Ｓ１０２２、Ｓ１０３～Ｓ１０４１、およびＳ１０４２は、上述の例示的実施形態２においてすでに説明しているため、ここでは説明を繰り返さない。
以上のように構成された情報処理装置１０ｄが実行する情報処理方法Ｓ１０ｄの流れについて、図１８を参照して説明する。図１８は、情報処理方法Ｓ１０ｄの流れを示すフロー図である。情報処理方法Ｓ１０ｄは、ステップＳ１０１～Ｓ１０２２、Ｓ１０２３ｄ、Ｓ１０３～Ｓ１０４１、Ｓ１０４１ｄ、およびＳ１０４２を含む。これらのステップのうち、ステップＳ１０１～Ｓ１０２２、Ｓ１０３～Ｓ１０４１、およびＳ１０４２は、上述の例示的実施形態２においてすでに説明しているため、ここでは説明を繰り返さない。
【0171】
（ステップＳ１０２３ｄ）
ステップＳ１０２３ｄにおいて、閾値判断部１０２３は、評価値に基づき第１の閾値および第２の閾値を決定する。具体的には、閾値判断部１０２３は、取得した、例えば適合率を重視した複数のＦ値のうち、最大値を特定し、特定したＦ値に紐付けられた基準値を第１の閾値とする。また、閾値判断部１０２３は、取得した、例えば再現率を重視した複数のＦ値のうち、最大値を特定し、特定したＦ値に紐付けられた基準値を第２の閾値とする。閾値判断部１０２３は、決定した第１の閾値及び第２の閾値を擬似ラベル生成部１０４１へ出力する。
ステップＳ１０２３ｄにおいて、閾値判断部１０２３は、評価値に基づき第１の閾値および第２の閾値を決定する。具体的には、閾値判断部１０２３は、取得した、例えば適合率を重視した複数のＦ値のうち、最大値を特定し、特定したＦ値に紐付けられた基準値を第１の閾値とする。また、閾値判断部１０２３は、取得した、例えば再現率を重視した複数のＦ値のうち、最大値を特定し、特定したＦ値に紐付けられた基準値を第２の閾値とする。閾値判断部１０２３は、決定した第１の閾値及び第２の閾値を擬似ラベル生成部１０４１へ出力する。
【0172】
（ステップＳ１０４１ｄ）
ステップＳ１０４１ｄにおいて、学習不実施領域決定部１０６は、データセット生成部１０４が生成した疑似ラベル付与後のデータセット２’（ＤＳ２’）において、推論部１０３による１又は複数の推論結果のうち、上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域を、再学習部１０５による学習の対象とならない学習不実施領域として決定する。
ステップＳ１０４１ｄにおいて、学習不実施領域決定部１０６は、データセット生成部１０４が生成した疑似ラベル付与後のデータセット２’（ＤＳ２’）において、推論部１０３による１又は複数の推論結果のうち、上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域を、再学習部１０５による学習の対象とならない学習不実施領域として決定する。
【0173】
上述のように、本例示的実施形態に係る情報処理装置１０ｄにおいては、データセット生成部１０４が生成した疑似ラベル付与後のデータセットにおいて、推論部１０３による１又は複数の推論結果のうち、上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域を、再学習部１０５による学習の対象とならない学習不実施領域として決定する。上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。このような領域を学習不実施領域に設定することによって、信頼性が相対的に高い疑似ラベルを用いて再学習をおこなうことができるので、再学習部１０５による対象画像用検知モデル（学習部１０１により学習された検知モデル）の検知精度を向上させることができる。
【0174】
また、当該構成を採用した情報処理装置１０ｄによれば、対象画像用検知モデルの検知精度を向上させることができるため、疑似ラベルが付与された画像を含むデータセットの生成であって第１の閾値と第２の閾値とを用いた生成にかかるコストを削減することが可能となる。
【0175】
〔例示的実施形態６〕
本発明の第６の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～５にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の第６の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～５にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0176】
＜情報処理装置１０ｅの構成＞
本例示的実施形態に係る情報処理装置１０ｅの構成について、図１９を参照して説明する。図１９は、情報処理装置１０ｄの構成を示すブロック図である。図１９に示すように、情報処理装置１０ｅは、第１の制御部１００ｅ、第２の制御部１１０ｅ、第１の記憶部１５０ｅ、および第２の記憶部１６０ｅを備える。第１の制御部１００ｅおよび第２の制御部１１０ｅは、情報処理装置１０ｅの各部を統括して制御する。第１の記憶部１５０ｅおよび第２の記憶部１６０ｅは、情報処理装置１０ｅが使用する各種プログラムおよびデータを記憶する。
本例示的実施形態に係る情報処理装置１０ｅの構成について、図１９を参照して説明する。図１９は、情報処理装置１０ｄの構成を示すブロック図である。図１９に示すように、情報処理装置１０ｅは、第１の制御部１００ｅ、第２の制御部１１０ｅ、第１の記憶部１５０ｅ、および第２の記憶部１６０ｅを備える。第１の制御部１００ｅおよび第２の制御部１１０ｅは、情報処理装置１０ｅの各部を統括して制御する。第１の記憶部１５０ｅおよび第２の記憶部１６０ｅは、情報処理装置１０ｅが使用する各種プログラムおよびデータを記憶する。
【0177】
第１の制御部１００ｅは、上述の例示的実施形態４で示した情報処理装置１０ｃの第１の制御部１００ｃの構成に加え、第１の学習不実施領域決定部１０６－１、及び第２の学習不実施領域決定部１０６－２を備える。第１の学習不実施領域決定部１０６－１は、本例示的実施形態において第１の学習不実施領域決定手段を実現する構成である。第２の学習不実施領域決定部１０６－２は、本例示的実施形態において第２の学習不実施領域決定手段を実現する構成である。
【0178】
第１の閾値決定部１０２－１は、上述の例示的実施形態４と同様に、評価用データセット１（ＤＳＥ１）に含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する。第１の閾値決定部１０２－１が第１の閾値を決定する手法は上述の例示的実施形態４においてすでに説明しているため、ここでは説明を繰り返さない。
【0179】
また、本例示的実施形態では、第１の閾値決定部１０２－１は更に、評価用データセット１（ＤＳＥ１）に含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、第１の閾値より小さい第３の閾値を決定する。
【0180】
第３の閾値は第１の閾値より小さい値であり、一例として、第１の閾値が適合率（precision）を重視した値とし、第３の閾値を再現率（recall）を重視した値としてもよい。例えば、第１の閾値は適合率を重視したＦ値であるF0.5-scoreが最大値をとる信頼度であり、第３の閾値は再現率を重視したF2-scoreが最大値をとる信頼度であってもよい。
【0181】
第２の閾値決定部１０２－２は、上述の例示的実施形態４と同様に、評価用データセット２（ＤＳＥ２）に含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第２の閾値を決定する。第２の閾値決定部１０２－２が第２の閾値を決定する手法は上述の例示的実施形態４においてすでに説明しているため、ここでは説明を繰り返さない。
【0182】
また、本例示的実施形態では、第２の閾値決定部１０２－２は更に、評価用データセット２（ＤＳＥ２）に含まれる１又は複数の画像の各々を検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、第２の閾値より小さい第４の閾値を決定する。
【0183】
第４の閾値は第２の閾値より小さい値であり、一例として、第２の閾値が適合率（precision）を重視した値とし、第４の閾値を再現率（recall）を重視した値としてもよい。例えば、第２の閾値は適合率を重視したＦ値であるF0.5-scoreが最大値をとる信頼度であり、第４の閾値は再現率を重視したF2-scoreが最大値をとる信頼度であってもよい。
【0184】
第１の学習不実施領域決定部１０６－１は、第１のデータセット生成部１０４－１が生成した疑似ラベル付与後のデータセット２’（ＤＳ２’）において、第１の推論部１０３－１による１又は複数の推論結果のうち、上記第１の閾値未満かつ上記第３の閾値以上の信頼度を有する推論結果に対応する領域を、再学習部１０５による学習の対象とならない学習不実施領域として決定する。
【0185】
第２の学習不実施領域決定部１０６－２は、第２のデータセット生成部１０４－２が生成した疑似ラベル付与後のデータセット１’（ＤＳ１’）において、第２の推論部１０３－２による１又は複数の推論結果のうち、上記第２の閾値未満かつ上記第４の閾値以上の信頼度を有する推論結果に対応する領域を、再学習部１０５による学習の対象とならない学習不実施領域として決定する。
【0186】
上述のように、本例示的実施形態に係る情報処理装置１０ｅにおいては、第１のデータセット生成部１０４－１が生成した上記疑似ラベル付与後の第２のデータセット２’（ＤＳ２’）において、第１の推論部１０３－１による１又は複数の推論結果のうち、上記第１の閾値未満かつ上記第３の閾値以上の信頼度を有する推論結果に対応する領域を、再学習部１０５による学習の対象とならない学習不実施領域として決定する。また、情報処理装置１０ｅにおいては、第２のデータセット生成部１０４－２が生成した上記疑似ラベル付与後の第１のデータセット１’（ＤＳ１’）において、第２の推論部１０３－２による１又は複数の推論結果のうち、上記第２の閾値未満かつ上記第４の閾値以上の信頼度を有する推論結果に対応する領域を、再学習部１０５による学習の対象とならない学習不実施領域として決定する。
【0187】
上記第１の閾値未満かつ上記第３の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。また、上記第２の閾値未満かつ上記第４の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。このような領域を学習不実施領域に設定することによって、信頼性が相対的に高い疑似ラベルを用いて再学習をおこなうことができるので、再学習部１０５による対象画像用検知モデル（第１の学習部１０１－１、第２の学習部１０１－２により学習された検知モデル）の検知精度を向上させることができる。
【0188】
また、当該構成を採用した情報処理装置１０ｅによれば、対象画像用検知モデルの検知精度を向上させることができるため、疑似ラベルが付与された画像を含むデータセットの生成であって、第１の閾値、第２の閾値、第３の閾値及び第４の閾値を用いたデータセットの生成にかかるコストを削減することが可能となる。
【0189】
〔ソフトウェアによる実現例〕
情報処理装置１０、１０ａ～１０ｅ、２０および２０ａの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１０、１０ａ～１０ｅ、２０および２０ａの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0190】
後者の場合、情報処理装置１０、１０ａ～１０ｅ、２０および２０ａは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図２０に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１０、１０ａ～１０ｅ、２０および２０ａとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１０、１０ａ～１０ｅ、２０および２０ａの各機能が実現される。
【0191】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0192】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0193】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0194】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0195】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0196】
（付記１）
第１のデータセットを用いて検知モデルの学習を行う学習手段と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定手段と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論手段と、
前記推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成手段と
を備えていることを特徴とする情報処理装置。
第１のデータセットを用いて検知モデルの学習を行う学習手段と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定手段と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論手段と、
前記推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成手段と
を備えていることを特徴とする情報処理装置。
【0197】
付記１の構成によれば、第１のデータセットを用いて学習が行われた検知モデルによる、評価用データセットに含まれる画像の推論結果と、当該画像に関連付けられた正解ラベルとの比較に基づき、擬似ラベルの設定のための第１の閾値を自動で決定する。このため、付記１の構成によれば、当該第１の閾値の調整に関するコストを削減することが可能となる。そして、付記１の構成によれば、当該検知モデルによる、第２のデータセットに含まれる画像の推論結果から、自動で決定された第１の閾値以上の信頼度を有する推論結果を擬似ラベルに設定し、当該擬似ラベルを対応する画像に関連付ける。このため、付記１の構成によれば、擬似ラベルが付与された画像を含むデータセットの生成にかかるコストを削減することが可能となる。
【0198】
（付記２）
付記１に記載の情報処理装置であって、
前記疑似ラベル付与後のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習手段を更に備えている
ことを特徴とする情報処理装置。
付記１に記載の情報処理装置であって、
前記疑似ラベル付与後のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習手段を更に備えている
ことを特徴とする情報処理装置。
【0199】
付記２の構成によれば、擬似ラベル付与後のデータセットを用いて対象画像用検知モデルの学習を行う。このため、付記２の構成によれば、閾値の調整に関するコストを削減して、対象画像用検知モデルを生成することが可能となる。結果として、対象画像用検知モデルの学習を行うまでのコストを削減することができる。また、閾値として適切な値を決定することができれば、閾値の調整回数を低減させることができ、閾値の調整の度に必要となる対象画像用検知モデルの学習（再学習）の回数を低減することができる。結果として、対象画像用検知モデルの学習が完了するまでの時間を低減させることができる。
【0200】
（付記３）
付記２に記載の情報処理装置であって、
前記擬似ラベル参照学習手段は、前記対象画像用検知モデルの学習として、前記検知モデルの再学習を行う
ことを特徴とする情報処理装置。
付記２に記載の情報処理装置であって、
前記擬似ラベル参照学習手段は、前記対象画像用検知モデルの学習として、前記検知モデルの再学習を行う
ことを特徴とする情報処理装置。
【0201】
付記３の構成によれば、擬似ラベル付与後のデータセットを用いて検知モデルの再学習を行う。このため、付記３の構成によれば、検知モデルの再学習を行うまでのコストを削減することができる。また、閾値として適切な値を決定することができれば、閾値の調整回数を低減させることができ、閾値の調整の度に必要となる検知モデルの再学習の回数を低減することができる。結果として、検知モデルの再学習が完了するまでの時間を低減させることができる。
【0202】
（付記４）
付記２又は３に記載の情報処理装置であって、
前記閾値決定手段は、
前記評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、前記第１の閾値より小さい第２の閾値を決定し、
当該情報処理装置は、
前記データセット生成手段が生成した前記疑似ラベル付与後のデータセットにおいて、前記推論手段による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第２の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習手段による学習の対象とならない学習不実施領域として決定する学習不実施領域決定手段を更に備えている
ことを特徴とする情報処理装置。
付記２又は３に記載の情報処理装置であって、
前記閾値決定手段は、
前記評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、前記第１の閾値より小さい第２の閾値を決定し、
当該情報処理装置は、
前記データセット生成手段が生成した前記疑似ラベル付与後のデータセットにおいて、前記推論手段による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第２の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習手段による学習の対象とならない学習不実施領域として決定する学習不実施領域決定手段を更に備えている
ことを特徴とする情報処理装置。
【0203】
上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。このような領域を学習不実施領域に設定することによって、信頼性が相対的に高い疑似ラベルを用いて再学習をおこなうことができるので、付記４の構成によれば、疑似ラベル参照学習手段による対象画像用検知モデルの検知精度を向上させることができる。
【0204】
（付記５）
付記１から４のいずれか１つに記載の情報処理装置であって、
前記正解ラベルには、当該正解ラベルに関連付けられた画像に含まれるオブジェクトの領域を示す領域情報、及び、当該オブジェクトのカテゴリを示すカテゴリ情報が含まれており、
前記疑似ラベルには、当該疑似ラベルに関連付けられた画像に含まれるオブジェクトの領域を示す領域情報、及び、当該オブジェクトのカテゴリを示すカテゴリ情報が含まれている
ことを特徴とする情報処理装置。
付記１から４のいずれか１つに記載の情報処理装置であって、
前記正解ラベルには、当該正解ラベルに関連付けられた画像に含まれるオブジェクトの領域を示す領域情報、及び、当該オブジェクトのカテゴリを示すカテゴリ情報が含まれており、
前記疑似ラベルには、当該疑似ラベルに関連付けられた画像に含まれるオブジェクトの領域を示す領域情報、及び、当該オブジェクトのカテゴリを示すカテゴリ情報が含まれている
ことを特徴とする情報処理装置。
【0205】
付記５の構成によれば、正解ラベルおよび擬似ラベルには、領域情報およびカテゴリ情報が含まれている。このため、付記５の構成によれば、擬似ラベル付与後のデータセットを用いて再学習が行われた検知モデルを用いた、画像に含まれるオブジェクトの検知の精度を向上させることが可能となる。
【0206】
（付記６）
付記５に記載の情報処理装置であって、
前記第２のデータセットに含まれる１又は複数の画像の少なくとも一部には、１又は複数の正解ラベルが付されており、
前記データセット生成手段は、
前記疑似ラベルに関連付けられた画像に含まれるオブジェクトに正解ラベルが付与されていた場合であって、当該疑似ラベルに含まれる領域情報が示す領域と、当該正解ラベルに含まれる領域情報が示す領域との重なりの度合いが所定の度合い以上である場合に、当該疑似ラベルを削除する
ことを特徴とする情報処理装置。
付記５に記載の情報処理装置であって、
前記第２のデータセットに含まれる１又は複数の画像の少なくとも一部には、１又は複数の正解ラベルが付されており、
前記データセット生成手段は、
前記疑似ラベルに関連付けられた画像に含まれるオブジェクトに正解ラベルが付与されていた場合であって、当該疑似ラベルに含まれる領域情報が示す領域と、当該正解ラベルに含まれる領域情報が示す領域との重なりの度合いが所定の度合い以上である場合に、当該疑似ラベルを削除する
ことを特徴とする情報処理装置。
【0207】
付記６の構成によれば、第２のデータセットに含まれる画像に付された擬似ラベルおよび正解ラベルにおいて、擬似ラベルに含まれる領域情報が示す領域と、正解ラベルに含まれる領域情報が示す領域との重なりの度合いが所定の度合い以上である場合に、擬似ラベルを削除する。このため、付記６の構成によれば、当該擬似ラベルが適切でない場合に当該擬似ラベルが削除され、正解ラベルが残るので、再学習後の検知モデルを用いた、オブジェクトの検知の精度を向上させることが可能となる。特に、見た目が似ているオブジェクトに正解ラベルが付されたデータセットの場合、オブジェクトにカテゴリが誤った擬似ラベルが関連付けられる可能性が高い。これに対し、付記６の構成によれば、当該誤った擬似ラベルを削除することができるので、精度よく擬似ラベルを生成することができ、対象画像用検知モデルを用いた、オブジェクトの検知精度を向上させることが可能となる。
【0208】
なお、擬似ラベルが適切でないとは、例えば、（１）当該擬似ラベルのカテゴリが、オブジェクトのカテゴリと異なる、（２）当該擬似ラベルのバウンディングボックスが、オブジェクトの一部を内包していない、などを指す。
【0209】
（付記７）
付記５又は６に記載の情報処理装置であって、
前記閾値決定手段は、カテゴリ毎に前記第１の閾値を設定し、
前記データセット生成手段は、
前記推論手段による１又は複数の推論結果のうち、カテゴリ毎に設定された前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成する
ことを特徴とする情報処理装置。
付記５又は６に記載の情報処理装置であって、
前記閾値決定手段は、カテゴリ毎に前記第１の閾値を設定し、
前記データセット生成手段は、
前記推論手段による１又は複数の推論結果のうち、カテゴリ毎に設定された前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成する
ことを特徴とする情報処理装置。
【0210】
付記７の構成によれば、第１のデータセットを用いて学習が行われた検知モデルによる、評価用データセットに含まれる画像の推論結果と、当該画像に関連付けられた正解ラベルとにおけるカテゴリ毎に第１の閾値が設定され、当該第１の閾値以上の推論結果を擬似ラベルに設定する。このため、付記７の構成によれば、擬似ラベルの設定の精度を向上させることができる。
【0211】
（付記８）
付記１から７のいずれか１つに記載の情報処理装置であって、
前記閾値決定手段は、前記比較結果が示す適合率と再現率とを参照して前記第１の閾値を決定する
ことを特徴とする情報処理装置。
付記１から７のいずれか１つに記載の情報処理装置であって、
前記閾値決定手段は、前記比較結果が示す適合率と再現率とを参照して前記第１の閾値を決定する
ことを特徴とする情報処理装置。
【0212】
付記８の構成によれば、第１のデータセットを用いて学習が行われた検知モデルによる、評価用データセットに含まれる画像の推論結果と、当該画像に関連付けられた正解ラベルとの比較結果から算出した適合率と再現率とを参照して第１の閾値を決定する。このため、付記８の構成によれば、擬似ラベルの設定の精度を向上させることが可能となる。また、付記８の構成によれば、学習データの質（適合率）および学習データの量（再現率）の両方を考慮して擬似ラベルを設定することができるため、高精度な対象画像用検知モデルを生成することが可能となる。
【0213】
（付記９）
付記１から８の何れか１つに記載の情報処理装置であって、
前記評価用データセットは、前記第１のデータセットに含まれている
ことを特徴とする情報処理装置。
付記１から８の何れか１つに記載の情報処理装置であって、
前記評価用データセットは、前記第１のデータセットに含まれている
ことを特徴とする情報処理装置。
【0214】
付記９の構成によれば、評価用データセットに含まれる画像は、第１のデータセットに含まれる。このため、付記９の構成によれば、評価用データセットの生成のために、作業にかかるコストの高い正解付け作業を新たに行う必要がなくなる。また、付記９の構成によれば、予め用意する画像の数を抑えることが可能となる。
【0215】
（付記１０）
付記１から８の何れか１つに記載の情報処理装置であって、
前記評価用データセットは、前記第２のデータセットの一部に、正解ラベルを付与することによって生成されたものである
ことを特徴とする情報処理装置。
付記１から８の何れか１つに記載の情報処理装置であって、
前記評価用データセットは、前記第２のデータセットの一部に、正解ラベルを付与することによって生成されたものである
ことを特徴とする情報処理装置。
【0216】
付記１０の構成によれば、評価用データセットに含まれる画像は、第２のデータセットの一部に、正解ラベルを付与することによって生成される。このため、付記１０の構成によれば、擬似ラベルが付与されるデータセットの一部が評価用データセットとして用いられて閾値が決定されることとなるので、付与される擬似ラベルの精度を向上させることが可能となる。また、付記１０の構成によれば、あらかじめ用意する画像の数を抑えることが可能となる。
【0217】
（付記１１）
第１のデータセットを用いて第１の検知モデルの学習を行う第１の学習手段と、
第２のデータセットを用いて第２の検知モデルの学習を行う第２の学習手段と、
第１の評価用データセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する第１の閾値決定手段と、
第２の評価用データセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第２の閾値を決定する第２の閾値決定手段と、
前記第２のデータセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第１の推論手段と、
前記第１のデータセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第２の推論手段と、
前記第１の推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第２のデータセットを生成する第１のデータセット生成手段と、
前記第２の推論手段による１又は複数の推論結果のうち、前記第２の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第１のデータセットを生成する第２のデータセット生成手段と、
を備えていることを特徴とする情報処理装置。
第１のデータセットを用いて第１の検知モデルの学習を行う第１の学習手段と、
第２のデータセットを用いて第２の検知モデルの学習を行う第２の学習手段と、
第１の評価用データセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する第１の閾値決定手段と、
第２の評価用データセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第２の閾値を決定する第２の閾値決定手段と、
前記第２のデータセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第１の推論手段と、
前記第１のデータセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する第２の推論手段と、
前記第１の推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第２のデータセットを生成する第１のデータセット生成手段と、
前記第２の推論手段による１又は複数の推論結果のうち、前記第２の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後の第１のデータセットを生成する第２のデータセット生成手段と、
を備えていることを特徴とする情報処理装置。
【0218】
付記１１の構成によれば、第１のデータセットを用いて学習が行われた検知モデルによる、第１の評価用データセットに含まれる画像の推論結果と、当該画像に関連付けられた正解ラベルとの比較に基づき、第２のデータセットへの擬似ラベルの設定のための第１の閾値を自動で決定する。また、付記１１の記載によれば、第２のデータセットを用いて学習が行われた検知モデルによる、第２の評価用データセットに含まれる画像の推論結果と、当該画像に関連付けられた正解ラベルとの比較に基づき、第１のデータセットへの擬似ラベルの設定のための第２の閾値を自動で決定する。このため、付記１１の構成によれば、第１の閾値および第２の閾値の調整に関するコストを削減することが可能となる。つまり、付記１１の構成によれば、各々に擬似ラベルが付与された２つのデータセットを生成する場合でも、これら２つのデータセットの各々に擬似ラベルを設定するための２つの閾値の調整に関するコストを削減することが可能となる。そして、付記１１の構成によれば、検知モデルの再学習は、擬似ラベルが付与された２つのデータセットを用いて行われることとなるので、再学習後の検知モデルを用いた、画像に含まれるオブジェクトの検知精度をさらに向上させることが可能となる。
【0219】
（付記１２）
付記１１に記載の情報処理装置であって、
前記疑似ラベル付与後の第１のデータセット、及び前記疑似ラベル付与後の第２のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習手段を更に備えている
ことを特徴とする情報処理装置。
付記１１に記載の情報処理装置であって、
前記疑似ラベル付与後の第１のデータセット、及び前記疑似ラベル付与後の第２のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習手段を更に備えている
ことを特徴とする情報処理装置。
【0220】
付記１２の構成によれば、擬似ラベル付与後の第１のデータセット、及び疑似ラベル付与後の第２のデータセットを用いて対象画像用検知モデルの学習を行う。このため、付記１２の構成によれば、第１の閾値の調整および第２の閾値の調整に関するコストを削減して、対象画像用検知モデルを生成することが可能となる。結果として、対象画像用検知モデルの学習を行うまでのコストを削減することができる。また、第１の閾値および第２の閾値として適切な値を決定することができれば、閾値の調整回数を低減させることができ、閾値の調整の度に必要となる対象画像用検知モデルの学習（再学習）の回数を低減することができる。結果として、対象画像用検知モデルの学習が完了するまでの時間を低減させることができる。
【0221】
（付記１３）
付記１２に記載の情報処理装置であって、
前記擬似ラベル参照学習手段は、前記対象画像用検知モデルの学習として、前記第１の検知モデル、及び前記第２の検知モデルの再学習を行う
ことを特徴とする情報処理装置。
付記１２に記載の情報処理装置であって、
前記擬似ラベル参照学習手段は、前記対象画像用検知モデルの学習として、前記第１の検知モデル、及び前記第２の検知モデルの再学習を行う
ことを特徴とする情報処理装置。
【0222】
付記１３の構成によれば、擬似ラベル付与後の第１のデータセットおよび疑似ラベル付与後の第２のデータセットを用いて第１の検知モデルおよび第２の検知モデルの再学習を行う。このため、付記１３の構成によれば、第１の検知モデルおよび第２の検知モデルの再学習を行うまでのコストを削減することができる。また、第１の閾値および第２の閾値として適切な値を決定することができれば、閾値の調整回数を低減させることができ、閾値の調整の度に必要となる検知モデルの再学習の回数を低減することができる。結果として、検知モデルの再学習が完了するまでの時間を低減させることができる。
【0223】
（付記１４）
付記１２又は１３に記載の情報処理装置であって、
前記第１の閾値決定手段は、
第１の評価用データセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、前記第１の閾値より小さい第３の閾値を決定し、
前記第２の閾値決定手段は、
第２の評価用データセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、前記第２の閾値より小さい第４の閾値を決定し、
当該情報処理装置は、
前記第１のデータセット生成手段が生成した前記疑似ラベル付与後の第２のデータセットにおいて、前記第１の推論手段による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第３の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習手段による学習の対象とならない学習不実施領域として決定する第１の学習不実施領域決定手段と、
前記第２のデータセット生成手段が生成した前記疑似ラベル付与後の第１のデータセットにおいて、前記第２の推論手段による１又は複数の推論結果のうち、前記第２の閾値未満かつ前記第４の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習手段による学習の対象とならない学習不実施領域として決定する第２の学習不実施領域決定手段と、
を備えている情報処理装置。
付記１２又は１３に記載の情報処理装置であって、
前記第１の閾値決定手段は、
第１の評価用データセットに含まれる１又は複数の画像の各々を前記第１の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、前記第１の閾値より小さい第３の閾値を決定し、
前記第２の閾値決定手段は、
第２の評価用データセットに含まれる１又は複数の画像の各々を前記第２の検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して、前記第２の閾値より小さい第４の閾値を決定し、
当該情報処理装置は、
前記第１のデータセット生成手段が生成した前記疑似ラベル付与後の第２のデータセットにおいて、前記第１の推論手段による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第３の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習手段による学習の対象とならない学習不実施領域として決定する第１の学習不実施領域決定手段と、
前記第２のデータセット生成手段が生成した前記疑似ラベル付与後の第１のデータセットにおいて、前記第２の推論手段による１又は複数の推論結果のうち、前記第２の閾値未満かつ前記第４の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習手段による学習の対象とならない学習不実施領域として決定する第２の学習不実施領域決定手段と、
を備えている情報処理装置。
【0224】
上記第１の閾値未満かつ上記第３の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。また、上記第２の閾値未満かつ上記第４の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。このような領域を学習不実施領域に設定することによって、付記１４の構成によれば、信頼性が相対的に高い疑似ラベルを用いて再学習をおこなうことができるので、疑似ラベル参照学習手段による対象画像用検知モデルの検知精度を向上させることができる。
【0225】
（付記１５）
対象画像を取得する取得手段と、
対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知手段と、
を備え、
前記対象画像用検知モデルは、
第１のデータセットを用いて検知モデルの学習を行う学習処理、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、
前記推論処理による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び
前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理
によって学習されたものである
ことを特徴とする情報処理装置。
対象画像を取得する取得手段と、
対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知手段と、
を備え、
前記対象画像用検知モデルは、
第１のデータセットを用いて検知モデルの学習を行う学習処理、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、
前記推論処理による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び
前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理
によって学習されたものである
ことを特徴とする情報処理装置。
【0226】
付記１５の構成によれば、自動で決定された閾値を用いて擬似ラベルが決定され、当該擬似ラベルが関連付けられた画像を含むデータセットを用いて学習が行われた対象画像用検知モデルを用いて、対象画像に含まれるオブジェクトを検知する。このため、付記１５の構成によれば、閾値の調整に関するコストを削減した対象画像用検知モデルを用いて、対象画像に含まれるオブジェクトを検知することが可能となる。
【0227】
（付記１６）
付記１５に記載の情報処理装置であって、
前記閾値決定処理では、前記比較結果を参照して、前記第１の閾値より小さい第２の閾値も決定し、
前記データセット生成処理では、前記疑似ラベル付与後のデータセットにおいて、前記推論処理による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第２の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習処理による学習の対象とならない学習不実施領域として決定し、
前記擬似ラベル参照学習処理では、前記学習不実施領域を含む前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う、
ことを特徴とする情報処理装置。
付記１５に記載の情報処理装置であって、
前記閾値決定処理では、前記比較結果を参照して、前記第１の閾値より小さい第２の閾値も決定し、
前記データセット生成処理では、前記疑似ラベル付与後のデータセットにおいて、前記推論処理による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第２の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習処理による学習の対象とならない学習不実施領域として決定し、
前記擬似ラベル参照学習処理では、前記学習不実施領域を含む前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う、
ことを特徴とする情報処理装置。
【0228】
上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。このような領域を学習不実施領域に設定することによって、信頼性が相対的に高い疑似ラベルを用いて再学習をおこなうことができるので、付記１６の構成によれば、疑似ラベル参照学習処理における対象画像用検知モデルの検知精度を向上させることができる。
【0229】
（付記１７）
第１のデータセットを用いて検知モデルの学習を行う学習工程と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定工程と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論工程と、
前記推論工程による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成工程と
を含んでいることを特徴とする情報処理方法。
第１のデータセットを用いて検知モデルの学習を行う学習工程と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定工程と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論工程と、
前記推論工程による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成工程と
を含んでいることを特徴とする情報処理方法。
【0230】
付記１７の構成によれば、付記１に記載の情報処理装置と同様の効果を奏する。
【0231】
（付記１８）
付記１７に記載の情報処理方法であって、
前記閾値決定工程においては、前記比較結果を参照して、前記第１の閾値より小さい第２の閾値も決定し、
前記データセット生成工程においては、前記疑似ラベル付与後のデータセットにおいて、前記推論工程による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第２の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習工程における学習の対象とならない学習不実施領域として決定する
ことを特徴とする情報処理方法。
付記１７に記載の情報処理方法であって、
前記閾値決定工程においては、前記比較結果を参照して、前記第１の閾値より小さい第２の閾値も決定し、
前記データセット生成工程においては、前記疑似ラベル付与後のデータセットにおいて、前記推論工程による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第２の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習工程における学習の対象とならない学習不実施領域として決定する
ことを特徴とする情報処理方法。
【0232】
上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。このような領域を学習不実施領域に設定することによって、信頼性が相対的に高い疑似ラベルを用いて再学習をおこなうことができるので、付記１８の構成によれば、疑似ラベル参照学習工程における対象画像用検知モデルの検知精度を向上させることができる。
【0233】
（付記１９）
対象画像を取得することと、
対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行うことと、
を含み、
前記対象画像用検知モデルは、
第１のデータセットを用いて検知モデルの学習を行う学習処理、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、
前記推論処理による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び
前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理
によって学習されたものである
ことを特徴とする情報処理方法。
対象画像を取得することと、
対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行うことと、
を含み、
前記対象画像用検知モデルは、
第１のデータセットを用いて検知モデルの学習を行う学習処理、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、
前記推論処理による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び
前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理
によって学習されたものである
ことを特徴とする情報処理方法。
【0234】
付記１９の構成によれば、付記１５に記載の情報処理装置と同様の作用効果を奏する。
【0235】
（付記２０）
第１のデータセットを用いて検知モデルの学習を行う学習工程と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定工程と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論工程と、
前記推論工程による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成工程と、
前記疑似ラベル付与後のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習工程と
を含んでいることを特徴とする検知モデルの製造方法。
第１のデータセットを用いて検知モデルの学習を行う学習工程と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定工程と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論工程と、
前記推論工程による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成工程と、
前記疑似ラベル付与後のデータセットを用いて、対象画像に含まれるオブジェクトの検知のための対象画像用検知モデルの学習を行う擬似ラベル参照学習工程と
を含んでいることを特徴とする検知モデルの製造方法。
【0236】
付記２０の構成によれば、第１のデータセットを用いて学習が行われた検知モデルによる、評価用データセットに含まれる画像の推論結果と、当該画像に関連付けられた正解ラベルとの比較に基づき、擬似ラベルの設定のための閾値を自動で決定する。このため、付記２０の構成によれば、当該閾値の調整に関するコストを削減することが可能となる。そして、付記２０の構成によれば、擬似ラベル付与後のデータセットを用いて対象画像用検知モデルの学習を行う。このため、付記２０の構成によれば、閾値の調整に関するコストを削減して対象画像用検知モデルを製造することが可能となる。結果として、対象画像用検知モデルの学習を行うまでのコストを削減することができる。また、閾値として適切な値を決定することができれば、閾値の調整回数を低減させることができ、閾値の調整の度に必要となる学習の回数を低減することができる。結果として、対象画像用検知モデルの学習が完了するまでの時間を低減させることができる。
【0237】
（付記２１）
付記２０に記載の検知モデルの製造方法であって、
前記閾値決定工程においては、前記比較結果を参照して、前記第１の閾値より小さい第２の閾値も決定し、
前記データセット生成工程においては、前記疑似ラベル付与後のデータセットにおいて、前記推論工程による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第２の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習工程における学習の対象とならない学習不実施領域として決定する
ことを特徴とする検知モデルの製造方法。
付記２０に記載の検知モデルの製造方法であって、
前記閾値決定工程においては、前記比較結果を参照して、前記第１の閾値より小さい第２の閾値も決定し、
前記データセット生成工程においては、前記疑似ラベル付与後のデータセットにおいて、前記推論工程による１又は複数の推論結果のうち、前記第１の閾値未満かつ前記第２の閾値以上の信頼度を有する推論結果に対応する領域を、前記擬似ラベル参照学習工程における学習の対象とならない学習不実施領域として決定する
ことを特徴とする検知モデルの製造方法。
【0238】
上記第１の閾値未満かつ上記第２の閾値以上の信頼度を有する推論結果に対応する領域は、疑似ラベルを付与したとしても、信頼性の低い疑似ラベルになるという傾向がある。このような領域を学習不実施領域に設定することによって、信頼性が相対的に高い疑似ラベルを用いて再学習をおこなうことができるので、付記２１の構成によれば、疑似ラベル参照学習工程における対象画像用検知モデルの検知精度を向上させることができる。
【0239】
（付記２２）
コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
第１のデータセットを用いて検知モデルの学習を行う学習手段と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定手段と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論手段と、
前記推論手段による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成手段と
として機能させるプログラム。
コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
第１のデータセットを用いて検知モデルの学習を行う学習手段と、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定手段と、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論手段と、
前記推論手段による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成手段と
として機能させるプログラム。
【0240】
付記２２の構成によれば、付記１に記載の情報処理装置と同様の作用効果を奏する。
【0241】
（付記２３）
コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
対象画像を取得する取得手段と、
対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知手段と、
として機能させ、
前記対象画像用検知モデルは、
第１のデータセットを用いて検知モデルの学習を行う学習処理、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、
前記推論処理による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び
前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理
によって学習されたものであるプログラム。
コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
対象画像を取得する取得手段と、
対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知手段と、
として機能させ、
前記対象画像用検知モデルは、
第１のデータセットを用いて検知モデルの学習を行う学習処理、
評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して閾値を決定する閾値決定処理、
第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、
前記推論処理による１又は複数の推論結果のうち、前記閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び
前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理
によって学習されたものであるプログラム。
【0242】
付記２３の構成によれば、付記１５に記載の情報処理装置と同様の作用効果を奏する。
【0243】
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
【0244】
少なくとも１つのプロセッサを備え、前記プロセッサは、第１のデータセットを用いて検知モデルの学習を行う学習処理と、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定処理と、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理と、前記推論手段による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理と、を実行する情報処理装置。
【0245】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記学習処理と、前記閾値決定処理と、前記推論処理と、前記データセット生成処理と、を前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【0246】
少なくとも１つのプロセッサを備え、前記プロセッサは、対象画像を取得する取得処理と、対象画像用検知モデルを用いて、前記対象画像に含まれるオブジェクトの検知を行う検知処理と、を実行し、前記対象画像用検知モデルは、第１のデータセットを用いて検知モデルの学習を行う学習処理、評価用データセットに含まれる１又は複数の画像の各々を前記検知モデルに入力して得られる１又は複数の推論結果と、当該１又は複数の画像の各々に付された１又は複数の正解ラベルとの比較結果を参照して第１の閾値を決定する閾値決定処理、第２のデータセットに含まれる１又は複数の画像の各々を前記検知モデルに入力することによって、当該１又は複数の画像の各々についての１又は複数の推論結果を取得する推論処理、前記推論処理による１又は複数の推論結果のうち、前記第１の閾値以上の信頼度を有する推論結果を疑似ラベルに設定し、当該疑似ラベルを、対応する画像に関連付けることによって、疑似ラベル付与後のデータセットを生成するデータセット生成処理、及び前記疑似ラベル付与後のデータセットを参照して、前記対象画像用検知モデルの学習を行う擬似ラベル参照学習処理によって学習されたものである、情報処理装置。
【0247】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記検知処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0248】
１０、１０ａ、１０ｂ、１０ｃ、２０、２０ａ 情報処理装置
１０１ 学習部
１０１－１ 第１の学習部
１０１－２ 第２の学習部
１０２ 閾値決定部
１０２－１ 第１の閾値決定部
１０２－２ 第２の閾値決定部
１０３ 推論部
１０３－１ 第１の推論部
１０３－２ 第２の推論部
１０４ データセット生成部
１０４－１ 第１のデータセット生成部
１０４－２ 第２のデータセット生成部
１０５ 再学習部
１０６ 学習不実施領域決定部
１０６－１ 第１の学習不実施領域決定部
１０６－２ 第２の学習不実施領域決定部
２０１ 取得部
２０２ 検知部
ＤＳ１ データセット１
ＤＳ１’ データセット１’
ＤＳ２ データセット２
ＤＳ２’ データセット２’
ＤＳＥ 評価用データセット
ＤＳＥ１ 評価用データセット１
ＤＳＥ２ 評価用データセット２
ＤＭ 物体検知モデル
１０１ 学習部
１０１－１ 第１の学習部
１０１－２ 第２の学習部
１０２ 閾値決定部
１０２－１ 第１の閾値決定部
１０２－２ 第２の閾値決定部
１０３ 推論部
１０３－１ 第１の推論部
１０３－２ 第２の推論部
１０４ データセット生成部
１０４－１ 第１のデータセット生成部
１０４－２ 第２のデータセット生成部
１０５ 再学習部
１０６ 学習不実施領域決定部
１０６－１ 第１の学習不実施領域決定部
１０６－２ 第２の学習不実施領域決定部
２０１ 取得部
２０２ 検知部
ＤＳ１ データセット１
ＤＳ１’ データセット１’
ＤＳ２ データセット２
ＤＳ２’ データセット２’
ＤＳＥ 評価用データセット
ＤＳＥ１ 評価用データセット１
ＤＳＥ２ 評価用データセット２
ＤＭ 物体検知モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】