(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037694
(43)【公開日】2024-03-19
(54)【発明の名称】情報処理装置、情報処理方法及びコンピュータプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240312BHJP
G06T 11/80 20060101ALI20240312BHJP
【FI】
G06N20/00 130
G06T11/80 A
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023140403
(22)【出願日】2023-08-30
(31)【優先権主張番号】202211089646.2
(32)【優先日】2022-09-07
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ジョオン・チャオリアン
(72)【発明者】
【氏名】フォン・チョン
(72)【発明者】
【氏名】ワン・ジエ
(72)【発明者】
【氏名】ジャン・イン
(72)【発明者】
【氏名】孫 俊
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050EA04
5B050EA12
5B050FA05
(57)【要約】
【課題】本発明は、情報処理装置、情報処理方法及びコンピュータプログラムを提供する。
【解決手段】情報処理装置は、第一訓練画像セットを用いて第一モデルを訓練し、訓練済みの第一モデルを得るユニット;第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして得るユニット;及び、第三訓練画像セットを用いて前記第二モデルを訓練し、再訓練の第二モデルを第三モデルとして得るユニットを含み、第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含み、第二訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含み、第三訓練画像セットは第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル無し訓練画像を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報を処理する装置であって、
第一訓練画像セットを用いて第一モデルを訓練し、訓練済みの第一モデルを取得する第一訓練ユニット;
第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして取得する第二訓練ユニット;及び
第三訓練画像セットを用いて前記第二モデルを訓練し、再訓練の第二モデルを、予測待ち対象に対して予測を行うための第三モデルとして取得する第三訓練ユニットを含み、
前記第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含み、
前記第二訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含み、
前記第三訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び前記第二クラスセットに係るラベル無し訓練画像を含み、
前記第二訓練ユニットは前記第二訓練画像セット内の第二クラスセットに係るラベル有り訓練画像に対してランダム変換を行い、変換後の訓練画像を用いて前記訓練済みの第一モデルを訓練し、
前記第一クラスセットは前記第二クラスセットとは互いにオーバーラップしない、装置。
【請求項2】
請求項1に記載の装置であって、
前記第二訓練画像セットに含まれる第二クラスセットに係るラベル有り訓練画像の数は、前記第一訓練画像セット内、前記第一クラスセットにおける各クラスについてのラベル有り訓練画像の平均数よりも小さい、装置。
【請求項3】
請求項1に記載の装置であって、
前記第二訓練画像セットは前記第一訓練画像セットと部分的にオーバーラップし、
前記第三訓練画像セットは前記第一訓練画像セットと部分的にオーバーラップする、装置。
【請求項4】
請求項1に記載の装置であって、
前記第二モデルを訓練する過程では、前記第三訓練ユニットは前記第二モデルを用いて前記第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定する、装置。
【請求項5】
請求項1乃至4のうちのいずれか1項に記載の情報処理装置であって、
第三訓練画像セットを用いて前記第二モデルを訓練することはNラウンドの訓練を実行することを含み、
各ラウンドの訓練では、
前記第三訓練画像セットからM個の第一クラスセットに係るラベル有り訓練画像及びK個の第二クラスセットに係るラベル無し訓練画像をランダム選択し;
1つ前のラウンドの訓練で取得された訓練済みの第二モデルを用いて、前記K個の第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定し、K個の偽ラベル付き訓練画像を取得し;
前記M個の第一クラスセットに係るラベル有り訓練画像についての第一損失及び前記K個の偽ラベル付き訓練画像についての第二損失の加重和を計算し;及び
前記加重和を最小化して前記第二モデルを訓練することを実行し、
M、N及びKは1よりも大きい自然数である、装置。
【請求項6】
請求項1乃至4のうちのいずれか1項に記載の装置であって、
前記第三訓練画像セットは半分ラベル付き訓練画像セット及び平衡ラベル付き訓練画像セットを含み、
第三訓練画像セットを用いて前記第二モデルを訓練することはNラウンドの訓練を実行することを含み、
各ラウンドの訓練では、
前記半分ラベル付き訓練画像セットからS個の訓練画像をランダム選択し、1つ前のラウンドの訓練で取得された訓練済みの第二モデルを用いて、選択されたS個の訓練画像について偽ラベルを設定することで、S個の偽ラベル付き訓練画像を取得し、前記S個の偽ラベル付き訓練画像を用いて偽ラベル付き訓練画像セットの更新を行い;
前記平衡ラベル付き訓練画像セットからM個の訓練画像をランダム選択し;
前記偽ラベル付き訓練画像セットからK個の偽ラベル付き訓練画像をランダム選択し;
前記M個の訓練画像についての第三損失と前記K個の偽ラベル付き訓練画像についての第四損失の加重和を計算し;及び
前記加重和を最小化して前記第二モデルを訓練することを実行し、
前記半分ラベル付き訓練画像セットとは、基本クラス対象が真値でラベル付けられたが、新規クラス対象が真値でラベル付けられない訓練画像セットを指し、
前記平衡ラベル付き訓練画像セットとは、新規クラス対象及び基本クラス対象がいずれも真値でラベル付けられており、かつ各クラスのラベル有り対象の数の間の差が第一所定閾値よりも小さい訓練画像セットを指し、
M、S、N及びKは1よりも大きい自然数である、装置。
【請求項7】
請求項6に記載の装置であって、
前記第三損失及び前記第四損失のうちの各々は、訓練画像の特徴の間の距離を表すクラスタリング損失を含む、装置。
【請求項8】
請求項1乃至4のうちのいずれか1項に記載の装置であって、
前記第一モデルは目標検出モデルである、装置。
【請求項9】
情報を処理する方法であって、
第一訓練画像セットを用いて第一モデルを訓練し、訓練済みの第一モデルを取得し;
第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして取得し;及び
第三訓練画像セットを用いて前記第二モデルを訓練し、再訓練の第二モデルを、予測待ち対象に対して予測を行うための第三モデルとして取得することを含み、
前記第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含み、
前記第二訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含み、
前記第三訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び前記第二クラスセットに係るラベル無し訓練画像を含み、
第二訓練画像セットを用いて訓練済みの第一モデルを訓練することは、前記第二訓練画像セット内の第二クラスセットに係るラベル有り訓練画像に対してランダム変換を行い、変換後の訓練画像を用いて前記訓練済みの第一モデルを訓練することを含み、
前記第一クラスセットは前記第二クラスセットとは互いにオーバーラップしない、方法。
【請求項10】
コンピュータに、請求項9に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理の技術分野に関し、特に、情報処理装置、情報処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
近年、機械学習が様々な分野で幅広く適用されている。例えば、機械学習を利用して画像、語音などに対して予測(識別(認識)、分類など)を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、情報処理装置、情報処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0004】
本発明の一側面によれば、情報処理装置が提供され、それは、
第一訓練画像セット(集合)を用いて第一モデルを訓練し、訓練済みの第一モデルを取得するように構成される第一訓練ユニット;
第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして取得するように構成される第二訓練ユニット;及び
第三訓練画像セットを用いて前記第二モデルを訓練し、再訓練の第二モデルを、予測待ち対象に対して予測を行うための第三モデルとして取得するように構成される第三訓練ユニットを含み、
前記第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含み、前記第二訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含み、前記第三訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び前記第二クラスセットに係るラベル無し訓練画像を含み、前記第二訓練ユニットは前記第二訓練画像セット内の第二クラスセットに係るラベル有り訓練画像に対してランダム変換を行い、変換後の訓練画像を用いて前記訓練済みの第一モデルを訓練し、前記第一クラスセットは前記第二クラスセットとは互いにオーバーラップしない。
【0005】
本発明のもう1つの側面によれば、情報処理方法が提供され、それは、
第一訓練画像セットを用いて第一モデルを訓練し、訓練済みの第一モデルを取得し;
第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして取得し;及び
第三訓練画像セットを用いて前記第二モデルを訓練し、再訓練の第二モデルを、予測待ち対象に対して予測を行うための第三モデルとして取得することを含み、
前記第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含み、前記第二訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含み、前記第三訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び前記第二クラスセットに係るラベル無し訓練画像を含み、第二訓練画像セットを用いて訓練済みの第一モデルを訓練することは、前記第二訓練画像セット内の第二クラスセットに係るラベル有り訓練画像に対してランダム変換を行い、変換後の訓練画像を用いて前記訓練済みの第一モデルを訓練することを含み、前記第一クラスセットは前記第二クラスセットとは互いにオーバーラップしない。
【0006】
また、本発明の他の側面によれば、上述の情報処理方法を実現するためのコンピュータプログラム、及び上述の情報処理方法を実現するためのコンピュータプログラムを記憶しているコンピュータ可読記憶媒体がさらに提供される。
【図面の簡単な説明】
【0007】
【
図1】本発明の実施例における情報処理装置の機能構成例を示すブロック図である。
【
図2】ランダム変換が用いられる場合に第二訓練ユニットが実行する訓練プロセスの例を示す図である。
【
図3】第三訓練ユニットが実行する訓練プロセスの一例を示す図である。
【
図4】第一モデル、第二モデル及び第三モデルが目標検出モデルである場合に情報処理装置が取得した第三モデルと、他の技術によるものとの比較を示す図である。
【
図5】本発明の実施例における情報処理方法の例示的なフローチャートである。
【
図6】本発明の実施例で採用され得る汎用コンピュータの例示的な構成を示すブロック図である。
【発明を実施するための形態】
【0008】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、以下の実施例は例示に過ぎず、本発明を限定するものではない。
【0009】
まず、
図1乃至
図4を参照して本発明の実施例における情報処理装置100の実装例を説明する。
図1は本発明の実施例における情報処理装置100の機能構成例のブロック図である。
図2はランダム変換が用いられる場合に第二訓練ユニット104が実行する訓練プロセスの一例を示す図である。
図3は第三訓練ユニット106が実行する訓練プロセスの一例を示している。
図4は第一モデル、第二モデル及び第三モデルが目標検出モデルである場合に情報処理装置100が得た第三モデルと、他の技術によるものとの比較を示す図である。
【0010】
図1に示すように、本発明の実施例による情報処理装置100は第一訓練ユニット102、第二訓練ユニット104及び第三訓練ユニット106を含み得る。
【0011】
第一訓練ユニット102は第一訓練画像セットを用いて第一モデルを訓練し、訓練済みの第一モデルを取得するように構成されても良い。
【0012】
第二訓練ユニット104は第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして取得するように構成されても良い。
【0013】
第三訓練ユニット106は第三訓練画像セットを用いて第二モデルを訓練し、再訓練の第二モデルを、予測待ち対象に対して予測を行うための第三モデル(“最終モデル”ともいう)として取得するように構成されても良い。
【0014】
例えば、第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含み得る。例えば、第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像のみを含んでも良い。
【0015】
例えば、第二訓練画像セットは第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含んでも良く、また、第三訓練画像セットは第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル無し訓練画像を含んでも良い。
【0016】
例えば、第一クラスセットは第二クラスセットとは互いにオーバーラップしなくても良い。以下、第一クラスセット内のクラスを基本クラスと呼び、第二クラスセット内のクラスを新規クラスと呼ぶ。
【0017】
ここでは、ラベル有り訓練画像とは、訓練画像内の対応する対象(オブジェクト)(例えば、物体、人物、他の動物など)が真値(ground truth)でラベル付けされた訓練画像を指す。例えば、第一クラスセットに係るラベル有り訓練画像とは、訓練画像内の基本クラス対象(即ち、第一クラスセットに属する対象)が真値でラベル付けされた訓練画像を指す。一例として、第一クラスセットに係るラベル有り訓練画像は基本クラス対象を含むが、新規クラス対象(即ち、第二クラスセットに属する対象)を含まない。もう1つ例として、第一クラスセットに係るラベル有り訓練画像は基本クラス対象及び新規クラス対象を含む。このような場合に、新規クラス対象は真値でラベル付けられても良く、又は真値でラベル付けられなくても良い。第一クラスセットに係るラベル有り訓練画像は真値でラベル付けられた基本クラス対象及び真値でベル付けられない新規クラス対象を含む場合に、第一クラスセットに係るラベル有り訓練画像は“半分ラベル付き訓練画像”と呼ばれても良い。また、訓練画像は真値でラベル付けられた新規クラス対象及び真値でラベル付けられた基本クラス対象の両方を含む場合に、該訓練画像は第一クラスセットに係るラベル有り訓練画像又は第二クラスセットに係るラベル有り訓練画像と呼ばれても良い。
【0018】
また、ここでは、第二クラスセットに係るラベル無し訓練画像とは、訓練画像内の新規クラス対象が真値でラベル付けられない訓練画像を指す。一例として、第二クラスセットに係るラベル無し訓練画像は新規クラス対象を含むが、基本クラス対象を含まない。もう1つの例として、第二クラスセットに係るラベル無し訓練画像は新規クラス対象及び基本クラス対象を含んでも良い。このような場合に、基本クラス対象は真値でラベル付けられても良く、又は真値でラベル付けられなくても良い。
【0019】
一例として、第一訓練画像セット内の訓練画像は真値でラベル付けられた基本クラス対象を含むが、新規クラス対象を含まない。
【0020】
例えば、第一訓練画像セット、第二訓練画像セット及び/或第三訓練画像セット内の各基本クラス対象は何れも真値でラベル付けられている。
【0021】
上述のように、本発明の実施例による情報処理装置100は、第一訓練ユニット102、第二訓練ユニット104及び第三訓練ユニット106により、第一モデルに対して3段階の訓練を行うことで、取得される第三モデルが第一クラスセットの画像及び第二クラスセットの画像についてすべて良好な予測精度を有するようにさせることができる。また、例えば、第二訓練ユニット104が無い場合、即ち、第一訓練ユニット102により取得される訓練済みの第一モデルを第三訓練ユニット106により訓練することで最終モデルを得る場合に比べて、本発明の実施例における3段階の訓練の場合に取得される最終モデルの予測精度は高い。
【0022】
例えば、第二訓練ユニット104は第二訓練画像セット内の第二クラスセットに係るラベル有り訓練画像に対してランダム変換(例えば、反転、回転、コントラストの変更など)を行い、変換後の訓練画像を用いて訓練済みの第一モデルを訓練することで、第二クラスセットに係る訓練画像の多様性を増加させ、その後に第三訓練ユニット106により取得される第三モデルの、第二クラスセットの画像に対しての予測精度を向上させることができる。
【0023】
例えば、第二訓練画像セットに含まれる第二クラスセットに係るラベル有り訓練画像の数は、第一訓練画像セット内の、第一クラスセット内の各クラスについてのラベル有り訓練画像の平均数(即ち、第一訓練画像セット内の、第一クラスセットに係るラベル有り訓練画像の数/第一クラスセットのクラスの数)よりも小さくても良い。言い換えれば、第二訓練ユニット104の訓練プロセスでは、比較的少量の第二クラスセットに係るラベル有り訓練画像を使用できるため、ラベルの設定にかかる作業量を減少させることができる。このような場合に、例えば、第二訓練ユニット104が訓練済みの第一モデルを訓練するプロセスは、訓練済みの第一モデルに対しての微調整プロセスと見なすことができる。微調整プロセスの導入により、第一訓練ユニット102により取得される訓練済みの第一モデルを第三訓練ユニット106により訓練することで最終モデルを得る場合に比べて、作業量を著しく増加させることなく、取得される最終モデルの予測精度を向上させることができる。
【0024】
機械学習の分野では、良好な予測精度を有するモデルを訓練するには、訓練画像に真値をラベルとして付ける時間が大量要される。例えば、本発明の実施例による情報処理装置100は、少量の第二クラスセットに係るラベル有り訓練画像を使用する場合に、事前訓練の第一クラスセットについての第一モデルをさらに訓練することで、第一クラスセット及び第二クラスセットの両方についてすべて良好な予測精度をもつモデルを取得できるため、真値のラベル付けにかかるコスト及び時間を減少させることができる。
【0025】
例えば、第二訓練画像セットに含まれる第二クラスセットに係るラベル有り訓練画像の数は、第一訓練画像セット内の、第一クラスセット内の各クラスについてのラベル有り訓練画像の平均数の2%、10%、20%、30%などであっても良いが、これらに限定されない。
【0026】
図2はランダム変換が適用される場合に第二訓練ユニット104が実行する訓練プロセスの一例を示している。
図2に示すように、第二訓練ユニット104は訓練済みの第一モデルに対して複数のラウンドの訓練を行うことで、再訓練の第一モデルを第二モデルとして取得しても良い。各ラウンドの訓練では、各基本クラスについて訓練データセットから該クラスに係るラベル有りのY(Yは1よりも大きい自然数である)個の画像を第二訓練画像セット内の訓練画像としてランダム選択し、また、各新規クラスについて訓練データセットから該クラスに係るラベル有りのZ(Zは1よりも大きい自然数である)個の画像を第二訓練画像セット内の訓練画像としてランダム選択しても良い。例えば、訓練データセットは、大量の第一クラスセットに係るラベル有り訓練画像(例えば、各基本クラス、T(Tは1よりも大きいの自然数である)個のラベル有り訓練画像)及び比較的少量の第二クラスセットに係るラベル有り訓練画像(例えば、各新規クラス、R(Rは1よりも大きいの自然数である)個のラベル有り訓練画像)を含んでも良い。例えば、R*Nc<<Nb*Tであり、例えば、R*Nc<<Tであり、そのうち、Nc及びNbはそれぞれ新規クラス数及び基本クラス数を表す。
【0027】
図2に示すように、第二訓練ユニット104が実行する各ラウンドの訓練は1つ又は複数のサブ訓練プロセスを含む。各サブ訓練プロセスでは次のような操作(ステップ)を実行でき、即ち、第二訓練画像セットからG個の第一クラスセットに係るラベル有り訓練画像及びH個の第二クラスセットに係るラベル有り訓練画像をランダム選択し;H個の第二クラスセットに係るラベル有り訓練画像に対してランダム変換を行い;G個の第一クラスセットに係るラベル有り訓練画像についての第一損失Lb及びH個のランダム変換済みの第二クラスセットに係るラベル有り訓練画像についての第二損失Lnの加重和Lb+βLnを計算し;訓練済みの第一モデルのパラメータを調整することで加重和を最小化し;及び、所定収束条件(例えば、訓練が所定ラウンド数に達している)を満足したかを確定する操作である。所定収束条件を満足していると確定した場合に、第二訓練ユニット104は継続して次のラウンドの訓練を行うことができる。また、第一所定収束条件を満足しない場合に、継続して次のサブ訓練プロセスを行うことができる。例えば、第一所定収束条件は第一損失Lb及び第二損失Lnの加重和が所定閾値よりも小さいということであっても良い。
【0028】
図2では、G及びHは1よりも大きいの自然数であり、かつ実際のニーズに応じて確定され得る。例えば、G及びHは同じであっても良い。また、β(0よりも大きい)は第二損失Lnについて設定される重みを表し、βが大きいほど、第二損失Lnがモデル訓練及び最適化に与える作用(影響)が大きくなる。
【0029】
例えば、第二所定収束条件を満足した場合に、第二訓練ユニット104は訓練済みの第一モデルに対しての訓練プロセスを終了しても良い。例えば、第二所定収束条件は訓練が所定ラウンド数に達しているということであっても良い。
【0030】
一例として、第二訓練画像セットは第一訓練画像セットと部分的にオーバーラップしても良い。例えば、第二訓練画像セットに含まれる第一クラスセットに係るラベル有り訓練画像は第一訓練画像セットの部分集合であっても良い。また、例えば、第三訓練画像セットは第一訓練画像セットと部分的にオーバーラップしても良く、例えば、第三訓練画像セットに含まれる第一クラスセットに係るラベル有り訓練画像は第一訓練画像セットの部分集合であっても良い。
【0031】
例えば、第一モデルは目標検出モデル(例えば、Fast R-CNN、Faster R-CNNなどのモデル)であっても良く、このような場合に、第二モデル及び第三モデルも目標検出モデルであっても良く、また、第三モデルの、予測待ちの画像に対しての予測結果は予測待ちの画像内の1つ又は複数の対象のクラスや位置を含んでも良い。なお、本発明はこれについて限定されず、当業者はニーズに応じて他のモデルを第一モデルとして使用しても良い。
【0032】
例えば、第三訓練ユニット106は第二モデルをNラウンド訓練することができる。
【0033】
一例として、各ラウンドの訓練では第三訓練ユニット106は次のような操作を行うことができ、即ち、第三訓練画像セットからM個の第一クラスセットに係るラベル有り訓練画像及びK個の第二クラスセットに係るラベル無し訓練画像をランダム選択し;1つ前のラウンドの訓練により得られた訓練済みの第二モデルを用いて、選択されたK個の第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定することで、K個の偽ラベル付き訓練画像を取得し;M個の第一クラスセットに係るラベル有り訓練画像についての第五損失及びK個の偽ラベル付き訓練画像についての第六損失の加重和を計算し;及び、加重和を最小化することで第二モデルを訓練する操作である。M、N及びKは1よりも大きい自然数である。例えば、MはKと同じであっても良いが、これに限られない。
【0034】
例えば、第三訓練画像セットは半分ラベル付き訓練画像セット及び平衡ラベル付き訓練画像セットを含み得る。半分ラベル付き訓練画像セットとは、基本クラス対象が真値でラベル付けられたが、新規クラス対象が真値でラベル付けられない訓練画像セットを指しても良い。例えば、半分ラベル付き訓練画像セットは次のようなもののうちの1つ又は複数を含んでも良く、即ち、真値でラベル付けれた基本クラス対象及び真値でラベル付けられない新規クラス対象を含む訓練画像(即ち、半分ラベル付き訓練画像);真値でラベル付けられた基本クラス対象を含むが、新規クラス対象を含まない訓練画像;及び、真値でラベル付けられない新規クラス対象を含むが、基本クラス対象を含まない訓練画像である。平衡ラベル付き訓練画像セットとは次のような訓練画像セットを指しても良く、即ち、新規クラス対象及び基本クラス対象がすべて真値でラベル付けられており、かつ各クラスのラベル有り対象の数の間の差が第一所定閾値よりも小さいものである。実際のニーズに応じて第一所定閾値を設定し得る。例えば、平衡ラベル付き訓練画像セットは次のようなもののうちの1つ又は複数を含んでも良く、即ち、真値でラベル付けられた基本クラス対象及び真値でラベル付けられた新規クラス対象を含む訓練画像;真値でラベル付けられた基本クラス対象を含むが、新規クラス対象を含まない訓練画像;及び、真値でラベル付けられた新規クラス対象を含むが、基本クラス対象を含まない訓練画像である。一例として、半分ラベル付き訓練画像セット及び平衡ラベル付き訓練画像セットは、第三訓練画像セットが新規クラス対象及び基本クラス対象の両方を含むように設定される。
【0035】
例えば、平衡ラベル付き訓練画像セットは次のようなフューショット(few-shot)訓練画像セットであっても良く、即ち、その中の各新規クラス及び各基本クラスが少量(例えば、数個、十数個)のラベル有り対象を有し、かつ各クラスのラベル有り対象の数の間の差が第一所定閾値よりも小さいものである。
【0036】
もう1つの例として、
図3に示すように、各ラウンドの訓練では第三訓練ユニット106は次のような操作を行っても良く、即ち、半分ラベル付き訓練画像セットからS(例えば、或る例ではS=4である)個の訓練画像(例えば、半分ラベル付き訓練画像)をランダム選択し、1つ前のラウンドの訓練で得られた訓練済みの第二モデルを用いて、選択されたS個の訓練画像に対して偽ラベルを設定することで、S個の偽ラベル付き訓練画像を取得し、かつS個の偽ラベル付き訓練画像を用いて偽ラベル付き訓練画像セットを更新し;平衡ラベル付き訓練画像セットからM(例えば、或る例ではM=3である)個の訓練画像をランダム選択し;偽ラベル付き訓練画像セットからK(例えば、或る例ではK=3である)個の偽ラベル付き訓練画像をランダム選択し;M個の訓練画像についての第三損失Ls及びK個の偽ラベル付き訓練画像についての第四損失Luの加重和Ls+αLuを計算し;及び、加重和を最小化することで第二モデルを訓練する操作である。そのうち、Sは1よりも大きいの自然数である、例えば、S≧Kである。α(0よりも大きい)は第四損失Luについて設定される重みを表し、αが大きいほど、第四損失Luがモデル訓練及び最適化に与える作用が大きくなる。
【0037】
各ラウンドの訓練で第三訓練画像セットから第二クラスセットに係るラベル無し訓練画像をランダム選択し、かつ選択されたラベル無し訓練画像について偽ラベルを設定することで取得された偽ラベル付き訓練画像を使用して第二モデルを訓練する場合に比べて、各ラウンドの訓練で偽ラベル付き訓練画像セットから偽ラベル付き訓練画像をランダム選択して第二モデルを訓練する場合は、訓練プロセスをよりスムーズにすることができるため、例えば、取得される最終モデルの予測精度をさらに向上させることができる。
【0038】
例えば、第二クラスセットに係るラベル無し訓練画像が基本クラス対象を含む場合に、1つ前のラウンドの訓練で取得された訓練済みの第二モデルを用いて該訓練画像に対して予測を行うことで予測結果を取得し、そして、予測結果のうち、新規クラス対象についての予測結果と、基本クラス対象の真値との融合(例えば、新規クラス対象についての予測結果を該新規クラス対象の偽ラベルと設定し、基本クラス対象については真値を使用する)を行うことで、偽ラベル付き訓練画像を得ることができる。また、例えば、第二クラスセットに係るラベル無し訓練画像が基本クラス対象を含まない場合に、1つ前のラウンドの訓練で取得された訓練済みの第二モデルを使用して該訓練画像に対して予測を行うことで予測結果を取得し、そして、予測結果のうち、新規クラス対象についての予測結果を該新規クラス対象の偽ラベルと設定することで、偽ラベル付き訓練画像を得ることができる。
【0039】
一例として、第二モデルに対して訓練を行う前に、偽ラベル付き訓練画像セットは任意の訓練画像を含まなくても良い。もう1つの例として、第二モデルに対して訓練を行う前に、第三訓練画像セットから第一所定数(例えば、100であるが、これに限られない)の第二クラスセットに係るラベル無し訓練画像(例えば、半分ラベル付き訓練画像)をランダム選択し、そして、第二モデルを用いて、選択された第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定することで、偽ラベル付き訓練画像を初期の偽ラベル付き訓練画像セット内の訓練画像として得ることができる。
【0040】
例えば、偽ラベル付き訓練画像を用いて偽ラベル付き訓練画像セットを更新することは、偽ラベル付き訓練画像を偽ラベル付き訓練画像セットに追加することを含んでも良い。また、例えば、偽ラベル付き訓練画像を使用して偽ラベル付き訓練画像セットを更新することは、偽ラベル付き訓練画像を偽ラベル付き訓練画像セットに追加し、かつ偽ラベル付き訓練画像セット内の一部の訓練画像を削除することで、偽ラベル付き訓練画像セットが第二所定数の訓練画像のみを含むようにさせることを含んでも良い。例えば、先入れ先出し(First in First out)の方式で偽ラベル付き訓練画像セット内の訓練画像を削除しても良い。実際のニーズに応じて第二所定数を設定しても良い。例えば、第二所定数は第一所定数と同じであっても良い。
【0041】
例えば、1つ前のラウンドの訓練で取得された訓練済みの第二モデルの、第二クラスセットに係るラベル無し訓練画像内の新規クラス対象に対しての予測結果の信頼度が第二所定閾値(例えば、0.8)よりも大きい場合にのみ、該予測結果を該新規クラス対象の偽ラベルと設定し、そうでない場合、該新規クラス対象を背景と見なしても良い。
【0042】
例えば、第二モデルが目標検出モデルである場合に、Ls及びLuはそれぞれ以下の式(1)及び(2)で表すことができる。
【0043】
Ls=Lrpn_cls_s+Lrpn_loc_s+Lbox_cls_s+Lbox_loc_s (1)
Lu=Lrpn_cls_u+Lrpn_loc_u+Lbox_cls_u+Lbox_loc_u (2)
式(1)及び式(2)では、Lrpn_cls_sは候補領域抽出ネットワーク(Region Proposal Network、RPN)の、真ラベル(正解ラベル)有り基本クラス訓練画像についての分類損失(2項分類であり、対象と背景のみを区別する)を表し、Lrpn_cls_uはRPNの、偽ラベル有り新規クラス訓練画像についての分類損失(2項分類であり、対象と背景のみを区別する)を表す。Lrpn_loc_sはRPNの、真ラベル有り基本クラス訓練画像についてのポジショニング損失を表す。Lrpn_loc_uはRPNの、偽ラベル有り新規クラス訓練画像についてのポジショニング損失を表す。Lbox_cls_sは検出ネットワークの、真ラベル有り基本クラス訓練画像についての分類損失(多項分類であり、具体的にどのクラスの対象であるかを区別する)を表し、Lbox_cls_uは検出ネットワークの、偽ラベル有り新規クラス訓練画像についての分類損失(多分類であり、具体的にどのクラスの対象であるかを区別する)を表す。Lbox_loc_sは検出ネットワークの、真ラベル有り基本クラス訓練画像についてのポジショニング損失を表し、Lbox_loc_uは検出ネットワークの、偽ラベル有り新規クラス訓練画像についてのポジショニング損失を表す。
【0044】
一例として、第三損失Ls及び第四損失Luのうちの各々は、訓練画像の特徴の間の距離を表すためのクラスタリング損失Lcontrastを含み、これによって、取得される第三モデルの予測精度をさらに向上させることができる。このような場合に、Ls及びLuはそれぞれ次の式(3)及び(4)で表すことができる。
【0045】
Ls=Lrpn_cls_s+Lrpn_loc_s+Lbox_cls_s+Lbox_loc_s+λLcontrasts (3)
Lu=Lrpn_cls_u+Lrpn_loc_u+Lbox_cls_u+Lbox_loc_u+λLcontrastu (4)
式(3)及び式(4)では、Lcontrasts及びLcontrastuは、それぞれ、真ラベル有り基本クラス訓練画像についてのクラスタリング損失及び偽ラベル有り新規クラス訓練画像についてのクラスタリング損失を表す。λ(0よりも大きい)はクラスタリング損失について設定される重みを表し、λが大きいほど、類似特徴の間の距離が小さくなる。例えば、クラスタリング損失Lcontrastは以下の式(5)及び(6)で表しても良い。
【0046】
【数1】
式(5)では、Nは現在のバッチのデータに含まれるN個の候補枠(Region of interest、RoI)を表し、z
iは第i個目の候補枠の特徴を表し、u
iは第i個目の候補枠の、真値との一致度(Intersection-over-Union、IoU)を表し、L
ziは第i個目の候補枠のコントラスト(対比)学習損失を表す。よって、一致度u
iが大きいほど、その対応するコントラスト学習損失L
ziが総コントラスト学習損失L
contastに占める割合は大きくなる。
【0047】
式(6)では、Nyiは現在のバッチのデータにおける候補枠のラベル又は偽ラベルがyiである候補枠の数を表す。
【0048】
【数2】
は、y
iがy
jに等しい場合に、値が1をとり、そうでない場合に、0をとることを表す。
【0049】
【数3】
は、z
iの正規化後の特徴を表す。よって、
【0050】
【数4】
は、第i個目の候補枠と第j個目の候補枠との特徴の間のコサイン類似度を評価する(表す)ことができる。よって、候補枠z
iと、同じクラスの候補枠との特徴の距離が近く、かつ候補枠z
iと、異なるクラスの候補枠との特徴の距離が遠いほど、コントラスト学習損失L
ziが小さくなる。
【0051】
図4は第一モデル、第二モデル及び第三モデルが目標検出モデルである場合に情報処理装置100が取得した第三モデルと、他の技術によるものとの比較を示す図である。
図4では、モデルAは第三訓練ユニット106がない場合に第一訓練ユニット102の事前訓練プロセス及び第二訓練ユニット104の微調整プロセスにより取得された訓練済みのモデルを表し、モデルBは第二訓練ユニット104がない場合に第三訓練ユニット106が第一訓練ユニット102により取得された訓練済みの第一モデルを訓練することで取得されたモデルを表す。また、
図4では、“自己訓練”は第三訓練ユニット106が実行する訓練プロセスを表し、“半分ラベル付き(10%)”は、自己訓練プロセスで半分ラベル付き訓練画像セット内の10%の訓練画像を使用することを表す。同様に、“半分ラベル付き(50%)”は、自己訓練プロセスで半分ラベル付き訓練画像セット内の50%の訓練画像を使用することを表し、“半分ラベル付き(100%)”は、自己訓練プロセスで半分ラベル付き訓練画像セット内の全部の訓練画像を使用することを表す。また、
図4では、10shot(AP50)は、訓練セット内の各クラスのラベル有り対象の数が10であり、かつIoU閾値が0.5であるときの新規クラス及び基本クラスの平均正確率を表す。10shot(nAP50)は、訓練セット内の各クラスのラベル有り対象の数が10であり、かつIoU閾値が0.5であるときの新規クラスの平均正確率を表す。
【0052】
図4に示す例について、訓練プロセスでは採用される訓練画像セットは15個の基本クラス及び5個の新規クラスを含み、微調整プロセスでは10-shot訓練画像セットを使用し、また、自己訓練プロセスでは10-shot訓練画像セット及び半分ラベル付き訓練画像セットを使用する。10-shot訓練画像セットは、15個の基本クラス及び5個の新規クラスのうちの各クラスについて、真値でラベル付けられた10個の実例(即ち、対象)を含むことを表す。また、自己訓練では、αは0.5に設定され、λは0.125に初期化され、かつ訓練時間の経過に伴って減衰(減少)する。
【0053】
図4から分かるように、クラスタリング損失が導入されず、かつ自己訓練プロセスで半分ラベル付き訓練画像セット内の50%の訓練画像を使用した場合に、本発明の実施例により取得された第三モデルの予測精度(10shot(AP50))はモデルBの予測精度に比較して1.7%向上している。また、クラスタリング損失が導入された場合に、本発明の実施例により取得された第三モデルの予測精度(10shot(AP50))はさらに0.2%向上している。
【0054】
以上、本発明の実施例による情報処理装置について説明した。上述の情報処理装置の実施例に対応して、本発明はさらに、以下の情報処理方法の実施例を提供する。
【0055】
図5は本発明の実施例による情報処理方法500の例示的なフローチャートである。
図5に示すように、本発明の実施例による情報処理方法は開始ステップS502でスタートし、終了ステップS510でエンドしても良く、また、第一訓練ステップS504、第二訓練ステップS506及び第三訓練ステップS508を含んでも良い。
【0056】
第一訓練ステップS504では、第一訓練画像セットを用いて第一モデルを訓練し、訓練済みの第一モデルを取得できる。例えば、第一訓練ステップS504は上述の第一訓練ユニット102によって実行できるため、その具体的な細部については上述の第一訓練ユニット102についての説明を参照できる。
【0057】
第二訓練ステップS506では、第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして取得できる。例えば、第二訓練ステップS506は上述の第二訓練ユニット104によって実行できるため、その具体的な細部については上述の第二訓練ユニット104についての説明を参照できる。
【0058】
第三訓練ステップS508では、第三訓練画像セットを用いて第二モデルを訓練し、再訓練の第二モデルを、予測待ち対象に対して予測を行うための第三モデルとして取得できる。例えば、第三訓練ステップS508は上述の第三訓練ユニット106によって実行できるため、その具体的な細部については上述の第三訓練ユニット106について説明を参照できる。
【0059】
上述の本発明の実施例に係る情報処理装置100と同様に、本発明の実施例による情報処理方法500は第一モデルに対して3段階の訓練を行うことができるため、取得される第三モデルが第一クラスセットの画像及び第二クラスセットの画像についてすべて良好な予測精度を有するようにさせることができる。また、例えば、第二訓練ステップS504がない場合に比べて、本発明の実施例による3段階の訓練の場合に取得される最終モデルの予測精度は高い。
【0060】
例えば、第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含んでも良い。例えば、第二訓練画像セットは第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含んでも良い。また、例えば、第三訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル無し訓練画像を含んでも良い。
【0061】
例えば、第一クラスセットは第二クラスセットとは互いにオーバーラップしなくても良い。
【0062】
例えば、第二訓練ステップS506では、第二訓練画像セット内の第二クラスセットに係るラベル有り訓練画像に対してランダム変換(例えば、反転、回転、コントラストの変更など)を行い、変換後の訓練画像を利用して訓練済みの第一モデルを訓練することで、第二クラスセットに係る訓練画像の多様性を増加させ、その後に第三訓練ステップS508により取得される第三モデルの第二クラスセットの画像についての予測精度を向上させることができる。
【0063】
例えば、第二訓練画像セットに含まれる第二クラスセットに係るラベル有り訓練画像の数は、第一訓練画像セット内の、第一クラスセット内の各クラスについてのラベル有り訓練画像の平均数よりも小さくても良く、これによって、ラベルの設定にかかる作業量を減少させることができる。
【0064】
例えば、第二訓練画像セットは第一訓練画像セットと部分的にオーバーラップしても良い。例えば、第三訓練画像セットは第一訓練画像セットと部分的にオーバーラップしても良い。
【0065】
例えば、第三訓練ステップS508では、第二モデルを使用して第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定しても良い。
【0066】
一例として、第三訓練ステップS508ではNラウンドの訓練を実行でき、各ラウンドの訓練では次のような操作を行い、即ち、第三訓練画像セットからM個の第一クラスセットに係るラベル有り訓練画像及びK個の第二クラスセットに係るラベル無し訓練画像をランダム選択し;1つ前のラウンドの訓練で取得された訓練済みの第二モデルを使用してK個の第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定することで、K個の偽ラベル付き訓練画像を取得し;M個の第一クラスセットに係るラベル有り訓練画像についての第一損失及びK個の偽ラベル付き訓練画像についての第二損失の加重和を計算し;及び、加重和を最小化して第二モデルを訓練する操作である。
【0067】
例えば、第三訓練画像セットは半分ラベル付き訓練画像セット及び平衡ラベル付き訓練画像セットを含み得る。
【0068】
一例として、第三訓練ステップS508ではNラウンドの訓練を実行でき、各ラウンドの訓練では次のような操作を行い、即ち、半分ラベル付き訓練画像セットからS個の訓練画像をランダム選択し、1つ前のラウンドの訓練で取得された訓練済みの第二モデルを用いて、選択されたS個の訓練画像について偽ラベルを設定することで、S個の偽ラベル付き訓練画像を取得し、偽ラベル付き訓練画像を利用して偽ラベル付き訓練画像セットの更新を行い;平衡ラベル付き訓練画像セットからM個の訓練画像をランダム選択し;偽ラベル付き訓練画像セットからK個の偽ラベル付き訓練画像をランダム選択し;M個の訓練画像についての第三損失及びK個の偽ラベル付き訓練画像についての第四損失の加重和を計算し;及び、加重和を最小化して第二モデルを訓練する操作である。
【0069】
例えば、第一損失及び第二損失のうちの各々は訓練画像の特徴の間の距離を表すクラスタリング損失を含むことができるため、第三モデルの予測精度をさらに向上させることができる。
【0070】
例えば、本発明に基づく技術は自動運転、セキュリティなどの分野で適用されても良いが、これらに限定されない。
【0071】
なお、以上、本発明の実施例による情報処理装置及び情報処理方法の機能及び操作を説明したが、これらは例示に過ぎず、当業者は本発明の原理をもとに上述の実施例を変更しても良く、例えば、各実施例における機能モジュール及び操作に対して追加、削除、組み合わせなどを行っても良く、かつこのような変更はすべて本発明の範囲内に属する。
【0072】
また、ここでの方法の実施例は上述の装置の実施例に対応するので、方法の実施例で詳細に説明されていない内容については装置の実施例中の対応部分の説明を参照でき、ここではその詳しい説明を省略する。
【0073】
また、本発明では記憶媒体及びプログラムプロダクトがさらに提供される。理解できるように、本発明の実施例による記憶媒体及びプログラムプロダクトにおけるマシン実行可能な命令はさらに、上述の情報処理方法を実行するように構成されても良い。よって、ここで詳細に説明されていない内容については前述の対応部分の説明を参照でき、ここではその詳しい説明を省略する。
【0074】
それ相応に、上述のマシン実行可能な命令をキャリーするためのプログラムプロダクトの記憶媒体も本発明の開示に含まれる。該記憶媒体はフロッピーディスク、光ディスク、磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。
【0075】
また、上述の実施例に記載の方法はソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの組み合わせにより実現されても良い。ソフトウェアに含まれるプログラムは装置の内部又は外部に設置される記憶媒体に事前記憶できる。1つの例として、実行時に、これらのプログラムはRAMに書き込まれ、かつ処理器(例えば、CPU)により実行されることで、上述の各種の方法及び処理を実現できる。
【0076】
図6は本発明の実施例における方法及び/又は装置を実現し得る汎用パソコン1000の例示的な構成を示す図である。
【0077】
コンピュータ1000は、例えば、コンピュータシステムであっても良い。なお、コンピュータ1000は例示に過ぎず、本発明による方法及び装置の適用範囲又は機能について限定しない。また、コンピュータ1000は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせにも依存しない。
【0078】
図6では、中央処理装置(CPU)1001は、ROM1002に記憶されているプログラム又は記憶部1008からRAM1003にロッドされているプログラムに基づいて各種の処理を行う。RAM1003では、ニーズに応じて、CPU1001が各種の処理を行うときに必要なデータなどを記憶することもできる。CPU1001、ROM1002及びRAM1003は、バス1004を経由して互いに接続される。入力/出力インターフェース1005もバス1006に接続される。
【0079】
また、入力/出力インターフェース1005にはさらに、次のような部品が接続され、即ち、キーボードなどを含む入力部1006、液晶表示器(LCD)などのような表示器及びスピーカーなどを含む出力部1007、ハードディスクなどを含む記憶部1008、ネットワークインターフェースカード、例えば、LANカード、モデムなどを含む通信部1009である。通信部1009は、例えば、インターネット、LANなどのネットワークを経由して通信処理を行う。ドライブ1010は、ニーズに応じて、入力/出力インターフェース1005に接続されても良い。取り外し可能な媒体611、例えば、半導体メモリなどは、必要に応じて、ドライブ1010にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部1008にインストールすることができる。
【0080】
また、本発明は、さらに、マシン可読命令コードを含むプログラムプロダクトを提供する。このような命令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ対応に、このようなプログラムプロダクトをキャリー(carry)する、例えば、磁気ディスク(フロッピーディスク(登録商標)を含む)、光ディスク(CD-ROM及びDVDを含む)、光磁気ディスク(MD(登録商標)を含む)、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。
【0081】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【0082】
また、上述の方法における各操作(処理)は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【0083】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【0084】
(付記1)
情報処理装置であって、
第一訓練画像セットを用いて第一モデルを訓練し、訓練済みの第一モデルを取得する第一訓練ユニット;
第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして取得する第二訓練ユニット;及び
第三訓練画像セットを用いて前記第二モデルを訓練し、再訓練の第二モデルを、予測待ち対象に対して予測を行うための第三モデルとして取得する第三訓練ユニットを含み、
前記第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含み、
前記第二訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含み、
前記第三訓練画像セットは少なくとも、前記第一クラスセットに係るラベル有り訓練画像及び前記第二クラスセットに係るラベル無し訓練画像を含み、
前記第二訓練ユニットは前記第二訓練画像セット内の第二クラスセットに係るラベル有り訓練画像に対してランダム変換を行い、変換後の訓練画像を用いて前記訓練済みの第一モデルを訓練し、
前記第一クラスセットは前記第二クラスセットとは互いにオーバーラップしない、装置。
【0085】
(付記2)
付記1に記載の情報処理装置であって、
前記第二訓練画像セットに含まれる第二クラスセットに係るラベル有り訓練画像の数は、前記第一訓練画像セット内の、前記第一クラスセット内の各クラスについてのラベル有り訓練画像の平均数よりも小さい、装置。
【0086】
(付記3)
付記1に記載の情報処理装置であって、
前記第二訓練画像セットは前記第一訓練画像セットと部分的にオーバーラップし、
前記第三訓練画像セットは前記第一訓練画像セットと部分的にオーバーラップする、装置。
【0087】
(付記4)
付記1に記載の情報処理装置であって、
前記第二モデルを訓練する過程では、前記第三訓練ユニットは前記第二モデルを用いて前記第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定する、装置。
【0088】
(付記5)
付記1乃至4のうちのいずれか1項に記載の情報処理装置であって、
第三訓練画像セットを用いて前記第二モデルを訓練することはNラウンドの訓練を実行することを含み、各ラウンドの訓練では以下のことを実行し、即ち、
前記第三訓練画像セットからM個の第一クラスセットに係るラベル有り訓練画像及びK個の第二クラスセットに係るラベル無し訓練画像をランダム選択し;
1つ前のラウンドの訓練で取得された訓練済みの第二モデルを用いて、前記K個の第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定することで、K個の偽ラベル付き訓練画像を取得し;
前記M個の第一クラスセットに係るラベル有り訓練画像についての第一損失及び前記K個の偽ラベル付き訓練画像についての第二損失の加重和を計算し;及び
前記加重和を最小化することで前記第二モデルを訓練することであり、
M、N及びKは1よりも大きい自然数である、装置。
【0089】
(付記6)
付記1乃至4のうちのいずれか1項に記載の情報処理装置であって、
前記第三訓練画像セットは半分ラベル付き訓練画像セット及び平衡ラベル付き訓練画像セットを含み、
第三訓練画像セットを用いて前記第二モデルを訓練することはNラウンドの訓練を実行することを含み、各ラウンドの訓練では以下のことを実行し、即ち、
前記半分ラベル付き訓練画像セットからS個の訓練画像をランダム選択し、1つ前のラウンドの訓練で取得された訓練済みの第二モデルを用いて、選択されたS個の訓練画像について偽ラベルを設定することで、S個の偽ラベル付き訓練画像を取得し、そして、前記偽ラベル付き訓練画像を用いて偽ラベル付き訓練画像セットを更新し;
平衡ラベル付き訓練画像セットからM個の訓練画像をランダム選択し;
前記偽ラベル付き訓練画像セットからK個の偽ラベル付き訓練画像をランダム選択し;
前記M個の訓練画像についての第三損失及び前記K個の偽ラベル付き訓練画像についての第四損失の加重和を計算し;及び
前記加重和を最小化して前記第二モデルを訓練することであり、
前記半分ラベル付き訓練画像セットは、基本クラス対象が真値でラベル付けられたが、新規クラス対象が真値でラベル付けられない訓練画像セットを表し、
前記平衡ラベル付き訓練画像セットは、新規クラス対象及び基本クラス対象が真値でラベル付けられており、かつ各クラスのラベル有り対象の数の間の差が第一所定閾値よりも小さい訓練画像セットを表し。
【0090】
M、S、N及びKは1よりも大きい自然数である、装置。
【0091】
(付記7)
付記6に記載の情報処理装置であって、
前記第一損失及び前記第二損失のうちの各々は訓練画像の特徴の間の距離を表すクラスタリング損失を含む、装置。
【0092】
(付記8)
付記5に記載の情報処理装置であって、
前記第一損失及び前記第二損失のうちの各々は訓練画像の特徴の間の距離を表すクラスタリング損失を含む、装置。
【0093】
(付記9)
付記1乃至4のうちのいずれか1項に記載の情報処理装置であって、
前記第一モデルは目標検出モデルである、装置。
【0094】
(付記10)
情報処理方法であって、
第一訓練画像セットを用いて第一モデルを訓練し、訓練済みの第一モデルを取得し;
第二訓練画像セットを用いて訓練済みの第一モデルを訓練し、再訓練の第一モデルを第二モデルとして取得し;及び
第三訓練画像セットを用いて前記第二モデルを訓練し、再訓練の第二モデルを、予測待ち対象に対して予測を行うための第三モデルとして取得することを含み、
前記第一訓練画像セットは第一クラスセットに係るラベル有り訓練画像を含み、
前記第二訓練画像セットは前記第一クラスセットに係るラベル有り訓練画像及び第二クラスセットに係るラベル有り訓練画像を含み、
前記第三訓練画像セットは少なくとも、前記第一クラスセットに係るラベル有り訓練画像及び前記第二クラスセットに係るラベル無し訓練画像を含み、
第二訓練画像セットを用いて訓練済みの第一モデルを訓練することは、前記第二訓練画像セット内の第二クラスセットに係るラベル有り訓練画像に対してランダム変換を行い、変換後の訓練画像を用いて前記訓練済みの第一モデルを訓練することを含み、
前記第一クラスセットは前記第二クラスセットとは互いにオーバーラップしない、方法。
【0095】
(付記11)
付記10に記載の情報処理方法であって、
前記第二訓練画像セットに含まれる第二クラスセットに係るラベル有り訓練画像の数は、前記第一訓練画像セット内の、前記第一クラスセット内の各クラスに関するラベル有り訓練画像の平均数よりも小さい、方法。
【0096】
(付記12)
付記10に記載の情報処理方法であって、
前記第二訓練画像セットは前記第一訓練画像セットと部分的にオーバーラップし、
前記第三訓練画像セットは前記第一訓練画像セットと部分的にオーバーラップする、方法。
【0097】
(付記13)
付記10に記載の情報処理方法であって、
前記第二モデルを訓練する過程では、前記第二モデルを使用して前記第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定する、方法。
【0098】
(付記14)
付記10乃至13のうちのいずれか1項に記載の情報処理方法であって、
第三訓練画像セットを用いて前記第二モデルを訓練することはNラウンドの訓練の実行を含み、各ラウンドの訓練では以下のことを実行し、即ち、
前記第三訓練画像セットからM個の第一クラスセットに係るラベル有り訓練画像及びK個の第二クラスセットに係るラベル無し訓練画像をランダム選択し;
1つ前のラウンドの訓練で取得された訓練済みの第二モデルを用いて、前記K個の第二クラスセットに係るラベル無し訓練画像に対して偽ラベルを設定することで、K個の偽ラベル付き訓練画像を取得し;
前記M個の第一クラスセットに係るラベル有り訓練画像についての第一損失及び前記K個の偽ラベル付き訓練画像についての第二損失の加重和を計算し;及び
前記加重和を最小化して前記第二モデルを訓練することであり、
M、N及びKは1よりも大きい自然数である、方法。
【0099】
(付記15)
付記10乃至13のうちのいずれか1項に記載の情報処理方法であって、
前記第三訓練画像セットは半分ラベル付き訓練画像セット及び平衡ラベル付き訓練画像セットを含み、
第三訓練画像セットを用いて前記第二モデルを訓練することはNラウンドの訓練の実行を含み、各ラウンドの訓練では以下のことを実行し、即ち、
前記半分ラベル付き訓練画像セットからS個の訓練画像をランダム選択し、1つ前のラウンドの訓練で取得された訓練済みの第二モデルを用いて、選択されたS個の訓練画像について偽ラベルを設定することで、S個の偽ラベル付き訓練画像を取得し、そして、前記偽ラベル付き訓練画像を利用して偽ラベル付き訓練画像セットを更新し;
平衡ラベル付き訓練画像セットからM個の訓練画像をランダム選択し;
前記偽ラベル付き訓練画像セットからK個の偽ラベル付き訓練画像をランダム選択し;
前記M個の訓練画像についての第三損失及び前記K個の偽ラベル付き訓練画像についての第四損失の加重和を計算し;及び
前記加重和を最小化して前記第二モデルを訓練することであり、
M、S、N及びKは1よりも大きい自然数である、方法。
【0100】
(付記16)
付記14に記載の情報処理方法であって、
前記第一損失及び前記第二損失のうちの各々は訓練画像の特徴の間の距離を表すクラスタリング損失を含む、方法。
【0101】
(付記17)
付記15に記載の情報処理方法であって、
前記第一損失及び前記第二損失のうちの各々は訓練画像の特徴の間の距離を表すクラスタリング損失を含む、方法。
【0102】
(付記18)
付記10乃至13のうちのいずれか1項に記載の情報処理方法であって、
前記第一モデルは目標検出モデルである、方法。
【0103】
(付記19)
付記15に記載の情報処理方法であって、
前記半分ラベル付き訓練画像セットは、基本クラス対象が真値でラベル付けられたが、新規クラス対象が真値でラベル付けられない訓練画像セットを表し、
前記平衡ラベル付き訓練画像セットは、新規クラス対象及び基本クラス対象が真値でラベル付けられており、かつ各クラスのラベル有り対象の数の間の差が第一所定閾値よりも小さい訓練画像セットを表す、方法.
(付記20)
命令を記憶したコンピュータ可読記憶媒体であって、
前記命令はコンピュータにより実行されるときに、前記コンピュータに、付記10乃至19のうちのいずれか1項に記載の情報処理方法を実行させるように構成される、コンピュータ可読記憶媒体。
【0104】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。