知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】情報処理システム、情報処理方法、及び記録媒体
(51)【国際特許分類】
G06N 20/00 20190101AFI20240910BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
10
(21)【出願番号】P 2023522008
(86)(22)【出願日】2021-05-17
(86)【国際出願番号】 JP2021018619
(87)【国際公開番号】W WO2022244059
(87)【国際公開日】2022-11-24
【審査請求日】2023-11-07
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】高本 亮
【審査官】多賀 実
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０２５３５９７（ＵＳ，Ａ１）
【文献】国際公開第２０１９／１５５８７３（ＷＯ，Ａ１）
【文献】YALNIZ, I. Zeki et al.，"Billion-scale semi-supervised learning for image classification"，arXiv.org [online]，arXiv:1905.00546v1，米国，Cornell University，2019年，[検索日 2021.07.19], インターネット:<URL:https://arxiv.org/pdf/1905.00546v1>
【文献】XIE, Qizhe et al.，"Self-training with Noisy Student improves ImageNet classification"，arXiv.org [online]，arXiv:1911.04252v4，米国，Cornell University，2020年，[検索日 2021.07.19], インターネット:<URL:https://arxiv.org/pdf/1911.04252v4>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
ラベルありデータ及びラベルなしデータを入力するデータ入力手段と、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与する擬ラベル付与手段と、
前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力する擬ラベル評価手段と、
前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習する生徒モデル学習手段と、
学習済みの前記生徒モデルを出力するモデル出力手段と、
を備える情報処理システム。
【請求項2】
前記データ入力手段に入力される前記ラベルありデータと、前記ラベルなしデータと、を互いに共通するドメインに変換するドメイン変換手段を更に備える請求項１に記載の情報処理システム。
【請求項3】
前記評価モデルは、前記ラベルなしデータのみを用いて学習されている請求項１又は２に記載の情報処理システム。
【請求項4】
前記評価モデルは、一部の前記ラベルありデータを用いて学習した後、前記ラベルなしデータを用いて学習されている請求項１又は２に記載の情報処理システム。
【請求項5】
前記評価モデルは、前記ラベルありデータのみを用いて学習されている請求項１又は２に記載の情報処理システム。
【請求項6】
前記評価モデルは、前記教師モデルの出力と、前記ラベルありデータに付与されているラベルと、の差を用いて学習されている請求項１又は２に記載の情報処理システム。
【請求項7】
前記擬ラベル評価手段は、別々に学習した複数の前記評価モデルを用いて、前記擬ラベルを評価する請求項１から６のいずれか一項に記載の情報処理システム。
【請求項8】
前記ラベルありデータを用いて前記教師モデルを学習する教師モデル学習手段を更に備え、前記教師モデル学習手段は、前記擬ラベル評価手段の評価結果を用いて、前記教師モデルを再学習する請求項１から７のいずれか一項に記載の情報処理システム。
【請求項9】
ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、
前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、
前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、
学習済みの前記生徒モデルを出力する、
情報処理方法。
【請求項10】
コンピュータに、ラベルありデータ及びラベルなしデータを入力し、
前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、
前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、
前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、
学習済みの前記生徒モデルを出力する、
情報処理方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、情報処理システム、情報処理方法、及び記録媒体の技術分野に関する。
【背景技術】
【0002】
この種のシステムとして、ラベルなしデータに擬似的なラベルを付与するものが知られている。例えば特許文献１では、ラベルが付与されていない画素の特徴ベクトルに対して、正例ラベル又は負例ラベルを付与する技術が開示されている。特許文献２では、距離の近いラベルの割合等を用いたスコアを計算してラベルなしデータに設定することで、擬似的なラベルを付加した学習データを生成する技術が開示されている。
【0003】
その他の関連する技術として、特許文献３では、元ドメインのラベルありデータ及び目標ドメインのラベルなしデータを用いて、元ドメインから目標ドメインへの変換則を学習する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－０４７０５５号公報
【文献】特開２０１９－１５９５７６号公報
【文献】特開２０１９－１０１７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
この開示は、先行技術文献に開示された技術を改善することを目的とする。
【課題を解決するための手段】
【0006】
この開示の情報処理システムの一の態様は、ラベルありデータ及びラベルなしデータを入力するデータ入力手段と、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与する擬ラベル付与手段と、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力する擬ラベル評価手段と、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習する生徒モデル学習手段と、学習済みの前記生徒モデルを出力するモデル出力手段と、を備える。
【0007】
この開示の情報処理方法の一の態様は、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する。
【0008】
この開示の記録媒体の一の態様は、コンピュータに、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する情報処理方法を実行させるコンピュータプログラムが記録されている。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
【図2】第１実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図3】第１実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図4】第２実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図5】第２実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図6】第３実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
【図7】第４実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
【図8】第５実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
【図9】第６実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
【図10】第７実施形態に係る情報処理システムにおけるモデル評価部の構成を示すブロック図である。
【図11】第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図12】第８実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図13】第９実施形態に係る情報処理システムの機能的構成を示すブロック図である。
【図14】第９実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、情報処理システム、情報処理方法、及び記録媒体の実施形態について説明する。
【0011】
【0012】
（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る情報処理システム１０のハードウェア構成について説明する。図１は、第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
まず、図１を参照しながら、第１実施形態に係る情報処理システム１０のハードウェア構成について説明する。図１は、第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
【0013】
図１に示すように、第１実施形態に係る情報処理システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。情報処理システム１０は更に、入力装置１５と、出力装置１６と、を備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。
【0014】
プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、情報処理システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、機械学習に関する処理を実行するための機能ブロックが実現される。
【0015】
プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成されてよい。プロセッサ１１は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。
【0016】
ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。
【0017】
ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。
【0018】
記憶装置１４は、情報処理システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
【0019】
入力装置１５は、情報処理システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
【0020】
出力装置１６は、情報処理システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、情報処理システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。
【0021】
【0022】
図２に示すように、第１実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、ラベルありデータ入力部１１０と、ラベルなしデータ入力部１２０と、教師モデル学習部１３０と、擬ラベル生成部１４０と、擬ラベル評価部１５０と、生徒モデル学習部１６０と、モデル出力部１７０と、を備えて構成されている。ラベルありデータ入力部１１０、ラベルなしデータ入力部１２０、教師モデル学習部１３０、擬ラベル生成部１４０、擬ラベル評価部１５０、生徒モデル学習部１６０、及びモデル出力部１７０の各々は、例えば上述したプロセッサ１１（図１参照）によって実現されてよい。
【0023】
ラベルありデータ入力部１１０は、ラベルありデータを入力可能に構成されている。ラベルなしデータ入力部１２０は、ラベルなしデータを入力可能に構成されている。ここでの「ラベル」は、データに対して付与される正解を示す情報（所謂、正解ラベル）であり、「ラベルありデータ」は正解ラベルが付与されたデータ、「ラベルなしデータ」は正解ラベルが付与されていないデータである。ラベルありデータ及びラベルなしデータの一例としては、画像データが挙げられる。画像データは、生体の目領域や顔領域が含まれるものであってよい。画像データは、時系列で連続している複数枚の画像を含むデータ（即ち、所定時間で区切った動画データ）であってもよい。なお、ここでは、ラベルありデータ及びラベルなしデータが別々の入力部から入力される構成を挙げているが、ラベルありデータ及びラベルなしデータは、共通する１つの入力部から入力可能とされてもよい。例えば、ラベルありデータ入力部１１０及びラベルなしデータ入力部１２０に代えて、ラベルありデータ及びラベルなしデータの両方を入力可能な１つのデータ入力部が設けられてもよい。
【0024】
教師モデル学習部１３０は、ラベルありデータ入力部１１０に入力されたラベルありデータを用いて、教師モデルを学習可能に構成されている。なお、ここでの教師モデルは、ラベルなしデータに付与する擬ラベルを生成するためのモデルである。「擬ラベル」は、擬似的な正解ラベルであり、ラベルありデータで学習されたモデルによって生成される。教師モデルの具体的な学習方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。教師モデル（及び後述する各モデル）を学習する際には、例えばＣｏｎｓｉｓｔｅｎｃｙ Ｒｅｇｕｌａｒｉｚａｔｉｏｎを用いて精度向上を図ってもよい。なお、第１実施形態に係る情報処理システム１０は、教師モデル学習部１３０を備えずともよい。この場合、ラベルありデータによる教師モデルの学習はシステム外部で実行され、学習された教師モデルが情報処理システム１０に入力されればよい。
【0025】
擬ラベル生成部１４０は、教師モデル学習部１３０で学習された教師モデルを用いて、ラベルなしデータに付与する擬ラベルを生成可能に構成されている。また、擬ラベル生成部１４０は、生成した擬ラベルをラベルなしデータに付与することが可能に構成されている。
【0026】
擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルを評価可能に構成されている。具体的には、擬ラベル評価部１５０は、擬ラベルの所定の評価基準に達しているか否かを評価可能に構成されている。なお、ここでの「所定の評価基準」は、擬ラベルの質が十分に高いか否かを判定するための基準であり、予め設定されている。擬ラベル評価部１５０は、所定の評価基準に達した擬ラベル（評価擬ラベル）を出力する一方で、所定の評価基準に達しない擬ラベルを出力しないように構成されている。擬ラベル評価部１５０は、例えばラベルありデータのテストセットでの平均誤差の倍以上の誤差が生じる場合には、その擬ラベルを低品質と評価して、出力しないようにしてもよい。また、擬ラベル評価部１５０は、ラベルありデータのテストセットでの平均誤差の倍以上の誤差が生じない場合には、その擬ラベルを高品質と評価して、出力するようにしてもよい。
【0027】
擬ラベル評価部１５０は、ラベルありデータ及びラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、擬ラベルの評価を行うように構成されている。なお、評価モデルの学習方法ついては、後述する他の実施形態において詳しく説明する。
【0028】
生徒モデル学習部１６０は、ラベルありデータと、擬ラベル評価部１５０から出力された評価擬ラベルを付与したラベルなしデータ（以下、適宜「擬ラベルデータ」と称する）と、を用いて生徒モデルを学習可能に構成されている。なお、ここでの生徒モデルは、教師モデルと同様に、ラベルなしデータに付与する擬ラベルを生成するためのモデルである。生徒モデルの具体的な学習方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。生徒モデルを学習する際には、例えば既存の蒸留手法を組み合わせて用いてもよい。
【0029】
モデル出力部１７０は、学習済みの生徒モデルを出力可能に構成されている。また、モデル出力部１７０は、学習済みの生徒モデルに加えて、教師モデル、評価モデルを出力可能に構成されてよい。
【0030】
【0031】
図３に示すように、第１実施形態に係る情報処理システム１０が動作する際には、まず教師モデル学習部１３０が、ラベルありデータ入力部１１０から入力されたラベルありデータを用いて、教師モデルを学習する（ステップＳ１０１）。そして、擬ラベル生成部１４０が、学習済みの教師モデルを用いて擬ラベルを生成し、ラベルなしデータ入力部１２０から入力されたラベルなしデータに付与する（ステップＳ１０２）。
【0032】
続いて、擬ラベル評価部１５０が評価モデルを学習する（ステップＳ１０３）。そして、擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルのうち低品質なものを除去する（ステップＳ１０４）。言い換えれば、擬ラベル評価部１５０は、高品質な評価擬ラベルのみを出力する。
【0033】
続いて、生徒モデル学習部１６０は、ラベルありデータと、評価擬ラベルが付与された擬ラベルデータとを用いて、生徒モデルを学習する（ステップＳ１０５）。その後、モデル出力部１７０が、学習済みのモデルを出力する（ステップＳ１０６）。
【0034】
（技術的効果）
次に、第１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0035】
図１から図３で説明したように、第１実施形態に係る情報処理システム１０では、生成した擬ラベルを評価することにより、質の高い擬ラベル（即ち、評価の結果として出力された擬ラベル）を用いた学習が行われる。このようにすれば、ラベルなしデータに適切な擬ラベルを付与することが可能となる。より具体的には、回帰問題を扱う場合において、ラベルなしデータに擬ラベルを精度よく付与することができる。従って、例えばラベルなしデータにラベルを付与するコストを削減することが可能である。
【0036】
＜第２実施形態＞
第２実施形態に係る情報処理システム１０について、図４及び図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態と同一であってよい。このため、以下では、すでに説明した第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第２実施形態に係る情報処理システム１０について、図４及び図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態と同一であってよい。このため、以下では、すでに説明した第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0037】
（機能的構成）
まず、図４を参照しながら、第２実施形態に係る情報処理システム１０の機能的構成について説明する。図４は、第２実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図４では、図２で示した構成要素と同様の要素に同一の符号を付している。
まず、図４を参照しながら、第２実施形態に係る情報処理システム１０の機能的構成について説明する。図４は、第２実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図４では、図２で示した構成要素と同様の要素に同一の符号を付している。
【0038】
図４に示すように、第２実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、ラベルありデータ入力部１１０と、ラベルなしデータ入力部１２０と、教師モデル学習部１３０と、擬ラベル生成部１４０と、擬ラベル評価部１５０と、生徒モデル学習部１６０と、モデル出力部１７０と、ドメイン変換部１８０と、を備えて構成されている。即ち、第２実施形態に係る情報処理システム１０は、第１実施形態の構成（図２参照）に加えて、ドメイン変換部１８０を更に備えて構成されている。
【0039】
ドメイン変換部１８０は、ラベルありデータ入力部１１０に入力される前のラベルありデータと、ラベルなしデータ入力部１２０に入力される前のラベルなしデータと、を互いに共通するドメインに変換可能に構成されている。即ち、ドメイン変換部１８０は、ラベルありデータのドメインと、ラベルなしデータのドメインとを揃える処理を実行可能に構成されている。なお、変換後のドメインは、元々のドメインとは全く異なるドメインであってよい。即ち、ラベルデータ及びラベルなしデータは、それらの元々のドメインとは異なる第３のドメインに変換されてよい。
【0040】
ドメイン変換部１８０が行う処理は、データが画像データである場合には、画像変換処理であってよい。例えば、ドメイン変換部１８０は、画像にラプラシアンフィルターを適用する処理を実行して、元々のデータを、画像のエッジを検出したデータに変換するようにしてもよい。また、ドメイン変換部１８０は、Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ（例えば、ＡｄａＩＮ）によって、ドメインを変換してもよい。或いは、ドメイン変換部１８０は、ｉｌｌｕｍｉｎａｔｉｏｎやｒｅｓｏｌｕｔｉｏｎの変更によってドメインを変換してもよい。ドメイン変換部１８０は、データの特徴量を抽出し、その特徴量からＫｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅを用いて、ドメイン間の距離を計算してもよい。
【0041】
（動作の流れ）
次に、図５を参照しながら、第２実施形態に係る情報処理システム１０の動作の流れについて説明する。図５は、第２実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図５では、図３で示した処理と同様の処理に同一の符号を付している。
次に、図５を参照しながら、第２実施形態に係る情報処理システム１０の動作の流れについて説明する。図５は、第２実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図５では、図３で示した処理と同様の処理に同一の符号を付している。
【0042】
図５に示すように、第２実施形態に係る情報処理システム１０が動作する際には、まずドメイン変換部１８０が、ラベルありデータと、ラベルなしデータとを、互いに共通するドメインに変換する（ステップＳ２０１）。ドメイン変換後のラベルありデータ及びラベルなしデータは、それぞれラベルありデータ入力部１１０及びラベルなしデータ入力部１２０に入力される。
【0043】
続いて、教師モデル学習部１３０が、ラベルありデータ入力部１１０から入力されたラベルありデータを用いて、教師モデルを学習する（ステップＳ１０１）。そして、擬ラベル生成部１４０が、学習済みの教師モデルを用いて擬ラベルを生成し、ラベルなしデータ入力部１２０から入力されたラベルなしデータに付与する（ステップＳ１０２）。
【0044】
続いて、擬ラベル評価部１５０が評価モデルを学習する（ステップＳ１０３）。そして、擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルのうち低品質なものを除去する（ステップＳ１０４）。
【0045】
続いて、生徒モデル学習部１６０は、ドメイン変換前のラベルありデータと、ドメイン変換前のラベルなしデータに評価擬ラベルを付与した擬ラベルデータとを用いて、生徒モデルを学習する（ステップＳ２０２）。その後、モデル出力部１７０が、学習済みのモデルを出力する（ステップＳ１０６）。
【0046】
（技術的効果）
次に、第２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0047】
図４及び図５で説明したように、第２実施形態に係る情報処理システム１０では、ラベルありデータと、ラベルなしデータとが、互いに共通するドメインに変換される。このようにすれば、ラベルありデータと、ラベルなしデータとでドメインが異なる場合であっても、適切な学習を行うことが可能となる。具体的には、ドメインの違いによる精度ありデータでの精度劣化を抑えることが可能である。また、ドメインが共通するデータのみを用いる必要がなくなり、例えば学習に利用するデータの数を容易に増やすことが可能となる。
【0048】
＜第３実施形態＞
第３実施形態に係る情報処理システム１０について、図６を参照して説明する。なお、第３実施形態は、評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第３実施形態に係る情報処理システム１０について、図６を参照して説明する。なお、第３実施形態は、評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0049】
（評価モデルの学習方法）
図６を参照しながら、第３実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図６は、第３実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
図６を参照しながら、第３実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図６は、第３実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
【0050】
図６に示すように、第３実施形態に係る情報処理システム１０では、擬ラベル評価部１５０に対して、擬ラベルを付与したラベルなしデータ（具体的には、擬ラベル生成部１４０で生成された擬ラベルが付与されたラベルなしデータ）が入力される。そして、擬ラベル評価部１５０は、擬ラベルデータが付与されたラベルなしデータを用いて、評価モデル１５１を学習する。なお、擬ラベル評価部１５０は、上述した擬ラベルを付与したラベルなしデータに加えて、擬ラベルそのものを用いて学習を行ってもよい。
【0051】
評価モデルを学習する際、そのエポック数は、過学習を防止するために１０未満であることが好ましい。エポック数は、例えば学習に用いられるデータセットやバッチサイズの大きさに基づいて設定されてよい。なお、本願発明者の研究するところによれば、エポック数を１とすることで、多くの場合に適切な学習が行えることが判っている。
【0052】
（技術的効果）
次に、第３実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第３実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0053】
図６で説明したように、第３実施形態に係る情報処理システム１０では、擬ラベルが付与されたラベルなしデータを用いて評価モデル１５１が学習される。このようにすれば、評価モデル１５１を適切に学習することができるため、擬ラベルの評価が適切に行えるようになる。
【0054】
＜第４実施形態＞
第４実施形態に係る情報処理システム１０について、図７を参照して説明する。なお、第４実施形態は、上述した第３実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第４実施形態に係る情報処理システム１０について、図７を参照して説明する。なお、第４実施形態は、上述した第３実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0055】
（評価モデルの学習方法）
図７を参照しながら、第４実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図７は、第４実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
図７を参照しながら、第４実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図７は、第４実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
【0056】
図７に示すように、第４実施形態に係る情報処理システム１０では、擬ラベル評価部１５０に対して、ラベルありデータと、擬ラベルを付与したラベルなしデータ（具体的には、擬ラベル生成部１４０で生成された擬ラベルが付与されたラベルなしデータ）とが入力される。そして、擬ラベル評価部１５０は、ラベルありデータと、擬ラベルデータが付与されたラベルなしデータを用いて、評価モデル１５１を学習する。より具体的には、擬ラベル評価部１５０は、まずラベルありデータを用いて評価モデルを学習する。なお、この学習に用いられるラベルありデータは、比較的少ない数であってよい。その後、擬ラベル評価部１５０は、擬ラベルが付与されたラベルなしデータを用いて、評価モデル１５１を学習する。この学習に用いられるラベルなしデータは、比較的多い数であってよい。
【0057】
（技術的効果）
次に、第４実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第４実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0058】
図７で説明したように、第４実施形態に係る情報処理システム１０では、評価モデル１５１が、まずラベルありデータによって学習され、その後、擬ラベルが付与されたラベルなしデータによって学習される。このように、最初にラベルありデータを用いて学習を行うようにすれば、ラベルありデータを用いない場合（即ち、ラベルなしデータだけで学習を行う場合）と比較して、より適切に評価モデル１５１を学習することができる。よって、擬ラベルの評価が適切に行えるようになる。
【0059】
＜第５実施形態＞
第５実施形態に係る情報処理システム１０について、図８を参照して説明する。なお、第５実施形態は、上述した第３及び第４実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第５実施形態に係る情報処理システム１０について、図８を参照して説明する。なお、第５実施形態は、上述した第３及び第４実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0060】
（評価モデルの学習方法）
図８を参照しながら、第５実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図８は、第５実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
図８を参照しながら、第５実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図８は、第５実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
【0061】
図８に示すように、第５実施形態に係る情報処理システム１０では、擬ラベル評価部１５０に対して、ラベルありデータが入力される。そして、擬ラベル評価部１５０は、ラベルありデータを用いて評価モデル１５１を学習する。なお、この学習に用いられるラベルありデータは、比較的多い数であることが好ましい。ラベルありデータを用いて学習する場合、評価モデル１５１は、教師モデル学習部１３０（図２参照）における教師モデルと同様に学習されることになる。よって、この場合には、教師モデルが２つ存在するような構成となる。具体的には、１つの教師モデルによって生成した擬ラベルを、もう１つの教師モデルによって評価するような構成となる。
【0062】
（技術的効果）
次に、第５実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第５実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0063】
図８で説明したように、第５実施形態に係る情報処理システム１０では、評価モデル１５１が、ラベルありデータによって学習される。このようにすれば、評価モデル１５１を適切に学習することができるため、擬ラベルの評価が適切に行えるようになる。
【0064】
＜第６実施形態＞
第６実施形態に係る情報処理システム１０について、図９を参照して説明する。なお、第６実施形態は、上述した第３から第５実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第６実施形態に係る情報処理システム１０について、図９を参照して説明する。なお、第６実施形態は、上述した第３から第５実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0065】
（評価モデルの学習方法）
図９を参照しながら、第６実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図９は、第６実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
図９を参照しながら、第６実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図９は、第６実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
【0066】
図９に示すように、第９実施形態に係る情報処理システム１０では、擬ラベル評価部１５０に対して、教師モデルの出力（言い換えれば、ラベルなしデータから教師モデルが推定するラベル）と、ラベルありデータのラベルと、が入力される。そして、擬ラベル評価部１５０は、まずラベルありデータのみを入力とし、教師モデルの出力と、ラベルありデータのラベルと、の差を算出して評価モデル１５１を学習する。擬ラベル評価部１５０は、上述した差の値を品質として擬ラベルを評価する。具体的には、擬ラベル評価部１５０は、学習済み評価モデル１５１に擬ラベルデータを入力して、推定（擬）ラベルと真のラベルとの差を推定し、算出した差の値が大きいものについては教師モデルの推定精度が悪いと評価し、算出した差の値が小さいものについては教師モデルの推定精度が良いと評価する。
【0067】
（技術的効果）
次に、第６実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第６実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0068】
図９で説明したように、第６実施形態に係る情報処理システム１０では、評価モデル１５１が、教師モデルの出力と、ラベルありデータのラベルと、の差を用いて学習される。このようにすれば、評価モデル１５１を適切に学習することができるため、擬ラベルの評価が適切に行えるようになる。
【0069】
＜第７実施形態＞
第７実施形態に係る情報処理システム１０について、図１０を参照して説明する。なお、第７実施形態は、擬ラベル評価部１５０の構成例を示すものであり、システムの構成や各種動作等については、上述した第１から第６実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第７実施形態に係る情報処理システム１０について、図１０を参照して説明する。なお、第７実施形態は、擬ラベル評価部１５０の構成例を示すものであり、システムの構成や各種動作等については、上述した第１から第６実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0070】
（擬ラベル評価部の構成）
まず、図１０を参照しながら、第７実施形態に係る情報処理システム１０における擬ラベル評価部１５０の構成について、具体的に説明する。図１０は、第７実施形態に係る情報処理システムにおけるモデル評価部の構成を示すブロック図である。
まず、図１０を参照しながら、第７実施形態に係る情報処理システム１０における擬ラベル評価部１５０の構成について、具体的に説明する。図１０は、第７実施形態に係る情報処理システムにおけるモデル評価部の構成を示すブロック図である。
【0071】
図１０に示すように、第７実施形態に係る情報処理システム１０では、擬ラベル評価部１５０が、複数の評価モデル１５１を備えて構成されている。なお、ここでは、擬ラベル評価部１５０が３つの評価モデル１５１ａ、１５１ｂ、１５１ｃを備える例を挙げているが、その数が特に限定されるものではない。例えば、擬ラベル評価部１５０は、２つの評価モデル１５１を備えていてもよいし、４つ以上の評価モデル１５１を備えていてもよい。
【0072】
複数の評価モデル１５１は、それぞれ別々に学習されたモデルである。ただし、複数の評価モデル１５１は、共通するデータセットを用いて学習されたものであってもよいし、互いに異なるデータセットを用いて学習されたものであってもよい。なお、複数の評価モデル１５１は、それぞれ摂動が付与されたデータを用いて学習を行ってよい。データに摂動を付与する方法は特に限定されないが、例えばピクセルをずらしたり、ぼやかしたり、一部を切り取ったりする方法が挙げられる。
【0073】
また、複数の評価モデル１５１は、上述した第３から第６実施形態で説明した学習方法によって学習されていてよい。この場合、複数の評価モデル１５１の各々は、互いに異なる学習方法で学習されてよい。例えば、評価モデル１５１ａが第３実施形態で説明した学習方法（即ち、ラベルなしデータを用いて学習する方法：図６参照）で学習され、評価モデル１５１ｂが第４実施形態で説明した学習方法（即ち、ラベルありデータ及びラベルなしデータを用いて学習する方法：図７参照）で学習され、評価モデル１５１ｃが第５実施形態で説明した学習方法（即ち、ラベルありデータを用いて学習する方法：図８参照）で学習されてもよい。
【0074】
擬ラベル評価部１５０は、上述した複数の評価モデル１５１を用いて、擬ラベルを評価する。具体的には、擬ラベル評価部１５０は、まず複数の評価モデル１５１の各々から評価結果を出力させ、それら複数の評価結果に応じて、１つの最終的な評価結果を出力する。より具体的には、複数の評価モデル１５１の各々の評価結果の多数決をとったり、平均値を算出したりして、総合的な評価結果を出力するようにすればよい。
【0075】
（技術的効果）
次に、第７実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第７実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0076】
図１３で説明したように、第７実施形態に係る情報処理システム１０では、複数の評価モデル１５１を用いて擬ラベルの評価が行われる。このようにすれば、１つの評価モデルだけで評価する場合と比較して、より適切に擬ラベルの評価が行えるようになる。
【0077】
＜第８実施形態＞
第８実施形態に係る情報処理システム１０について、図１１及び図１２を参照して説明する。なお、第８実施形態は、上述した第１から第７実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分については第１から第７実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第８実施形態に係る情報処理システム１０について、図１１及び図１２を参照して説明する。なお、第８実施形態は、上述した第１から第７実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分については第１から第７実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0078】
（機能的構成）
まず、図１１を参照しながら、第８実施形態に係る情報処理システム１０の機能的構成について説明する。図１１は、第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１１では、図２で示した構成要素と同様の要素に同一の符号を付している。
まず、図１１を参照しながら、第８実施形態に係る情報処理システム１０の機能的構成について説明する。図１１は、第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１１では、図２で示した構成要素と同様の要素に同一の符号を付している。
【0079】
図１１に示すように、第８実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、ラベルありデータ入力部１１０と、ラベルなしデータ入力部１２０と、教師モデル学習部１３０と、擬ラベル生成部１４０と、擬ラベル評価部１５０と、生徒モデル学習部１６０と、モデル出力部１７０と、を備えて構成されている。そして第８実施形態では特に、上述した構成要素のうち、ラベルありデータ入力部１１０、ラベルなしデータ入力部１２０、教師モデル学習部１３０、擬ラベル生成部１４０、及び擬ラベル評価部１５０が、擬ラベル学習部２００として構成されている。
【0080】
擬ラベル学習部２００は、教師モデル学習部１３０による教師モデルの学習と、擬ラベル生成部１４０による擬ラベルの生成と、擬ラベル評価部１５０による擬ラベル評価と、を繰り返し実行することによって、擬ラベルに関する学習をより適切に実行可能に構成されている。なお、擬ラベル学習部２００は、擬ラベル評価部１５０における評価結果を反映して、教師モデルの学習を実行可能に構成されている。例えば、擬ラベル評価部１５０で算出した誤差を、教師モデル学習部１３０に逆伝播させることにより、教師モデルを再学習可能に構成されている。なお、擬ラベル学習部２００は、所定の回数に到達するまで一連の処理を繰り返すように設定されている。所定の回数は、事前のシミュレーション等によって求められた値であってよい。
【0081】
（動作の流れ）
次に、図１２を参照しながら、第８実施形態に係る情報処理システム１０の動作の流れについて説明する。図１２は、第８実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図１２では、図３で示した処理と同様の処理に同一の符号を付している。
次に、図１２を参照しながら、第８実施形態に係る情報処理システム１０の動作の流れについて説明する。図１２は、第８実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図１２では、図３で示した処理と同様の処理に同一の符号を付している。
【0082】
図１２に示すように、第８実施形態に係る情報処理システム１０が動作する際には、まず教師モデル学習部１３０が、ラベルありデータ入力部１１０から入力されたラベルありデータを用いて、教師モデルを学習する（ステップＳ１０１）。そして、擬ラベル生成部１４０が、学習済みの教師モデルを用いて擬ラベルを生成し、ラベルなしデータ入力部１２０から入力されたラベルなしデータに付与する（ステップＳ１０２）。
【0083】
続いて、擬ラベル評価部１５０が評価モデルを学習する（ステップＳ１０３）。そして、擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルのうち低品質なものを除去する（ステップＳ１０４）。
【0084】
ここで、第８実施形態に係る情報処理システム１０は、ここまでの一連の処理が所定回数繰り返されているか否かを判定する（ステップＳ７０１）。そして、一連の処理が所定回数繰り返されていないと判定された場合（ステップＳ７０１：ＮＯ）、擬ラベル評価部１５０の評価結果を反映して（ステップＳ７０２）、再びステップＳ１０１から処理が実行される。
【0085】
他方、一連の処理が所定回数繰り返されたと判定された場合（ステップＳ７０１：ＹＥＳ）、最終的な評価擬ラベルが出力され、生徒モデル学習部１６０が、ラベルありデータと、評価擬ラベルが付与された擬ラベルデータとを用いて、生徒モデルを学習する（ステップＳ１０５）。その後、モデル出力部１７０が、学習済みのモデルを出力する（ステップＳ１０６）。
【0086】
（技術的効果）
次に、第８実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第８実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0087】
図１１及び図１２で説明したように、第８実施形態に係る情報処理システム１０では、擬ラベル学習部２００において、擬ラベルに関する学習（具体的には、教師モデルの学習、擬ラベルの生成、及び擬ラベルの評価）が繰り返し実行される。このようにすれば、各モデルがより適切な状態になるよう学習されるため、より適切な擬ラベル（即ち、評価擬ラベル）を出力することが可能となる。
【0088】
＜第９実施形態＞
第９実施形態に係る情報処理システム１０について、図１３及び図１４を参照して説明する。なお、第９実施形態に係る情報処理システム１０は、上述した第１から第８実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分については第１から第８実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
第９実施形態に係る情報処理システム１０について、図１３及び図１４を参照して説明する。なお、第９実施形態に係る情報処理システム１０は、上述した第１から第８実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分については第１から第８実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
【0089】
（機能的構成）
まず、図１３を参照しながら、第９実施形態に係る情報処理システム１０の機能的構成について説明する。図１３は、第９実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１３では、図２で示した構成要素と同様の要素に同一の符号を付している。
まず、図１３を参照しながら、第９実施形態に係る情報処理システム１０の機能的構成について説明する。図１３は、第９実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１３では、図２で示した構成要素と同様の要素に同一の符号を付している。
【0090】
図１３に示すように、第９実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、ラベルありデータ入力部１１０と、ラベルなしデータ入力部１２０と、教師モデル学習部１３０と、擬ラベル生成部１４０と、擬ラベル評価部１５０と、生徒モデル学習部１６０と、モデル出力部１７０と、モデル調整部１９０と、を備えて構成されている。即ち、第９実施形態に係る情報処理システム１０は、第１実施形態の構成（図２参照）に加えて、モデル調整部１９０を更に備えて構成されている。
【0091】
モデル調整部１９０は、学習済みのモデルの一部の層を、ラベルありデータを用いて調整可能に構成されている。具体的には、モデル調整部１９０は、学習済みモデルに対してＦｉｎｅ Ｔｕｎｉｎｇを実行可能に構成されている。
【0092】
（動作の流れ）
次に、図１４を参照しながら、第９実施形態に係る情報処理システム１０の動作の流れについて説明する。図１４は、第９実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図１４では、図３で示した処理と同様の処理に同一の符号を付している。
次に、図１４を参照しながら、第９実施形態に係る情報処理システム１０の動作の流れについて説明する。図１４は、第９実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図１４では、図３で示した処理と同様の処理に同一の符号を付している。
【0093】
図１４に示すように、第９実施形態に係る情報処理システム１０が動作する際には、まず教師モデル学習部１３０が、ラベルありデータ入力部１１０から入力されたラベルありデータを用いて、教師モデルを学習する（ステップＳ１０１）。そして、擬ラベル生成部１４０が、学習済みの教師モデルを用いて擬ラベルを生成し、ラベルなしデータ入力部１２０から入力されたラベルなしデータに付与する（ステップＳ１０２）。
【0094】
続いて、擬ラベル評価部１５０が評価モデルを学習する（ステップＳ１０３）。そして、擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルのうち低品質なものを除去する（ステップＳ１０４）。
【0095】
続いて、生徒モデル学習部１６０は、ラベルありデータと、評価擬ラベルが付与された擬ラベルデータとを用いて、生徒モデルを学習する（ステップＳ１０５）。そして第９実施形態では特に、モデル調整部１９０が、ラベルありデータを用いて学習済みのモデルの調整を行う（ステップＳ８０１）。その後、モデル出力部１７０が、調整された学習済みのモデルを出力する（ステップＳ１０６）。
【0096】
（技術的効果）
次に、第９実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
次に、第９実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
【0097】
図１３及び図１４で説明したように、第９実施形態に係る情報処理システム１０では、学習済みのモデルを出力する前にモデルの調整が行われる。このようにすれば、出力される学習済みのモデルを、より適切なものにすることが可能である。
【0098】
上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【0099】
記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0100】
この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理システム、情報処理方法、及び記録媒体もまたこの開示の技術思想に含まれる。
【0101】
＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
【0102】
（付記１）
付記１に記載の情報処理システムは、ラベルありデータ及びラベルなしデータを入力するデータ入力手段と、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与する擬ラベル付与手段と、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力する擬ラベル評価手段と、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習する生徒モデル学習手段と、学習済みの前記生徒モデルを出力するモデル出力手段と、を備える情報処理システムである。
付記１に記載の情報処理システムは、ラベルありデータ及びラベルなしデータを入力するデータ入力手段と、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与する擬ラベル付与手段と、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力する擬ラベル評価手段と、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習する生徒モデル学習手段と、学習済みの前記生徒モデルを出力するモデル出力手段と、を備える情報処理システムである。
【0103】
（付記２）
付記２に記載の情報処理システムは、前記データ入力手段に入力される前記ラベルありデータと、前記ラベルなしデータと、を互いに共通するドメインに変換するドメイン変換手段を更に備える付記１に記載の情報処理システムである。
付記２に記載の情報処理システムは、前記データ入力手段に入力される前記ラベルありデータと、前記ラベルなしデータと、を互いに共通するドメインに変換するドメイン変換手段を更に備える付記１に記載の情報処理システムである。
【0104】
（付記３）
付記３に記載の情報処理システムは、前記評価モデルは、前記ラベルなしデータのみを用いて学習されている付記１又は２に記載の情報処理システムである。
付記３に記載の情報処理システムは、前記評価モデルは、前記ラベルなしデータのみを用いて学習されている付記１又は２に記載の情報処理システムである。
【0105】
（付記４）
付記４に記載の情報処理システムは、前記評価モデルは、一部の前記ラベルありデータを用いて学習した後、前記ラベルなしデータを用いて学習されている付記１又は２に記載の情報処理システムである。
付記４に記載の情報処理システムは、前記評価モデルは、一部の前記ラベルありデータを用いて学習した後、前記ラベルなしデータを用いて学習されている付記１又は２に記載の情報処理システムである。
【0106】
（付記５）
付記５に記載の情報処理システムは、前記評価モデルは、前記ラベルありデータのみを用いて学習されている付記１又は２に記載の情報処理システムである。
付記５に記載の情報処理システムは、前記評価モデルは、前記ラベルありデータのみを用いて学習されている付記１又は２に記載の情報処理システムである。
【0107】
（付記６）
付記６に記載の情報処理システムは、前記擬ラベル評価手段は、前記教師モデルの出力と、前記ラベルありデータに付与されているラベルと、の差を用いて学習されている付記１又は２に記載の情報処理システムである。
付記６に記載の情報処理システムは、前記擬ラベル評価手段は、前記教師モデルの出力と、前記ラベルありデータに付与されているラベルと、の差を用いて学習されている付記１又は２に記載の情報処理システムである。
【0108】
（付記７）
付記７に記載の情報処理システムは、前記擬ラベル評価手段は、別々に学習した複数の前記評価モデルを用いて、前記擬ラベルを評価する付記１から６のいずれか一項に記載の情報処理システムである。
付記７に記載の情報処理システムは、前記擬ラベル評価手段は、別々に学習した複数の前記評価モデルを用いて、前記擬ラベルを評価する付記１から６のいずれか一項に記載の情報処理システムである。
【0109】
（付記８）
付記８に記載の情報処理システムは、前記ラベルありデータを用いて前記教師モデルを学習する教師モデル学習手段を更に備え、前記教師モデル学習手段は、前記擬ラベル評価手段の評価結果を用いて、前記教師モデルを再学習する付記１から７のいずれか一項に記載の情報処理システムである。
付記８に記載の情報処理システムは、前記ラベルありデータを用いて前記教師モデルを学習する教師モデル学習手段を更に備え、前記教師モデル学習手段は、前記擬ラベル評価手段の評価結果を用いて、前記教師モデルを再学習する付記１から７のいずれか一項に記載の情報処理システムである。
【0110】
（付記９）
付記９に記載の情報処理システムは、学習済みの前記生徒モデルの一部の層を、前記ラベルありデータを用いて学習する調整手段を更に備える付記１から８のいずれか一項に記載の情報処理システムである。
付記９に記載の情報処理システムは、学習済みの前記生徒モデルの一部の層を、前記ラベルありデータを用いて学習する調整手段を更に備える付記１から８のいずれか一項に記載の情報処理システムである。
【0111】
（付記１０）
付記１０に記載の情報処理方法は、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法である。
付記１０に記載の情報処理方法は、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法である。
【0112】
（付記１１）
付記１１に記載の記録媒体は、コンピュータに、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
付記１１に記載の記録媒体は、コンピュータに、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
【0113】
（付記１２）
付記１２に記載のコンピュータプログラムは、コンピュータに、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法を実行させるコンピュータプログラムである。
付記１２に記載のコンピュータプログラムは、コンピュータに、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法を実行させるコンピュータプログラムである。
【符号の説明】
【0114】
１０ 情報処理システム
１１ プロセッサ
１１０ ラベルありデータ入力部
１２０ ラベルなしデータ入力部
１３０ 教師モデル学習部
１４０ 擬ラベル生成部
１５０ 擬ラベル評価部
１５１ 評価モデル
１６０ 生徒モデル学習部
１７０ モデル出力部
１８０ ドメイン変換部
１９０ モデル調整部
２００ 擬ラベル学習部
１１ プロセッサ
１１０ ラベルありデータ入力部
１２０ ラベルなしデータ入力部
１３０ 教師モデル学習部
１４０ 擬ラベル生成部
１５０ 擬ラベル評価部
１５１ 評価モデル
１６０ 生徒モデル学習部
１７０ モデル出力部
１８０ ドメイン変換部
１９０ モデル調整部
２００ 擬ラベル学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】