特開 2024-57734 情報処理プログラム，訓練プログラム，情報処理方法，訓練方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024057734

(43)【公開日】2024-04-25

(54)【発明の名称】情報処理プログラム，訓練プログラム，情報処理方法，訓練方法および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240418BHJP

【ＦＩ】

G06N20/00 130

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022164589

(22)【出願日】2022-10-13

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(74)【代理人】

【識別番号】100189201

【弁理士】

【氏名又は名称】横田 功

(72)【発明者】

【氏名】守屋 政宏

(57)【要約】

【課題】ＡＩ（Artificial Intelligence）モデルの精度向上に寄与する訓練データを効率的に作成することができるようにする。
【解決手段】入力データに応じた予測結果の出力を行なう第１のＡＩモデルに対する入力データと、この入力データに対する第１のＡＩモデルの予測結果と正解との差を示す第１の損失値とを対応付けた訓練データを用いた機械学習により訓練された、第２のＡＩモデルに複数のデータを入力することで、複数のデータそれぞれについての第１の損失値の予測値を取得し、取得した第１の損失値の予測値に基づいて、複数のデータの中から、第１のＡＩモデルの前記訓練データに用いるデータを選択する。
【選択図】図５

【特許請求の範囲】

【請求項1】

入力データに応じた予測結果の出力を行なう第１のＡＩ（Artificial Intelligence）モデルに対する入力データと、当該入力データに対する前記第１のＡＩモデルの予測結果と正解との差を示す第１の損失値とを対応付けた訓練データを用いた機械学習により訓練された、第２のＡＩモデルに複数のデータを入力することで、前記複数のデータそれぞれについての前記第１の損失値の予測値を取得し、
取得した前記第１の損失値の予測値に基づいて、前記複数のデータの中から、前記第１のＡＩモデルの前記訓練データに用いるデータを選択する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記訓練データに用いるデータを選択する処理は、前記複数のデータの中から、前記第１の損失値の予測値が高いデータを優先して選択する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

入力データに対する第１のＡＩモデルの予測結果と正解との差を示す第１の損失値を取得し、
前記入力データと前記第１の損失値とを対応付けた訓練データを用いて、入力データに対する第１の損失値を予測する第２のＡＩモデルの訓練を行なう、
処理をコンピュータに実行させることを特徴とする訓練プログラム。

【請求項4】

入力データに応じた予測結果の出力を行なう第１のＡＩモデルに対する入力データと、当該入力データに対する前記第１のＡＩモデルの予測結果と正解との差を示す第１の損失値とを対応付けた訓練データを用いた機械学習により訓練された、第２のＡＩモデルに複数のデータを入力することで、前記複数のデータそれぞれについての前記第１の損失値の予測値を取得し、
取得した前記第１の損失値の予測値に基づいて、前記複数のデータの中から、前記第１のＡＩモデルの前記訓練データに用いるデータを選択する
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項5】

入力データに対する第１のＡＩモデルの予測結果と正解との差を示す第１の損失値を取得し、
前記入力データと前記第１の損失値とを対応付けた訓練データを用いて、入力データに対する第１の損失値を予測する第２のＡＩモデルの訓練を行なう、
処理をコンピュータが実行することを特徴とする訓練方法。

【請求項6】

入力データに応じた予測結果の出力を行なう第１のＡＩモデルに対する入力データと、当該入力データに対する前記第１のＡＩモデルの予測結果と正解との差を示す第１の損失値とを対応付けた訓練データを用いた機械学習により訓練された、第２のＡＩモデルに複数のデータを入力することで、前記複数のデータそれぞれについての前記第１の損失値の予測値を取得し、
取得した前記第１の損失値の予測値に基づいて、前記複数のデータの中から、前記第１のＡＩモデルの前記訓練データに用いるデータを選択する
処理を実行する制御部を含むことを特徴とする情報処理装置。

【請求項7】

入力データに対する第１のＡＩモデルの予測結果と正解との差を示す第１の損失値を取得し、
前記入力データと前記第１の損失値とを対応付けた訓練データを用いて、入力データに対する第１の損失値を予測する第２のＡＩモデルの訓練を行なう、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム，訓練プログラム，情報処理方法，訓練方法および情報処理装置に関する。

【背景技術】

【0002】

従来のＡＩ（Artificial Intelligence）モデルの作成（訓練）フローでは、十分な量の全体データから、ＡＩモデルの作成に使用するデータをいくつか抽出する。全体データからＡＩモデルの作成に使用するデータを抽出する作業をサンプリングといってよい。また、サンプリングにより抽出されたデータをサンプリングデータといってよい。

【0003】

従来のＡＩモデル作成方法においては、全体データからサンプリングデータを手作業あるいはランダムに抽出している。

【0004】

抽出したサンプリングデータに対してＡＩモデルが学習する正解データが付与され、訓練データが生成される。サンプリングデータと正解データとの組み合わせをデータセットといってよい。また、サンプリングデータに対して正解データを付与することをアノテーションといってよい。

【0005】

生成されたデータセットを用いてＡＩモデルの機械学習および評価が実施される。ＡＩモデルの作成では、上述したサンプリング，アノテーションおよび機械学習・評価の一連の処理が、データセットを拡充していきながら繰り返し実施される。また、ＡＩモデル生成におけるゴールは、十分な認識精度・処理性能を有するＡＩモデルの生成である。

【0006】

また、従来においては、例えば、全学習データセットからサンプリングされた部分データセットのメタ特徴量を用いて、全学習データセットを用いて生成した機械学習の予測モデルの精度情報を予測することで、効率的に予測モデルの予測精度を向上させる方法が知られている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】国際公開第２０２１／０４９３６５号

【特許文献2】国際公開第２０２１／２４１１７３号

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述の如く、従来のＡＩモデル作成方法においては、全体データの中からサンプリングデータを手作業あるいはランダムに抽出している。

【0009】

しかしながら、サンプリングを手作業で行なう場合には、手作業に由来する客観性の欠如のおそれがあり、また、サンプリングを実施するための作業負荷が大きい。

【0010】

また、サンプリングをランダムに行なう場合には、ＡＩモデルの認識精度に寄与しやすいデータを選ぶことができない。そのため、無駄なアノテーション作業が発生し、アノテーション作業あたりの認識精度向上効率が低くなる。

【0011】

また、上述した全学習データセットからサンプリングされた部分データセットのメタ特徴量を用いて、全学習データセットを用いて生成した機械学習の予測モデルの精度情報を予測する従来手法においては、データセットごとに予測精度の向上幅を算出している。しかしながら、予測精度の向上幅を算出する際に、部分データセットに対してアノテーションを実施する必要がある。

【0012】

１つの側面では、本発明は、ＡＩモデルの精度向上に寄与する訓練データを効率的に作成することができるようにすることを目的とする。

【課題を解決するための手段】

【0013】

このため、この情報処理プログラムは、入力データに応じた予測結果の出力を行なう第１のＡＩモデルに対する入力データと、当該入力データに対する前記第１のＡＩモデルの予測結果と正解との差を示す第１の損失値とを対応付けた訓練データを用いた機械学習により訓練された、第２のＡＩモデルに複数のデータを入力することで、前記複数のデータそれぞれについての前記第１の損失値の予測値を取得し、取得した前記第１の損失値の予測値に基づいて、前記複数のデータの中から、前記第１のＡＩモデルの前記訓練データに用いるデータを選択する処理をコンピュータに実行させる。

【発明の効果】

【0014】

一実施形態によれば、ＡＩモデルの精度向上に寄与する訓練データを効率的に作成することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態の一例としてのモデル生成装置の機能構成を示す図である。

【図2】実施形態の一例としてのモデル生成装置の機能を実現するコンピュータのハードウェア（ＨＷ）構成例を示すブロック図である。

【図3】実施形態の一例としてのモデル生成装置の難易度情報を例示する図である。

【図4】実施形態の一例としてのモデル生成装置の補助ＡＩ処理部の処理を説明するための図である。

【図5】実施形態の一例としてのモデル生成装置の処理の概要を説明するための図である。

【図6】実施形態の一例としてのモデル生成装置におけるＡＩモデルおよび補助ＡＩモデルの作成（訓練）処理を説明するための図である。

【図7】実施形態の一例としてのモデル生成装置の処理を説明するためのフローチャートである。

【図8】実施形態の一例としてのモデル生成装置の補助ＡＩ処理部の処理を説明するためのフローチャートである。

【図9】実施形態の一例としてのモデル生成装置による効果を説明するための図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して本情報処理プログラム，訓練プログラム，情報処理方法，訓練方法および情報処理装置にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

【0017】

（Ａ）構成
図１は実施形態の一例としてのモデル生成装置１の機能構成を示す図である。
モデル生成装置１は、ＡＩモデル２０１を生成するものであり、データセット（訓練データ）を生成し、この生成したデータセットを用いてＡＩモデル２０１の機械学習および評価を実施する。

【0018】

ＡＩモデル２０１は、本モデル生成装置１による生成（訓練）対象の機械学習モデルである。ＡＩモデル２０１を主ＡＩモデル２０１といってよい。ＡＩモデル２０１は、入力データに応じた予測結果の出力を行なう第１のＡＩモデルに相当する。

【0019】

ＡＩモデル２０１は、ハードウェア回路であってもよいし、後述するプロセッサ１０ａ（図２参照）等によりコンピュータプログラム上で仮想的に構築される階層間を接続するソフトウェアによる仮想的なネットワークであってもよい。

【0020】

ＡＩモデル２０１は、入力層と出力層との間に複数の隠れ層を含むディープニューラルネットワークであってよい。
ＡＩモデル２０１は、後述するＡＩ訓練処理部１０５により訓練（機械学習）される。

【0021】

（Ａ－１）ハードウェア構成例
図２は実施形態の一例としてのモデル生成装置１の機能を実現するコンピュータ１０のハードウェア（ＨＷ）構成を示すブロック図である。モデル生成装置１の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図２に例示するＨＷ構成を備えてよい。

【0022】

図２に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ、グラフィック処理装置１０ｂ、メモリ１０ｃ、記憶部１０ｄ、ＩＦ（Interface）部１０ｅ、ＩＯ（Input / Output）部１０ｆ、及び読取部１０ｇを備えてよい。

【0023】

プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例であり、種々の処理を実行する制御部である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｊで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。

【0024】

プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；integrated circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。

【0025】

グラフィック処理装置１０ｂは、ＩＯ部１０ｆのうちのモニタ等の出力装置に対する画面表示制御を行なう。また、グラフィック処理装置１０ｂは、機械学習モデル（ＡＩモデル２０１，補助ＡＩモデル２０２）を利用した機械学習処理及び推論処理を実行するアクセラレータとしての構成を有してよい。グラフィック処理装置１０ｂとしては、種々の演算処理装置、例えば、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡ等の集積回路（ＩＣ）が挙げられる。

【0026】

メモリ１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｃとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方または双方が挙げられる。

【0027】

記憶部１０ｄは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｄとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。

【0028】

記憶部１０ｄは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｈを格納してよい。プログラム１０ｈは、訓練プログラムおよび情報処理プログラムを含んでよい。

【0029】

例えば、モデル生成装置１のプロセッサ１０ａは、記憶部１０ｄに格納されたプログラム（情報処理プログラム）１０ｈをメモリ１０ｃに展開して実行することにより、後述するサンプリング機能を実現できる。

【0030】

また、プロセッサ１０ａは、記憶部１０ｄに格納されたプログラム（訓練プログラム）１０ｈをメモリ１０ｃに展開して実行することにより、後述するモデル生成機能を実現できる。

【0031】

ＩＦ部１０ｅは、本コンピュータ１０と他のコンピュータとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｅは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方または双方の通信方式に対応してよい。

【0032】

例えば、モデル生成装置１は、ＩＦ部１０ｅ及びネットワークを介して、図示しない他の情報処理装置やデータベースと相互に通信可能に接続されてよい。なお、プログラム１０ｈは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｄに格納されてもよい。

【0033】

ＩＯ部１０ｆは、入力装置、及び、出力装置、の一方または双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。また、ＩＯ部１０ｆは、入力装置及び出力装置が一体となったタッチパネル等を含んでもよい。出力装置は、グラフィック処理装置１０ｂに接続されてよい。

【0034】

読取部１０ｇは、記録媒体１０ｉに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｇは、記録媒体１０ｉを接続可能または挿入可能な接続端子または装置を含んでよい。読取部１０ｇとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｉにはプログラム１０ｈが格納されてもよく、読取部１０ｇが記録媒体１０ｉからプログラム１０ｈを読み出して記憶部１０ｄに格納してもよい。

【0035】

記録媒体１０ｉとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。

【0036】

上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、または、バスの追加若しくは削除等は適宜行なわれてもよい。

【0037】

（Ａ－２）機能構成例
図１に示すように、モデル生成装置１は、例示的に、サンプリング処理部１１０，データセット生成部１０４およびＡＩ訓練処理部１０５としての機能を備えてよい。これらの機能は、コンピュータ１０（図２参照）のハードウェアにより実現されてよい。

【0038】

サンプリング処理部１１０は、複数のデータ（全体データ）の中からＡＩモデル２０１の訓練（機械学習）に用いるためのデータ（サンプリングデータ）をサンプリングする。全体データに含まれる複数のデータは、サンプリング候補のデータ群である。
サンプリング処理部１１０としての機能（サンプリング機能）は、プロセッサ１０ａが上述した情報処理プログラムを実行することで実現される。

【0039】

サンプリング処理部１１０は、図１に示すように、補助ＡＩ処理部１０１およびデータ抽出部１０２としての機能を有する。

【0040】

補助ＡＩ処理部１０１は、補助ＡＩモデル２０２に対する種々の処理を行なう。
補助ＡＩモデル２０２は、ＡＩモデル２０１にデータを入力して得られる出力（予測値，推定値）と正解データ（正解値）とのずれを表す損失値を予測する機械学習モデルである。

【0041】

損失値が大きいデータは、ＡＩモデル２０１が正解を得るための難易度が高いデータであるといえる。損失値はデータの正解に導くための難易度を表す。以下、損失値を難易度という場合がある。

【0042】

入力データに対するＡＩモデル２０１（第１のＡＩモデル）の予測結果と正解との差（誤差）を示す第１の損失値を主損失値といってよい。補助ＡＩモデル２０２は主損失値を予測する。補助ＡＩモデル２０２が予測することで得られる主損失値の予測値を予測損失値といってよい。

【0043】

補助ＡＩモデル２０２は、ＡＩモデル２０１（第１のＡＩモデル）に対する入力データと、当該入力データに対するＡＩモデル２０１の予測結果と正解との差を示す主損失値（第１の損失値）とを対応付けたデータセット（訓練データ）を用いた機械学習により訓練される。

【0044】

補助ＡＩモデル２０２は、サンプリング候補のデータ群である複数のデータを入力することで、これらの複数のデータそれぞれについての主損失値（第１の損失値）を予測して予測損失値を出力する第２のＡＩモデルに相当する。

【0045】

補助ＡＩ処理部１０１は、補助ＡＩモデル２０２に、サンプリング候補のデータ群である複数のデータを入力することで、これらの複数のデータそれぞれについての予測損失値を取得する。

【0046】

補助ＡＩモデル２０２は、ハードウェア回路であってもよいし、プロセッサ１０ａ（図２参照）等によりコンピュータプログラム上で仮想的に構築される階層間を接続するソフトウェアによる仮想的なネットワークであってもよい。

【0047】

補助ＡＩモデル２０２は、入力層と出力層との間に複数の隠れ層を含むディープニューラルネットワークであってよい。

【0048】

補助ＡＩ処理部１０１は、全体データ（サンプリング候補のデータ群）から取り出したデータを補助ＡＩモデル２０２に入力することで、当該データをＡＩモデル２０１に入力した場合に得られる出力（予測値，推定値）と正解データ（正解値）とのずれを表す主損失の予測値である予測損失値を取得する。

【0049】

補助ＡＩ処理部１０１は、全体データの全てのデータを補助ＡＩモデル２０２に入力し、これらのデータのそれぞれに対する予測損失値を取得する。

【0050】

この際、補助ＡＩ処理部１０１は、全体データのデータをそれぞれ個別に補助ＡＩモデル２０２に入力する。補助ＡＩ処理部１０１は、１つのデータを補助ＡＩモデル２０２に入力することで、この１つのデータに対応する１つの予測損失値（難易度）を得る。

【0051】

補助ＡＩ処理部１０１は、取得した、全体データの全てのデータのそれぞれに対する予測損失値を、記憶部１０ｄの所定の記憶領域等に記憶させてよい。

【0052】

補助ＡＩ処理部１０１は、全体データに含まれる各データを特定する情報と、各データに対応する予測損失値とを対応付けて、難易度情報１０３を作成する。補助ＡＩ処理部１０１は、作成した難易度情報１０３を、記憶部１０ｄの所定の記憶領域等に記憶させてよい。

【0053】

図３は実施形態の一例としてのモデル生成装置１の難易度情報１０３を例示する図である。
この図３に例示する難易度情報１０３は、データと難易度とを対応付けたテーブルとして示されている。難易度情報１０３におけるデータは、全体データに含まれるデータを特定する情報である。データを特定する情報は、例えば、ファイル名や識別情報であってよい。また、難易度情報１０３において、難易度は、データを補助ＡＩモデル２０２に入力することで得られる予測損失値である。

【0054】

この図３においては、全体データがＮ個のデータを含んでいる例を示している。また、これらのＮ個のデータは、難易度の値に基づいて降順にソートされている。すなわち、図３に例示する難易度情報１０３においては、全データを構成する複数のデータ（サンプリング候補のデータ群）が、ランキング付けされ、難易度が高いものから順に並べられている。

【0055】

これにより、この難易度情報１０３を参照することで、全体データの中から、難易度が上位のデータや、難易度が閾値以上のデータを容易に抽出することができる。

【0056】

難易度の値が大きい（難易度が高い）データは、ＡＩモデル２０１にとって、より認識しづらいデータである。このような難易度が高いデータは、ＡＩモデル２０１が充分に学習できていない特徴情報を含み、訓練データ（データセット）に加えることでＡＩモデル２０１の認識精度を大きく向上させる期待が高いデータと言える。

【0057】

図３においては、データと難易度とを対応付けたテーブルとして示された難易度情報１０３を示しているが、これに限定されるものではない。難易度情報１０３はテーブル以外のフォーマットを有してもよく、適宜変更して実施することができる。

【0058】

図４は実施形態の一例としてのモデル生成装置１の補助ＡＩ処理部１０１の処理を説明するための図である。
この図４においては、補助ＡＩ処理部１０１が、全体データのＮ個のデータに対して行なう処理を例示している。

【0059】

補助ＡＩ処理部１０１は、全体データに含まれる全て（Ｎ個）のデータを、順次、補助ＡＩモデル２０２に入力し、各データをＡＩモデル２０１に入力して得られる予測結果についての損失値（主損失値，難易度）を、それぞれ予測（判定）させる。これにより、補助ＡＩ処理部１０１は、サンプリング候補の各データについて、各データの主損失値を予測した予測損失値を取得する。

【0060】

補助ＡＩ処理部１０１は、補助ＡＩモデル２０２を用いて、全体データに含まれる各データに対する難易度を予測するといってよい。

【0061】

補助ＡＩ処理部１０１は、データを補助ＡＩモデル２０２に入力することによって出力される予測損失値を、当該データを特定する情報に対応付けて、難易度情報１０３に登録する。

【0062】

また、補助ＡＩ処理部１０１は、補助ＡＩモデル２０２の訓練（機械学習）を行なう。補助ＡＩモデル２０２の訓練には、後述するデータセット生成部１０４が生成したデータセットに含まれるサンプリングデータをＡＩモデル２０１に入力することで得られる予測結果（予測値，推定値）と、当該データセットにおける正解データ（正解値）との差（ずれ，誤差）を表す損失値（第１の損失値）を正解データとして用いる。

【0063】

データをＡＩモデル２０１に入力することで得られる予測結果と正解データ（正解値）との差を表す損失値を第１損失値といってよい。第１損失値は、後述するＡＩ訓練処理部１０５により算出される。

【0064】

補助ＡＩ処理部１０１は、データセット生成部１０４が生成したデータセットに含まれるサンプリングデータを補助ＡＩモデル２０２の入力層に入力する。補助ＡＩ処理部１０１は、補助ＡＩモデル２０２に対して、畳み込み層やプーリング層などで構成される隠れ層にて所定の計算を順次実行させることで、演算により得られる情報を入力側から出力側に順次伝えるフォーワッド方向の処理（順伝播処理）を実行させる。

【0065】

また、補助ＡＩ処理部１０１は、データセットに含まれるサンプリングデータをＡＩモデル２０１に入力することで得られる予測結果に関する第１損失値を取得する。

【0066】

補助ＡＩ処理部１０１は、フォーワッド方向の処理の実行後、補助ＡＩモデル２０２の出力層から出力される予測結果と、正解データである第１損失値とから得られる誤差関数（損失関数）の値（第２損失値）を小さくするために、フォーワッド方向の処理で使用するパラメータを決定するバックワード方向の処理（逆伝播処理）を実行させる。そして、補助ＡＩ処理部１０１は、逆伝播処理の結果に基づいて補助ＡＩモデル２０２の重み等の変数を更新する更新処理を実行する。例えば、逆伝播処理の計算に使用される重みの更新幅を決定するアルゴリズムとして、勾配降下法が使用されてよい。

【0067】

補助ＡＩ処理部１０１は、データを補助ＡＩモデル２０２に入力することで得られる予測結果と正解データ（正解値）との差を表す第２損失値を算出するのである。

【0068】

補助ＡＩ処理部１０１は、損失関数を用いて第２損失値を算出する。第２損失値の算出に用いられる損失関数を第２の損失関数といってよい。

【0069】

なお、補助ＡＩ処理部１０１としての機能および後述するＡＩ訓練処理部１０５としての機能（モデル生成機能）は、プロセッサ１０ａが上述した訓練プログラムを実行することで実現される。

【0070】

データ抽出部１０２は、難易度情報１０３を参照して、全体データの中からサンプリングデータを抽出する。

【0071】

データ抽出部１０２は、全体データの中から難易度が高いデータを優先して抽出する。例えば、データ抽出部１０２は、難易度情報１０３を参照して、全体データの中から、難易度が高いものから順に、所定数（サンプリング数：例えば、１００個）のデータを抽出（選択）してよい。また、データ抽出部１０２は、全体データの中から難易度が所定の閾値以上のデータを抽出してよい。

【0072】

データ抽出部１０２が全体データから抽出したデータはサンプリングデータとして用いられる。データ抽出部１０２は、抽出したサンプリングデータもしくは抽出したサンプリングデータを特定する情報を記憶部１０ｄの所定の記憶領域等に記憶させてよい。

【0073】

データ抽出部１０２が抽出したサンプリングデータに対して、正解データの付与（アノテーション）が行なわれる。アノテーションは、例えばユーザが行なってもよく、また、データセット生成部１０４が既知の手法を用いて行なってもよい。

【0074】

データセット生成部１０４は、サンプリングデータに対して、アノテーションにより生成された正解データを対応させてデータセットを生成する。

【0075】

データセット生成部１０４は、生成したデータセットを、記憶部１０ｄの所定の記憶領域等に記憶させる。

【0076】

記憶部１０ｄの所定の記憶領域等に、先に作成されたデータセットがすでに記憶されている場合には、データセット生成部１０４は、先に作成されたデータセットに、新たに生成したデータセットを追加することでデータセットを拡充する。

【0077】

ＡＩ訓練処理部１０５は、ＡＩモデル２０１の訓練を実施する。ＡＩ訓練処理部１０５は、データセットに含まれるサンプリングデータをＡＩモデル２０１の入力層に入力する。

【0078】

ＡＩ訓練処理部１０５は、ＡＩモデル２０１の訓練において、データセットに含まれる正解データを正解データとして用いる。

【0079】

ＡＩ訓練処理部１０５は、ＡＩモデル２０１に対して、畳み込み層やプーリング層などで構成される隠れ層にて所定の計算を順次実行させることで、演算により得られる情報を入力側から出力側に順次伝えるフォーワッド方向の処理（順伝播処理）を実行させる。

【0080】

フォーワッド方向の処理の実行後、ＡＩ訓練処理部１０５は、出力層から出力される出力データと正解データとから得られる誤差関数（損失関数）の値を小さくするために、フォーワッド方向の処理で使用するパラメータを決定するバックワード方向の処理（逆伝播処理）を実行させる。そして、ＡＩ訓練処理部１０５は、逆伝播処理の結果に基づいてＡＩモデル２０１の重み等の変数を更新する更新処理を実行する。例えば、逆伝播処理の計算に使用される重みの更新幅を決定するアルゴリズムとして、勾配降下法が使用されてよい。

【0081】

ＡＩ訓練処理部１０５は、データをＡＩモデル２０１に入力することで得られる予測結果と正解データ（正解値）との差を表す第１損失値（第１の損失値）を算出するのである。

【0082】

ＡＩ訓練処理部１０５は、損失関数を用いて第１損失値を算出する。第１損失値の算出に用いられる損失関数を第１の損失関数といってよい。

【0083】

（Ｂ）動作
上述の如く構成された実施形態の一例としてのモデル生成装置１の処理の概要を、図５を用いて説明する。以下の処理は、ＡＩモデル２０１の訓練フェーズの処理を示す。

【0084】

データ抽出部１０２が、全体データの中からＡＩモデル２０１の訓練に用いるサンプリングデータを抽出するサンプリングを行なう（符号Ａ１）。

【0085】

この際、データ抽出部１０２は、難易度情報１０３を参照する（符号Ａ２）。既に難易度情報１０３が作成されている場合には、データ抽出部１０２は、全体データの中から（符号Ａ３）、難易度情報１０３において難易度が高いものから順に、所定数（サンプリング数）のデータをサンプリングする。

【0086】

また、初回実行時等の理由で難易度情報１０３が存在しない場合には、データ抽出部１０２は、全体データの中からランダムに選択する等の既知の手法を用いてサンプリングを行なう。

【0087】

データ抽出部１０２は、全体データから抽出したサンプリングデータを、記憶部１０ｄの所定の記憶領域等に記憶させる。また、先に抽出されたサンプリングデータが記憶部１０ｄの所定の記憶領域等に既に記憶されている場合には、データ抽出部１０２は、抽出したサンプリングデータを既存のサンプリングデータに追加することで、サンプリングデータを拡充させる（符号Ａ４）。

【0088】

例えば、ユーザが、各サンプリングデータに対して（符号Ａ５）、アノテーションを行なうことで正解データを設定する（符号Ａ６）。データセット生成部１０４が、サンプリングデータに対してアノテーションにより生成された正解データを対応付けることでデータセットを生成する。

【0089】

データセット生成部１０４が、生成したデータセットを記憶部１０ｄの所定の記憶領域等に記憶させる（符号Ａ７）。また、既にデータセットが作成され、記憶部１０ｄの所定の記憶領域等にデータセットが記憶されている場合には、データセット生成部１０４は、先に作成されたデータセットに、新たに生成したデータセットを追加することでデータセットを拡充する。

【0090】

ＡＩ訓練処理部１０５が、データセットを取得（参照）し（符号Ａ８）、ＡＩモデル２０１の作成（訓練）を行なう（符号Ａ９）。

【0091】

また、補助ＡＩ処理部１０１は、補助ＡＩモデル２０２の作成（訓練）を行なう（符号Ａ１０）。この際、補助ＡＩ処理部１０１は、データセットに含まれるサンプリングデータを補助ＡＩモデル２０２に入力するとともに、当該データセットを用いたＡＩモデル２０１の訓練に際して算出された第１損失値を正解データとして用いる。

【0092】

補助ＡＩモデル２０２の訓練はＡＩモデル２０１の訓練と並行して行なわれ、補助ＡＩ処理部１０１は、直前にＡＩモデル２０１の訓練および評価に用いられた第１損失値を用いて補助ＡＩモデル２０２の訓練を行なう。

【0093】

ＡＩ訓練処理部１０５は、ＡＩモデル２０１の精度もしくは性能を評価する（符号Ａ１１）。例えば、ＡＩ訓練処理部１０５は、ＡＩモデル２０１による予測値と正解データとの差に基づいて、ＡＩモデル２０１の精度もしくは性能を評価してよい。ＡＩモデル２０１の精度もしくは性能を精度・性能と表してよい。

【0094】

評価の結果、ＡＩモデル２０１の精度・性能が所定の閾値以上となり、仕様上充分である場合には（Ａ１１のＹｅｓルート参照）、ＡＩモデル２０１の生成処理を終了する。

【0095】

一方、ＡＩモデル２０１の精度・性能が不充分である場合には（Ａ１１のＮｏルート参照）、補助ＡＩ処理部１０１が、全体データを構成する各データを補助ＡＩモデル２０２に入力し（符号Ａ１２）、各データの予測損失値（難易度）を予測させる（符号Ａ１３）。補助ＡＩ処理部１０１は、算出された各予測損失値を用いて難易度情報１０３を生成（更新）する（符号Ａ１４）。その後、符号Ａ１～符号Ａ１４に示した処理が繰り返し実行される。

【0096】

上述した、Ａ１～Ａ１４の処理によるサイクルを２回以上繰り返すことで、２回目以降のサイクルでのサンプリング処理において、データ抽出部１０２が、難易度情報１０３を参照したサンプリングを実施することができる。

【0097】

次に、実施形態の一例としてのモデル生成装置１におけるＡＩモデル２０１および補助ＡＩモデル２０２の作成（訓練）処理を、図６を用いて説明する。

【0098】

ＡＩモデル２０１の訓練フェーズにおいて、データセット生成部１０４により生成されたデータセットのサンプリングデータは、ＡＩモデル２０１と補助ＡＩモデル２０２とのそれぞれに入力データとして入力される（符号Ｂ１）。

【0099】

ＡＩ訓練処理部１０５は、ＡＩモデル２０１に入力データ（サンプリングデータ）を入力させてＡＩモデル２０１に予測（推定）を行なわせる（符号Ｂ２）。

【0100】

ＡＩ訓練処理部１０５は、入力データをＡＩモデル２０１に入力することで得られる予測結果とデータセットから抽出した正解データ（正解値）とに基づき、第１の損失関数を用いて第１損失値（予測損失値）を算出する（符号Ｂ３）。

【0101】

ＡＩ訓練処理部１０５は、第１損失値を小さくようにＡＩモデル２０１の重み等のパラメータ更新する更新処理を実行することで、ＡＩモデル２０１の訓練を実施する。

【0102】

また、補助ＡＩ処理部１０１が、補助ＡＩモデル２０２に入力データ（サンプリングデータ）を入力させて補助ＡＩモデル２０２に予測（推定）を行なわせる（符号Ｂ４）。

【0103】

補助ＡＩ処理部１０１は、データを補助ＡＩモデル２０２に入力することで得られる予測結果と、ＡＩモデル２０１が同じ入力データを用いて推論を行なった結果得られた第１損失値（正解データ）とに基づき、第２の損失関数を用いて第２損失値（予測損失値）を算出する（符号Ｂ５）。

【0104】

補助ＡＩ処理部１０１は、第２損失値を小さくするように補助ＡＩモデル２０２の重み等のパラメータ更新する更新処理を実行することで、補助ＡＩモデル２０２の訓練を実施する。

【0105】

次に、実施形態の一例としてのモデル生成装置１の処理を、図７に示すフローチャート（ステップＣ１～Ｃ７）に従って説明する。

【0106】

ステップＣ１において、データ抽出部１０２が、難易度情報１０３を参照する。
ステップＣ２において、データ抽出部１０２が、全体データの中からＡＩモデル２０１の訓練に用いるサンプリングデータを抽出する。ここで、ステップＣ１における参照の結果、難易度情報１０３がある場合には、データ抽出部１０２は、全体データの中から、難易度情報１０３において難易度が高いものから順に、所定数のデータをサンプリングする。

【0107】

また、初回実行時等の理由で難易度情報１０３が存在しない場合には、データ抽出部１０２が、全体データの中からランダムに選択する等の既知の手法を用いて、サンプリングを行なう。

【0108】

ステップＣ３において、例えば、ユーザがアノテーションを行なってサンプリングデータに正解データを設定する。データセット生成部１０４が、サンプリングデータに対して、アノテーションにより生成された正解データを対応させることでデータセットを生成する。

【0109】

ステップＣ４において、ＡＩ訓練処理部１０５が、データセットを用いてＡＩモデル２０１の訓練を実行する。また、この際、ＡＩ訓練処理部１０５が、第１の損失関数を用いて第１損失値を算出する。

【0110】

ＡＩ訓練処理部１０５によるＡＩモデル２０１の訓練と並行して、補助ＡＩ処理部１０１が補助ＡＩモデル２０２の訓練を行なう。補助ＡＩ処理部１０１は、データセットに含まれるサンプリングデータを補助ＡＩモデル２０２に入力するとともに、当該データセットを用いたＡＩモデル２０１の訓練に際して算出された第１損失値を正解データとして用いて、補助ＡＩモデル２０２の訓練を行なう。

【0111】

ステップＣ５において、ＡＩ訓練処理部１０５が、ＡＩモデル２０１の精度・性能を評価する。例えば、ＡＩ訓練処理部１０５は、ＡＩモデル２０１の精度・性能が所定の閾値以上であるかを判断する。

【0112】

この評価の結果、ＡＩモデル２０１の精度・性能が所定の閾値以上となり、仕様上充分である場合には（ステップＣ５のＹＥＳルート参照）、処理を終了する。

【0113】

一方、ＡＩモデル２０１の精度・性能が所定の閾値未満であり、不充分である場合には（ステップＣ５のＮＯルート参照）、ステップＣ６に移行する。

【0114】

ステップＣ６において、補助ＡＩ処理部１０１が、全体データを構成する各データを補助ＡＩモデル２０２に入力し、各データの損失（難易度）を予測させる。

【0115】

ステップＣ７において、補助ＡＩ処理部１０１は、算出された予測損失を用いて難易度情報１０３を作成する。また、既に難易度情報１０３がある場合には、補助ＡＩ処理部１０１は、算出した予測損失を難易度情報１０３に追加することで難易度情報１０３を更新する。その後、ステップＣ１に戻る。

【0116】

次に、実施形態の一例としてのモデル生成装置１の補助ＡＩ処理部１０１の処理を、図８に示すフローチャート（ステップＤ１～Ｄ３）に従って説明する。

【0117】

ステップＤ１において、補助ＡＩ処理部１０１は、全体データの全てのデータを補助ＡＩモデル２０２に順次入力することで、各データに対する予測損失値を予測する。

【0118】

ステップＤ２において、補助ＡＩ処理部１０１は、全体データの各データについて、各データに基づいて補助ＡＩモデル２０２が予測した予測損失値（難易度）を対応付けることで、難易度情報１０３を作成する。

【0119】

また、既に難易度情報１０３が作成されている場合には、補助ＡＩ処理部１０１は、算出した予測損失を用いて難易度情報１０３を更新する。

【0120】

ステップＤ３において、補助ＡＩ処理部１０１は、補助ＡＩモデル２０２の訓練を行なう。この際、補助ＡＩ処理部１０１は、補助ＡＩモデル２０２の訓練に、サンプリングデータをＡＩモデル２０１に入力することで得られる予測結果に関する第１損失値を正解データとして用いる。その後、処理を終了する。

【0121】

なお、図８に示すフローチャートにおいて、ステップＤ３に示す処理は、ステップＤ１やステップＤ２よりも前に行なってもよく、適宜変更して実施することができる。

【0122】

（Ｃ）効果
このように、実施形態の一例としてのモデル生成装置１によれば、データ抽出部１０２が、訓練データを生成するためのサンプリングにおいて、難易度情報１０３を参照して、全体データから難易度が高いデータを優先して抽出する。これにより、ＡＩモデル２０１の精度向上に寄与しやすいデータを自動的かつ客観的に厳選することができ、ＡＩモデル２０１の精度向上に寄与する訓練データを効率的に作成することができる。

【0123】

難易度が高いデータは、ＡＩモデル２０１が充分に学習できていない特徴情報を含み、訓練データに加えることでＡＩモデル２０１の認識精度を大きく向上させる期待が高いデータと言えるからである。

【0124】

補助ＡＩ処理部１０１が、データを補助ＡＩモデル２０２に入力することによって出力される予測損失値を、当該データを特定する情報に対応付けて、難易度情報１０３に登録することで、難易度情報１０３を容易に作成することができる。

【0125】

また、補助ＡＩ処理部１０１が、直前にＡＩモデル２０１の訓練および評価に用いられた第１損失値を用いて補助ＡＩモデル２０２の訓練を行なうことで、補助ＡＩモデル２０２の訓練をＡＩモデル２０１の訓練と並行して行なう。これにより、補助ＡＩモデル２０２にＡＩモデル２０１の性能がリアルタイムに反映され、難易度情報１０３の信頼性を向上させることができ、ＡＩモデル２０１の精度向上に寄与しやすいデータを効率的に作成することができる。

【0126】

また、アノテーション１データあたりの認識精度向上幅を増大、あるいは単位認識精度向上あたりのアノテーションデータ数を削減することができる。従って、ＡＩモデル２０１の作成作業全体の省力化を実現できるとともに、ＡＩモデル２０１の認識精度を向上させることができる。

【0127】

また、補助ＡＩモデル２０２の訓練には、ＡＩモデル２０１に入力されたのと同じデータセットのサンプリングデータと、並行して行なわれたＡＩモデル２０１の訓練および評価に用いられた第１損失値とが用いられる。これにより、補助ＡＩモデル２０２の訓練のために追加の入力データや正解データを用意する必要がなく、低コストで実現することができる。

【0128】

図９は実施形態の一例としてのモデル生成装置１による効果を説明するための図である。
この図９においては、本モデル生成装置１により訓練したＡＩモデル２０１と、全体データの中からサンプリングデータをランダムに抽出する従来手法でサンプリングしたサンプリングデータで訓練したＡＩモデルとで、サイクル毎の精度の変化を比較して示す。

【0129】

また、この図９においては、全体データからサイクル毎に１００枚のデータをサンプリングしてデータセットを拡充した例を示す。

【0130】

この図９に示すように、本モデル生成装置１により訓練したＡＩモデル２０１の方が、従来手法でサンプリングしたサンプリングデータで訓練したＡＩモデルに比べて精度が向上していることがわかる。

【0131】

（Ｄ）その他
本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

【0132】

そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。

【0133】

例えば、上述した実施形態においては、データ抽出部１０２が、難易度情報１０３を参照して、全体データの中から、難易度が高いものから順にサンプリング数（例えば、１００個）のサンプリングデータを抽出している。すなわち、データ抽出部１０２が、全てのサンプリングデータを難易度情報１０３を参照して抽出しているが、これに限定されるものではない。

【0134】

例えば、データ抽出部１０２は、サンプリング数のうちの一部（例えば、５０個）のサンプリングデータを、難易度情報１０３を参照して全体データの中から難易度が高いものから順に選択することで抽出し、サンプリング数のうちの残りを全体データから他の手法を用いて抽出してもよい。

【0135】

例えば、データ抽出部１０２は、サンプリング数（例えば、１００個）のうちの一部（例えば、５０個）のサンプリングデータを、難易度情報１０３を参照して全体データの中から難易度が高いものから順に選択することで抽出する。そして、データ抽出部１０２は、サンプリング数のうちの残り（例えば、５０個）を全体データからランダムに選択することで抽出してもよい。

【0136】

また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。

【0137】

（Ｅ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
入力データに応じた予測結果の出力を行なう第１のＡＩモデルに対する入力データと、当該入力データに対する前記第１のＡＩモデルの予測結果と正解との差を示す第１の損失値とを対応付けた訓練データを用いた機械学習により訓練された、第２のＡＩモデルに複数のデータを入力することで、前記複数のデータそれぞれについての前記第１の損失値の予測値を取得し、
取得した前記第１の損失値の予測値に基づいて、前記複数のデータの中から、前記第１のＡＩモデルの前記訓練データに用いるデータを選択する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0138】

（付記２）
前記訓練データに用いるデータを選択する処理は、前記複数のデータの中から、前記第１の損失値の予測値が高いデータを優先して選択する
処理を含むことを特徴とする付記１に記載の情報処理プログラム。

【0139】

（付記３）
入力データに対する第１のＡＩモデルの予測結果と正解との差を示す第１の損失値を取得し、
前記入力データと前記第１の損失値とを対応付けた訓練データを用いて、入力データに対する第１の損失値を予測する第２のＡＩモデルの訓練を行なう、
処理をコンピュータに実行させることを特徴とする訓練プログラム。

【0140】

（付記４）
入力データに応じた予測結果の出力を行なう第１のＡＩモデルに対する入力データと、当該入力データに対する前記第１のＡＩモデルの予測結果と正解との差を示す第１の損失値とを対応付けた訓練データを用いた機械学習により訓練された、第２のＡＩモデルに複数のデータを入力することで、前記複数のデータそれぞれについての前記第１の損失値の予測値を取得し、
取得した前記第１の損失値の予測値に基づいて、前記複数のデータの中から、前記第１のＡＩモデルの前記訓練データに用いるデータを選択する
処理をコンピュータが実行することを特徴とする情報処理方法。

【0141】

（付記５）
前記訓練データに用いるデータを選択する処理は、前記複数のデータの中から、前記第１の損失値の予測値が高いデータを優先して選択する
処理を含むことを特徴とする付記４に記載の情報処理方法。

【0142】

（付記６）
入力データに対する第１のＡＩモデルの予測結果と正解との差を示す第１の損失値を取得し、
前記入力データと前記第１の損失値とを対応付けた訓練データを用いて、入力データに対する第１の損失値を予測する第２のＡＩモデルの訓練を行なう、
処理をコンピュータが実行することを特徴とする訓練方法。

【0143】

（付記７）
入力データに応じた予測結果の出力を行なう第１のＡＩモデルに対する入力データと、当該入力データに対する前記第１のＡＩモデルの予測結果と正解との差を示す第１の損失値とを対応付けた訓練データを用いた機械学習により訓練された、第２のＡＩモデルに複数のデータを入力することで、前記複数のデータそれぞれについての前記第１の損失値の予測値を取得し、
取得した前記第１の損失値の予測値に基づいて、前記複数のデータの中から、前記第１のＡＩモデルの前記訓練データに用いるデータを選択する
処理を実行する制御部を含むことを特徴とする情報処理装置。

【0144】

（付記８）
前記制御部は、
前記訓練データに用いるデータを選択する処理において、前記複数のデータの中から、前記第１の損失値の予測値が高いデータを優先して選択する
ことを特徴とする付記７に記載の情報処理装置。

【0145】

（付記９）
入力データに対する第１のＡＩモデルの予測結果と正解との差を示す第１の損失値を取得し、
前記入力データと前記第１の損失値とを対応付けた訓練データを用いて、入力データに対する第１の損失値を予測する第２のＡＩモデルの訓練を行なう、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【符号の説明】

【0146】

１ モデル生成装置
１０ コンピュータ
１０ａ プロセッサ（制御部）
１０ｂ グラフィック処理装置
１０ｃ メモリ
１０ｄ 記憶部
１０ｅ ＩＦ部
１０ｆ ＩＯ部
１０ｇ 読取部
１０ｈ プログラム
１０ｉ 記録媒体
１０ｊ バス
１０１ 補助ＡＩ処理部
１０２ データ抽出部
１０３ 難易度情報
１０４ データセット生成部
１０５ ＡＩ訓練処理部
１１０ サンプリング処理部
２０１ ＡＩモデル
２０２ 補助ＡＩモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】