知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070157
(43)【公開日】2024-05-22
(54)【発明の名称】学習装置、学習方法およびプログラム
(51)【国際特許分類】
G06N 3/08 20230101AFI20240515BHJP
G06N 3/04 20230101ALI20240515BHJP
【ＦＩ】
G06N3/08
G06N3/04
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022180596
(22)【出願日】2022-11-10
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】荒木 俊則
(72)【発明者】
【氏名】柿崎 和也
(72)【発明者】
【氏名】シング インダージート
(57)【要約】
【課題】ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮できるようにする。
【解決手段】ニューラルネットワークは、部分ネットワークと、第１正規化層と、第２正規化層とを含み、第１正規化層は、第１正規化層自らに入力されるデータに対して正規化を行い、第２正規化層は、第２正規化層自らに入力されるデータに対して正規化を行う。学習装置は、複数のデータを含むグループである基データグループを用いて、部分ネットワークのパラメータ値と、第２正規化層のパラメータ値とを更新し、基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループに含まれる敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、部分ネットワークのパラメータ値と、第１正規化層のパラメータ値とを更新する。
【選択図】図１
【解決手段】ニューラルネットワークは、部分ネットワークと、第１正規化層と、第２正規化層とを含み、第１正規化層は、第１正規化層自らに入力されるデータに対して正規化を行い、第２正規化層は、第２正規化層自らに入力されるデータに対して正規化を行う。学習装置は、複数のデータを含むグループである基データグループを用いて、部分ネットワークのパラメータ値と、第２正規化層のパラメータ値とを更新し、基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループに含まれる敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、部分ネットワークのパラメータ値と、第１正規化層のパラメータ値とを更新する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のデータを含むグループである基データグループを取得するデータ取得手段と、
前記データ取得手段が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段と、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新するパラメータ更新手段と、
を備える学習装置。
前記データ取得手段が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段と、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新するパラメータ更新手段と、
を備える学習装置。
【請求項2】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルの正解クラスとされているクラスと異なるクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルの正解クラスとされているクラスと異なるクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
【請求項3】
前記ニューラルネットワークは、データの入力を受けて、そのデータのクラス分類を行い、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルのターゲットクラスとされているクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルを、その敵対的サンプルのターゲットクラスとされているクラスに分類した場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
【請求項4】
前記ニューラルネットワークは、データの入力を受けて、そのデータの特徴量を抽出し、
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルについて抽出した特徴量と、その敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出し、算出した類似度が、所定の閾値以上に類似していることを示す場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
前記誤り誘発判定手段は、前記ニューラルネットワークが、入力された敵対的サンプルについて抽出した特徴量と、その敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出し、算出した類似度が、所定の閾値以上に類似していることを示す場合に、その敵対的サンプルが、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定する、
請求項１に記載の学習装置。
【請求項5】
前記敵対的サンプル取得手段は、前記基データグループに含まれるデータである基データの特徴量と、その基データの正解クラス以外のクラスに紐付けられる特徴量との類似度に基づいて、その基データの正解クラス以外のクラスの何れかをターゲットクラスとする敵対的サンプルを生成する、
請求項１から４の何れか一項に記載の学習装置。
請求項１から４の何れか一項に記載の学習装置。
【請求項6】
コンピュータが、
複数のデータを含むグループである基データグループを取得し、
取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得し、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定し、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新する、
ことを含む学習方法。
複数のデータを含むグループである基データグループを取得し、
取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得し、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定し、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新する、
ことを含む学習方法。
【請求項7】
コンピュータに、
複数のデータを含むグループである基データグループを取得することと、
取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得することと、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定することと、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新することと、
を実行させるためのプログラム。
複数のデータを含むグループである基データグループを取得することと、
取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得することと、
部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定することと、
前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新することと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習装置、学習方法およびプログラムに関する。
【背景技術】
【0002】
ニューラルネットワークの学習に敵対的サンプル（Adversarial Example；ＡＸ）が用いられる場合がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－００５１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ニューラルネットワークの学習に敵対的サンプルが用いられる場合、敵対的サンプルの精度が考慮されることが好ましい。
【0005】
本発明の目的の一例は、上述の課題を解決することのできる学習装置、学習方法、およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、学習装置は、複数のデータを含むグループである基データグループを取得するデータ取得手段と、前記データ取得手段が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する敵対的サンプル取得手段と、部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する誤り誘発判定手段と、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新するパラメータ更新手段と、を備える。
【0007】
本発明の第２の態様によれば、学習方法は、コンピュータが、複数のデータを含むグループである基データグループを取得し、取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得し、部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定し、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新する、ことを含む。
【0008】
本発明の第３の態様によれば、プログラムは、コンピュータに、複数のデータを含むグループである基データグループを取得することと、取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得することと、部分ネットワークと、第１正規化層と、第２正規化層とを含み、前記第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、前記第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、前記ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定することと、前記基データグループを用いて、前記部分ネットワークのパラメータ値と、前記第２正規化層のパラメータ値とを更新し、前記敵対的データグループに含まれる敵対的サンプルのうち、前記ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、前記部分ネットワークのパラメータ値と、前記第１正規化層のパラメータ値とを更新することと、を実行させるためのプログラムである。
【発明の効果】
【0009】
本発明によれば、ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮することができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る学習装置の構成の例を示す図である。
【図2】第１実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
【図3】第１実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
【図4】第１実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
【図5】第１実施形態に係るニューラルネットワークが分類型ＡＩとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
【図6】第１実施形態に係るニューラルネットワークが特徴量抽出型ＡＩとして構成されている場合に、学習装置が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
【図7】第２実施形態に係る学習装置の構成の例を示す図である。
【図8】第２実施形態に係る処理部がニューラルネットワークの学習を行う処理の手順の例を示す図である。
【図9】第２実施形態に係る処理部が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。
【図10】第３実施形態に係る推定装置の構成の例を示す図である。
【図11】第３実施形態に係るモデル記憶部が記憶するニューラルネットワークの例を示す図である。
【図12】第４実施形態に係る学習装置の構成の例を示す図である。
【図13】第５実施形態に係る学習方法における処理の手順の例を示す図である。
【図14】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0012】
＜第１実施形態＞
図１は、第１実施形態に係る学習装置の構成の例を示す図である。図１に示す構成で、学習装置１００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、処理部１９０とを備える。記憶部１８０は、モデル記憶部１８１を備える。モデル記憶部１８１は、共通パラメータ記憶部１８２と、第１正規化層パラメータ記憶部１８３－１と、第２正規化層パラメータ記憶部１８３－２とを備える。処理部１９０は、データ取得部１９１と、敵対的サンプル取得部１９２と、モデル実行部１９３と、誤り誘発判定部１９４と、パラメータ更新部１９５とを備える。
図１は、第１実施形態に係る学習装置の構成の例を示す図である。図１に示す構成で、学習装置１００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、処理部１９０とを備える。記憶部１８０は、モデル記憶部１８１を備える。モデル記憶部１８１は、共通パラメータ記憶部１８２と、第１正規化層パラメータ記憶部１８３－１と、第２正規化層パラメータ記憶部１８３－２とを備える。処理部１９０は、データ取得部１９１と、敵対的サンプル取得部１９２と、モデル実行部１９３と、誤り誘発判定部１９４と、パラメータ更新部１９５とを備える。
【0013】
学習装置１００は、ニューラルネットワークの学習を行う。学習装置１００は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation；ＷＳ）などのコンピュータを用いて構成されていてもよい。
【0014】
通信部１１０は、他の装置と通信を行う。例えば、通信部１１０が、ニューラルネットワークの学習のためのデータを他の装置から受信するようにしてもよい。さらに例えば、通信部１１０が、ニューラルネットワークへの入力の対象となるデータと、そのデータが分類されるクラスとが紐付けられたデータを、他の装置から受信するようにしてもよい。
【0015】
表示部１２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネルなどの表示画面を有し、各種画像を表示する。例えば、表示部１２０が、ニューラルネットワークの学習の進み具合など、ニューラルネットワークの学習に関する情報を表示するようにしてもよい。
【0016】
操作入力部１３０は、例えば、キーボードおよびマウスなどの入力デバイスを含んで構成され、ユーザ操作を受け付ける。例えば、操作入力部１３０が、ニューラルネットワークの学習の終了条件の入力操作など、ニューラルネットワークの学習に関するユーザ操作を受け付けるようにしてもよい。
【0017】
記憶部１８０は、各種データを記憶する。記憶部１８０は、学習装置１００が備える記憶デバイスを用いて構成される。
モデル記憶部１８１は、機械学習モデルとしてニューラルネットワークを記憶する。
図２は、モデル記憶部１８１が記憶するニューラルネットワークの例を示す図である。図２に示すニューラルネットワーク２０１は、畳み込みニューラルネットワーク（Convolution Neural Network；ＣＮＮ）の一種として構成されており、入力層２１０と、畳み込み層２２１と、活性化層２２２と、プーリング（Pooling）層２２３と、第１正規化層２３０－１と、第２正規化層２３０－２と、全結合層２４０と、出力層２５０とを含んでいる。
第１正規化層２３０－１と、第２正規化層２３０－２とを総称して、正規化層２３０とも表記する。
モデル記憶部１８１は、機械学習モデルとしてニューラルネットワークを記憶する。
図２は、モデル記憶部１８１が記憶するニューラルネットワークの例を示す図である。図２に示すニューラルネットワーク２０１は、畳み込みニューラルネットワーク（Convolution Neural Network；ＣＮＮ）の一種として構成されており、入力層２１０と、畳み込み層２２１と、活性化層２２２と、プーリング（Pooling）層２２３と、第１正規化層２３０－１と、第２正規化層２３０－２と、全結合層２４０と、出力層２５０とを含んでいる。
第１正規化層２３０－１と、第２正規化層２３０－２とを総称して、正規化層２３０とも表記する。
【0018】
図２の例で、データの流れにおける上流側から順に、入力層２１０の次に、畳み込み層２２１、活性化層２２２、および、プーリング層２２３の順による、これらの層の組み合わせが１つ以上配置されており、その下流側に、全結合層２４０と、出力層２５０とが設けられている。
また、畳み込み層２２１、活性化層２２２、および、プーリング層２２３の組み合わせそれぞれの、活性化層２２２とプーリング層２２３との間に、第１正規化層２３０－１と第２正規化層２３０－２とが並列に配置されている。
ニューラルネットワーク２０１におけるチャンネル数は特定の個数に限定されない。
また、畳み込み層２２１、活性化層２２２、および、プーリング層２２３の組み合わせそれぞれの、活性化層２２２とプーリング層２２３との間に、第１正規化層２３０－１と第２正規化層２３０－２とが並列に配置されている。
ニューラルネットワーク２０１におけるチャンネル数は特定の個数に限定されない。
【0019】
活性化層２２２からの全てのチャンネルのデータが、第１正規化層２３０－１および第２正規化層２３０－２の両方に入力される。あるいは、活性化層２２２が、第１正規化層２３０－１および第２正規化層２３０－２のうち何れか一方に選択的にデータを出力するようにしてもよい。
【0020】
第１正規化層２３０－１が出力するデータと、第２正規化層２３０－２が出力するデータとで、同じチャンネルのデータが合成されて、プーリング層２２３に入力される。例えば、第１正規化層２３０－１が出力するデータと、第２正規化層２３０－２が出力するデータとを合計したデータが、プーリング層２２３に入力されてもよい。あるいは、第１正規化層２３０－１が出力するデータと、第２正規化層２３０－２が出力するデータとの平均をとったデータが、プーリング層２２３に入力されてもよい。
あるいは、第１正規化層２３０－１および第２正規化層２３０－２のうち何れか一方のみが活性化層２２２からデータを取得する場合、データを取得した正規化層２３０のみがプーリング層２２３へデータを出力するようにしてもよい。
あるいは、第１正規化層２３０－１および第２正規化層２３０－２のうち何れか一方のみが活性化層２２２からデータを取得する場合、データを取得した正規化層２３０のみがプーリング層２２３へデータを出力するようにしてもよい。
【0021】
ニューラルネットワーク２０１の各部のうち、第１正規化層２３０－１および第２正規化層２３０－２以外の部分を、共通部分、または、部分ネットワークとも称する。図２の例の場合、入力層２１０と、畳み込み層２２１と、活性化層２２２と、プーリング層２２３と、全結合層２４０と、出力層２５０との組み合わせが、共通部分の例に該当する。
【0022】
入力層２１０は、ニューラルネットワーク２０１への入力データを受け付ける。
畳み込み層２２１は、畳み込み層２２１自らに入力されるデータに対して畳み込み演算を行う。畳み込み層２２１が、さらに、データサイズの調整のためにパディング（Padding）を行うようにしてもよい。
活性化層２２２は、活性化層２２２自らに入力されるデータに活性化関数を適用する。活性化層２２２が用いる活性化関数は、特定の関数に限定されない。例えば、活性化関数として正規化線形関数（Rectified Linear Function；ＲｅＬＵ）が用いられていてもよいが、これに限定されない。
プーリング層２２３は、プーリング層２２３自らに入力されるデータに対してプーリングを行う。
畳み込み層２２１は、畳み込み層２２１自らに入力されるデータに対して畳み込み演算を行う。畳み込み層２２１が、さらに、データサイズの調整のためにパディング（Padding）を行うようにしてもよい。
活性化層２２２は、活性化層２２２自らに入力されるデータに活性化関数を適用する。活性化層２２２が用いる活性化関数は、特定の関数に限定されない。例えば、活性化関数として正規化線形関数（Rectified Linear Function；ＲｅＬＵ）が用いられていてもよいが、これに限定されない。
プーリング層２２３は、プーリング層２２３自らに入力されるデータに対してプーリングを行う。
【0023】
第１正規化層２３０－１は、第１正規化層２３０－１自らに入力されるデータを正規化する。ここでいう正規化は、バッチ正規化（Batch Normalization）の場合と同様の正規化であり、第１正規化層２３０－１は、１つのグループに含まれるデータの平均値および分散値が所定の値になるように、データの変換を行う。
例えば、１つのグループのデータの平均値を０にし、分散値を１にする場合、第１正規化層２３０－１は、正規化の対象となっているグループのデータの平均値と分散値とを算出し、各データから平均値を減算し、減算後の値を分散値で除算する。
例えば、１つのグループのデータの平均値を０にし、分散値を１にする場合、第１正規化層２３０－１は、正規化の対象となっているグループのデータの平均値と分散値とを算出し、各データから平均値を減算し、減算後の値を分散値で除算する。
【0024】
第１正規化層２３０－１による正規化後の平均値は０に限定されず、分散値は１に限定されない。例えば、αを実数とし、βを正の実数として、第１正規化層２３０－１が、グループの平均値がαになり、分散値がβになるように正規化を行うようにしてもよい。また、これらαおよびβの値が学習の対象になっていてもよい。αおよびβの値は、第１正規化層２３０－１ごとに、学習によって設定されてもよい。
【0025】
第１正規化層２３０－１が目標とするグループの平均値を第１平均値とも称する。第１正規化層２３０－１が目標とするグループの分散値を第１分散値とも称する。第１平均値および第１分散値は、第１正規化層２３０－１のパラメータ値の例に該当する。第１平均値を示すパラメータを、第１平均とも称する。第１分散値を示すパラメータを、第１分散とも称する。
【0026】
第１正規化層２３０－１に複数チャンネル分のデータが入力される場合、第１正規化層２３０－１が、１つのグループに含まれる全データについて、かつ、複数のチャンネル全体について、データの正規化を行うようにしてもよい。あるいは、第１正規化層２３０－１が、チャンネルごとに、データの正規化を行うようにしてもよい。
【0027】
第２正規化層２３０－２は、第２正規化層２３０－２自らに入力されるデータを正規化する。第２正規化層２３０－２が行う正規化の処理は、上述した、第１正規化層２３０－１が行う正規化の処理と同様である。
第２正規化層２３０－２が目標とするグループの平均値を第２平均値とも称する。第２正規化層２３０－２が目標とするグループの分散値を第２分散値とも称する。第２平均値および第２分散値は、第２正規化層２３０－２のパラメータ値の例に該当する。第２平均値を示すパラメータを、第２平均とも称する。第２分散値を示すパラメータを、第２分散とも称する。
第１正規化層２３０－１と、第２正規化層２３０－２とでは、後述するように、パラメータ値の学習の対象となるデータが異なる。
第２正規化層２３０－２が目標とするグループの平均値を第２平均値とも称する。第２正規化層２３０－２が目標とするグループの分散値を第２分散値とも称する。第２平均値および第２分散値は、第２正規化層２３０－２のパラメータ値の例に該当する。第２平均値を示すパラメータを、第２平均とも称する。第２分散値を示すパラメータを、第２分散とも称する。
第１正規化層２３０－１と、第２正規化層２３０－２とでは、後述するように、パラメータ値の学習の対象となるデータが異なる。
【0028】
全結合層２４０は、全結合層２４０自らに入力されるデータを、ニューラルネットワーク２０１の出力データ数のデータに変換する。
出力層２５０は、ニューラルネットワーク２０１の出力データを出力する。例えば、出力層２５０が、全結合層２４０からのデータに、ソフトマックス関数などの活性化関数を適用して出力するようにしてもよい。
出力層２５０は、ニューラルネットワーク２０１の出力データを出力する。例えば、出力層２５０が、全結合層２４０からのデータに、ソフトマックス関数などの活性化関数を適用して出力するようにしてもよい。
【0029】
あるいは、全結合層２４０が、ニューラルネットワーク２０１の出力データを生成し、出力層２５０が、全結合層２４０からのデータをそのまま出力するようにしてもよい。この場合、全結合層２４０が出力層２５０としても機能し、データをそのままニューラルネットワーク２０１の外部へ出力するようにしてもよい。
【0030】
ただし、モデル記憶部１８１が記憶する機械学習モデルの構成は、特定の構成に限定されない。
例えば、モデル記憶部１８１が機械学習モデルとして畳み込みニューラルネットワークを記憶する場合、畳み込みニューラルネットワークの層の構成および個数は、いろいろな構成および個数とすることができる。例えば、モデル記憶部１８１が記憶する機械学習モデルの構成は、図２の例でニューラルネットワーク２０１に含まれている畳み込み層２２１と活性化層２２２とプーリング層２２３との組み合わせのうち、活性化層２２２が設けられていない構成となっていてもよい。
例えば、モデル記憶部１８１が機械学習モデルとして畳み込みニューラルネットワークを記憶する場合、畳み込みニューラルネットワークの層の構成および個数は、いろいろな構成および個数とすることができる。例えば、モデル記憶部１８１が記憶する機械学習モデルの構成は、図２の例でニューラルネットワーク２０１に含まれている畳み込み層２２１と活性化層２２２とプーリング層２２３との組み合わせのうち、活性化層２２２が設けられていない構成となっていてもよい。
【0031】
また、第１正規化層２３０－１と、第２正規化層２３０－２との組み合わせが設けられる位置は、特定の位置に限定されない。例えば、畳み込み層２２１と、活性化層２２２と、プーリング層２２３との組み合わせのうち一部の組み合わせについてのみ、第１正規化層２３０－１と、第２正規化層２３０－２との組み合わせが設けられていてもよい。
モデル記憶部１８１が記憶する機械学習モデルの構成は、バッチ正規化層が設けられている畳み込みニューラルネットワークから、バッチ正規化層の個数を２つにして並列に配置した構成となっていてもよい。
ただし、モデル記憶部１８１が記憶する機械学習モデルは、畳み込みニューラルネットワークに限定されず、第１正規化層２３０－１および第２正規化層２３０－２による正規化を適用可能ないろいろなニューラルネットワークとすることができる。
モデル記憶部１８１が記憶する機械学習モデルの構成は、バッチ正規化層が設けられている畳み込みニューラルネットワークから、バッチ正規化層の個数を２つにして並列に配置した構成となっていてもよい。
ただし、モデル記憶部１８１が記憶する機械学習モデルは、畳み込みニューラルネットワークに限定されず、第１正規化層２３０－１および第２正規化層２３０－２による正規化を適用可能ないろいろなニューラルネットワークとすることができる。
【0032】
また、学習装置１００による学習の対象となるニューラルネットワークの実装方法は、モデル記憶部１８１がニューラルネットワークを記憶しておく方法に限定されない。例えば、学習装置１００による学習の対象となるニューラルネットワークが、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）を用いて構成されるなど、ハードウェア的に実装されていてもよい。
学習装置１００による学習の対象となるニューラルネットワークが、学習装置１００の一部として構成されていてもよいし、学習装置１００の外部の構成となっていてもよい。
学習装置１００による学習の対象となるニューラルネットワークが、学習装置１００の一部として構成されていてもよいし、学習装置１００の外部の構成となっていてもよい。
【0033】
共通パラメータ記憶部１８２は、共通部分のパラメータ値を記憶する。共通パラメータ記憶部１８２は、例えば、畳み込み層における畳み込み演算用のフィルタ、および、活性化層における活性化関数のパラメータなど、学習の対象となる各種パラメータの値を記憶する。
共通部分のパラメータ値を、共通パラメータ値とも称する。
共通部分のパラメータ値を、共通パラメータ値とも称する。
【0034】
第１正規化層パラメータ記憶部１８３－１は、第１正規化層２３０－１ごとに、その第１正規化層２３０－１のパラメータ値を記憶する。第１正規化層パラメータ記憶部１８３－１は、例えば、第１平均および第１分散など、学習の対象となる各種パラメータの値を記憶する。
第２正規化層パラメータ記憶部１８３－２は、第２正規化層２３０－２ごとに、その第２正規化層２３０－２のパラメータ値を記憶する。第２正規化層パラメータ記憶部１８３－２は、例えば、第２平均および第２分散など、学習の対象となる各種パラメータの値を記憶する。
第２正規化層パラメータ記憶部１８３－２は、第２正規化層２３０－２ごとに、その第２正規化層２３０－２のパラメータ値を記憶する。第２正規化層パラメータ記憶部１８３－２は、例えば、第２平均および第２分散など、学習の対象となる各種パラメータの値を記憶する。
【0035】
処理部１９０は、学習装置１００の各部を制御して各種処理を行う。処理部１９０の機能は、例えば、学習装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部１８０からプログラムを読み出して実行することで実行される。
【0036】
データ取得部１９１は、ニューラルネットワーク２０１への入力の対象となるデータに、クラス分類における正解のクラスを示す情報が紐付けられたデータを複数含むグループを取得する。データ取得部１９１は、データ取得手段の例に該当する。
データ取得部１９１が取得する、ニューラルネットワーク２０１への入力の対象となるデータを、基データとも称する。基データのグループを基データグループとも称する。データ取得部１９１が取得する基データグループの個数は１つ以上であればよく、特定の個数に限定されない。データ取得部１９１が複数の基データグループを取得する場合、各グループの基データの個数は同じであってもよいし、異なっていてもよい。
データ取得部１９１が取得する、ニューラルネットワーク２０１への入力の対象となるデータを、基データとも称する。基データのグループを基データグループとも称する。データ取得部１９１が取得する基データグループの個数は１つ以上であればよく、特定の個数に限定されない。データ取得部１９１が複数の基データグループを取得する場合、各グループの基データの個数は同じであってもよいし、異なっていてもよい。
【0037】
データ取得部１９１が、通信部１１０を介して他の装置から基データを取得するようにしてもよい。
また、データ取得部１９１が、基データグループの形式で他の装置から基データを取得するようにしてもよい。あるいは、データ取得部１９１が、他の装置から基データを取得して、基データグループに纏めるようしてもよい。
また、データ取得部１９１が、基データグループの形式で他の装置から基データを取得するようにしてもよい。あるいは、データ取得部１９１が、他の装置から基データを取得して、基データグループに纏めるようしてもよい。
【0038】
敵対的サンプル取得部１９２は、データ取得部１９１が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する。ここでいう、あるデータに対する敵対的サンプルは、そのデータに敵対的摂動が付加された敵対的サンプルである。
敵対的サンプル取得部１９２は、敵対的サンプル取得手段の例に該当する。
敵対的サンプル取得部１９２が、データ取得部１９１が取得した基データに敵対的サンプル生成手法を適用して、敵対的サンプルを生成するようにしてもよい。あるいは、敵対的サンプル取得部１９２が、敵対的サンプルを生成する装置から、通信部１１０を介して敵対的サンプルを取得するようにしてもよい。
敵対的サンプル取得部１９２は、敵対的サンプル取得手段の例に該当する。
敵対的サンプル取得部１９２が、データ取得部１９１が取得した基データに敵対的サンプル生成手法を適用して、敵対的サンプルを生成するようにしてもよい。あるいは、敵対的サンプル取得部１９２が、敵対的サンプルを生成する装置から、通信部１１０を介して敵対的サンプルを取得するようにしてもよい。
【0039】
敵対的データグループの敵対的サンプルの個数は、基データグループの基データの個数と同じであってもよいし、異なっていてもよい。
敵対的サンプル取得部１９２が基データから敵対的サンプルを生成する場合、１つの基データグループに含まれる全ての基データから敵対的サンプルを１つずつ生成して、１つの敵対的データグループに纏めるようにしてもよい。あるいは、敵対的サンプル取得部１９２が、１つの基データグループに含まれる基データのうち一部の基データから敵対的サンプルを１つずつ生成して、１つの敵対的データグループに纏めるようにしてもよい。あるいは、敵対的サンプル取得部１９２が、複数の基データグループのそれぞれに含まれる基データから敵対的サンプルを生成して、１つの敵対的データグループに纏めるようにしてもよい。
敵対的サンプル取得部１９２が、１つの基データから複数の敵対的サンプルを生成するようにしてもよい。
敵対的サンプル取得部１９２が基データから敵対的サンプルを生成する場合、１つの基データグループに含まれる全ての基データから敵対的サンプルを１つずつ生成して、１つの敵対的データグループに纏めるようにしてもよい。あるいは、敵対的サンプル取得部１９２が、１つの基データグループに含まれる基データのうち一部の基データから敵対的サンプルを１つずつ生成して、１つの敵対的データグループに纏めるようにしてもよい。あるいは、敵対的サンプル取得部１９２が、複数の基データグループのそれぞれに含まれる基データから敵対的サンプルを生成して、１つの敵対的データグループに纏めるようにしてもよい。
敵対的サンプル取得部１９２が、１つの基データから複数の敵対的サンプルを生成するようにしてもよい。
【0040】
モデル実行部１９３は、モデル記憶部１８１が記憶している機械学習モデルを実行する。具体的には、モデル実行部１９３は、ニューラルネットワーク２０１にデータを入力して、ニューラルネットワーク２０１の出力データを算出する。ニューラルネットワーク２０１による出力データの算出を、ニューラルネットワーク２０１を用いた推定、あるいは、単に推定とも称する。
【0041】
ニューラルネットワーク２０１が、入力データが分類されるクラスの推定結果を出力するようになっていてもよい。この場合のニューラルネットワークを、分類型ＡＩとも称する。
あるいは、ニューラルネットワーク２０１が、入力データの特徴量を出力するようになっていてもよい。この場合のニューラルネットワークを、特徴量抽出型ＡＩとも称する。
あるいは、ニューラルネットワーク２０１が、入力データの特徴量を出力するようになっていてもよい。この場合のニューラルネットワークを、特徴量抽出型ＡＩとも称する。
【0042】
誤り誘発判定部１９４は、ニューラルネットワーク２０１への入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発するか否かを判定する。誤り誘発判定部１９４は、誤り誘発判定手段の例に該当する。
ニューラルネットワーク２０１が分類型ＡＩとして構成されている場合、誤り誘発判定部１９４が、ニューラルネットワーク２０１が出力するクラスの推定結果が、ニューラルネットワーク２０１への入力データに紐付けられている正解クラスと異なるときに、その入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると判定するようにしてもよい。
ニューラルネットワーク２０１が分類型ＡＩとして構成されている場合、誤り誘発判定部１９４が、ニューラルネットワーク２０１が出力するクラスの推定結果が、ニューラルネットワーク２０１への入力データに紐付けられている正解クラスと異なるときに、その入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると判定するようにしてもよい。
【0043】
あるいは、ニューラルネットワーク２０１が分類型ＡＩとして構成されている場合、誤り誘発判定部１９４が、ニューラルネットワーク２０１が出力するクラスの推定結果が、入力データである敵対的サンプルのターゲットクラスを示すときに、その入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると判定するようにしてもよい。
【0044】
ここで、敵対的サンプルが、あるクラスに誤分類されるように意図されている場合、そのクラス（誤分類先のクラス）をターゲットクラスとも称する。敵対的サンプルに、正解クラスを示すデータだけでなく、ターゲットクラスを示すデータも紐付けられていてもよい。
【0045】
ニューラルネットワーク２０１が特徴量抽出型ＡＩとして構成されている場合、誤り誘発判定部１９４が、ニューラルネットワーク２０１が出力する特徴量と、ニューラルネットワーク２０１への入力データである敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出するようにしてもよい。そして、誤り誘発判定部１９４が、算出した類似度が、所定の閾値以上に類似していることを示す場合に、その入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発すると判定するようにしてもよい。
【0046】
誤り誘発判定部１９４が用いる類似度の指標は、特定のものに限定されない。誤り誘発判定部１９４が、２つの特徴量の類似度を示す指標として、コサイン類似度など、指標値が大きいほど２つの特徴量が類似していることを示す指標値を算出するようにしてもよい。あるいは、誤り誘発判定部１９４が、特徴量空間における２つの特徴量の距離など、指標値が小さいほど２つの特徴量が類似していることを示す指標値を算出するようにしてもよい。
【0047】
ターゲットクラスに紐付けられる特徴量は、そのターゲットクラスに属している１つのデータの特徴量であってもよい。あるいは、ターゲットクラスに紐付けられる特徴量は、そのターゲットクラスに属している複数のデータの特徴量の平均をとった特徴量であってもよい。
【0048】
パラメータ更新部１９５は、ニューラルネットワーク２０１の学習をおこなって、ニューラルネットワーク２０１のパラメータ値を更新する。パラメータ更新部１９５は、基データグループを用いて、部分ネットワークのパラメータ値と、第２正規化層２３０－２のパラメータ値とを更新する。また、パラメータ更新部１９５は、敵対的データグループに含まれる敵対的サンプルのうち、ニューラルネットワーク２０１を用いた推定の誤りを誘発すると誤り誘発判定部１９４が判定した敵対的サンプルを用いて、部分ネットワークのパラメータ値と、第１正規化層２３０－１のパラメータ値とを更新する。ミニバッチ学習におけるパラメータの更新と同様、パラメータ更新部１９５が、ニューラルネットワーク２０１の各部におけるデータの、複数の入力データについての平均値を用いてパラメータ値を更新するようにしてもよい。
パラメータ更新部１９５は、パラメータ更新手段の例に該当する。
パラメータ更新部１９５は、パラメータ更新手段の例に該当する。
【0049】
上述したように、第１正規化層２３０－１および第２正規化層２３０－２の両方にデータが入力されるようになっていてもよい。あるいは、第１正規化層２３０－１および第２正規化層２３０－２のうち何れか一方に選択的にデータが入力されるようになっていてもよい。
【0050】
ニューラルネットワーク２０１に基データグループの各データ（基データ）が入力される場合、第１正規化層２３０－１および第２正規化層２３０－２へデータを出力する活性化層２２２からの、全てのチャンネルのデータが、第１正規化層２３０－１および第２正規化層２３０－２の両方に入力されてもよいし、これら２つのうち第２正規化層２３０－２のみに入力されてもよい。
【0051】
ニューラルネットワーク２０１に敵対的データグループの各データ（敵対的サンプル）が入力される場合、第１正規化層２３０－１および第２正規化層２３０－２へデータを出力する活性化層２２２からの、全てのチャンネルのデータが、第１正規化層２３０－１および第２正規化層２３０－２の両方に入力されてもよいし、これら２つのうち第１正規化層２３０－１のみに入力されてもよい。
【0052】
パラメータ更新部１９５が、パラメータ値を更新する手法は、特定の手法に限定されない。パラメータ更新部１９５が、誤差逆伝播法（Backpropagation）など、ミニバッチ学習に適用可能な公知の手法を用いて、パラメータ値を更新するようにしてもよい。
【0053】
図３は、処理部１９０がニューラルネットワーク２０１の学習を行う処理の手順の例を示す図である。
図３の処理で、データ取得部１９１は、基データグループを取得する（ステップＳ１０１）。すなわち、データ取得部１９１は、グループに纏められている基データを取得する。データ取得部１９１が、予めグループに纏められている基データを取得するようにしてもよい。あるいは、データ取得部１９１が、基データを取得して、基データグループに纏めるようにしてもよい。
図３の処理で、データ取得部１９１は、基データグループを取得する（ステップＳ１０１）。すなわち、データ取得部１９１は、グループに纏められている基データを取得する。データ取得部１９１が、予めグループに纏められている基データを取得するようにしてもよい。あるいは、データ取得部１９１が、基データを取得して、基データグループに纏めるようにしてもよい。
【0054】
次に、処理部１９０は、基データグループごとに処理を行うループＬ１１を開始する（ステップＳ１０２）。ループＬ１１で処理の対象となっている基データグループを、対象基データグループとも称する。
ループＬ１１の処理で、パラメータ更新部１９５は、対象基データグループを用いて、共通部分のパラメータ値、および、第２正規化層２３０－２のパラメータ値を更新する（ステップＳ１０３）。
ループＬ１１の処理で、パラメータ更新部１９５は、対象基データグループを用いて、共通部分のパラメータ値、および、第２正規化層２３０－２のパラメータ値を更新する（ステップＳ１０３）。
【0055】
次に、処理部１９０は、共通部分のパラメータ値と第１正規化層２３０－１のパラメータ値とを更新するためのデータを収集する（ステップＳ１０４）。共通部分のパラメータ値と第１正規化層２３０－１のパラメータ値とを更新するためのデータを、敵対的サンプルに基づくパラメータ値更新用データとも称する。
次に、パラメータ更新部１９５は、ステップＳ１０４で得られたデータを用いて、共通部分のパラメータ値、および、第１正規化層２３０－１のパラメータ値を更新する（ステップＳ１０５）。
次に、パラメータ更新部１９５は、ステップＳ１０４で得られたデータを用いて、共通部分のパラメータ値、および、第１正規化層２３０－１のパラメータ値を更新する（ステップＳ１０５）。
【0056】
次に、処理部１９０は、ループＬ１１の終端処理を行う（ステップＳ１０６）。
具体的には、処理部１９０は、ステップＳ１０１で得られた全ての基データグループについて、ループＬ１１の処理をおこなったか否かを判定する。２回目以降のループＬ１１の繰り返しでは、処理部１９０は、その繰り返しにおいて、ステップＳ１０１で得られた全ての基データグループについて、ループＬ１１の処理をおこなったか否かを判定する。
具体的には、処理部１９０は、ステップＳ１０１で得られた全ての基データグループについて、ループＬ１１の処理をおこなったか否かを判定する。２回目以降のループＬ１１の繰り返しでは、処理部１９０は、その繰り返しにおいて、ステップＳ１０１で得られた全ての基データグループについて、ループＬ１１の処理をおこなったか否かを判定する。
【0057】
未だループＬ１１の処理をおこなっていない基データグループがあると処理部１９０が判定した場合、処理がステップＳ１０２に戻る。この場合、処理部１９０は、引き続き、ループＬ１１の処理をおこなっていない基データグループについて、ループＬ１１の処理を行う。
一方、ステップＳ１０１で得られた全ての基データグループについて、ループＬ１１の処理をおこなったと判定した場合、処理部１９０は、ループＬ１１を終了する。
一方、ステップＳ１０１で得られた全ての基データグループについて、ループＬ１１の処理をおこなったと判定した場合、処理部１９０は、ループＬ１１を終了する。
【0058】
ループＬ１１を終了した場合、処理部１９０は、学習の終了条件が成立しているか否かを判定する（ステップＳ１０７）。ここでの学習の終了条件として、いろいろな条件を用いることができる。例えば、学習の終了条件が、ステップＳ１０２からＳ１０７までの処理を所定の回数繰り返した、という条件であってもよいが、これに限定されない。
【0059】
学習の終了条件が成立していないと処理部１９０が判定した場合（ステップＳ１０７：ＮＯ）、処理がステップＳ１０２へ戻る。この場合、処理部１９０は、ループＬ１１の処理を繰り返すことにより、ニューラルネットワーク２０１のパラメータ値の更新を繰り返す。
一方、学習の終了条件が成立していると判定した場合（ステップＳ１０７：ＹＥＳ）、処理部１９０は、図３の処理を終了する。
一方、学習の終了条件が成立していると判定した場合（ステップＳ１０７：ＹＥＳ）、処理部１９０は、図３の処理を終了する。
【0060】
図４は、処理部１９０が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。処理部１９０は、図３のステップＳ１０４で、図４の処理を行う。
図４の処理で、処理部１９０は、対象基データグループに含まれる基データごとに処理を行うループＬ２１を開始する（ステップＳ２０１）。ループＬ２１で処理の対象となっている基データを、対象基データとも称する。
図４の処理で、処理部１９０は、対象基データグループに含まれる基データごとに処理を行うループＬ２１を開始する（ステップＳ２０１）。ループＬ２１で処理の対象となっている基データを、対象基データとも称する。
【0061】
ループＬ２１の処理で、敵対的サンプル取得部１９２は、対象基データに対する敵対的サンプルを生成する（ステップＳ２０２）。
次に、モデル実行部１９３は、ステップＳ２０２で得られた敵対的サンプルをニューラルネットワーク２０１に入力して、ニューラルネットワーク２０１を用いた推定を行う（ステップＳ２０３）。
次に、モデル実行部１９３は、ステップＳ２０２で得られた敵対的サンプルをニューラルネットワーク２０１に入力して、ニューラルネットワーク２０１を用いた推定を行う（ステップＳ２０３）。
【0062】
次に、誤り誘発判定部１９４は、対象基データに対する敵対的サンプルが、ニューラルネットワーク２０１を用いた推定の誤りを誘発しているか否かを判定する（ステップＳ２０４）。
対象基データに対する敵対的サンプルが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると誤り誘発判定部１９４が判定した場合（ステップＳ２０４：ＹＥＳ）、パラメータ更新部１９５は、敵対的サンプルに基づくパラメータ値更新用データを記憶部１８０に記憶させる（ステップＳ２０５）。
対象基データに対する敵対的サンプルが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると誤り誘発判定部１９４が判定した場合（ステップＳ２０４：ＹＥＳ）、パラメータ更新部１９５は、敵対的サンプルに基づくパラメータ値更新用データを記憶部１８０に記憶させる（ステップＳ２０５）。
【0063】
例えば、誤差逆伝播法などニューラルネットワーク２０１の各部が算出するデータの誤差に基づく学習手法を用いる場合、パラメータ更新部１９５は、ニューラルネットワーク２０１の各部のうち、パラメータ値の更新対象となる部分における誤差を算出し、記憶部１８０に記憶させるようにしてもよい。この場合、パラメータ更新部１９５は、図３のステップＳ１０５で、ニューラルネットワーク２０１の部分ごとに、記憶部１８０が記憶している誤差の平均値を算出し、算出した平均値に学習手法を適用して、パラメータ値を更新する。
【0064】
次に、処理部１９０は、ループＬ２１の終端処理を行う（ステップＳ２０６）。
具体的には、処理部１９０は、対象基データグループに含まれる全ての基データについて、ループＬ２１の処理をおこなったか否かを判定する。２回目以降のループＬ１１（図３）の繰り返しでは、処理部１９０は、その繰り返しにおいて、対象基データグループに含まれる全ての基データについて、ループＬ２１の処理をおこなったか否かを判定する。
具体的には、処理部１９０は、対象基データグループに含まれる全ての基データについて、ループＬ２１の処理をおこなったか否かを判定する。２回目以降のループＬ１１（図３）の繰り返しでは、処理部１９０は、その繰り返しにおいて、対象基データグループに含まれる全ての基データについて、ループＬ２１の処理をおこなったか否かを判定する。
【0065】
未だループＬ２１の処理をおこなっていない基データがあると処理部１９０が判定した場合、処理がステップＳ２０１に戻る。この場合、処理部１９０は、引き続き、ループＬ２１の処理をおこなっていない基データについて、ループＬ２１の処理を行う。
一方、対象基データグループに含まれる全ての基データについて、ループＬ２１の処理をおこなったと判定した場合、処理部１９０は、ループＬ２１を終了する。
ループＬ２１を終了した場合、処理部１９０は、図４の処理を終了する。
一方、対象基データグループに含まれる全ての基データについて、ループＬ２１の処理をおこなったと判定した場合、処理部１９０は、ループＬ２１を終了する。
ループＬ２１を終了した場合、処理部１９０は、図４の処理を終了する。
【0066】
一方、ステップＳ２０４で、対象基データに対する敵対的サンプルが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していないと誤り誘発判定部１９４が判定した場合（ステップＳ２０４：ＮＯ）、処理がステップＳ２０６へ進む。この場合、ステップＳ２０５でのデータの記録は行われない。したがって、この場合の対象基データに対する敵対的サンプルは、共通部分のパラメータ値、および、第１正規化層２３０－１のパラメータ値の更新の対象から除外される。
【0067】
図５は、ニューラルネットワーク２０１が分類型ＡＩとして構成されている場合に、学習装置１００が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。学習装置１００は、図３のステップＳ１０４で、図５の処理を行う。
【0068】
図５に示す処理は、図４に示す処理の例に該当する。
上記のように、ニューラルネットワーク２０１が分類型ＡＩとして構成されている場合、誤り誘発判定部１９４が、ニューラルネットワーク２０１が出力するクラスの推定結果が、ニューラルネットワーク２０１への入力データに紐付けられている正解クラスと異なるときに、その入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると判定するようにしてもよい。図５は、この場合の処理の例を示している。
上記のように、ニューラルネットワーク２０１が分類型ＡＩとして構成されている場合、誤り誘発判定部１９４が、ニューラルネットワーク２０１が出力するクラスの推定結果が、ニューラルネットワーク２０１への入力データに紐付けられている正解クラスと異なるときに、その入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると判定するようにしてもよい。図５は、この場合の処理の例を示している。
【0069】
図５のステップＳ２１１からＳ２１２は、図４のステップＳ２０１からＳ２０２と同様である。図５のループＬ２２の処理は、図４のループＬ２１の処理の例に該当する。
ステップＳ２１２の後、モデル実行部１９３は、対象基データに対する敵対的サンプルをニューラルネットワーク２０１に適用することで、敵対的サンプルのクラス分類を行う（ステップＳ２１３）。ステップＳ２１３の処理は、図４のステップＳ２０３の処理の例に該当する。図５の例では、ステップＳ２１２で得られた敵対的サンプルが、対象基データに対する敵対的サンプルに該当する。
ステップＳ２１２の後、モデル実行部１９３は、対象基データに対する敵対的サンプルをニューラルネットワーク２０１に適用することで、敵対的サンプルのクラス分類を行う（ステップＳ２１３）。ステップＳ２１３の処理は、図４のステップＳ２０３の処理の例に該当する。図５の例では、ステップＳ２１２で得られた敵対的サンプルが、対象基データに対する敵対的サンプルに該当する。
【0070】
次に、誤り誘発判定部１９４は、対象基データに対する敵対的サンプルが、ニューラルネットワーク２０１を用いたクラス分類にて誤分類されているか否かを判定する（ステップＳ２１４）。ここでの誤分類は、ニューラルネットワーク２０１が、入力された敵対的サンプルを、その敵対的サンプルの正解クラスとされているクラスと異なるクラスに分類することである。あるいは、ここでの誤分類は、ニューラルネットワーク２０１が、入力された敵対的サンプルを、その敵対的サンプルのターゲットクラスとされているクラスに分類すること、と定義されていてもよい。
ステップＳ２１４の処理は、図４のステップＳ２０４の処理の例に該当する。
ステップＳ２１４の処理は、図４のステップＳ２０４の処理の例に該当する。
【0071】
対象基データに対する敵対的サンプルが、ニューラルネットワーク２０１を用いたクラス分類にて誤分類されていると誤り誘発判定部１９４が判定した場合（ステップＳ２１４：ＹＥＳ）、処理がステップＳ２１５へ進む。一方、対象基データに対する敵対的サンプルが、ニューラルネットワーク２０１を用いたクラス分類にて誤分類されていないと誤り誘発判定部１９４が判定した場合（ステップＳ２１４：ＮＯ）、処理がステップＳ２１６へ進む。
【0072】
【0073】
図６は、ニューラルネットワーク２０１が特徴量抽出型ＡＩとして構成されている場合に、学習装置１００が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。学習装置１００は、図３のステップＳ１０４で、図６の処理を行う。
【0074】
図６に示す処理は、図４に示す処理の例に該当する。
上記のように、ニューラルネットワーク２０１が特徴量抽出型ＡＩとして構成されている場合、誤り誘発判定部１９４が、ニューラルネットワーク２０１が出力するクラスの推定結果が、入力データである敵対的サンプルのターゲットクラスを示すときに、その入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると判定するようにしてもよい。図６は、この場合の処理の例を示している。
上記のように、ニューラルネットワーク２０１が特徴量抽出型ＡＩとして構成されている場合、誤り誘発判定部１９４が、ニューラルネットワーク２０１が出力するクラスの推定結果が、入力データである敵対的サンプルのターゲットクラスを示すときに、その入力データが、ニューラルネットワーク２０１を用いた推定の誤りを誘発していると判定するようにしてもよい。図６は、この場合の処理の例を示している。
【0075】
図６のステップＳ２２１からＳ２２２は、図４のステップＳ２０１からＳ２０２と同様である。図６のループＬ２３の処理は、図４のループＬ２１の処理の例に該当する。
ステップＳ２２２の後、モデル実行部１９３は、対象基データに対する敵対的サンプルをニューラルネットワーク２０１に適用することで、敵対的サンプルの特徴量を計算する（ステップＳ２２３）。ステップＳ２２３の処理は、図４のステップＳ２０３の処理の例に該当する。図６の例では、ステップＳ２２２で得られた敵対的サンプルが、対象基データに対する敵対的サンプルに該当する。
ステップＳ２２２の後、モデル実行部１９３は、対象基データに対する敵対的サンプルをニューラルネットワーク２０１に適用することで、敵対的サンプルの特徴量を計算する（ステップＳ２２３）。ステップＳ２２３の処理は、図４のステップＳ２０３の処理の例に該当する。図６の例では、ステップＳ２２２で得られた敵対的サンプルが、対象基データに対する敵対的サンプルに該当する。
【0076】
次に、誤り誘発判定部１９４は、対象基データに対する敵対的サンプルの特徴量と、その敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出する（ステップＳ２２４）。
次に、誤り誘発判定部１９４は、ステップＳ２２４で算出した類似度が、所定の閾値以上に類似していることを示すか否かを判定する（ステップＳ２２５）。ステップＳ２２４からＳ２２５の処理は、図４のステップＳ２０４の処理の例に該当する。
次に、誤り誘発判定部１９４は、ステップＳ２２４で算出した類似度が、所定の閾値以上に類似していることを示すか否かを判定する（ステップＳ２２５）。ステップＳ２２４からＳ２２５の処理は、図４のステップＳ２０４の処理の例に該当する。
【0077】
ステップＳ２２４で算出した類似度が、所定の閾値以上に類似していることを示していると誤り誘発判定部１９４が判定した場合（ステップＳ２２５：ＹＥＳ）、処理がステップＳ２２６へ進む。一方、ステップＳ２２４で算出した類似度が、所定の閾値以上に類似していることを示してないと誤り誘発判定部１９４が判定した場合（ステップＳ２２５：ＮＯ）、処理がステップＳ２２７へ進む。
【0078】
【0079】
以上のように、データ取得部１９１は、複数のデータを含むグループである基データグループを取得する。敵対的サンプル取得部１９２は、データ取得部１９１が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する。誤り誘発判定部１９４は、ニューラルネットワーク２０１にデータが入力されたときに、そのデータが、ニューラルネットワーク２０１を用いた推定の誤りを誘発するか否かを判定する。ニューラルネットワーク２０１は、部分ネットワークと、第１正規化層２３０－１と、第２正規化層２３０－２とを含み、第１正規化層２３０－１は、第１正規化層２３０－１自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、第２正規化層２３０－２は、第２正規化層２３０－２自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行う。パラメータ更新部１９５は、基データグループを用いて、部分ネットワークのパラメータ値と、第２正規化層２３０－２のパラメータ値とを更新し、敵対的データグループに含まれる敵対的サンプルのうち、ニューラルネットワーク２０１を用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、部分ネットワークのパラメータ値と、第１正規化層２３０－１のパラメータ値とを更新する。
【0080】
学習装置１００は、敵対的サンプルのうち、ニューラルネットワーク２０１を用いた推定の誤りを誘発する敵対的サンプルを選択し、ニューラルネットワーク２０１の学習に用いる。学習装置１００によれば、この点で、ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮することができる。
【0081】
ここで、敵対的サンプルは微小な摂動によって作られるニューラルネットワークが誤り易い入力と捉えることができ、ニューラルネットワークの精度の向上を目的として、敵対的サンプルをニューラルネットワークの学習に用いることが考えられる。すなわち、ニューラルネットワークが誤りやすいデータに対して正しく推定を行うことができるように学習を行うことで、ニューラルネットワークの弱点を補うための訓練データとして、敵対的サンプルを用いることが考えられる。
【0082】
特に、ニューラルネットワーク２０１を用いた推定の誤りを誘発する敵対的サンプルは、ニューラルネットワーク２０１を用いた推定の精度が低い入力データと捉えることができる。この敵対的サンプルを用いてニューラルネットワーク２０１の学習を行うことで、学習を効率的に行えることが期待される。
【0083】
一方、ニューラルネットワーク２０１を用いた推定の誤りを誘発しない敵対的サンプルは、ニューラルネットワーク２０１を用いた推定の精度が比較的高い入力データと捉えることができる。ニューラルネットワーク２０１の学習に用いられる敵対的サンプルに、ニューラルネットワーク２０１を用いた推定の誤りを誘発しない敵対的サンプルが含まれていると、その分、ニューラルネットワーク２０１の学習に時間がかかる、あるいは、学習結果として得られるニューラルネットワーク２０１の精度が比較的低くなることが考えられる。
【0084】
訓練データとして用いられる敵対的サンプルが、訓練過程におけるニューラルネットワークを誤らせることができているかが判定されない場合、誤りを引き起こさないデータが訓練に用いられることになる。これにより、上述した、ニューラルネットの弱点を補う効果が小さくなる。
【0085】
これに対し、上記のように、学習装置１００は、敵対的サンプルのうち、ニューラルネットワーク２０１を用いた推定の誤りを誘発する敵対的サンプルを選択し、ニューラルネットワーク２０１の学習に用いる。学習装置１００によれば、この点で、ニューラルネットワーク２０１の学習にかかる時間が比較的短いこと、あるいは、学習結果として得られるニューラルネットワーク２０１の精度が比較的高いことが期待される。
【0086】
また、基データと敵対的サンプルとでは、ニューラルネットワーク２０１への入力の分布が異なる。ニューラルネットワーク２０１に、敵対的サンプルの入力と紐付けられる第１正規化層２３０－１と、基データの入力と紐付けられる第２正規化層２３０－２とが含まれることで、学習装置１００が、これらの正規化層を用いてニューラルネットワーク２０１の学習を比較的効率的に行えると期待される。
【0087】
また、ニューラルネットワーク２０１は、データの入力を受けて、そのデータのクラス分類を行う、分類型ＡＩとして構成されている。誤り誘発判定部１９４は、ニューラルネットワーク２０１が、入力された敵対的サンプルを、その敵対的サンプルの正解クラスとされているクラスと異なるクラスに分類した場合に、その敵対的サンプルが、ニューラルネットワーク２０１を用いた推定の誤りを誘発すると判定する。
【0088】
このように、学習装置１００によれば、分類型ＡＩとして構成されているニューラルネットワークの学習において、上述した、ニューラルネットワークの学習にかかる時間が比較的短い、あるいは、学習結果として得られるニューラルネットワークの精度が比較的高い、という効果が期待される。
【0089】
また、ニューラルネットワーク２０１は、データの入力を受けて、そのデータのクラス分類を行う、分類型ＡＩとして構成されている。誤り誘発判定部１９４は、ニューラルネットワーク２０１が、入力された敵対的サンプルを、その敵対的サンプルのターゲットクラスとされているクラスに分類した場合に、その敵対的サンプルが、ニューラルネットワークを用いた推定の誤りを誘発すると判定する。
【0090】
このように、学習装置１００によれば、分類型ＡＩとして構成されているニューラルネットワークの学習において、上述した、ニューラルネットワークの学習にかかる時間が比較的短い、あるいは、学習結果として得られるニューラルネットワークの精度が比較的高い、という効果が期待される。
また、学習装置１００によれば、敵対的サンプル取得部１９２が取得する敵対的サンプルのターゲットクラスが特定のクラスに指定されている場合、正解クラスとターゲットクラスとのクラス分類についての学習を効率的に行えると期待される。
また、学習装置１００によれば、敵対的サンプル取得部１９２が取得する敵対的サンプルのターゲットクラスが特定のクラスに指定されている場合、正解クラスとターゲットクラスとのクラス分類についての学習を効率的に行えると期待される。
【0091】
また、ニューラルネットワーク２０１は、データの入力を受けて、そのデータの特徴量を抽出する、特徴量抽出型ＡＩとして構成されている。誤り誘発判定部１９４は、ニューラルネットワーク２０１が、入力された敵対的サンプルについて抽出した特徴量と、その敵対的サンプルのターゲットクラスに紐付けられている特徴量との類似度を算出し、算出した類似度が、所定の閾値以上に類似していることを示す場合に、その敵対的サンプルが、ニューラルネットワーク２０１を用いた推定の誤りを誘発すると判定する。
【0092】
このように、学習装置１００によれば、特徴量抽出型ＡＩとして構成されているニューラルネットワークの学習において、上述した、ニューラルネットワークの学習にかかる時間が比較的短い、あるいは、学習結果として得られるニューラルネットワークの精度が比較的高い、という効果が期待される。
【0093】
＜第２実施形態＞
学習装置が、特徴量の類似度を考慮して敵対的サンプルにおけるターゲットクラスを設定するようにしてもよい。第２実施形態では、この点について説明する。
学習装置が、特徴量の類似度を考慮して敵対的サンプルにおけるターゲットクラスを設定するようにしてもよい。第２実施形態では、この点について説明する。
【0094】
図７は、第２実施形態に係る学習装置の構成の例を示す図である。図７に示す構成で、学習装置３００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、処理部３９０とを備える。記憶部１８０は、モデル記憶部１８１を備える。モデル記憶部１８１は、共通パラメータ記憶部１８２と、第１正規化層パラメータ記憶部１８３－１と、第２正規化層パラメータ記憶部１８３－２とを備える。処理部１９０は、データ取得部１９１と、敵対的サンプル取得部１９２と、モデル実行部１９３と、誤り誘発判定部１９４と、パラメータ更新部１９５と、類似度算出部３９１と、ターゲット選択部３９２とを備える。
【0095】
図７に示す学習装置３００の各部のうち、図１に示す学習装置１００の各部に対応して同様の機能を有する部分には同一の符号（１１０、１２０、１３０、１８０、１８１、１８２、１８３－１、１８３－２、１９１、１９２、１９３、１９４、１９５）を付し、ここでは詳細な説明を省略する。
学習装置３００では、処理部３９０が、学習装置１００の処理部１９０が備える各部に加えてさらに、類似度算出部３９１と、ターゲット選択部３９２とを備える。それ以外の点では、学習装置３００は、学習装置１００と同様である。
学習装置３００では、処理部３９０が、学習装置１００の処理部１９０が備える各部に加えてさらに、類似度算出部３９１と、ターゲット選択部３９２とを備える。それ以外の点では、学習装置３００は、学習装置１００と同様である。
【0096】
類似度算出部３９１は、２つの特徴量の類似度を示す指標値を算出する。特に、類似度算出部３９１は、基データの特徴量と、敵対的サンプル取得部１９２が、その基データに対する敵対的サンプルを生成する際のターゲットクラスの候補とされるクラスに紐付けられている特徴量との類似度を示す指標値を算出する。
【0097】
類似度算出部３９１が用いる指標は、特定のものに限定されない。類似度算出部３９１が、２つの特徴量の類似度を示す指標として、コサイン類似度など、指標値が大きいほど２つの特徴量が類似していることを示す指標値を算出するようにしてもよい。あるいは、類似度算出部３９１が、特徴量空間における２つの特徴量の距離など、指標値が小さいほど２つの特徴量が類似していることを示す指標値を算出するようにしてもよい。
【0098】
また、類似度算出部３９１が用いる指標は、ニューラルネットワーク２０１が特徴量抽出型ＡＩとして構成されている場合に、誤り誘発判定部１９４が算出する特徴量の類似度を示す指標と同じであってもよいし、異なっていてもよい。類似度算出部３９１が、誤り誘発判定部１９４の一部として構成されていてもよい。
【0099】
ターゲット選択部３９２は、基データの特徴量と、その基データの正解クラス以外のクラスに紐付けられる特徴量との類似度に基づいて、その基データの正解クラス以外のクラスの何れかをターゲットクラスに設定する。
例えば、類似度算出部３９１が、基データの正解クラス以外の各クラスについて、基データの特徴量と、そのクラスに紐付けられている特徴量との類似度を示す指標を算出するようにしてもよい。そして、ターゲット選択部３９２が、基データの正解クラス以外のクラスのうち、ターゲット選択部３９２が算出した指標が、特徴量の類似度が最も高いことを示すクラスをターゲットクラスに設定するようにしてもよい。
敵対的サンプル取得部１９２は、ターゲット選択部３９２が設定したクラスをターゲットクラスとして、基データに対する敵対的サンプルを生成する。
例えば、類似度算出部３９１が、基データの正解クラス以外の各クラスについて、基データの特徴量と、そのクラスに紐付けられている特徴量との類似度を示す指標を算出するようにしてもよい。そして、ターゲット選択部３９２が、基データの正解クラス以外のクラスのうち、ターゲット選択部３９２が算出した指標が、特徴量の類似度が最も高いことを示すクラスをターゲットクラスに設定するようにしてもよい。
敵対的サンプル取得部１９２は、ターゲット選択部３９２が設定したクラスをターゲットクラスとして、基データに対する敵対的サンプルを生成する。
【0100】
【0101】
ステップＳ３０１の後、モデル実行部１９３は、ステップＳ３０１で得られた各基データグループに含まれる各基データの特徴量を算出する（ステップＳ３０２）。
ニューラルネットワーク２０１が、特徴量抽出型ＡＩとして構成されている場合、モデル実行部１９３が、各基データをニューラルネットワーク２０１に入力し、ニューラルネットワーク２０１が出力する特徴量を取得するようにしてもよい。
ニューラルネットワーク２０１が、分類型ＡＩとして構成されている場合、モデル実行部１９３が、各基データをニューラルネットワーク２０１に入力し、ニューラルネットワーク２０１が基データのクラス分類のために算出する特徴量を取得するようにしてもよい。
ニューラルネットワーク２０１が、特徴量抽出型ＡＩとして構成されている場合、モデル実行部１９３が、各基データをニューラルネットワーク２０１に入力し、ニューラルネットワーク２０１が出力する特徴量を取得するようにしてもよい。
ニューラルネットワーク２０１が、分類型ＡＩとして構成されている場合、モデル実行部１９３が、各基データをニューラルネットワーク２０１に入力し、ニューラルネットワーク２０１が基データのクラス分類のために算出する特徴量を取得するようにしてもよい。
【0102】
ステップＳ３０３からＳ３０８は、ステップＳ３０５における処理以外は、図３のステップＳ１０２からＳ１０７と同様である。図８のループＬ３１の処理は、図３のループＬ１１の処理と同様である。ループＬ３１で処理の対象となっている基データグループを、対象基データグループとも称する。
ステップＳ３０８で、学習の終了条件が成立していないと処理部３９０が判定した場合（ステップＳ３０８：ＮＯ）、処理がステップＳ３０２へ戻る。この場合、処理部３９０は、ステップＳ３０２で各基データの特徴量を更新し、ループＬ３１の処理を繰り返すことにより、ニューラルネットワーク２０１のパラメータ値の更新を繰り返す。
一方、学習の終了条件が成立していると判定した場合（ステップＳ３０８：ＹＥＳ）、処理部３９０は、図８の処理を終了する。
ステップＳ３０８で、学習の終了条件が成立していないと処理部３９０が判定した場合（ステップＳ３０８：ＮＯ）、処理がステップＳ３０２へ戻る。この場合、処理部３９０は、ステップＳ３０２で各基データの特徴量を更新し、ループＬ３１の処理を繰り返すことにより、ニューラルネットワーク２０１のパラメータ値の更新を繰り返す。
一方、学習の終了条件が成立していると判定した場合（ステップＳ３０８：ＹＥＳ）、処理部３９０は、図８の処理を終了する。
【0103】
図９は、処理部３９０が、敵対的サンプルに基づくパラメータ値更新用データを収集する処理の手順の例を示す図である。処理部３９０は、図８のステップＳ３０５で、図９の処理を行う。
図９のステップＳ４０１は、図４のステップＳ２０１と同様である。処理部３９０がステップＳ４０１で開始するループをループＬ４１と称する。ループＬ４１で処理の対象となっている基データを、対象基データとも称する。
図９のステップＳ４０１は、図４のステップＳ２０１と同様である。処理部３９０がステップＳ４０１で開始するループをループＬ４１と称する。ループＬ４１で処理の対象となっている基データを、対象基データとも称する。
【0104】
ループＬ４１の処理で、類似度算出部３９１は、対象基データの正解クラス以外の各クラスについて、対象基データの特徴量と、そのクラスに紐付けられている特徴量との類似度を示す指標値を算出する（ステップＳ４０２）。
次に、ターゲット選択部３９２は、類似度算出部３９１が算出した指標値に基づいて、対象基データの正解クラス以外のクラスの何れかをターゲットクラスに設定する（ステップＳ４０３）。
次に、ターゲット選択部３９２は、類似度算出部３９１が算出した指標値に基づいて、対象基データの正解クラス以外のクラスの何れかをターゲットクラスに設定する（ステップＳ４０３）。
【0105】
ステップＳ４０４からステップＳ４０８は、図４のステップＳ２０２からＳ２０６と同様である。
ステップＳ４０４では、敵対的サンプル取得部１９２は、ステップＳ４０３でターゲット選択部３９２が設定したターゲットクラスをターゲットクラスとする敵対的サンプルを生成する。
ステップＳ４０８でループＬ４１を終了した場合、処理部３９０は、図９の処理を終了する。
ステップＳ４０４では、敵対的サンプル取得部１９２は、ステップＳ４０３でターゲット選択部３９２が設定したターゲットクラスをターゲットクラスとする敵対的サンプルを生成する。
ステップＳ４０８でループＬ４１を終了した場合、処理部３９０は、図９の処理を終了する。
【0106】
以上のように、敵対的サンプル取得部１９２は、基データグループに含まれるデータである基データの特徴量と、その基データの正解クラス以外のクラスに紐付けられる特徴量との類似度に基づいて、その基データの正解クラス以外のクラスの何れかをターゲットクラスとする敵対的サンプルを生成する。
【0107】
これにより、敵対的サンプル取得部１９２は、基データの特徴量と、ターゲットクラスに紐付けられる特徴量との類似度が比較的高い敵対的サンプルを生成することができ、得られた敵対的サンプルが、ニューラルネットワーク２０１を用いた推定の誤りを誘発する可能性が比較的高いと期待される。
【0108】
ニューラルネットワーク２０１を用いた推定の誤りを誘発する可能性が比較的高い敵対的サンプルは、ニューラルネットワーク２０１を用いた推定の精度が比較的低い入力データと捉えることができる。この敵対的サンプルを用いてニューラルネットワーク２０１の学習を行うことで、学習を効率的に行えることが期待される。
【0109】
＜第３実施形態＞
第３実施形態では、学習済みのニューラルネットワークを用いた運用時における推定装置およびニューラルネットワークの構成の例について説明する。
第３実施形態では、学習済みのニューラルネットワークを用いた運用時における推定装置およびニューラルネットワークの構成の例について説明する。
【0110】
図１０は、第３実施形態に係る推定装置の構成の例を示す図である。図１０に示す構成で、推定装置４００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部４８０と、処理部４９０とを備える。記憶部４８０は、モデル記憶部４８１を備える。モデル記憶部４８１は、共通パラメータ記憶部１８２と、第２正規化層パラメータ記憶部１８３－２とを備える。処理部４９０は、データ取得部１９１と、モデル実行部１９３と、結果出力処理部４９１とを備える。
【0111】
図１０に示す推定装置４００の各部のうち、図１に示す学習装置１００の各部に対応して同様の機能を有する部分には同一の符号（１１０、１２０、１３０、１８２、１８３－２、１９１、１９３）を付し、ここでは詳細な説明を省略する。
推定装置４００では、記憶部４８０が、学習装置１００の記憶部１８０が備える各部のうち、第１正規化層パラメータ記憶部１８３－１を備えていない。また、推定装置４００では、処理部４９０が、学習装置１００の処理部１９０が備える各部のうち、敵対的サンプル取得部１９２と、誤り誘発判定部１９４と、パラメータ更新部１９５とを備えておらず、また、結果出力処理部４９１を備える。それ以外の点では、推定装置４００は、学習装置１００と同様である。
推定装置４００では、記憶部４８０が、学習装置１００の記憶部１８０が備える各部のうち、第１正規化層パラメータ記憶部１８３－１を備えていない。また、推定装置４００では、処理部４９０が、学習装置１００の処理部１９０が備える各部のうち、敵対的サンプル取得部１９２と、誤り誘発判定部１９４と、パラメータ更新部１９５とを備えておらず、また、結果出力処理部４９１を備える。それ以外の点では、推定装置４００は、学習装置１００と同様である。
【0112】
図１１は、モデル記憶部４８１が記憶するニューラルネットワークの例を示す図である。図１１に示すニューラルネットワーク２０２は、図２に示すニューラルネットワーク２０１が備える各部のうち、第１正規化層２３０－１を備えていない。それ以外の点では、ニューラルネットワーク２０２は、ニューラルネットワーク２０１と同様である。
【0113】
図１１に示すニューラルネットワーク２０２の各部のうち、図２に示すニューラルネットワーク２０１の各部に対応して同様の機能を有する部分には同一の符号（２１０、２２１、２２２、２２３、２３０－２、２４０、２５０）を付し、ここでは詳細な説明を省略する。
【0114】
ニューラルネットワーク２０２では、学習は行われないことから、ニューラルネットワーク２０１で、入力データの分布の違いに対応して学習を行うために設けられていた第１正規化層２３０－１は設けられていない。
ニューラルネットワーク２０２は、データの入力を受けて、入力されたデータに対する推定の結果を出力する。
ニューラルネットワーク２０２は、データの入力を受けて、入力されたデータに対する推定の結果を出力する。
【0115】
ニューラルネットワーク２０２が、分類型ＡＩとして構成されていてもよいし、特徴量抽出型ＡＩとして構成されていてもよい。分類型ＡＩとして構成されている場合、ニューラルネットワーク２０２は、データの入力を受けて、そのデータのクラスの推定結果を出力する。特徴量抽出型ＡＩとして構成されている場合、ニューラルネットワーク２０２は、データの入力を受けて、そのデータの特徴量を出力する。
【0116】
ニューラルネットワーク２０２が第１正規化層２３０－１を備えていないことから、推定装置４００のモデル記憶部４８１も、第１正規化層パラメータ記憶部１８３－１を備えていない。
また、推定装置４００は、ニューラルネットワークの学習を行わないことから、学習装置１００が備える各部のうち、学習用のデータとして用いられる敵対的サンプルを取得する敵対的サンプル取得部１９２と、パラメータ値更新の対象とする敵対的サンプルを選択する誤り誘発判定部１９４と、パラメータ値を更新するパラメータ更新部１９５とを備えていない。
また、推定装置４００は、ニューラルネットワークの学習を行わないことから、学習装置１００が備える各部のうち、学習用のデータとして用いられる敵対的サンプルを取得する敵対的サンプル取得部１９２と、パラメータ値更新の対象とする敵対的サンプルを選択する誤り誘発判定部１９４と、パラメータ値を更新するパラメータ更新部１９５とを備えていない。
【0117】
推定装置４００では、データ取得部１９１は、ニューラルネットワーク２０２に対する入力データを取得する。
モデル実行部１９３は、データ取得部１９１が取得したデータをニューラルネットワーク２０２に入力して、ニューラルネットワーク２０２を用いた推定結果を取得する。
モデル実行部１９３は、データ取得部１９１が取得したデータをニューラルネットワーク２０２に入力して、ニューラルネットワーク２０２を用いた推定結果を取得する。
【0118】
結果出力処理部４９１は、得られた推定結果を出力する。結果出力処理部４９１が推定結果を出力する方法は、特定の方法に限定されない。例えば、結果出力処理部４９１が、表示部１２０に推定結果を表示させることで、推定結果を出力するようにしてもよい。あるいは、結果出力処理部４９１が、通信部１１０を介して、推定結果を他の装置へ送信するようにしてもよい。
【0119】
あるいは、運用時にも、図２に示すニューラルネットワーク２０１が用いられてもよい。
【0120】
推定装置４００は、いろいろな推定に用いることができる。例えば、推定装置４００が顔認証、指紋認証、または、声紋認証などの生体認証を行うようにしてもよい。
この場合、推定装置４００が、入力されたデータを、登録されている人物のクラスの何れに分類することを試みることで、入力されたデータが示す人物を、登録されている人物の何れかと認証するか、あるいは、認証に失敗するようにしてもよい。
あるいは、推定装置４００が、入力されたデータの特徴量を抽出し、指定された人物のデータの特徴量との類似度を比較して、入力されたデータが示す人物と、指定された人物とが同一人物であるか否かを判定するようにしてもよい。
あるいは、推定装置４００が、各種の予測を行う装置など、生体認証以外の用途の装置に用いられてもよい。
この場合、推定装置４００が、入力されたデータを、登録されている人物のクラスの何れに分類することを試みることで、入力されたデータが示す人物を、登録されている人物の何れかと認証するか、あるいは、認証に失敗するようにしてもよい。
あるいは、推定装置４００が、入力されたデータの特徴量を抽出し、指定された人物のデータの特徴量との類似度を比較して、入力されたデータが示す人物と、指定された人物とが同一人物であるか否かを判定するようにしてもよい。
あるいは、推定装置４００が、各種の予測を行う装置など、生体認証以外の用途の装置に用いられてもよい。
【0121】
＜第４実施形態＞
図１２は、第４実施形態に係る学習装置の構成の例を示す図である。図１２に示す構成で、学習装置６１０は、データ取得部６１１と、敵対的サンプル取得部６１２と、誤り誘発判定部６１３と、パラメータ更新部６１４と、を備える。
かかる構成で、データ取得部６１１は、複数のデータを含むグループである基データグループを取得する。
敵対的サンプル取得部６１２は、データ取得部６１１が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する。
図１２は、第４実施形態に係る学習装置の構成の例を示す図である。図１２に示す構成で、学習装置６１０は、データ取得部６１１と、敵対的サンプル取得部６１２と、誤り誘発判定部６１３と、パラメータ更新部６１４と、を備える。
かかる構成で、データ取得部６１１は、複数のデータを含むグループである基データグループを取得する。
敵対的サンプル取得部６１２は、データ取得部６１１が取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する。
【0122】
誤り誘発判定部６１３は、ニューラルネットワークに、データが入力されたときに、そのデータが、ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する。ここでのニューラルネットワークは、部分ネットワークと、第１正規化層と、第２正規化層とを含む。第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行う。第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行う。
【0123】
パラメータ更新部６１４は、基データグループを用いて、部分ネットワークのパラメータ値と、第２正規化層のパラメータ値とを更新し、敵対的データグループに含まれる敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、部分ネットワークのパラメータ値と、第１正規化層のパラメータ値とを更新する。
【0124】
データ取得部６１１は、データ取得手段の例に該当する。敵対的サンプル取得部６１２は、敵対的サンプル取得手段の例に該当する。誤り誘発判定部６１３は、誤り誘発判定手段の例に該当する。パラメータ更新部６１４は、パラメータ更新手段の例に該当する。
【0125】
学習装置６１０は、敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発する敵対的サンプルを選択し、ニューラルネットワークの学習に用いる。学習装置６１０によれば、この点で、ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮することができる。
【0126】
ここで、ニューラルネットワークを用いた推定の誤りを誘発する敵対的サンプルは、そのニューラルネットワークを用いた推定の精度が低い入力データと捉えることができる。この敵対的サンプルを用いてニューラルネットワークの学習を行うことで、学習を効率的に行えることが期待される。
【0127】
一方、ニューラルネットワークを用いた推定の誤りを誘発しない敵対的サンプルは、そのニューラルネットワークを用いた推定の精度が比較的高い入力データと捉えることができる。ニューラルネットワークの学習に用いられる敵対的サンプルに、ニューラルネットワークを用いた推定の誤りを誘発しない敵対的サンプルが含まれていると、その分、ニューラルネットワークの学習に時間がかかる、あるいは、学習結果として得られるニューラルネットワークの精度が比較的低くなることが考えられる。
【0128】
これに対し、上記のように、学習装置６１０は、敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発する敵対的サンプルを選択し、ニューラルネットワークの学習に用いる。学習装置６１０によれば、この点で、ニューラルネットワークの学習にかかる時間が比較的短いこと、あるいは、学習結果として得られるニューラルネットワークの精度が比較的高いことが期待される。
【0129】
また、基データと敵対的サンプルとでは、ニューラルネットワークへの入力の分布が異なる。ニューラルネットワークに、敵対的サンプルの入力と紐付けられる第１正規化層と、基データの入力と紐付けられる第２正規化層とが含まれることで、学習装置６１０が、これらの正規化層を用いてニューラルネットワークの学習を比較的効率的に行えると期待される。
【0130】
データ取得部６１１は、例えば、図１のデータ取得部１９１等の機能を用いて実現することができる。敵対的サンプル取得部６１２は、例えば、図１の敵対的サンプル取得部１９２等の機能を用いて実現することができる。誤り誘発判定部６１３は、例えば、図１の誤り誘発判定部１９４等の機能を用いて実現することができる。パラメータ更新部６１４は、例えば、図１のパラメータ更新部１９５等の機能を用いて実現することができる。
【0131】
＜第５実施形態＞
図１３は、第５実施形態に係る学習方法における処理の手順の例を示す図である。図１３に示す学習方法は、データを取得すること（ステップＳ６１１）と、敵対的サンプルを取得すること（ステップＳ６１２）と、誤り誘発の有無を判定すること（ステップＳ６１３）と、パラメータ値を更新すること（ステップＳ６１４）とを含む。
図１３は、第５実施形態に係る学習方法における処理の手順の例を示す図である。図１３に示す学習方法は、データを取得すること（ステップＳ６１１）と、敵対的サンプルを取得すること（ステップＳ６１２）と、誤り誘発の有無を判定すること（ステップＳ６１３）と、パラメータ値を更新すること（ステップＳ６１４）とを含む。
【0132】
データを取得すること（ステップＳ６１１）では、コンピュータが、複数のデータを含むグループである基データグループを取得する。
敵対的サンプルを取得すること（ステップＳ６１２）では、コンピュータが、取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する。
敵対的サンプルを取得すること（ステップＳ６１２）では、コンピュータが、取得した基データグループに含まれるデータに対する敵対的サンプルを複数含むグループである敵対的データグループを取得する。
【0133】
誤り誘発の有無を判定すること（ステップＳ６１３）では、コンピュータが、部分ネットワークと、第１正規化層と、第２正規化層とを含み、第１正規化層は、第１正規化層自らに入力されるデータに対して、第１平均値と第１分散値とを用いた正規化を行い、第２正規化層は、第２正規化層自らに入力されるデータに対して、第２平均値と第２分散値とを用いた正規化を行うニューラルネットワークに、データが入力されたときに、そのデータが、ニューラルネットワークを用いた推定の誤りを誘発するか否かを判定する。
【0134】
パラメータ値を更新すること（ステップＳ６１４）では、コンピュータが、基データグループを用いて、部分ネットワークのパラメータ値と、第２正規化層のパラメータ値とを更新し、敵対的データグループに含まれる敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発すると判定された敵対的サンプルを用いて、部分ネットワークのパラメータ値と、第１正規化層のパラメータ値とを更新する。
【0135】
図１３に示す学習方法では、敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発する敵対的サンプルを選択し、ニューラルネットワークの学習に用いる。図１３に示す学習方法によれば、この点で、ニューラルネットワークの学習に敵対的サンプルが用いられる場合に、敵対的サンプルの精度を考慮することができる。
【0136】
ここで、ニューラルネットワークを用いた推定の誤りを誘発する敵対的サンプルは、そのニューラルネットワークを用いた推定の精度が低い入力データと捉えることができる。この敵対的サンプルを用いてニューラルネットワークの学習を行うことで、学習を効率的に行えることが期待される。
【0137】
一方、ニューラルネットワークを用いた推定の誤りを誘発しない敵対的サンプルは、そのニューラルネットワークを用いた推定の精度が比較的高い入力データと捉えることができる。ニューラルネットワークの学習に用いられる敵対的サンプルに、ニューラルネットワークを用いた推定の誤りを誘発しない敵対的サンプルが含まれていると、その分、ニューラルネットワークの学習に時間がかかる、あるいは、学習結果として得られるニューラルネットワークの精度が比較的低くなることが考えられる。
【0138】
これに対し、上記のように、図１３に示す学習方法では、敵対的サンプルのうち、ニューラルネットワークを用いた推定の誤りを誘発する敵対的サンプルを選択し、ニューラルネットワークの学習に用いる。図１３に示す学習方法によれば、この点で、ニューラルネットワークの学習にかかる時間が比較的短いこと、あるいは、学習結果として得られるニューラルネットワークの精度が比較的高いことが期待される。
【0139】
また、基データと敵対的サンプルとでは、ニューラルネットワークへの入力の分布が異なる。図１３に示す学習方法では、ニューラルネットワークに、敵対的サンプルの入力と紐付けられる第１正規化層と、基データの入力と紐付けられる第２正規化層とが含まれることで、これらの正規化層を用いてニューラルネットワークの学習を比較的効率的に行えると期待される。
【0140】
図１４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図１４に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
図１４に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
【0141】
上記の学習装置１００、学習装置３００、推定装置４００、および、学習装置６１０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。また、インタフェース７４０は、不揮発性記録媒体７５０用のポートを有し、不揮発性記録媒体７５０からの情報の読出、および、不揮発性記録媒体７５０への情報の書込を行う。
【0142】
学習装置１００がコンピュータ７００に実装される場合、処理部１９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0143】
また、ＣＰＵ７１０は、プログラムに従って、記憶部１８０およびその各部のための記憶領域を主記憶装置７２０に確保する。通信部１１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。表示部１２０による画像の表示は、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って各種画像の表示することで実行される。操作入力部１３０によるユーザ操作の受け付けは、インタフェース７４０が入力デバイスを備え、ＣＰＵ７１０の制御に従ってユーザ操作を受け付けることで実行される。
【0144】
学習装置３００がコンピュータ７００に実装される場合、処理部３９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0145】
また、ＣＰＵ７１０は、プログラムに従って、記憶部１８０およびその各部のための記憶領域を主記憶装置７２０に確保する。通信部１１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。表示部１２０による画像の表示は、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って各種画像の表示することで実行される。操作入力部１３０によるユーザ操作の受け付けは、インタフェース７４０が入力デバイスを備え、ＣＰＵ７１０の制御に従ってユーザ操作を受け付けることで実行される。
【0146】
推定装置４００がコンピュータ７００に実装される場合、処理部４９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0147】
また、ＣＰＵ７１０は、プログラムに従って、記憶部４８０およびその各部のための記憶領域を主記憶装置７２０に確保する。通信部１１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。表示部１２０による画像の表示は、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って各種画像の表示することで実行される。操作入力部１３０によるユーザ操作の受け付けは、インタフェース７４０が入力デバイスを備え、ＣＰＵ７１０の制御に従ってユーザ操作を受け付けることで実行される。
【0148】
学習装置６１０がコンピュータ７００に実装される場合、データ取得部６１１と、敵対的サンプル取得部６１２と、誤り誘発判定部６１３と、パラメータ更新部６１４との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0149】
また、ＣＰＵ７１０は、プログラムに従って、学習装置６１０が処理を行うための記憶領域を主記憶装置７２０に確保する。学習装置６１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。学習装置６１０とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0150】
上述したプログラムのうち何れか１つ以上が不揮発性記録媒体７５０に記録されていてもよい。この場合、インタフェース７４０が不揮発性記録媒体７５０からプログラムを読み出すようにしてもよい。そして、ＣＰＵ７１０が、インタフェース７４０が読み出したプログラムを直接実行するか、あるいは、主記憶装置７２０または補助記憶装置７３０に一旦保存して実行するようにしてもよい。
【0151】
なお、学習装置１００、学習装置３００、推定装置４００、および、学習装置６１０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0152】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0153】
１００、３００、６１０ 学習装置
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０、４８０ 記憶部
１８１ モデル記憶部
１８２ 共通パラメータ記憶部
１８３－１ 第１正規化層パラメータ記憶部
１８３－２ 第２正規化層パラメータ記憶部
１９０、３９０、４９０ 処理部
１９１、６１１ データ取得部
１９２、６１２ 敵対的サンプル取得部
１９３ モデル実行部
１９４、６１３ 誤り誘発判定部
１９５、６１４ パラメータ更新部
２０１、２０２ ニューラルネットワーク
２１０ 入力層
２２１ 畳み込み層
２２２ 活性化層
２２３ プーリング層
２３０－１ 第１正規化層
２３０－２ 第２正規化層
２４０ 全結合層
２５０ 出力層
３９１ 類似度算出部
３９２ ターゲット選択部
４００ 推定装置
４９１ 結果出力処理部
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０、４８０ 記憶部
１８１ モデル記憶部
１８２ 共通パラメータ記憶部
１８３－１ 第１正規化層パラメータ記憶部
１８３－２ 第２正規化層パラメータ記憶部
１９０、３９０、４９０ 処理部
１９１、６１１ データ取得部
１９２、６１２ 敵対的サンプル取得部
１９３ モデル実行部
１９４、６１３ 誤り誘発判定部
１９５、６１４ パラメータ更新部
２０１、２０２ ニューラルネットワーク
２１０ 入力層
２２１ 畳み込み層
２２２ 活性化層
２２３ プーリング層
２３０－１ 第１正規化層
２３０－２ 第２正規化層
２４０ 全結合層
２５０ 出力層
３９１ 類似度算出部
３９２ ターゲット選択部
４００ 推定装置
４９１ 結果出力処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】