(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-10
(45)【発行日】2022-05-18
(54)【発明の名称】ディープラーニングマシンの信頼度判断方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20220511BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
5
(21)【出願番号】P 2020179176
(22)【出願日】2020-10-26
(65)【公開番号】P2022036880
(43)【公開日】2022-03-08
【審査請求日】2020-10-26
(31)【優先権主張番号】10-2020-0106630
(32)【優先日】2020-08-24
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519000593
【氏名又は名称】クラウドブリック コーポレーション
(74)【代理人】
【識別番号】100079049
【弁理士】
【氏名又は名称】中島 淳
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(72)【発明者】
【氏名】パク スン ヨン
(72)【発明者】
【氏名】キム テ ヨン
(72)【発明者】
【氏名】チョン テ チュン
(72)【発明者】
【氏名】キム ドク ス
【審査官】吉倉 大智
(56)【参考文献】
【文献】Mattias Teye ほか，Bayesian uncertainty estimation for batch normalized deep networks，Proceedings of Machine Learning Research [online]，vol.80，2018年，pp.4907-4916，[検索日 2021.12.20], インターネット：<URL：http://proceedings.mlr.press/v80/teye18a.html>
【文献】Lukasz Wandzik ほか，Uncertainty quantification in deep residual neural networks，arXiv [online]，v1，2020年07月09日，pp.1-10，[検索日 2021.12.20], インターネット：<URL：https://arxiv.org/abs/2007.04905v1>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ ２１／００
(57)【特許請求の範囲】
【請求項1】
ディープラーニングマシンが、判定するデータのクラスを仮判定するステップと、前記ディープラーニングマシンが、仮判定したデータの攻撃／正常の比率を確認し、正常又は攻撃の有無が判断されたＭ個のテストデータを用いてＮ個のミニバッチを構成し、前記Ｎ個のミニバッチを含むミニバッチセットをＴ個構成するステップ、及び
前記ディープラーニングマシンが、前記ミニバッチセットを構成するＮ個のミニバッチのそれぞれに備えられたテストデータを判定して、前記Ｎ個のミニバッチのそれぞれの攻撃／正常の比率を判断する過程を複数回繰り返し行うステップ、とを含み、
前記Ｔ個のミニバッチセットのそれぞれに用いられる前記Ｍ個のテストデータは同一であるが、前記ミニバッチのそれぞれのテストデータの組み合わせは前記ミニバッチ毎に互いに異なり、前記ミニバッチのそれぞれの大きさはＭ／Ｎである、ディープラーニングマシンの信頼度判断方法。
【請求項2】
前記複数回は、ミニバッチセットの個数Ｔ個と同一である、請求項１に記載のディープラーニングマシンの信頼度判断方法。
【請求項3】
前記Ｍ個のテストデータは、仮判定されたデータのみから構成される、請求項１に記載のディープラーニングマシンの信頼度判断方法。
【請求項4】
前記Ｎ個のミニバッチのそれぞれに含まれる前記テストデータの正常：攻撃の比率は１：１である、請求項２に記載のディープラーニングマシンの信頼度判断方法。
【請求項5】
前記Ｍ個のテストデータにおいて前記ミニバッチのそれぞれのデータの構成を攻撃／正常の比率１：１に合わせるために訓練データからオーバーサンプリングをする、請求項３に記載のディープラーニングマシンの信頼度判断方法。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディープラーニングマシンの信頼度を判断する方法に関するものである。
【背景技術】
【0002】
ディープラーニングは、機械が人間のように特定データの種類を学習し、自ら認知、推論、判断をすることができる技術である。例えば、ディープラーニングは、機械に数万点の絵を学習させ、新しい絵が何かを機械自らが認識できるようにする技術である。
【0003】
ディープラーニングが適用されたディープラーニングマシンを活用するためには、ディープラーニングマシンの信頼度が確認できていなければならず、このために、ディープラーニングマシンの信頼度を判断する過程を施す必要がある。
【0004】
しかし、ディープラーニングマシンの信頼度を判断するために、従来では多くの計算量が要求されており、そのため、ディープラーニングマシンが実際に用いられるまでには多くのテストや期間が要求されていた。
【先行技術文献】
【特許文献】
【0005】
【文献】韓国登録番号第１０-２１０７８４７：ウェブトラフィック学習のための１６進数イメージ変換と増分学習を適用したディープラーニング方法
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した問題点を解決するために提案された本発明の目的は、テストデータの判定の際に計算量を低減させることができる、ディープラーニングマシンの信頼度判断方法を提供することである。
【課題を解決するための手段】
【0007】
上述した技術的課題を達成するための本発明に係るディープラーニングマシンの信頼度判断方法は、判定するデータのクラスを仮判定するステップと、仮判定したデータの攻撃／正常の比率を確認し、正常又は攻撃の有無が判断されたＭ個のテストデータを用いてＮ個のミニバッチを構成し、前記Ｎ個のミニバッチを含むミニバッチセットの個数をＴ個構成するステップ、及び前記ミニバッチセットを構成するＮ個のミニバッチのそれぞれに備えられたテストデータを判定して、前記Ｎ個のミニバッチのそれぞれの攻撃／正常の比率を判断する過程を複数回繰り返し行う（好ましくは、Ｔ回行う）ステップと、を含み、前記Ｔ個のミニバッチセットのそれぞれに用いられる前記Ｍ個のテストデータは同一であるが、前記ミニバッチのそれぞれのテストデータの組み合わせは、前記ミニバッチ毎に互いに異なり、前記ミニバッチのそれぞれの大きさはＭ／Ｎである、ディープラーニングマシンの信頼度判断方法である。
【発明の効果】
【0008】
本発明によれば、既存のディープラーニングマシンの信頼度判断方法に比べて判定の信頼度が向上し、且つ、既存のＭＣＢＮよりも少ない計算量でディープラーニングマシンの信頼度を判断することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、添付の図面を参考して本発明の実施例について詳述する。
【0011】
本発明は、本出願人によって出願され登録となった韓国登録番号第１０-２１０７８４７号（以下、韓国登録特許と略する）に記載されている方法、又は現在公開されている種々の方法を用いてディープラーニングを行うディープラーニングマシンの信頼度を判断する方法に関するものである。
【0012】
したがって、本発明に適用されるディープラーニングマシンは、基本的にディープラーニング技術を用いてディープラーニング学習を行う。
【0013】
すなわち、本発明は、ディープラーニング学習を行ったディープラーニングマシンの信頼度を判断する方法に関するものである。
【0014】
【0015】
本発明が適用されるディープラーニングシステムは、図１に示されたように、ディープラーニング技術を用いるディープラーニングマシン２０、及びディープラーニングマシンがディープラーニング学習を行うために用いるサーバ１０を含む。
【0016】
ディープラーニングマシン２０は、図２に示されたように、ネットワークを介して外部装置と通信を行う通信部２１と、ユーザから各種の情報の入力を受ける入力部２３と、各種の情報を出力する出力部２４と、各種の情報を格納する格納部２５、及びこれらの構成の機能を制御する制御部２２と、を含む。
【0017】
ディープラーニングマシン２０は、現在一般的に用いられているサーバであってよく、パーソナルコンピュータ（ＰＣ）であってよく、その他、タブレッドＰＣやスマートフォンなどのような各種の電子装置であってもよい。
【0018】
ディープラーニングマシン２０は、韓国登録特許などを通じて公開されている各種の方法を用いて、ディープラーニング技術を学習する。この場合、ディープラーニングマシン２０は、サーバ１０から提供される各種の訓練データを用いてディープラーニング技術を学習することができる。また、ディープラーニングマシン２０は、サーバ１０から訓練データを読み込むこともできる。特に、ディープラーニングマシン２０は、本発明に係るディープラーニングマシンの信頼度判断方法を行うこともできる。
【0019】
しかし、本発明に係るディープラーニングマシンの信頼度判断方法は、ディープラーニングマシン２０とサーバ１０とで行われてもよい。例えば、ディープラーニングマシン２０では、テストデータの攻撃又は正常を判断する機能を遂行し、サーバ１０では、後述するミニバッチセットを設定し、前記ディープラーニングマシン２０での前記判断による平均を用いてディープラーニングマシンの信頼度を判断する機能を遂行してよい。
【0020】
以下、先ず、従来のディープラーニングマシンの信頼度判断方法、従来のＭＣＢＮ方法を用いたディープラーニングマシンの信頼度判断方法、及び本発明に係るディープラーニングマシンの信頼度判断方法について簡略に説明する。
【0021】
第一に、ＨＴＴＰトラフィックのための従来のディープラーニングマシンの信頼度判断方法を説明する。
【0022】
ディープラーニングマシンが学習を行ってから信頼度判断のための判定を行うとき、該ディープラーニングマシンは、テストデータのみから構成されたミニバッチ（ｍｉｎｉ ｂａｔｃｈ）で１回の判定だけを行う。
【0023】
テストの際、学習済みのディープラーニングマシンのｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒのパラメータが固定され、ｄｒｏｐｏｕｔが非活性化する。
【0024】
同一のテストデータを同一の構造のディープラーニングマシンがテストするため、ディープラーニングマシンが同一のテストデータを繰り返し判定するとしても、判定確率値は毎回同一であるしかなく、当該値は概して１に近い値を示す。
【0025】
すなわち、判定が間違っても判定確率値の多くが１に近いため、当該判定をどの程度信頼できるか分からない。理想的にディープラーニングマシンが信頼できるためには、判定エラーが発生したデータに対する判定確率は１／２に近く、また、正常な判定がなされたなデータであれば判定確率が１に近くなければならない。
【0026】
第二に、従来のＭＣＢＮ方法を用いたディープラーニングマシンの信頼度判断方法を説明する。
【0027】
前記したのような問題を解決するために、従来では、ＭＣＢＮ（Ｍｏｎｔｅ Ｃａｒｌｏ Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）技法を適用していた。
【0028】
ＭＣＢＮ技法を用いたディープラーニングマシンが学習後に、判定をするテストデータ１個に、残りは学習に用いられたデータ（以下、訓練データと略する）をランダムに選択して複数のミニバッチ（ｍｉｎｉ－ｂａｔｃｈ）を構成し、該ディープラーニングマシンが複数のミニバッチを繰り返し判定する。
【0029】
判定データに対して繰り返しの判定のための複数のミニバッチ（ｍｉｎｉ－ｂａｔｃｈ）の構成の際、学習に用いられた訓練データを再びランダムに選択する。また、ミニバッチ（ｍｉｎｉ－ｂａｔｃｈ）を構成する訓練データの攻撃：正常の比率は、訓練過程における攻撃：正常の比率と一致させる必要がある。
【0030】
通常、訓練過程では、ラベル間の判定正確度の均衡を合わせるためにオーバーサンプリングによってラベル間の均衡が１：１に維持される。
【0031】
すなわち、ディープラーニングマシンは判定するデータが与えられると繰り返しの判定を行い、このとき、判定データ（テストデータ）を除くすべてのデータは既存の学習データからランダムに選定され、判定毎にその構成が変わる。
【0032】
また、判定の際、学習済みのマシンを構成するｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒとｄｒｏｐｏｕｔ ｌａｙｅｒが活性化する。
【0033】
判定データ（テストデータ）を除くすべての学習データは判定毎に変化し、これはｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒに影響を及ぼす。
【0034】
ＭＣＢＮ技法を用いたディープラーニングマシンによれば、判定をする度に判定確率が変化し、これを平均すれば実際の判定確率値に収斂するはずであるという期待が可能である。よって、従来の信頼度よりも向上した信頼度が得られる。
【0035】
第三に、本発明に係るディープラーニングマシンの信頼度判断方法を説明する。
【0036】
先ず、本発明の目的は次のとおりである。
【0037】
本発明の目的は、ディープラーニングマシン２０が判定したデータに対する結果値がどの程度の信頼性があるかを正確に示すことである。
【0038】
また、既存のＭＣＢＮの場合、たった１個のデストデータの判定のために、判定が必要ではない訓練データを用いてｍｉｎｉ－ｂａｔｃｈを構成することから過度な計算量を必要としていたので、本発明は、信頼度の判断に必要な計算量を軽減することを目的とする。
【0039】
次に、本発明の構成は以下のとおりである。
【0040】
ディープラーニングマシン２０が訓練をした後に、訓練済みのデータの攻撃／正常の比率を確認する過程が必要である。
【0041】
先ず、テストデータを既存の方法にて学習されたディープラーニングマシンにかけてクラスを仮判定する。
【0042】
仮判定されたデータの攻撃／正常の比率を確認し、少数で構成されたクラスに対して訓練データからオーバーサンプリングによって、各クラス間のデータセットの比率を、訓練済みのデータの攻撃／正常の比率に合わせる。通常、攻撃／正常の比率は略１：１に合わせる。
【0043】
攻撃／正常の比率が合わせられたデータを用いて判定を行うとき、テストデータのみから構成されたｍｉｎｉ ｂａｔｃｈを複数回テストする。このとき、既存の方法にて学習されたマシンによって判定エラーが生じ得るが、大半は判定エラーのないテストデータから構成されているため、ｍｉｎｉ－ｂａｔｃｈを構成するテストデータの攻撃／正常の比率は、訓練過程における比率とほぼ同様なものとなる。
【0044】
前記テスト過程を行うとき、テストをする度に、ｍｉｎｉ ｂａｔｃｈの構成が変わり、学習されたマシンのｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒ及びｄｒｏｐｏｕｔ ｌａｙｅｒが毎回変化する。
【0045】
同じテストデータが毎回異なる構造のディープラーニングマシンでテストされるため、判定確率値に偏差が生じ得る。毎回判定確率値が異なることから、信頼度もまた一様に分布され得る。
【0046】
すなわち、判定確率値に対する信頼度が信憑性を増し得る。
【0047】
最後に、本発明は次のような効果を奏する。
【0048】
本発明は、既存のディープラーニングマシンの判定信頼度よりも高い信頼度を確保できながらも、本発明でなされる計算量はＭＣＢＮよりも少なくて済む。
【0049】
第四に、以下の説明で用いられる用語を整理すると、次のとおりである。
【0050】
判定確率値はｒｅｌｉａｂｉｌｉｔｙ ｓｃｏｒｅを意味し、判定正確度を意味する。
【0051】
判定信頼度は１回の平均を意味し、特に、攻撃／正常と判定したとき、この判定をどの程度信頼できるかを意味する。よって、平均確率が１に近いほど当該判定は信頼でき、平均確率が０．５に近いほど当該判定は信頼し難い。
【0052】
判定クラスは攻撃又は正常と分類される。
【0053】
ミニバッチ（Ｍｉｎｉ－ｂａｔｃｈ）は、判定するデータを分けたグループを意味し、例えば、１００個のデータを５個ずつ分けると、２０個のｍｉｎｉ－ｂａｔｃｈが生成される。
【0054】
Ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎは、テストをする度に、異なった構成となるｍｉｎｉ－ｂａｔｃｈセットに係る結果に対する平均値を求めることを意味する。
【0055】
Ｄｒｏｐｏｕｔは、ディープラーニングマシンの神経網構造を簡素化することで過剰適合問題を解決することを意味する。
【0056】
ａｃｃｕｒａｃｙは、実際クラスと一致する個数を全体判定個数で割った値を意味する。
【0057】
F１ ｓｃｏｒｅは、ｐｒｅｃｉｓｉｏｎとｒｅ-ｃａｌｌの調和平均を意味する。
【0058】
判定エラーデータは、実際クラスとは逆に判定したデータを意味する。
【0059】
少数で構成されたクラスに対して訓練データからオーバーサンプリングによって、各クラス間のデータセットの比率を１：１に合わせるということは、テストするデータを既に訓練済みのマシンに任意にかけると、データは攻撃と正常の２つのクラスに分けられ、攻撃が正常トラフィックに比べて少ないと、訓練データから攻撃データを持ってきてテストデータの攻撃と正常の個数を１：１ 比率に合わせるということを意味する。
【0060】
以下では、実際の例を参照して、従来の信頼度判断方法及び本発明に係るディープラーニングマシンの信頼度判断方法を説明する。
【0061】
図３は、従来のディープラーニングマシンの信頼度判断方法を示した例示図であり、図４は、従来のＭＣＢＮ方法を用いたディープラーニングマシンの信頼度判断方法を示した例示図であり、図５は、本発明に係るディープラーニングマシンの信頼度判断方法を示した例示図である。
【0062】
ディープラーニングマシン２０が学習を行った後、ディープラーニングマシン２０が正常に駆動できるか否かの確認が取れると、ディープラーニングマシン２０は実質的にユーザによって用いられ得る。
【0063】
第一に、図３を参照して、従来のディープラーニングマシンの信頼度判断方法を説明する。
【0064】
先ず、テストデータがディープラーニングマシン２０を活用して判定される。
【0065】
訓練過程ではｄｒｏｐｏｕｔ ｌａｙｅｒやｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒを活性化して訓練を行うのに対し、テスト過程ではｄｒｏｐｏｕｔ ｌａｙｅｒやｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒが非活性化する。このため、常に同一の判定結果が出る。すなわち、従来のディープラーニングマシンの信頼度判断方法を用いる場合、一回以上テストをすることは意味がない。
【0066】
従来のディープラーニングマシンの信頼度判断方法における問題は、誤判定に対する確率値が常に同一であるため、判定に対する正確度又は信頼度を確認し難いということである。
【0067】
第二に、図４を参照して、従来のＭＣＢＮ方法を用いたディープラーニングマシンの信頼度判断方法を説明する。
【0068】
先ず、図４には、大きさが４のｍｉｎｉ－ｂａｔｃｈを用いた判定データ、すなわち、テストデータ３個を判定する過程が示されている。
【0069】
次に、各Ｍｉｎｉ－ｂａｔｃｈは、テストデータ１個及び訓練データ３個から構成され、ディープラーニングマシンは３回繰り返し判定を行う。
【0070】
次に、訓練の際、訓練データのオーバーサンプリングによって攻撃／正常の比率が１：１に合わせられる。このため、判定過程で用いられるｍｉｎｉ－ｂａｔｃｈでの攻撃／正常データの比率も１：１に構成される必要がある。訓練データはオーバーサンプリングによって１：１比率に合わせたので、図４中の各ｍｉｎｉ－ｂａｔｃｈの攻撃／正常データの比率も１：１に合わせられる。
【0071】
ここで、不足したデータを既存の訓練データで埋めるのがオーバーサンプリングである。例えば、攻撃が６個、正常が３個であったとすると、攻撃：正常を１：１の比率に合わせるための３個の正常データをどこかから持ってくる行為がオーバーサンプリングである。ＭＣＢＮの場合、３個の正常データは訓練データから得られる。
【0072】
ここで、攻撃／正常の比率を１：１に合わせるということは次のような意味をもつ。すなわち、図４に示された例において、テストデータが１個あり、テストデータが攻撃なのか正常なのか知らない状況である。この場合、訓練データは攻撃が６個、正常が３個である。訓練データのうち正常データ３個をコピーすることで、攻撃テストデータ６個及び正常テストデータ６個が得られる。そして、ｍｉｎｉ－ｂａｔｃｈは、テストデータ１個、訓練データｌの攻撃６個、訓練データの正常６個から構成される。すると、攻撃：正常の比率が７：６あるいは６：７になるため「ほぼ」１：１の比率になることができる。
【0073】
この場合、１個のテストデータを判定するためには、判定の必要がない３個の訓練データが含まれることから、計算する量が、図３に示された既存の方法よりもテストデータ分増加する。すなわち、図３に示された方法に比べて、ＭＣＢＮを用いる方法における計算量は、ｍｉｎｉ－ｂａｔｃｈの大きさ×繰り返し判定回数分増加する。ここで、図４に示された例における繰り返し判定回数は３であるとする。
【0074】
次に、他のＭｉｎｉ－ｂａｔｃｈセットをテストする度に神経網のｄｒｏｐｏｕｔが異なり、与えられたテストデータとともに構成された訓練データも異なるため、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ値も変わる。すなわち、神経網の構造が異なる。
【0075】
そのため、同一のテストデータを計３回繰り返す度に判定確率値が変わる。ここで、同一のテストデータを繰り返す（計３回）度に判定確率値が変わるということは、例えば、テストデータ１に対してはミニバッチｓｅｔ１、ミニバッチｓｅｔ２、ミニバッチｓｅｔ３で３回繰り返され、テストデータ２に対しても計３回繰り返され、テストデータ３に対しても同様に計３回繰り返されるということを意味する。
【0076】
最後に、前記したような判定確率値に対する平均値を用いて信頼度を計算することができる。
【0077】
第三に、本発明に係るディープラーニングマシンの信頼度判断方法を説明する。
【0078】
先ず、ディープラーニングマシン２０でテストデータが攻撃か正常かが任意に判定される。図５に示された例では、テストデータが攻撃６個、正常４個で、計１０個のテストデータが任意に判定される。
【0079】
この場合、攻撃／正常の比率を１：１に合わせのために、ディープラーニングマシンを訓練したデータから正常データ２個が得られる。
【0080】
次に、攻撃／正常の比率が１：１に合わせられたテストデータでｍｉｎｉ－ｂａｔｃｈが構成される。
【0081】
次に、すべてのテストデータを活用したＭｉｎｉ－ｂａｔｃｈセットがテストされる。
【0082】
次に、ｍｉｎｉ－ｂａｔｃｈができる限りテストデータで構成されるため、既存よりも最小繰り返し判定回数分の計算量がさらに必要となる。すなわち、本発明では最大繰り返し判定回数×２だけの計算量が要求される。敷衍して説明すると、ミニバッチができる限りテストデータで構成されるため、少なくとも既存より繰り返し判定回数分の計算量がさらに必要になる。
【0083】
次に、他のＭｉｎｉ－ｂａｔｃｈセットがテストされる度に神経網のｄｒｏｐｏｕｔが異なり、与えられた判定データとともに構成された訓練データも異なるため、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ値も異なる。すなわち、神経網の構造が異なる。
【0084】
このため、同一のデータが計３回繰り返される度に判定確率値が変わる。
【0085】
次に、前記したような判定確率値に対する平均値を用いて信頼度を計算することができる。
【0086】
最後に、本発明における判定の信頼度がＭＣＢＮ技法と類似の理由は、ＭＣＢＮ技法と同様、同一のデータが他の構造の神経網で複数回テストされ、判定確率値の平均が得られるためである。
【0087】
【0088】
【0089】
次に、図４を参照したＭＣＢＮ方法を用いたディープラーニングマシンの信頼度判断方法では、［既存の計算量（１）×繰り返し判定回数Ｔ×テストデータ個数Ｍ］分の計算量が要求される。ここで、Ｔはｍｉｎｉ－ｂａｔｃｈセットの個数であり、ＭはＭｉｎｉ－ｂａｔｃｈを構成するテストデータの個数であるとする。
【0090】
最後に、図５を参照した本発明に係るディープラーニングマシンの信頼度判断方法では、ＭＣＢＮ方法で得られた信頼度と類似の信頼度が得られ、且つＭＣＢＮ方法における計算量よりも少ない計算量が要求される。
【0091】
第一に、テストデータの攻撃／正常の比率が同一である場合には、［既存の計算量（１）×繰り返し判定回数Ｔ］分の計算量が要求される。この場合、オーバーサンプリングが不要である。
【0092】
第二に、テストデータの攻撃／正常の比率が１：０である場合には、［既存の計算量（１）×繰り返し判定回数×２］分の計算量が要求される。この場合、攻撃分のオーバーサンプリングが必要であるため、計算量が２倍増加し得る。
【0093】
すなわち、本発明に係る計算量（［既存の計算量（１）×繰り返し判定回数Ｔ］又は［既存の計算量（１）×繰り返し判定回数×２］）は、図３に示された既存の方法の計算量よりは多いが、図４に示されたＭＣＢＮ技法の計算量（［既存の計算量（１）×繰り返し判定回数Ｔ×テストデータ個数Ｍ］）よりは最大Ｍ倍少なく、且つ最小Ｍ／２倍少なくて済む。
【0094】
その理由は、ＭＣＢＮの場合には、１つのＭｉｎｉ－ｂａｔｃｈに１個のテストデータだけが含まれるからである。すなわち、１つのＭｉｎｉ－ｂａｔｃｈの大きさが４とするとき、ＭＣＢＮの場合、オーバーサンプリングの前のテストデータが１２個あれば、オーバーサンプリングの後に１２個のＭｉｎｉ－ｂａｔｃｈでＭｉｎｉ－ｂａｔｃｈセットを構成し、結局は、計４８個のデータが判定される必要がある。しかし、本発明では、オーバーサンプリングの前のテストデータが１２個あり、攻撃／正常の比率が１：１であれば、オーバーサンプリングが不要であるため、３個のＭｉｎｉ－ｂａｔｃｈでＭｉｎｉ－ｂａｔｃｈセットを構成し、結局は、計１２個のデータを判定すれば済む。
【0095】
また他の例として、テストデータＭが１００個であり、Ｍｉｎｉ－ｂａｔｃｈの大きさが１０であり、繰り返し判定回数Ｔが５である場合、
【0096】
図３に示された既存の方法における計算量は、［１００／１０＝１０］であり（計１０個のＭｉｎｉ－ｂａｔｃｈをテスト）、
【0097】
図４に示されたＭＣＢＮ方法における計算量は、［（（１００／１０）×（１００））×５＝５０００］であり、
【0098】
図５に示された本発明に係る方法における計算量は、
【0099】
第一に、オーバーサンプリングの前のテストデータの攻撃／正常の比率が同一である場合、［（１００／１０）×５＝５０］であり、
【0100】
第二に、オーバーサンプリングの前のテストデータの攻撃／正常の比率が１：０である場合、［（（１００／１０）×（２））×５＝１００］である。
【0101】
したがって、本発明によれば、図３に示された既存の方法より高く、且つ図４に示されたＭＣＢＮ方法と類似の信頼度が得られ、なお、図３に示された既存の方法よりは多くの計算量が要求されるが、図４に示されたＭＣＢＮ方法における計算量よりは少ない計算量が要求される。
【0102】
したがって、本発明によれば、高い信頼度及び少ない計算量を確保することができる。
【0103】
以下では、本発明に係るディープラーニングマシンの信頼度判断方法をステップ別に説明する。
【0104】
先ず、正常又は攻撃の有無が判断されているＭ個のテストデータを用いてＮ個のミニバッチを構成し、前記Ｎ個のミニバッチを含むミニバッチセットを構成する過程がＴ回繰り返される。図５に示された例において、Ｍは１２であり、Ｎは３である。すなわち、図５に示された例では、１２個のテストデータを用いて３個のミニバッチが構成され、３個のミニバッチが１つのミニバッチセットを形成する。
【0105】
前記ミニバッチセットを構成する過程をＴ回繰り返すステップは、正常又は攻撃の有無が判断されているＭ個のテストデータを用いてＮ個のミニバッチを構成し、前記Ｎ個のミニバッチを含む第１のミニバッチセットを構成するステップ、及び前記第１のミニバッチセットを構成するＮ個のミニバッチの組み合わせとは異なる組み合わせを有するＮ個のミニバッチを、前記Ｍ個のテストデータを用いて構成し、前記Ｎ個のミニバッチを含む第Ｔのミニバッチセットを構成するステップを含む。
【0106】
すなわち、図５に示された例では、Ｔが３になる。よって、３個のミニバッチセットが形成される。
【0107】
この場合、前記Ｔ個のミニバッチセットのそれぞれに用いられる前記Ｍ個のテストデータは同一である。
【0108】
すなわち、図５に示された例において、第１のミニバッチセット（Ｍｉｎｉ－ｂａｔｃｈ ｓｅｔ１）に用いられる１２個のテストデータと、第２のミニバッチセット（Ｍｉｎｉ－ｂａｔｃｈ ｓｅｔ２）に用いられる１２個のテストデータと、第３のミニバッチセット（Ｍｉｎｉ－ｂａｔｃｈ ｓｅｔ３）に用いられる１２個のテストデータはいずれも同一である。
【0109】
しかし、Ｍ／Ｎ個のテストデータの組み合わせは、前記ミニバッチ毎に互いに異なる。
【0110】
すなわち、図５に示された例において、３個のミニバッチセットに含まれた９個のミニバッチを構成する４個のテストデータの組み合わせは、９個のミニバッチのそれぞれにおいて互いに異なる。例えば、第１のミニバッチセット（Ｍｉｎｉ－ｂａｔｃｈ ｓｅｔ１）を構成する第１のミニバッチ（Ｍｉｎｉ－ｂａｔｃｈ１）は「１、２、７、８」のテストデータで構成され、第２のミニバッチ（Ｍｉｎｉ－ｂａｔｈ２）は「３、４、９、１０」のテストデータで構成され、第３のミニバッチ（Ｍｉｎｉ－ｂａｔｃｈ３）は「５、６、１１、１２」で構成される。
【0111】
また、前記Ｎ個のミニバッチのそれぞれに含まれる前記Ｍ／Ｎ個のテストデータの正常：攻撃の比率は１：１に合わせられるか、１：１に近接した比率に合わせられる。
【0112】
例えば、図５に示された例において、第１のミニバッチセットを構成する３個のミニバッチのそれぞれにおいて、攻撃テストデータと正常テストデータとの比率は２：２＝１：１に設定されている。
【0113】
また、前記Ｍ個のテストデータのうち一部のデータは、攻撃／正常の比率を１：１に合わせるために訓練データから得られてよい。
【0114】
例えば、図５に示された例において、第１のミニバッチセットを構成する１２個のテストデータのうちの２個（１１番及び１２番）は訓練データである。しかし、本発明がこれに限定されるものではない。よって、Ｍ個のテストデータに訓練データが含まれなくてもよい。
【0115】
次いで、ある１つのミニバッチセットを構成するＮ個のミニバッチのそれぞれに備えられたＭ／Ｎ個のテストデータを判定して、前記Ｎ個のミニバッチのそれぞれの攻撃／正常の比率を判断する過程が、計Ｔ個のミニバッチセットに対して行われる。
【0116】
すなわち、第１のミニバッチセットを構成するＮ個のミニバッチのそれぞれに備えられたＭ／Ｎ個のテストデータを判定して、前記第１のミニバッチセットを構成する前記Ｎ個のミニバッチのそれぞれの攻撃／正常の比率が判断され、第２のミニバッチセットを構成するＮ個のミニバッチのそれぞれに備えられたＭ／Ｎ個のテストデータを判定して、前記第２のミニバッチセットを構成する前記Ｎ個のミニバッチのそれぞれの攻撃／正常の比率が判断され、第Ｔのミニバッチセットを構成するＮ個のミニバッチのそれぞれに備えられたＭ／Ｎ個のテストデータを判定して、前記第Ｔのミニバッチセットを構成する前記Ｎ個のミニバッチのそれぞれの攻撃／正常の比率が判断される。
【0117】
最後に、Ｎ個のミニバッチのそれぞれに対するＴ回の攻撃／正常の比率の平均が０．７より大きく１．３より小さいと、前記判断に信頼性があると判断され、前記Ｎ個のミニバッチのそれぞれに対するＴ回の攻撃／正常の比率の平均が０．７以下であるか、１．３以上であると、前記判断に信頼性がないと判断される。
【0118】
すなわち、本発明は、Ｔ回の攻撃／正常の比率の平均が１に近いと、前記判断に信頼性があると判断され、Ｔ回の攻撃／正常の比率の平均が０．５に近いか、０に近いか、無限大であると、前記判断にが信頼性がないと判断される。
【0119】
例えば、図５に示された例において、第１のミニバッチセットに備えられた第１のミニバッチにおける攻撃／正常の比率と、第２のミニバッチセットに備えられた第１のミニバッチにおける攻撃／正常の比率と、第３のミニバッチセットに備えられた第１のミニバッチにおける攻撃／正常の比率の平均が１に近いと、前記判断に信頼性があると判断されてよい。
【0120】
または、図５に示された例において、第１のミニバッチセットに備えられた３個のミニバッチにおける攻撃／正常の比率と、第２のミニバッチセットに備えられた３個のミニバッチにおける攻撃／正常の比率と、第３のミニバッチセットに備えられた３個のミニバッチにおける攻撃／正常の比率の平均が１に近いと、前記判断に信頼性があると判断されてよい。
【0121】
前述した本発明と既存のＭＣＢＮ方式との差異点は次のとおりである。
【0122】
ＭＣＢＮの動作過程は次のとおりである。
【0123】
通常的に訓練過程の場合、正常：攻撃の比率が１：１に維持されて進められる。
【0124】
仮に、特定ラベル（正常又は攻撃）が異常に低いと、通常、当該ラベルをオーバーサンプリングして１：１に維持し訓練が進められる。
【0125】
このとき、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎとｄｒｏｐｏｕｔが活性化して進められる。
【0126】
一般的には訓練が終了すると、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ（ＢＮ）とｄｒｏｐｏｕｔが非活性化しｅｖａｌｕａｔｉｏｎ ｄａｔａ（又は、判定データ）を入力して、当該ｄａｔａの正常又は攻撃の有無が判断される。
【0127】
ＭＣＢＮの場合、テストデータの個数Ｍが１６であると、１個の判定データ＋１５個の訓練データ（テストデータの正常：攻撃が１：１にオーバーサンプリング）を用いてｍｉｎｉ－ｂａｔｃｈが構成される。
【0128】
この場合、ＢＮ＋ｄｒｏｐｏｕｔを活性化して判定がＴ回行われる。
【0129】
この場合、判定する度に異なる訓練データが用いられ、異なるｄｒｏｐｏｕｔが用いられるため、当該判定データの結果値には変化が生じる。
【0130】
これを平均すると、当該判定データの判定結果がより安定したものになるというのがＭＣＢＮの特徴である。
【0131】
しかし、ＭＣＢＮの問題点は、１つの判定データを判定するのに通常的な判定技法に比べてＭ×Ｔ倍の計算量を必要とするということである。
【0132】
なぜならば、判定が不要な（Ｍ－１）個の訓練データがｍｉｎｉ－ｂａｔｃｈを構成するのに必要となり、このような判定がＴ回繰り返される必要があるためである。
【0133】
一方、本発明の場合、通常的な判定技法を通じて判定データの正常：攻撃が判定される。
【0134】
先ず、判定されたラベルを基準にどのラベルが不足しているかをみて、不足しているラベルは訓練データから持ってくる。
【0135】
例えば、攻撃ラベルと判定されたデータが少な過ぎると、当該ラベルの訓練データを持ってきて１：１比率が合わせられる。例えば、図５に示された例では、１２個のテストデータのうち２個（１１番及び１２番）は訓練データである。
【0136】
この場合、前述したように、本発明では、極端の場合、ＭＣＢＮの半分の計算量だけが必要となる。
【0137】
理想的な場合、すなわち、既に攻撃正常ラベルの比率が１：１である場合、計算量はＭＣＢＮに比べて１／Ｍに軽減する。
【0138】
なぜならば、攻撃：正常の比率が１：１に既に維持されているため、訓練データからデータを持ってくる必要がなく、単にＴ回だけ繰り返されるからである。
【0139】
本発明の属する技術分野における当業者であれば、本発明がその技術的思想や必須特徴を変更することなく他の具体的な形態で実施され得ることが理解できるはずである。したがって、以上で記述した実施例は、あらゆる面で例示的なものであって限定的なものではないと理解すべきである。本発明の範囲は前記した詳細な説明ではなく特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導き出されるすべての変更又は変形された形態が本発明の範囲に含まれると解釈されるべきである。
【符号の説明】
【0140】
２０：ディープラーニングマシン
１０：制御サーバ
１０：制御サーバ
【図1】
【図2】
【図3】
【図4】
【図5】
