(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-24
(54)【発明の名称】生成的敵対神経網ベースの分類システム及び方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20220216BHJP
【ＦＩ】
G06N20/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2020560365
(86)(22)【出願日】2020-03-17
(85)【翻訳文提出日】2020-10-27
(86)【国際出願番号】 KR2020003622
(87)【国際公開番号】W WO2021112335
(87)【国際公開日】2021-06-10
(31)【優先権主張番号】10-2019-0162109
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0162110
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0162111
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2020-0023894
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2020-0023895
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】520408272
【氏名又は名称】アジャイルソーダ インコーポレイテッド
(74)【代理人】
【識別番号】100079049
【弁理士】
【氏名又は名称】中島 淳
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(72)【発明者】
【氏名】ロ、チョル－キョン
(72)【発明者】
【氏名】ミン、イェ－リン
(72)【発明者】
【氏名】ル、ファム－トゥエン
(57)【要約】
生成的敵対神経網ベースの分類システム及び方法を提供する。本発明は、欠測データを生成的敵対神経網（ＧＡＮ）を用いて実際データと類似の欠測代替値として生成でき、データの全体的な質を向上させることができ、ラベルのあるラベルデータセットと、ラベルのない非ラベルデータセットのように不均衡なデータセットにおいても学習できる。
【特許請求の範囲】
【請求項1】
ラベルのあるデータセットから、ステートのうち欠測された部分に対して欠測代替値を生成する生成子（１００）；前記生成子（１００）が生成した欠測代替値と原本データとを区分する判別子（２００）；
前記生成子（１００）によって生成された欠測代替値を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測するアクター（４００）；及び
前記欠測代替値に代替されたステート、前記予測されたアクション及び前記ラベルのあるデータセットのラベルに基づいて、リワードの加重値を生成する加重値関数部（５００）；を含み、
前記加重値関数部（５００）は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作し、
前記アクター（４００）は、前記予測されたアクションと加重値関数部（５００）で生成されたリワードの加重値を反映して、政策損失関数（４１）が最適化するように前記政策を学習することを特徴とする、生成的敵対神経網ベースの分類システム。
【請求項2】
前記リワードの加重値は、下記の式【数1】
（ここで、ｒ（Ｓ＿ｈ）（Ｓ＿ｈはＳの上にハット）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙはステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である）と定義されることを特徴とする、請求項１に記載の生成的敵対神経網ベースの分類システム。
【請求項3】
前記加重値関数部（５００）は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作し、前記ラベルの頻度数は、下記の式
【数2】
（ここで、ｎｋは、ｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる）に近似され、
前記アクター（４００）は、前記予測されたアクションと加重値関数部（５００）で生成されたリワードの加重値を反映して、政策損失関数（４１）が最適化するように前記政策を学習することを特徴とする、請求項１に記載の生成的敵対神経網ベースの分類システム。
【請求項4】
前記加重値関数部（５００）は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作し、前記アクター（４００）は、前記予測されたアクションと加重値関数部（５００）で生成されたリワードの加重値を反映して、政策損失関数（４１）が最適化するように前記政策を学習し、
前記政策の学習は、下記の式
【数3】
（ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である）を用いることを特徴とする、請求項１に記載の生成的敵対神経網ベースの分類システム。
【請求項5】
生成子（１００）と、判別子（２００）と、アクター（４００）と加重値関数部（５００）で構成された生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）を用いた生成的敵対神経網ベースの分類方法であって、ａ）生成子（１００）が、ラベルのあるデータセット１０から、ステートのうち欠測された部分に対して欠測代替値を生成する段階；
ｂ）アクター（４００）が、前記生成子（１００）によって生成された欠測代替値を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測する段階；
ｃ）加重値関数部（５００）が、前記欠測代替値に代替されたステート、前記予測されたアクション及び前記ラベルのあるデータセットのラベルに基づいて、リワードの加重値を生成する段階；及び
ｄ）前記アクター（４００）が、前記予測されたアクションと、加重値関数部（５００）で生成されたリワードの加重値を反映して、政策損失関数（４１）が最適化するように前記政策を学習する段階を含み、
前記ｃ）段階において、前記加重値関数部（５００）は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作することを特徴とする、生成的敵対神経網ベースの分類方法。
【請求項6】
前記ａ）段階は、ｉ）前記生成子（１００）が、ラベルのあるデータセット１０から、欠測値のあるステート（Ｓｔａｔｅ）と、前記ステートに該当するステートの元素が欠測されたか否かを示す欠測指標（ｍ）を選択する段階；及びｉｉ）前記生成子（１００）が、前記ステートに‘０’と‘１’間の均等分布から、ランダムノイズに代替された欠測代替値）（Ｓ＿ｔ）（Ｓ＿ｔはＳの上にチルダ）を用いて欠測代替値（Ｓ＿ｈ）を生成し、前記生成された欠測代替値（Ｓ＿ｈ）を用いて生成子（１００）と判別子（２００）を学習する前処理段階；をさらに含むことを特徴とする、請求項５に記載の生成的敵対神経網ベースの分類方法。
【請求項7】
前記ｃ）段階の加重値関数部（５００）は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作し、前記ラベルの頻度数は、下記の式
【数4】
（ここで、ｎｋはｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる）に近似され、
前記リワードの加重値は、下記の式
【数5】
（ここで、ｒ（Ｓ＿ｈ）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である）と定義されることを特徴とする、請求項５に記載の生成的敵対神経網ベースの分類方法。
【請求項8】
前記ｃ）段階の加重値関数部（５００）は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作することを特徴とする、請求項５に記載の生成的敵対神経網ベースの分類方法。
【請求項9】
前記ｄ）段階は、政策の学習を下記の式【数6】
（ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である）を用いて学習することを特徴とする、請求項５に記載の生成的敵対神経網ベースの分類方法。
【請求項10】
ラベルのあるデータセット（ＳＬ）又はラベルのないデータセット（ＳＵ）から、ステートのうち欠測された部分に対して欠測代替値を生成する生成子（１００ａ）；前記生成子（１００ａ）が生成した欠測代替値と原本データとを区分する判別子（２００ａ）；
前記生成子（１００ａ）によって生成された欠測代替値を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測するアクター（４００ａ）；
前記欠測代替値に代替されたステート、前記予測されたアクション及び前記ラベルのあるデータセットのラベルに基づいて、リワードの加重値を生成する加重値関数部（５００ａ）；及び
前記ラベルのあるデータセットと、ラベルのないデータセットを対象にアクター（４００ａ）の政策が学習されるようにリワードを提供するリワード部（６００ａ）；を含み、
前記アクター（４００ａ）は、前記予測されたアクションと、加重値関数部（５００ａ）から生成されたリワードの加重値を反映して、政策損失関数（４１ａ）が最適化するように前記政策を学習し、且つ前記予測されたアクションと、リワード部（６００ａ）のリワードに基づいてセミ指導政策損失関数（４２ａ）が最適化するように前記政策を学習し、
前記リワード部（６００ａ）のリワードは、下記の式
【数7】
（ここで、Ｒ（ＳＬ＿ｈ，ａ）（ＳＬ＿ｈは、ＳＬの上にハット）は、リワード部が出力するラベルデータセット（Ｓ＿ｈ，ａ）対が、ラベルのあるラベルデータセットのラベルか或いはアクターが生成したラベルかに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である）と定義されることを特徴とする、生成的敵対神経網ベースの分類システム。
【請求項11】
生成子（１００ａ）と、判別子（２００ａ）と、アクター（４００ａ）と加重値関数部（５００ａ）と、リワード部（６００ａ）で構成された生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）を用いた生成的敵対神経網ベースの分類方法であって、ａ）生成子（１００ａ）が、ラベルのあるデータセット（ＳＬ）から、ステートのうち欠測された部分に対して欠測代替値を生成する段階；
ｂ）アクター（４００ａ）が、前記生成子（１００ａ）によって生成された欠測代替値を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測する段階；
ｃ）加重値関数部（５００ａ）が、前記欠測代替値に代替されたステート、前記予測されたアクション及び前記ラベルのあるデータセットのラベルに基づいて、リワードの加重値を生成する段階；及び
ｄ）前記アクター（４００ａ）が、前記予測されたアクションと、加重値関数部（５００ａ）から生成されたリワードの加重値を反映して、政策損失関数（４１ａ）が最適化するように前記政策を学習する段階；を含み、
前記ａ）段階において、ラベルのないデータセット（ＳＵ）があれば、
ａ－１）前記生成子（１００ａ）が、ラベルのないデータセット（ＳＵ）から、ステートのうち欠測された部分に対して欠測代替値（ＳＵ＿ｈ）（ＳＵ＿ｈは、ＳＵの上にハット）を生成する段階；
ｂ－１）前記アクター（４００ａ）が、生成された欠測代替値（ＳＵ＿ｈ）を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測する段階；
ｃ－１）リワード部（６００ａ）が、前記ラベルのあるデータセットとラベルのないデータセットを対象にアクター（４００ａ）の政策が学習されるようにリワードを提供する段階；及び
ｄ－１）前記アクター（４００ａ）が、前記予測されたアクションと、前記リワード部（６００ａ）のリワードに基づいて、セミ指導政策損失関数（４２ａ）が最適化するように前記政策を学習する段階をさらに含み、
前記リワード部（６００ａ）のリワードは、下記の式
【数8】
（ここで、Ｒ（ＳＬ＿ｈ，ａ）は、リワード部が出力するラベルデータセット（Ｓ＿ｈ，ａ）対がラベルのあるラベルデータセットのラベルか或いはアクターが生成したラベルかに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である）と定義されることを特徴とする、生成的敵対神経網ベースの分類方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生成的敵対神経網ベースの分類システム及び方法に関し、より詳細には、生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）で生成した欠測代替値を用いて、ラベルのあるラベルデータセットとラベルのない非ラベルデータセットの不均衡なデータセットにおいても学習できる、生成的敵対神経網ベースの分類システム及び方法に関する。
【背景技術】
【0002】
マシンラーニングは、複雑なシステムが明示的にプログラミングされず、経験から自動で学習し改善可能にさせる人工知能の応用である。
【0003】
マシンラーニングモデルの正確度及び有効性は、それらのモデルを訓練させるために用いられるデータに部分的に依存できる。
【0004】
例えば、マシンラーニング分類子（Ｃｌａｓｓｉｆｉｅｒ）は、ラベルのある（又は、ラベリングされた）データ（Ｌａｂｅｌｅｄ ｄａｔａ）セットを用いて訓練され得るが、ここで、分類子が認識するように、学習するデータのサンプルが、サンプルに対する分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を識別する一つ以上のラベルと共に、分類子に提供される。
【0005】
ここで、ラベリングされたデータとは、データに対する答が与えられているもの（又は、評価がされているもの）を指す。
【0006】
しかし、意思決定システムでは、次のような問題から困難を経ることがある。
【0007】
図１は、通常の欠測データが含まれたデータセットを示す例示図であり、図１に示すように、データセット１０は、ｎ個のステート（Ｓｔａｔｅ）を含んで構成され、ステートの元素１１は、ステート‘ｉ’が持つ‘ｊ’番目の元素で、‘Ｓｉ
ｊ’と表現され、ここで、‘ｊ’は１からｄまでの定数であり、‘Ｓｉ
ｊ’はスカラー又は欠測データ‘Ｚｉ
ｊ’１２を有することができる。
【0008】
欠測データ（Ｍｉｓｓｉｎｇ ｄａｔａ）は、データセット（Ｄａｔａ ｓｅｔ）の全体的な質を下げてしまい、意思決定システムで予測された結果が歪む問題点がある。
【0009】
また、ディープラーニングでは、ラベルのあるデータの量が性能において相当な影響力を持っているが、大部分の実データセットは通常、ラベルのない非ラベルデータを含んでおり、データをラベリングする費用が非常に高価となる問題点がある。
【0010】
また、通常のビジネス意思決定のためのビジネスデータセットには、多くの欠測値、非理想的なラベル不均衡の問題があり、分類システムを構築する上で困難が多い。
【0011】
また、通常のビジネス意思決定のためのビジネスデータセットには、不均衡のバラツキが非常に大きく、少数のクラスがデータにおいて非常に小さい部分だけを占めるが、結果的にこのようなクラスのサンプルは、意思決定システムをアップデートする上で殆どクエリ（Ｑｕeｒｙ）されないという問題点がある。
【0012】
また、通常のビジネス意思決定のためのビジネスデータセット、例えば、貸出詐欺ビジネスのデータセットである場合、詐欺件がわずかなため、通常の分類システムでは分類も予測もし難い問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【0013】
このような問題点を解決するために、本発明は、生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）で生成した欠測代替値を用いて、ラベルのあるラベルデータセットとラベルのない非ラベルデータセットの不均衡なデータセットにおいても学習できる、生成的敵対神経網ベースの分類システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明の一実施例による生成的敵対神経網ベースの分類システムは、ラベルのあるデータセットから、ステートのうち欠測された部分に対して欠測代替値を生成する生成子；前記生成子が生成した欠測代替値と原本データとを区分する判別子；前記生成子によって生成された欠測代替値を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測するアクター；及び前記欠測代替値に代替されたステート、前記予測されたアクション及び前記ラベルのあるデータセットのラベルに基づいて、リワードの加重値を生成する加重値関数部；を含み、
【0015】
前記加重値関数部は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作し、
【0016】
前記アクターは、前記予測されたアクションと加重値関数部で生成されたリワードの加重値を反映して、政策損失関数が最適化するように前記政策を学習することを特徴とする。
【0017】
また、本発明の実施例によるリワードの加重値は、下記の式、
（ここで、ｒ（Ｓ＿ｈ）（Ｓ＿ｈはＳの上にハット）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である。）と定義されることを特徴とする。
【数1】
（ここで、ｒ（Ｓ＿ｈ）（Ｓ＿ｈはＳの上にハット）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である。）と定義されることを特徴とする。
【0018】
また、本発明の実施例による加重値関数部は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作する。
【0019】
また、本発明の実施例によるラベル頻度数は、下記の式
（ここで、ｎｋは、ｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる。）に近似され、前記アクターは、前記予測されたアクションと加重値関数部で生成されたリワードの加重値を反映して、政策損失関数が最適化するように前記政策を学習することを特徴とする。
【数2】
（ここで、ｎｋは、ｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる。）に近似され、前記アクターは、前記予測されたアクションと加重値関数部で生成されたリワードの加重値を反映して、政策損失関数が最適化するように前記政策を学習することを特徴とする。
【0020】
また、本発明の実施例による加重値関数部は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作する
【0021】
また、本発明の実施例によるアクターは、前記予測されたアクションと加重値関数部で生成されたリワードの加重値を反映して、政策損失関数が最適化するように前記政策を学習する。
【0022】
また、本発明の実施例による政策の学習は、下記の式
（ここで、ｙはステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である。）を用いることを特徴とする。
【数3】
（ここで、ｙはステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である。）を用いることを特徴とする。
【0023】
また、本発明の一実施例による生成的敵対神経網ベースの分類システムを用いた分類方法は、生成子と、判別子と、アクターと加重値関数部とから構成された生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）を用い、ａ）生成子が、ラベルのあるデータセットから、ステートのうち欠測された部分に対して欠測代替値を生成する段階；ｂ）アクターが、前記生成子によって生成された欠測代替値を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測する段階；ｃ）加重値関数部が、前記欠測代替値に代替されたステート、前記予測されたアクション及び前記ラベルのあるデータセットのラベルに基づいて、リワードの加重値を生成する段階；及びｄ）前記アクターが、前記予測されたアクションと、加重値関数部で生成されたリワードの加重値を反映して、政策損失関数が最適化するように前記政策を学習する段階を含み、
【0024】
前記ｃ）段階で、前記加重値関数部は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作することを特徴とする。
【0025】
また、本発明の実施例によるａ）段階は、ｉ）前記生成子がラベルのあるデータセットから、欠測値のあるステート（Ｓｔａｔｅ）と、前記ステートに該当するステートの元素が欠測されたか否かを示す欠測指標（ｍ）を選択する段階；及びｉｉ）前記生成子が、前記ステートに‘０’と’１’間の均等分布からランダムノイズに代替された欠測代替値（Ｓ＿ｔ）（Ｓ＿ｔは、Ｓの上にチルダ）を用いて欠測代替値（Ｓ＿ｈ）を生成し、前記生成された欠測代替値（Ｓ＿ｈ）を用いて生成子と判別子を学習する前処理段階；をさらに含むことを特徴とする。
【0026】
また、本発明の実施例によるｃ）段階の加重値関数部は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作する。
【0027】
また、本発明の実施例による前記ラベル頻度数は、下記の式
（ここで、ｎｋはｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる。）に近似される。
【数4】
（ここで、ｎｋはｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる。）に近似される。
【0028】
また、本発明の実施例による前記リワードの加重値は、下記の式
（ここで、ｒ（Ｓ＿ｈ）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である。）と定義されることを特徴とする。
【数5】
（ここで、ｒ（Ｓ＿ｈ）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である。）と定義されることを特徴とする。
【0029】
また、本発明の実施例によるｃ）段階の加重値関数部は、頻度数が相対的に小さいラベルにはリワードの加重値が増加するようにし、頻度数が相対的に大きいラベルにはリワードの加重値が低くなるようにして、ラベル間の均衡が取れるように動作することを特徴とする。
【0030】
また、本発明の実施例によるｄ）段階は、政策の学習を、下記の式
（ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するりワードの加重値である。）を用いて学習することを特徴とする。
【数6】
（ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するりワードの加重値である。）を用いて学習することを特徴とする。
【0031】
また、本発明の一実施例による生成的敵対神経網ベースの分類システムは、ラベルのあるデータセット（ＳＬ）又はラベルのないデータセット（ＳＵ）から、ステートのうち欠測された部分に対して欠測代替値を生成する生成子；前記生成子が生成した欠測代替値と原本データとを区分する判別子；前記生成子によって生成された欠測代替値を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測するアクター；前記欠測代替値に代替されたステート、前記予測されたアクション及び前記ラベルのあるデータセットのラベルに基づいて、リワードの加重値を生成する加重値関数部；及び前記ラベルのあるデータセットと、ラベルのないデータセットを対象にアクターの政策が学習されるようにリワードを提供するリワード部；を含み、
【0032】
前記アクターは、前記予測されたアクションと、加重値関数部から生成されたリワードの加重値を反映して、政策損失関数が最適化するように前記政策を学習し、また、前記予測されたアクションと、リワード部のリワードに基づいてセミ政策損失関数が最適化するように前記政策を学習する。
【0033】
また、本発明の実施例による前記リワード部のリワードは、下記の式
（ここで、Ｒ（ＳＬ＿ｈ，ａ）（ＳＬ＿ｈは、ＳＬの上にハット）は、リワード部が出力するラベルデータセット（Ｓ＿ｈ，ａ）対が、ラベルのあるラベルデータセットのラベルか或いはアクターが生成したラベルかに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である。）と定義されることを特徴とする。
【数7】
（ここで、Ｒ（ＳＬ＿ｈ，ａ）（ＳＬ＿ｈは、ＳＬの上にハット）は、リワード部が出力するラベルデータセット（Ｓ＿ｈ，ａ）対が、ラベルのあるラベルデータセットのラベルか或いはアクターが生成したラベルかに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である。）と定義されることを特徴とする。
【0034】
また、本発明の一実施例による生成的敵対神経網ベースの分類システムを用いた生成的敵対神経網ベースの分類方法は、ａ）生成子が、ラベルのあるデータセット（ＳＬ）から、ステートのうち欠測された部分に対して欠測代替値を生成する段階；ｂ）アクターが、前記生成子によって生成された欠測代替値を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測する段階；ｃ）加重値関数部が、前記欠測代替値に代替されたステート、前記予測されたアクション及び前記ラベルのあるデータセットのラベルに基づいて、リワードの加重値を生成する段階；及びｄ）前記アクターが、前記予測されたアクションと、加重値関数部から生成されたリワードの加重値を反映して、政策損失関数が最適化するように前記政策を学習する段階；を含み、
【0035】
前記ａ）段階において、ラベルのないデータセット（ＳＵ）があれば、ａ－１）前記生成子が、ラベルのないデータセット（ＳＵ）から、ステートのうち欠測された部分に対して欠測代替値（ＳＵ＿ｈ）（ＳＵ＿ｈは、ＳＵの上にハット）を生成する段階；ｂ－１）前記アクターが、生成された欠測代替値（ＳＵ＿ｈ）を用いて、政策によってアクション（Ａｃｔｉｏｎ）を予測する段階；ｃ－１）リワード部が、前記ラベルのあるデータセットと、ラベルのないデータセットを対象にアクターの政策が学習されるようにリワードを提供する段階；及びｄ－１）前記アクターが、前記予測されたアクションと、前記リワード部のリワードに基づいて、セミ政策損失関数が最適化するように前記政策を学習する段階をさらに含む。
【0036】
また、本発明の実施例による前記リワード部のリワードは、下記の式
（ここで、Ｒ（ＳＬ＿ｈ，ａ）は、リワード部が出力するラベルデータセットＲ（Ｓ＿ｈ，ａ）対がラベルのあるラベルデータセットのラベルか或いはアクターが生成したラベルかに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である。）と定義されることを特徴とする。
【数8】
（ここで、Ｒ（ＳＬ＿ｈ，ａ）は、リワード部が出力するラベルデータセットＲ（Ｓ＿ｈ，ａ）対がラベルのあるラベルデータセットのラベルか或いはアクターが生成したラベルかに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である。）と定義されることを特徴とする。
【発明の効果】
【0037】
本発明は、強化学習において‘Ａｃｔｏｒ－ｃｒｉｔｉｃ’アーキテクチャーと生成的敵対神経網（ＧＡＮ）アーキテクチャーを結合することによって、強化学習の最適のモデルを開発するための補償関数の設定に要求される時間と施行錯誤過程を画期的に短縮するためにデータの特性に合わせて自動で補償関数体系を提供できる長所がある。
【0038】
また、本発明は、欠測データを生成的敵対神経網（ＧＡＮ）を用いて実際データと類似の欠測代替値で生成でき、データの全体的な質を向上させることができる長所がある。
【0039】
また、本発明は欠測データの否定的な効果を減少させることができる長所がある。
【0040】
本発明は、生成的敵対神経網（ＧＡＮ）で生成した欠測データを用いて、ラベルのあるラベルデータセットとラベルのない非ラベルデータセットのように不均衡なデータセットにおいても学習できる長所がある。
【0041】
また、本発明は、ラベルデータセット及び非ラベルデータセットを同時に入力データとして用いると同時に、少ない数のデータセットにおいても学習できる長所がある。
【0042】
また、本発明は、ラベルの不均衡比率に関連付いたカスタマイズ（Ｃｕｓｔｏｍｉｚｅｄ）補償関数を提供し、分類システム及び方法の構築時間を減少させることができる長所がある。
【0043】
また、本発明は、銀行、カード会社又は保険会社などの金融機関や、システム、製造、航空会社などのビジネス意思決定最適化問題のための強化学習方法論を適用する際に、データセットに対する欠測代替のためのデザインや、補償関数を適用するためのデザイン無しで強化学習方法論を適用できる長所がある。
【0044】
また、本発明によれば、通常のビジネス意思決定のためのビジネスデータセットに発生し得る多くの欠測値、非理想的なラベル不均衡の問題を解決できるので、通常の分析家が分類システムを構築するのにかかる費用・時間を減らしながら強化学習方法論を適用することができる長所がある。
【0045】
また、本発明によれば、通常のビジネス意思決定のためのビジネスデータセット、例えば、貸出詐欺ビジネスのデータセッターである場合、詐欺件がわずかであっても、加重値関数を用いた加重値調節によって、詐欺件に対する補償値を相対的に大きくさせ、より詐欺件に集中するシステムを構成できる長所がある。
【図面の簡単な説明】
【0046】
【図1】一般的な欠測データが含まれたデータセットを示す例示図である。
【図2】本発明の一実施例による生成的敵対神経網ベースの分類システムの構成を示すブロック図である。
【図3】本発明の一実施例による生成的敵対神経網ベースの分類方法を示すフローチャートである。
【図7】本発明の他の実施例による生成的敵対神経網ベースの分類システムの構成を示すブロック図である。
【図8】本発明の他の実施例による生成的敵対神経網ベースの分類方法を示すフローチャートである。
【図10】本発明の一実施例によるラベルデータ及び非ラベルデータを用いた生成的敵対神経網ベースの分類システムを活用して多数の欠測率による評価結果を示すグラフである。
【図11】本発明の一実施例によるラベルデータ及び非ラベルデータを用いた生成的敵対神経網ベースの分類システムを活用して、学習過程中に生成された値の分布を示すグラフである。
【図12】本発明の一実施例によるラベルデータ及び非ラベルデータを用いた生成的敵対神経網ベースの分類システムを活用して、プラグイン要素があるものとないものの性能を示す例示図である。
【図13】本発明の一実施例によるラベルデータ及び非ラベルデータを用いた生成的敵対神経網ベースの分類システムを活用して、ラベルデータ比率と欠測率による性能比較を示すグラフである。
【発明を実施するための形態】
【0047】
以下、添付の図面を参照して本発明の一実施例によるラベルデータを用いた生成的敵対神経網ベースの分類システム及び方法の好ましい実施例を詳細に説明する。
【0048】
本明細書において、ある部分がある構成要素を“含む”とした表現は、他の構成要素を排除するものではなく、他の構成要素をさらに含んでもよいという意味である。
【0049】
また、“‥部”、“‥機”、“‥モジュール”などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは、ハードウェア、ソフトウェア、又はこれらの結合に区分できる。
【0050】
また、本発明の詳細な説明及び請求項において‘学習’或いは‘ラーニング’は、コンピュータシステムにおいて手順に従うコンピューティング（ｃｏｍｐｕｔｉｎｇ）を通じて機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を行うことを称する言葉で、人間の教育活動のような精神的作用を意味するように意図されたものではなく、訓練（ｔｒａｉｎｉｎｇ）は、機械学習に関して通常理解される意味で用いられる。
【0051】
また、コンピューティング装置は、通信装置及びプロセッサを含み、通信装置を介して外部コンピューティング装置と直／間接的に通信することができる。
【0052】
具体的に、コンピューティング装置は、典型的なコンピュータハードウェア（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続型ストレージ（ＮＡＳ；ｎｅｔｗｏｒｋ－ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）及びストレージ領域ネットワーク（ＳＡＮ；ｓｔｏｒａｇｅ ａｒｅａ ｎｅｔｗｏｒｋ）のような電子情報ストレージシステム）とコンピュータソフトウェア（すなわち、コンピューティング装置を特定の方式で機能させる命令語）の組合せを用いて所望のシステム性能を達成するものであり得る。
【0053】
このようなコンピューティング装置の通信装置は、連動する他のコンピューティング装置と要請及び応答を送受信できるところ、一例示として、このような要請及び応答は同一のＴＣＰ（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ）セッション（ｓｅｓｓｉｏｎ）によってなされてもよいが、これに限定されず、例えば、ＵＤＰ（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ）データグラム（ｄａｔａｇｒａｍ）として送受信されてもよい。
【0054】
また、広い意味で通信装置は、命令語又は指示などを伝達するためのキーボード、マウス、その他外部入力装置、プリンタ、ディスプレイ、その他外部出力装置を含むことができる。
【0055】
また、コンピューティング装置のプロセッサは、ＭＰＵ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＮＰＵ（ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）又はＴＰＵ（ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、キャッシュメモリ（ｃａｃｈｅ ｍｅｍｏｒｙ）、データバス（ｄａｔａ ｂｕｓ）などのハードウェア構成を含むことができる。
【0056】
（第１実施例）
【0057】
図２は、本発明の一実施例による生成的敵対神経網ベースの分類システムの構成を示すブロック図であり、図３は、本発明の一実施例による生成的敵対神経網ベースの分類方法を示すフローチャートであり、図４は、図３による生成的敵対神経網ベースの分類方法の欠測データ学習過程を示すフローチャートであり、図５は、図３による生成的敵対神経網ベースの分類方法の加重値を用いた指導分類学習過程を示すフローチャートであり、図６は、図３による生成的敵対神経網ベースの分類方法の加重値推定過程を示すフローチャートである。
【0058】
図２～図６を参照すると、生成的敵対神経網ベースの分類システムは、生成子（Ｇｅｎｅｒａｔｏｒ）１００と、判別子（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）２００と、アクター（Ａｃｔｏｒ）４００と、加重値関数部（Ｗｅｉｇｈｔｅｄ Ｆｕｎｃｔｉｏｎ）５００を含んで構成される。
【0059】
生成子１００及び判別子２００は、競合構造にあるネットワークである生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）を用いて、生成子１００は、原本データの分布を見て判別子２００をだます欠測代替値の生成のための学習を行い、判別子２００は、どのデータが生成子１００によって生成されたデータかを分別する学習を行う。
【0060】
また、生成子１００は、原本データの分布を参照して、判別子２００をだます欠測代替値の生成のための学習を行う。
【0061】
また、生成子１００は、ラベルのあるデータ（ＳＬ）を用いた生成的敵対神経網ベースの分類システムであり、ラベルのあるデータセット１０から欠測代替値を生成する。
【0062】
また、生成子１００は、前処理過程として、ラベルのあるデータセットではなくラベルのないデータセットから欠測代替値を生成するための学習過程を行ってもよい。
【0063】
また、生成子１００は、欠測代替値の生成のための入力として、データセット１０からｎ個のステート（Ｓｔａｔｅ）と、ｎ個のステートに該当するステートの元素が欠測されたか否かを示すｎ個の欠測指標（２０，ｍＬ）を選択する。
【0064】
ここで、ＳＬは、各ステートがラベルのあるデータセットであることを意味し、ｍＬは、ラベルのある欠測指標を意味する。
【0065】
また、ラベルのあるデータセット１０は、Ｓ１，Ｓ２，Ｓ３，‥，Ｓｎ∈Ｒｄからなるｎ個のステートを含み、ここで、ｄはステート特徴（ｆｅａｔｕｒｅ）である。
【0066】
また、ステートｉが持つｊ番目元素は、ｓｉ
ｊと表現し、ここで、ｊは、ｄまでの定数であり、ｓｉ
ｊは、スカラー又は欠測値を有することができる。
【0067】
また、データセット１０は、ラベルのあるラベルデータ及びラベリングされていない非ラベルデータのうち少なくとも一つのデータで構成され得る。
【0068】
また、欠測指標２０は、ステートの元素が欠測されたか否かを示すための指標であり、ｍ１，ｍ２，ｍ３，‥，ｍｎ∈Ｒｄを使用し、この時、ｍｉ
ｊは、ｓｉ
ｊが欠測データを有すれば欠測指標値２２は‘０’、そうでなければ欠測指標値２１は‘１’と表示され得る。
【0069】
また、生成子１００は、ｎ個のステート中の任意の元素１１に対して無作為（ランダム）に選別された欠測元素１２にあらかじめ設定された値、例えば、‘０’と‘１’間の均等分布からランダムノイズ‘Ｚ’に代替された欠測代替値（Ｓ＿ｔ）を受けて計算する。
【0070】
この時、欠測代替値（Ｓ＿ｔ）は、下記の式によって入力される。
ここで、ｍは、ステートｓに該当する欠測指標のベクトルであり、ｚは、‘０’と‘１’間の均等分布からランダムに選別されたノイズのベクトルであり、要素別積で表すことができる。
【数9】
ここで、ｍは、ステートｓに該当する欠測指標のベクトルであり、ｚは、‘０’と‘１’間の均等分布からランダムに選別されたノイズのベクトルであり、要素別積で表すことができる。
【0071】
また、生成子１００は、欠測代替値（Ｓ＿ｔ）を用いて生成された元素のベクトルからなるステート（Ｓ＿ｂ）（Ｓ＿ｂは、Ｓの上にバー）を出力する。
【0072】
また、生成子１００は、ステート（Ｓ＿ｂ）に代替された欠測代替値（Ｓ＿ｈ）を生成して出力する。
【0073】
この時、生成子１００の出力により、下記の式による欠測代替値（Ｓ＿ｈ）に該当するデータが、判別子２００の学習のために用いられ得るようにする。
ここで、ｍは、ステートｓに該当する欠測指標のベクトルである。
【数10】
ここで、ｍは、ステートｓに該当する欠測指標のベクトルである。
【0074】
判別子２００は、生成子１００が生成した欠測代替値（Ｓ＿ｈ）と原本データを区分する構成であり、判別子２００が出力したものの各元素が欠測（ｆａｋｅ）か否か（ｒｅａｌ）を区分し、結果的にｍは、（Ｓ＿ｈ）のためのラベルとして用いられ得る。
【0075】
また、判別子２００は、関数によって、ステート（Ｓ＿ｈ）のｉ番目元素が欠測データでない確率に該当する判別子２００のｉ番目出力を、Ｓ→［０，１］ｄと示すことができる。
【0076】
また、判別子２００は、出力を、判別子出力指標３０によってＤ１，Ｄ２，Ｄ３，‥，Ｄｄと示すことができる。
【0077】
一方、生成子１００と判別子２００は損失関数によって学習され得るが、生成子１００の学習のための生成子損失関数は、下記の式の通りであり得る。
ここで、生成子損失関数は２つの項（ｔｅｒｍ）で構成され得るが、一番目の項は、欠測データに対する確率Ｄｉを最大化するものである。
【数11】
ここで、生成子損失関数は２つの項（ｔｅｒｍ）で構成され得るが、一番目の項は、欠測データに対する確率Ｄｉを最大化するものである。
【0078】
また、二番目の項は、原本データ分布を用いて、生成子１００で生成された欠測データを原本データに近似するように変換する再構成損失（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）４０であり、ここで、λはスケールファクター（ｓｃａｌｅ ｆａｃｔｏｒ）である。
【0079】
また、判別子２００の学習のための判別子損失関数は、下記の式の通りであり得る。
判別子損失関数は、ｉ番目元素が欠測データであれば、確率Ｄｉを最大化する方向に学習し、そうでなければ、逆に、確率Ｄｉを最小化する方向に学習されるように構成できる。
【数12】
判別子損失関数は、ｉ番目元素が欠測データであれば、確率Ｄｉを最大化する方向に学習し、そうでなければ、逆に、確率Ｄｉを最小化する方向に学習されるように構成できる。
【0080】
アクター４００は、生成子１００によって生成された欠測代替値からなるベクトルを政策（Ｐｏｌｉｃｙ）を用いてラベルのあるデータセットからアクション（Ａｃｔｉｏｎ）を行う確率を予測する。
【0081】
また、アクター４００は、強化学習でよく知られた意思決定フレームワークである‘Ａｃｔｏｒ－ｃｒｉｔｉｃ’アーキテクチャーの構成要素であり得る。
【0082】
また、アクター４００は、ステートを入力として受け、与えられたアクション（Ａｃｔｉｏｎ）をする確率を出力し、‘Ａｃｔｏｒ－ｃｒｉｔｉｃ’を用いて政策（Ｐｏｌｉｃｙ）πを学習するために、政策損失関数（Ｐｏｌｉｃｙ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）４１は、下記の式のように定義され得る。
ここで、Χ（Ｓ＿ｈ，ａ）は、与えられたステートから予測されたアクションが良いか或いは悪いかを決定するクリティック（Ｃｒｉｔｉｃ）から評価される関数である。
【数13】
ここで、Χ（Ｓ＿ｈ，ａ）は、与えられたステートから予測されたアクションが良いか或いは悪いかを決定するクリティック（Ｃｒｉｔｉｃ）から評価される関数である。
【0083】
また、Χ（Ｓ＿ｈ，ａ）は、‘ｔｏｔａｌ ｄｉｓｃｏｕｎｔｅｄ ｒｅｗａｒｄ’、‘ａｃｔｉｏｎ－ｖａｌｕｅ ｆｕｎｃｔｉｏｎ’又は‘ＴＤ－ｅｒｒｏｒ’のような形態を有してもよい。
【0084】
上記の政策損失関数は、アクションが決定されていない一般形態であり、アクター４００は、正確なアクション及び不正確なアクションの両方から学習される必要がある。
【0085】
しかし、Χ（Ｓ＿ｈ，ａ）の推定値が悪い場合、その政策損失関数は、誤った方向に最適化をするようになり、その結果、徐々に収斂したり又は発散してしまうことがある。
【0086】
したがって、本発明の実施例によるアクター４００は、政策損失関数４１を不正確なアクションから学習される場合を省略し、与えられた正確なラベルだけを利用可能にする式と定義され得る。
ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である。
【数14】
ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である。
【0087】
すなわち、予測されたアクションを正確なラベルに代替し、関数Χ（Ｓ＿ｈ，ａ）を加重値関数（Ｗｅｉｇｈｔｅｄ Ｆｕｎｃｔｉｏｎ）Ｗに代替する。
【0088】
したがって、指導政策損失（Ｓｕｐｅｒｖｉｓｅｄ ｐｏｌｉｃｙ ｌｏｓｓ）ＬＬは、加重値関数Ｗ（Ｓ＿ｈ，ａ，ｙ）から得た分類損失加重値（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ ｗｅｉｇｈｔｅｄ）である。
【0089】
また、全てのステート、アクション、ラベルに対して加重値関数が‘１’である場合、ＬＬは、分類損失加重値と完全に同一になる。
【0090】
また、アクター４００は、指導分類のための政策損失関数４１が加重値関数部５００から生成されたリワードの加重値を用いて指導政策を学習できる。
【0091】
加重値関数部５００は、ステートＳ＿ｈから得られるリワードの加重値であり、ラベルのあるデータセットから、ラベルの頻度数に基づいてステート、アクション及びラベルに対するリワードの加重値を生成する。
【0092】
ここで、加重値関数部５００が、Ｋ個のラベルがある（ｋ＝０，１，…，Ｋ－１）ラベルのあるデータセットＳＬを持っていると仮定すれば、Ｋ番目ラベルの頻度数は下記の式に近似され得る。
ここで、ｎｋは、ｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる。
【数15】
ここで、ｎｋは、ｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる。
【0093】
また、加重係数ωｋは、各ラベルに対して下記の式で推定され得る。
ここで、ｂはログに基づく（ｂ＝ｅ，１０，…）。
【数16】
ここで、ｂはログに基づく（ｂ＝ｅ，１０，…）。
【0094】
したがって、ラベルの頻度数が相対的に小さい少数のラベル（ｍｉｎｏｒｉｔｙ ｌａｂｌｅ）に対して高いリワードの加重値を与え、ラベルの頻度数が相対的に大きい（高い）多数のラベル（ｍａｊｏｒｉｔｙ ｌａｂｌｅ）にはより低いリワードの加重値を与えることによって、ラベル間の均衡が取れるように生成できる。
【0095】
また、加重値関数部５００は、加重値関数、すなわちステート、アクション及びラベルに対するリワードの加重値を、下記の式と定義することができる。
ここで、ｒ（Ｓ＿ｈ）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である。
【数17】
ここで、ｒ（Ｓ＿ｈ）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である。
【0096】
次には、本発明の第１実施例によるラベルデータを用いた生成的敵対神経網ベースの分類及び学習方法を説明する。
【0097】
学習手順は、欠測値を生成する段階（Ｓ１００）と学習政策を生成する段階（Ｓ２００）の２段階に分けることができる。
【0098】
そして、各段階Ｓ１００及びＳ２００は、ラベルのあるデータセットの様々なエポック（ｅｐｏｃｈ）によって反復しながらアップデートできるが、データセットを１回巡回することを１エポック（ｅｐｏｃｈ）という。
【0099】
また、生成子１００と、判別子２００と、アクター４００と、加重値関数部５００とで構成された生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）を用いることができる。
【0100】
まず、欠測代替値を生成するＳ１００段階は、生成子１００と判別子２００を学習するが、それぞれの反復において生成子１００に入力されるデータセットから無作為（ランダム）にｎ個のステート（Ｓｔａｔｅ）を選択する段階（Ｓ１１０）と、ステートに該当するステートの元素が欠測されたか否かを示すｎ個の欠測指標（ｍ）を選択する段階（Ｓ１２０）を行う。
【0101】
この時、Ｓ１１０段階及びＳ１２０段階は、外部端末から提供されてもよく、あらかじめ設定されたデータセットから提供されてもよい。
【0102】
また、Ｓ１１０段階及びＳ１２０段階において、データセットは、ラベリングされたデータ及びラベリングされていないデータのうち少なくとも一つのデータからなるデータセットであり得る。
【0103】
ｎ個のステートにあらかじめ設定された値、例えば、‘０’と‘１’間の均等分布から、ランダムノイズ‘Ｚ’（ここで、Ｚ∈［０，１］）に代替したベクトルを選別（Ｓ１３０）し、それが生成子１００に入力されると、生成子１００は、欠測代替値（Ｓ＿ｔ）と、ステート（Ｓ＿ｂ）と、欠測代替値（Ｓ＿ｈ）を計算（Ｓ１４０）する。
【0104】
ここで、Ｓ＿ｔは、ノイズ‘Ｚ’に代替された欠測代替値であり、Ｓ＿ｂは、生成子１００によって生成されたステートを表し、Ｓ＿ｈは、生成子によって生成された値に代替された欠測代替値である。
【0105】
Ｓ１４０段階において、生成子１００は、ランダムノイズ‘Ｚ’に代替された欠測代替値（Ｓ＿ｔ）からなるベクトルを入力として受けて計算するが、下記の式によって入力として受ける。
また、生成子１００は、Ｓ＿ｂ＝Ｇ（Ｓ＿ｔ）によってＳ＿ｂ∈Ｒｄを計算してステート（Ｓ＿ｂ）を生成する。
【数18】
また、生成子１００は、Ｓ＿ｂ＝Ｇ（Ｓ＿ｔ）によってＳ＿ｂ∈Ｒｄを計算してステート（Ｓ＿ｂ）を生成する。
【0106】
また、生成子１００は、生成されたステート（Ｓ＿ｂ）に代替された欠測代替値からなるベクトルである欠測代替値（Ｓ＿ｈ）を計算するが、下記の式によって計算され得る。
また、生成子１００が生成した欠測代替値（Ｓ＿ｈ）は判別子２００に提供され、判別子損失関数を用いて判別子２００が学習（Ｓ１５０）されるようにする。
【数19】
また、生成子１００が生成した欠測代替値（Ｓ＿ｈ）は判別子２００に提供され、判別子損失関数を用いて判別子２００が学習（Ｓ１５０）されるようにする。
【0107】
また、生成子１００が生成した欠測代替値（Ｓ＿ｈ）は、生成子損失関数を用いて生成子１００が学習（Ｓ１６０）されるようにする。
【0108】
一方、全ての構成要素を学習するために、媒介変数ごとにアップデート速度を最適に調節する‘Ａｄａｍ ｏｐｔｉｍｉｚｅｒ’を使用してもよい。
【0109】
学習政策を生成する段階（Ｓ２００）は、それぞれの反復において、ラベルのあるデータセット（ＳＬ）から、無作為（ランダム）にｎ個のステート（Ｓｔａｔｅ）と、ステートに該当するステートの元素が欠測されたか否かを示すｎ個の欠測指標（ｍＬ）を選択（Ｓ２１０）する。
【0110】
続いて、ｎ個のステートにあらかじめ設定された値、例えば、‘０’と‘１’間の均等分布から、ランダムノイズ‘Ｚ’（ここでＺ∈［０，１］）に代替したベクトルを選別（Ｓ２２０）し、それが生成子１００に入力されると、生成子１００は、欠測代替値（ＳＬ＿ｔ）（ＳＬ＿ｔは、ＳＬの上にチルダ）と、ステート（ＳＬ＿ｂ）（ＳＬ＿ｂは、ＳＬの上にバー）と、欠測代替値（ＳＬ＿ｈ）を計算（Ｓ２３０）する。
【0111】
ここで、ＳＬ＿ｔは、ノイズ‘Ｚ’に代替された欠測代替値であり、ＳＬ＿ｂは、生成子１００によって生成されたステートを表し、ＳＬ＿ｈは、生成子によって生成された値に代替された欠測代替値である。
【0112】
Ｓ２３０段階において、生成子１００は、ランダムノイズ‘Ｚ’に代替された欠測代替値（ＳＬ＿ｔ）からなるベクトルを入力として受けて計算するが、下記の式によって入力として受ける。
また、生成子１００は、ＳＬ＿ｂ＝Ｇ（ＳＬ＿ｔ）によってＳＬ＿ｂ∈Ｒｄを計算してステート（ＳＬ＿ｂ）を生成する。
【数20】
また、生成子１００は、ＳＬ＿ｂ＝Ｇ（ＳＬ＿ｔ）によってＳＬ＿ｂ∈Ｒｄを計算してステート（ＳＬ＿ｂ）を生成する。
【0113】
また、生成子１００は、生成されたステート（ＳＬ＿ｂ）に代替された欠測代替値からなるベクトルである欠測代替値（ＳＬ＿ｈ）を計算するが、下記の式によって計算され得る。
続いて、アクター４００は、生成された欠測代替値（ＳＬ＿ｈ）が政策ａ＝π（ＳＬ＿ｈ）によってアクションを行う確率値を予測（Ｓ２４０）する。
【数21】
続いて、アクター４００は、生成された欠測代替値（ＳＬ＿ｈ）が政策ａ＝π（ＳＬ＿ｈ）によってアクションを行う確率値を予測（Ｓ２４０）する。
【0114】
この時、加重値関数部５００は、加重値関数を用いてステート、アクション及びラベルに対するリワードの加重値を下記の式によって生成（Ｓ２５０）する。
また、Ｓ２５０段階において、加重値関数部５００は、ステートから得られるリワードの加重値として、ラベルのあるデータセットからラベルの頻度数に基づいて、ステート、アクション及びラベルに対するリワードの加重値を反映できる。
【数22】
また、Ｓ２５０段階において、加重値関数部５００は、ステートから得られるリワードの加重値として、ラベルのあるデータセットからラベルの頻度数に基づいて、ステート、アクション及びラベルに対するリワードの加重値を反映できる。
【0115】
この時、ラベル頻度数は下記の式に近似できる。
続いて、Ｓ２５０段階で生成された加重値は、下記の式を用いた指導政策損失関数４１によって学習（Ｓ２６０）する。
ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である。
【数23】
続いて、Ｓ２５０段階で生成された加重値は、下記の式を用いた指導政策損失関数４１によって学習（Ｓ２６０）する。
【数24】
ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である。
【0116】
一方、全ての構成要素を学習するために、媒介変数ごとにアップデート速度を最適に調節する‘Ａｄａｍ ｏｐｔｉｍｉｚｅｒ’を使用してもよい。
【0117】
（第２実施例）
【0118】
図７は、本発明の第２実施例による生成的敵対神経網ベースの分類システムの構成を示すブロック図であり、図８は、本発明の第２実施例による生成的敵対神経網ベースの分類方法を示すフローチャートであり、図９は、図８による生成的敵対神経網ベースの分類方法の非ラベルデータの分類学習過程を示すフローチャートである。
【0119】
図７～図９を参照すると、生成的敵対神経網ベースの分類システムは、生成子（Ｇｅｎｅｒａｔｏｒ）１００ａと、判別子（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）２００ａと、アクター（Ａｃｔｏｒ）４００ａと、加重値関数部（Ｗｅｉｇｈｔｅｄ Ｆｕｎｃｔｉｏｎ）５００ａと、リワード部（Ｒｅｗａｒｄ）６００ａを含んで構成される。
【0120】
生成子１００ａ及び判別子２００ａは、競合構造にあるネットワークである生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）を用いて、生成子１００は原本データの分布を見て判別子２００ａをだます欠測データの生成のための学習を行い、判別子２００ａは、どのデータが生成子１００ａによって生成されたデータかを分別する学習を行う。
【0121】
また、生成子１００ａは、原本データの分布を参照して、判別子２００ａをだます欠測データの生成のための学習を行う。
【0122】
また、生成子１００ａは、ラベルのあるラベルデータセット（ＳＬ）を用いたり、又はラベルのない非ラベルデータセット（ＳＵ）を用いることができる。
【0123】
ここで、Ｌは、ステートにラベルのあるデータセットであり、Ｕは、ステートにラベルのないデータセットを意味し、外部端末から任意のデータセットが入力されてもよい。
【0124】
また、生成子１００ａは、前処理過程として、ラベルのあるデータセット（ＳＬ）又はラベルのないデータセット（ＳＵ）から欠測代替値を生成するための学習過程を行ってもよい。
【0125】
また、生成子１００ａは、前処理過程として、ラベルのあるラベルデータセットではなくラベルのない非ラベルデータセットから欠測代替値を生成するための学習過程を行ってもよい。
【0126】
また、生成子１００ａは、欠測代替値の生成のための入力として、データセット１０ａからｎ個のステート（Ｓｔａｔｅ）と、ｎ個のステートに該当するステートの元素が欠測されたか否かを示すｎ個の欠測指標２０ａを選択する。
【0127】
欠測指標２０ａも、ラベルのあるラベルデータセット（ＳＬ）及びラベルのない非ラベルデータセット（ＳＵ）と同様に、ラベルのあるラベルデータセット（ＳＬ）はＭＬに、ラベルのない非ラベルデータセット（ＳＵ）はＭＵに分類され得る。
【0128】
また、データセット１０ａは、Ｓ１，Ｓ２，Ｓ３，‥，Ｓｎ∈Ｒｄからなるｎ個のステートを含み、ここで、ｄは、ステート特徴（ｆｅａｔｕｒｅ）である。
【0129】
また、ステートｉが持つｊ番目元素はＳｉ
ｊと表現し、ここで、ｊはｄまでの定数であり、Ｓｉ
ｊは、スカラー又は欠測値を有する。
【0130】
また、データセット１０ａは、ラベルのあるデータ及びラベリングされていないデータのうち少なくとも一つのデータで構成され得る。
【0131】
また、欠測指標２０ａは、ステートの元素が欠測されたか否かを示すための指標であり、ｍ１，ｍ２，ｍ３，‥，ｍｎ∈Ｒｄを使用し、この時、ｍｉ
ｊは、Ｓｉ
ｊが欠測データを有すれば欠測指標値２２は‘０’、そうでなければ欠測指標値２１は‘１’と表示される。
【0132】
また、生成子１００ａは、ｎ個のステートから任意の元素１１に対して無作為（ランダム）に選別された欠測元素１２にあらかじめ設定された値、例えば、‘０’と‘１’間の均等分布からランダムノイズ‘Ｚ’に代替された欠測代替値（Ｓ＿ｔ）を入力として受けて計算する。
【0133】
この時、欠測代替値（Ｓ＿ｔ）を下記の式によって入力として受ける。
ここで、ｍは、ステートｓに該当する欠測指標のベクトルであり、ｚは、‘０’と‘１’間の均等分布からランダムに選別されたノイズのベクトルであり、要素別積で示すことができる。
【数25】
ここで、ｍは、ステートｓに該当する欠測指標のベクトルであり、ｚは、‘０’と‘１’間の均等分布からランダムに選別されたノイズのベクトルであり、要素別積で示すことができる。
【0134】
また、生成子１００ａは、欠測代替値（Ｓ＿ｔ）を用いて生成された元素のベクトルからなるステート（Ｓ＿ｂ）を出力する。
【0135】
また、生成子１００ａは、ステート（Ｓ＿ｂ）に代替された欠測代替値（Ｓ＿ｈ）を生成して出力する。
【0136】
この時、生成子１００ａの出力により、下記の式による欠測代替値（Ｓ＿ｈ）に該当するデータを判別子２００ａの学習のために利用可能にする。
ここで、ｍは、ステートｓに該当する欠測指標のベクトルである。
【数26】
ここで、ｍは、ステートｓに該当する欠測指標のベクトルである。
【0137】
判別子２００ａは、生成子１００ａが生成した欠測代替値（Ｓ＿ｈ）と原本データを区分する構成であり、判別子２００ａが出力したものの各元素が欠測（ｆａｋｅ）か否か（ｒｅａｌ）を区分し、結果的に、ｍは、Ｓ＿ｈのためのラベルとして用いられ得る。
【0138】
また、判別子２００ａは、関数を用いて、ステートＳ＿ｈのｉ番目元素が欠測データでない確率に該当する判別子２００ａのｉ番目出力をＳ→［０，１］ｄと示すことができる。
【0139】
また、判別子２００ａは、出力を判別子出力指標３０によってＤ１，Ｄ２，Ｄ３，‥，Ｄｄと示すことができる。
【0140】
一方、生成子１００ａ及び判別子２００ａは損失関数によって学習され得るが、生成子１００ａの学習のための生成子損失関数は、下記の式の通りであり得る。
ここで、生成子損失関数は２つの項（ｔｅｒｍ）で構成され得るが、一番目の項は、欠測データに対する確率Ｄｉを最大化するものである。
【数27】
ここで、生成子損失関数は２つの項（ｔｅｒｍ）で構成され得るが、一番目の項は、欠測データに対する確率Ｄｉを最大化するものである。
【0141】
また、二番目の項は、原本データ分布を用いて生成子１００ａで生成された欠測データを原本データに近似するように変換する再構成損失（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）４０ａであり、ここで、λはスケールファクター（ｓｃａｌｅ ｆａｃｔｏｒ）である。
【0142】
また、判別子２００ａの学習のための判別子損失関数は、下記の式の通りであり得る。
アクター４００ａは、生成子１００ａによって生成された欠測代替値からなるベクトルを政策（Ｐｏｌｉｃｙ）を用いてラベルのあるデータセットからアクション（Ａｃｔｉｏｎ）を行う確率を予測する。
【数28】
アクター４００ａは、生成子１００ａによって生成された欠測代替値からなるベクトルを政策（Ｐｏｌｉｃｙ）を用いてラベルのあるデータセットからアクション（Ａｃｔｉｏｎ）を行う確率を予測する。
【0143】
また、アクター４００ａは、強化学習においてよく知られた意思決定フレームワークである‘Ａｃｔｏｒ－ｃｒｉｔｉｃ’アーキテクチャーの構成要素であり得る。
【0144】
また、アクター４００ａは、与えられたステートのラベルを生成することができる。
【0145】
また、アクター４００ａは、ステートを入力として受け、与えられたアクション（Ａｃｔｉｏｎ）をする確率を出力し、‘Ａｃｔｏｒ－ｃｒｉｔｉｃ’を用いて政策（Ｐｏｌｉｃｙ）πを学習するために、政策損失関数（Ｐｏｌｉｃｙ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）は下記の式のように定義され得る。
ここで、Χ（Ｓ＿ｈ，ａ）は、与えられたステートから予測されたアクションが良いか又は悪いかを決定するクリティック（Ｃｒｉｔｉｃ）から評価される関数である。
【数29】
ここで、Χ（Ｓ＿ｈ，ａ）は、与えられたステートから予測されたアクションが良いか又は悪いかを決定するクリティック（Ｃｒｉｔｉｃ）から評価される関数である。
【0146】
また、Χ（Ｓ＿ｈ，ａ）は、‘ｔｏｔａｌ ｄｉｓｃｏｕｎｔｅｄ ｒｅｗａｒｄ’、‘ａｃｔｉｏｎ－ｖａｌｕｅ ｆｕｎｃｔｉｏｎ’又は‘ＴＤ－ｅｒｒｏｒ’のような形態を有してもよい。
【0147】
上記の政策損失関数は、アクションが決定されていない一般形態であり、アクター４００ａは、正確なアクション及び不正確なアクションの両方から学習される必要がある。
【0148】
しかし、Χ（Ｓ＿ｈ，ａ）の推定値が悪い場合、その政策損失関数は、誤った方向に最適化をすることになり、その結果、徐々に収斂したり又は発散してしまうことがある。
【0149】
したがって、本発明の実施例によるアクター４００ａは、政策損失関数４１ａを不正確なアクションから学習される場合を省略し、与えられた正確なラベルだけを利用できるように、下記の式と定義され得る。
ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である。
【数30】
ここで、ｙは、ステートのラベルであり、ａは、与えられたステートに対する政策πが予測したアクションであり、Ｗ（Ｓ＿ｈ，ａ，ｙ）は、ステート、アクション及びラベルに対するリワードの加重値である。
【0150】
すなわち、予測されたアクションを正確なラベルに代替し、関数Χ（Ｓ＿ｈ，ａ）を加重値関数（Ｗｅｉｇｈｔｅｄ Ｆｕｎｃｔｉｏｎ）Ｗに代替する。
【0151】
したがって、指導政策損失（Ｓｕｐｅｒｖｉｓｅｄ ｐｏｌｉｃｙ ｌｏｓｓ）ＬＬは、加重値関数Ｗ（Ｓ＿ｈ，ａ，ｙ）から得た分類損失加重値（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ ｗｅｉｇｈｔｅｄ）である。
【0152】
また、全てのステート、アクション、ラベルに対して加重値関数が‘１’である場合、ＬＬは分類損失加重値と完全に同一になる。
【0153】
また、アクター４００ａは、指導分類のための政策損失関数（ＬＬ，４１ａ）が加重値関数部５００ａから生成された加重値を用いて指導政策を学習できる。
【0154】
また、アクター４００ａは、セミ指導分類（Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）のためのセミ政策損失関数（ＬＵ，４２ａ）がアクター４００ａの政策とリワード部６００ａの出力を反映して政策を学習できる。
【0155】
すなわち、セミ指導分類は、ラベルのないデータセットを活用してアクター４００ａのアクション（ａ）とリワード部６００ａの出力間の協力によって生成子の役割を担うアクター４００ａの政策は、与えられたステートのラベルを生成し、判別子の役割を担うリワード部６００ａは、各ステート－アクション（Ｓ＿ｈ，ａ）対がラベルデータセットであるか否かを決定するようにする。
【0156】
また、セミ政策損失関数（ＬＵ，４２ａ）は、ラベルのないデータセット（ＳＵ）を活用するために、リワード部６００ａの出力とアクター４００ａの政策が共に動作され得る。
【0157】
セミ政策損失関数（ＬＵ）は、下記の式と定義され得る。
ここで、セミ政策損失関数（ＬＵ）は、政策損失（ｐｏｌｉｃｙ ｌｏｓｓ）から得られ、Χ（Ｓ＿ｈ，ａ）は、次のように定義されるリワード部６００ａのリワードであるｒ（ＳＵ＿ｈ，ａ）に代替され得る。
【数31】
ここで、セミ政策損失関数（ＬＵ）は、政策損失（ｐｏｌｉｃｙ ｌｏｓｓ）から得られ、Χ（Ｓ＿ｈ，ａ）は、次のように定義されるリワード部６００ａのリワードであるｒ（ＳＵ＿ｈ，ａ）に代替され得る。
【0158】
また、ｒ（ＳＵ＿ｈ，ａ）は、下記の式のように定義され得る。
ここで、Ｒ（ＳＬ＿ｈ，ａ）は、（Ｓ＿ｈ，ａ）対がラベルデータセットにあるラベルか否かに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である。
【数32】
ここで、Ｒ（ＳＬ＿ｈ，ａ）は、（Ｓ＿ｈ，ａ）対がラベルデータセットにあるラベルか否かに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である。
【0159】
加重値関数部５００ａは、ステートＳ＿ｈから得られるリワードの加重値であり、ラベルのあるデータセット（ＳＬ）からラベルの頻度数に基づいてステート、アクション、ラベルに対するリワードの加重値を生成する。
【0160】
ここで、加重値関数部５００ａが、Ｋ個のラベルがある（ｋ＝０，１，…，Ｋ－１）ラベルのあるデータセットＳＬを持っていると仮定すれば、Ｋ番目ラベルの頻度数は、下記の式に近似され得る。
ここで、ｎｋは、ｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる。
【数33】
ここで、ｎｋは、ｋ番目ラベルのサンプル数であり、φｋは、（０，１）の範囲に含まれる。
【0161】
また、加重係数ωｋは、各ラベルに対して下記の式で推定され得る。
ここで、ｂは、ログに基づく（ｂ＝ｅ，１０，…）。
【数34】
ここで、ｂは、ログに基づく（ｂ＝ｅ，１０，…）。
【0162】
したがって、ラベルの頻度数が相対的に小さい少数のラベル（ｍｉｎｏｒｉｔｙ ｌａｂｌｅ）に対して高いリワードの加重値を与え、ラベルの頻度数が相対的に大きい（高い）多数のラベル（ｍａｊｏｒｉｔｙ ｌａｂｌｅ）にはより低いリワードの加重値を与えることによって、ラベル間の均衡が取れるように動作できる。
【0163】
また、加重値関数部５００ａは、各クラスに対する加重値関数、すなわちステート、アクション及びラベルに対するリワードの加重値を、下記の式と定義することができる。
ここで、ｒ（Ｓ＿ｈ）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である。
【数35】
ここで、ｒ（Ｓ＿ｈ）は、ステートＳ＿ｈから得られるリワードであり、ａは、与えられたステートに対する政策πが予測したアクションであり、ｙは、ステートのラベルであり、ωｙとωａは、ωｋ＝１－ｌｏｇｂφｋ（ｂは、ログに基づくｅ，１０…）に基づく加重係数である。
【0164】
リワード部６００ａは、ラベルのあるデータセット（ＳＬ）にあるステート－アクション（Ｓ＿ｈ，ａ）対があるか否か決定し、ラベルのないデータセットに対するアクター４００ａの政策を学習させるようにリワードを提供する構成である。
【0165】
また、リワード部６００ａは、ラベルデータセットにあるステート－アクション（Ｓ＿ｈ，ａ）対に対する確率値に対してリワードを提供するリワードモデルからなり得る。
【0166】
また、リワードモデルは、ラベルデータセットにあるステート－アクション（Ｓ＿ｈ，ａ）対のラベルであるか否かに対する確率値を出力する関数であり、Ｒ：Ｓ×Ａ→［０，１］であり得る。
【0167】
各ステート－アクション（Ｓ＿ｈ，ａ）対に対するラベルは、下記の式のように定義され得る。
ここで、ｍはステートの欠測指標であり、ｙは、ステートのラベルであり、ａは、与えられたステートに対してアクターの政策が予測したアクションである。
【数36】
ここで、ｍはステートの欠測指標であり、ｙは、ステートのラベルであり、ａは、与えられたステートに対してアクターの政策が予測したアクションである。
【0168】
また、リワード部６００ａは、ステート－アクション（Ｓ＿ｈ，ａ）対がラベルのあるデータセットにあるラベルであれば、確率値が最大化するようにしてリワード部６００のリワード（ｒ（ＳＵ＿ｈ，ａ））として提供し、ステート－アクション（Ｓ＿ｈ，ａ）対がラベルのあるデータセットにないラベルであれば、確率値が最小化するようにしてリワード部６００ａのリワード（ｒ（ＳＵ＿ｈ，ａ））として提供し、前記リワード部６００ａは、リワードモデル損失関数（Ｌｒｅｗ，６１ａ）を用いて学習され得る。
【0169】
また、リワードモデル損失関数（Ｌｒｅｗ，６１ａ）は、２つの部分を構成できるが、ステート－アクション（ＳＬ＿ｈ，ａ）対がラベルのあるデータセットにあるラベルであれば、確率値が最大化するように学習し、ステート－アクション（ＳＬ＿ｈ，ａ）対がラベルのあるデータセットにないラベルであれば、確率値が最小化するように学習する。
【0170】
この時、下記の式のように定義され得る。
次に、本発明の第２実施例による生成的敵対神経網ベースの指導分類及び学習方法を説明する。
【数37】
次に、本発明の第２実施例による生成的敵対神経網ベースの指導分類及び学習方法を説明する。
【0171】
学習手順は、欠測代替値を生成する段階（Ｓ１００’）と、ラルのあるデータセットを用いた学習過程（Ｓ２００’）及びラベルのないデータセットを用いた学習過程（Ｓ３００）段階を含む学習政策を生成する段階とで構成され得る。
【0172】
そして、各段階Ｓ１００’、Ｓ２００’及びＳ３００は、データセットを様々なエポック（ｅｐｏｃｈ）によって反復しながらアップデートできるが、データセットを１回巡回することを１エポック（ｅｐｏｃｈ）という。
【0173】
また、生成子１００ａと、判別子２００ａと、アクター４００ａと、加重値関数部５００ａと、リワード部６００ａとで構成された生成的敵対神経網（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ；ＧＡＮ）を用いることができる。
【0174】
まず、欠測代替値を生成するＳ１００’段階及びＳ２００’段階は、ラベルのあるラベルデータセットを用いて学習政策を行う段階であり、生成子１００ａと判別子２００ａは、第１実施例によるＳ１００段階及びＳ２００段階と同一に動作し、同一の構成要素に対する反復説明は省略する。
【0175】
ラベルのない非ラベルデータセット（ＳＵ）から学習政策を生成する段階（Ｓ３００）は、ラベルのないデータセット（ＳＵ）から無作為（ランダム）にｎ個のステート（Ｓｔａｔｅ）と、ステートに該当するステートの元素が欠測されたか否かを示すｎ個の欠測指標（ｍＵ）を選択（Ｓ３１０）する。
【0176】
続いて、ｎ個のステートにあらかじめ設定された値、例えば、‘０’と‘１’間の均等分布から、ランダムノイズ‘Ｚ’（ここで、Ｚ∈［０，１］）に代替したベクトルを選別（Ｓ３２０）し、これが生成子１００ａに入力されると、生成子１００ａは、欠測代替値（ＳＵ＿ｔ）（ＳＵ＿ｔは、ＳＵの上にチルダ）と、ステート（ＳＵ＿ｂ）（ＳＵ＿ｂは、ＳＵの上にバー）と、欠測データ、すなわち、欠測代替値（ＳＵ＿ｈ）を計算（Ｓ３３０）する。
【0177】
ここで、ＳＵ＿ｔは、ノイズ‘Ｚ’に代替された欠測代替値であり、ＳＵ＿ｂは、生成子１００ａによって生成されたステートを示し、ＳＵ＿ｈは、生成子によって生成された値に代替された欠測代替値である。
【0178】
Ｓ３３０段階において、生成子１００ａは、ランダムノイズ‘Ｚ’に代替された欠測代替値（ＳＵ＿ｔ）からなるベクトルを入力として受けて計算するが、下記の式によって入力として受ける。
また、生成子１００ａは、ＳＵ＿ｂ＝Ｇ（ＳＵ＿ｔ）によってＳＵ＿ｂ∈Ｒｄを計算してステート（ＳＵ＿ｂ）を生成する。
【数38】
また、生成子１００ａは、ＳＵ＿ｂ＝Ｇ（ＳＵ＿ｔ）によってＳＵ＿ｂ∈Ｒｄを計算してステート（ＳＵ＿ｂ）を生成する。
【0179】
また、生成子１００ａは、生成されたステート（ＳＵ＿ｂ）に代替された欠測代替値（ＳＵ＿ｈ）を計算するが、欠測代替値（ＳＵ＿ｈ）は下記の式によって計算され得る。
続いて、リワード部６００ａは、ラベルのあるデータセットに対するステート－アクション（Ｓ＿ｈ，ａ）対に対する確率値としてリワード部６００ａのリワードを提供し、前記リワード部６００ａは、リワードモデル損失関数（Ｌｒｅｗ）を用いて学習する段階を行う（Ｓ３４０）。
【数39】
続いて、リワード部６００ａは、ラベルのあるデータセットに対するステート－アクション（Ｓ＿ｈ，ａ）対に対する確率値としてリワード部６００ａのリワードを提供し、前記リワード部６００ａは、リワードモデル損失関数（Ｌｒｅｗ）を用いて学習する段階を行う（Ｓ３４０）。
【0180】
また、前記リワード部６００ａは、リワードモデルからなり得、前記リワードモデルは、ラベルデータセットにあるステート－アクション（Ｓ＿ｈ，ａ）対に対する確率を出力する関数であり、Ｒ：Ｓ×Ａ→［０，１］であり得る。
【0181】
また、各ステート－アクション（Ｓ＿ｈ，ａ）対に対するラベルは、下記の式と定義され得る。
ここで、ｍは、ステートの欠測指標であり、ｙは、ステートのラベルであり、ａは、与えられたステートに対してアクターの政策が予測したアクションである。
【数40】
ここで、ｍは、ステートの欠測指標であり、ｙは、ステートのラベルであり、ａは、与えられたステートに対してアクターの政策が予測したアクションである。
【0182】
リワードモデル損失関数（Ｌｒｅｗ）は、ステート－アクション（ＳＬ＿ｈ，ａ）対がラベルのあるデータセットにあるラベルであれば、確率値が最大化するように学習する。
【0183】
また、リワードモデル損失関数（Ｌｒｅｗ）は、ステート－アクション（ＳＬ＿ｈ，ａ）対がラベルのあるデータセットにないラベルであれば、確率値が最小化するように学習する。
【0184】
この時、リワードモデル損失関数（Ｌｒｅｗ）は、下記の式を用いて学習する。
その後、アクター４００ａで生成された欠測代替値（ＳＬ＿ｈ）と政策（Ｐｏｌｉｃｙ）を用いてアクションを行う確率ａ＝π（ＳＵ＿ｈ）を予測する過程を行う（Ｓ３５０）。
【数41】
その後、アクター４００ａで生成された欠測代替値（ＳＬ＿ｈ）と政策（Ｐｏｌｉｃｙ）を用いてアクションを行う確率ａ＝π（ＳＵ＿ｈ）を予測する過程を行う（Ｓ３５０）。
【0185】
Ｓ３４０段階で提供されるリワードモデルのリワードとＳ３５０段階で予測したアクションの予測結果は、アクター４００ａが、下記の式を用いたセミ政策損失関数（ＬＵ）を用いてセミ政策損失関数４２ａで最適化するように政策を学習（Ｓ３６０）することができる。
ここで、ｒ（ＳＵ＿ｈ，ａ）は、リワード部６００ａでリワードモデル関数に対するリワードである。
【数42】
ここで、ｒ（ＳＵ＿ｈ，ａ）は、リワード部６００ａでリワードモデル関数に対するリワードである。
【0186】
また、ｒ（ＳＵ＿ｈ，ａ）は、下記の式のように定義され得る。
ここで、Ｒ（ＳＬ＿ｈ，ａ）は、リワード部が出力するラベルデータセット（Ｓ＿ｈ，ａ）対が、ラベルのあるラベルデータセットのラベルか或いはアクターが生成したラベルかに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である。
【数43】
ここで、Ｒ（ＳＬ＿ｈ，ａ）は、リワード部が出力するラベルデータセット（Ｓ＿ｈ，ａ）対が、ラベルのあるラベルデータセットのラベルか或いはアクターが生成したラベルかに対する確率値であり、ε∈［０，１］は、ステート－アクション対がラベルデータセット中に含まれる可能性があるか否かを考慮した臨界値である。
【0187】
一方、全ての構成要素を学習するために、媒介変数ごとにアップデート速度を最適に調節する‘Ａｄａｍ ｏｐｔｉｍｉｚｅｒ’を使用してもよい。
【0188】
図１０は、ＵＣＩ（Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ）が公開した、２２％詐欺取引を含む実際のクレジットカード取引データを用いた実験のデータであり、データを０．７テストセットと０．３テストセットの割合で進行した結果である。
【0189】
ここで、全体データセットは、１０％、２０％、３０％、４０％、５０％の欠測率で欠測程度を示すように仮定され、データは、ゼロ－平均正規化を適用して前処理された。
【0190】
図１０から確認できるように、多数の欠測率を用いた生成子と判別子の性能は、平均平方根誤差指標によって１０回以上平均化して単純に欠測代替値を平均で満たすよりは、生成子を学習して欠測代替値を生成することが、元来の値にさらに類似して現れることが分かる。
【0191】
また、欠測率が増加するにつれてＧＡＮの効果も共に増加することが分かる。
【0192】
また、図１１は、学習過程中に生成された値の分布を示すグラフである。
【0193】
図１１から確認できるように、学習過程中に生成された値の分布が、図１１（ａ）の０エポック（ｅｐｏｃｈ）と、図１１（ｂ）の１エポック後の分布と対比して、図１１（ｃ）の１０エポック後に生成された値の分布を元来値の分布と比較すると、より類似に現れることが分かる。
【0194】
また、図１２は、プラグイン要素があるものとないものの性能を示す例示図であり、Ｆ１－ｓｃｏｒｅを用いて他のｓｔａｔｅ－ｏｆ－ａｒｔ模型と本発明に係るフレームワークとを比較したものである。
【0195】
ここで、ＧＡＮ、加重値関数、リワードモデルを順次に具現することによって、それぞれ、２．２％、４．４％、及び１．０４％の性能が向上したことが分かる。
【0196】
この加重値関数は性能に最も大きい影響を与え、これは、加重値関数を用いて学習するとき、政策（Ｐｏｌｉｃｙ）が少数クラスに一層多い加重値を与えて学習するためである。
【0197】
結果的に、より良いリコール点数を有し、これは、より良いＦ１点数が得られるようにする。
【0198】
また、リワードモデルは、εを調節すれば、フレームワークの性能を向上させるのに役立つことができる。
【0199】
また、εは、ラベルのないデータからどれくらいの情報を政策アップデートに利用するかを制限し、高い値を有するほど、ラベルのないデータ使用をより厳しく管理する。
【0200】
図１３は、ラベルデータ比率と欠測率による性能比較を示すグラフである。
【0201】
図１３は、ＵＬＢから得た０．１７２％の詐欺比率を持つ非常に不均衡なクレジットカードデータセットを用いた評価結果であり、評価結果はＦ１－ｓｃｏｒｅ指標によって測定された。
【0202】
図１３（ａ）から分かるように、同数のラベルデータを用いると、本発明に係るフレームワークが既存のｍｌｐベースの分類機に比べてより良い性能を出すことが分かる。
【0203】
また、ｍｌｐベースの分類機は、欠測率が増加したとき、Ｆ１－ｓｃｏｒｅがより速く減少することが見られるが、これは、本発明のフレームワークが欠測値を扱うにおいてより良いフレームワークであるといえよう。
【0204】
また、２つのフレームワークがラベルデータを十分に含んでいるとき、両者の性能差は縮まり得る。
【0205】
例えば、５０％のラベルデータのみを含む場合、本発明に係るフレームワークの性能は、完全なラベルデータセットを用いる場合に類似する性能を示すことが分かる。
【0206】
また、図１３（ｂ）のプロットは、ラベルデータの量によるリワードモデルの出力を示すものであり、ラベルデータが多いほど、より速く一つの値に収斂することが分かる。
【0207】
以上、本発明の好ましい実施例を参照して説明したが、当該技術の分野における熟練した当業者であれば、添付する特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を様々に修正及び変更可能であることが理解できよう。
【0208】
また、本発明の特許請求の範囲に記載されている図面番号は、説明の明瞭性と便宜のために記載しただけで、これに限定されるものではなく、実施例を説明する過程で図面に示す線の太さや構成要素の大きさなどは、説明の明瞭性と便宜のために誇張して示されていてもよく、上述した用語は本発明における機能を考慮して定義された用語であり、これは使用者、運用者の意図又は慣例によって変わり得るので、このような用語に対する解釈は本明細書全般における内容に基づいて下されるべきであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】