特開 2024-162323 強化学習装置、強化学習方法、および強化学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162323

(43)【公開日】2024-11-21

(54)【発明の名称】強化学習装置、強化学習方法、および強化学習プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241114BHJP

   G06N 3/092 20230101ALI20241114BHJP

【ＦＩ】

G06N20/00

G06N3/092

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023077712

(22)【出願日】2023-05-10

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】山下 泰穂

(57)【要約】

【課題】行動選択に際してアクターおよびラーナーが採るべきリスクを考慮した分散強化学習を可能にすること。
【解決手段】強化学習装置は、分析対象に適用する行動を行動群から選択する際に採るべき第１リスクに関する第１パラメータの選択範囲を一部の範囲に設定し、価値関数の学習において採るべき第２リスクに関する第２パラメータを設定する設定部と、価値関数と一部の範囲内の第１パラメータとに基づいて行動を選択して分析対象の状態を更新し、更新後の状態が新規な状態であるほど高い報酬を算出するアクターと、報酬と第２パラメータとに基づいて価値関数を更新するラーナーと、複数の第１パラメータの各々が用いられた際に算出された報酬の履歴に基づいて、アクターへの出力対象を、新規な状態に更新させた特定の行動をアクターが選択した際に用いられた特定の第１パラメータに決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

分析対象に適用する行動を行動群から選択する際に採るべき第１リスクに関する第１パラメータの選択範囲を前記選択範囲の一部の範囲に設定し、前記行動の選択指針となる価値を算出する価値関数の学習において採るべき第２リスクに関する第２パラメータを設定する設定部と、
前記価値関数と前記一部の範囲内の前記第１パラメータとに基づいて前記行動を選択して、前記分析対象の状態を更新し、更新後の状態が新規な状態であるほど高い報酬を算出するアクターと、
前記報酬と前記第２パラメータとに基づいて前記価値関数を更新するラーナーと、
前記一部の範囲内の複数の前記第１パラメータの各々が用いられた際に前記アクターによって算出された前記報酬の履歴に基づいて、前記アクターへの出力対象となる前記第１パラメータを、前記分析対象を新規な状態に更新させた特定の行動を前記アクターが選択した際に用いられた特定の第１パラメータに決定し、前記アクターに出力する決定部と、
を有することを特徴とする強化学習装置。

【請求項2】

請求項１に記載の強化学習装置であって、
前記決定部は、前記一部の範囲内の複数の前記第１パラメータの各々の前記報酬の履歴ごとに、前記報酬の期待値を算出し、前記第１パラメータの前記報酬の期待値に基づいて、次の行動選択に用いられる前記特定の第１パラメータを決定する、
ことを特徴とする強化学習装置。

【請求項3】

請求項２に記載の強化学習装置であって、
前記決定部は、前記報酬の期待値が最大となる前記一部の範囲内の前記第１パラメータを、前記特定のパラメータに決定する、
ことを特徴とする強化学習装置。

【請求項4】

請求項１に記載の強化学習装置であって、
前記一部の範囲の下限値は、前記選択範囲の下限値であり、前記一部の範囲の上限値は、前記選択範囲の上限値よりも小さい、
ことを特徴とする強化学習装置。

【請求項5】

請求項１に記載の強化学習装置であって、
前記一部の範囲の下限値は、前記選択範囲の下限値よりも大きく、前記一部の範囲の上限値は、前記選択範囲の上限値である、
ことを特徴とする強化学習装置。

【請求項6】

請求項１に記載の強化学習装置であって、
前記ラーナーは、前記第２パラメータと前記価値関数の勾配とに基づいて、前記価値関数の学習パラメータを更新する、
ことを特徴とする強化学習装置。

【請求項7】

請求項１に記載の強化学習装置であって、
前記設定部、前記アクター、前記ラーナー、および、前記決定部を有する複数の実行主体を有し、
前記複数の実行主体の各々の前記アクターは、前記更新後の状態を共有する、
強化学習装置。

【請求項8】

請求項１に記載の強化学習装置であって、
前記設定部、前記アクター、前記ラーナー、および、前記決定部を有する第１実行主体と、
前記設定部、前記アクター、前記ラーナー、および、前記決定部を有し、かつ、前記行動群が前記第１実行主体における前記行動群に対抗する行動を含む第２実行主体と、を有し、
前記第１実行主体および前記第２実行主体の各々の前記アクターは、前記更新後の状態を共有し、
前記第２実行主体の前記アクターは、前記価値関数に基づいて前記行動を選択して、前記分析対象の状態を更新し、更新後の状態が新規な状態であるほど低くなるように前記報酬を算出する、
ことを特徴とする強化学習装置。

【請求項9】

強化学習において行動選択を実行するアクターと、前記強化学習において選択行動の価値を決定するラーナーと、設定部と、決定部と、を有する強化学習装置が実行する強化学習方法であって、
前記設定部が、分析対象に適用する行動を行動群から選択する際に採るべき第１リスクに関する第１パラメータの選択範囲を前記選択範囲の一部の範囲に設定し、前記行動の選択指針となる価値を算出する価値関数の学習において採るべき第２リスクに関する第２パラメータを設定する設定処理と、
前記アクターが、前記価値関数と前記一部の範囲内の前記第１パラメータとに基づいて前記行動を選択して、前記分析対象の状態を更新し、更新後の状態が新規な状態であるほど高い報酬を算出する算出処理と、
前記ラーナーが、前記報酬と前記第２パラメータとに基づいて前記価値関数を更新する更新処理と、
前記決定部が、前記一部の範囲内の複数の前記第１パラメータの各々が用いられた際に前記アクターによって算出された前記報酬の履歴に基づいて、前記アクターへの出力対象となる前記第１パラメータを、前記分析対象を新規な状態に更新させた特定の行動を前記アクターが選択した際に用いられた特定の第１パラメータに決定し、前記アクターに出力する決定処理と、
を実行することを特徴とする強化学習方法。

【請求項10】

強化学習におけるアクターおよびラーナーを制御するプロセッサに、
分析対象に適用する行動を行動群から選択する際に採るべき第１リスクに関する第１パラメータの選択範囲を前記選択範囲の一部の範囲に設定し、前記行動の選択指針となる価値を算出する価値関数の学習において採るべき第２リスクに関する第２パラメータを設定する設定処理と、
前記アクターが、前記価値関数と前記一部の範囲内の前記第１パラメータとに基づいて前記行動を選択して、前記分析対象の状態を更新し、更新後の状態が新規な状態であるほど高い報酬を算出する算出処理と、
前記ラーナーが、前記報酬と前記第２パラメータとに基づいて前記価値関数を更新する更新処理と、
前記一部の範囲内の複数の前記第１パラメータの各々が用いられた際に前記アクターによって算出された前記報酬の履歴に基づいて、前記アクターへの出力対象となる前記第１パラメータを、前記分析対象を新規な状態に更新させた特定の行動を前記アクターが選択した際に用いられた特定の第１パラメータに決定し、前記アクターに出力する決定処理と、
を実行させることを特徴とする強化学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、強化学習を実行する強化学習装置、強化学習方法、および強化学習プログラムに関する。

【背景技術】

【0002】

近年発展の著しい強化学習において、特に顕著な進歩が認められるモデルの一つに、好奇心をもつ分散強化学習があげられる（非特許文献１）。分散強化学習は、ある学習環境において、互いに独立して試行を行う多数のアクターと、それらのアクターの経験を集約して、行動から得られる報酬を予測するラーナーと、によって学習が行われる。好奇心をもつ分散強化学習では、このアクターの行動において、好奇心をもたせる、つまり未知の状態へつながるものを選択した場合に大きな報酬を与えることで、より効率的に探索を行うことを可能とした学習モデルである。

【0003】

非特許文献１の分散強化学習を含む通常の強化学習モデルでは、得られる報酬の期待値が上がるように学習はデザインされる。しかし、強化学習を適用する分野によっては、平均的に報酬を上げるより、一度でよいからより高い報酬を得たい、または低い報酬を得る可能性をできるだけ低くしたい、つまりハイリスクハイリターンまたはローリスクローリターンな学習の需要が存在する。

【0004】

特許文献１は、リスクの定量化、ポリシーの検索、および自動化された安全なポリシーの展開手法を開示する。特許文献１のシステムは、展開したポリシーに反して受信したポリシーに関わる傾向があるリスクの定量化に少なくとも一部基づいて、受信したポリシーの展開を制御することを含む動作を実行するように構成された１台以上のコンピューティング装置を含み、制御は、展開したポリシーの展開を記述する展開データ上の強化学習および集中の不均一を使用して、受信したポリシーの性能測定の値を予測し、また予測した値に関して１つ以上の統計的保証を計算することによりリスクを定量化し、展開されたポリシーを、性能の対策の測定した値が展開されたポリシーの性能の対策に少なくとも一部基づく閾値に少なくとも対応している少なくとも信頼レベルを１つ以上の統計的保証が表示するという判断に対応する受信したポリシーに変換することを含むことを特徴とする。

【0005】

特許文献２は、コンピュータ装置を用いて、対象期間の各期の状態それぞれについて、リスクを考慮した最適アクションを決定するための方法を開示する。この方法は、ａ）今期において取り得る状態の１つを選択するステップと、ｂ）実行可能なアクション候補のうちの１つを選択するステップと、ｃ）選択されたアクション候補のうちの１つを実行したことによって得られる報酬および来期の状態における最適価値に依存する評価値の確率分布を算出するステップと、ｄ）評価値の確率分布を用いて、リスク指標を算出するステップと、ｅ）前記リスク指標を考慮した所定のプリファレンスに従って重み付けを行って、アクション候補が実行された場合の価値指標を算出するステップと、ｆ）未選択のアクション候補について、ステップｂ）～ｅ）を繰り返すステップと、ｇ）アクション候補のうちの１つを最適アクションとして決定するために、価値指標を比較するステップを含む。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許公開２０１６－０１４８２５１号

【特許文献2】特開２０１２-０６８７８０号公報

【非特許文献】

【0007】

【非特許文献1】Badia, Adria Puigdomenech, et al. "Agent57: Outperforming the atari human benchmark." International Conference on Machine Learning. PMLR, 2020

【非特許文献2】Mihatsch, O., Neuneier, R. "Risk-Sensitive Reinforcement Learning." Machine Learning 49, 267-290 (2002)

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１および特許文献２は、それぞれの手法で、ある行動を選択した場合のリスクを見積もり、リスクの値によって報酬に重みづけを行うことによってリスクを考慮して学習を行う技術である。特許文献１および特許文献２の手法はリスクが大きいときに学習を抑制するが、高いリスクを課してより高い報酬を狙う学習はできない。また、好奇心をもつ分散強化学習における好奇心を決定するアルゴリズムにおいてリスクを考慮して学習を行う手法については述べられていない。

【0009】

非特許文献２は、アクターの各行動をもってラーナーが報酬予測モデルを学習する際に、その行動が現行の予測モデルの予測する報酬よりも高い報酬を得た行動の場合はκ％学習率を下げ、低い報酬を得た行動の場合はκ％学習率を上げることを提案している。κが正の場合は低い報酬になってしまった場合を重視することによりリスクを避ける学習となり、κが負の場合は想定より高い報酬が得られた場合を重視するリスク追及型の学習に対応する。こちらでも好奇心をもつ分散強化学習における好奇心を決定するアルゴリズムにおいてリスクを考慮して学習を行う手法については述べられていない。

【0010】

本発明は、行動選択に際してアクターおよびラーナーが採るべきリスクを考慮した分散強化学習を可能にすることを目的とする。

【課題を解決するための手段】

【0011】

本願において開示される発明の一側面となる強化学習装置は、分析対象に適用する行動を行動群から選択する際に採るべき第１リスクに関する第１パラメータの選択範囲を前記選択範囲の一部の範囲に設定し、前記行動の選択指針となる価値を算出する価値関数の学習において採るべき第２リスクに関する第２パラメータを設定する設定部と、前記価値関数と前記一部の範囲内の前記第１パラメータとに基づいて前記行動を選択して、前記分析対象の状態を更新し、更新後の状態が新規な状態であるほど高い報酬を算出するアクターと、前記報酬と前記第２パラメータとに基づいて前記価値関数を更新するラーナーと、前記一部の範囲内の複数の前記第１パラメータの各々が用いられた際に前記アクターによって算出された前記報酬の履歴に基づいて、前記アクターへの出力対象となる前記第１パラメータを、前記分析対象を新規な状態に更新させた特定の行動を前記アクターが選択した際に用いられた特定の第１パラメータに決定し、前記アクターに出力する決定部と、を有することを特徴とする。

【発明の効果】

【0012】

本発明の代表的な実施の形態によれば、行動選択に際してアクターおよびラーナーが採るべきリスクを考慮した分散強化学習が可能になる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0013】

【図1】図１は、実施例１にかかるサイバー攻撃ＡＩの実行例を示す説明図である。

【図2】図２は、強化学習装置のハードウェア構成例を示すブロック図である。

【図3】図３は、分析対象ＤＢの一例を示す説明図である。

【図4】図４は、行動テーブルの一例を示す説明図である。

【図5】図５は、実施例１にかかる強化学習回路の回路構成例を示すブロック図である。

【図6】図６は、報酬履歴テーブルの一例を示す説明図である。

【図7】図７は、図５に示したラーナーの構成例を示すブロック図である。

【図8】図８は、２次元配列の一例を示す説明図である。

【図9】図９は、状態に関する状態テーブルの一例を示す説明図である。

【図10】図１０は、強化学習回路の動作例を示す説明図である。

【図11】図１１は、実施例１にかかる強化学習装置の出力デバイスに表示される入出力画面の一例を示す説明図である。

【図12】図１２は、実施例１にかかるデータ処理手順例を示すフローチャートである。

【図13】図１３は、実施例２にかかる分析対象ＤＢの一例を示す説明図である。

【図14】図１４は、実施例２にかかる強化学習回路の回路構成例を示すブロック図である。

【図15】図１５は、実施例２にかかる強化学習装置の出力デバイスに表示される入出力画面の一例を示す説明図である。

【図16】図１６は、実施例２にかかるデータ処理手順例を示すフローチャートである。

【発明を実施するための形態】

【実施例0014】

以下、実施例１にかかる強化学習装置、データ処理方法、およびデータ処理プログラムの一例について添付図面を参照して説明する。また、実施例１では、分析対象となるデータ群は、たとえば、サイバー攻撃の対象となりうる、ウェブサイトやそのユーザ、それらが使用するディレクトリサービスやリポジトリサービスなどから成るネットワークにおける各ノードの接続関係、脆弱性、およびステータスの集合である。なお、ネットワーク構成は一例である。

【0015】

＜分析の一例＞
図１は、実施例１にかかるサイバー攻撃ＡＩ１００の実行例を示す説明図である。サイバー攻撃ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）１００は、ネットワーク１０６内の楕円で示したノードを攻撃して占有するアタッカーであり、アクター１０１と、ラーナー１０２と、を有する。

【0016】

アクター１０１は、ある価値関数とこれまでに得られた価値の履歴に基づいて、サイバー攻撃ＡＩ１００がとるべき行動を行動テーブル１０５から選択するＡＩである。図１では、アクター１０１は１つであるが、２以上存在してもよい。

【0017】

ラーナー１０２は、これまでにアクター１０１が行った行動と、その結果得られたネットワーク１０６の状態と、その状態から得られた報酬ｒと、に基づいて、アクター１０１が採りうる行動（ノードへの攻撃方法）の価値を決定する価値関数を更新するＡＩである。

【0018】

ユーザＵは、サイバー攻撃ＡＩ１００を利用する人であり、たとえば、医師や学者、研究者でもよく、サイバー攻撃ＡＩ１００による分析サービスを提供する事業者でもよい。

【0019】

（１）サイバー攻撃ＡＩ１００は、分析対象ＤＢ１０４内の情報を読み込む。分析対象ＤＢ１０４は、分析対象となるネットワーク１０６における各ノードの性質（ステータス、脆弱性、接続状態）を記憶する。

【0020】

（２）ユーザＵは、アクター１０１およびラーナー１０２の各々のリスクを決定するリスクパラメータ１３０を選択する。サイバー攻撃ＡＩ１００は、ユーザＵの操作により、リスクパラメータテーブル１０３内のリスクパラメータ１３０を読み込んで設定する。リスクとは、アクター１０１が選択した行動の不確実さである。

【0021】

リスクパラメータ１３０は、アクター１０１に関するアクターリスクパラメータ１３１とラーナー１０２に関するラーナーリスクパラメータ１３２の組み合わせである。アクターリスクパラメータ１３１は、アクター１０１でとるべきリスクの大小を調節するためのパラメータであり、選択範囲［０．０，１．０］の中の一部の範囲となる値域［ａ，ｂ］（０≦ａ＜ｂ≦１）によって設定される。

【0022】

アクターリスクパラメータ１３１は、複数の値域、たとえば、［ａ，ｂ］，［ｃ，ｄ］（０≦ａ＜ｂ＜ｃ＜ｄ≦１）によって設定されてもよい。図１の例では、アクターリスクパラメータ１３１は、［０．０，０．９］となっており、０．０から０．９までの間の離散値となる。ラーナーリスクパラメータ１３２は、ある値κ（－１≦κ≦１）によって設定される。

【0023】

（３）アクター１０１は、行動テーブル１０５から、ノードへの攻撃方法を行動として選択する。アクター１０１は、たとえば、Ａｇｅｎｔ５７型の好奇心を導入した価値関数を最大化する行動を選択する。具体的には、たとえば、アクター１０１は、（５）好奇心の大きさを決定するために、離散化された各好奇心の値を選択した場合の価値の期待値を計算し、（３）当該期待値が最も大きな好奇心の値を採用する。なお、アクターリスクパラメータ１３１は、この期待値の重みづけを行うパラメータである。

【0024】

（４）アクター１０１は、選択行動と分析対象ＤＢ１０４の保持する脆弱性とに基づいて、ネットワーク１０６の状態を更新し、報酬ｒを計算する。報酬ｒは、たとえば、サイバー攻撃ＡＩ１００が占有したノード数である。

【0025】

ネットワーク１０６は、たとえば、分析対象ＤＢ１０４の保持する各ノードのステータスとノードの接続関係とにより構成される。楕円図形がノード、矢印がノード間の接続関係を示すエッジである。「ＧｉｔＨｕｂＰｒｏｊｅｃｔ」は、リポジトリサービスの一例である。「Ｗｅｂｓｉｔｅ．Ｄｉｒｅｃｔｏｒｙ」は、ディレクトリサービスの一例である。「Ｗｅｂｓｉｔｅ１」は、「ＧｉｔＨｕｂＰｒｏｊｅｃｔ」および「Ｗｅｂｓｉｔｅ．Ｄｉｒｅｃｔｏｒｙ」を使用するウェブサイトである。「ｃｌｉｅｎｔ」は、「Ｗｅｂｓｉｔｅ１」を利用するコンピュータである。「ｕｓｅｒ」は、ネットワーク１０６内のコンピュータである。「ｕｓｅｒ」は、「Ｗｅｂｓｉｔｅ１」とエッジで接続されていないため、「Ｗｅｂｓｉｔｅ１」を利用できない。

【0026】

黒色のノード（「Ｗｅｂｓｉｔｅ１」、「ｃｌｉｅｎｔ」）は、サイバー攻撃ＡＩ１００に占有されたノードである（ｏｗｎｅｄ）。網掛けのノード（「ＧｉｔＨｕｂＰｒｏｊｅｃｔ」、「Ｗｅｂｓｉｔｅ．Ｄｉｒｅｃｔｏｒｙ」）は、サイバー攻撃ＡＩ１００に発見されたが占有されていないノードである（ｄｉｓｃｏｖｅｒｅｄ）。白色のノード（「ｕｓｅｒ」）は、サイバー攻撃ＡＩ１００に発見されていないノードである（ｕｎｄｉｓｃｏｖｅｒｅｄ）。

【0027】

（５）ラーナー１０２は、更新されたネットワーク１０６の状態と報酬ｒとに基づいて、たとえば、ニューラルネットワークを用いた演算で価値関数を更新する。ラーナーリスクパラメータ１３２は、この価値関数の更新値の重みづけを行うパラメータである。このあと、サイバー攻撃ＡＩ１００は、（３）～（５）を繰り返し実行する。

【0028】

（６）サイバー攻撃ＡＩ１００は、（３）～（５）を繰り返し実行することによって得られたネットワーク１０６の状態と得られた報酬ｒとに基づいて、ユーザＵの操作により、リスクパラメータテーブルを更新してもよい。サイバー攻撃ＡＩ１００は、（２）を実行したあと、（３）～（５）を繰り返し実行する。

【0029】

このように、サイバー攻撃ＡＩ１００がリスクパラメータに基づいて攻撃方法を行動テーブル１０５から選択し、ネットワーク１０６の状態を更新する。

【0030】

＜強化学習装置２００のハードウェア構成例＞
図２は、強化学習装置２００のハードウェア構成例を示すブロック図である。強化学習装置２００は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インターフェース（通信ＩＦ）２０５と、を有する。プロセッサ２０１、記憶デバイス２０２、入力デバイス２０３、出力デバイス２０４、および通信ＩＦ２０５は、バス２０６により接続される。プロセッサ２０１は、強化学習装置２００を制御する。記憶デバイス２０２は、プロセッサ２０１の作業エリアとなる。また、記憶デバイス２０２は、各種プログラムやデータ、分析対象ＤＢを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス２０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス２０３は、データを入力する。入力デバイス２０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス２０４は、データを出力する。出力デバイス２０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ２０５は、ネットワークと接続し、データを送受信する。

【0031】

強化学習装置２００は、図１に示したサイバー攻撃ＡＩ１００を実装する。サイバー攻撃ＡＩ１００は、記憶デバイス２０２に記憶されたプログラムをプロセッサに実行させることにより実現される。また、強化学習装置２００において、図１に示した分析対象ＤＢ１０４および行動テーブル１０５は、記憶デバイス２０２に記憶される。

【0032】

また、強化学習装置２００は、強化学習回路２０７を有してもよい。強化学習回路２０７は、価値関数の学習を実行する回路構成である。強化学習回路２０７は、行動テーブル１０５を参照して、図１に示した（１）～（６）の処理を実行する。行動テーブル１０５は、たとえば、強化学習回路２０７内の図示しない記憶領域に記憶されてもよい。なお、強化学習回路２０７は、回路構成により実現されるが、記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現されてもよい。

【0033】

＜分析対象ＤＢ１０４＞
図３は、分析対象ＤＢ１０４の一例を示す説明図である。分析対象ＤＢ１０４は、フィールドとして、ノードＩＤ３０１と、ステータス３０２と、脆弱性３０３と、接続関係３０４と、を有する。同一行における各フィールドの値の組み合わせが、１つのノードの分析対象データとなる。

【0034】

ノード３０１は、分析対象のネットワーク１０６の構成要素であり、たとえば、「ｃｌｉｅｎｔ」、「Ｗｅｂｓｉｔｅ」、「Ｗｅｂｓｉｔｅ．Ｄｉｒｅｃｔｏｒｙ」、「ｕｓｅｒ」、「ＧｉｔＨｕｂＰｒｏｊｅｃｔ」で表現される。

【0035】

ステータス３０２は、サイバー攻撃ＡＩ１００の攻撃により変更可能性があるノード３０１の状態を示す。たとえば、ステータス３０２は、ノード３０１がサイバー攻撃ＡＩ１００によって発見されていない「ｕｎｄｉｓｃｏｖｅｒｄ」、発見されている「ｄｉｓｃｏｖｅｒｅｄ」、または所有されている「ｏｗｎｅｄ」に分類される。

【0036】

脆弱性３０３は、特定の攻撃によりそのノードの安全性を脅かす恐れのある欠陥を示す。たとえば、ノードＩＤ３０１が「ｃｌｉｅｎｔ」の脆弱性３０３に「Ｓｅａｒｃｈ ｗｅｂ ｈｉｓｔｏｒｙ ｆｏｒ ｌｉｓｔ ｏｆ ａｃｃｅｓｓｅｄ ｗｅｂｓｉｔｅｓ」があれば、行動「ＳｃａｎＷｅｂＨｉｓｔｏｒｙ」によって「Ｗｅｂｓｉｔｅ１」への接続が得られることを意味する。

【0037】

接続関係３０４は、そのノードの接続先ノードを示す。ノードＩＤ「ｃｌｉｅｎｔ」の接続関係３０４に「Ｗｅｂｓｉｔｅ」があれば、「ｃｌｉｅｎｔ」（矢印の始端）から「Ｗｅｂｓｉｔｅノード」（矢印の終端）へと接続が可能なことを意味する。

【0038】

＜行動テーブル１０５＞
図４は、行動テーブル１０５の一例を示す説明図である。行動テーブル１０５は、分析対象のネットワーク１０６のノードに対する攻撃方法を行動として規定したテーブルである。行動テーブル１０５の内容は、あらかじめ設定される。

【0039】

行動テーブル１０５は、フィールドとして、行動ＩＤ４０１と、行動４０２と、を有する。行動ＩＤ４０１は、行動４０２を一意に特定する識別情報である。

【0040】

行動４０２は、アクター１０１によって選択可能な攻撃方法である。行動４０２は、ローカル攻撃行動と、リモート攻撃行動と、接続行動と、に分類される。ローカル攻撃行動は、ローカルな攻撃の対象となる一つのノード（ｎｏｄｅ１）を変数とする。具体的には、たとえば、ローカル攻撃行動は、ｎｏｄｅ１を起点として他のノードを発見したり、所有したりする行動である。たとえば、行動ＩＤ４０１が「ａ０」および「ａ１」である行動４０２が、ローカル攻撃行動に該当する。

【0041】

リモート攻撃行動は、リモート攻撃の起点となる二つのノード（ｎｏｄｅ１，ｎｏｄｅ２）を変数とする。具体的には、たとえば、リモート攻撃行動は、ｎｏｄｅ１およびｎｏｄｅ２を起点として他のノードを発見したり、所有したりする行動である。たとえば、行動ＩＤ４０１が「ａ２０」および「ａ２１」である行動４０２が、リモート攻撃行動に該当する。

【0042】

接続行動は、接続の起点と対象となる二つのノード（ｎｏｄｅ１，ｎｏｄｅ２）を変数とする。具体的には、たとえば、接続行動は、二つのノード（ｎｏｄｅ１，ｎｏｄｅ２）をエッジで接続したり、接続を解除したりする。たとえば、行動ＩＤ４０１が「ａ５０」である行動４０２が接続行動に該当する。

【0043】

なお、ｘｘｘＩＤｙｙの値ｚ（ｘｘｘは名称、ｙｙは符号、ｚは英数字列）を、ｘｘｘＩＤｚと表記する。たとえば、行動ＩＤ４０１が「ａ５０」の行動４０２は、行動ａ５０と表記される。

【0044】

＜強化学習回路の構成例＞
図５は、実施例１にかかる強化学習回路２０７の回路構成例を示すブロック図である。強化学習回路２０７は、データメモリ５００、アクターユニット５１０、選択ユニット５２０、ラーナー１０２、リスクパラメータテーブル１０３、および行動テーブル１０５を有する。

【0045】

データメモリ５００には、記憶デバイス２０２から分析対象ＤＢ１０４の全データ、すなわち、ノードＩＤ３０１、ステータス３０２、脆弱性３０３、および接続関係３０４が記憶される。

【0046】

また、データメモリ５００には、アクターユニット５１０がこれまでに選択したアクターリスクパラメータ１３１の離散値の履歴と、当該選択された離散値に基づいて、アクターが選択した行動４０２の結果得られた報酬ｒの履歴と、が記憶される。

【0047】

アクターユニット５１０は、１以上のアクター１０１である。アクター１０１の数は、ユーザＵの操作により設定可能である。

【0048】

アクターリスクパラメータ１３１は、非特許文献１において、アームと呼ばれる好奇心パラメータに対応する。好奇心とは、一般的には人間が抱く未知の事柄についての興味であるが、本例では、アクター１０１が特定したネットワーク１０６の未知の状態について、行動４０２および報酬ｒに関連する要素である。未知の状態とは、アクター１０１が行動を開始してからネットワーク１０６が初期の状態からこれまでに更新された状態群には存在しない新規な状態である。

【0049】

具体的には、たとえば、ネットワーク１０６の状態がアクター１０１にとって未知である場合に、当該未知の状態につながる行動４０２をアクター１０１が選択したときに、ネットワーク１０６の状態がアクター１０１にとって既知である場合と比べて、得られる報酬ｒが大きくなる。本例の場合、ステータス３０２が「ｕｎｄｉｓｃｏｖｅｒｄ」から「ｄｉｓｃｏｖｅｒｅｄ」になるほど、「ｄｉｓｃｏｖｅｒｅｄ」から「ｏｗｎｅｄ」になるほど、報酬ｒが高くなる。そのような報酬ｒを得るための行動４０２の選択が好奇心であり、当該好奇心を数値化した情報が好奇心パラメータである。本例では、アクターリスクパラメータ１３１の離散値が、好奇心パラメータとなる。

【0050】

なお、以降では、便宜的に、アクターリスクパラメータ１３１の離散値（好奇心パラメータ）を「アーム」と称し、アクターリスクパラメータ１３１の離散値（好奇心パラメータ）を一意に特定する識別情報を、「アームＩＤ」と称する場合がある。

【0051】

選択ユニット５２０は、アームＩＤを選択して、ラーナー１０２が使用するアクターリスクパラメータ１３１の離散値を決定する。アクターリスクパラメータ１３１は、ラーナー１０２が提示する価値関数Ｑ（ｔ）において、報酬ｒ（ｔ）に基づいた外部価値関数ｚ_ｅ（ｔ）に対する、より探索的な行動４０２に報酬ｒ（ｔ）を与える内部価値関数ｚ_ｉ（ｔ）の重みに対応する。すなわち、価値関数Ｑ（ｔ）は、下記式（１）によって表現される。なお、ｔはタイムステップを示す。

【0052】

Ｑ（ｔ）＝ｚ_ｅ（ｔ）＋βｚ_ｉ（ｔ）・・・（１）

【0053】

上記式（１）のβは、アクターリスクパラメータ１３１の離散値である。選択ユニット５２０において選択可能なアームＩＤは、ユーザＵの操作により、複数個設定される。本例では、アームＩＤの個数を３２個とする。選択ユニット５２０は、アクターリスクパラメータ１３１から、設定されたアームＩＤの個数分のアクターリスクパラメータ１３１の離散値を、好奇心パラメータとして割り振る。

【0054】

具体的には、たとえば、選択ユニット５２０は、抽出部５２１と、決定部５１３と、を有する。抽出部５２１は、データメモリ５００に保存された、アームＩＤ別の報酬履歴に基づいて、一定数（たとえば、１００個）の報酬ｒをサンプリングする。このサンプリングは、アクター１０１ごとに実行される。

【0055】

［報酬履歴テーブル］
図６は、報酬履歴テーブルの一例を示す説明図である。報酬履歴テーブル６００は、データメモリ５００に記憶される。報酬履歴テーブル６００は、アクター１０１ごとに存在する。報酬履歴テーブル６００は、フィールドとして、エピソード回数６０１と、報酬履歴６０２と、を有する。

【0056】

エピソード回数６０１は、エピソードが実行された回数である。強化学習では、タイムステップｔ＝ｍ回（ｍは１以上の整数）の学習（図１０を参照）で１回のエピソードが実行されたことになる。図６の例では、エピソードの上限が１００００回であることを示している。エピソード回数６０１の値が小さいほど、新しいエピソードであることを示す。

【0057】

エピソード回数６０１の値が「１」の行が、各々のアームＩＤにとって最新のエピソードとなるが、同一行であっても異なるアームＩＤ間では同一エピソードとは限らない。

【0058】

なお、エピソードは、１００００回を超えて実行されてもよい。この場合、報酬履歴テーブル６００には、アームＩＤごとに最大で１００００回分の最新の報酬履歴６０２が格納される。

【0059】

報酬履歴６０２は、アームＩＤ別の報酬ｒの履歴である。図６では、例として、３２個のアームＩＤが存在するため、３２個の異なるアクターリスクパラメータ１３１の離散値がアクターリスクパラメータ１３１から選択される。

【0060】

なお、アームＩＤの値である「１」～「３２」を、アームＩＤ１～アームＩＤ３２と表記する。アームＩＤ１～アームＩＤ３２を区別しない場合は、単に、アームＩＤと表記する。

【0061】

アームＩＤ１～アームＩＤ３２の各列の値は、そのアームＩＤで特定されるアクターリスクパラメータ１３１の離散値を用いて選択された行動４０２をサイバー攻撃ＡＩ１００が採った場合に得られる報酬ｒの履歴である。具体的には、当該エピソード内の最後のタイムステップｔで出力される報酬ｒ（ｔ）である。

【0062】

たとえば、アームＩＤ１の列では、報酬ｒが１００００個格納されているため、アームＩＤ１で特定されるアクターリスクパラメータ１３１の離散値が、１００００回の行動４０２の選択に用いられ、その行動４０２の選択により、１００００回の報酬ｒが算出されたことを示している。たとえば、エピソード回数６０１が「１」のときの報酬ｒ＝０．２１が最新エピソードでの報酬ｒであることを示す。

【0063】

また、アームＩＤ２の列では、報酬ｒが３個格納されているため、アームＩＤ２で特定されるアクターリスクパラメータ１３１の離散値が、３回の行動４０２の選択に用いられ、その行動４０２の選択により、３回の報酬ｒが算出されたことを示している。たとえば、エピソード回数６０１が「１」のときの報酬ｒ＝０．０１が最新エピソードでの報酬ｒであることを示す。

【0064】

ただし、アームＩＤ１におけるエピソード回数６０１が「１」のときの報酬ｒ＝０．２１と、アームＩＤ２におけるエピソード回数６０１が「１」のときの報酬ｒ＝０．０１とが、同一エピソードでの報酬ｒとは限らない。

【0065】

抽出部５２１は、報酬履歴６０２をアームＩＤ別に報酬ｒの確率分布ｄ１～ｄ１３２を生成し、生成した確率分布ｄ１～ｄ１３２に基づいて、一定数（たとえば、最大で１００個）の報酬ｒを報酬履歴テーブル６００からアームＩＤごとにサンプリングする。

【0066】

確率分布ｄ１～ｄ１３２（これらを区別しない場合は単に確率分布ｄと称す）の横軸は、そのアームＩＤの列が示す報酬履歴６０２の報酬ｒを示す。縦軸は、報酬履歴６０２で特定される報酬ｒの出現確率Ｐを示す。

【0067】

たとえば、抽出部５２１は、各アームの報酬履歴６０２が正規分布に従うと仮定して、報酬履歴６０２内の報酬ｒの平均および分散を推定する。抽出部５２１は、推定された報酬ｒの平均および分散に基づいて確率分布ｄを生成する。抽出部５２１は、確率分布ｄに従ってランダムに一定数の報酬ｒｆ１～ｒｆ１３２（これらを区別しない場合は単に報酬ｒｆと称す）をサンプリングする。

【0068】

図５に戻り、決定部５２２は、抽出部５２１によってサンプリングされた一定数の報酬ｒｆ１～ｒｆ１３２に基づいて、報酬ｒの期待値が最大となるアームＩＤを選択し、アクターユニット５１０に出力する。アームＩＤの選択は、アクター１０１ごとに実行される。

【0069】

具体的には、たとえば、決定部５２２は、一定数の報酬ｒｆ１～ｒｆ１３２の各々について（すなわち、アームＩＤごとに）、リスクパラメータテーブル１０３のアクターリスクパラメータ１３１の値域［ａ，ｂ］で定義されるパーセンタイルにしたがって、上位ａパーセントに位置する報酬から上位ｂパーセントに位置する報酬までの報酬群を抽出する。決定部５２２は、アームＩＤごとに抽出された報酬群を用いて、報酬ｒの期待値をアームＩＤごとに算出する。報酬ｒの期待値は、抽出した報酬群の平均値でもよく中央値でもよい。

【0070】

ａは、アクターリスクパラメータ１３１の下限値であり、０≦ａ＜１となる。ｂは、アクターリスクパラメータ１３１の上限値であり、０＜ｂ≦１となる。

【0071】

決定部５２２は、アームＩＤの集合の中から、アームＩＤごとに算出された報酬ｒの期待値の中から特定の期待値（たとえば、最大値）となるアームＩＤを特定する。たとえば、アクターリスクパラメータ１３１の値域が［０．０，０．９］に設定されていたとする。

【0072】

この場合、決定部５２２は、サンプリングされた一定数の報酬ｒｆについて、上位０パーセントの報酬から上位９０パーセントに位置する大きさの報酬までの報酬群の平均値により報酬ｒの期待値をアームＩＤごとに算出する。決定部５２２は、報酬ｒの期待値が最大となるアームＩＤによって特定されるアームを、アクターユニット５１０が使用するアクターリスクパラメータ１３１の離散値に決定する。

【0073】

このように、アーム（好奇心）を決定することにより、決定部５２２は、たとえば、アクターリスクパラメータ１３１の値域が［０．０，０．９］の場合、これまでの報酬履歴６０２から期待されうる報酬ｒの上位１０パーセンタイル分を無視して行動４０２を決定することができる。つまり、偶然得られうる上位１０パーセンタイルの報酬ｒを無視することにより、よりリスクの低い行動選択を、アクターユニット５１０に実行させやすくすることができる。

【0074】

また、逆に、アクターリスクパラメータ１３１の値域が［０．１，１．０］の場合、これまでの報酬履歴６０２から期待されうる報酬ｒの下位１０パーセンタイルを無視することにより、リスクが高いがより高い報酬ｒが得られるかもしれない行動４０２をアクターユニット５１０に実行させやすくすることができる。

【0075】

なお、サンプリングされた報酬から期待値を算出する際に考慮する報酬サンプルを決定するパーセンタイルを、アクターリスクパラメータ１３１とする替わりに、報酬履歴６０２そのものから期待値を算出する際に考慮する報酬サンプルを決定するパーセンタイルを、アクターリスクパラメータ１３１としてもよい。また、上記以外のなんらかの報酬列から期待値を算出する際に考慮する報酬サンプルを決定するパーセンタイルを、アクターリスクパラメータ１３１としてもよい。

【0076】

アクターユニット５１０およびラーナー１０２は、図１に示したサイバー攻撃ＡＩ１００の一部を構成する。アクターユニット５１０は、選択ユニット５２０によって選択されたアームＩＤの好奇心パラメータ（アクターリスクパラメータ１３１のの離散値）と現在のネットワーク１０６の状態を用いて価値関数Ｑの値（行動４０２の価値）を計算し、価値関数Ｑの値を最大化する行動４０２を選択する。

【0077】

なお、アクターユニット５１０内において、アクター１０１は複数存在してもよい。この場合、選択ユニット５２０は複数のアクター１０１のそれぞれに対して同数配置されてもよいし、複数のアクター１０１に対して単一の選択ユニット５２０が配置されてもよい。アクター１０１が複数存在する場合、アクター１０１ごとにネットワーク１０６の状態ｓ（ｔ）が更新される。これにより、同一処理時間で、より多くの行動４０２を収集することができる。また、アクター１０１ごとに、後述するランダムユニット７０３が生成する乱数値ｅのしきい値ｅｔｈを異ならせることで、アクター１０１に個性を与えることができる。

【0078】

ラーナー１０２は、外部価値関数ｚ_ｅ（ｔ）および内部価値関数ｚ_ｉ（ｔ）の二つの価値関数を学習する、好奇心をもつ強化学習における価値関数モデルである。ラーナー１０２は、現在のタイムステップｔでのネットワーク１０６の状態ｓ（ｔ）において、アクターユニット５１０が選択した行動ａ（ｔ）と、行動ａ（ｔ）によって更新されたネットワーク１０６の状態ｓ（ｔ＋１）と、状態ｓ（ｔ＋１）から得られる報酬ｒ（ｔ＋１）と、を取得する。

【0079】

そして、ラーナー１０２は、アクターユニット５１０および選択ユニット５２０を制御する。具体的には、たとえば、ラーナー１０２は、アクターユニット５１０からネットワーク１０６の状態ｓ（ｔ）が入力されると、アクターユニット５１０の選択する行動４０２を決定づける価値関数Ｑを更新する。

【0080】

［ラーナー１０２］
図７は、図５に示したラーナー１０２の構成例を示すブロック図である。ラーナー１０２は、ネットワークユニット７００と、リプレイメモリ７２０と、学習パラメータ更新ユニット７３０と、を有する。ネットワークユニット７００は、Ｑ＊ネットワーク７０１と、Ｑネットワーク７０２と、ランダムユニット７０３とを有する。

【0081】

Ｑ＊ネットワーク７０１およびＱネットワーク７０２は、価値を最大化するような行動ａ（ｔ）を学習する同一構成の行動価値関数である。この場合の価値とは、行動ａ（ｔ）で規定される行動４０２をとることにより更新されたネットワーク１０６の状態ｓ（ｔ＋１）から得られる報酬ｒ（ｔ＋１）の大きさをあらわす指標値である。

【0082】

具体的には、たとえば、Ｑ＊ネットワーク７０１は、ネットワーク１０６の状態ｓ（ｔ）を入力とし、学習パラメータθ＊に基づいて各行動４０２の外部価値関数ｚ_ｅ（ｔ）の値と内部価値関数ｚ_ｉ（ｔ）の値とを含む価値関数ｚ（ｔ）の値を示す２次元配列を出力とする深層強化学習ＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）である。

【0083】

［２次元配列］
図８は、２次元配列の一例を示す説明図である。２次元配列８００は、行動ＩＤ４０１で特定される行動４０２で組み合わせ可能なノード構成８０１ごとに算出される外部価値関数ｚ_ｅ（ｔ）の値を示す１次元配列８０２および内部価値関数ｚ_ｉ（ｔ）の値を示す１次元配列８０３を有する。ノード構成８０１は、行動４０２の変数であるネットワーク１０６内のノードの種類数とその組み合わせで規定される。

【0084】

たとえば、行動ａ０は１変数であるため、ノード構成８０１は、５種類のノード、すなわち、５通りとなる。一方、行動ａ０は２変数であるため、ノード構成８０１は、１０通り（_５Ｃ_２）となる。

【0085】

図７に戻り、Ｑネットワーク７０２は、Ｑ＊ネットワーク７０１と同一構成の深層強化学習ＤＱＮである。Ｑネットワーク７０２は、学習パラメータをθとし、現在のネットワーク１０６の状態ｓ（ｔ）における各行動４０２の価値を、ノード構成８０１ごとに、上記式（１）により求める。

【0086】

ランダムユニット７０３は、０以上１以下の乱数値ｅを出力する。乱数値ｅは、しきい値ｅｔｈと比較される。たとえば、乱数値ｅがしきい値ｅｔｈ以上であれば、アクター１０１は行動４０２をランダムに選択し、乱数値ｅがしきい値ｅｔｈ未満であれば、アクター１０１はＱ＊ネットワーク７０１に基づいて選択する。しきい値ｅｔｈは、ユーザＵによって任意の値に設定可能である。ランダムな行動選択を排除する場合は、しきい値ｅｔｈ＞１に設定すればよい。

【0087】

学習パラメータ更新ユニット７３０は、勾配算出ユニット６３１を有する。学習パラメータ更新ユニット７３０は、勾配算出ユニット６３１を用いて、ある行動ａ（ｔ）によって得られたネットワーク１０６の状態ｓ（ｔ＋１）から算出される報酬ｒ（ｔ）とリスクパラメータテーブル１０３のラーナーリスクパラメータ１３２との両方を考慮した勾配ｇを算出する。学習パラメータ更新ユニット７３０は、勾配ｇを学習パラメータθに加算することにより、学習パラメータθを更新する。

【0088】

リプレイメモリ７２０は、データパックＤ（ｔ）を格納する。データパックＤ（ｔ）は、タイムステップｔにおける、ネットワーク１０６の状態ｓ（ｔ）、状態ｓ（ｔ＋１）、行動ａ（ｔ）、報酬ｒ（ｔ）を含む。

【0089】

図７に戻り、Ｑ＊ネットワーク７０１の構成例を具体的に説明する。Ｑ＊ネットワーク７０１には、状態ｓ（ｔ）が入力される。ここで、状態ｓ（ｔ）を具体的に例示する。

【0090】

［状態テーブル］
図９は、状態ｓ（ｔ）に関する状態テーブルの一例を示す説明図である。状態テーブル９００は、接続元ノード９０１と、ステータス９０２と、接続情報９０３と、を有する。

【0091】

接続元ノード９０１は、接続先ノードと接続されるノード３０１、すなわち、ネットワーク１０６において矢印で示されるエッジの始端に接続されるノード３０１である。ステータス９０２は、接続元ノード９０１のステータス３０２である。

【0092】

ステータス９０２は、アクター１０１が採る行動４０２が実行されることで変化する。たとえば、行動４０２により、サイバー攻撃ＡＩ１００に発見されていないノード３０１が発見されると、ステータス９０２は、「ｕｎｄｉｓｃｏｖｅｒｄ」から「ｄｉｓｃｏｖｅｒｅｄ」に更新される。行動４０２により、サイバー攻撃ＡＩ１００に発見されたノード３０１が所有されると、ステータス９０２は、「ｄｉｓｃｏｖｅｒｅｄ」から「ｏｗｎｅｄ」に更新される。

【0093】

接続情報９０３は、接続先ノードとの接続有無を示す。具体的には、たとえば、接続情報９０３は、ネットワーク１０６において矢印で示されるエッジの終端に接続されるノード３０１を接続先ノードとし、接続元ノード９０１との接続の有無を「１」または「０」のフラグで表現する。「１」は接続、「０」は非接続を示す。

【0094】

図７に戻り、Ｑ＊ネットワーク７０１は、外部価値関数ｚ_ｅ（ｔ）に関する１次元配列８０２を出力するネットワーク７０１（１）と内部価値関数ｚ_ｉ（ｔ）に関する１次元配列８０３を出力するネットワーク７０１（２）の２つのネットワークによって構成される。

【0095】

たとえば、ネットワーク７０１（１）の第１層および第２層は、全結合ネットワーク（ニューロン数：２５６、アクチベーション関数：ＲｅＬＵ）である。ネットワーク７０１（１）の出力層は、全結合ネットワークであり、行動テーブル１０５の行動ａ０～ａ５０をインデックスとする１次元配列８０２を出力信号として出力する。

【0096】

また、ネットワーク７０１（２）の第１層は、ネットワーク１０６の状態ｓ（ｔ）において行動テーブル１０５の行動ａ０～ａ５０のそれぞれを行ったときに得られる５１種類の状態を算出する層である。ネットワーク７０１（２）の第２層および第３層は、上記５１種類の状態ｓ（ｔ）の各々を入力とし、５１種類のベクトルを出力する全結合ネットワーク（ニューロン数：２５６、アクチベーション関数：ＲｅＬＵ）である。

【0097】

ネットワーク７０１（２）の出力層は、上記５１種類のベクトルの各々に対し、リプレイメモリ６２０に格納された過去の状態ｓ群を第２層および第３層の全結合ネットワークに入力して得られたベクトル群とのユークリディアン距離の最小値を計算し、行動ａ０～ａ５０を当該５１種類の最小値のインデックスとした１次元配列８０３を出力する。

【0098】

［強化学習回路２０７の動作例］
図１０は、強化学習回路２０７の動作例を示す説明図である。図１０では、理解の用意のため、あるエピソードでのタイムステップｔ＝０からｔ＝２に至るまでの動作例を示す。

【0099】

（ステップＳ１０００：ｔ＝０）
選択ユニット５２０内の決定部５２２は、アクターリスクパラメータ１３１の値域［０．０，０．９］から抽出された３２個の離散値ｄｖ１～ｄｖ３２（これらを区別しない場合は単に離散値ｄｖ）からいずれかの離散値ｄｖを選択する。図１０では、離散値ｄｖ１が選択されたものとする。なお、離散値ｄｖ１～ｄｖ３２はそれぞれ、アームＩＤ１～アームＩＤ３２に対応する。

【0100】

（ステップＳ１００１：ｔ＝０）
ステップＳ１００１において、乱数値ｅがしきい値ｅｔｈ未満であったとする。アクター１０１は、離散値ｄｖ１に対応するアームＩＤ１における２次元配列８００を算出する。アクター１０１は、ノード構成８０１ごとに、ノード構成８０１における１次元配列８０２のｚ_ｅ（ｔ＝０）の値を上記式（１）のｚ_ｅ（ｔ）に代入し、１次元配列８０２のｚ_ｉ（ｔ＝０）の値を上記式（１）のｚ_ｉ（ｔ）に代入する。たとえば、行動ａ０のノード構成８０１「ｃｌｉｅｎｔ」の場合、アクター１０１は、「１．５３」をｚ_ｅ（ｔ）に代入し、「０．６０」をｚ_ｉ（ｔ）に代入する。

【0101】

離散値ｄｖ１＝０．１とすると、この場合の価値関数Ｑ（ｔ＝０）は、
１．５３＋０．１×０．６０＝１．５９
となる。アクター１０１は、このような計算を、アームＩＤ１における行動ａ０～ａ５０の全ノード構成８０１について実行する。

【0102】

図１０のＱ（ｘ，ｙ－ｚ）は、価値関数の値を示す。ｘは、ノードＩＤを示す。ｙは、行動ＩＤ４０１における数字の番号（ａ０であればｙ＝０）である。ｚは、行動ＩＤ４０１でのノード構成８０１を一意に示す番号である。たとえば、Ｑ（１，０－２）は、ノードＩＤ１における行動ａ０内の２番目のノード構成８０１である「Ｗｅｂｓｉｔｅ１」における価値を示す。

【0103】

（Ｓ１００２：ｔ＝０）
アクター１０１は、計算した価値関数の値Ｑ（１，０－１）～Ｑ（１，５０－１０）から最大価値となる行動４０２を選択する。本例の場合、Ｑ（１，０－２）に対応する行動ａ０が選択される。

【0104】

（ステップＳ１００３：ｔ＝０）
アクター１０１は、選択された行動ａ０（攻撃方法）が実行されることで、ネットワーク１０６の状態ｓ（ｔ＝０）を状態ｓ（ｔ＝１）に更新する。

【0105】

（ステップＳ１００４：ｔ＝０）
アクター１０１は、状態ｓ（ｔ＝１）に基づいて報酬ｒ（ｔ＝０）を算出する。

【0106】

（ステップＳ１００５：ｔ＝０）
ラーナー１０２は、価値関数Ｑ（ｔ＝０）を価値関数Ｑ（ｔ＝１）に更新する。

【0107】

（ステップＳ１００６：ｔ＝０）
選択ユニット５２０の抽出部５２１は、図６に示したように、報酬履歴テーブル６００から、確率分布ｄに従ってランダムに一定数の報酬ｒｆ１～ｒｆ１３２をサンプリングする。

【0108】

（ステップＳ１００７：ｔ＝０）
選択ユニット５２０の決定部５２２は、抽出部５２１によってサンプリングされた一定数の報酬ｒｆ１～ｒｆ１３２の各々について報酬ｒの期待値を算出する。決定部５２２は、一定数の報酬ｒｆ１～ｒｆ１３２の各々について算出された報酬ｒの期待値のうち、最大期待値の算出元となる一定数の報酬ｒｆのサンプリング元となるアームＩＤを特定する。

【0109】

（ステップＳ１００８：ｔ＝０）
選択ユニット５２０の決定部５２２は、ステップＳ１００７で特定されたアームＩＤに対応するアクターリスクパラメータ１３１内の離散値ｄｖを特定する。ここで、特定された離散値ｄｖは、エピソードが終了するまで変化しない。本例の場合、離散値ｄｖ３２が特定されたものとする。

【0110】

（ステップＳ１００９：ｔ＝０）
選択ユニット５２０の決定部５２２は、ステップＳ１００８で特定された離散値ｄｖ３２をアクター１０１に出力する。

【0111】

（ステップＳ１０１１：ｔ＝１）
ステップＳ１０１１において、乱数値ｅがしきい値ｅｔｈ未満であったとする。アクター１０１は、ステップＳ１００１と同様に、離散値ｄｖ３２に対応するアームＩＤ３２における２次元配列８００を算出する。

【0112】

（ステップＳ１０１２：ｔ＝１）
アクター１０１は、計算した価値関数の値Ｑ（３２，０－１）～Ｑ（３２，５０－１０）から最大価値となる行動４０２を選択する。本例の場合、Ｑ（３２，５０－１０）に対応する行動ａ５０が選択される。

【0113】

（ステップＳ１０１３：ｔ＝１）
サイバー攻撃ＡＩ１００は、選択された行動ａ５０（攻撃方法）が実行されることで、ネットワーク１０６の状態ｓ（ｔ＝１）を状態ｓ（ｔ＝２）に更新する。

【0114】

（ステップＳ１０１４：ｔ＝１）
サイバー攻撃ＡＩ１００は、状態ｓ（ｔ＝２）に基づいて報酬ｒ（ｔ＝１）を算出する。

【0115】

（ステップＳ１０１５：ｔ＝１）
ラーナー１０２は、価値関数Ｑ（ｔ＝１）を価値関数Ｑ（ｔ＝２）に更新する。

【0116】

（ステップＳ１０１９：ｔ＝１）
選択ユニット５２０の決定部５２２は、ステップＳ１００８で特定された離散値ｄｖ３２をアクター１０１に出力する。

【0117】

（ステップＳ１０２１：ｔ＝２）
ステップＳ１０２１において、乱数値ｅがしきい値ｅｔｈ未満であったとする。アクター１０１は、ステップＳ１０１１と同様に、離散値ｄｖ３２に対応するアームＩＤ３２における２次元配列８００を算出する。

【0118】

（ステップＳ１０２２：ｔ＝２）
アクター１０１は、計算した価値関数の値Ｑ（３２，０－１）～Ｑ（３２，５０－１０）から最大価値となる行動４０２を選択する。本例の場合、Ｑ（３２，０－３）に対応する行動ａ０が選択される。以下、エピソードが終了するまで同様に実行される。

【0119】

＜入出力画面例＞
図１１は、実施例１にかかる強化学習装置２００の出力デバイス２０４に表示される入出力画面の一例を示す説明図である。入出力画面１１００は、ロードボタン１１１０と、アクター数入力領域１１２０と、アーム数入力領域１１３０と、リスクパラメータ入力領域１１４０と、報酬入力領域１１５０と、開始ボタン１１６０と、ネットワーク表示領域１１７０と、停止・再開ボタン１１８０と、を含む。

【0120】

ロードボタン１１１０は、ユーザＵの押下により分析対象ＤＢ１０４のエントリをデータメモリ５００にロードするためのユーザインタフェースである。

【0121】

アクター数入力領域１１２０は、配置するアクター１０１の数の入力を受け付ける領域である。アーム数入力領域１１３０は、選択ユニット５２０におけるアームの数、すなわち、アクターリスクパラメータの離散値の個数の入力を受け付ける領域である。

【0122】

リスクパラメータ入力領域１１４０には、アクターリスクパラメータ１３１の入力領域１１４１と、ラーナーリスクパラメータ１３２の入力領域１１４２と、を含む。報酬選択領域１１５０は、得られたネットワーク１０６の状態ｓ（ｔ）に対して与える報酬ｒ（ｔ）の種類の選択を受け付ける領域である。具体的には、たとえば、占有された（ステータス情報がｏｗｎｅｄである）ノードの数が選択可能である。これにより、上述したように、報酬ｒは、ノードの占有数として算出されることになる。なお、選択可能な報酬ｒの種類は、占有ノード数の割合など他の種類が選択可能であってもよい。

【0123】

開始ボタン１１６０は、ユーザＵの押下により、ロードボタン１１１０でロードされたネットワーク１０６においてアクター数入力領域１１２０、アーム数入力領域１１３０、リスクパラメータ入力領域１１４０、報酬入力領域１１５０にて設定されたアクター数、アーム数、リスクパラメータ、報酬を用いて、サイバー攻撃ＡＩ１００の動作を開始するためのユーザインタフェースである。

【0124】

ネットワーク表示領域１１７０には、アクター１０１の行動４０２によって更新されたネットワーク１０６が表示される。ネットワーク表示領域１１７０にて表示されるネットワーク１０６は状態テーブル９００でもよいし、グラフネットワーク図でもよい。

【0125】

停止・再開ボタン１１８０は、停止ボタン１１８１と再開ボタン１１８２とを含む。停止ボタン１１８１は、ユーザＵの押下により、サイバー攻撃ＡＩ１００の動作を一時停止させるためのユーザインタフェースである。再開ボタン１１８２は、ユーザＵの押下により、停止ボタン１１８１で一時停止したサイバー攻撃ＡＩ１００の動作を再開させるためのユーザインタフェースである。

【0126】

なお、入出力画面１１００は、たとえば、強化学習装置２００の出力デバイス２０４の一例であるディスプレイに表示される。また、入出力画面１１００は、強化学習装置２００の通信ＩＦ２０５から、入出力画面１１００に関する情報を、通信ＩＦ２０５と通信可能に接続される他のコンピュータに送信することにより、当該他のコンピュータのディスプレイに表示されてもよい。

【0127】

＜データ処理手順例＞
図１２は、実施例１にかかるデータ処理手順例を示すフローチャートである。なお、処理開始前において、図１１の入出力画面１１００のロードボタン１１１０の押下により分析対象ＤＢ１０４のエントリがデータメモリ５００にロードされているものとする。

【0128】

（ステップＳ１２０１）
強化学習装置２００は、初期化を実行する。具体的には、たとえば、強化学習装置２００は、計算ステップｍをｍ＝１に設定する。また、強化学習装置２００は、Ｑ＊ネットワーク７０１の学習パラメータθ＊をランダムな重みで初期化する。また、強化学習装置２００は、Ｑネットワーク７０２の学習パラメータθをランダムな重みで初期化する。また、報酬履歴６０２のすべてのセルを空白に、タイムステップｔをｔ＝０に、状態ｓ（ｔ）を分析対象ＤＢ１０４の保持する初期のネットワーク１０６の状態ｓ（ｔ＝０）に設定する。

【0129】

（ステップＳ１２０２）
強化学習装置２００は、ユーザＵによって入力されたリスクパラメータ１３０の値を格納したリスクパラメータテーブル１０３を設定する。

【0130】

（ステップＳ１２０３）
ラーナー１０２は、Ｑ＊ネットワーク７０１に状態ｓ（ｔ＝０）を入力することにより２次元配列８００を決定する。また、ラーナー１０２は、ランダムユニット６０３により乱数値ｅを生成する。

【0131】

（ステップＳ１２０４）
選択ユニット５２０は、図１０のステップＳ１００６～Ｓ１００９（Ｓ１０１９）に示したように、アクターリスクパラメータ１３１とデータメモリ５００に格納されている報酬履歴６０２とに基づいて、報酬ｒの期待値が最大となるアームＩＤを特定し、特定したアームＩＤに対応するアクターリスクパラメータ１３１の離散値ｄｖを出力する。なお、タイムステップｔ＝０においては、選択ユニット５２０は、決定部５２２により、アクターリスクパラメータ１３１の値域からランダムな離散値ｄｖを選択して、アクター１０１に出力する。

【0132】

（ステップＳ１２０５）
アクター１０１は、ラーナー１０２のランダムユニット７０３によって生成された乱数値ｅを取得する。そして、アクター１０１は、乱数値ｅに基づいて行動４０２の選択方針（ランダムまたは２次元配列８００に基づく選択）を決定し、決定した選択方針にしたがって、行動４０２を選択する。

【0133】

具体的には、たとえば、乱数値ｅがしきい値ｅｔｈ（たとえば、ｅｔｈ＝０．５）以上であれば、アクター１０１は、行動テーブル１０５からランダムに１つの行動を選択し、かつ、当該選択した行動４０２の対象となるノードに必要な数分の対象ノードをランダムに選択する。

【0134】

たとえば、行動テーブル１０５からランダムに選択された行動４０２が、行動ａ１の「ＣｒｅｄＳｃａｎＢａｓｈＨｉｓｔｏｒｙ（ｎｏｄｅ１）」であれば、ネットワーク１０６から１個のノードがｎｏｄｅ１としてランダムに選択される。たとえば、ｎｏｄｅ１として「Ｗｅｂｓｉｔｅ．Ｄｉｒｅｃｔｏｒｙ」が選択されたとすると、アクター１０１は、ｎｏｄｅ１が指定された行動４０２として「ＣｒｅｄＳｃａｎＢａｓｈＨｉｓｔｏｒｙ（Ｗｅｂｓｉｔｅ．Ｄｉｒｅｃｔｏｒｙ）」を採用することになる。

【0135】

一方、ランダムユニット７０３が出力した乱数値がｅｔｈ未満であれば、アクター１０１は、ネットワークユニット７００内のＱ＊ネットワーク７０１に、状態ｓ（ｔ）を入力し、２次元配列８００を計算する。

【0136】

アクター１０１は、２次元配列８００のノード構成８０１ごとに、上記式（１）の外部価値関数ｚ_ｅ（ｔ）の値を示す１次元配列８０２の値と、内部価値関数ｚ_ｉ（ｔ）の値を示す１次元配列８０３の値と、を代入し、選択ユニット５２０が選択したアームに対応するアクターリスクパラメータ１３１の離散値ｄｖ（図１０の例ではｄｖ１）をβに代入する。

【0137】

たとえば、離散値ｄｖ１＝０．５の場合、価値関数Ｑ（ｔ＝０）の最大値は行動ＩＤａ０の対象ノード「Ｗｅｂｓｉｔｅ１」の外部価値関数ｚ_ｅ（ｔ＝０）の値「３．８８」と、行動ＩＤａ０の対象ノード「Ｗｅｂｓｉｔｅ１」の内部価値関数ｚ_ｉ（ｔ＝０）の値「０．０２」に離散値ｄｖ１＝０．５を乗じた値「０．０１」との和の値「３．８９」である。

【0138】

行動テーブル１０５において、行動ＩＤａ０の行動４０２は、「ＳｅａｒｃｈＥｄｇｅＨｉｓｔｏｒｙ（ｎｏｄｅ１）」である。アクター１０１は、最大価値となる「ＳｅａｒｃｈＥｄｇｅＨｉｓｔｏｒｙ（Ｗｅｂｓｉｔｅ１）」を選択する。このように、アクター１０１は、より価値の高い行動を選択することができる。

【0139】

（ステップＳ１２０６）
アクター１０１は、図１０のステップＳ１００３、Ｓ１００４に示したように、タイムステップｔでステップＳ１２０５で選択された行動４０２を行ったあとのネットワーク１０６の状態ｓ（ｔ＋１）への更新と、その報酬ｒ（ｔ）の計算と、を実行する。具体的には、たとえば、アクター１０１は、ステップＳ１２０５で選択された行動４０２に基づいて、状態テーブル９００におけるステータス９０２と接続情報９０３とを更新する。

【0140】

具体的には、たとえば、アクター１０１は、更新後の状態ｓ（ｔ＋１）での状態テーブル９００において、ステータス９０２が「ｏｗｅｎｅｄ」であるノードの数を報酬ｒ（ｔ）として計算する。アクター１０１は、報酬ｒ（ｔ）をデータメモリ５００に保存するとともにラーナー１０２に出力する。

【0141】

なお、報酬ｒ（ｔ）は、ステータス９０２が「ｏｗｅｎｅｄ」であるノードの数に限定されない。たとえば、ステータス９０２に応じてポイントを付与し、その合計を報酬ｒ（ｔ）としてもよい。たとえば、「ｕｎｄｉｓｃｏｖｅｒｄ」が０ポイント、「ｄｉｓｃｏｖｅｒｅｄ」が１ポイント、「ｏｗｎｅｄ」が３ポイントというように、攻撃の効果を奏するような新規な状態に遷移するほどポイントを高く設定することで、未知の状態ｓ（ｔ＋１）が得られた時の報酬ｒ（ｔ）を高くすることができる。このような、報酬ｒの種類も、上述した報酬選択領域１１５０で選択可能である。

【0142】

（ステップＳ１２０７）
つぎに、ネットワークユニット７００は、報酬ｒ（ｔ）、報酬履歴６０２、ネットワーク１０６の状態ｓ（ｔ），ｓ（ｔ＋１）を１組のデータとしたデータパックＤ（ｔ）を、リプレイメモリ７２０に保存する。

【0143】

また、強化学習装置２００は、更新されたネットワーク１０６の状態ｓ（ｔ＋１）を表示する。具体的には、たとえば、強化学習装置２００は、記憶デバイス２０２に保存されたデータパックＤ（ｔ）をロードし、データパックＤ（ｔ）内のネットワーク１０６の状態ｓ（ｔ＋１）におけるステータス９０２および接続情報９０３を用いてグラフネットワーク図を描画し、ネットワーク表示領域１１７０に表示する。

【0144】

また、強化学習装置２００は、データパックＤ（ｔ）内の報酬ｒ（ｔ）をネットワーク表示領域１１７０に表示する。なお、記憶デバイス２０２にデータパックＤ（ｔ）が保存されていない場合、強化学習装置２００は、分析失敗を示す分析結果を表示してもよい。

【0145】

（ステップＳ１２０８）
強化学習装置２００は、タイムステップｔが所定の周期Ｔ（Ｔは１以上の整数）について、ｔがノンゼロかつｔ／Ｔの余りがゼロとなる場合（ステップＳ１２０８：Ｙｅｓ）、ステップＳ１２０９に移行する。そうではない場合（ステップＳ１２０８：Ｎｏ）、タイムステップｔをｔ＝ｔ＋１として、ステップＳ１２０３に戻る。これにより、所定の周期ＴのタイムステップｔでステップＳ１２０９とステップＳ１２１０による学習の実行が可能になる。

【0146】

（ステップＳ１２０９）
学習パラメータ更新ユニット７３０は、リプレイメモリ７２０からランダムにＪ個のデータパックＤ（ｊ）（ｊ＝１，…，Ｊ）（以下、データパック群Ｄｓ）をロードし、下記式（２）により教師信号ｙ（ｊ）を更新する。教師信号ｙ（ｊ）は、行動４０２の価値の予測値である。なお、実施例１ではＪの上限を１００とする。

【0147】

【数1】

【0148】

上記式（２）において、右辺のｒ（ｊ）は、ｊ番目のデータパックＤ（ｊ）内の報酬である。また、右辺のγは割引率であり、実施例１では、γ＝０．９９８の固定値とする。また、右辺のｍａｘＱ（ｓ（ｊ＋１）；θ）は、価値関数Ｑ（ｓ（ｊ＋１）；θ）の最大値を算出する計算処理である。

【0149】

価値関数Ｑ（ｓ（ｊ＋１）；θ）は、学習パラメータθの適用を条件として、状態ｓ（ｊ＋１）における行動の価値を示す。具体的には、たとえば、ネットワークユニット７００は、Ｑネットワーク７０２に状態ｓ（ｊ＋１）を入力し、Ｑネットワーク７０２が学習パラメータθを適用してｔ＝ｊの２次元配列８００を算出する。ネットワークユニット７００は、下記式（３）のように外部価値関数ｚ_ｅ（ｓ（ｊ＋１）；θ）の値と内部価値関数ｚ_ｉ（ｓ（ｊ＋１）；θ）の値に好奇心の値β（離散値ｄｖ）で重みづけした値との和である行動４０２の価値を、ノード構成８０１ごとに算出する。

【0150】

【数2】

【0151】

上記式（３）の右辺の外部価値関数ｚ_ｅ（ｓ（ｊ＋１）；θ）は、学習パラメータθの適用を条件として、状態ｓ（ｊ＋１）における外部価値関数ｚ_ｅ（ｊ＋１）の値を示す。上記式（３）の右辺の内部価値関数ｚ_ｉ（ｓ（ｊ＋１）；θ）は、学習パラメータθの適用を条件として、状態ｓ（ｊ＋１）における内部価値関数ｚ_ｉ（ｊ＋１）の値を示す。

【0152】

たとえば、図８の行動ａ０のノード構成８０１「Ｗｅｂｓｉｔｅ１」の列の外部価値関数ｚ_ｅ（ｊ）の値「３．８８」と内部価値関数ｚ_ｉ（ｊ）の値「０．０２」から得られるＱ（ｓ（ｊ＋１）；θ）の値「３．８９」が、他のいずれのノード構成８０１のＱ（ｓ（ｊ＋１）；θ）の値よりも大きい場合、計算処理ｍａｘＱ（ｓ（ｊ＋１）；θ）は、行動ａ０のノード構成８０１「Ｗｅｂｓｉｔｅ１」における行動価値が示す値「３．８９」を出力する。このようにして、学習パラメータ更新ユニット７３０は、教師信号ｙ（ｊ）を更新する。

【0153】

（ステップＳ１２１０）
つぎに、学習パラメータ更新ユニット７３０は、学習計算を実行する。具体的には、たとえば、勾配算出ユニット６３１は、下記式（４）を用いて学習パラメータθについて勾配ｇを出力し、勾配ｇを学習パラメータθに加算することで学習パラメータθを更新する。

【0154】

【数3】

【0155】

上記式（４）におけるκは、ラーナーリスクパラメータ１３２である。κが０＜κ≦１の場合、教師信号ｙ（ｊ）がＱ＊ネットワーク７０１が予測する価値Ｑ（ｓ（ｊ）；θ）より大きいときにより小さい学習率（１－κ）または（１＋κ）で学習し、逆の時は大きい学習率とする。つまり、予想より高い価値が得られたときには学習をせずに予想よりも価値が低かったときに強く学習するという、リスクを回避することを重視するローリスクローリターン型の学習となる。

【0156】

逆にκが－１≦κ＜０の場合は、予想よりも価値が低かったときは学習せずに予想よりも高かったときに強く学習するという、リスクをとってより高い価値を目指すことを重視するハイリスクハイリターン型の学習となる。

【0157】

上記式（４）の右辺第２項は、行動４０２の価値の勾配ｇである。これにより、Ｑネットワーク７０２は、報酬ｒ（ｊ）が考慮された更新後の学習パラメータθにより、報酬、たとえば、「ｏｗｎｅｄ」ステータス９０２が「ｏｗｅｎｅｄ」であるノードの数が大きくなるような行動４０２を示すことができる。

【0158】

また、学習計算（ステップＳ１２１０）において、学習パラメータ更新ユニット７３０は、Ｑネットワーク７０２の更新後の学習パラメータθを、Ｑ＊ネットワーク７０１の学習パラメータθ＊に上書きする。すなわち、学習パラメータθ＊が、更新後の学習パラメータθと同一の値となる。これにより、Ｑ＊ネットワーク７０１は、行動価値、すなわち、目的変数の予測精度が高くなると期待できる行動４０２を特定することができる。

【0159】

（ステップＳ１２１１）
強化学習装置２００は、リスクパラメータテーブル１０３および分析対象ＤＢ１０４のうち少なくとも一方の変更があったか否かを判断する（ステップＳ１２１１）。リスクパラメータテーブル１０３および分析対象ＤＢ１０４のいずれにも変更がない場合（ステップＳ１２１１：１）、タイムステップｔをｔ＝ｔ＋１に更新して、ステップＳ１２０３に移行する。

【0160】

リスクパラメータテーブル１０３および分析対象ＤＢ１０４のうちリスクパラメータテーブル１０３のみ変更があった場合（ステップＳ１２１１：２）、タイムステップｔをｔ＝ｔ＋１に更新して、ステップＳ１２０２に移行する。たとえば、入出力画面１１００で停止ボタン１１０１が押下され、リスクパラメータ入力領域１１４０に値が再入力され、再開ボタン１１８２が押下された場合が該当する。

【0161】

リスクパラメータテーブル１０３および分析対象ＤＢ１０４のうち分析対象ＤＢ１０４のみ変更があった場合（ステップＳ１２１１：３）、ステップＳ１２０１に移行する。たとえば入出力画面１１００で停止ボタン１１８１が押下され、ロードボタン１１１０が再押下され、再開ボタン１１８２が押された場合が該当する。

【0162】

また、タイムステップｔが上限に達すると当該エピソードが終了して、次のエピソードについて、ステップＳ１２０１から処理が再開される。また、エピソードの回数が上限に達すると、データ処理が終了する。

【0163】

このように、実施例１によれば、ある規定されたネットワーク１０６に対して、ある報酬ｒを最大化するようなサイバー攻撃を、とるべきリスクを規定した上で自動的に求めることができる。

【実施例0164】

つぎに、実施例２について説明する。実施例１では、サイバー攻撃を担うサイバー攻撃ＡＩ１００について説明した。これに対し、実施例２では、サイバー攻撃ＡＩ１００に加えて、サイバー攻撃ＡＩ１００とは独立した防衛ＡＩを含む例について説明する。防衛ＡＩは、サイバー攻撃ＡＩ１００と同様に、アクターおよびラーナーを有する。防衛ＡＩは、ネットワーク１０６のノードのステータス９０２が「ｏｗｅｎｅｄ」とならないようにノードを防衛したり、ステータス９０２が「ｏｗｅｎｅｄ」になったノードを取り返したりする（「ｏｗｅｎｅｄ」から「ｄｉｓｃｏｖｅｒｅｄ」に変更）ＡＩである。実施例２では、実施例１との相違点を中心に説明するため、実施例１と同一構成には同一符号を付し、その説明を省略する。

【0165】

＜分析対象ＤＢ＞
図１３は、実施例２にかかる分析対象ＤＢの一例を示す説明図である。分析対象ＤＢ１３００は、ノードＩＤ３０１と、攻撃側ステータス１３０１と、防衛側ステータス１３０２と、脆弱性３０３と、攻撃側接続関係１３０３と、防衛側接続関係１３０４と、を有する。同一行における各フィールドの値の組み合わせが、１つのノードの分析対象データとなる。

【0166】

攻撃側ステータス１３０１は、サイバー攻撃ＡＩ１００から見た、そのノードのステータス３０２である。具体的には、たとえば、攻撃側ステータス１３０１は、サイバー攻撃ＡＩ１００の攻撃により変更可能性があるノード３０１の状態を示す。

【0167】

防衛側ステータス１３０２は、防衛ＡＩから見た、そのノードのステータス３０２である。具体的には、たとえば、防衛側ステータス１３０２は、防衛ＡＩの防衛により変更可能性があるノード３０１の状態を示す。

【0168】

攻撃側接続関係１３０３は、サイバー攻撃ＡＩ１００から見た、そのノードの接続先ノードを示す。防衛側接続関係１３０４は、防衛ＡＩから見た、そのノードの接続先ノードを示す。

【0169】

＜強化学習回路＞
図１４は、実施例２にかかる強化学習回路２０７の回路構成例を示すブロック図である。実施例２では、強化学習回路２０７は、攻撃側回路構成１４００Ａと防衛側回路構成１４００Ｄとを有する。攻撃側回路構成１４００Ａは、１個のサイバー攻撃ＡＩ１００を示す回路構成である。サイバー攻撃ＡＩ１００が複数配置する場合は、攻撃側回路構成１４００Ａは複数設けられる。

【0170】

防衛側回路構成１４００Ｄは、１個の防衛ＡＩを示す回路構成である。防衛ＡＩが複数配置する場合は、防衛側回路構成１４００Ｄは複数設けられる。攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄはそれぞれ、図５に示した構成を有する。

【0171】

このため、図５に示した符号の末尾に「Ａ」が付されている構成は、攻撃側回路構成１４００Ａの構成であり、構成の名称の先頭に「攻撃側」が付与される。たとえば、選択ユニット５２０の末尾に「Ａ」が付与された符号５２０Ａを、攻撃側選択ユニット５２０Ａと称す。

【0172】

同様に、図５に示した符号の末尾に「Ｄ」が付されている構成は、防衛側回路構成１４００Ｄ側の構成であり、構成の名称の先頭に「防衛側」が付与される。たとえば、選択ユニット５２０の末尾に「Ｄ」が付与された符号５２０Ｄを、防衛側選択ユニット５２０Ｄと称す。

【0173】

攻撃側および防衛側を区別しない場合は、符号の末尾の「Ａ」および「Ｄ」、ならびに、先頭の「攻撃側」および「防衛側」を省略する。なお、データメモリ５００は、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄで共有される。

【0174】

攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄの違いは、行動テーブル１０５にある。具体的には、たとえば、攻撃側行動テーブル１０５Ａは、図４に示したように、サイバー攻撃ＡＩ１００である攻撃側回路構成１４００Ａがネットワーク１０６内のノードを攻撃するのに必要な行動４０２を規定する。

【0175】

一方、防衛側行動テーブル１０５Ｄは、防衛ＡＩである防衛側回路構成１４００Ｄがネットワーク１０６内のノードを防衛するのに必要な行動４０２を規定する。具体的には、たとえば、防衛側行動テーブル１０５Ｄにおける行動４０２は、防衛側アクターユニット５１０Ｄによって選択可能な防衛方法である。この行動４０２は、ローカル防衛行動と、リモート防衛行動と、接続行動と、に分類される。

【0176】

ローカル防衛行動は、ローカルな防衛の対象となる一つのノード（ｎｏｄｅ１）を変数とする。具体的には、たとえば、ローカル防衛行動は、ｎｏｄｅ１を起点として他のノードを隠蔽したり（「ｄｉｓｃｏｖｅｒｅｄ」→「ｕｎｄｉｓｃｏｖｅｒｅｄ」）、所有されたノードを奪取したり（「ｏｗｎｅｄ」→「ｄｉｓｃｏｖｅｒｅｄ」）する行動である。

【0177】

リモート防衛行動は、リモート防衛の起点となる二つのノード（ｎｏｄｅ１，ｎｏｄｅ２）を変数とする。具体的には、たとえば、リモート攻撃行動は、ｎｏｄｅ１およびｎｏｄｅ２を起点として他のノードを隠蔽したり（「ｄｉｓｃｏｖｅｒｅｄ」→「ｕｎｄｉｓｃｏｖｅｒｅｄ」）、所有されたノードを奪取したり（「ｏｗｎｅｄ」→「ｄｉｓｃｏｖｅｒｅｄ」）する行動である。

【0178】

すなわち、防衛側行動テーブル１０５Ｄは、攻撃側行動テーブル１０５Ａの行動４０２に対抗する行動４０２を含む。

【0179】

攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄは、それぞれの行った行動４０２とその結果得られたネットワーク１０６の状態ｓ（ｔ）のみをデータメモリ５００で共有する。具体的には、たとえば、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄは、図９に示した状態テーブル９００を共有することになる。ここで、攻撃側回路構成１４００Ａが更新するネットワーク１０６の状態ｓ（ｔ）を状態ｓ（ｔ）Ａとし、防衛側回路構成１４００Ｄが更新するネットワーク１０６の状態ｓ（ｔ）を状態ｓ（ｔ）Ｄとする。

【0180】

たとえば、あるタイムステップｔにおいて、攻撃側回路構成１４００Ａが状態ｓ（ｔ）Ａを状態ｓ（ｔ＋１）Ａに更新した場合、防衛側回路構成１４００Ｄは、攻撃側回路構成１４００Ａで更新された状態ｓ（ｔ＋１）Ａを状態ｓ（ｔ）Ｄとして、状態ｓ（ｔ＋１）Ｄに更新する。そして、攻撃側回路構成１４００Ａは、状態ｓ（ｔ＋１）Ａを状態ｓ（ｔ＋１）Ｄで更新する。

【0181】

ここでは、同じタイムステップｔにおいて攻撃側回路構成１４００Ａが先に攻撃して防衛側回路構成１４００Ｄがその後防御するような状態ｓ（ｔ）の更新例について説明したが、防衛側回路構成１４００Ｄが先に防御して、攻撃側回路構成１４００Ａがそのあと攻撃するような状態ｓ（ｔ）の更新でもよい。

【0182】

また、どちらが先に攻撃または防衛を行うかを規定せず、攻撃側回路構成１４００Ａと防衛側回路構成１４００Ｄが競合するような行動４０２を選択した場合にはどちらの行動４０２も採用されないとし、状態ｓ（ｔ）は変化しないとしてもよい。

【0183】

一方、それぞれの行動テーブル１０５、得られた報酬ｒ、報酬履歴テーブル６００、および、ラーナー１０２内のネットワークユニット７００がリプレイメモリ７２０に格納したデータパックＤ（ｔ）を共有しない。

【0184】

攻撃側回路構成１４００Ａでの報酬ｒ（ｔ）は、実施例１で示した通りである。一方、防衛側回路構成１４００Ｄでの報酬ｒ（ｔ）は、たとえば、ネットワーク１０６内のノード総数からステータス９０２が「ｏｗｅｎｅｄ」であるノードの数を減算した値となる。

【0185】

また、ステータス９０２が「ｏｗｅｎｅｄ」であるノードの数に限定されない。たとえば、ステータス９０２に応じてポイントを付与し、その合計を報酬ｒ（ｔ）としてもよい。たとえば、「ｕｎｄｉｓｃｏｖｅｒｄ」が３ポイント、「ｄｉｓｃｏｖｅｒｅｄ」が１ポイント、「ｏｗｎｅｄ」が０ポイントというように、攻撃の効果を奏するような新規な状態に遷移するほどポイントを低く設定する。

【0186】

このように、防衛側回路構成１４００Ｄでの報酬ｒ（ｔ）は、未知の状態ｓ（ｔ＋１）になるほど低くなる。

【0187】

また、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄは、タイムステップｔを共有して同時かつ平行して図１２と同様の処理を実行してもよいし、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄのいずれか一方がタイムステップ１つ分（ステップＳ１２０３～Ｓ１２０７）を進める間に、他方のユニットはステップＳ１２０３～Ｓ１２０７を複数回繰り返すことにしてもよい。

【0188】

＜入出力画面例＞
図１５は、実施例２にかかる強化学習装置２００の出力デバイス２０４に表示される入出力画面の一例を示す説明図である。入出力画面１５００は、入出力画面１１００の構成において、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄのそれぞれに適用される構成に分けられる。

【0189】

このため、図１１に示した符号の末尾に「Ａ」が付されている構成は、攻撃側回路構成１４００Ａでの実行に用いられる構成であり、構成の名称の先頭に「攻撃側」が付与される。たとえば、入力領域１１４１の末尾に「Ａ」が付与された符号１１４１Ａを、攻撃側入力領域１１４１Ａと称す。

【0190】

同様に、図１１に示した符号の末尾に「Ｄ」が付されている構成は、防衛側回路構成１４００Ｄでの実行に用いられる構成であり、構成の名称の先頭に「防衛側」が付与される。たとえば、入力領域１１４１の末尾に「Ｄ」が付与された符号１１４１Ｄを、防衛側入力領域１１４１Ｄと称す。

【0191】

攻撃側および防衛側を区別しない場合は、符号の末尾の「Ａ」および「Ｄ」、ならびに、先頭の「攻撃側」および「防衛側」を省略する。

【0192】

入出力画面１５００は、攻撃者数および防衛者数の入力領域１５０１を有する。攻撃者数および防衛者数の入力領域１５０１は、攻撃者数入力領域１５１１と防衛者数入力領域１５１２とを有する。攻撃者数入力領域１５１１は、ユーザＵの操作により、攻撃者数の入力を受け付ける領域である。攻撃者数とは、サイバー攻撃ＡＩ１００の数である。防衛者数入力領域１５１２は、ユーザＵの操作により、防衛者数の入力を受け付ける領域である。防衛者数とは、防衛ＡＩの数である。

【0193】

なお、ネットワーク表示領域１１７０には、攻撃者（サイバー攻撃ＡＩ１００）と防衛者（防衛ＡＩ）のそれぞれについて、得られた報酬ｒが表示される。

【0194】

図１５の例では、攻撃側リスクパラメータ入力領域１１４０Ａにおいて、攻撃側アクターリスクパラメータ１３１の入力領域１１４１Ａに「０．１：１．０」が入力されている。したがって、サンプリングされた報酬ｒの下位１０パーセンタイルを無視することにより、サイバー攻撃ＡＩ１００は、リスクが高いがより高い報酬ｒが得られるかもしれない行動４０２を攻撃側アクターユニット５１０Ａに実行させるになる。

【0195】

また、攻撃側ラーナーリスクパラメータ１３２の入力領域１１４２Ａに「－０．５」が入力されている。したがって、サイバー攻撃ＡＩ１００は、予想よりも価値が低かったときは学習せずに予想よりも高かったときに強く学習するという、リスクをとってより高い価値を目指すことを重視するハイリスクハイリターン型の学習を攻撃側ラーナー１０２Ａに実行させることになる。

【0196】

また、図１５の例では、防衛側リスクパラメータ入力領域１１４０Ｄにおいて、防衛側アクターリスクパラメータ１３１の入力領域１１４１Ｄに「０．０：０．９」が入力されている。したがって、防衛ＡＩは、偶然得られうる上位１０パーセンタイルの報酬ｒを無視することにより、よりリスクの低い行動選択を、防衛側アクターユニット５１０Ｄに実行させることができる。

【0197】

また、防衛側ラーナーリスクパラメータ１３２の入力領域１１４２Ｄに「０．５」が入力されている。したがって、防衛ＡＩは、予想より高い価値が得られたときには学習をせずに予想よりも価値が低かったときに強く学習するという、リスクを回避することを重視するローリスクローリターン型を防衛側ラーナー１０２Ｄに実行させることになる。

【0198】

つぎに、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄがタイムステップｔを共有して同時かつ平行して図１２と同様の処理を実行する例について説明する。

【0199】

＜データ処理手順例＞
図１６は、実施例２にかかるデータ処理手順例を示すフローチャートである。なお、処理開始前において、図１６の入出力画面１１００のロードボタン１１１０の押下により分析対象ＤＢ１０４のエントリがデータメモリ５００にロードされているものとする。

【0200】

図１６に示した符号の末尾に「Ａ」が付されているステップは、攻撃側回路構成１４００Ａが実行する処理であり、ステップの名称の先頭に「攻撃側」が付与される。たとえば、ラーナー実行（ステップＳ１２０３）の末尾に「Ａ」が付与されたステップＳ１２０３Ａを、攻撃側ラーナー実行と称す。

【0201】

同様に、図１６に示した符号の末尾に「Ｄ」が付されているステップは、防衛側回路構成１４００Ｄが実行する処理であり、ステップの名称の先頭に「防衛側」が付与される。たとえば、ラーナー実行（ステップＳ１２０３）の末尾に「Ｄ」が付与されたステップＳ１２０３Ｄを、防衛側ラーナー実行と称す。

【0202】

なお、実施例２の場合、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄで状態ｓ（ｔ）を共有するため、図１６のステップＳ１６０６では、上述したように、同一のタイムステップｔにおいて、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄのいずれか一方（たとえば、攻撃側回路構成１４００Ａ）が先に状態ｓ（ｔ）Ａを状態ｓ（ｔ＋１）Ａに更新し、当該更新後の状態ｓ（ｔ＋１）Ａを状態ｓ（ｔ）Ｄとして防衛側回路構成１４００が状態ｓ（ｔ＋１）Ｄに更新し、攻撃側回路構成１４００Ａは、更新後の状態ｓ（ｔ＋１）Ｄを更新後の状態ｓ（ｔ＋１）Ａとする。これにより、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄ間で状態が共有される。

【0203】

また、報酬ｒ（ｔ）の計算は、更新された状態ｓ（ｔ＋１）での状態テーブル９００における「ｏｗｎｅｄ」の数で計数されることになる。

【0204】

このように、実施例２によれば、ある規定されたネットワーク１０６に対して、攻撃側の報酬ｒを最大化するようなサイバー攻撃と、防御側の報酬ｒを最大化するような防御とを、とるべきリスクを規定した上で自動的に求めることができる。

【0205】

なお、実施例２では、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄを１つずつ配置した構成について説明したが、攻撃側回路構成１４００Ａおよび防衛側回路構成１４００Ｄは、それぞれ１以上配置してもよい。また、複数の攻撃側回路構成１４００Ａのみで構成してもよい。

【0206】

また、実施例１および実施例２では、攻撃対象または防御対象としてネットワーク１０６を例に挙げて説明したが、攻撃対象または防御対象は、このようなサイバー攻撃やその防衛に限られない。たとえば、ある市場での株式取引にも適用可能であり、分析対象ＤＢ１０４、１３００を各会社のＩＤとその会社の株式価格、純利益、従業員数、売上高などの会社情報を変数群とするデータセットとし、行動テーブル１０５を株式の売買、行動テーブル１０５の行動の対象を各会社、状態ｓ（ｔ）を分析対象ＤＢ１０４、１３００の会社情報とすればよい。また、実施例１の場合、報酬ｒ（ｔ）は、ユーザの得た総利益とすればよい。また、実施例２の場合、防衛者と攻撃者は複数の競争的な株式取引者とすればよい。

【0207】

以上説明したように、本実施例にかかる強化学習装置２００は、好奇心をもつ分散強化学習において、ラーナー１０２が行動４０２の選択指針となる価値関数の学習において採るべきリスクであるラーナーリスクパラメータ１３２と、行動４０２を選択する際に採用すべきアーム、すなわち離散化された好奇心パラメータの値、をアクター１０１が選択する際にとるべきリスクであるアクターリスクパラメータ１３１と、を調節する。したがって、両リスクを考慮したハイリスクハイリターン型またはローリスクローリターン型の学習が可能になる。

【0208】

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

【0209】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【0210】

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

【0211】

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。