特許 7559821 方策作成装置、制御装置、方策作成方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】方策作成装置、制御装置、方策作成方法、及び、プログラム

(51)【国際特許分類】

   G06N 5/025 20230101AFI20240925BHJP

   G06N 5/04 20230101ALI20240925BHJP

【ＦＩ】

G06N5/025

G06N5/04

【請求項の数】 8

(21)【出願番号】P 2022541325

(86)(22)【出願日】2020-08-03

(86)【国際出願番号】 JP2020029605

(87)【国際公開番号】W WO2022029821

(87)【国際公開日】2022-02-10

【審査請求日】2023-01-25

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】高橋 友紀子

(72)【発明者】

【氏名】岡嶋 譲

【審査官】坂庭 剛史

(56)【参考文献】

【文献】国際公開第２０２０／１３７０１９（ＷＯ，Ａ１）

【文献】特開２００３－２３３５０３（ＪＰ，Ａ）

【文献】特開平１１－０１５８０７（ＪＰ，Ａ）

【文献】特開２０１９－０７４９０７（ＪＰ，Ａ）

【文献】特表２０１５－５０２６１６（ＪＰ，Ａ）

【文献】田中友紀子、平岡拓也、鶴岡慶雅，決定木とＣｒｏｓｓ－Ｅｎｔｒｏｐｙ法を用いた解釈可能な制御方策の学習，２０１９年度人工知能学会全国大会（第３３回）［ｏｎｌｉｎｅ］，日本，一般社団法人人工知能学会，2019年06月01日，ｐｐ．１－４（3Rin2-08）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ５／０２５

Ｇ０６Ｎ ５／０４

(57)【特許請求の範囲】

【請求項1】

対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールであって、予め定められたルール作成基準に従うルールパラメータの集合で表されるルールを複数含むルールセットを、前記ルール作成基準に従って前記ルールパラメータの値を算出することで前記ルールにおける前記条件及び前記動作の少なくとも１つを決定することによって作成するルール作成手段と、
前記ルールパラメータに応じて、前記ルールセットにおける複数の前記ルールの順序を決定するための順序パラメータを算出する順序パラメータ算出手段と、
前記順序パラメータに応じて、複数の前記ルールセットにおける前記ルールの順序を決定する順序決定手段と、
決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する動作決定手段と
を有する方策作成装置。

【請求項2】

前記ルールは、所定のルール作成基準に従うルールパラメータの集合で表され、
前記ルール作成手段は、前記ルール作成基準に従って前記ルールパラメータの値を算出することで、前記ルールにおける前記条件及び前記動作の少なくとも１つを決定する
請求項１に記載の方策作成装置。

【請求項3】

前記ルール作成手段は、前記条件と前記動作とがランダムに組み合わされた前記ルールを作成する
請求項２に記載の方策作成装置。

【請求項4】

決定された前記動作の質を決定する動作評価手段
をさらに有し、
前記順序パラメータ算出手段は、前記動作の質が増大するよう、前記順序パラメータを算出するためのモデルを更新する
請求項１に記載の方策作成装置。

【請求項5】

前記順序決定手段は、順序付けされた前記ルールセットに対応する方策を複数作成し、
決定された前記動作の質を決定し、決定された前記動作の質に基づいて、複数の前記方策それぞれについて前記方策の質を決定する方策評価手段と、
作成された複数の前記方策の中から、決定された前記質が高い方策を選択する方策選択手段と
をさらに有する請求項１から４のいずれか１項に記載の方策作成装置。

【請求項6】

請求項１から５のいずれか１項に記載の方策作成装置と、
前記方策作成装置によって決定された前記動作に従って前記対象に関する制御を行う制御部と
を備える制御装置。

【請求項7】

情報処理装置によって、対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールであって、予め定められたルール作成基準に従うルールパラメータの集合で表されるルールを複数含むルールセットを、前記ルール作成基準に従って前記ルールパラメータの値を算出することで前記ルールにおける前記条件及び前記動作の少なくとも１つを決定することによって作成し、
前記ルールパラメータに応じて、前記ルールセットにおける複数の前記ルールの順序を決定するための順序パラメータを算出し、
前記順序パラメータに応じて、複数の前記ルールセットにおける前記ルールの順序を決定し、
決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する
方策作成方法。

【請求項8】

対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールであって、予め定められたルール作成基準に従うルールパラメータの集合で表されるルールを複数含むルールセットを、前記ルール作成基準に従って前記ルールパラメータの値を算出することで前記ルールにおける前記条件及び前記動作の少なくとも１つを決定することによって作成する機能と、
前記ルールパラメータに応じて、前記ルールセットにおける複数の前記ルールの順序を決定するための順序パラメータを算出する機能と、
前記順序パラメータに応じて、複数の前記ルールセットにおける前記ルールの順序を決定する機能と、
決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する機能と
をコンピュータに実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、方策を作成する方策作成装置、制御装置、方策作成方法、及び、プログラムに関する。

【背景技術】

【0002】

加工プラント等における作業員は、素材から製品を作成するまでの作業手順を熟知することによって、質の高い製品を加工することができる。たとえば、その作業手順において、作業員は、素材を、加工機械を使って加工する。良い製品を加工するための作業手順は、作業員ごとにノウハウとして蓄えられている。しかし、その作業手順を熟知している作業員から他の作業員にノウハウを伝授するためには、熟練した作業員が、加工機械等の使い方や、材料の量、材料を加工機械に投入するタイミング等を他の作業員に伝授する必要がある。このため、ノウハウを伝授するためには、長い時間と、多くの作業を要する。

【0003】

そのノウハウを機械学習によって学習する方法として、非特許文献１に例示されているように強化学習法が用いられることがある。この場合、強化学習法においては、そのノウハウを表す方策を、モデルという形で表す。非特許文献１においては、そのモデルをニューラルネットワークによって表している。

【先行技術文献】

【非特許文献】

【0004】

【文献】Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction., The MIT Press, 2017

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、ノウハウがどのように表現されたのかをユーザが理解することは困難である。この理由は、非特許文献１に例示されている強化学習法においては、ノウハウを表す方策をニューラルネットワークによって表しており、さらに、ニューラルネットワークによって作成されるモデルをユーザが解読することが難しいからである。

【0006】

本開示の目的の１つは、このような課題を解決するためになされたものであり、質が高く、かつ、視認性が高い方策を作成することが可能な方策作成装置、制御装置、方策作成方法、及び、プログラムを提供することにある。

【課題を解決するための手段】

【0007】

本開示にかかる方策作成装置は、対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールを複数含むルールセットを作成するルール作成手段と、複数の前記ルールセットにおける前記ルールの順序を決定する順序決定手段と、決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する動作決定手段とを有する。

【0008】

また、本開示にかかる方策作成方法は、情報処理装置によって、対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールを複数含むルールセットを作成し、複数の前記ルールセットにおける前記ルールの順序を決定し、決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する。

【0009】

また、本開示にかかるプログラムは、対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールを複数含むルールセットを作成する機能と、複数の前記ルールセットにおける前記ルールの順序を決定する機能と、決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する機能とをコンピュータに実現させる。

【発明の効果】

【0010】

本開示によれば、質が高く、かつ、視認性が高い方策を作成することが可能な方策作成装置、制御装置、方策作成方法、及び、プログラムを提供できる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る方策作成装置の構成を示すブロック図である。

【図2】第１の実施形態に係る方策作成装置によって実行される方策作成方法を示すフローチャートである。

【図3】第１の実施形態に係る方策作成装置によって実行される方策作成方法を示すフローチャートである。

【図4】第１の実施形態に係る方策作成装置によって実行される方策作成方法を示すフローチャートである。

【図5】第１の実施形態に係る方策に従い動作を決定する処理を概念的に表す図である。

【図6】第１の実施形態に係る対象の一例を概念的に表す図である。

【図7】第１の実施の形態にかかるルール作成部によって作成されるルールセットを例示する図である。

【図8】第２の実施形態にかかる順序パラメータ算出部によって算出される確率的決定リストを生成する処理の例を説明する図である。

【図9】第２の実施形態にかかる、順序パラメータの更新を説明する図である。

【図10】第２の実施形態にかかる順序決定部による決定リストを生成する処理を説明する図である。

【図11】第３の実施形態にかかる方策作成装置の構成を示す図である。

【図12】第３の実施形態にかかる方策作成装置によって実行される方策作成方法を示すフローチャートである。

【図13】各実施形態に係る方策作成装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。

【発明を実施するための形態】

【0012】

（第１の実施形態）
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0013】

図１は、第１の実施形態に係る方策作成装置１００の構成を示すブロック図である。また、図２～図４は、第１の実施形態に係る方策作成装置１００によって実行される方策作成方法を示すフローチャートである。なお、図２～図４に示したフローチャートについては、後述する。

【0014】

図１を参照しながら、第１の実施形態に係る方策作成装置１００が有する構成について詳細に説明する。方策作成装置１００は、例えばコンピュータである。第１の実施形態に係る方策作成装置１００は、ルール作成部１０２と、順序パラメータ算出部１０４と、順序決定部１０６と、動作決定部１０８と、方策評価部１１０と、方策選択部１２０とを有する。方策評価部１１０は、動作評価部１１２と、総合評価部１１４とを有する。方策作成装置１００は、さらに、基準更新部１２２と、方策評価情報記憶部１２６とを有していてもよい。

【0015】

ルール作成部１０２は、ルール作成手段としての機能を有する。順序パラメータ算出部１０４は、順序パラメータ算出手段としての機能を有する。順序決定部１０６は、順序決定手段としての機能を有する。動作決定部１０８は、動作決定手段としての機能を有する。方策評価部１１０は、方策評価手段としての機能を有する。動作評価部１１２は、動作評価手段としての機能を有する。総合評価部１１４は、総合評価手段としての機能を有する。方策選択部１２０は、方策選択手段としての機能を有する。基準更新部１２２は、基準更新手段としての機能を有する。方策評価情報記憶部１２６は、方策評価情報記憶手段としての機能を有する。

【0016】

方策作成装置１００は、たとえば、制御装置５０において処理を実行する。制御装置５０は、方策作成装置１００と、制御部５２とを有する。方策作成装置１００は、ルール作成部１０２、順序パラメータ算出部１０４、及び順序決定部１０６を用いて、決定リストで表された方策を作成する。制御部５２は、方策作成装置１００によって作成された方策に従って決定された動作に従い、対象１７０に関する制御を実行する。方策は、対象１７０がある状態である場合に、当該対象１７０に関して施す動作を決定する基である情報を表す。なお、決定リストで表された方策を作成する方法については後述する。

【0017】

図５は、第１の実施形態に係る方策に従い動作を決定する処理を概念的に表す図である。図５に例示されているように、方策作成装置１００において、動作決定部１０８は、対象１７０の状態（ｓｔａｔｅ）を表す情報を取得する。そして、動作決定部１０８は、作成された方策（ｐｏｌｉｃｙ）に従い、この対象１７０に関して施す動作（ａｃｔｉｏｎ）を決定する。対象１７０（ｔａｒｇｅｔ）の状態は、たとえば、対象１７０を観測しているセンサが出力した観測値を用いて表すことができる。たとえば、センサは、温度センサ、位置センサ、速度センサ、または、加速度センサ等である。

【0018】

本実施の形態において、方策は、決定リストで表わされる。決定リストは、対象１７０の状態を判定する条件と当該状態における動作とが組み合わされた複数のルールが、順序付きで並べられたリストである。条件は、例えば、ある特徴量（観測の種類）で表された状態（または、観測値）が、判定基準（閾値）以上である、判定基準未満である、又は、判定基準と一致する、といったように表現される。状態が与えられた場合、動作決定部１０８は、この決定リストを順にたどり、条件に適合する最初のルールを採用し、そのルールの動作を、対象１７０に対して実行すべき動作として決定する。なお、ルールの詳細については、図７を参照しながら後述する。

【0019】

例えば、図５の例では、決定リスト（方策）は、ルール＃１～＃ＩのＩ個（Ｉ個；Ｉは２以上の整数）のルールで構成されている。そして、決定リストにおいて、これらのルール＃１～＃Ｉの順序が定められている。図５の例では、１番目のルールがルール＃２であり、２番目のルールがルール＃５であり、Ｉ番目のルールがルール＃４である。ある状態が与えられた場合、動作決定部１０８は、その状態がルール＃２の条件に適合するか否かを判定する。与えられた状態がルール＃２の条件に適合する場合、動作決定部１０８は、ルール＃２に対応する動作を、対象１７０に対して実行すべき動作として決定する。一方、与えられた状態がルール＃２の条件に適合しない場合、動作決定部１０８は、その状態がルール＃２の次のルール＃５の条件に適合するか否かを判定する。そして、与えられた状態がルール＃５の条件に適合する場合、ルール＃５に対応する動作を、対象１７０に対して実行すべき動作として決定する。以降の順序のルールについても同様である。

【0020】

たとえば、対象１７０が自動運転車両等の車両である場合、動作決定部１０８は、たとえば、エンジンの回転数や、車両の速度や、周囲の状況等の観測値（特徴量の値）を取得する。動作決定部１０８は、これらの観測値（特徴量の値）に基づき、上述したような処理を実行することによって、動作を決定する。具体的には、動作決定部１０８は、ハンドルを右に回す、アクセルを踏む、ブレーキを踏む等の動作を決定する。制御部５２は、動作決定部１０８によって決定された動作に従い、アクセル、ハンドル、または、ブレーキを制御する。

【0021】

また、たとえば、対象１７０が発電機である場合、動作決定部１０８は、たとえば、タービンの回転数や、燃焼炉の温度や、燃焼炉の圧力等の観測値（特徴量の値）を取得する。動作決定部１０８は、これらの観測値（特徴量の値）に基づき、上述したような処理を実行することによって、動作を決定する。具体的には、動作決定部１０８は、燃料の量を増やす、燃料の量を減らす等の動作を決定する。制御部５２は、動作決定部１０８によって決定された動作に従い、燃料の量を調整するバルブを閉める、あるいは、バルブを開く等の制御を実行する。

【0022】

以降の説明においては、観測の種類（速度、回転数等）を、特徴量と表し、当該種類に関して観測された値を、特徴量の値と表すこともある。方策作成装置１００は、決定した動作の質（ｑｕａｌｉｔｙ）に関する高低を表す評価情報を取得する。方策作成装置１００は、取得した評価情報に基づき、質の高い方策を選択する。評価情報については後述する。

【0023】

図６は、第１の実施形態に係る対象１７０の一例を概念的に表す図である。図６を参照しながら本願明細書にて用いる用語について説明する。図６に例示された対象１７０は、棒状の振り子と、振り子に対してトルクを加えることが可能な回転軸とを含む。状態Ｉは、対象１７０の初期状態を表し、振り子が回転軸の下方に存在している。状態ＶＩは、対象１７０の終了状態を表し、振り子が回転軸の上方に倒立して存在している。動作Ａ乃至動作Ｆは、振り子に対してトルクを加える力を表している。また、状態Ｉ乃至状態ＶＩは、対象１７０の状態を表している。また、対象１７０の状態について、第１状態から第２状態に至るまでの各状態を総称して、「エピソード」と表す。エピソード（ｅｐｉｓｏｄｅ）は、必ずしも、初期状態から終了状態までの各状態を表していなくともよく、たとえば、状態ＩＩから状態ＩＩＩまでの各状態、または、状態ＩＩＩから状態ＶＩまでの各状態を表していてもよい。

【0024】

方策作成装置１００は、たとえば、状態Ｉから開始して状態ＶＩを実現し得る一連の動作を決定する方策（図５に例示）を、動作に対する動作評価情報に基づき作成する。なお、方策作成装置１００が方策を作成する処理については、図２等を参照しながら後述する。なお、本実施の形態において、方策は、決定リストといったリスト形式で表わされるので、ユーザによって視認性の良いものであるといえる。

【0025】

次に、方策作成装置１００の各構成要素の具体的な処理について、図２～図４を用いて説明する。
図２は、方策作成装置１００によって実行される方策作成方法を示すフローチャートである。ルール作成部１０２は、予め定められた（所定の）ルール作成基準に従って、Ｎ個（Ｎは予め定められた２以上の整数）のルールパラメータベクトルθを生成する（ステップＳ１０４）。Ｓ１０４の具体的な処理については、図３を用いて後述する。

【0026】

ここで、ルール作成基準は、例えば一様分布、ガウス分布等の確率分布であってもよい。ルール作成基準は、後述するような処理を実行することによって算出されるパラメータに基づく分布であってもよい。また、ルールパラメータベクトルθ（ルールパラメータ）は、ルールの特徴を表すパラメータであり得る。ルールパラメータベクトルθ（θ^（１）～θ^（ｎ）～θ^（Ｎ））については後述する。なお、ｎは、各ルールパラメータベクトル（及び後述するルールセット）を識別するインデックスであり、１～Ｎの整数である。なお、最初のＳ１０４の処理では、分布のパラメータ（平均値及び標準偏差等）は、任意の（たとえば、ランダムな）値であり得る。

【0027】

次に、方策作成装置１００は、ｎを初期化する（つまりｎ＝１とする）（ステップＳ１０６）。そして、ルール作成部１０２は、ルールパラメータベクトルθ⁽ⁿ⁾からルールセット＃ｎを作成する（ステップＳ１０８）。よって、ルールは、所定のルール作成基準に従うルールパラメータの集合で表される。なお、１回目のＳ１０８の処理では、ｎ＝１である。また、後述するように、ルールセット＃ｎは、ルールパラメータベクトルθ⁽ⁿ⁾から一意に生成され得る。

【0028】

図７は、第１の実施の形態にかかるルール作成部１０２によって作成されるルールセット＃ｎを例示する図である。ルールセット＃ｎは、Ｉ個のルール＃１～＃Ｉで構成されている。言い換えると、ルールセットは、複数のルールを含む。上述したように、各ルール＃ｉ（ｉは１～Ｉの整数）は、状態に対応する特徴量が判定基準に適合する条件と、その条件に適合する場合に実行すべき動作（制御量）とを含む。図７に示す例において、該条件は、「ＩＦ」と「ＴＨＥＮ」との間に示されている。該動作は、「ＴＨＥＮ」の右側に示されている。

【0029】

例えば、図７に示す例において、ルール＃１は、「ＩＦ（ｆｅａｔ＿１＞θｔ１）ＴＨＥＮ ａｃｔｉｏｎ＝θａ１」なるルールに対応する。このルールは、特徴量ｆｅａｔ＿１が判定基準θｔ１を上回る場合に、対象１７０に関して動作θａ１（パラメータθａ１に対応する動作）を施すことを表している。ルール＃１において、条件は、（ｆｅａｔ＿１＞θｔ１）である。ルール＃１において、動作は、（ａｃｔｉｏｎ＝θａ１）である。
また、ルール＃２は、「ＩＦ（ｆｅａｔ＿１＞θｔ２ ＡＮＤ ｆｅａｔ＿２＜θｔ３）ＴＨＥＮ ａｃｔｉｏｎ＝θａ２」なるルールに対応する。このルールは、特徴量ｆｅａｔ＿１が判定基準θｔ２を上回り、且つ、特徴量ｆｅａｔ＿２が判定基準θｔ３を下回る場合に、対象１７０に関して動作θａ２（パラメータθａ２に対応する動作）を施すことを表している。ルール＃２において、条件は、（ｆｅａｔ＿１＞θｔ２ ＡＮＤ ｆｅａｔ＿２＜θｔ３）である。ルール＃２において、動作は、（ａｃｔｉｏｎ＝θａ２）である。

【0030】

なお、図７に例示されているルールの他に、条件が閾値ではなく値そのものや状態の判別で表記される、「ＩＦ（ｆｅａｔ＿３＝θｔ４）ＴＨＥＮ ａｃｔｉｏｎ＝θａ３」などといったルールを含んでいてもよい。また、本実施形態においては、判定する対象である特徴量（すなわち、観測の種類）は、ルールセットにあらかじめ設定されているとする。ルールセットにおいて特徴量に設定される観測の種類は、すべての種類であってもよいし、一部の種類であってもよい。しかし、ルール作成部１０２は、上述したような確率分布を用いて、特徴量を設定してもよい。すなわち、ルールは、図７に例示される例に限定されない。動作θａは、例えば、制御する対象の値（制御量、制御値）であってもよい。例えば、制御対象が車両の速度である場合、動作θａは、車両の速度値に対応し得る。また、制御対象が倒立振り子（図６）である場合、動作θａは、振り子に対して加えるトルク（力）の大きさに対応し得る。

【0031】

上述したように、ルールは、対象の状態を判定する条件と、当該状態における動作との組み合わせによって表されている。言いかえると、ルールは、対象に関して施す動作の要否を判定する条件と、該条件が成り立つ場合に実施する動作との組み合わせによって表されているということもできる。

【0032】

ここで、ルールセット＃ｎにおけるルール＃１～＃Ｉのインデックス＃１～＃Ｉは、決定リストにおいて条件判断を行う順序を示すものではなく、任意に設定されたものである。また、各ルールセット＃ｎにおけるルール＃１～＃Ｉの順序は固定されていてもよい。したがって、全てのルールセット＃ｎは、ルール＃１～＃Ｉを、この順で有し得る。さらに、全てのルールセット＃ｎにおいて、各ルール＃ｉの枠組みは固定されており、判定基準θｔ及び動作θａのみが可変であるとする。言い換えると、各ルールセット＃ｎにおいて、判定基準θｔ及び動作θａを除き、含まれるルール＃１～＃Ｉは同じである。つまり、特徴量ｆｅａｔ＿ｍ（ｍは２以上の整数であり、特徴量を表すインデックス）及び特徴量に関する不等号は、全てのルールセット＃ｎのルール＃１～＃Ｉごとに固定されているとする。
上述したように、ルール作成部１０２は、上述したような確率分布を用いて、特徴量を設定してもよい。

【0033】

図７に示す例では、全てのルールセット＃ｎにかかるルール＃１は、条件の一部「特徴量ｆｅａｔ＿１＞」を含むが、その判定基準θｔ１は、ルールセット＃ｎごとに異なり得る。同様に、全てのルールセット＃ｎにかかるルール＃１における動作θａ１は、ルールセット＃ｎごとに異なり得る。また、全てのルールセット＃ｎにかかるルール＃２は、条件の一部「特徴量ｆｅａｔ＿１＞」及び「ｆｅａｔ＿２＜」を含むが、それらの判定基準θｔ２及びθｔ３は、ルールセット＃ｎごとに異なり得る。同様に、全てのルールセット＃ｎにかかるルール＃２における動作θａ２は、ルールセット＃ｎごとに異なり得る。

【0034】

そして、Ｓ１０４の処理で生成されるルールパラメータベクトルθは、ルール＃１～＃Ｉにおける上述した可変のパラメータ（ルールパラメータθｔ，θａ）を成分とするベクトルである。例えば、ルールパラメータベクトルθは、ルール＃１から順にルールパラメータθｔ，θａを成分とするベクトルである。したがって、ルールパラメータベクトルθ（ルールパラメータ）は、ルールの特徴を表すパラメータであるといえる。

【0035】

また、図７の例では、ルールパラメータベクトルθ^（ｎ）は、たとえば、以下の式１で表わされる。
（式１）
θ^（ｎ）＝（θｔ１，θａ１，θｔ２，θｔ３，θａ２，・・・）

【0036】

上記の式１において、「θｔ１，θａ１」は、ルール＃１に関する成分であり、「θｔ２，θｔ３，θａ２」は、ルール＃２に関する成分である。なお、ルール数Ｉが大きくなると、ルールパラメータベクトルθのサイズ（成分数）も大きくなる。ここで、上述したように、ルールパラメータは、ガウス分布等の分布（確率分布等）によって生成され得る。したがって、ルール作成部１０２は、条件と動作とがランダムに組み合わされたルールを作成し得る。

【0037】

順序パラメータ算出部１０４は、ルールパラメータベクトルθを用いて、各ルール＃１～＃Ｉに関する順序パラメータを算出する（ステップＳ１１０）。具体的には、順序パラメータ算出部１０４は、ルールセット＃ｎごとに、対応するルールパラメータベクトルθ^（ｎ）を用いて、順序パラメータを算出する。ここで、順序パラメータは、ルールセット＃ｎを構成するルール＃１～＃Ｉの、決定リスト＃ｎにおける順序を決定するためのパラメータである。また、順序パラメータは、各ルール＃１～＃Ｉごとの重みを示してもよい。そして、順序パラメータ算出部１０４は、各ルール＃１～＃Ｉごとの順序パラメータを成分とする順序パラメータベクトルを出力する。順序パラメータについては、図８乃至図１０を参照しながら、第２の実施形態にて後述する。

【0038】

例えば、順序パラメータ算出部１０４は、ニューラルネットワーク（Neural Network：ＮＮ）等のモデルを用いて、順序パラメータを算出する。つまり、順序パラメータ算出部１０４は、ニューラルネットワーク等のモデルにルールパラメータベクトルθ^（ｎ）を入力することで、ルールセット＃ｎに対応する決定リスト＃ｎにおけるルール＃１～＃Ｉの順序を決定するための順序パラメータを算出する。したがって、順序パラメータ算出部１０４は、ルールパラメータベクトルθを入力として順序パラメータを出力する関数近似器として機能する。後述するように、ニューラルネットワーク等のモデルは、たとえば、損失関数に基づき更新され得る。強化学習の場合に、このモデルは、該順序パラメータに基づき決定される方策（すなわち、順序付けされたルールセット）に従いアクションを決定することによって達成される報酬に基づき更新されてもよい。

【0039】

順序パラメータ算出部１０４は、報酬を最大化するように、ニューラルネットワークのパラメータ（重み）を更新してもよい。強化学習の場合に、該損失関数は、たとえば、報酬が高いほど小さな値であり、該報酬が低いほど大きな値である関数である。順序パラメータ算出部１０４は、たとえば、該パラメータに基づき各ルールに関する順序パラメータを決定し、決定した順序パラメータに基づき該ルールの順序を決める。言い換えると、順序パラメータ算出部１０４は、順序付けされたルール（すなわち、方策）を決定する。順序パラメータ算出部１０４は、決定した方策に従い動作を決定し、決定した動作によって得られる（達成される）報酬を算出する。そして、順序パラメータ算出部１０４は、所望の報酬と、算出した該報酬との差異が減少する場合におけるパラメータを算出する。また、順序パラメータ算出部１０４は、算出した該報酬が増大する場合におけるパラメータを算出するともいうことができる。言い換えると、順序パラメータ算出部１０４は、決定した方策に従い対象１７０に対して動作を施した後における対象１７０の状態を評価し、その評価結果に基づき該パラメータを更新する。

【0040】

順序パラメータ算出部１０４は、たとえば、勾配降下法等のパラメータを算出する手順に従い処理を実行することによって、該パラメータを更新してもよい。順序パラメータ算出部１０４は、たとえば、二次形式（ｑｕａｄｒａｔｉｃ ｆｏｒｍ）にて表される損失関数を最小化する場合のパラメータの値を算出する。該損失関数は、動作の質が大きいほど小さな値であり、動作の質が小さいほど大きな値である関数である。該損失関数は、報酬が高いほど小さな値であり、該報酬が低いほど大きな値である関数である。

【0041】

順序パラメータ算出部１０４は、たとえば、該損失関数の勾配を計算し、該勾配に沿って損失関数の値が小さくなる（または、最小となる）場合におけるパラメータの値を算出する。順序パラメータ算出部１０４は、このような処理を実行することによって、ニューラルネットワークのモデルを更新する。これにより、各方策について決定された動作が実行されてその動作の質が評価されるにつれて、順序パラメータ算出部１０４におけるモデルは、決定リストにおけるルール＃１～＃Ｉの順序をより適したものとなるような、順序パラメータを算出することができる。

【0042】

順序パラメータ算出部１０４は、パラメータを更新する処理を繰り返し実行してもよい。パラメータを更新する処理によって、あるルールパラメータベクトルθに従いルールセット作成する場合に、順序パラメータの質を向上することができるという効果を奏する。

【0043】

順序決定部１０６は、算出した順序パラメータに基づき、ルールセット＃ｎを構成するルール＃１～＃Ｉの順序を決定する（ステップＳ１２０）。これにより、順序決定部１０６は、ルール＃１～＃Ｉの順序が決定された、ルールセット＃ｎに対応する決定リスト＃ｎを作成する。言い換えると、順序決定部１０６は、決定リスト＃ｎで表わされた方策＃ｎを作成する。具体的には、順序決定部１０６は、順序パラメータ算出部１０４によって出力された順序パラメータベクトルを用いて、ルールセット＃ｎを構成するルール＃１～＃Ｉの順序を決定する。そして、順序決定部１０６は、その決定された順序でルール＃１～＃Ｉを並び替えることで、決定リスト＃ｎを生成する。この順序決定部１０６のより詳細な処理については、第２の実施形態にて後述する。

【0044】

次に、動作決定部１０８は、順序決定部１０６によって作成された方策（決定リスト）に従い動作を決定する。言い換えると、動作決定部１０８は、決定した順序に従い、ルールにおける条件が成り立つか否かを判定し、条件が成り立つ場合の動作を決定する。方策評価部１１０は、決定された動作の質に基づき、当該方策の質を評価する（ステップＳ１３０）。このとき、方策評価情報記憶部１２６は、方策を示す識別子＃ｎと方策の質を示す評価情報とを、対応付けて記憶する。例えば、決定リスト＃１に対応する方策＃１を示す識別子＃１と評価情報とが、対応付けて記憶される。

【0045】

なお、方策評価部１１０は、方策の質として、各方策の適合度を算出してもよい。適合度については、図４を参照しながら後述する。方策評価部１１０は、順序決定部１０６によって作成された各方策に関して、当該方策の質を評価する。ステップＳ１３０における処理において、方策評価部１１０は、たとえば、図６を参照しながら上述したようなエピソードに含まれている状態の質に基づき、当該動作の質を決定してもよい。図６を参照しながら上述したように、ある状態にて施される動作は、対象１７０における次状態と対応付けすることが可能である。このため、方策評価部１１０は、状態（次状態）の質を、当該状態（次状態）を実現する動作の質として用いてもよい。状態の質は、たとえば、図６に例示されているような倒立振り子の例においては、目標状態（たとえば、終了状態；倒立状態）と、当該状態との差異を表す値によって表すことができる。なお、ステップＳ１３０における処理の詳細については、図４を参照しながら後述する。

【0046】

方策作成装置１００は、ｎを１つインクリメントする（ステップＳ１４２）。そして、方策作成装置１００は、ｎがＮを超えたか否かを判定する（ステップＳ１４４）。つまり、方策作成装置１００は、全てのルールパラメータベクトルθ（１）～θ^（Ｎ）に関するルールセット＃１～＃Ｎについて方策が作成され、その方策の質が評価されたか否かを判定する。ｎがＮを超えていない場合、つまり全ての方策について処理が終わっていない場合（Ｓ１４４のＮＯ）、処理はＳ１０８に戻り、Ｓ１０８～Ｓ１４２の処理が繰り返される。これにより、次の方策が作成され、その方策の質が評価される。一方、ｎがＮを超えた場合、つまり全ての方策について処理が終わった場合（Ｓ１４４のＹＥＳ）、処理はＳ１５６に進む。

【0047】

方策選択部１２０は、方策評価部１１０によって評価された質に基づき、複数の方策（決定リスト）の中から、質が高い方策（決定リスト）を選択する（ステップＳ１５６）。方策選択部１２０は、たとえば、複数の方策の中から、当該質（適合度）が上位である方策（決定リスト）を選択する。または、方策選択部１２０は、たとえば、複数の方策の中から、当該質が平均以上である方策を選択する。または、方策選択部１２０は、たとえば、複数の方策の中から、当該質が所望の質以上である方策を選択する。あるいは、方策選択部１２０は、ステップＳ１０８からステップＳ１５４（又はＳ１５２）までの繰り返しにおいて作成された方策の中から、最も質が高い方策を選択してもよい。なお、方策を選択する処理は、上述した例に限定されない。

【0048】

次に、基準更新部１２２は、ステップＳ１０４にてルールパラメータベクトルθを生成する基であるルール作成基準を更新する（ステップＳ１５８）。基準更新部１２２は、たとえば、方策選択部１２０によって選択された方策に含まれる各パラメータに関して、当該パラメータ値の平均と標準偏差とを算出することによって、分布（ルール作成基準）を更新してもよい。すなわち、基準更新部１２２は、方策選択部１２０によって選択された方策を表すルールパラメータを用いて、当該ルールパラメータに関する分布を更新する。基準更新部１２２は、例えば、クロスエントロピー手法を用いて分布を更新してもよい。

【0049】

ステップＳ１０２（ループ開始）からステップＳ１６０（ループ終了）までの繰り返し処理は、たとえば、所与の反復回数分繰り返されてもよい。または、当該繰り返し処理は、方策の質が所望の基準以上になるまで繰り返されてもよい。ステップＳ１０２からステップＳ１６０までの処理を繰り返し実行することによって、ルールパラメータベクトルθを作成する基である分布（ルール作成基準）は、次第に、対象１７０に関する観測値を反映した分布に近付いていく傾向がある。したがって、本実施形態にかかる方策作成装置１００は、対象１７０に応じた方策を作成することができる。

【0050】

なお、動作決定部１０８は、対象１７０の状態を表す観測値を入力し、入力した観測値と、最も質が高い方策とに従い、対象１７０に関して施す動作を決定してもよい。制御部５２は、さらに、動作決定部１０８が決定した動作に従い、対象１７０に関して施す動作を制御してもよい。

【0051】

次に、図３を用いて、ルールパラメータベクトルθを生成する処理（図２のＳ１０４）について説明する。
図３は、第１の実施形態に係るルール作成部１０２における処理を示すフローチャートである。ルール作成部１０２は、図７においてルールパラメータθｔ，θａの値が入力されていない初期状態のルールパラメータベクトルθを入力する（ステップＳ１０４Ａ）。ここで、上述したように、各ルールリストにおけるルール＃１～＃Ｉの枠組みは固定されているので、ルールパラメータベクトルθにおいてどの成分にどのルールのどの値（判定基準又は動作）が入力されるのかは、予め定められている。

【0052】

次に、ルール作成部１０２は、ルール作成基準を用いて、特徴量に関する判定基準θｔを算出する（ステップＳ１０４Ｂ）。また、ルール作成部１０２は、ルール作成基準を用いて、条件ごとに動作θａを算出する（ステップＳ１０４Ｃ）。ルール作成部１０２は、ルール作成基準に従って、ルールにおける条件、及び、動作のうち少なくとも１つ決定してもよい。また、対象１７０に関する複数の観測の種類のうち、少なくとも一部の観測の種類が予め特徴量に設定されていてもよい。当該処理によって、特徴量を決定する処理を実施する必要がなくなるため、ルール作成部１０２における処理量を減らすことができるという効果を奏する。

【0053】

具体的には、ルール作成部１０２は、ルールパラメータ（判定基準θｔ及び動作θａ）を決定するためのルール決定パラメータΘの値を、ある分布（例えば確率分布）に従って与える。ルール決定パラメータが従う分布は、例えばガウス分布であってもよい。あるいは、ルール決定パラメータが従う分布は、必ずしもガウス分布である必要はなく、一様分布、二項分布、または、多項分布等の分布であってもよい。また、各ルール決定パラメータに関する分布は、互いに同じ分布である必要はなく、ルール決定パラメータごとに異なる分布であってもよい。例えば、判定基準θｔを決定するためのパラメータΘ_ｔが従う分布（ルール作成基準）と動作θａを決定するためのパラメータΘ_ａが従う分布（ルール作成基準）とは、互いに異なってもよい。または、各ルール決定パラメータに関する分布は、平均、及び、標準偏差が相互に異なる分布であってもよい。すなわち、当該分布は、上述した例に限定されない。以下の例では、各ルール決定パラメータ（ルールパラメータ）がガウス分布に従うとする。

【0054】

次に、ある分布に従い、各ルール決定パラメータ（ルールパラメータ）の値を算出する処理について説明する。説明の便宜上、あるルール決定パラメータに関する分布が、平均がμであり、標準偏差がσであるガウス分布であるとする。ただし、μは実数であり、σは正の実数であるとする。また、μ、及び、σは、ルール決定パラメータごとに異なる値であってもよいし、同じ値であってもよい。

【0055】

ルール作成部１０２は、上述したＳ１０４Ｂ，Ｓ１０４Ｃの処理において、ガウス分布に従い、ルール決定パラメータの値（ルール決定パラメータ値）を算出する。ルール作成部１０２は、たとえば、当該ガウス分布に従い、各ルール決定パラメータ値（Θ_ｔ及びΘ_ａ）をランダムに１つ作成する。ルール作成部１０２は、たとえば、乱数、または、ある乱数種を用いた擬似乱数を用いて、当該ガウス分布に従った値となるよう、ルール決定パラメータ値を算出する。言い換えると、ルール作成部１０２は、当該ガウス分布に従った乱数を、ルール決定パラメータの値として算出する。このように、ルールセットを予め定められた分布に従うルール決定パラメータで表現し、分布に従って各ルール決定パラメータを算出することでルールセットにおけるルール（判定基準θｔ及び動作θａ）を決定する。そして、これらのルールを並び替えることによって、より効率的に、決定リスト（方策）を表現することができる。なお、ルールパラメータベクトルθの代わりに、Θを成分とするルール決定パラメータベクトルを、順序パラメータ算出部１０４の入力としてもよい。したがって、ルール決定パラメータ（ルール決定パラメータベクトル）は、ルールパラメータ（ルールパラメータベクトル）の一種であるといえる。

【0056】

ルール作成部１０２は、判定基準θｔを算出する（Ｓ１０４Ｂ）。具体的には、ルール作成部１０２は、判定基準θｔを決定するためのルール決定パラメータΘ_ｔを算出する。このとき、ルール作成部１０２は、図７のθｔ１，θｔ２のような複数の判定基準θｔ（θｔに関するルール決定パラメータΘ_ｔ）を、互いに異なるガウス分布（つまり平均値及び標準偏差の少なくとも一方が異なるガウス分布）に従うように算出してもよい。したがって、θｔ１が従う分布は、θｔ２が従う分布と異なり得る。

【0057】

ルール作成部１０２は、算出した値Θ_ｔに対して、以下の式２に示す処理を実行することによって、特徴量に関する判定基準θｔを算出する。
（式２）
θｔ＝（Ｖ_ｍａｘ－Ｖ_ｍｉｎ）×ｇ（Θ_ｔ）＋Ｖ_ｍｉｎ

【0058】

ただし、Ｖ_ｍｉｎは、特徴量に関して観測された値の最小値を表す。Ｖ_ｍａｘは、特徴量に関して観測された値の最大値を表す。ｇ（ｘ）は、実数ｘに対して、０から１までの値を与える関数であって、単調に変化する関数を表す。ｇ（ｘ）は、活性化関数とも呼ばれ、たとえば、シグモイド（ｓｉｇｍｏｉｄ）関数によって実現される。

【0059】

したがって、ルール作成部１０２は、ガウス分布等の分布に従ってパラメータΘ_ｔの値を算出する。そして、式２で示すように、ルール作成部１０２は、パラメータΘ_ｔの値を用いて、特徴量に関する観測値の範囲（この例では、Ｖ_ｍｉｎからＶ_ｍａｘまでの範囲）から、当該特徴量に関する判定基準θｔ（例えば閾値）を算出する。

【0060】

次に、ルール作成部１０２は、条件（ルール）ごとに、動作θａ（状態）を算出する（ステップＳ１０４Ｃ）。ここで、動作には、連続値で示される場合と、離散値で示される場合とがある。連続値である場合は、動作を示す値θａは、対象１７０の制御値であってもよい。例えば、対象１７０が図６に示した倒立振り子である場合、トルク値であってもよいし、振り子の角度であってもよい。また、動作が離散値で示される場合、動作を示す値θａは、動作の種類に対応する値であってもよい。

【0061】

まず、動作（状態）が連続値である場合の処理について説明する。ルール作成部１０２は、ある動作θａに関して、ガウス分布等の分布（確率分布）に従った値Θ_ａを算出する。このとき、ルール作成部１０２は、図７のθａ１，θａ２のような複数の動作θａ（θａに関するルール決定パラメータΘ_ａ）を、互いに異なるガウス分布（つまり平均値及び標準偏差の少なくとも一方が異なるガウス分布）に従うように算出してもよい。したがって、θａ１が従う分布は、θａ２が従う分布と異なり得る。

【0062】

ルール作成部１０２は、算出した値Θ_ａに対して、以下の式３に示す処理を実行することによって、ある条件（ルール）に関する動作を表す動作値θａを算出する。
（式３）
θａ＝（Ｕ_ｍａｘ－Ｕ_ｍｉｎ）×ｈ（Θ_ａ）＋Ｕ_ｍｉｎ

【0063】

ただし、Ｕ_ｍｉｎは、ある動作（状態）を表す値の最小値を表す。Ｕ_ｍａｘは、ある動作（状態）を表す値の最大値を表す。Ｕ_ｍｉｎ及びＵ_ｍａｘは、例えばユーザによって予め定められてもよい。ｈ（ｘ）は、実数ｘに対して、０から１までの値を与える関数であって、単調に変化する関数を表す。ｈ（ｘ）は、活性化関数とも呼ばれ、たとえば、シグモイド関数によって実現されてもよい。

【0064】

したがって、ルール作成部１０２は、ガウス分布等の分布に従ってパラメータΘ_ａの値を算出する。そして、式３で示すように、ルール作成部１０２は、パラメータΘ_ａの値を用いて、観測値の範囲（この例では、Ｕ_ｍｉｎからＵ_ｍａｘまでの範囲）から、あるルールにおける動作を示す１つの動作値θａを算出する。このような処理を、ルール作成部１０２は、各動作に関して実行する。

【0065】

なお、ルール作成部１０２は、上記の式３の「Ｕ_ｍａｘ－Ｕ_ｍｉｎ」について、予め定められた値を用いなくてもよい。ルール作成部１０２は、動作に関する動作値の履歴から、最大の動作値をＵ_ｍａｘとし、最小の動作値をＵ_ｍｉｎとして決定してもよい。あるいは、動作が「状態」で定義されている場合、ルール作成部１０２は、状態を表す観測値の履歴における最大値及び最小値から、ルールにおいて次状態を示す値（状態値）の範囲を決定してもよい。このような処理によって、ルール作成部１０２は、対象１７０の状態を判定するルールに含まれている動作を、効率よく決定することができる。

【0066】

次に、動作（状態）が離散値である場合の処理について説明する。説明の便宜上、対象１７０に関してＡ種類の動作（状態）があるとする（但し、Ａは自然数）。つまり、あるルールに対する動作の候補がＡ種類あることになる。ルール作成部１０２は、（ルール数Ｉ×Ａ）個のパラメータΘ_ａの値を、それぞれ、ガウス分布等の分布（確率分布）に従うように算出する。なお、ルール作成部１０２は、（Ｉ×Ａ）個それぞれのパラメータΘ_ａを、互いに異なるガウス分布（つまり平均値及び標準偏差の少なくとも一方が異なるガウス分布）に従うように算出してもよい。

【0067】

ルール作成部１０２は、あるルールにおける動作を決定する場合に、パラメータΘ_ａからあるルールに対応するＡ個のパラメータを確認する。そして、ルール作成部１０２は、当該動作（状態）に対応するパラメータ値の中で、ある規則、例えば最も大きい値を選択するという規則に対応する動作（状態）を決定する。例えば、ルール＃１のパラメータΘ_ａ ^{（１，１）}～Θ_ａ ^{（１，Ａ）}においてΘ_ａ ^{（１，２）}の値が最も大きい場合、ルール作成部１０２は、ルール＃１における動作として、Θ_ａ ^{（１，２）}に対応する動作を決定する。

【0068】

図３に示されたＳ１０４Ａ～ステップＳ１０４Ｃにおける処理の結果、ルール作成部１０２は、１つのルールパラメータベクトルθ（ルールセット）を作成する。ルール作成部１０２は、そのような処理を繰り返し実行することによって、複数のルールパラメータベクトルθ（ルールセット）を作成する。なお、ルールパラメータはガウス分布等の分布（確率分布）に従ってランダムに算出されるので、複数のルールセットそれぞれにおいて、各ルールパラメータの値は異なり得る。つまり、ルール作成部１０２は、条件と動作とがランダムに組み合わされたルールを作成する。したがって、効率的に異なる複数のルールセットが作成され得る。条件と動作とがランダムに組み合わされたルールを作成する処理によってルールが偏ることを軽減することができるため、たとえば、制御装置５０は、対象１７０の動作を的確に制御することができるという効果を奏する。

【0069】

次に、図４を用いて、方策評価部１１０が方策の質を評価する処理（図２のＳ１３０）について説明する。
図４は、第１の実施形態に係る方策評価部１１０における処理を示すフローチャートである。ここで、作成された複数の方策（決定リスト）それぞれについて、図４のフローチャートの処理が実行される。

【0070】

動作決定部１０８は、対象１７０に関して観測された観測値（状態値）を取得する。そして、動作決定部１０８は、取得した観測値（状態値）に対して、図２のＳ１２０の処理によって作成された方策の１つに従って、当該状態における動作を決定する（ステップＳ１３２）。つまり、動作決定部１０８は、対象１７０の動作を制御する制御値を、対象１７０の状態と、作成された方策とを用いて決定し、決定された制御値に従って動作を実行するように指示を行う。

【0071】

次に、動作評価部１１２は、動作決定部１０８によって決定された動作に関する評価値を表す評価情報を受け取ることによって、動作の評価値を決定する（ステップＳ１３４）。動作評価部１１２は、所望の状態と、当該動作によって生じる状態との差異に従い、当該動作に関する評価値を作成することによって、動作の評価値を決定してもよい。この場合、動作評価部１１２は、たとえば、当該差異が大きいほど動作に関する質が低く、当該差異が小さいほど動作に関する質が高いことを表す評価値を作成する。そして、動作評価部１１２は、複数の状態を含むエピソードに関して、各状態を実現する動作の質を、それぞれ決定する（ステップＳ１３１～ステップＳ１３６に示されたループ）。

【0072】

次に、総合評価部１１４は、各動作に関する評価値の合計を算出する。すなわち、総合評価部１１４は、当該方策に従い決定した一連の動作に対する合計値を算出することによって、当該方策に関する適合度を算出する（ステップＳ１３８）。これにより、総合評価部１１４は、１つのエピソードについての当該方策に関する適合度（評価値）を算出する。なお、総合評価部１１４は、方策に関して算出された適合度（すなわち、当該方策の質）と、当該方策を表す識別子とが関連付けされた評価情報を作成し、作成した方策評価情報を方策評価情報記憶部１２６に格納してもよい。

【0073】

なお、方策評価部１１０は、図４に例示した処理を複数のエピソードそれぞれに関して実行し、その平均値を算出することによって、当該方策の適合度（評価値）を算出してもよい。また、動作決定部１０８は、次の状態を実現する動作を先に決定してもよい。すなわち、動作決定部１０８が、先に、エピソードに含まれている動作を、当該方策に従って全て求め、動作評価部１１２が、当該エピソードに含まれている状態の評価値を決める処理を実行してもよい。

【0074】

具体例を参照しながら、図４に示された処理について説明する。説明の便宜上、１エピソードは、２００ステップ（すなわち、２０１個の状態）で構成されているとする。また、１ステップごとに、各ステップの状態における動作が良好である場合には（＋１）、良好でない場合には（－１）なる評価値であるとする。この場合において、ある方策に従って動作を決定したとき、当該方策に関する評価値（適合度）は、－２００から２００までの値である。動作が良好である場合か否かは、たとえば、所望の状態と、動作によって到達する状態との差異に基づき決定することができる。つまり、所望の状態と、動作によって到達する状態との差異が予め定められた閾値以下である場合に、動作が良好であると判定されてもよい。なお、以降の説明においては、説明の便宜上、評価情報が大きな値であるほど方策の質が高く、評価情報が小さな値であるほど方策の質が低いとする。

【0075】

動作決定部１０８は、評価対象である１つの方策に従い、ある状態に対する動作を決定する。動作決定部１０８は、決定された動作を行うように制御部５２に指示する。制御部５２は、決定された動作を実行する。次に、動作評価部１１２は、動作決定部１０８によって決定された動作に関する評価値を算出する。たとえば、動作評価部１１２は、動作が良好である場合には（＋１）、良好でない場合には（－１）なる評価値を算出する。動作評価部１１２は、２００ステップを含む１エピソードにおける各動作に関して、評価値を算出する。

【0076】

方策評価部１１０において、総合評価部１１４は、各ステップについて算出された評価値の合計値を算出することによって、当該１つの方策に関する適合度を算出する。方策評価部１１０は、たとえば、方策＃１～方策＃４に関して、以下に示すような適合度を算出したとする。
方策＃１：２００
方策＃２：－２００
方策＃３：－４０
方策＃４：１００

【0077】

この場合において、方策選択部１２０は、たとえば、４つの方策のうち、方策評価部１１０によって算出された評価値が上位５０％である２つの方策を選ぶときに、評価値が大きい方策＃１、及び、方策＃４を選択する。つまり、方策選択部１２０は、複数の方策の中から、質が高い方策を選択する（図２のＳ１５６）。

【0078】

基準更新部１２２は、方策選択部１２０によって選択された、質の高い方策に含まれる各ルールパラメータに関して、当該パラメータ値の平均と標準偏差とを算出する。これにより、基準更新部１２２は、各ルールパラメータが従うガウス分布等の分布（ルール作成基準）を更新する（図２のＳ１５８）。そして、更新された分布を用いて、再度、図２の処理が行われる。つまり、ルール作成部１０２は、更新された分布を用いて、図８に示した処理を実行して、新たな複数（Ｎ個）のルールパラメータベクトルθ及びルールセットを作成する。そして、動作決定部１０８は、再度作成されたルールパラメータベクトルθを用いて新たに作成された複数の方策それぞれについて、方策に従う動作を決定する。そして、方策評価部１１０は、新たに作成された複数の方策それぞれについて、評価値（適合度）を決定する。

【0079】

このように、質の高い方策を用いて分布を更新していくので、ルールパラメータが従う分布における平均値μが、より質の高い方策を実現し得るような値に近づき得る。さらに、ルールパラメータが従う分布における標準偏差σが、より小さくなり得る。したがって、分布の幅は、更新されるにつれて、より狭くなり得る。これにより、ルール作成部１０２は、更新された分布を用いることで、より評価値の高い（質の高い）方策に対応するルールパラメータを算出する可能性が高くなる。言い換えると、ルール作成部１０２が、更新された分布を用いてルールパラメータを算出し、そのルールパラメータを用いて算出された順序パラメータを用いて方策（決定リスト）が生成されることで、質の高い方策が作成される可能性が高くなる。したがって、図２に示すような処理を繰り返すことで、方策の評価値が、向上し得る。そして、例えば、このような処理を予め定められた回数繰り返して、得られた複数の方策のうち、評価値が最大となる方策を、対象１７０に関する方策として決定してもよい。これにより、質の高い方策を得ることが可能となる。

【0080】

なお、動作決定部１０８は、方策評価情報記憶部１２６に格納されている方策評価情報の中から、評価値が最も大きな（すなわち、質が最も高い）方策を表す識別子を特定し、特定した識別子が表す方策に従い、当該動作を決定してもよい。つまり、ルール作成部１０２は、新たに複数の方策を作成する際に、例えば、更新された分布を用いて（Ｎ－１）個の方策を作成し、残りの１個を、過去に作成された方策のうちで評価値が最も大きな方策としてもよい。そして、動作決定部１０８は、更新された分布を用いて作成された（Ｎ－１）個の方策と、過去に作成された方策のうちで評価値が最も大きな方策とについて、動作を決定してもよい。このようにすることで、過去に評価値の高かった方策が、分布が更新されていった後であっても評価が比較的高かった場合に、その方策を適切に選択することができる。したがって、質の高い方策をより効率的に作成することが可能となる。

【0081】

また、図６に例示された倒立振り子の例において、動作が良好であるか否かの判定は、当該動作によって生じた状態と、振り子が倒立した状態ＶＩとの差異に基づき行ってもよい。たとえば、当該状態によって生じた状態が状態ＩＩＩであるとすると、状態ＶＩにおける振り子の方向と、状態ＩＩＩにおける振り子の方向とのなす角に基づいて、動作が良好であるか否かの判定を行ってもよい。

【0082】

また、上述した例において、方策評価部１１０は、エピソードに含まれている各状態に基づいて方策を評価した。しかしながら、動作を実行することによって将来到達しうる状態を予測し、予測した状態と、所望の状態との差異を算出することによって、当該方策を評価してもよい。言い換えると、方策評価部１１０は、動作を実行することによって決定される状態に関する評価値の見積もり値（または、期待値）に基づき、方策を評価してもよい。また、方策評価部１１０は、ある方策に関して、複数のエピソードを用いて図４に示された処理を繰り返し実行することによって、各エピソードに関する方策の評価値を算出し、その平均値（中央値等）を、適合度として算出してもよい。すなわち、方策評価部１１０が実行する処理は上述した例に限定されない。

【0083】

次に、第１の実施形態に係る方策作成装置１００に関する効果について説明する。第１の実施形態に係る方策作成装置１００によれば、質が高くかつ、視認性が高い方策を作成することができる。この理由は、方策作成装置１００が、所定の個数のルールを含む決定リストで構成された方策を、対象１７０に適合するように作成するからである。

【0084】

また、本実施形態にかかる方策作成装置１００によれば、順序パラメータ算出部１０４が順序パラメータを算出し、順序決定部１０６は、この順序パラメータに応じて、ルールセットにおけるルールの順序を決定するように構成されている。これにより、ルールの順序が適切に決定された決定リスト（方策）を作成することが可能となる。

【0085】

さらに、本実施形態にかかる方策作成装置１００によれば、ルール作成部１０２が、ルール作成基準に従ってルールパラメータの値を算出し、順序パラメータ算出部１０４が、ルールパラメータに応じて、順序パラメータを算出するように構成されている。ここで、上述したように、ルールパラメータは、ルールの特徴を表すパラメータであり得る。これにより、順序パラメータ算出部１０４は、ルールの特徴に応じた順序パラメータを算出できるので、ルールの特徴に応じた順序の決定リストを作成すること可能となる。

【0086】

さらに、本実施形態にかかる方策作成装置１００によれば、順序パラメータ算出部１０４は、動作の質が最大となるように（または、動作の質が増大するように）、モデルを更新する。これにより、方策作成装置１００（順序決定部１０６）は、良好な質を実現可能な決定リストを、より確実に作成することができる。

【0087】

なお、「対象１７０の状態」という言葉を用いて、方策作成装置１００における処理を説明したが、状態は、必ずしも、対象１７０の実際の状態である必要はない。例えば、対象１７０の状態をシミュレーションしたシミュレータによって算出された結果を表す情報であってもよい。この場合、制御部５２は、シミュレータで実現され得る。

【0088】

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、上述した順序パラメータ算出部１０４の処理の詳細について説明する。

【0089】

順序パラメータ算出部１０４は、ルールとそのルールが出現する度合い（程度）を示す順序パラメータとを対応付けたリストを生成する。この順序パラメータは、決定リストにおける特定の位置にルールが出現する度合い（程度）を示す値である。本実施形態の順序パラメータ算出部１０４は、受け付けたルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す順序パラメータつきで割り当てたリストを生成する。以下の説明では、説明の便宜上、順序パラメータを、ルールが決定リスト上に出現する確率（以下、出現確率と記す。）として扱う。そこで、生成されるリストを、以下、確率的決定リストと称する。確率的決定リストについては、図８を用いて後述する。

【0090】

なお、順序パラメータ算出部１０４が決定リスト上の複数の位置にルールを割り当てる方法は任意である。ただし、順序パラメータ算出部１０４が、決定リスト上のルールの順序を適切に更新できるようにするため、各ルールの前後関係を網羅するようにルールを割り当てることが好ましい。したがって、順序パラメータ算出部１０４は、例えば、第一のルールと第二のルールとを割り当てる際に、第一のルールの後に第二のルールを割り当てるとともに、第二のルールの後に第一のルールを割り当てるようにすることが好ましい。なお、順序パラメータ算出部１０４がルールを割り当てる数は、各ルールで一致していてもよいし、異なっていてもよい。

【0091】

また、順序パラメータ算出部１０４は、Ｉ個のルールを含むルールセットＲ（ルールセット＃ｎ）を、個数がδ個となるように複製して連結することにより、長さδ｜Ｉ｜の確率的決定リストを生成してもよい。このように、同一のルールセットを複製して確率的決定リストを生成することで、後述する順序パラメータ算出部１０４による順序パラメータの更新処理を効率化できる。

【0092】

上述する例の場合、ルール＃ｊは、確率的決定リスト中に計δ回出現し、その出現位置は、以下に例示する式４で表される。なお、ｊは、１～Ｉの整数である。
（式４）
π（ｊ，ｄ）＝（ｄ－１）＊｜Ｉ｜＋ｊ （ｄ∈［１，δ］）

【0093】

順序パラメータ算出部１０４は、ルール＃ｊが位置π（ｊ，ｄ）に出現する確率ｐ_{π（ｊ，ｄ）、}を、順序パラメータとして、以下の式５に例示する温度つきソフトマックス関数を用いて計算してもよい。式５において、τは温度パラメータであり、Ｗ_ｊ，ｄは、ルール＃ｊがリスト内の位置π（ｊ，ｄ）に出現する度合い（重み）を表わすパラメータである。また、ｄは、確率的決定リストにおける、ルール＃ｊの出現位置（階層）を示すインデックスである。
（式５）

【数1】

【0094】

このように、順序パラメータ算出部１０４は、式５に例示するソフトマックス関数で定義される出現確率つきで、決定リスト上の複数の位置に各ルールを割り当てた確率的決定リストを生成してもよい。また、上記式５において、パラメータＷ_ｊ，ｄは、［－∞，∞］の範囲の任意の実数である。ただし、ソフトマックス関数によって、確率ｐ_ｊ，ｄは、合計１に正規化される。すなわち、各ルール＃ｎについて、確率的決定リスト内のδ個の位置での出現確率を合計すると１になる。また、式５において、温度パラメータτが０に近づくと、ソフトマックス関数の出力はｏｎｅ－ｈｏｔベクトルに近づく。すなわち、あるルール＃ｊは、ｄ＝１～δのいずれか１つの位置のみ確率が１になり、他の位置では確率が０になり得る。したがって、本実施形態にかかる順序パラメータ算出部１０４は、複数の位置に割り当てられる同一のルールの順序パラメータの合計が１になるように順序パラメータを決定する。

【0095】

図８は、第２の実施形態にかかる順序パラメータ算出部１０４によって算出される確率的決定リストを生成する処理の例を説明する図である。順序パラメータ算出部１０４は、ルール＃１～＃Ｉを構成するルールパラメータベクトルθ^（ｎ）を受け付ける。これにより、順序パラメータ算出部１０４は、ルールセット＃ｎ（Ｒ１）を生成する。さらに、順序パラメータ算出部１０４は、ルールセット＃ｎから、δ個に複製されたルールセット＃ｎを含む確率的決定リスト＃ｎ（Ｒ２）を生成する。

【0096】

さらに、順序パラメータ算出部１０４は、上述したニューラルネットワーク等のモデルを用いて、確率的決定リストＲ２に含まれるルール＃（Ｊ，ｄ）それぞれに対応する順序パラメータＰ_ｊｄを算出する。これにより、順序パラメータ算出部１０４は、以下に示す式６に示すような、成分数Ｉ×δの順序パラメータベクトルｗ^（ｎ）を算出する。
（式６）
ｗ^（ｎ）＝（Ｐ_１１，Ｐ_２１，・・・，Ｐ_Ｉ１，・・・，Ｐ_１δ，Ｐ_２δ，・・・，Ｐ_Ｉδ）

【0097】

上記の式６において、「Ｐ_１１～Ｐ_Ｉ１」は、階層ｄ＝１に関する成分であり、「Ｐ_１δ～Ｐ_Ｉδ」は、階層ｄ＝δに関する成分である。また、各ルール＃ｊについて、ｄ＝１～δの順序パラメータの合計は、１となる。したがって、各ルール＃ｊについて、Σ_ｄ＝１ ^δ（Ｐ_ｊｄ）＝１である。例えば、Ｐ_１１＋Ｐ_１２＋・・・＋Ｐ_１δ＝１であり、Ｐ_２１＋Ｐ_２２＋・・・＋Ｐ_２δ＝１である。

【0098】

そして、順序パラメータ算出部１０４は、算出された順序パラメータＰ_ｊｄを、各ルール＃（ｊ，ｄ）に対応付ける。例えば、図８の例では、順序パラメータ算出部１０４は、ｄ＝１におけるルール＃１（つまりルール＃（１，１））に、順序パラメータＰ_１１を対応付ける。このようにして、順序パラメータ算出部１０４は、確率的決定リストを生成する。

【0099】

動作決定部１０８は、確率的決定リストを用いて、動作を決定する。動作決定部１０８は、状態における動作を決定する際に、確率的決定リストにおいてその条件に適合する最も上位のルールについての動作を、実行すべき動作として決定してもよい。

【0100】

あるいは、動作決定部１０８は、確率的決定リストにおける下位のルールについての動作も考慮して、実施動作を決定してもよい。この場合、動作決定部１０８は、ルール＃１～＃Ｉのうち、その状態に適合する条件を有するルールを全て抽出する。そして、動作決定部１０８は、重み付け線形和により、後続のルールの重みがその上位のルールの重みよりも減少するように重み付けした上で、動作を合計する。この動作の合計を「統合動作」と称する。

【0101】

第２の実施形態において、各ルールに含まれる動作は、互いに同じ制御パラメータであるとする。例えば、対象１７０が倒立振り子である場合、全てのルールについて、動作は「トルク値」であってもよい。また、対象１７０が車両である場合、全てのルールについて、動作は「車両の速度」であってもよい。

【0102】

例えば、図７及び図８の例で、δ＝２とし、状態がルール＃１及びルール＃２の条件に適合する場合、動作決定部１０８は、以下の式７ように、統合動作を決定する。
（式７）
統合動作＝θａ１＊Ｐ_１１
＋θａ２＊｛（１－Ｐ_１１）＊Ｐ_２１｝
＋θａ１＊｛（１－Ｐ_１１）＊（１－Ｐ_２１）＊Ｐ_１２｝
＋θａ２＊｛（１－Ｐ_１１）＊（１－Ｐ_２１）＊（１－Ｐ_１２）＊Ｐ_２２｝

【0103】

方策評価部１１０は、各状態それぞれについての統合動作によって実現される（得られる）状態について、報酬（評価値）を取得する。これにより、各ルールパラメータベクトルθそれぞれについて、統合動作それぞれの報酬が得られる。方策評価部１１０は、ルールパラメータベクトルごとに、統合動作の報酬を、順序パラメータ算出部１０４に出力する。

【0104】

順序パラメータ算出部１０４は、決定した動作（または、統合動作）によって得られる報酬が最大となるように（または、報酬が増大するように）、モデルを更新する。これにより、ルールの順序パラメータ（重み）が更新されていく。そして、これにより、状態に適合しやすいルールは、上位の階層ｄで対応する順序パラメータが高くなり、状態に適合しにくいルールは、下位の階層ｄで対応する順序パラメータが高くなり得る。さらに、モデルが更新されるにつれて、互いに類似する特徴のルールの順序パラメータの値がより近くなるようになり得る。

【0105】

図９は、第２の実施形態にかかる、順序パラメータの更新を説明する図である。図９において、δ＝３、Ｉ＝５とする。そして、初期状態で、確率的決定リストＲ２は、ｄ＝１，ｄ＝２の階層で全てのルールの順序パラメータが０．３であり、ｄ＝３の階層で全てのルールの順序パラメータが０．４であるとする。そして、順序パラメータ算出部１０４の更新処理により、更新後の確率的決定リストＲ２’において、階層ｄ＝１におけるルール＃２及びルール＃５の順序パラメータが、０．８に更新されている。同様に、階層ｄ＝２におけるルール＃３の順序パラメータが、０．８に更新され、階層ｄ＝３におけるルール＃１及びルール＃４の順序パラメータが、０．８に更新されている。そして、他の順序パラメータが、０．１に更新されている。つまり、上位の階層で順序パラメータの値が高いルール＃２及びルール＃５は、適合可能性が高く、下位の階層で順序パラメータの値が高いルール＃１及びルール＃４は、適合可能性が低いことが分かる。

【0106】

順序決定部１０６は、更新後の確率的決定リストを用いて、ルールの順序を決定する。これにより、順序決定部１０６は、決定リストの候補を生成する。したがって、順序決定部１０６は、方策の候補を作成する。具体的には、順序決定部１０６は、各ルールについて、最も順序パラメータの値が大きい階層から、そのルールを抽出する。そして、順序決定部１０６は、抽出されたルールを、上位の階層から順に並べる。これにより、順序決定部１０６は、各ルールが順序付けされた決定リストを生成する。

【0107】

図１０は、第２の実施形態にかかる順序決定部１０６による決定リストを生成する処理を説明する図である。順序決定部１０６は、更新後の確率的決定リストＲ２’において、階層ｄ＝１からルール＃２及びルール＃５を抽出する。同様に、順序決定部１０６は、階層ｄ＝２からルール＃３を抽出する。また、順序決定部１０６は、階層ｄ＝３からルール＃１及びルール＃４を抽出する。そして、順序決定部１０６は、階層ｄ＝１から、それぞれ抽出されたルールを並べる。これにより、ルール＃２、ルール＃５、ルール＃３、ルール＃１、ルール＃４の順序の決定リストＲ８が生成される。

【0108】

ここで、第２の実施形態にかかる方策作成装置１００の処理の流れについて、図２を用いて説明する。Ｓ１０４～Ｓ１０８については、第１の実施形態と実質的に同様である。
次に、Ｓ１１０の処理において、上述したように、順序パラメータ算出部１０４は、ルールセットを複製して確率的決定リストを生成する。そして、上述したように、順序パラメータ算出部１０４は、モデルを用いて、確率的決定リストに含まれるルールそれぞれに対応する順序パラメータを算出する。そして、順序パラメータ算出部１０４は、算出した順序パラメータに基づき、当該ルールを適用する順序を決定し、決定した順序に従い実施する動作を決定する。あるいは、順序パラメータ算出部１０４は、算出した順序パラメータと、確率的決定リストとに基づき統合動作を決定する。順序パラメータ算出部１０４は、決定した動作（または、統合動作）によって得られる報酬を算出し、算出した報酬を用いてモデルにおけるパラメータを更新する。順序パラメータ算出部１０４は、該パラメータを更新する処理を繰り返し実行してもよい。順序パラメータ算出部１０４は、複数の決定リスト（すなわち、方策）を作成する。

【0109】

次に、Ｓ１３０の処理において、上述したように、動作決定部１０８は、決定した方策、状態に応じた動作を決定する。そして、方策評価部１１０は、各状態それぞれについての動作の質を評価して、評価値を取得する。その後、方策作成装置１００は、評価値の高い方策を用いてルール作成基準を更新する（Ｓ１５６，Ｓ１５８）。

【0110】

以上説明したように、本実施形態では、順序パラメータ算出部１０４が、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に順序パラメータつきで割り当てる。そして、順序パラメータ算出部１０４が、状態が条件を満たすルールについての動作によって実現される報酬が最大化するように（または、報酬が増大するように）、順序パラメータを決定するパラメータを更新する。ここで、決定リストにおけるルールの順序を最適化するには、多くの処理量が必要である。これに対して、本実施形態においては、上記のような処理によって、決定リストの作成処理における処理量を減らすことができる。

【0111】

通常の決定リストは離散的で微分不可能であるが、確率的決定リストは連続的で微分可能である。本実施形態では、順序パラメータ算出部１０４が、リスト上の複数の位置に各ルールを順序パラメータつきで割り当てて確率的決定リストを生成する。生成された確率的決定リストは、ルールが確率的に分布するとみなすことで確率的に存在する決定リストであり、勾配降下法で最適化できる。したがって、より精度が高い決定リストを作成する際の処理量を削減できる。

【0112】

また、本実施形態にかかる方策作成装置１００は、順序パラメータ算出部１０４が、ルールパラメータベクトルを用いて、決定リストにおける順序を決定するための順序パラメータを算出するように構成されている。これにより、分布の更新によりルールパラメータが変更（更新）されたとしても、安定して、順序パラメータ算出部１０４におけるモデルの更新を行うことができる。つまり、ルールセットの枠組みは不変である。そして、順序パラメータ算出部１０４がルールパラメータから順序パラメータを算出し、その順序パラメータから決定リストが決定される。したがって、安定してモデルの更新（勾配学習）を行うことができる。したがって、図２のループが進むにつれて、ルールセット（ルールパラメータベクトル）及びルールの順序が、より適切に最適化されていくこととなる。

【0113】

（第３の実施形態）
次に、第３の実施形態について説明する。
図１１は、第３の実施形態にかかる方策作成装置３００の構成を示す図である。第３の実施形態にかかる方策作成装置３００は、ルール作成部３０２と、順序決定部３０４と、動作決定部３０６とを有する。ルール作成部３０２は、ルール作成手段としての機能を有する。順序決定部３０４は、順序決定手段としての機能を有する。動作決定部３０６は、動作決定手段としての機能を有する。ルール作成部３０２は、図１等を参照しながら説明したルール作成部１０２が有している機能と実質的に同様の機能によって実現できる。順序決定部３０４は、図１等を参照しながら説明した順序決定部１０６が有している機能と実質的に同様の機能によって実現できる。動作決定部３０６は、図１等を参照しながら説明した動作決定部１０８が有している機能と実質的に同様の機能によって実現できる。

【0114】

図１２は、第３の実施形態にかかる方策作成装置３００によって実行される方策作成方法を示すフローチャートである。

【0115】

ルール作成部３０２は、対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを予め定められた個数分含むルールセットを、複数作成する（ステップＳ３０２）。例えば、ルール作成部３０２は、上述したように、Ｉ個のルールを含むルールセットを、Ｎ個作成する。言い換えると、ルール作成部３０２は、対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールを複数含むルールセットを作成する。

【0116】

順序決定部３０４は、複数のルールセットそれぞれについてルールの順序を決定して、ルールの順序が決定されたルールセットに対応する決定リストで表された方策を作成する（ステップＳ３０４）。すなわち、順序決定部３０４は、複数の当該ルールセットにおける前記ルールの順序を決定する。

【0117】

そして、動作決定部３０６は、決定された順序でルールについて対象の状態が条件に適合するか否かを判定して、実行すべき動作を決定する（ステップＳ３０６）。すなわち、動作決定部３０６は、決定した当該順序に従い当該条件が成り立つか否かを判定し、当該条件が成り立つ場合の当該動作を決定する。

【0118】

第３の実施形態にかかる方策作成装置３００は、上記のように構成されているので、順序が決定された決定リストを、方策として作成することができる。ここで、決定リストは、決定リストといったリスト形式で表わされるので、ユーザによって視認性の良いものである。したがって、質が高く、かつ、視認性が高い方策を作成することが可能となる。

【0119】

（ハードウェア構成例）
上述した各実施形態に係る方策作成装置を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、各実施形態に係る方策作成装置は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、各実施形態に係る方策作成装置は、専用の装置として実現されてもよいし、汎用の情報処理装置で実現されてもよい。

【0120】

図１３は、各実施形態に係る方策作成装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。計算処理装置２０は、ＣＰＵ２１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央処理演算装置）、揮発性記憶装置２２、ディスク２３、不揮発性記録媒体２４、及び、通信ＩＦ２７（ＩＦ：Ｉｎｔｅｒｆａｃｅ）を有する。したがって、各実施形態に係る方策作成装置は、ＣＰＵ２１、揮発性記憶装置２２、ディスク２３、不揮発性記録媒体２４、及び、通信ＩＦ２７を有しているといえる。計算処理装置２０は、入力装置２５及び出力装置２６に接続可能であってもよい。計算処理装置２０は、入力装置２５及び出力装置２６を備えていてもよい。また、計算処理装置２０は、通信ＩＦ２７を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。

【0121】

不揮発性記録媒体２４は、コンピュータが読み取り可能な、たとえば、コンパクトディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）である。また、不揮発性記録媒体２４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であってもよい。不揮発性記録媒体２４は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。なお、不揮発性記録媒体２４は、上述した媒体に限定されない。また、不揮発性記録媒体２４の代わりに、通信ＩＦ２７及び通信ネットワークを介して、係るプログラムが供給されてもよい。

【0122】

揮発性記憶装置２２は、コンピュータが読み取り可能であって、一時的にデータを記憶することができる。揮発性記憶装置２２は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のメモリ等である。

【0123】

すなわち、ＣＰＵ２１は、ディスク２３に格納されているソフトウェア・プログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を、実行する際に揮発性記憶装置２２にコピーし、演算処理を実行する。ＣＰＵ２１は、プログラムの実行に必要なデータを揮発性記憶装置２２から読み取る。表示が必要な場合、ＣＰＵ２１は、出力装置２６に出力結果を表示する。外部からプログラムを入力する場合、ＣＰＵ２１は、入力装置２５からプログラムを取得する。ＣＰＵ２１は、上述した図１または図１１に示される各構成要素の機能（処理）に対応する方策作成プログラム（図２～図４、または、図１２）を解釈し実行する。ＣＰＵ２１は、上述した各実施形態において説明した処理を実行する。言い換えると、上述した図１または図１１に示される各構成要素の機能は、ディスク２３又は揮発性記憶装置２２に格納された方策作成プログラムを、ＣＰＵ２１が実行することによって実現され得る。

【0124】

すなわち、各実施形態は、上述した方策作成プログラムによっても成し得ると捉えることができる。さらに、上述した方策作成プログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、上述した各実施形態は成し得ると捉えることができる。

【0125】

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、各処理（ステップ）の順序は、適宜、変更可能である。また、複数ある処理（ステップ）のうちの１つ以上は、省略されてもよい。

【0126】

なお、順序パラメータ算出部１０４がモデルを更新するタイミングは任意であってもよい。したがって、図２のフローチャートにおいて、あるループ（Ｓ１０２～Ｓ１６０）では、モデルを更新せずに、Ｓ１５６～Ｓ１５８の処理を実行してもよい。つまり、全てのループにおいて、常にモデルが更新される必要はない。

【0127】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0128】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0129】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールを複数含むルールセットを作成するルール作成手段と、
複数の前記ルールセットにおける前記ルールの順序を決定する順序決定手段と、
決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する動作決定手段と
を有する方策作成装置。
（付記２）
前記ルールは、所定のルール作成基準に従うルールパラメータの集合で表され、
前記ルール作成手段は、前記ルール作成基準に従って前記ルールパラメータの値を算出することで、前記ルールにおける前記条件及び前記動作の少なくとも１つを決定する
付記１に記載の方策作成装置。
（付記３）
前記ルール作成手段は、前記条件と前記動作とがランダムに組み合わされた前記ルールを作成する
付記２に記載の方策作成装置。
（付記４）
前記ルールセットにおける複数の前記ルールの順序を決定するための順序パラメータを算出する順序パラメータ算出手段
をさらに有し、
前記順序決定手段は、前記順序パラメータに応じて、前記ルールセットにおける前記ルールの順序を決定する
付記１から３のいずれか１項に記載の方策作成装置。
（付記５）
前記ルールは、予め定められたルール作成基準に従うルールパラメータの集合で表され、
前記ルール作成手段は、前記ルール作成基準に従って前記ルールパラメータの値を算出することで、前記ルールにおける前記条件及び前記動作の少なくとも１つを決定し、
前記順序パラメータ算出手段は、前記ルールパラメータに応じて、前記順序パラメータを算出する
付記４に記載の方策作成装置。
（付記６）
決定された前記動作の質を決定する動作評価手段
をさらに有し、
前記順序パラメータ算出手段は、前記動作の質が増大するよう、前記順序パラメータを算出するためのモデルを更新する
付記４又は５に記載の方策作成装置。
（付記７）
前記順序決定手段は、順序付けされた前記ルールセットに対応する方策を複数作成し、
決定された前記動作の質を決定し、決定された前記動作の質に基づいて、複数の前記方策それぞれについて前記方策の質を決定する方策評価手段と、
作成された複数の前記方策の中から、決定された前記質が高い方策を選択する方策選択手段と
をさらに有する付記１から６のいずれか１項に記載の方策作成装置。
（付記８）
前記ルール作成手段は、選択された前記方策を用いて、新たな前記ルールセットを作成する
付記７に記載の方策作成装置。
（付記９）
前記ルールは、所定のルール作成基準に従うルールパラメータの集合で表され、
前記ルール作成基準は、選択された前記方策を用いて更新され、
前記ルール作成手段は、更新された前記ルール作成基準に従う前記ルールパラメータを算出することで、新たな前記ルールセットを作成する
付記８に記載の方策作成装置。
（付記１０）
前記動作決定手段は、前記対象の動作を制御する制御値を、前記対象の状態と、前記作成された方策とを用いて決定し、決定された前記制御値に従って動作を実行するように指示を行う
付記１～９のいずれか１項に記載の方策作成装置。
（付記１１）
付記１から１０のいずれか１項に記載の方策作成装置と、
前記方策作成装置によって決定された前記動作に従って前記対象に関する制御を行う制御部と
を備える制御装置。
（付記１２）
情報処理装置によって、対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールを複数含むルールセットを作成し、
複数の前記ルールセットにおける前記ルールの順序を決定し、
決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する
方策作成方法。
（付記１３）
対象に関して施す動作の要否を判定する条件と当該条件が成り立つ場合に実施する前記動作との組み合わせであるルールを複数含むルールセットを作成する機能と、
複数の前記ルールセットにおける前記ルールの順序を決定する機能と、
決定した前記順序に従い前記条件が成り立つか否かを判定し、前記条件が成り立つ場合の前記動作を決定する機能と
をコンピュータに実現させるプログラムが格納された非一時的なコンピュータ可読媒体。

【符号の説明】

【0130】

５０ 制御装置
５２ 制御部
１００ 方策作成装置
１０２ ルール作成部
１０４ 順序パラメータ算出部
１０６ 順序決定部
１０８ 動作決定部
１１０ 方策評価部
１１２ 動作評価部
１１４ 総合評価部
１２０ 方策選択部
１２２ 基準更新部
１２６ 方策評価情報記憶部
１７０ 対象
３００ 方策作成装置
３０２ ルール作成部
３０４ 順序決定部
３０６ 動作決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】