(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】最適化装置、最適化方法、及び、プログラム
(51)【国際特許分類】
G06Q 10/04 20230101AFI20241106BHJP
【ＦＩ】
G06Q10/04
【請求項の数】
8
(21)【出願番号】P 2022553260
(86)(22)【出願日】2020-09-29
(86)【国際出願番号】 JP2020036921
(87)【国際公開番号】W WO2022070257
(87)【国際公開日】2022-04-07
【審査請求日】2023-03-15
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、個人型研究（ＡＣＴ－Ｉ）「部分的フィードバックに基づくオンライン凸最適化」に関する委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】伊藤 伸志
【審査官】阿部 圭子
(56)【参考文献】
【文献】特開２０１２－２１６００７（ＪＰ，Ａ）
【文献】国際公開第２０１９／２２０４７９（ＷＯ，Ａ１）
【文献】特開２０１５－１９１３７４（ＪＰ，Ａ）
【文献】特開２００８－０４０５２２（ＪＰ，Ａ）
【文献】YADKORI, Yasin Abbasi et al.，Improved Algorithms for Linear Stochastic Bandits，Neural Information Processing Systems Conference Paper, [Online]，2011年，全文，インターネット：＜URL： https://www.researchgate.net/publication/230627940_Improved_Algorithms_for_Linear_Stochastic_Bandits_extended_version＞，[検索日2020.12.10]
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
ある施策を実行して得られた報酬を取得する取得手段と、取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新する更新手段と、
更新された確率分布に基づいて、実行する施策を決定する決定手段と、
を備え、
前記更新手段は、過去に更新された確率分布の重み付け和を制約として用いる最適化装置。
【請求項2】
前記更新手段は、前記確率分布の重み付け和を示す正則化項を含む更新式を用いて、前記確率分布を更新する請求項１に記載の最適化装置。
【請求項3】
前記正則化項は、正則化の強さを示す重みパラメータを用いて、過去の確率分布毎に異なる重み付けを行うことで計算される請求項２に記載の最適化装置。
【請求項4】
前記重みパラメータは、損失の予測値の外れ度合いに基づいて計算される請求項３に記載の最適化装置。
【請求項5】
前記更新手段は、過去の時間ステップにおける損失の推定量の累積と現在の時間ステップにおける損失の予測値との和に基づく確率分布、及び、前記正則化項に基づいて、前記確率分布を更新する請求項２乃至４のいずれか一項に記載の最適化装置。
【請求項6】
前記損失の予測値は、１つ前の時間ステップにおける前記取得した報酬を所定の係数で反映して計算される請求項４又は５に記載の最適化装置。
【請求項7】
ある施策を実行して得られた報酬を取得し、取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される最適化方法。
【請求項8】
ある施策を実行して得られた報酬を取得し、取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、意思決定の最適化手法に関する。
【背景技術】
【0002】
商品価格の最適化等、施策候補の中から適切な施策を選択して実施し、得られた報酬を基に逐次的に施策の最適化を行う技術が知られている。特許文献１は、制約に対して適切な意思決定を行う技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開ＷＯ２０２０／０１２５８９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載の技術は、目的関数に確率分布を想定している（確率的設定）。しかし、実世界の環境においては、目的関数に特定の確率分布を想定できない場合がある（敵対的設定）。そのため、現実的な意思決定において、目的関数が上記のどちらの問題設定に適合しているかを決めることは困難である。また、敵対的設定においても様々なアルゴリズムが提案されているが、適切なアルゴリズムを選択するためには、「環境」の構造（例えば、得られる報酬のばらつきが大きいか否か）を適切に把握する必要があり、人の判断や知見を要する。
【0005】
本開示の目的は、目的関数の設定や「環境」の構造に依存せずに最適な施策の決定が可能な最適化手法を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一つの観点では、最適化装置は、
ある施策を実行して得られた報酬を取得する取得手段と、
取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新する更新手段と、
更新された確率分布に基づいて、実行する施策を決定する決定手段と、
を備え、
前記更新手段は、過去に更新された確率分布の重み付け和を制約として用いる。
ある施策を実行して得られた報酬を取得する取得手段と、
取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新する更新手段と、
更新された確率分布に基づいて、実行する施策を決定する決定手段と、
を備え、
前記更新手段は、過去に更新された確率分布の重み付け和を制約として用いる。
【0007】
本開示の他の観点では、最適化方法は、
ある施策を実行して得られた報酬を取得し、
取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される。
ある施策を実行して得られた報酬を取得し、
取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される。
【0008】
本開示のさらに他の観点では、プログラムは、
ある施策を実行して得られた報酬を取得し、
取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される処理をコンピュータに実行させる。
ある施策を実行して得られた報酬を取得し、
取得した報酬に基づいて、複数の施策のうち実行すべき施策を決定するために使用する確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される処理をコンピュータに実行させる。
【図面の簡単な説明】
【0009】
【図1】最適化装置のハードウェア構成を示すブロック図である。
【図2】最適化装置の機能構成を示すブロック図である。
【図3】第１実施形態による最適化処理のフローチャートである。
【図4】第２実施形態による最適化処理のフローチャートである。
【図5】第３実施形態に係る最適化装置の機能構成を示すブロック図である。
【図6】第３実施形態の最適化装置による予測処理のフローチャートである。
【図7】本開示の最適化処理の基本的な実施例を模式的に示す。
【図8】実施形態の最適化方法をリテールの分野に適用した例を示す。
【図9】実施形態の最適化方法を投資の分野に適用した例を示す。
【図10】実施形態の最適化方法を医療分野に適用した例を示す。
【図11】実施形態の最適化方法をマーケティングに適用した例を示す。
【図12】実施形態の最適化方法を電力需要の推定に適用した例を示す。
【図13】実施形態の最適化方法を通信の分野に適用した例を示す。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本開示の好適な実施形態について説明する。
＜第１実施形態＞
［前提説明］
（バンディット最適化）
バンディット最適化は、制限された情報を用いた逐次的意思決定の手法である。バンディット最適化においては、プレイヤーが施策（アクション、行動）の集合Ａを与えられ、逐次的に施策ｉｔを選択し、各時間ステップｔにおける損失ｌｔ（ｉｔ）を観測する。プレイヤーの目標は、以下に示すリグレットＲＴを最小化することにある。
＜第１実施形態＞
［前提説明］
（バンディット最適化）
バンディット最適化は、制限された情報を用いた逐次的意思決定の手法である。バンディット最適化においては、プレイヤーが施策（アクション、行動）の集合Ａを与えられ、逐次的に施策ｉｔを選択し、各時間ステップｔにおける損失ｌｔ（ｉｔ）を観測する。プレイヤーの目標は、以下に示すリグレットＲＴを最小化することにある。
【0011】
【数1】
【0012】
既存のバンディット最適化には、主として２つの異なる手法がある。第１の手法は、確率的環境に関するものである。この環境では、全ての時間ステップｔについて損失ｌｔが未知の確率分布に従う。即ち、環境が時不変である。第２の手法は、敵対的又は非確率的環境に関するものである。この環境では、損失ｌｔのモデルは無く、損失ｌｔはプレイヤーに敵対的になり得る。
【0013】
（多腕バンディット問題）
多腕バンディット問題では、施策の集合はサイズＫの有限集合［Ｋ］である。各時間ステップｔにおいて、プレイヤーは施策ｉｔ∈［Ｋ］を選択し、損失ｌｔｉｔを観測する。損失ベクトルｌｔ＝（ｌｔ１，ｌｔ２，・・，ｌｔＫ）Ｔ∈［０，１］Ｋは環境により敵対的に選択することができる。プレイヤーの目的は、以下のリグレットを最小化することである。
多腕バンディット問題では、施策の集合はサイズＫの有限集合［Ｋ］である。各時間ステップｔにおいて、プレイヤーは施策ｉｔ∈［Ｋ］を選択し、損失ｌｔｉｔを観測する。損失ベクトルｌｔ＝（ｌｔ１，ｌｔ２，・・，ｌｔＫ）Ｔ∈［０，１］Ｋは環境により敵対的に選択することができる。プレイヤーの目的は、以下のリグレットを最小化することである。
【0014】
【数2】
【0015】
多腕バンディット問題においては、確率的モデル又は敵対的モデルが使用される。確率的モデルは、定常的環境に適したモデルであり、施策により得られる損失ｌｔが未知の定常的な確率分布に従うと仮定する。一方、敵対的モデルは、非定常的環境、即ち、施策により得られる損失ｌｔが確率分布に従わない環境に適したモデルであり、損失ｌｔがプレイヤーに対して敵対的となり得ることを想定している。
【0016】
敵対的モデルとしては、例えば、最悪ケース評価モデル、Ｆｉｒｓｔ－ｏｒｄｅｒ評価モデル、Ｖａｒｉａｎｃｅ依存評価モデル、Ｐａｔｈ－ｌｅｎｇｔｈ評価モデルなどが挙げられる。最悪ケース評価モデルは、実環境が最悪ケース（アルゴリズムにとって最も都合の悪い環境）である場合に性能保証、即ち、リグレットを所定範囲に収めることが可能である。Ｆｉｒｓｔ－ｏｒｄｅｒ評価モデルでは、累積損失が小さくなる施策があると性能の向上が期待できる。Ｖａｒｉａｎｃｅ依存評価モデルでは、損失のばらつきが小さいと性能の向上が期待できる。Ｐａｔｈ－ｌｅｎｇｔｈ依存評価モデルでは、損失の時刻変化が小さいと性能の向上が期待できる。
【0017】
上記のように、多腕バンディット問題については、実環境が定常的環境であるか、非定常的環境であるかに応じていくつかのモデルが適用可能である。よって、最適な性能を達成するには、実世界の環境に応じて適切なアルゴリズムを選択することが必要である。しかしながら、現実には、環境の構造（定常／非定常、変化の大小）を事前に知って適切なアルゴリズムを選択することは難しい。
【0018】
そこで、本実施形態では、環境の構造に応じてアルゴリズムを選択する必要を無くし、単一のアルゴリズムを用いて、複数のアルゴリズムの中から適切なアルゴリズムを選択したときと同等の結果を得られるようにする。
【0019】
［ハードウェア構成］
図１は、最適化装置１００のハードウェア構成を示すブロック図である。図示のように、最適化装置１００は、通信部１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、表示部１６と、入力部１７とを備える。
図１は、最適化装置１００のハードウェア構成を示すブロック図である。図示のように、最適化装置１００は、通信部１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、表示部１６と、入力部１７とを備える。
【0020】
通信部１１は、外部装置との間でデータの入出力を行う。具体的に、通信部１１は、最適化装置１００が選択した施策を出力し、その施策により生じた損失（報酬）を取得する。
【0021】
プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、最適化装置１００の全体を制御する。なお、プロセッサ１２は、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のうち一つを用いてもよいし、複数を並列で用いてもよい。具体的に、プロセッサ１２は、後述の最適化処理を実行する。
【0022】
メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
【0023】
記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、最適化装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。最適化装置１００が最適化処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。
【0024】
ＤＢ１５は、通信部１１を通じて入力された入力データや、最適化装置１００の処理中に生成されたデータを記憶する。なお、最適化装置１００は、必要に応じて、液晶表示装置などの表示部や、管理者が必要な指示、入力を行うための入力部１７などを備えていてもよい。
【0025】
［機能構成］
図２は、最適化装置１００の機能構成を示すブロック図である。最適化装置１００は、機能面では、入力部２１と、計算部２２と、記憶部２３と、出力部２４とを備える。入力部２１は、ある施策を実行した結果として得られる損失を取得し、計算部２２へ出力する。記憶部２３は、施策を決定するために使用する確率分布を記憶している。計算部２２は、入力部２１から入力された損失に基づき、記憶部２３に記憶されている確率分布を更新する。詳細は後述するが、計算部２２は、過去に更新された確率分布の重み付け和を制約として用いて確率分布の更新を行う。
図２は、最適化装置１００の機能構成を示すブロック図である。最適化装置１００は、機能面では、入力部２１と、計算部２２と、記憶部２３と、出力部２４とを備える。入力部２１は、ある施策を実行した結果として得られる損失を取得し、計算部２２へ出力する。記憶部２３は、施策を決定するために使用する確率分布を記憶している。計算部２２は、入力部２１から入力された損失に基づき、記憶部２３に記憶されている確率分布を更新する。詳細は後述するが、計算部２２は、過去に更新された確率分布の重み付け和を制約として用いて確率分布の更新を行う。
【0026】
また、計算部２２は、更新後の確率分布を用いて次の施策を決定し、出力部２４へ出力する。出力部２４は、計算部２２が決定した施策を出力する。出力された施策が実行されると、その結果として生じた損失が入力部２１へ入力される。こうして、施策が実行されるたびに、その損失（報酬）が入力部２１へフィードバックされ、記憶部２３に記憶されている確率分布が更新される。これにより、最適化装置１００は、実際の環境に適合した確率分布を用いて次の施策を決定するようになる。なお、上記の構成において、入力部２１は取得手段の一例であり、計算部２２は更新手段及び決定手段の一例である。
【0027】
［最適化処理］
図３は、第１実施形態による最適化処理のフローチャートである。この処理は、図１に示すプロセッサ１２が、予め用意されたプログラムを実行し、図２に示す要素として動作することにより実現できる。なお、前提として、選択可能な複数の施策の数Ｋが決定されているものとする。
図３は、第１実施形態による最適化処理のフローチャートである。この処理は、図１に示すプロセッサ１２が、予め用意されたプログラムを実行し、図２に示す要素として動作することにより実現できる。なお、前提として、選択可能な複数の施策の数Ｋが決定されているものとする。
【0028】
まず、損失ベクトルの予測値ｍｔが初期化される（ステップＳ１１）。具体的には、損失ベクトルの予測値ｍ１に「０」がセットされる。次に、時間ステップｔ＝１、２、．．について、以下のステップＳ１２～Ｓ１９のループ処理が繰り返し実行される。
まず、計算部２２は、以下の式（３）により、確率分布ｐｔを計算する（ステップＳ１３）。
まず、計算部２２は、以下の式（３）により、確率分布ｐｔを計算する（ステップＳ１３）。
【0029】
【数3】
【0030】
【数4】
【0031】
次に、計算部２２は、計算された確率分布ｐｔに基づいて施策ｉｔを決定し、出力部２４は決定された施策ｉｔを出力する（ステップＳ１４）。次に、入力部２１は、ステップＳ１４で出力された施策ｉｔを実行して得られた損失ｌｔｉｔを観測する（ステップＳ１５）。次に、計算部２２は、得られた損失ｌｔｉｔを用いて、以下の式（５）により、損失ベクトルの不偏推定量ｌ＾ｔを計算する（ステップＳ１６）。
【0032】
【数5】
【0033】
次に、計算部２２は、以下の式（６）を用いて重みパラメータγｔｉを計算し、式（４）を用いて正則化項Φｔ（ｐ）を更新する（ステップＳ１７）。
【0034】
【数6】
【0035】
【数7】
【0036】
次に、計算部２２は、以下の式（８）を用いて、損失ベクトルの予測値ｍｔを更新する（ステップＳ１８）。
【0037】
【数8】
【0038】
このように、第１実施形態の最適化処理では、ステップＳ１７において、まず、過去の時間ステップにおける損失の予測の外れ度合いαｊｉの累積に基づいて式（６）を用いて正則化の強さを示す重みパラメータγｔｉを計算し、次に重みパラメータγｔｉに基づいて式（４）により正則化項Φｔ（ｐ）を更新する。よって、正則化項Φｔ（ｐ）は過去の確率分布の重み付け和を制約として用いて更新され、式（３）に示す確率分布ｐｔにおける正則化の強さが適切に更新される。
【0039】
また、ステップＳ１８においては、式（８）に示すように、選ばれた施策の実行により得られた損失を加味して損失ベクトルの予測値ｍｔを更新している。具体的には、選ばれた施策により得られた損失ｌｔｉｔを、係数λの分だけ反映させて、次の時間ステップの損失ベクトルの予測値ｍｔ＋１を生成している。これにより、施策を実行した結果に応じて損失ベクトルの予測値ｍｔが適切に更新される。
【0040】
以上より、第１実施形態の最適化処理では、対象となる環境に基づいてアルゴリズムを事前に選択する必要なく、実環境に応じて施策の確率分布を適応的に更新して最適な施策を決定することが可能となる。
【0041】
＜第２実施形態＞
［前提説明］
第２実施形態は、線形バンディット問題に関する。線形バンディット問題では、施策の集合Ａは線形空間Ｒｄの部分集合として与えられる。各時間ステップｔにおいて、プレイヤーは施策ａｔ∈Ａを選択し、損失ｌｔ Ｔａｔを観測する。損失ベクトルｌｔ∈Ｒｄは環境により敵対的に選択されうる。全ての施策ａについて損失ｌｔ Ｔａ∈［０，１］が成り立つとする。リグレットは、下記の式（９）で定義される。なお、ａ＊は、最良の施策である。
［前提説明］
第２実施形態は、線形バンディット問題に関する。線形バンディット問題では、施策の集合Ａは線形空間Ｒｄの部分集合として与えられる。各時間ステップｔにおいて、プレイヤーは施策ａｔ∈Ａを選択し、損失ｌｔ Ｔａｔを観測する。損失ベクトルｌｔ∈Ｒｄは環境により敵対的に選択されうる。全ての施策ａについて損失ｌｔ Ｔａ∈［０，１］が成り立つとする。リグレットは、下記の式（９）で定義される。なお、ａ＊は、最良の施策である。
【0042】
【数9】
【0043】
従って、線形バンディット問題においても、最適な性能を達成するには、実世界の環境に応じて適切なアルゴリズムを選択することが必要であるが、現実には、環境の構造（定常／非定常、変化の大小）を事前に知って適切なアルゴリズムを選択することは難しい。第２実施形態では、線形バンディット問題について、環境の構造に応じてアルゴリズムを選択する必要を無くし、単一のアルゴリズムを用いて、複数のアルゴリズムの中から適切なアルゴリズムを選択したときと同等の結果を得られるようにする。
【0044】
［ハードウェア構成］
第２実施形態の最適化装置のハードウェア構成は、図１に示す第１実施形態の最適化装置１００と同様である。
第２実施形態の最適化装置のハードウェア構成は、図１に示す第１実施形態の最適化装置１００と同様である。
【0045】
［機能構成］
第２実施形態の最適化装置の機能構成は、図２に示す第１実施形態の最適化装置１００と同様である。
第２実施形態の最適化装置の機能構成は、図２に示す第１実施形態の最適化装置１００と同様である。
【0046】
［最適化処理］
損失ｌｔについて損失ベクトルの予測値ｍｔ∈Ｒｄが得られるとする。この設定では、プレイヤーは施策ａｔを選択するまでに、損失ベクトルの予測値ｍｔが与えられる。ａ∈Ａの全ての施策ａについて、〈ｍｔ，ａ〉∈［１，－１］が成り立つと仮定する。施策集合Ａにおける凸包（convex hull）Ａ’について以下の乗法重み更新を実行する。
損失ｌｔについて損失ベクトルの予測値ｍｔ∈Ｒｄが得られるとする。この設定では、プレイヤーは施策ａｔを選択するまでに、損失ベクトルの予測値ｍｔが与えられる。ａ∈Ａの全ての施策ａについて、〈ｍｔ，ａ〉∈［１，－１］が成り立つと仮定する。施策集合Ａにおける凸包（convex hull）Ａ’について以下の乗法重み更新を実行する。
【0047】
【数10】
施策の確率分布ｐｔは以下の式で与えられる。
【0048】
【数11】
【0049】
【数12】
【0050】
【0051】
まず、計算部２２は、損失ベクトルの予測値ｍｔ∈Ｌを任意に設定する（ステップＳ２１）。集合Ｌは以下のように定義される。
【0052】
【数13】
【0053】
次に、時間ステップｔ＝１，２，．．．，Ｔについて、以下のステップＳ２２～Ｓ２９のループ処理が繰り返し実行される。
【0054】
まず、計算部２２は、ｘｔのノルムがｄβｔ
２以下となるまで、即ち、式（１４）が成立するまで、式（１１）で定義される確率分布ｐｔ（ｘ）からｘｔを繰り返し選ぶ（ステップＳ２３）。
【0055】
【数14】
【0056】
【数15】
【0057】
【数16】
【0058】
式（１６）は、係数λとＤを用いて、損失ベクトルの予測値ｍｔの更新の大きさを決定している。即ち、係数λ程度のステップサイズで、予測誤差を減少させる方向に損失ベクトルの予測値を修正している。具体的に、式（１６）における「λ〈（ｍｔ－ｌｔ，ａｔ〉」は、損失ベクトルの予測値ｍｔと損失ｌｔとの間のずれとは逆方向に損失ベクトルの予測値ｍｔを調整する。また、「Ｄ（ｍ｜｜ｍｔ）」は損失ベクトルの予測値ｍｔの更新についての正則化項に相当する。即ち、式（１６）は、第１実施形態の式（３）と同様に、選ばれた施策の実行により生じた損失に応じて、適応的に損失ベクトルの予測値ｍｔにおける正則化の強さを調整している。そして、調整後の損失ベクトルの予測値ｍｔを用いて式（１０）、（１１）により確率分布ｐｔが更新される。その結果、第２実施形態の最適化処理でも、対象となる環境に基づいてアルゴリズムを事前に選択する必要なく、実環境に応じて確率分布を適応的に更新して最適な施策を決定することが可能となる。
【0059】
＜第３実施形態＞
次に、本開示の第３実施形態について説明する。図５は、第３実施形態に係る最適化装置２００の機能構成を示すブロック図である。最適化装置２００は、取得手段２０１と、更新手段２０２と、決定手段２０３とを備える。取得手段２０１は、ある施策を実行して得られた施策の報酬を取得する。更新手段２０２は、取得した報酬に基づいて、施策の確率分布を更新する。ここで、更新手段２０２は、過去に更新された確率分布の重み付け和を制約として用いる。決定手段２０３は、更新された確率分布に基づいて、実行する施策を決定する。
次に、本開示の第３実施形態について説明する。図５は、第３実施形態に係る最適化装置２００の機能構成を示すブロック図である。最適化装置２００は、取得手段２０１と、更新手段２０２と、決定手段２０３とを備える。取得手段２０１は、ある施策を実行して得られた施策の報酬を取得する。更新手段２０２は、取得した報酬に基づいて、施策の確率分布を更新する。ここで、更新手段２０２は、過去に更新された確率分布の重み付け和を制約として用いる。決定手段２０３は、更新された確率分布に基づいて、実行する施策を決定する。
【0060】
図６は、第３実施形態の最適化装置による予測処理のフローチャートである。最適化装置２００において、取得手段２０１は、ある施策を実行して得られた施策の報酬を取得する（ステップＳ５１）。更新手段２０２は、取得した報酬に基づいて、施策の確率分布を更新する（ステップＳ５２）。ここで、更新手段２０２は、過去に更新された確率分布の重み付け和を制約として用いる。決定手段２０３は、更新された確率分布に基づいて、実行する施策を決定する（ステップＳ５３）。
【0061】
第３実施形態によれば、過去に更新された確率分布の重み付け和を制約として用いて確率分布を更新することで、対象となる環境に基づいてアルゴリズムを事前に選択する必要なく、実環境に応じて施策の確率分布を適応的に更新して最適な施策を決定することが可能となる。
【0062】
＜実施例＞
次に、本開示の最適化処理の実施例を説明する。
［基本実施例］
図７は、本開示の最適化処理の基本的な実施例を模式的に示す。意思決定により施策を選択する環境に対応する目的関数ｆ（ｘ）は、前述のように確率的である場合と敵対的である場合とがある。時刻ｔ１において、施策の確率分布Ｐ１に基づいて施策Ａ１を選択して実行すると、目的関数ｆ（ｘ）に応じた報酬（損失）が得られる。この報酬を用いて、確率分布をＰ１からＰ２に更新し、時刻ｔ２では更新後の確率分布Ｐ２に基づいて施策Ａ２を選択する。この場合に、実施形態の最適化方法を適用することで、目的関数ｆ（ｘ）が示す環境に応じた適切な施策を決定することが可能となる。
次に、本開示の最適化処理の実施例を説明する。
［基本実施例］
図７は、本開示の最適化処理の基本的な実施例を模式的に示す。意思決定により施策を選択する環境に対応する目的関数ｆ（ｘ）は、前述のように確率的である場合と敵対的である場合とがある。時刻ｔ１において、施策の確率分布Ｐ１に基づいて施策Ａ１を選択して実行すると、目的関数ｆ（ｘ）に応じた報酬（損失）が得られる。この報酬を用いて、確率分布をＰ１からＰ２に更新し、時刻ｔ２では更新後の確率分布Ｐ２に基づいて施策Ａ２を選択する。この場合に、実施形態の最適化方法を適用することで、目的関数ｆ（ｘ）が示す環境に応じた適切な施策を決定することが可能となる。
【0063】
［実施例１］
図８は、実施形態の最適化方法をリテールの分野に適用した例を示す。具体的に、ある店舗における各社のビールの価格の割引を施策とするものとする。例えば、実行施策Ｘ＝［０、２，１、・・・］とした場合、第１要素がＡ社のビール価格を定価とし、第２要素がＢ社のビール価格を定価から１０％割増とし、第３要素がＣ社のビール価格を定価から１０％割引とすることを示すものとする。
図８は、実施形態の最適化方法をリテールの分野に適用した例を示す。具体的に、ある店舗における各社のビールの価格の割引を施策とするものとする。例えば、実行施策Ｘ＝［０、２，１、・・・］とした場合、第１要素がＡ社のビール価格を定価とし、第２要素がＢ社のビール価格を定価から１０％割増とし、第３要素がＣ社のビール価格を定価から１０％割引とすることを示すものとする。
【0064】
そして、目的関数は、実行施策Ｘを入力とし、各社のビールの価格に実行施策Ｘを適用して販売を行った結果を出力とする。この場合に、実施形態の最適化方法を適用することで、上記店舗における各社のビール価格の最適な価格設定を導出することができる。
【0065】
［実施例２］
図９は、実施形態の最適化方法を投資の分野に適用した例を示す。具体的に、最適化方法を投資家等における投資行動に適用した場合を説明する。この場合、投資家が保有する又は保有しようとする複数の金融商品（株式の銘柄等）に対する投資（購入、増資）、売却、保有を実行施策とする。例えば、実行施策Ｘ＝［１、０、２、・・・］とした場合、第１要素がＡ社の株式への追加投資、第２要素がＢ社の債権を保有（購入も売却もしない）、第３要素がＣ社の株式の売却を示すものとする。そして、目的関数は、実行施策Ｘを入力とし、各社の金融商品に対する投資行動に実行施策Ｘを適用した結果を出力とする。
図９は、実施形態の最適化方法を投資の分野に適用した例を示す。具体的に、最適化方法を投資家等における投資行動に適用した場合を説明する。この場合、投資家が保有する又は保有しようとする複数の金融商品（株式の銘柄等）に対する投資（購入、増資）、売却、保有を実行施策とする。例えば、実行施策Ｘ＝［１、０、２、・・・］とした場合、第１要素がＡ社の株式への追加投資、第２要素がＢ社の債権を保有（購入も売却もしない）、第３要素がＣ社の株式の売却を示すものとする。そして、目的関数は、実行施策Ｘを入力とし、各社の金融商品に対する投資行動に実行施策Ｘを適用した結果を出力とする。
【0066】
この場合に、実施形態の最適化方法を適用することで、上記投資家における各銘柄に対する最適な投資行動を導出することができる。
【0067】
［実施例３］
図１０は、実施形態の最適化方法を医療分野に適用した例を示す。具体的に、製薬会社におけるある薬品の治験のための投薬行動に適用した場合を説明する。この場合、投薬の分量や投薬を回避することを実行施策とする。例えば、実行施策Ｘ＝［１、０、２、・・・］とした場合、第１要素が被験者Ａに対して分量１の投薬を行い、第２要素が被験者Ｂに対して投薬を行わず、第３要素が被験者Ｃに対して分量２の投薬を行うことを示すものとする。そして、目的関数は、実行施策Ｘを入力とし、各被験者に対する投薬行動に実行施策Ｘを適用した結果を出力とする。
図１０は、実施形態の最適化方法を医療分野に適用した例を示す。具体的に、製薬会社におけるある薬品の治験のための投薬行動に適用した場合を説明する。この場合、投薬の分量や投薬を回避することを実行施策とする。例えば、実行施策Ｘ＝［１、０、２、・・・］とした場合、第１要素が被験者Ａに対して分量１の投薬を行い、第２要素が被験者Ｂに対して投薬を行わず、第３要素が被験者Ｃに対して分量２の投薬を行うことを示すものとする。そして、目的関数は、実行施策Ｘを入力とし、各被験者に対する投薬行動に実行施策Ｘを適用した結果を出力とする。
【0068】
この場合に、実施形態の最適化方法を適用することで、上記製薬会社の治験における各被験者に対する最適な投薬行動を導出することができる。
【0069】
［実施例４］
図１１は、実施形態の最適化方法をマーケティングに適用した例を示す。具体的に、ある電子商取引サイトの運営会社における広告行動（マーケティング施策）に適用した場合を説明する。この場合、運営会社が販売しようとする商品又はサービスに対する複数の顧客に対する広告（オンライン（バナー）広告、電子メールによる広告、ダイレクトメール、割引クーポンの電子メール送信等）を実行施策とする。例えば、実行施策Ｘ＝［１、０、２、・・・］とした場合、第１要素が顧客Ａに対するバナー広告、第２要素が顧客Ｂに対して広告を行わない、第３要素が顧客Ｃに対する割引クーポンの電子メール送信、を示すものとする。そして、目的関数は、実行施策Ｘを入力とし、各顧客に対する広告行動に実行施策Ｘを適用した結果を出力とする。ここで、実行結果としては、バナー広告をクリックしたか否か、購入額、購入確率、購入額の期待値であってもよい。
図１１は、実施形態の最適化方法をマーケティングに適用した例を示す。具体的に、ある電子商取引サイトの運営会社における広告行動（マーケティング施策）に適用した場合を説明する。この場合、運営会社が販売しようとする商品又はサービスに対する複数の顧客に対する広告（オンライン（バナー）広告、電子メールによる広告、ダイレクトメール、割引クーポンの電子メール送信等）を実行施策とする。例えば、実行施策Ｘ＝［１、０、２、・・・］とした場合、第１要素が顧客Ａに対するバナー広告、第２要素が顧客Ｂに対して広告を行わない、第３要素が顧客Ｃに対する割引クーポンの電子メール送信、を示すものとする。そして、目的関数は、実行施策Ｘを入力とし、各顧客に対する広告行動に実行施策Ｘを適用した結果を出力とする。ここで、実行結果としては、バナー広告をクリックしたか否か、購入額、購入確率、購入額の期待値であってもよい。
【0070】
この場合に、実施形態の最適化方法を適用することで、上記運営会社における各顧客に対する最適な広告行動を導出することができる。
【0071】
［実施例５］
図１２は、実施形態の最適化方法を電力需要の推定に適用した例を示す。具体的に、ある発電施設における発電機毎の稼働率を実行施策とする。例えば、実行施策Ｘ＝［１、０、２、・・・］とした場合、各要素が個々の発電機の稼働率を示すものとする。そして、目的関数は、実行施策Ｘを入力とし、実行施策Ｘに基づく電力需要を出力とする。
図１２は、実施形態の最適化方法を電力需要の推定に適用した例を示す。具体的に、ある発電施設における発電機毎の稼働率を実行施策とする。例えば、実行施策Ｘ＝［１、０、２、・・・］とした場合、各要素が個々の発電機の稼働率を示すものとする。そして、目的関数は、実行施策Ｘを入力とし、実行施策Ｘに基づく電力需要を出力とする。
【0072】
この場合に、実施形態の最適化方法を適用することで、発電施設における発電機毎の最適な稼働率を導出することができる。
【0073】
［実施例６］
図１３は、実施形態の最適化方法を通信の分野に適用した例を示す。具体的に、通信網を介した通信における遅延の最小化に適用した場合を説明する。この場合、複数の送信ルートから１つの送信ルートを選択することを実行施策とする。目的関数は、実行施策Ｘを入力とし、各送信ルートで通信を行った結果発生した遅延量を出力とする。
図１３は、実施形態の最適化方法を通信の分野に適用した例を示す。具体的に、通信網を介した通信における遅延の最小化に適用した場合を説明する。この場合、複数の送信ルートから１つの送信ルートを選択することを実行施策とする。目的関数は、実行施策Ｘを入力とし、各送信ルートで通信を行った結果発生した遅延量を出力とする。
【0074】
この場合に、実施形態の最適化方法を適用することで、上記通信網における通信遅延を最小化することができる。
【0075】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0076】
（付記１）
ある施策を実行して得られた報酬を取得する取得手段と、
取得した報酬に基づいて、施策の確率分布を更新する更新手段と、
更新された確率分布に基づいて、実行する施策を決定する決定手段と、
を備え、
前記更新手段は、過去に更新された確率分布の重み付け和を制約として用いる最適化装置。
ある施策を実行して得られた報酬を取得する取得手段と、
取得した報酬に基づいて、施策の確率分布を更新する更新手段と、
更新された確率分布に基づいて、実行する施策を決定する決定手段と、
を備え、
前記更新手段は、過去に更新された確率分布の重み付け和を制約として用いる最適化装置。
【0077】
（付記２）
前記更新手段は、前記確率分布の重み付け和を示す正則化項を含む更新式を用いて、前記確率分布を更新する付記１に記載の最適化装置。
前記更新手段は、前記確率分布の重み付け和を示す正則化項を含む更新式を用いて、前記確率分布を更新する付記１に記載の最適化装置。
【0078】
（付記３）
前記正則化項は、正則化の強さを示す重みパラメータを用いて、過去の確率分布毎に異なる重み付けを行うことで計算される付記２に記載の最適化装置。
前記正則化項は、正則化の強さを示す重みパラメータを用いて、過去の確率分布毎に異なる重み付けを行うことで計算される付記２に記載の最適化装置。
【0079】
（付記４）
前記重みパラメータは、損失の予測値の外れ度合いに基づいて計算される付記３に記載の最適化装置。
前記重みパラメータは、損失の予測値の外れ度合いに基づいて計算される付記３に記載の最適化装置。
【0080】
（付記５）
前記更新手段は、過去の時間ステップにおける損失の推定量の累積と現在の時間ステップにおける損失の予測値との和に基づく確率分布、及び、前記正則化項に基づいて、前記確率分布を更新する付記２乃至４のいずれか一項に記載の最適化装置。
前記更新手段は、過去の時間ステップにおける損失の推定量の累積と現在の時間ステップにおける損失の予測値との和に基づく確率分布、及び、前記正則化項に基づいて、前記確率分布を更新する付記２乃至４のいずれか一項に記載の最適化装置。
【0081】
（付記６）
前記損失の予測値は、１つ前の時間ステップにおける前記取得した報酬を所定の係数で反映して計算される付記４又は５に記載の最適化装置。
前記損失の予測値は、１つ前の時間ステップにおける前記取得した報酬を所定の係数で反映して計算される付記４又は５に記載の最適化装置。
【0082】
（付記７）
ある施策を実行して得られた報酬を取得し、
取得した報酬に基づいて、施策の確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される最適化方法。
ある施策を実行して得られた報酬を取得し、
取得した報酬に基づいて、施策の確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される最適化方法。
【0083】
（付記８）
ある施策を実行して得られた報酬を取得し、
取得した報酬に基づいて、施策の確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される処理をコンピュータに実行させるプログラムを記録した記録媒体。
ある施策を実行して得られた報酬を取得し、
取得した報酬に基づいて、施策の確率分布を更新し、
更新された確率分布に基づいて、実行する施策を決定し、
前記確率分布は、過去に更新された確率分布の重み付け和を制約として用いて更新される処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0084】
以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0085】
１２ プロセッサ
２１ 入力部
２２ 計算部
２３ 記憶部
２４ 出力部
１００ 最適化装置
２１ 入力部
２２ 計算部
２３ 記憶部
２４ 出力部
１００ 最適化装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】