特開 2024-162146 多主体調停システム、多主体調停方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162146

(43)【公開日】2024-11-21

(54)【発明の名称】多主体調停システム、多主体調停方法

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20241114BHJP

   G06Q 50/10 20120101ALI20241114BHJP

【ＦＩ】

G06Q10/04

G06Q50/10

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023077415

(22)【出願日】2023-05-09

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】犬塚 翔太

(72)【発明者】

【氏名】寺本 やえみ

【テーマコード（参考）】

5L010

5L049

5L050

【Ｆターム（参考）】

5L010AA04

5L049AA04

5L049CC11

5L050CC11

(57)【要約】

【課題】全体指標および個別指標の両方を考慮した複数主体の意思決定を算出し、提案として各主体に提示できる。
【解決手段】多主体調停システムは、少なくとも１つの全体指標である対象全体指標、および少なくとも１つの個別指標である対象個別指標に影響を与える複数主体の意思決定を調停する多主体調停システムであって、複数主体のそれぞれから入力される複数主体の観測である主体データと、対象全体指標および対象個別指標のそれぞれに対応する評価関数に基づいて複数主体のそれぞれの意思決定を算出し、複数主体のそれぞれに意思決定を提案する意思決定算出部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つの全体指標である対象全体指標、および少なくとも１つの個別指標である対象個別指標に影響を与える複数主体の意思決定を調停する多主体調停システムであって、
前記複数主体のそれぞれから入力される前記複数主体の観測である主体データと、前記対象全体指標および前記対象個別指標のそれぞれに対応する評価関数に基づいて前記複数主体のそれぞれの意思決定を算出し、前記複数主体のそれぞれに前記意思決定を提案する意思決定算出部を備える多主体調停システム。

【請求項2】

請求項１に記載の多主体調停システムであって、
現在時刻における前記複数主体の前記意思決定、および前記現在時刻における前記主体データに基づき、次の時刻における前記主体データを算出する環境モデルと、
前記評価関数、前記現在時刻における前記主体データ、および前記環境モデル、前記提案の根拠である提案根拠を算出し、前記複数主体のそれぞれに前記提案根拠を提示する提案根拠算出部をさらに備える、多主体調停システム。

【請求項3】

請求項１に記載の多主体調停システムであって、
前記意思決定算出部が算出した前記複数主体のそれぞれの意思決定に対して、前記複数主体に含まれる１つの主体である対象主体からの調整依頼を適用した場合の影響度を算出し、前記対象主体に前記影響度を提示する適用算出部とをさらに備える、多主体調停システム。

【請求項4】

請求項１に記載の多主体調停システムであって、
前記意思決定算出部は、前記複数主体の間で決められた公平性に関する定義を制約条件として、前記意思決定を算出する、多主体調停システム。

【請求項5】

請求項１に記載の多主体調停システムであって、
前記意思決定算出部は、前記対象全体指標、および前記対象個別指標ごとに損失関数算出時の方策を統一しつつ、Ｑ関数を分割した強化学習により得られたパラメータを備え、当該パラメータを用いて前記意思決定を算出する、多主体調停システム。

【請求項6】

請求項５に記載の多主体調停システムであって、
前記意思決定算出部は、前記強化学習によって学習したエージェントモデルを備え、前記主体データに基づき、前記対象全体指標および前記対象個別指標を同時に向上する各主体の意思決定を算出する、多主体調停システム。

【請求項7】

請求項６に記載の多主体調停システムであって、
現在時刻における前記複数主体の前記意思決定、および前記現在時刻における前記主体データに基づき、次の時刻における前記主体データを算出する環境モデルと、
前記エージェントモデル、前記環境モデル、前記現在時刻における前記主体データ、および前記意思決定算出部が算出する前記意思決定に基づきロールアウトを実行することで、将来の時刻における前記意思決定、前記将来の時刻における前記主体データを算出し、前記Ｑ関数を用いて前記対象全体指標および前記対象個別指標のうち少なくとも１つの指標の時系列合計値を算出する提案根拠算出部と、をさらに備える多主体調停システム。

【請求項8】

請求項６に記載の多主体調停システムであって、
前記意思決定算出部が算出した前記複数主体のそれぞれの意思決定に対して、前記複数主体に含まれる１つの主体である対象主体からの調整依頼を適用した場合の影響度を算出し、前記対象主体に前記影響度を提示する適用算出部とをさらに備える、多主体調停システム。

【請求項9】

請求項８に記載の多主体調停システムであって、
現在時刻における前記複数主体の前記意思決定、および前記現在時刻における前記主体データに基づき、次の時刻における前記主体データを算出する環境モデルをさらに備え、
適用算出部は、前記意思決定算出部が算出した前記現在時刻における前記複数主体のそれぞれの前記意思決定に対して、前記複数主体に含まれる１つの主体である対象主体からの調整依頼を適用した前記意思決定、前記エージェントモデル、前記環境モデル、および前記現在時刻における前記主体データに基づきロールアウトを実行することで、将来の時刻における前記対象全体指標および前記対象個別指標のうち少なくとも１つの指標の時系列合計値への影響を算出し、前記主体に提示する、多主体調停システム。

【請求項10】

請求項６に記載の多主体調停システムであって、
前記エージェントモデルは時系列モデルを含み、前記主体データから特徴量を抽出する、多主体調停システム。

【請求項11】

請求項６に記載の多主体調停システムであって、
前記エージェントモデルはシングルエージェントモデルであり、前記複数主体のそれぞれの前記意思決定を１つの方策モデルを用いて算出する、多主体調停システム。

【請求項12】

請求項６に記載の多主体調停システムであって、
前記エージェントモデルはマルチエージェントモデルであり、前記複数主体のそれぞれの意思決定ごとに異なる方策モデルを用いて算出する、多主体調停システム。

【請求項13】

コンピュータが実行する、少なくとも１つの全体指標である対象全体指標、および少なくとも１つの個別指標である対象個別指標に影響を与える複数主体の意思決定を調停する多主体調停方法であって、
前記複数主体のそれぞれから前記複数主体の観測である主体データを取得することと、
前記対象全体指標および前記対象個別指標のそれぞれに対応する評価関数に基づいて前記複数主体のそれぞれの意思決定を算出し、前記複数主体のそれぞれに前記意思決定を提案することと、を含む多主体調停方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多主体調停システム、および多主体調停方法に関する。

【背景技術】

【0002】

複数の主体が同一環境で意思決定を実行し合い、各意思決定によって、環境における状態が時系列的に遷移していき、各主体の指標が各意思決定と状態遷移によって定まる。ここで、指標には、各主体に共通の指標である複数の全体指標と、各主体に特有の複数の個別指標が存在する場合を考える。この場合には、各全体指標と各個別指標は必ずしもＷｉｎ－Ｗｉｎの関係ではなく、トレードオフの関係になっている場合も含む。全ての主体が各全体指標に対して、各個別指標よりも十分に大きい重み係数を設定していない、かつ非協力ゲームの設定の場合を仮定する。このとき、各主体は互いに各個別指標を向上し合い、各全体指標を向上できない、または一部の主体が自身の各個別指標を犠牲にしながら、各全体指標を向上し、主体間にて不公平が生じるようなナッシュ均衡に収束する。

【0003】

特許文献１には、複数のユーザ夫々の端末装置とサーバとがネットワークによって接続し、前記サーバは、複数の端末装置夫々から送信された計画を最適化し、最適化された計画を前記複数のユーザ夫々の前記端末装置に提供する、計算機システムであって、前記サーバはメモリに記載されたプログラムを実行するコントローラを備え、当該コントローラは、前記複数の端末夫々から送信された計画を評価し、当該評価の結果に基づいて、前記複数ユーザ夫々の効用関数を推定し、当該効用関数に基づいて前記複数のユーザに推奨する計画を設定し、当該推奨する計画を前記複数のユーザ夫々の端末装置に送信し、前記複数のユーザが当該推奨する計画に合意するまで、前記評価と前記推奨する計画の設定を繰り替えし、当該複数のユーザが合意した前記推奨する計画を前記最適化された計画として決定する、計算機システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２３－００６３４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載されている発明では、各主体の意思決定の算出に改善の余地がある。

【課題を解決するための手段】

【0006】

本発明の第１の態様による多主体調停システムは、少なくとも１つの全体指標である対象全体指標、および少なくとも１つの個別指標である対象個別指標に影響を与える複数主体の意思決定を調停する多主体調停システムであって、前記複数主体のそれぞれから入力される前記複数主体の観測である主体データと、前記対象全体指標および前記対象個別指標のそれぞれに対応する評価関数に基づいて前記複数主体のそれぞれの意思決定を算出し、前記複数主体のそれぞれに前記意思決定を提案する意思決定算出部を備える。
本発明の第２の態様に多主体調停方法は、コンピュータが実行する、少なくとも１つの全体指標である対象全体指標、および少なくとも１つの個別指標である対象個別指標に影響を与える複数主体の意思決定を調停する多主体調停方法であって、前記複数主体のそれぞれから前記複数主体の観測である主体データを取得することと、前記対象全体指標および前記対象個別指標のそれぞれに対応する評価関数に基づいて前記複数主体のそれぞれの意思決定を算出し、前記複数主体のそれぞれに前記意思決定を提案することと、を含む。

【発明の効果】

【0007】

本発明によれば、全体指標および個別指標の両方を考慮した複数主体の意思決定を算出し、提案として各主体に提示できる。上記以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】多主体調停システムの構成図

【図2】多主体調停システムのフローチャート

【図3】意思決定提案システムの構成図

【図4】提案根拠生成システムの構成図

【図5】調整依頼適用システムの構成図

【図6】強化学習の機能を含む多主体調停システムの構成図

【図7】強化学習の学習部の構成図

【図8】多主体調停システムのハードウエア構成図

【図9】多主体調停システムのユーザーインターフェース

【図10】多主体調停システムのユーザーインターフェース

【図11】変形例１における多主体調停システムの構成図

【発明を実施するための形態】

【0009】

―第１の実施の形態―
以下、図１～図１０を参照して、多主体調停システムの第１の実施の形態を説明する。

【0010】

図１は、多主体調停システム１００の機能的構成図である。多主体調停システム１００は、複数の主体との間で様々な情報を授受する。図１では複数の主体を代表して主体ｉのみを記載しているが、実際には複数の主体が存在する。たとえば、主体１、主体２、・・・、主体｜Ｉ｜が存在する。主体とは、環境や他の主体に作用して影響を及ぼすものであり、システムや人間などである。それぞれの主体と多主体調停システム１００との間で授受される具体的な内容は異なるがデータが意味するものは共通している。

【0011】

それぞれの主体は、データ入出力部１０１を介して多主体調停システム１００とデータを授受する。データ入出力部１０１はたとえば汎用のコンピュータである。主体である人間がキーボードやマウスを用いて入力データ１０２をデータ入出力部１０１に入力すると、データ入出力部１０１は入力データ１０２をそのまま、または加工して主体データ１０４として多主体調停システム１００に送信する。入力データ１０２および主体データ１０４には、各主体ｉの観測も含まれる。データ入出力部１０１による入力データ１０２に対する加工は、たとえば主体の識別子の追加である。データ入出力部１０１はさらに、多主体調停システム１００から受領するデータを映像または音声である出力情報１０３として出力する。ただし主体がシステムの場合には入力データ１０２および出力情報１０３は電子データでもよい。さらに、主体がシステムの場合にはデータ入出力部１０１は必須の構成ではなく、主体が多主体調停システム１００と各種データを直接授受してもよい。この場合には主体が多主体調停システム１００に対して主体データ１０４を直接送信する。

【0012】

それぞれの主体は、多主体調停システム１００から送信した主体データ１０４に対応する提案１１３を受領する。提案１１３を受領した主体は、データ入出力部１０１を介して追加提示要求１０５および意思決定調整依頼１０６の少なくとも一方を任意に出力してもよい。すなわちそれぞれのデータ入出力部１０１は、主体データ１０４は必ず出力するが、追加提示要求１０５および意思決定調整依頼１０６の両方を送信しない場合もあるし、いずれか一方のみを送信する場合もあるし、両方を送信する場合もある。

【0013】

多主体調停システム１００は、意思決定提案システム１１０と、提案根拠生成システム１２００と、調整依頼適用システム１３００と、を備える。意思決定提案システム１１０は、全ての主体から主体データ１０４を受領すると後述する処理を行い提案１１３を生成して各データ入出力部１０１に送信する。提案根拠生成システム１２００は、それぞれの主体から追加提示要求１０５を受領すると追加提示要求１０５を送信した主体を対象として後述する処理を行い将来意思１２０３を生成する。提案根拠生成システム１２００は、生成した将来意思１２０３を追加提示要求１０５を送信した主体に対して送信する。

【0014】

調整依頼適用システム１３００は、それぞれの主体から意思決定調整依頼１０６を受領すると意思決定調整依頼１０６を送信した主体を対象として後述する処理を行い将来意思１３０３を生成する。調整依頼適用システム１３００は、生成した将来意思１３０３を意思決定調整依頼１０６を送信した主体に対して送信する。すなわち提案根拠生成システム１２００および調整依頼適用システム１３００は、一部の主体を対象として処理を行い、その一部の主体に対してのみデータを送信する場合がある。提案根拠生成システム１２００が処理対象とする主体と、調整依頼適用システム１３００が処理対象とする主体は同一の場合もあるし異なる場合もある。

【0015】

図２は、多主体調停システム１００の処理を示すフローチャートである。ステップＳ４００では、データ入出力部１０１から全ての主体に関する主体データ１０４を取得する。続くステップＳ４０１では、意思決定提案システム１１０はステップＳ４００において取得した主体データ１０４を用いて各主体の意思決定を提案１１３として算出し、算出した提案１１３を各主体のデータ入出力部１０１および提案根拠生成システム１２００に出力する。ステップＳ４０２では、提案根拠生成システム１２００は、ステップＳ４０１にて算出された提案１１３に基づき提案根拠１２３７を算出し、各主体のデータ入出力部１０１に送信する。さらに意思決定提案システム１１０は、全主体の提案根拠１２３７を調整依頼適用システム１３００に出力してステップＳ４０３に進む。

【0016】

ステップＳ４０３では、提案根拠生成システム１２００は、それぞれの主体からさらに将来の根拠提示要求があるか否かを判断する。提案根拠生成システム１２００は、いずれかの主体からさらに将来の根拠提示要求を受ける場合にはステップＳ４０４に進み、全ての主体からさらに将来の根拠提示要求を受けない場合にはステップＳ４０５に進む。ステップＳ４０４では提案根拠生成システム１２００は、要求があった主体に関するさらに将来の提案根拠１２３７を算出して、その要求があった主体のデータ入出力部１０１に送信し、ステップＳ４０３に戻る。

【0017】

ステップＳ４０５では調整依頼適用システム１３００は、いずれかの主体から意思決定調整依頼１０６があるか否かを判断する。調整依頼適用システム１３００は、いずれかの主体から意思決定調整依頼１０６がある場合にはステップＳ４０６に進み、いずれの主体からも意思決定調整依頼１０６がない場合には図２に示す処理を終了する。ステップＳ４０６では調整依頼適用システム１３００は、各主体からの意思決定調整依頼１０６に基づいて、依頼された調整を適用した場合の影響を算出し、各主体のデータ入出力部１０１に出力し、ステップＳ４０５に戻る。

【0018】

図３は、意思決定提案システム１１０の機能的構成を表すブロック図である。意思決定提案システム１１０は、各主体に提案する意思決定を算出する。意思決定提案システム１１０は、意思決定算出部１１１および、環境の挙動をモデリングした環境モデル１１２を有する。

【0019】

意思決定算出部１１１は、少なくとも１つずつの全体指標および個別指標のそれぞれを算出可能な評価関数を有する。複数の指標を統合して全体として１つの評価値を算出するのではなく、意思決定算出部１１１は各指標を別々に算出する。本実施の形態では、評価指標を別々に算出するこれらの評価関数を、「複数の全体指標と複数の個別指標ごとに分割された評価関数」とも呼ぶ。意思決定算出部１１１における評価関数ｊとは、分割された評価関数のｊ番目の評価関数である。評価関数ｊは、公平性に関する制約条件のペナルティ関数も指標として含む場合がある。

【0020】

意思決定提案システム１１０は、各データ入出力部１０１を経由して得られる各主体ｉの情報である主体データ１０４と、意思決定算出部１１１内の分割された各評価関数ｊとに基づいて、提案１１３を算出するアルゴリズムを有する。このアルゴリズムは、先行技術文献のような数理最適化を用いてもよいし、後述するような強化学習を用いてもよい。このアルゴリズムによって算出された提案１１３は、データ入出力部１０１を経由して、主体ｉに出力情報１０３として表示される。

【0021】

意思決定算出部１１１内のアルゴリズムが数理最適化に基づくものである場合は、各時刻の提案１１３が環境モデル１１２に入力される。環境モデル１１２は、あらかじめ作成されたモデルである。環境モデル１１２は、現在時刻（たとえば時刻ｔ０）における提案１１３および各主体ｉの主体データ１０４が入力されると、次の時刻（たとえば時刻ｔ１）における環境の状態である環境状態１１５、および次の時刻における各主体ｉの観測である主体観測１１６を出力する。意思決定算出部１１１内のアルゴリズムが数理最適化に基づくものである場合は、意思決定算出部１１１内のアルゴリズムは、提案１１３を算出するために、環境モデル１１２が出力する次の時刻における環境状態１１５、および次の時刻における各主体ｉの主体観測１１６を利用する。

【0022】

図４は、提案根拠生成システム１２００の機能的構成を表すブロック図である。以下では、現在の時刻を時刻ｔ０とし、将来の時刻を時刻ｔ１、ｔ２、・・として説明する。提案根拠生成システム１２００は、意思決定提案システム１１０が算出した時刻ｔ０における提案１１３の根拠を算出する。提案根拠生成システム１２００は、提案根拠算出部１２０１を有し、環境の挙動をモデリングした環境モデル１２０２を有する。ただし環境モデル１２０２は、図３に示した環境モデル１１２と同様の構成を有する。提案根拠算出部１２０１は、意思決定算出部１１１と同様に評価関数ｊを有する。また、評価関数ｊは、公平性に関する制約条件のペナルティ関数も指標として含む場合がある。提案根拠算出部１２０１は意思決定算出部１１１と同様のアルゴリズムを有する。

【0023】

提案根拠算出部１２０１には、各データ入出力部１０１を経由して得られる時刻ｔ０の主体データ１０４と、意思決定算出部１１１が算出した時刻ｔ０の提案１１３と、環境モデル１２０２から出力される各時刻の環境状態１２０９、各時刻における各主体ｉの観測である主体観測１２１０とが入力される。提案根拠算出部１２０１は、評価関数ｊを用いて、将来予定されている意思決定である将来意思１２０３を算出し、算出した将来意思１２０３を環境モデル１２０２に入力する。

【0024】

将来意思１２０３は、意思決定提案システム１１０が算出する提案１１３と同種の情報であり、対象とする時間軸が異なる。すなわち、提案１１３は現在時刻である時刻ｔ０における最適な意思決定であり、将来意思１２０３は将来である時刻ｔ１、ｔ２、・・における最適な意思決定である。提案１１３および将来意思１２０３は、多主体調停システム１００により時刻ｔ０に算出される点は共通し、どの時刻を対象とするかが異なる。

【0025】

環境モデル１２０２には、提案根拠算出部１２０１が算出した各時刻における各主体の意思決定である提案１２０８、および各主体ｉの主体データ１０４が入力される。環境モデル１２０２は、次の時刻における環境の状態である環境状態１２０９、および次の時刻における各主体ｉの観測である主体観測１２１０を算出して提案根拠算出部１２０１に出力する。環境モデル１２０２は、次の時刻における主体観測１２１０を自らが算出済みなので、これを主体データ１０４の代わりとして用いる。換言すると、主体データ１０４は主体観測１２１０の初期値として用いられる。このように、提案根拠算出部１２０１と環境モデル１２０２が連携することで、将来の時刻における環境と最適な意思決定が次々に計算される。

【0026】

提案根拠算出部１２０１は、評価関数ｊと、算出した将来意思１２０３と、環境モデル１２０２が算出した各時刻の環境状態１２０９と、に基づき、将来の各時刻における主体ｉに関する指標である将来指標１２０５を算出する。提案根拠算出部１２０１は、算出した将来指標１２０５に基づき、将来における公平性に関する制約条件で定めた公平性に関する状態である公平状態１２０６、将来の各時刻における各指標ごとの時系列の合計値である時系列合計値１２０７、および将来の各時刻における各指標ごとの時系列合計値１２０７を算出する。

【0027】

以下では、提案根拠算出部１２０１が算出した将来意思１２０３、将来指標１２０５、公平状態１２０６、および時系列合計値１２０７と、環境モデル１２０２が算出した主体観測１２１０とをまとめて提案根拠１２３７と呼ぶ。提案根拠算出部１２０１は提案根拠１２３７を各主体ｉのデータ入出力部１０１に送信する。データ入出力部１０１は、受信したデータを出力情報１０３として主体ｉに提示する。主体ｉは、将来意思１２０３、将来指標１２０５、公平状態１２０６、時系列合計値１２０７、および主体観測１２１０を参照して、現在の提案された意思決定を受け入れるかを判断できる。

【0028】

なお提案根拠生成システム１２００は、将来意思１２０３および主体観測１２１０は全ての主体について算出するが、将来指標１２０５、公平状態１２０６、および時系列合計値１２０７は算出が必要な主体ｉの分だけ算出してもよい。また、それぞれのデータ入出力部１０１に送信する提案根拠１２３７には他の主体ｉに関するデータは含めなくてもよい。

【0029】

主体ｉは、データ入出力部１０１を経由して、提案根拠生成システム１２００に対して追加提示要求１０５を送信できる。提案根拠生成システム１２００は、主体ｉから追加提示要求１０５を受信すると、さらに将来の時刻における提案根拠１２３７を算出して、追加提示要求１０５を送信したデータ入出力部１０１に送信する。ただし、それぞれの追加提示要求１０５には主体ｉの識別子が含まれるか、追加提示要求１０５を送信したデータ入出力部１０１の識別子を用いて対応する主体ｉを特定可能であるとする。追加提示要求１０５は、少なくとも特定の主体ｉが追加のデータを要求していることを明示するデータであればよい。

【0030】

なお提案根拠生成システム１２００は、特段の指示を受けることなく、所定の将来時刻までのデータを算出して送付してもよい。たとえば意思決定提案システム１１０が時刻ｔ０の提案１１３を算出した際に、提案根拠生成システム１２００は時刻ｔ０の提案根拠１２３７のみを算出してもよいし、時刻ｔ０～ｔ２の提案根拠１２３７を算出してもよい。提案根拠生成システム１２００が特段の指示を受けることなく算出した提案根拠１２３７は全てのデータ入出力部１０１に対して送信され、追加提示要求１０５を受信して算出した提案根拠１２３７はその追加提示要求１０５を送信したデータ入出力部１０１に対して送信される。

【0031】

図５は、調整依頼適用システム１３００の機能的構成を表すブロック図である。調整依頼適用システム１３００は、意思決定調整依頼１０６を受信すると動作する。意思決定調整依頼１０６は、主体ｉがデータ入出力部１０１を用いて調整依頼適用システム１３００に対して送信する。意思決定調整依頼１０６には、特定の主体ｉが希望する値が含まれる。たとえば特定の主体ｉに決定権がある価格の単価について、提案１１３は「５ドル」であった場合にたとえば意思決定調整依頼１０６には調整事項として異なる価格である「８ドル」などが含まれる。調整依頼適用システム１３００は、意思決定調整依頼１０６に含まれる調整事項を反映した場合に、各提案根拠に与える影響度１３３７を算出する。ただし複数の主体ｉから意思決定調整依頼１０６を受信した場合でも、調整依頼適用システム１３００における演算は主体ｉごとに独立して行われる。すなわち調整依頼適用システム１３００は、算出対象の主体ｉ以外は、提案１１３の値を用いて演算を行う。

【0032】

調整依頼適用システム１３００は、適用算出部１３０１、差分計算部１３１１、および環境モデル１３０２を有する。適用算出部１３０１は、意思決定算出部１１１と同様に評価関数ｊを有する。また、各評価関数は、公平性に関する制約条件のペナルティ関数も指標として含む場合がある。適用算出部１３０１は意思決定算出部１１１および提案根拠算出部１２０１と同様のアルゴリズムを有する。環境モデル１３０２は、図３に示した環境モデル１１２および図４に示した環境モデル１２０２と同様の構成を有し、同様の動作を行う。

【0033】

適用算出部１３０１は、提案根拠算出部１２０１と同様に、それぞれの時刻における将来意思１３０３、将来指標１３０５、公平状態１３０６、時系列合計値１３０７を算出する。適用算出部１３０１の提案根拠算出部１２０１との違いは、現在時刻である時刻ｔ０を対象とする演算である。具体的には、適用算出部１３０１は提案根拠算出部１２０１と同様に時刻ｔ０における各主体の理想的な意思決定を算出するが、処理対象の主体ｉの意思決定のみ受信した意思決定調整依頼１０６の値を用いる。適用算出部１３０１の時刻ｔ１以降に関する計算は提案根拠算出部１２０１と同様である。

【0034】

図４と図５の対応関係は以下のとおりである。将来意思１２０３は将来意思１３０３に対応し、将来指標１２０５は将来指標１３０５に対応し、公平状態１２０６は公平状態１３０６に対応し、時系列合計値１２０７は時系列合計値１３０７に対応し、環境状態１２０９は環境状態１３０９に対応し、主体観測１２１０は主観観測１３１０に対応する。これら対応関係における相違点は、将来意思１３０３の時刻ｔ０における算出対象の主体ｉに関する意思決定が算出されたものではなく、主体ｉの希望する意思決定調整依頼１０６に含まれる値である点で将来意思１２０３と異なる。この相違点に起因して、将来指標１３０５、公平状態１３０６、時系列合計値１３０７、環境状態１３０９、および主観観測１３１０の具体的な値は将来指標１２０５、公平状態１２０６、時系列合計値１２０７、環境状態１２０９、および主体観測１２１０と異なる。差分計算部１３１１は、適用算出部１３０１が算出した時系列合計値１３０７と、提案根拠生成システム１２００が算出した時系列合計値１２０７の差分を依頼差分１３１２として算出する。

【0035】

以下では、主観観測１３１０が算出した将来意思１３０３、将来指標１３０５、公平状態１３０６、および時系列合計値１３０７と、環境モデル１３０２が算出した主観観測１３１０と、差分計算部１３１１が算出した依頼差分１３１２とをまとめて、影響度１３３７と呼ぶ。調整依頼適用システム１３００は、影響度１３３７を意思決定調整依頼１０６を送信したデータ入出力部１０１に送信する。データ入出力部１０１は、受信した影響度１３３７を出力情報１０３として出力する。各主体ｉは、影響度１３３７を参照して、意思決定提案システム１１０から出力された提案１１３を受け入れるか否かを判断できる。

【0036】

図６は、意思決定提案システム１１０、提案根拠生成システム１２００、および調整依頼適用システム１３００のアルゴリズムを強化学習とした場合の、多主体調停システムの機能的構成を表すブロック図である。なお図６では後述する学習部６００は多主体調停システム１００の外部に存在するが、学習部６００は多主体調停システム１００に内包されてもよい。意思決定提案システム１１０、提案根拠生成システム１２００、および調整依頼適用システム１３００の動作の概要はこれまで説明したとおりである。以下では主に、数理最適化ではなく強化学習を用いる場合の相違点を説明する。

【0037】

図６に示す意思決定算出部１１１は、分割された各評価関数ｊを各報酬とし、分割された各評価関数ｊごとに分割されたＱ関数を持つエージェントモデル２１１を有する。エージェントモデル２１１におけるＱ関数ｊとは、分割された各Ｑ関数のｊ番目のＱ関数である。エージェントモデル２１１は、分割された各Ｑ関数ｊに基づいたＱ学習、または、Actor-Criticによる強化学習である。

【0038】

図６の意思決定提案システム１１０は、エージェントモデル２１１がＱ学習の場合には、学習部６００から同期されるパラメータ６０１と、データ入出力部１０１から得られる主体データ１０４に含まれる環境の状態ｓ（ｔ）とに基づいて、エージェントモデルの数式１に基づき、提案する各主体の意思決定である提案１１３を算出する。またここで、環境の状態の代わりに、後述する各主体ｉの観測を入力としてもよい。

【0039】

【数1】

【0040】

ここで、数式１におけるａ_１、ａ_２、・・、ａ_｜Ｉ｜は各主体の意思決定、ｃ^ｊは評価関数ｊに対する重み係数、Ｑ^ｊはＱ関数ｊ、Ｊは分割された評価関数ｊの集合である。算出された各主体の意思決定である提案１１３は、データ入出力部１０１を経由して、主体ｉに出力情報１０３として表示される。

【0041】

図６の意思決定提案システム１１０は、エージェントモデル２１１がActor-Criticの場合は、学習部６００から同期されるパラメータ６０１と、データ入出力部１０１から得られる主体データ１０４に含まれる、環境の状態ｓ（ｔ）に基づいて、エージェントモデルの数式２により、提案１１３を算出する。またここで、環境の状態の代わりに、後述する各主体ｉの観測を入力としてもよい。

【0042】

【数2】

【0043】

ここで、数式２のａ_１、ａ_２、・・、ａ_｜Ｉ｜は各主体の意思決定、π_{ａｃｔｏｒ}は条件付き確率分布で、Ａｃｔｏｒモデルの方策である。ここで、数式２において、ａ_１、ａ_２、・・、ａ_｜Ｉ｜はπ_{ａｃｔｏｒ}の平均値として算出される場合もある。算出された提案１１３は、データ入出力部１０１を経由して、主体ｉに出力情報１０３として表示される。

【0044】

図６の提案根拠生成システム１２００は、エージェントモデル２１１と同様に、分割された各Ｑ関数ｊを持つエージェントモデル２２１を有する。また、環境の挙動をモデリングした環境モデル１２０２を有する。エージェントモデル２２１は、分割された各Ｑ関数ｊに基づいた、Ｑ学習、または、Ａｃｔｏｒ－Ｃｒｉｔｉｃによる強化学習である。

【0045】

図６の提案根拠生成システム１２００は、エージェントモデル２２１がＱ学習の場合は、各時刻ｔにおけるエージェントモデル２２１の数式１によるロールアウトを実行する。このロールアウトには、学習部６００から同期されるパラメータ６０１と、データ入出力部１０１から得られる主体データ１０４に含まれる環境の状態ｓ（ｔ）と、算出された提案１１３と、分割された各評価関数ｊと、環境モデル１２０２と、が用いられる。なお、環境の状態の代わりに、後述する各主体ｉの観測を入力としてもよい。

【0046】

ここでロールアウトとは、以下の一連の計算を意味する。ある時刻の環境の状態に基づき、各主体の意思決定を算出し、環境モデルに入力することで、次の時刻の環境の状態、各主体の観測が出力される。算出された次の時刻の環境の状態に基づき、分割された各評価関数ｊによって、各指標を算出し、場合によっては公平性に関する状態も算出する。以後次の時刻の環境の状態に基づき、同様の計算を繰り返すことで、各時刻における、各主体の意思決定、環境の状態、各主体の観測、各指標、公平性に関する状態を算出する。

【0047】

図６の提案根拠生成システム１２００は、エージェントモデル２２１がActor-Criticの場合は、各時刻ｔにおけるエージェントモデル２２１の数式２によるロールアウトを実行する。このロールアウトには、学習部６００から同期されるパラメータ６０１と、データ入出力部１０１から得られる主体データ１０４に含まれる環境の状態ｓ（ｔ）と、算出された提案１１３と、分割された各評価関数ｊと、環境モデル１２０２と、が用いられる。なお、環境の状態の代わりに、後述する各主体ｉの観測を入力としてもよい。

【0048】

図６の提案根拠生成システム１２００は、ロールアウトにより、将来意思１２０３、将来指標１２０５、公平状態１２０６、および主体観測１２１０を算出する。図６の提案根拠生成システム１２００は、分割された各Ｑ関数ｊを、時刻ごとの各指標ごとの時系列合計値である時系列合計値１２０７、として算出する。提案根拠生成システム１２００は、算出した提案根拠１２３７をデータ入出力部１０１に出力する。データ入出力部１０１は、受信した提案根拠１２３７を主体ｉに出力情報１０３として表示する。主体ｉは提案根拠１２３７に基づいて、現在の提案された意思決定を受け入れるか否かを判断できる。

【0049】

提案根拠生成システム１２００は、主体ｉから追加提示要求１０５を受信すると、ロールアウトによりさらに将来の提案根拠１２３７を算出し、その主体ｉに対応するデータ入出力部１０１に送信する。主体ｉは、さらに将来の情報に基づいて、現在の提案された意思決定を受け入れるか否かを判断できる。

【0050】

図６の調整依頼適用システム１３００は、エージェントモデル２１１と同様に、分割された各Ｑ関数ｊを持つエージェントモデル２３１、および環境の挙動をモデリングした環境モデル１３０２を有する。さらに調整依頼適用システム１３００は、意思決定調整依頼１０６を適用した場合の影響度１３３７を算出するための差分計算部１３１１を有する。エージェントモデル２３１は、分割された各Ｑ関数ｊに基づいた、Ｑ学習、または、Actor-Criticによる強化学習である。

【0051】

図６の調整依頼適用システム１３００は、エージェントモデル２３１がＱ学習の場合は、各時刻ｔにおけるエージェントモデル２３１の数式１によるロールアウトの実行にあたって次のデータを用いる。すなわち調整依頼適用システム１３００は、学習部６００から同期されるパラメータ６０１と、データ入出力部１０１から得られる主体データ１０４に含まれる環境の状態ｓ（ｔ）と、分割された各評価関数ｊと、環境モデル１３０２と、を用いる。なお、環境の状態の代わりに、後述する各主体ｉの観測を入力としてもよい。

【0052】

図６の調整依頼適用システム１３００は、エージェントモデル２３１がActor-Criticの場合は、数式２により各時刻ｔにおけるエージェントモデル２３１のロールアウトを実行する。この実行には、学習部６００から同期されるパラメータ６０１と、データ入出力部１０１から得られる主体データ１０４に含まれる環境の状態ｓ（ｔ）と、分割された各評価関数ｊと、環境モデル１３０２と、が用いられる。なお、環境の状態の代わりに、後述する各主体ｉの観測を入力としてもよい。

【0053】

図６の調整依頼適用システム１３００は、主体ｉからの意思決定調整依頼１０６と、学習部６００から同期されるパラメータ６０１と、各データ入出力部１０１を経由して得られる、主体データ１０４に含まれる環境の状態ｓ（ｔ）とに基づいて、分割された各Ｑ関数ｊを時系列合計値１３０７として算出する。差分計算部１３１１は、図５を参照して説明したように、提案根拠生成システム１２００により算出された時系列合計値１２０７と、適用算出部１３０１により算出された時系列合計値１３０７との差を依頼差分１３１２として算出する。

【0054】

図７は、学習部６００の機能的構成を表すブロック図である。学習部６００は、パラメータ管理部２４０と、データ採集部２５０と、データ格納部２６０と、を備える。パラメータ管理部２４０は、エージェントモデルの各パラメータの更新、パラメータの保持、および図６の各エージェントモデルに対してパラメータ６０１を同期する。

【0055】

パラメータ管理部２４０は、エージェントモデル２１１などと同様に、分割された各Ｑ関数ｊを持つエージェントモデル２４１を有する。パラメータ管理部２４０は、データ格納部２６０から得られるデータセット６０３に基づき、各パラメータを更新する。パラメータ管理部２４０は、各パラメータの更新にて、各エージェントモデルがＱ学習の場合は、数式３における損失関数Ｌ^ｊを最小化するように、エージェントモデル２４１内の各Ｑ関数のパラメータを更新する。

【0056】

【数3】

【0057】

ここで、数式３のａ_１、ａ_２、・・、ａ_｜Ｉ｜は各主体の意思決定、Ｑ^ｊはエージェントモデル２４１内のＱ関数ｊ、ｒ^ｊはデータセット６０３より得られる分割された評価関数ｊによる報酬、γは割引率、Ｑ_{ｔａｒｇｅｔ} ^ｊはエージェントモデル２４１内のＱ関数ｊに対応するターゲットネットワーク、Ｊは分割された評価関数ｊの集合、ｃ^ｊは評価関数ｊに対する重み係数である。パラメータ管理部２４０は、各パラメータの更新において、各エージェントモデルがActor-Criticの場合は、数式４の損失関数Ｌ^ｊを最小化するように、エージェントモデル２４１内の各ＣｒｉｔｉｃモデルのＱ関数のパラメータを更新する。

【0058】

【数4】

【0059】

ここで、数式４のａ_１、ａ_２、・・、ａ_｜Ｉ｜は各主体の意思決定、Ｑ^ｊはエージェントモデル２４１内のＱ関数ｊ、ｒ^ｊはデータセット６０３より得られる分割された評価関数ｊによる報酬、γは割引率、Ｑ_{ｔａｒｇｅｔ} ^ｊはエージェントモデル２４１内のＱ関数ｊに対応するターゲットネットワーク、π_{ａｃｔｏｒ}は条件付き確率分布で、Ａｃｔｏｒモデルの方策である。Ａｃｔｏｒモデルの学習は、Actor-Criticの種類に応じて適切に学習する。

【0060】

データ採集部２５０は意思決定算出部２５１、環境の挙動をモデリングした環境モデル２５２を有する。意思決定算出部２５１は、分割された各評価関数ｊを有し、図６のエージェントモデル２１１などと同様に、分割された各Ｑ関数ｊを持つエージェントモデル２５３を有する。

【0061】

データ採集部２５０は、エージェントモデル２５３と環境モデル２５２によるシミュレーションにより、環境の状態、各主体の意思決定、および分割された各評価関数ｊによって算出される各報酬、を遷移データとして採集し、データ格納部２６０に格納する。またここで、環境の状態ではなく、後述する各主体ｉの観測としてもよい。

【0062】

データ採集部２５０は、エージェントモデル２５３がＱ学習の場合は、パラメータ管理部２４０から同期されるパラメータ６０１に基づき、環境モデル２５２から出力される環境の状態２５４であるｓ（ｔ）から、数式５によって各主体の意思決定２５５であるａ（ｔ）を算出し、環境モデル２５２に入力する。またここで、環境の状態２５４の代わりに、後述する各主体ｉの観測２５６を入力としてもよい。

【0063】

【数5】

【0064】

ここで、数式５のａ_１、ａ_２、・・、ａ_｜Ｉ｜は各主体の意思決定、Ｃ^ｊは評価関数ｊに対する重み係数、Ｑ^ｊはエージェントモデル２５３内のＱ関数ｊ、Ｊは分割された評価関数ｊの集合、εは０から１までの実数である。環境モデル２５２から次の時刻の環境の状態２５４であるｓ（ｔ＋１）、及び次の時刻の各観測２５６が算出され、意思決定算出部２５１内の分割された各評価関数ｊによって、各報酬が算出される。以後これを繰り返すことで、遷移データ６０２として採集し、データ格納部２６０に格納する。

【0065】

データ採集部２５０は、エージェントモデル２５３がActor-Criticの場合は、パラメータ管理部２４０から同期されるパラメータ６０１、環境モデル２５２から出力される環境の状態２５４であるｓ（ｔ）、および数式２を用いて各主体の意思決定２５５であるａ（ｔ）を算出し、環境モデル２５２に入力する。なお、環境の状態２５４の代わりに、後述する各主体ｉの観測２５６を入力としてもよい。環境モデル２５２は、次の時刻の環境の状態２５４であるｓ（ｔ＋１）、および次の時刻の各観測２５６を算出し、意思決定算出部２５１内の分割された各評価関数ｊによって、各報酬が算出される。以後これを繰り返すことで、遷移データ６０２として採集し、データ格納部２６０に格納する。

【0066】

データ格納部２６０は、データ採集部２５０から格納される遷移データ６０２を保存する。またデータ格納部２６０は、パラメータ管理部２４０の各パラメータ更新時には、保存されている遷移データ６０２からデータセット６０３を作成し、パラメータ管理部２４０に出力する。

【0067】

各エージェントモデルは環境の状態を入力として扱ってきたが、環境の状態の代わりに、各主体ｉの観測を入力としてもよい。また、その観測は情報の秘匿性などにより、一部マスクされていてもよい。また、各エージェントモデルが適宜ＲＮＮ（Recurrent Neural Network）などの時系列モデルを用いることで、過去の各観測情報から特徴量を抽出し、各Ｑ関数をモデル化、またはＡｃｔｏｒモデルをモデル化してもよい。この時系列モデル化により、多主体調停システム１００が全ての情報にアクセスできない場合でも、過去のアクセスできる各観測情報から特徴量を抽出することで、提案１１３や提案根拠１２３７を算出できる。

【0068】

各エージェントモデルは、方策を１つにまとめたシングルエージェント強化学習で解く場合もあれば、必要に応じて各意思決定ごとに方策を分割するマルチエージェント強化学習で解く場合もある。マルチエージェント強化学習で解く際には、必要に応じてエージェント間で、コミュニケーションをとってもよい。

【0069】

なお、前述の数式１～数式５はシングルエージェントモデルを採用する場合の数式である。エージェントモデルにマルチエージェントを採用する場合には、数式１～数式５を次の数式６～数式１０に置き換えればよい。ただし数式６～数式８、数式１０は、ある主体について記載しているので、他の主体について算出する場合には、ａ_１をａ_２、ａ_３、・・、ａ_｜Ｉ｜に変更して算出する。

【0070】

【数6】

【0071】

【数7】

【0072】

【数8】

【0073】

【数9】

【0074】

【数10】

【0075】

図８は、多主体調停システム１００のハードウエア構成を表すブロック図である。多主体調停システム１００は、サーバ３１０と、複数の端末装置３２０とを備える。サーバ３１０は、コントローラ３１１およびサーバ通信装置３１２を備える。コントローラ３１１は、意思決定提案システム１１０、提案根拠生成システム１２００、および調整依頼適用システム１３００を備える。コントローラ３１１は、不図示の中央演算装置であるＣＰＵ、ＲＯＭ、およびＲＡＭを備え、ＲＯＭに格納されたプログラムをＲＡＭに展開してＣＰＵが実行することで、意思決定提案システム１１０、提案根拠生成システム１２００、および調整依頼適用システム１３００を実現する。

【0076】

ただしＣＰＵ、ＲＯＭ、およびＲＡＭの組み合わせの代わりに書き換え可能な論理回路であるＦＰＧＡ（Field Programmable Gate Array）や特定用途向け集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により意思決定提案システム１１０、提案根拠生成システム１２００、および調整依頼適用システム１３００が実現されてもよい。また意思決定提案システム１１０、提案根拠生成システム１２００、および調整依頼適用システム１３００は、ＣＰＵ、ＲＯＭ、およびＲＡＭの組み合わせの代わりに、異なる構成の組み合わせ、たとえばＣＰＵ、ＲＯＭ、ＲＡＭとＦＰＧＡの組み合わせにより実現されてもよい。

【0077】

端末装置３２０は、入力装置３２１、出力装置３２２、および端末通信装置３２３を備える。端末装置３２０は図１におけるデータ入出力部１０１に相当する。端末装置３２０は、たとえば汎用のコンピュータである。端末装置３２０は、各主体ｉごとに存在される。端末装置３２０は、主体ｉが入力装置３２１を用いて入力した情報を、端末通信装置３２３およびネットワーク３３０を経由して、サーバ３１０に送信する。

【0078】

サーバ３１０は、入力された各主体の情報に基づき、コントローラ３１１内の意思決定提案システム１１０、提案根拠生成システム１２００、および調整依頼適用システム１３００を用いて提案１１３、提案根拠１２３７、および影響度１３３７を算出する。サーバ３１０は、算出した提案１１３、提案根拠１２３７、および影響度１３３７をサーバ通信装置３１２と、ネットワーク３３０とを経由して、端末装置３２０に送信する。

【0079】

入力装置３２１は、各主体が入力したい情報を入力するための装置であり、例えば、キーボード、マウス、マイク、タッチパネル、などである。出力装置３２２は、システム内のデータや情報を出力する装置であり、例えば、ディスプレイ、スピーカ、プリンタ、などである。

【0080】

図９および図１０は、データ入出力部１０１が主体ｉに提示する出力情報１０３の一例を示す図である。ここでは出力装置３２２をディスプレイまたはプリンタとし、出力情報１０３を視覚的に示すユーザーインターフェースの例として示している。

【0081】

図９のＵ５００は、多主体調停システム１００が提案する現在の意思決定である提案１１３と、全ての主体ｉが提案１１３を受け入れた場合の、想定される各指標ごとの時系列合計値、またはＱ関数に関する情報を、各主体に示す画面表示である。各主体は、Ｕ５００に示す表示を参照することによって、提案されている現在の意思決定と、想定される各指標ごとの時系列合計値、またはＱ関数に関する情報とを確認できる。

【0082】

図９のＵ５０１は、将来意思１２０３、将来の各主体の観測情報である主体観測１２１０、時刻ごとの各指標の値、公平状態１２０６を各主体に示す画面表示である。各主体ｉは、Ｕ５０１によって、提案根拠１２３７を確認できる。

【0083】

図１０のＵ５０２は、意思決定調整依頼１０６に含まれる主体ｉが調整依頼している意思決定と、この調整を適用した場合に想定される各指標ごとの時系列合計値、またはＱ関数と、時系列合計値を、各主体に示す画面表示である。各主体は、Ｕ５００とＵ５０２の比較によって、調整依頼による影響度１３３７を確認できる。なおＵ５０２の各指標ごとの時系列合計値において、調整依頼を適用する前後の差を更に表示してもよい。

【0084】

図１０のＵ５０３は、調整依頼を適用した場合における将来意思１３０３、将来の各主体の観測情報である主観観測１３１０、時刻ごとの各指標の値、公平状態１３０６を各主体に示す画面表示である。各主体は、Ｕ５０１とＩ５０３とを比較することで、調整依頼による影響度１３３７を確認できる。

【0085】

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）多主体調停システム１００は、少なくとも１つの全体指標である対象全体指標、および少なくとも１つの個別指標である対象個別指標に影響を与える複数主体の意思決定を調停する。多主体調停システム１００は、複数主体のそれぞれから入力される複数主体の観測である主体データ１０４と、対象全体指標および対象個別指標のそれぞれに対応する評価関数とに基づいて複数主体のそれぞれの意思決定を提案１１３として算出し、複数主体のそれぞれに提案１１３を提案する意思決定算出部１１１を備える。そのため、全体指標および個別指標の両方を考慮した複数主体の意思決定を算出し、提案１１３として各主体に提示できる。

【0086】

（２）多主体調停システム１００は、現在時刻における複数主体の意思決定である提案１１３、および現在時刻における主体データ１０４に基づき、次の時刻における主体データ１０４を算出する環境モデル１２０２と、評価関数、現在時刻における主体データ１０４、および環境モデル１２０２、提案の根拠である提案根拠１２３７を算出し、複数主体のそれぞれに提案根拠１２３７を提示する提案根拠算出部１２０１を備える。そのため各主体は、提案根拠１２３７を閲覧し、納得した上で提案１１３を受け入れることができる。

【0087】

（３）多主体調停システム１００は、意思決定算出部１１１が算出した複数主体のそれぞれの意思決定に対して、複数主体に含まれる１つの主体である対象主体からの調整依頼を適用した場合の影響度１３３７を算出し、対象主体に影響度１３３７を提示する適用算出部１３０１とを備える。そのため、これにより、各主体は自らの意思決定調整依頼１０６によって、どの程度他の指標に影響を与えてしまうのか知ることができ、提案１１３を受け入れるか否かの判断ができる。

【0088】

（４）意思決定算出部１１１は、複数主体の間で決められた公平性に関する定義を制約条件として、意思決定を算出する。そのため提案１１３には公平性の制限が掛けられ、主体同士の極端な不公平を防止できる。

【0089】

（５）意思決定算出部１１１は、対象全体指標、および対象個別指標ごとに損失関数算出時の方策を統一しつつ、Ｑ関数を分割した強化学習により得られたパラメータを備え、当該パラメータを用いて意思決定を算出する。

【0090】

（６）意思決定算出部１１１は、強化学習によって学習したエージェントモデルを備え、主体データ１０４に基づき、対象全体指標および対象個別指標を同時に向上する各主体の意思決定を算出する。

【0091】

（７）多主体調停システム１００は、現在時刻における複数主体の意思決定、および現在時刻における主体データ１０４に基づき、次の時刻における主体データ１０４を算出する環境モデル１２０２と、エージェントモデル、環境モデル１２０２、現在時刻における主体データ１０４、および意思決定算出部１１１が算出する意思決定に基づきロールアウトを実行することで、将来の時刻における意思決定、将来の時刻における主体データ１０４を算出し、Ｑ関数を用いて対象全体指標および対象個別指標のうち少なくとも１つの指標の時系列合計値を算出する提案根拠算出部１２０１と、を備える。

【0092】

（８）意思決定算出部１１１が算出した複数主体のそれぞれの意思決定に対して、複数主体に含まれる１つの主体である対象主体からの調整依頼を適用した場合の影響度１３３７を算出し、対象主体に影響度１３３７を提示する適用算出部１３０１とを備える。

【0093】

（９）現在時刻における複数主体の意思決定、および現在時刻における主体データ１０４に基づき、次の時刻における主体データ１０４を算出する環境モデル１３０２を備える。適用算出部１３０１は、意思決定算出部１１１が算出した現在時刻における複数主体のそれぞれの意思決定に対して、複数主体に含まれる１つの主体である対象主体からの調整依頼を適用した意思決定、エージェントモデル、環境モデル１３０２、および現在時刻における主体データ１０４に基づきロールアウトを実行することで、将来の時刻における対象全体指標および対象個別指標のうち少なくとも１つの指標の時系列合計値への影響を算出し、主体に提示する。

【0094】

（１０）エージェントモデルは時系列モデルを含み、主体データ１０４から特徴量を抽出する。そのため、一部の主体データ１０４が秘匿されても、秘匿されていない場合と同様に提案１１３などを算出できる。

【0095】

（１１）エージェントモデルはシングルエージェントモデルであり、複数主体のそれぞれの意思決定を１つの方策モデルを用いて算出する。

【0096】

（１２）エージェントモデルはマルチエージェントモデルであり、複数主体のそれぞれの意思決定ごとに異なる方策モデルを用いて算出する。

【0097】

（変形例１）
上述した実施の形態では、多主体調停システム１００は、意思決定提案システム１１０、提案根拠生成システム１２００、および調整依頼適用システム１３００を備えた。しかし多主体調停システム１００は少なくとも意思決定提案システム１１０を備えればよく、提案根拠生成システム１２００および調整依頼適用システム１３００の少なくとも一方を備えなくてもよい。

【0098】

図１１は、変形例１における多主体調停システム１００Ａの構成図である。多主体調停システム１００Ａは意思決定提案システム１１０を備えるが提案根拠生成システム１２００および調整依頼適用システム１３００は備えない。多主体調停システム１００Ａは、簡素な構成で提案１１３を提供できる。

【0099】

上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。

【0100】

上述した各実施の形態および変形例において、コントローラ３１１においてプログラムは不図示のＲＯＭに格納されるとしたが、プログラムは不揮発性記憶装置に格納されていてもよい。また、コントローラ３１１が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースとコントローラ３１１が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。

【0101】

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【符号の説明】

【0102】

１００ ：多主体調停システム
１０４ ：主体データ
１０５ ：追加提示要求
１０６ ：意思決定調整依頼
１１０ ：意思決定提案システム
１１２ ：環境モデル
１１３ ：提案
１１５ ：環境状態
１１６ ：主体観測
１２００ ：提案根拠生成システム
１２３７ ：提案根拠
１３００ ：調整依頼適用システム
１３３７ ：影響度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】