ホーム > 特許ランキング > トヨタ自動車株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ トヨタ自動車株式会社の特許一覧 ▶ 学校法人トヨタ学園の特許一覧
特開2021-5256マルチエージェントシステムの合意制御が実行される分散制御システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-5256(P2021-5256A)
(43)【公開日】2021年1月14日
(54)【発明の名称】マルチエージェントシステムの合意制御が実行される分散制御システム
(51)【国際特許分類】
G05B 13/02 20060101AFI20201211BHJP
【ＦＩ】
G05B13/02 Z
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
【全頁数】26
(21)【出願番号】特願2019-119170(P2019-119170)
(22)【出願日】2019年6月26日
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】592032636
【氏名又は名称】学校法人トヨタ学園
(74)【代理人】
【識別番号】100071216
【弁理士】
【氏名又は名称】明石 昌毅
(74)【代理人】
【識別番号】100130395
【弁理士】
【氏名又は名称】明石 憲一郎
(72)【発明者】
【氏名】菊池 智志
(72)【発明者】
【氏名】川西 通裕
(72)【発明者】
【氏名】成清 辰生
(72)【発明者】
【氏名】ノツ トラン フィン
【テーマコード（参考）】
5H004
【Ｆターム（参考）】
5H004GA05
5H004GB04
5H004GB11
5H004GB15
5H004JA03
5H004KC08
5H004KC12
5H004KD52
5H004KD57
(57)【要約】
【課題】 マルチエージェントシステムの合意制御に従って通信ネットワークにて接続された複数の機器の状態を制御する分散制御システムに於いて、通信ネットワークに於ける信号の通信遅延が対称的でない場合に於いてもその通信遅延による影響を補償すること。【解決手段】 本発明のシステムに於いて、複数の機器の各々の状態をそれぞれ制御する互いに通信回線で接続された制御装置の各々が、自機器の現在の前記状態指標値と、隣接機器の制御装置から受信した最新の隣接機器の状態指標値と隣接機器の制御装置にて受信された最新の自機器の状態指標値との差分を用いて合意制御に従って自機器の状態目標値を決定する。
【選択図】 図３
【特許請求の範囲】
【請求項1】
複数の機器の各々の状態をそれぞれ制御する複数の制御装置と、前記複数の制御装置を接続する複数の通信回線からなる通信ネットワークとを含み、前記複数の機器の各々にて計測された選択された状態を表す状態指標値がそれぞれ対応する前記複数の制御装置の各々から前記通信回線を通って前記通信回線にて接続された前記複数の機器のうちの隣接機器の前記制御装置へ伝達され、前記複数の機器の各々の制御装置が、それ自身が前記選択された状態を制御する前記複数の機器のうちの自機器の前記状態を、前記自機器の前記状態指標値と前記隣接機器の前記状態指標値とを参照してマルチエージェントシステムの合意制御に従って決定された状態目標値に前記自機器の前記状態指標値が一致するよう制御するよう構成された分散制御システムであって、
前記制御装置の各々が、
前記合意制御に従って前記自機器の前記状態目標値を決定する状態目標値決定手段にして、前記自機器の現在の前記状態指標値と、前記隣接機器の前記制御装置から受信した最新の前記隣接機器の前記状態指標値と前記隣接機器の前記制御装置にて受信された最新の前記自機器の前記状態指標値との差分を用いて前記状態目標値を決定する手段
を含むシステム。
前記制御装置の各々が、
前記合意制御に従って前記自機器の前記状態目標値を決定する状態目標値決定手段にして、前記自機器の現在の前記状態指標値と、前記隣接機器の前記制御装置から受信した最新の前記隣接機器の前記状態指標値と前記隣接機器の前記制御装置にて受信された最新の前記自機器の前記状態指標値との差分を用いて前記状態目標値を決定する手段
を含むシステム。
【請求項2】
請求項１のシステムであって、前記合意制御が平均合意制御であるシステム。
【請求項3】
請求項１又は２のシステムであって、前記制御装置の各々が、前記自機器の前記状態指標値を前記隣接機器の前記制御装置へ送信する送信手段にして、送信された前記自機器の前記状態指標値が前記隣接機器の制御装置に到達した後に最新の前記自機器の前記状態指標値を送信する手段を含むシステム。
【請求項4】
請求項１乃至３のいずれかのシステムであって、前記制御装置の各々が、前記隣接機器の前記制御装置から送信された前記隣接機器の前記状態指標値を受信すると、前記隣接機器の前記状態指標値を受信したことをその送信元の前記隣接機器の前記制御装置へ通知する状態指標値受信通知手段を含むシステム。
【請求項5】
請求項４のシステムであって、前記制御装置の各々の前記状態目標値決定手段に於いて、前記差分に於ける前記隣接機器の前記制御装置にて受信された最新の前記自機器の前記状態指標値が、前記隣接機器の前記制御装置にて前記自機器の前記状態指標値を受信したことの前記隣接機器の前記制御装置からの通知を受信した最新の前記自機器の前記状態指標値であるシステム。
【請求項6】
請求項１乃至５のいずれかのシステムであって、前記制御装置の各々の前記状態目標値決定手段に於いて、前記状態目標値に於ける前記差分の寄与が制御ゲインにより調節されるシステム。
【請求項7】
請求項６のシステムであって、前記制御装置の各々の前記状態目標値決定手段に於ける前記制御ゲインが、前記隣接機器の前記制御装置から前記制御装置の各々への前記隣接機器の前記状態指標値の通信遅延時間及び前記制御装置の各々から前記隣接機器の前記制御装置への前記自機器の前記状態指標値の通信遅延時間のうちの少なくとも一つに基づいて決定されるシステム。
【請求項8】
請求項７のシステムであって、前記制御装置の各々の前記状態目標値決定手段に於ける前記制御ゲインが、前記隣接機器の前記制御装置から前記制御装置の各々への前記隣接機器の前記状態指標値の通信遅延時間及び前記制御装置の各々から前記隣接機器の前記制御装置への前記自機器の前記状態指標値の通信遅延時間のうちの長い方に基づいて決定されるシステム。
【請求項9】
請求項７又は８のシステムであって、前記制御装置の各々の前記状態目標値決定手段に於ける前記制御ゲインが、前記通信遅延時間が長い場合、前記通信遅延時間が短い場合に比して低減されるシステム。
【請求項10】
請求項７乃至９のいずれかのシステムであって、前記分散制御器入力が複数の前記隣接機器の前記状態指標値と前記自機器の前記状態指標値との差分の総和であるとき、前記制御装置の各々の前記状態目標値決定手段に於ける前記制御ゲインが、前記制御装置の各々に接続された前記隣接機器の前記制御装置に対応する前記差分毎に設定されているシステム。
【請求項11】
請求項１０のシステムであって、前記制御装置の各々に接続された前記隣接機器の前記制御装置に対応する差分毎に設定されている制御ゲインＧｉｊが、１より小さい正数Γと、前記隣接機器の前記制御装置から前記制御装置の各々への前記隣接機器の前記状態指標値の通信遅延時間Ｎｉｊと前記制御装置の各々から前記隣接機器の前記制御装置への前記自機器の前記状態指標値の通信遅延時間Ｎｊｉとを用いて
Ｇｉｊ＝Γｍａｘ（Ｎｉｊ，Ｎｊｉ）
にて与えられるシステム。
Ｇｉｊ＝Γｍａｘ（Ｎｉｊ，Ｎｊｉ）
にて与えられるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の機器のための制御装置の各々が、互いにネットワークに接続され、自身の機器の状態と他の機器の状態とに基づいて自身の機器の状態を制御するよう構成された分散制御システムに係り、より詳細には、複数の機器のための制御装置がマルチエージェントシステムを構成し、各機器の状態がマルチエージェントシステムの合意制御に従って制御されるシステムに係る。分散制御システムに於いて制御及び／又は管理の対象となる機器は、任意のものであってよく、例えば、分散型エネルギーマネージメントシステムに於けるエネルギー源、即ち、エネルギーを種々の媒体を通じて又は種々の担体に載せて送出する任意の機械器具又は装置（発電機（同期発電機、非同期発電機等）、太陽電池、風車（風力発電機等）、水車（水力発電機等）、燃料電池、化学電池、蓄電池、その他の発電装置、充電器、充放電器、発光器、加熱器、冷却器、ボイラー、エンジン、ガスタービン、蒸気機関など）、移動体（車両、航空機、船舶、人工衛星など）、工業プラントに於ける各種の製造機械器具又は処理機械器具、センサネットワークに於ける各種センサなどであってよい。更に、分散制御システムは、ＩｏＴ技術を利用して作動が制御・管理される任意の機器にて構成されていてもよい。また、分散制御システムに於いて制御されるべき状態は、各機器の任意の計測可能な物理量及び／又はそれらの変化率若しくは変動率、例えば、出力（パワー）、電圧、圧力、温度、トルク、駆動力、制動力、電磁力、電磁場強度、電波強度、周波数、振動数、位相、力率、時刻、電流、流量、流速、体積、電荷密度、磁束密度、エンタルピー、エネルギー量（蓄熱量、充電量等）、体積、移動速度、加速度、回転速度、作動速度、速度変化率など、であってよい。
【背景技術】
【0002】
通信ネットワーク技術の発展により、複数の機器、特に、互いに距離の離れた位置に配置された機器をネットワークシステムに接続して、かかるネットワークシステムを通じて、複数の機器の作動や状態を一括的に或いは遠隔的に制御・管理する技術が提案され、実現されている。そのような通信ネットワーク技術を利用した複数の機器の制御・管理システムの一つとして、ネットワークで接続された機器同士がそれらの作動状態を相互に監視しながら、機器毎に状態の制御・管理が自律的に実行される分散制御システムが利用されている。そして、かかる分散制御システムに於ける各機器の作動状態の制御プロトコルとしては、システム内の各機器が分散制御器によって制御される「マルチエージェントシステム」の制御のプロトコル若しくはアルゴリズムが知られており、それに関連して、種々の構成が提案されている。
【0003】
例えば、特許文献１に於いては、一つのシステムに於いて、複数のマルチエージェントシステムがそれぞれ独立に構築されて動作する場合に、一つの端末コンピュータに於いて、そのエージェント間の通信機能が複数のマルチエージェントシステムに於いて共用できるような構成が提案されている。特許文献２に於いては、複数の発電機及び負荷を含む分散型電力系統に於いて、電力系統の区分開閉器で分離された区間毎に配置された区間エージェントが、区間内の潮流量を把握し、潮流増減量を、発電機エージェント又は下流区間のエージェントに対して調整依頼し、発電機エージェント又は下流区間エージェントがそれぞれ自律的に他の発電機エージェント又は下流区間エージェントと調整を行う連鎖を繰り返すことで区間内の分散型電源及び下流区間の需給制御を行うマルチエージェント技術を用いたシステムが提案されている。特許文献３は、マルチエージェントシステムを構成する電力管理システムに於いて、統計値を共有するユーザ数の増加に対応しつつ各ユーザに関するデータの秘匿性を向上させるべく、各ユーザの情報処理装置が最大電力量とその分割値に基づいて分割値を示す分割値データを送信する送信先を特定し、分割値データを送信し、分割値データを受信した他の情報処理装置が分割値から、複数の電力管理装置が管理する電力量の平均値または標準偏差を算出するといった構成を提案している。更に、分散型エネルギーマネージメントシステムに於ける電源又はエネルギー源等のエージェントの状態の制御に於いて、マルチエージェントシステムの制御手法が有効であることが、非特許文献１等にて提案されている。非特許文献２に於いては、ネットワークに於ける情報伝達に非一様・非対称な時間遅れが存在する場合のマルチエージェントシステムの平均合意問題において合意値が得られる条件について解析と考察がなされている。非特許文献３では、マルチエージェントシステムの平均合意問題に於いて、ネットワークに於けるエージェント間の情報伝達に生ずる時間遅延が対称である場合に、全エージェントの状態値を各エージェントの初期値の平均値である合意値に収束させる手法が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１０−１４６２４６
【特許文献2】特開２００９−１５９８０８
【特許文献3】特開２０１６−０９９９５５
【非特許文献】
【0005】
【非特許文献1】システム制御工学シリーズ２２「マルチエージェントシステムの制御」 東俊一他５名 コロナ社 ２０１５年９月１８日
【非特許文献2】「非一様・非対称な時間遅れをもつマルチエージェントシステムの平均合意問題」 桜間一徳他１名 計測自動制御学会論文集Vol.47,No.2,100/109(2011)
【非特許文献3】“Average Consensus in Multi-Agent Systems with Non-uniform Time-Varying Delays and Random Packet Losses” ウー他４名（Jian Wu，Yang Shi，Bingxian Mu， Huxiong Li，WenbaiLi）3rd IFAC International Conference on Intelligent Control and Automation Science. September 2-4, 2013. Chengdu，China p.322-326
【発明の概要】
【発明が解決しようとする課題】
【0006】
分散制御システムに於ける通信ネットワークに接続された複数の機器の状態のマルチエージェントシステムの合意制御に於いては、任意の機器、即ち、エージェントｉの状態を表す状態指標値ｘｉが、下記の式に従って制御される。【数1】
【数2】
【0007】
上記のマルチエージェントシステムの平均合意制御に関して、これまでの研究により、上記の式（１）による演算に於ける各エージェントの状態指標値ｘｉの、それらの初期値ｘｉ［０］の平均値への合意は、エージェント間の同時性（エージェント間の通信ネットワークに於ける信号情報伝達に於いて時間の遅れがなく、各エージェントに於いて隣接エージェントの状態指標値がリアルタイムに（即時に）参照できる状態）の仮定の下では安定的に達成されるが、エージェント間の同時性の条件が満たされていない場合、即ち、エージェント間の通信ネットワークの信号情報伝達に時間遅延がある場合には、全エージェントの状態指標値ｘｉの平均値がそれらの初期値ｘｉ［０］の平均値に保存されず、そのままでは、全エージェントの状態指標値ｘｉをそれらの初期値ｘｉ［０］の平均値へ制御することが困難であることが見出されている（特願２０１９−０１００４０参照）。実際、全エージェントの状態指標値ｘｉが合意値へ収束したとしても、その合意値が全エージェントの初期値ｘｉ［０］の平均値（即ち、式（２）の値）から外れてしまうといった現象が観察されている。また、上記のエージェント間の通信ネットワークの信号情報伝達の時間遅延があると、全エージェントの状態指標値ｘｉが合意値への収束性が悪化することも見出されている。
【0008】
一方、現実の分散制御システムに於いて利用されている通信ネットワークに於いては、アプリケーション遅延［μ秒オーダー］（送信側がパケットをTCP/IP層に渡すときに発生する遅延、受信側がパケットを受信、処理し応答を返すときに発生する遅延）、シリアライゼーション遅延［μ秒〜ｍ秒オーダー］（ネットワークの帯域幅が狭いほど大きくなる、パケットの最初のビットが送られてから最後のビットが転送されるまでの時間）、伝搬遅延（ケーブルの媒体を信号が伝搬するときに発生する遅延）、輻輳遅延（回線の帯域幅を超えてしまったときに超過したパケットをバッファに保存し再び転送するのに要する時間）など、いくつかの要因による信号情報伝達の遅延の発生は避けられず、また、特に、多数のエージェントが接続された大規模なネットワークに於いては、信号のトラフィックが混雑することで、通信ケーブルの信号伝送遅れ、ルータやハブなどの伝送遅れ、通信集中によるコリジョン、マルチホップ通信時の伝送遅れなどの理由で、通信遅延が発生する。従って、現実の分散制御システムに於いてマルチエージェントシステムの平均合意制御による各エージェントの状態の期待通りの制御を達成するためには、式（１）による制御プロトコルを改良する必要があろう。
【0009】
この点に関し、本発明の発明者等は、特願２０１９−０１００４０に於いて、既に、各エージェントに於ける状態の制御に於いて、分散制御器が隣接するエージェント（隣接エージェント）の状態指標値を参照して自身（自エージェント）の状態指標値の変化分、即ち、分散制御器の制御入力（式（１）のｕｉ）を算出するときに、隣接エージェントに於いて時系列にサンプリングされた状態指標値の全てを用いるのではなく、間欠的に、隣接エージェントの状態指標値を参照すると、エージェント間の通信ネットワークの信号情報伝達に於ける時間遅延に起因する状態指標値の合意値への収束性の悪化を補償でき、また、分散制御器の制御入力に於いて、自エージェントの状態指標値として、隣接エージェントの参照する状態指標値とサンプリング時間の一致した状態指標値を用いることによって、各エージェントの状態指標値の収束する合意値を、期待通りに、全エージェントの初期値ｘｉ［０］の平均値に一致させることができることを示し、かくして、状態指標値の合意値への収束性と精度とを補償できる構成を提案した。しかしながら、かかる構成に於いては、任意の二つのエージェント間に於ける双方向の通信の時間遅延が等しい場合（即ち、上記の時間遅延が対称的である場合）を仮定したものであった。そこで、本発明の発明者等に於いて更なる研究開発を進めたところ、各エージェントの分散制御器の制御入力に於いて、隣接エージェントから受信した最新の隣接エージェントの状態指標値（隣接エージェントが自エージェントへ送信する時点に隣接エージェントで計測されていた状態指標値の最新値）と、隣接エージェントが受信した最新の（又はそのことが確認された最新の）自エージェントの状態指標値（自エージェントが隣接エージェントへ送信した時点に自エージェントで計測されていた状態指標値の最新値）との差分を用いることにより、任意の二つのエージェント間に於ける信号通信の時間遅延が対称でない場合にも、各エージェントの状態指標値の収束する合意値を、期待通りに、全エージェントの初期値ｘｉ［０］の平均値に一致させることができることが見出された。本発明に於いては、この知見が利用される。
【0010】
かくして、本発明の一つの課題は、上記の如くマルチエージェントシステムの合意制御に従って通信ネットワークにて互いに接続された複数の機器のそれぞれの状態を制御又は管理する構成の分散制御システムであって、通信ネットワークに於ける信号の通信遅延が対照的でない場合でも（対照的である場合も含む。）、かかる信号通信の遅延に起因する各エージェントの状態指標値の合意値の変動を補償することのできる新規な制御プロトコルにてそれぞれの機器の状態を制御するよう構成されたシステムを提供することである。
【課題を解決するための手段】
【0011】
本発明によれば、上記の課題は、複数の機器の各々の状態をそれぞれ制御する複数の制御装置と、前記複数の制御装置を接続する複数の通信回線からなる通信ネットワークとを含み、前記複数の機器の各々にて計測された選択された状態を表す状態指標値がそれぞれ対応する前記複数の制御装置の各々から前記通信回線を通って前記通信回線にて接続された前記複数の機器のうちの隣接機器の前記制御装置へ伝達され、前記複数の機器の各々の制御装置が、それ自身が前記選択された状態を制御する前記複数の機器のうちの自機器の前記状態を、前記自機器の前記状態指標値と前記隣接機器の前記状態指標値とを参照してマルチエージェントシステムの合意制御に従って決定された状態目標値に前記自機器の前記状態指標値が一致するよう制御するよう構成された分散制御システムであって、
前記制御装置の各々が、
前記合意制御に従って前記自機器の前記状態目標値を決定する状態目標値決定手段にして、前記自機器の現在の前記状態指標値と、前記隣接機器の前記制御装置から受信した最新の前記隣接機器の前記状態指標値と前記隣接機器の前記制御装置にて受信された最新の前記自機器の前記状態指標値との差分を用いて前記状態目標値を決定する手段
を含むシステム
によって達成される。
【0012】
上記の構成に於いて、「機器」とは、「技術分野」の欄に記載されている如く、エネルギー源、移動体、各種製造機械器具、各種センサなど、作動状態が制御される任意の機器であってよく、「機器」の「選択された状態」とは、「技術分野」の欄に記載されている如き任意の計測可能な物理量及び／又はそれらの変化率若しくは変動率であって、任意に選択された状態であってよい。「状態指標値」とは、かかる「選択された状態」を表す実際に計測された値であり、「状態目標値」とは、状態の制御に於いて「状態指標値」が一致させられるべき状態の目標値である。「制御装置」は、機器の任意の状態を表す状態指標値を計測すると共に、その状態を自律的に制御する任意の形式の制御装置であってよく、典型的には、コンピュータを用いて機器の状態を、適宜、制御するようになっていてよい。各機器の制御装置間に接続され、各機器の状態値を表す信号を伝送する通信回線は、有線通信、無線通信、光通信など、任意の態様にて信号を伝送する回線であってよい。また、上記の構成に於いて、「自機器」とは、システム内の各制御装置にとって、それ自身が状態を制御する機器のことを言い、「隣接機器」とは、各制御装置にとって、それ自身に通信回線により直接に接続された制御装置によって状態が制御される機器のことを言うものとする（或る制御装置にとって、通信回線にて接続された制御装置に更に通信回線にて接続された別の制御装置によって状態が制御される機器は、隣接機器にとっての隣接機器となる。）。「マルチエージェントシステムの合意制御」とは、この分野に於いて知られている如く、システム内の全てのエージェント（即ち、機器）の状態指標値が或る合意値へ漸近的に一致するように各エージェントの状態を制御する形式の制御、即ち、システム内の任意のエージェントｉとエージェントｊの状態指標値ｘｉ、ｘｊについて、【数3】
【数4】
【0013】
上記のマルチエージェントシステムの合意制御について、既に触れた如く、これまでの研究により、合意制御を達成するものとして一般的に知られている上記の式（１）の差分方程式をそのまま使用して各エージェントの状態を制御したときに、全てのエージェントの状態指標値が或る定数合意値αに収束するのは（式（３）、（４）が成立するのは）、理論上、各エージェントに於いてリアルタイムに隣接エージェントの状態指標値が参照できる場合、即ち、通信回線を通じた隣接エージェントから各エージェントへの状態指標値の伝達に時間遅延がない場合であり、通信回線を通じた各エージェント間の状態指標値の伝達に有意な時間を要する場合（時間遅延が生じる場合）には、各エージェントの状態指標値は合意値に収束しないか、収束しても合意値が変動するなどの現象が発生するので、従って、通信回線に於ける状態指標値の伝達に時間遅延が発生する現実の通信ネットワークを用いた分散制御システムに於いては、式（１）の方程式をそのまま用いる制御では、適切な合意制御を達成できない場合があることが見出されていた。このことに対処すべく、上記の時間遅延が対称的である場合については、本発明の発明者等は、特願２０１９−０１００４０に於いて、通信ネットワークに於ける信号の通信遅延による影響を補償する構成を提案した。
【0014】
そこで、本発明の発明者等が、更に、信号通信の時間遅延が対称でない場合にも、合意制御を適切に達成できる制御プロトコルを探索したところ、既に触れた如く、各エージェントの状態目標値に於ける１サイクル当たりの変化分の決定（分散制御器に於ける演算）に於いて参照する隣接エージェントの状態指標値としては、隣接エージェントから送信されてきた最新の状態指標値を用い、各エージェントの状態指標値としては、隣接エージェントにて受信された最新の状態指標値を用いるようにすると、全エージェントの状態指標値の平均値が保存され、全エージェントの状態指標値が収束した際には、予定された合意値が達成できることが明らかになった。特に、平均合意制御の場合には、合意値が各エージェントの状態指標値の初期値の平均値に安定的に保持された。
【0015】
かくして、本発明のシステムの構成では、上記の如く、各機器の制御装置の状態目標値を決定する手段は、自機器の現在の状態指標値と、「前記隣接機器の前記制御装置から受信した最新の前記隣接機器の前記状態指標値と前記隣接機器の前記制御装置にて受信された最新の前記自機器の前記状態指標値との差分」を用いて、状態目標値を決定するよう構成される。ここで、「前記隣接機器の前記制御装置から受信した最新の前記隣接機器の前記状態指標値」とは、隣接機器の制御装置から送信され各制御装置に於いて受信している状態指標値のうちの最新の値である（隣接機器で逐次的に計測されている最新の状態指標値ではない。）。即ち、隣接機器の制御装置から各制御装置までの状態指標値の伝達に要した時間を「第一の通信遅延時間」と称すると、本発明のマルチエージェントシステムの分散制御器に於いて参照する隣接機器の制御装置の状態指標値は、その状態指標値の各制御装置に於ける受信時点から、第一の通信遅延時間ほど、遡った時点に於いて隣接機器で計測されている状態指標値の最新値である。また、上記の「前記隣接機器の前記制御装置にて受信された最新の前記自機器の前記状態指標値」とは、自機器の制御装置から送信され（自機器の制御装置が受信している状態指標値の送信元の）隣接機器の制御装置にて実際に受信された自機器の状態指標値のうちの最新の値である（自機器で逐次的に計測されている最新の状態指標値ではない。）。即ち、各自機器の制御装置から隣接機器の制御装置までの状態指標値の伝達に要した時間を「第二の通信遅延時間」と称すると、本発明のマルチエージェントシステムの分散制御器に於いて参照する自機器の制御装置の状態指標値は、その状態指標値の隣接機器の制御装置に於ける受信時点から、第二の通信遅延時間ほど、遡った時点に於いて自機器で計測されている状態指標値の最新値である。上記の構成によれば、後の実施形態の欄に於いても説明されている如く、制御の作動中に於いて、各制御装置の分散制御器に於いて、隣接機器の状態指標値及び自機器の状態指標値として、それぞれ、同じ状態指標値が参照されることとなり（即ち、機器ｉと機器ｊとが互いに状態指標値ｘｉ[kb]、ｘｊ[ka]を交換する場合に、機器ｊに於いて隣接機器の値となるｘｉ[kb]が、機器ｉにとって自機器の値として参照され、機器ｉに於いて隣接機器の値となるｘｊ[ka]が、機器ｊにとって自機器の値として参照される。）、これにより、システム内の複数の機器の状態指標値の平均値が保存され、各機器の状態指標値の合意値を安定化することが可能となる。
【0016】
なお、上記の本発明の構成に於いては、各制御装置は、自身の送信した自機器の状態指標値が隣接機器の制御装置に受信されたことに応答して、その自機器の状態指標値を分散制御器に於いて参照するよう構成されていてよい。従って、各制御装置が自身の送信した自機器の状態指標値が隣接機器の制御装置に受信されたことを知ることをできるように、制御装置の各々は、隣接機器の制御装置から送信された隣接機器の状態指標値を受信すると、隣接機器の状態指標値を受信したことをその送信元の隣接機器の制御装置へ通知する状態指標値受信通知手段を含んでいてよい。即ち、各制御装置が上記の状態指標値受信通知手段を備え、状態指標値の受信側として、状態指標値の受信通知を送信元に返信できるようにすることで、各制御装置は、状態指標値の送信側として受信側に於ける状態指標値の到達を知ることができ、かくして、分散制御器に於いて、隣接機器の制御装置の受信したものと同じ状態指標値を参照することとなる。従って、各制御装置の状態目標値決定手段の分散制御器に於いて参照する自機器の状態指標値、即ち、「前記制御装置の各々の前記状態目標値決定手段に於いて、前記差分に於ける前記隣接機器の前記制御装置にて受信された最新の前記自機器の前記状態指標値」は、「前記隣接機器の前記制御装置にて前記自機器の前記状態指標値を受信したことの前記隣接機器の前記制御装置からの通知を受信した最新の前記自機器の前記状態指標値」であってよい。
【0017】
上記の実施の形態に於いて、分散制御器ｕｉは、下記の式に表されてよい。【数5】
【0018】
上記の本発明の構成に於いて、制御装置の各々は、自機器の状態指標値を隣接機器の制御装置へ送信する送信手段として、送信された自機器の状態指標値が隣接機器の制御装置に到達した後に最新の自機器の状態指標値を送信する手段を備えていてよい。特願２０１９−０１００４０に於いて提案されている如く、マルチエージェントシステムに於いて、各エージェントの状態目標値に於ける１サイクル当たりの変化分の決定（分散制御器［式（１）の右辺第２項に相当］による演算）に於いて、隣接エージェントにて時系列に計測された状態指標値の全てを用いるのではなく、隣接エージェントの状態指標値を間欠的に参照するように、より具体的には、一つの状態指標値が隣接エージェントから通信回線を介して伝送されてから各エージェントまで到達するまでの間に隣接エージェントにて計測された状態指標値をスキップして隣接エージェントの状態指標値を参照するようにすると（つまり、隣接エージェントの状態指標値として参照する値は、隣接エージェントから各エージェントまで状態指標値の信号が伝達し各エージェントから隣接エージェントまで信号到達の報告が到達する期間毎の値となる。）、各エージェントの状態指標値の一つの合意値への収束性が改善されることが明らかになっている。そこで、本発明のシステムに於いても、上記の如く、各機器の制御装置の自機器の状態指標値を隣接機器の制御装置へ送信する送信手段を、自機器の状態指標値を一度送信すると、その送信された自機器の状態指標値が隣接機器の制御装置に到達するのを待って最新の自機器の状態指標値を送信するよう構成し、各機器の制御装置が、間欠的に隣接機器の状態指標値を参照するようにして、これにより、各機器の状態指標値の一つの合意値への収束性が改善されるようになっていてよい。
【0019】
なお、各制御装置に、上記の如く、状態指標値受信通知手段を備えることにより、各機器の制御装置の送信手段が、隣接機器の制御装置からの自機器の状態指標値が隣接機器の制御装置に到達したことの情報の通知に応答して次ぎの（即ち、最新の）状態指標値を、隣接機器の制御装置へ送信するようになっていてよい。その場合、各機器の制御装置の送信手段は、状態指標値の送信後、隣接機器の制御装置から所定の時間を経過しても自機器の状態指標値の信号の到達の通知を受領しなかった場合には、次ぎの状態指標値を送信するようになっていてよい（タイムアウト処理）。ここで「所定の時間」は、想定される状態指標値の信号の伝達に要する時間（通信遅延時間）よりも長い時間が任意に設定されてよい。或いは、各機器の制御装置の送信手段は、通信遅延時間が予測できる場合には、自機器の状態指標値を一度送信すると、通信遅延時間に相当する時間を待って、次の状態指標値を、隣接機器の制御装置へ送信するようになっていてもよい。
【0020】
また、上記の本発明の構成に於いて、各制御装置の分散制御器に於いて参照する自機器の状態指標値は、隣接機器の制御装置に受信された値であるので、上記の如く、制御装置の各々の自機器の状態指標値を隣接機器の制御装置へ送信する送信手段が、送信された自機器の状態指標値が隣接機器の制御装置に到達した後に最新の自機器の前記状態指標値を送信するように構成されている場合には、各制御装置の分散制御器に於いて参照する自機器の状態指標値についても、同様に、自機器で時系列に計測された状態指標値の全てが用いられるのではなく、自機器で時系列に計測された状態指標値のうちの間欠的に隣接機器へ送信された値が用いられることとなる。
【0021】
ところで、上記の本発明のシステムの構成に於いて、後の実施形態の欄にも説明されている如く、各機器の状態目標値に於ける分散制御器の制御入力、即ち、隣接機器の制御装置から受信した最新の隣接機器の状態指標値と隣接機器の制御装置にて受信された最新の自機器の状態指標値との差分の寄与を調節することによって、各機器の状態指標値の収束性を更に改善することが可能である。従って、上記の本発明の構成に於ける制御装置の各々の状態目標値決定手段に於いて、状態目標値に於ける前記の差分の寄与が制御ゲインにより調節されるようになっていてよい。
【0022】
また、上記の分散制御器の制御入力に対する制御ゲインについて、より詳細には、各機器の状態指標値の収束性の良否は、隣接する制御装置間の状態指標値の通信遅延時間に依存するので、各機器の状態指標値の収束性が改善されるように、制御装置の各々の状態目標値決定手段に於ける制御ゲインは、隣接機器の制御装置から制御装置の各々への隣接機器の状態指標値の通信遅延時間及び制御装置の各々から隣接機器の制御装置への自機器の状態指標値の通信遅延時間のうちの少なくとも一つに基づいて決定されるようになっていてよい。
【0023】
この点に関し、本発明のシステムに於いて、各機器の制御装置は、一つ以上の隣接機器の制御装置と通信ネットワークで接続されてよいところ、通信遅延時間は、隣接する制御装置間毎に異なるので、隣接機器の状態指標値と自機器の状態指標値との差分（分散制御器入力）が複数の隣接機器の状態指標値と自機器の状態指標値との差分の総和となっているときには、制御ゲインは、隣接する制御装置間毎に、即ち、分散制御器に於ける互いに隣接する機器の状態指標値の差分毎に、対応する通信遅延時間に応じて決定されてよい。なお、システム内の複数の機器の状態指標値の平均値を保存する要請から、互いに隣接する機器の状態目標値に対するそれらの互いに隣接する機器の分散制御器に於ける状態指標値の差分の寄与が互いに等しくなるように、互いに隣接する機器の分散制御器の各々に於けるそれらの互いに隣接する機器の状態指標値の差分に対する制御ゲインは、互いに等しく設定されてよい。その際、通信ネットワークに於ける信号の通信遅延が必ずしも対照的でない場合には、隣接機器の制御装置から制御装置の各々への隣接機器の状態指標値の通信遅延時間（第一の通信遅延時間）と制御装置の各々から隣接機器の制御装置への自機器の状態指標値の通信遅延時間（第二の通信遅延時間）とが異なり得るところ、通信遅延時間が長いほど、状態指標値の収束性に対する影響が大きいので、その影響を抑制するべく、制御ゲインは、第一の通信遅延時間及び第二の通信遅延時間のうちの長い方に基づいて決定されてよい。更に、隣接する機器間の通信遅延時間が長いほど、その対応する隣接する機器の分散制御器に於ける状態指標値の差分の寄与が状態指標値の収束性を悪化させるので、そのような通信遅延時間が長い隣接する機器間の状態指標値の差分の寄与を低減するべく、好適には、前記の制御ゲインは、通信遅延時間が長い場合、通信遅延時間が短い場合に比して低減されるように設定されてよい。
【0024】
実施の形態に於いて、分散制御器ｕｉは、上記の如き制御ゲインを用いて、下記の如く修正されてよい。【数6】
Ｇｉｊ＝Γｍａｘ（Δｉｊ，Δｊｉ） …（７）
にて与えられてよい。
【0025】
上記の本発明の構成に於いて、制御ゲインを状態指標値の通信遅延時間によって決定する場合には、各機器の制御装置は、状態目標値の決定に際して参照する状態指標値が何時の時点に於いて計測された値であるか、そして、参照する状態指標値が何時の時点に於いて送信先の制御装置にて受信されたかを確認する必要があるので、各制御装置に於いて計測した各機器の状態指標値には、計測時刻が付与されて（計測タイムスタンプ）、状態指標値と共に隣接機器の制御装置へ送信され、また、各制御装置に於いて受信された状態指標値には、受信時刻が付与され（受信タイムスタンプ）、その計測時刻と受信時刻との差である通信遅延時間が状態指標値の送信元の制御装置へ返信され、制御ゲインの決定に於いて参照されてよい。
【発明の効果】
【0026】
かくして、上記の本発明に於いては、各機器が通信ネットワークで接続された分散制御システムに於いて、各機器の制御装置間での状態指標値の伝達に対照的でない時間遅延が生じても各機器の状態指標値の平均値が保存される新規な制御プロトコルにより、各機器の状態目標値を決定する構成が提供される。既に述べた如く、現実の分散制御システムの通信ネットワークに於いては、信号の伝送には、種々の要因にて生ずる対照的でない時間遅延が不可避であるところ、本発明の構成によれば、マルチエージェントシステムの合意制御に於ける状態指標値の伝達のそのような時間遅延の影響を補償することが可能となるので、合意制御によって各機器の状態を適切に制御することのできる分散制御システムがより広範に普及されることが期待される。
【0027】
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
【図面の簡単な説明】
【0028】
【図1】図１（Ａ）は、本実施形態の分散制御システムの構成を模式的に表した図である。図１（Ｂ）は、本実施形態のシステムに於ける各機器の制御装置（エージェント）の構成をブロック図の形式にて表した図である。図１（Ｃ）は、現実の分散制御システムに於いて利用されている通信ネットワークに於いて観察される通信遅延時間の例を示している。図１（Ｄ）は、分散制御システムのエージェント間に生ずる通信遅延時間の長さ毎に頻度を表すヒストグラムである。
【図2】図２は、図１に示されている如き分散制御システムに於いて、各エージェント（送信側）が隣接するエージェント（受信側）へ状態指標値の間欠的な送信を実行する際の状態指標値の計測（Ａ）、状態指標値の送信及び受信（Ｂ）及び状態目標値の演算（Ｃ）の各タイミングを説明するタイムチャートである（間欠送信補正）。計測時刻と演算時刻のタイミングは一致しているものとしている。
【図3】図３は、図１に示されている如き分散制御システムに於いて、互いに隣接するエージェントｉ、ｊとの間の状態指標値ｘｉ、ｘｊと通信遅延時間Δij、Δjiの送受信と、それぞれの分散制御器ｕｉ、ｕｊに於ける状態指標値ｘｉ項、ｘｊ項に於いて参照する値のシーケンス（流れ）を模式的に表した図である。
【図4】図４は、図１に示されている分散制御システムに於いて、通信遅延時間がランダムに変化する場合の各エージェントの状態指標値の時間変化を算出する計算シミュレーションに用いた送信毎にランダムに変化する通信遅延時間の例を示している。
【図5】図５（Ａ）、（Ｂ）は、図１に示されている分散制御システムに於いて、本実施形態の教示に従ってエージェント間の状態指標値の通信遅延を補償した制御プロトコル（参照補正）に従って得られる各エージェントの状態指標値の時間変化の計算シミュレーションである。図示の計算シミュレーションに於いて、各エージェントの状態指標値の初期値は、それらの平均値が１０となるようにランダムに与え、各エージェントの状態指標値の計測（サンプリング）周期と演算周期は１秒（１ステップ）とした（計測時刻と演算時刻のタイミングは一致しているものとした。）。各エージェント間の状態指標値の送信に於いて生ずる通信遅延時間は、０〜５秒の間にてランダムに発生するよう設定した。なお、各エージェントからの状態指標値の送信は、送信先のエージェントからの、送信した状態指標値の受信の通知を受けてから（送信した状態指標値の到達を確認してから）、次の状態指標値が送信されるよう設定した（間欠送信補正）。各エージェントの分散制御器ｕｉに於いて参照する状態指標値は、隣接機器の制御装置から受信した最新の隣接機器の状態指標値と、隣接機器の制御装置にて受信された最新の自機器の状態指標値とした。（Ａ）は、状態目標値に対する分散制御器の全体の制御ゲインγｉが１であり、隣接するエージェント間毎に決定される制御ゲインＧｉｊを与える定係数Γが１である場合であり、（Ｂ）は、各エージェントの状態目標値に対する分散制御器の全体の制御ゲインγｉが０．９であり、隣接するエージェント間毎に決定される制御ゲインＧｉｊを与える定係数Γが１である場合である。
【図6】図６（Ａ）、（Ｂ）は、図５と同様の図１に示されている分散制御システムに於いて、本実施形態の教示に従ってエージェント間の状態指標値の通信遅延を補償した制御プロトコル（参照補正）に従って得られる各エージェントの状態指標値の時間変化の計算シミュレーションである。（Ａ）は、状態目標値に対する分散制御器の全体の制御ゲインγｉが０．５であり、隣接するエージェント間毎に決定される制御ゲインＧｉｊを与える定係数Γが１である場合（制御ゲイン補正なし）であり、（Ｂ）は、各エージェントの状態目標値に対する分散制御器の全体の制御ゲインγｉが１．０であり、隣接するエージェント間毎に決定される制御ゲインＧｉｊを与える定係数Γが０．９である場合（制御ゲイン補正あり）である。
【図7】図７は、図１に示されている如き分散制御システムに於いて従前の制御プロトコルに従って状態指標値の送信を逐次的に実行する場合の送信側エージェント（隣接機器）と受信側エージェント（自機器）とに於ける状態指標値の計測（Ａ、Ｄ）、状態指標値の受信（Ｂ）、状態目標値の演算（Ｃ）の各タイミングを説明するタイムチャートである。計測時刻と演算時刻のタイミングは一致したものとしている。
【図8】図８（Ａ）、（Ｂ）、（Ｃ）は、図１に示されている如き分散制御システムに於いて、図７に説明された従前の制御プロトコル（補正なし）に従って得られる各エージェントの状態指標値の時間変化の計算シミュレーションである。（Ａ）は、計測時間（サンプリング時間）間隔が１．０秒であり、通信遅延時間がない場合であり、（Ｂ）は、計測時間（サンプリング時間）間隔が１．０秒であり、図１のエージェント６とエージェント２、５、７との間の信号伝達に於いて対称的に、１．２５秒の通信遅延時間が発生した場合である。各エージェントの状態指標値の初期値は、それらの平均値が１０となるようにランダムに与えられている。「収束判定」は、各エージェントの状態指標値の差分が±０．０１％に収まった時点を示している。（Ｃ）は、各エージェント間の状態指標値の送信に於いて生ずる通信遅延時間は、０〜５秒の間にてランダムに発生するよう設定し、各エージェントからの状態指標値の送信は、送信先のエージェントからの送信した状態指標値の受信の通知を受けてから（送信した状態指標値の到達を確認してから）次の状態指標値が送信されるよう設定した（間欠送信補正）。各エージェントの分散制御器ｕｉに於いて参照する状態指標値は、隣接機器の制御装置から受信した最新の隣接機器の状態指標値と、演算時刻にて得られている最新の自機器の状態指標値とした（参照補正なし。）。なお、状態目標値に対する分散制御器の全体の制御ゲインγｉが０．５に設定されている。
【符号の説明】
【0029】
１…分散制御システムＥｓ…機器及びその制御装置（エージェント）
Ｉｅ…通信回線
【発明を実施するための最良の形態】
【0030】
以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。
【0031】
図１（Ａ）を参照して、本実施形態の対象である分散制御システム１は、複数の機器の制御装置Ｅｓ（エージェント）が互いに通信回線Ｉｅにて接続され、これにより、通信ネットワークが構成され、各エージェントＥｓは、その通信ネットワークを通じて、隣接した機器（隣接機器）の選択された状態を表す状態指標値を取得できるよう構成される。かかるシステムに於いて、機器は、既に「技術分野」の欄に記載されている如く、エネルギー源、移動体、各種製造機械器具、各種センサなど、作動状態が制御される任意の機器であってよく、各機器の選択された状態は、既に「技術分野」の欄に記載されている如き任意の計測可能な物理量及び／又はそれらの変化率若しくは変動率であって、任意に選択された状態であってよい。通信ネットワークは、有線通信、無線通信、光通信など、任意の態様にて構成されてよい。そして、各エージェントＥｓに於いては、マルチエージェントシステムの制御プロトコルに従って、システム内のそれぞれのエージェントの状態指標値が上記の通信ネットワークを通じて取得された別のエージェントの状態指標値を用いて決定された制御目標値に一致するよう制御される。特に、図１の例では、システムは、全てのエージェントが連結した無向グラフを構成しており、その場合、制御プロトコルとして合意制御が実行される構成に於いて、合意値が全てのエージェントの状態指標値の初期値の平均値となる「平均合意制御」が実行されることとなる。本明細書に於いては、図示の例の如く、合意制御として平均合意制御が実行される場合について説明されるが、本実施形態は、システムのグラフの構成に依って、リーダー・フォロワー合意制御又はその他の合意制御が実行される場合に適用されてもよく、そのような場合も本発明の範囲に属することは理解されるべきである。
【0032】
上記のシステムに於いて、各エージェントｉの制御装置（ｉ、ｊ等は、エージェントに付された符号である。）は、図１（Ｂ）に模式的に描かれている如く、典型的には、制御対象、即ち、機器の選択された状態と出力とを制御するプライマリコントローラと、機器の選択された状態の目標値を決定するセカンダリコントローラとから構成されていてよい。各エージェントの制御装置は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたＣＰＵ、記憶装置、入出力装置（Ｉ／Ｏ）が装備され、装置内の各部の作動は、ＣＰＵに於いてプログラムを実行することにより達成されることとなる。プライマリコントローラは、より詳細には、制御対象にて計測された選択された状態の指標値（状態指標値）ｘｉ［ｋ］とセカンダリコントローラの送信する状態の目標値（状態目標値）ｘｉ［ｋ＋１］とを受信し、状態目標値と状態指標値との偏差ｅが０となるように制御対象の状態を制御するよう作動する（状態のフィードバック制御）。なお、制御対象の出力ｙｉと、セカンダリコントローラから受信した状態目標値から伝達関数Ｇを用いて決定された制御対象の出力の目標値ｙｔｉとの偏差εが０になるように制御対象の出力を制御するようになっていてもよい（出力のフィードバック制御、サーボ制御−選択された状態によって出力が制御される場合には、なくてもよい。）。また、制御対象に於ける状態及び／又は出力の制御処理は、選択された状態、出力の種類に応じて実行されてよい。具体的な制御処理の態様は、選択された状態に応じて当業者に於いて適宜決定可能である。一方、セカンダリコントローラは、自身の制御対象の状態指標値ｘｉと、通信回線にて接続された隣接エージェントの制御対象の状態指標値ｘｊとを用いて、後に詳細に説明される如き態様にて、自身の制御対象の状態指標値が合意値に一致又は収束するように自身の制御対象の状態目標値を決定する。
【0033】
図１（Ａ）の如き分散制御システムに於いては、上記の如く、各エージェントの選択された状態を表す状態指標値が通信回線Ｉｅを通じて信号として隣接エージェントへ送信される、換言すると、各エージェントは、通信回線Ｉｅを通じて隣接エージェントからその状態指標値の信号を受信することとなる。かかるエージェント間の状態指標値の信号の通信に関して、現実の通信ネットワークに於いては、「発明の概要」に於いて既に述べた如く、種々の要因によって、隣接エージェントから各エージェントまで状態指標値の信号が到達するまで、即ち、隣接エージェントが状態指標値の信号を送信してから各エージェントがその信号を受信するまでには、有限の時間を要するので、信号通信の遅延の発生が不可避である。また、一般に、任意の二つのエージェント間に於ける双方向の信号通信の遅延は必ずしも対称的ではなく、エージェントｉからエージェントｊまでの信号の通信に要する時間（通信遅延時間）Δjiとエージェントｊからエージェントｉからの通信遅延時間Δijとは、必ずしも一致しない。そして、図１（Ｃ）、（Ｄ）に例示されている如く、通信遅延時間は、或る程度の範囲内にてランダムに種々の長さに変化することが観察される。
【0034】
ところで、「発明の概要」の欄に於いても述べられている如く、上記の式（１）の差分方程式を用いた従前のマルチエージェントシステムの合意制御の演算処理に於いては、上記の如き通信ネットワークに発生する通信遅延時間が考慮されておらず、上記の式（１）の差分方程式をそのまま通信ネットワークに通信遅延時間が発生する環境下で合意制御に用いると、各エージェントの状態指標値が合意値に収束しなかったり、合意値に誤差が発生したり、或いは、合意値が変動するといった現象が観察される。即ち、従前のマルチエージェントシステムの合意制御の演算処理をそのまま上記の如き現実の分散制御システムに適用すると、安定的な合意制御が達成できない事態が起き得る。そこで、本実施形態に於いては、以下に詳細に説明される如く、通信ネットワークに通信遅延時間が発生する環境下でも、特に、エージェント間の通信遅延時間が対称的でない場合でも、各エージェントの状態指標値を安定的に合意値に収束させることのできる新規な制御プロトコルにて信号通信及び演算処理を実行するように、各エージェントの制御装置のセカンダリコントローラの構成が改良される。
【0035】
従前のマルチエージェントシステムの合意制御の演算処理本実施形態による制御構成を説明する前に、従前の制御構成に於いて発生する現象について簡単に説明する。図７を参照して、システムの各エージェントに於いては、典型的には、それぞれの機器（制御対象）に於ける選択された状態を表す状態指標値が、任意のセンサによって任意に設定されてよい所定の時間間隔（計測時刻又はサンプリング時刻）毎に逐次的に計測され、それらの計測された状態指標値は、隣接エージェントの機器に於ける状態目標値の決定のために通信回線を通じて信号として隣接エージェントへ送信される。そして、マルチエージェントシステムの合意制御に於いては、各エージェント（セカンダリコントローラ）にて、従前のシステムの場合、一般的には、自機器で計測された状態指標値ｘｉ［ｋ］と隣接エージェントにて計測された状態指標値ｘｊ［ｋ］とを用い、式（１）により、次の計測時刻に於いて自機器が取るべき状態を表す状態目標値ｘｉ［ｋ＋１］が算出され、その値がプライマリコントローラの状態のフィードバック制御のための加算器へ与えられることとなる。ここで、隣接エージェントの状態指標値ｘｊ［ｋ］が瞬時に各エージェントに到達すると仮定すると、式（１）に従って状態目標値を演算することにより（各エージェントの計測時刻と演算時刻は、実質的に一致しているものとしている。以下同様。）、システム内の全てのエージェントの状態指標値が合意値（この場合は、式（２）に示される如く、全てのエージェントの状態指標値の初期値の平均値）へ収束することなる。図８（Ａ）は、全てのエージェントの状態指標値の合意値へ収束するまでの時間変化の計算シミュレーションの例を示している。［実際の分散制御システムに於いては、上記の如く、セカンダリコントローラにて状態目標値を算出した後、プライマリコントローラにて制御対象の状態指標値が状態目標値に一致するよう制御対象の状態がサーボ制御されるので、状態目標値と状態指標値とが一致しない場合が有り得るが、本明細書に添付の図面に於ける各エージェントの状態指標値の時間変化（図８（Ａ）〜（Ｃ）、図５（Ａ）、（Ｂ）、図６（Ａ）、（Ｂ））は、計算シミュレーションであるので、状態指標値が状態目標値に一致するものとして示されている。］
【0036】
しかしながら、現実の通信ネットワークに於いては、上記の如く状態指標値の信号の通信に有限の時間を要するので、図７（Ｂ）に示されている如く、送信側のエージェント（送信側エージェント）の状態指標値の信号（◇）が受信側のエージェント（受信側エージェント）の受信器に到達する時刻は、その状態指標値の計測時刻よりも通信遅延時間Δほど遅延することとなる。そこで、もし受信側エージェントが逐次的に最新の状態指標値を用いて、通信の遅延を考慮せずに、状態目標値を演算したとすると、演算は、下記の式に従って実行されることとなる。【数7】
【0037】
また、別の態様として、各エージェントの状態指標値の計測に於いて、計測時刻を同時に記録し、隣接エージェントへの状態指標値の送信に於いては、その計測時刻のデータも合わせて送信する構成とし、図７（Ｃ）の符号ｂにて示されている如く、分散制御器（式（１）の右辺第二項）に於いて、送信側エージェントと受信側エージェントとの状態指標値の計測時刻とが一致するように修正した式、即ち、下記の式【数8】
【0038】
マルチエージェントシステムの合意制御の演算処理の改良（Ａ）間欠送信補正
上記の如く、分散制御システムに於ける各エージェント間の信号通信に有限の遅延時間が発生する環境下では、従前にて一般的に知られている式（１）（又は式（８）、（９））を用いた制御プロトコルでは、信号通信の遅延の状況によっては、安定的に合意制御が達成できないところ、「発明の概要」の欄に於いても述べた如く、本発明の発明者等は、特願２０１９−０１００４０に於いて、各エージェントが隣接エージェントへ状態指標値を送信する処理に関して、各エージェントにて計測された状態指標値を全て送信するのではなく、次のように、間欠的に送信するように制御プロトコルを変更することにより、各エージェントの状態指標値の収束性を改善する構成を提案した（間欠送信補正）。
【0039】
図２を参照して、具体的には、（１）各エージェントは、送信側エージェントとして、隣接エージェント（受信側エージェント）へ状態指標値を一旦送信すると、逐次的に状態指標値が計測されても送信処理を待機し、送信先の隣接エージェントから、送信した状態指標値が送信先の隣接エージェントへ到達したことが通知されると、これに応答して、状態指標値の最新の計測値を送信する（図２（Ｂ））。即ち、状態指標値の送信後からその送信完了通知を受信するまでに計測された状態指標値は送信しない。なお、各エージェントは、状態指標値の送信後に、受信側エージェントからの受信通知が任意に設定されてよい所定の時間を越えても届かない場合には、その時点で最新の計測された状態指標値を送信するようになっていてよい（図２（Ｂ）中の「ＴＯ」参照。タイムアウト処理）。
（２）各エージェントは、受信側エージェントとして、隣接エージェント（送信側エージェント）から送信された状態指標値を受信すると、その受信通知を送信元の隣接エージェントへ送信する（図２（Ｃ））。（受信側エージェントから送信側エージェントへの受信通知に要する時間は、一般に、状態指標値の通信に要する時間或いはサンプリング時間間隔に比して非常に短いため、図では、受信通知の発信から受信までの時間幅は省略して記載されている。）
【0040】
上記の如く、各エージェントが送信側エージェントとしてその状態指標値の送信の態様を変更した場合には、各エージェントは、受信側エージェントとして、状態目標値を演算するための分散制御器（式（１）の第２項に相当）に於いて、隣接エージェントの状態指標値として、送信元から到達している状態指標値の最新の値を使用することとなる（図２（Ｃ））。即ち、状態目標値を演算する式（１）が下記の如く修正される。【数9】
ｋａｊ＝ｌａｊ−δｋ …（１０ａ）
δｋ＝Δｓ＋Δij＋Δｒ…（１０ｂ）
にて表される。ここで、Δｓは、送信側エージェントの送信時刻直前の計測時刻ｋａから送信時刻までの待機時間であり、Δｒは、受信側エージェントに送信側エージェントの状態指標値が届いてから演算時刻までの待機時間であり、Δijは、通信遅延時間、即ち、送信側エージェントｊから受信側エージェントｉまでの信号伝達に要した時間である（受信側エージェントから送信側エージェントへの受信通知が送られる構成においては、かかる受信通知が届くまでの時間を含んでいてよい。）。このプロトコルによれば、受信側エージェントに於いて、送信側エージェント（隣接エージェント）の状態指標値は、一旦受信されると、次の送信側エージェントの状態指標値が受信されるまで、分散制御器に於いて使用され続けることとなる。また、各エージェントに於いて、隣接エージェント毎に分散制御器に於いて使用する隣接エージェントの状態指標値の更新が実行されてよい（例えば、図１のエージェント６に於いて、分散制御器に於いて使用するエージェント２、５、７の状態指標値の計測時刻ｋａｊは、異なっていてよい。）。
【0041】
かくして、上記の式（１０）を用い、間欠送信補正を適用して、状態目標値を演算すると、図８（Ｃ）上段の計算シミュレーションの結果にて例示されている如く、状態指標値の時間変化に於いて、通信遅延時間がサンプリング時間間隔を超える範囲でランダムに変化する場合でも、全エージェントの状態指標値の合意値への収束性を大幅に改善することが可能となる（なお、図８（Ｃ）の例は、状態指標値の収束を早めるために、分散制御器入力である式（１０）の第２項に制御ゲインγｉ＝０．５を乗じて得られた結果である。）。ただし、平均合意制御の場合、上記の間欠送信補正を適用するだけでは、図８（Ｃ）下段に示されている如く、全エージェントの状態指標値の平均値が変化してしまい、状態指標値の収束する合意値が、予定された値（この場合、全エージェントの状態指標値の初期値）に一致しないという問題、即ち、合意値のずれの発生が解消されない。実際、特願２０１９−０１００４０に於いて示されている如く、通信遅延時間が長くなると共に、合意値のずれが増大し、収束時間も長くなることが観察されている。
【0042】
（Ｂ）参照補正既に述べた如く、分散制御システムに於ける各エージェント間の信号通信に有限の遅延時間が発生する環境下に於いて、上記の式（１）又は（８）〜（１０）にて状態指標値を制御する場合には、連結された無向グラフを構成する全エージェントの状態指標値の平均値が保存されず、その結果、間欠送信補正を適用するなどして、状態指標値が合意値に収束しても、合意値が、予定された全エージェントの状態指標値の初期値の平均値からずれてしまう現象が発生した。ところで、システム内のエージェント間の信号伝達に通信遅延時間が発生してない場合、任意の二つのエージェントｉ、ｊについて、それぞれの分散制御器ｕｉ、ｕｊに於いて、それら二つのエージェントの関わる項の差分は、それぞれ、（ｘｊ［ｋ］−ｘｉ［ｋ］）、（ｘｉ［ｋ］−ｘｊ［ｋ］）であり、即ち、それらの項に於いて参照される状態指標値は、同じｘｉ［ｋ］、ｘｊ［ｋ］である。そして、端的に述べれば、このようにシステム内の各エージェントの分散制御器に於いて参照する状態指標値が隣接エージェントと共通であることにより、全エージェントの状態指標値の平均値が保存されることとなる。しかしながら、これまでのエージェントの状態指標値の制御プロトコルでは、システム内のエージェント間の信号伝達に通信遅延時間が生ずる場合、各エージェントの分散制御器にて参照する自機器の状態指標値が、隣接エージェントへ送信したものと異なることがあり、従って、隣接エージェントの分散制御器にて、その隣接エージェントにとって隣接エージェントの状態指標値として参照される自機器の状態指標値と必ずしも一致せず、その結果、全エージェントの状態指標値の平均値が保存されないこととなっていた。そこで、本実施形態に於いては、各エージェントの分散制御器にて参照する自機器の状態指標値が、隣接エージェントへ送信したものと同じものとなるように制御プロトコルを修正し、これにより、全エージェントの状態指標値の平均値の保存が図られる（以下、この制御プロトコルの修正を「参照補正」と称する。）。
【0043】
理論的には、式（１）の分散制御器ｕｉは、下記のように修正される。【数10】
【0044】
上記の式（１１）によれば、連結された無向グラフを構成する全エージェントの状態指標値の平均値が保存されることは、下記の如く証明される。まず、式（１１）は、ｚ変換すると、【数11】
Ｕ［ｚ］＝−Ｌda[ｋ]Ｑ［ｚ］ …（１３）
により表される。ここで、グラフラプラシアンＬda[ｋ]は、
【数12】
１ＴｎＬda[ｋ]＝０Ｔ …（１５）
となるので（０Ｔは、全ての成分が０の行ベクトル）、これにより、全エージェントの状態指標値の総和の変化が０となることが言え、全エージェントの状態指標値の平均値は保存されることとなる。
【0045】
上記の制御プロトコルの修正に於いては、各エージェントの状態指標値の前に説明された間欠送信補正が適用される場合には、（時間領域の）分散制御器ｕｉは、下記の如く表される。【数13】
【0046】
ところで、上記の参照補正に於いては、各エージェントの分散制御器で参照される自機器の状態指標値と隣接機器の状態指標値とのそれぞれの計測時刻が一致していなくてもよい。従って、参照補正によって、システム内の全エージェントの状態指標値の平均値は保存されるという作用効果は、任意の二つのエージェント間に於ける信号通信の時間遅延が対称でない場合でも達成されることは理解されるべきである。
【0047】
（Ｃ）制御ゲイン補正上記の如く、分散制御システムに於ける各エージェント間の信号通信に有限の遅延時間が発生する環境下に於ける各エージェントの状態指標値の収束性は、間欠送信補正により、或る程度にて改善することができる。また、特願２０１９−０１００４０に於いて示されているように、各エージェント間の通信遅延時間が長くなると、分散制御器の算出値が振動的であることに起因して、状態指標値に振動が発生し、状態指標値が収束しにくくなることから、状態指標値の目標値に於ける分散制御器の寄与を低減するべく、下記の式（１７）の如く、分散制御器にゲインγｉ（０＜γ＜１）を乗ずることにより、状態指標値の収束性を更に改善できることが見出されている。
【数14】
【0048】
この点に関し、上記の如く、分散制御器の算出値の振動は通信遅延時間の長さに依存するので、通信遅延時間が、エージェント間毎にランダムに変動し得る一般的なシステムに於いては、通信遅延時間の長いエージェント間に関わる分散制御器の成分（例えば、エージェントｉ、ｊについては、（ｘｊ［ｋaj］−ｘｉ［ｋbi］）、（ｘｉ［ｋbi］−ｘｊ［ｋaj］））の振動がより大きくなっていると考えられる。そこで、エージェント間毎に、その通信遅延時間の長さに応じて、かかるエージェントの関わる分散制御器の成分の状態目標値に対する寄与を調節するように、通信遅延時間に基づいて決定される制御ゲインを用いて、状態指標値の収束性の更なる改善が図られてよい。
【0049】
具体的には、分散制御器ｕｉは、下記の如く修正されてよい（上記の式（６）と同様。）。【数15】
Ｇij＝ｇ（Δij,Δji) …（１９）
により与えられてよい。ｇ（Δij,Δji）は、エージェントｊからエージェントｉへの状態指標値の伝送に於ける第一の通信遅延時間Δｉｊとエージェントｉからエージェントｊへの状態指標値の伝送に於ける第二の通信遅延時間Δｊｉとの関数であってよい。通信遅延時間Δｉｊと通信遅延時間Δｊｉは、上記の如く、一般に時変数である。なお、上記の如く、一般に、通信遅延時間Δｉｊ又は通信遅延時間Δｊｉが長いほど、分散制御器の成分の振動が大きくなるので、ｇは、通信遅延時間Δｉｊ又は通信遅延時間Δｊｉが長いほど、大きさが低減する関数又は単調減少関数であってよい。また、エージェント間の通信遅延時間が対称的でないときには、ｇは、双方向の通信遅延時間のうちで長い方に依存して、決定されてよく、その場合、ｇは、max(Δij,Δji)の関数であってよい。更に、上記の参照補正に関わる説明に於いて述べた如く、システム内の全エージェントの状態指標値の平均値を保存する要請がある場合、分散制御器のエージェントｉの状態指標値に対する寄与とエージェントｊの状態指標値に対する寄与とが等しいことが必要となるので、制御ゲインは、
Ｇij＝Ｇji …（２０）
と設定されてよい。
【0050】
上記の要件を満たすものとして、制御ゲインＧijは、例えば、１より小さい正数Γと、第一の通信遅延時間Δｉｊと第二の通信遅延時間Δｊｉとを用いてＧｉｊ＝Γｍａｘ（Δｉｊ，Δｊｉ） …（２１）
にて与えられてよい。或いは、制御ゲインＧijは、
Ｇｉｊ＝１／{ｃ・ｍａｘ（Δｉｊ，Δｊｉ）} …（２２）
などであってもよい。（ｃは、正係数）
【0051】
上記の構成に於いて、各エージェント間の双方向の通信遅延時間（Δｉｊ、Δｊｉ）は、任意の手法にて、各エージェントにて取得されてよい。一つの態様に於いて、各エージェントに於いて、状態指標値の計測の際に、計測時刻ｔｍを記録し、状態指標値は、その計測時刻と共に、送信先エージェントへ送信され、そこで状態指標値を受信した時刻ｔｒを記録し、受信時刻から計測時刻を差し引いて（ｔｒ−ｔｍ）、送信先エージェントまでの通信遅延時間が算出されてよい。ここで、算出された通信遅延時間は、送信先のエージェントに於ける制御ゲインの決定に用いられてよい。そして、状態指標値の送信先のエージェントから状態指標値の送信元の各エージェントへ状態指標値の受信の通知と共に、通信遅延時間が送信され、各エージェントに於ける制御ゲインの決定に用いられてよい。
【0052】
（Ｄ）通信シーケンス上記の間欠送信補正、参照補正及び制御ゲイン補正が適用される場合のシステム内の任意の二つの隣接するエージェントｉ、ｊ間の状態指標値の計測、通信、参照のシーケンスは、図３に示す如くとなる。なお、図示の例に於いて、信号の伝達に要している時間の長さは、説明の目的で模式的に表現されたものであり、実際の時間の長さとは異なり得る。
【0053】
同図を参照して、まず、エージェントｉ、ｊに於いて、それぞれ、時系列に、状態指標値ｘｉｋ、ｘｊｋが計測されるものとする（ｋ＝１，２，…）。そして、エージェントｉ、ｊは、それぞれ、計測した状態指標値ｘｉｋ、ｘｊｋを、それらの計測時刻と共にエージェントｊ、ｉに対して送信し、送信された状態指標値ｘｉｋ、ｘｊｋが、エージェントｊ、ｉにて受信されると、受信時刻が各エージェントにて記録され、それぞれの受信時刻から、対応する状態指標値ｘｉｋ、ｘｊｋの計測時刻が差し引かれて、エージェントｊにて通信遅延時間Δｊｉｋが、エージェントｉにて通信遅延時間Δｉｊｋが算出される。また、エージェントｊにて受信された状態指標値ｘｉｋは、分散制御器ｕｊに於けるｘｉ項（差分の第１項）として参照され、エージェントｉにて受信された状態指標値ｘｊｋは、分散制御器ｕｉに於けるｘｊ項（式（１８）の差分の第１項）として参照される。更に、状態指標値ｘｉｋ、ｘｊｋを受信したエージェントｊ、ｉは、その受信通知を、通信遅延時間Δｊｉｋ、Δｉｊｋ共に送信元のエージェントｉ、ｊへ返信し、エージェントｉ、ｊは、受信通知を受け取ると、その受信通知に対応する先に送信した自身の状態指標値ｘｉｋ、ｘｊｋを、分散制御器に於いて自身の状態指標値の項（式（１８）の差分の第２項）として参照する。次いで、エージェントｉ、ｊは、最新の計測された状態指標値ｘｉｋ、ｘｊｋ（受信通知の受領時までに計測されている値又は受信通知の受領直後に計測される値であってよい。）をエージェントｊ、ｉを送信し、上記の動作が繰り返されることとなる。かくして、各エージェントで、分散制御器に於いて参照する状態指標値は、隣接エージェントの状態指標値については、受信した最新値となり、自信の状態指標値については、送信して受信通知が届いた最新値となる。即ち、それぞれ、新たな値が届くまで、或いは、新たな受信通知が届くまでは、それまで届いている値のうちの最新値が分散制御器に於いて使用される。
【0054】
例として、エージェントｊでｋ＝４で計測された状態指標値ｘj4が、エージェントｊから送信されエージェントｉにｋ＝７の経過後に受信されたとすると、エージェントｉでは、その時点から状態指標値ｘj4が分散制御器ｕｉのｘｊ項として参照され、状態指標値ｘj4の計測時刻と受信時刻との差である通信遅延時間Δij４が算出され、制御ゲインＧｉｊの決定に用いられる。そして、状態指標値ｘj4と通信遅延時間Δij４は、エージェントｊから次の状態指標値が届くまで使用される。そして、エージェントｉから通信遅延時間Δij４と共に状態指標値ｘj4の受信通知がエージェントｊへ返信され、エージェントｊにて受領されると、エージェントｊでは、その時点から状態指標値ｘj4が分散制御器ｕｊのｘｊ項として参照され、通信遅延時間Δij４が制御ゲインＧｊｉの決定に用いられる。次いで、エージェントｊでの最新の状態指標値ｘj9がエージェントｉへ送信される。エージェントｊに於いて、状態指標値ｘj4と通信遅延時間Δij４は、状態指標値ｘj9の受信通知が届くまで、分散制御器の演算に於いて使用される。
【0055】
（Ｅ）計算シミュレーション図１に例示のシステムに於いて、上記の参照補正と制御ゲイン補正の作用効果を計算シミュレーションにより確認した（図５、６）。計算に於いては、各エージェントに初期値を与えた後、各エージェント間の状態指標値の送信に於いて間欠送信補正を適用し、分散制御器の演算に於いて参照補正を適用し、状態指標値の目標値の演算に於ける分散制御器の制御ゲインを適宜設定した制御プロトコルに従って、式（１７）を用いて、各エージェントの状態指標値を算出した。なお、各エージェント間の通信遅延時間は、双方向に別々に０〜５秒の範囲でランダムになるように与えた。各エージェント分散制御器は、式（１６）に制御ゲインＧijを適用した式（１８）により演算した。制御ゲインＧijは、式（２１）により演算した。
【0056】
まず、図５（Ａ）は、間欠送信補正と参照補正を適用した例が示されている（γi＝１．０、Γ＝１．０と設定したので、制御ゲイン補正が適用されていない状態である。）。同図を参照して理解される如く、各エージェントの状態指標値は、収束する方向には変化したが、試験時間内（１２０秒：１２０ステップ）には収束条件（各エージェントの状態指標値の差分が±０．０１％に収まること）が達成されなかった。しかしながら、同図下段に示されている如く、参照補正が適用されていることから、演算中、各エージェントの状態指標値の平均値が保存されることが確認された。図５（Ｂ）、図６（Ａ）は、間欠送信補正と参照補正を適用した上で、更に、分散制御器全体の寄与を低減するゲインγiを、それぞれ、０．９、０．５に低減した例を示している。これらの図を参照して、いずれも参照補正が適用されていることから、演算中、各エージェントの状態指標値の平均値が保存されることが確認され、また、図５（Ａ）の場合に比して、各エージェントの状態指標値は、より収束する方向には変化した。なお、図５（Ｂ）の場合には、試験時間内（１２０秒）には収束条件は達成されなかったが、図６（Ａ）の場合には、約１００秒に於いて収束条件が達成された。
【0057】
一方、図６（Ｂ）の例に於いては、分散制御器全体の寄与を低減するゲインγを１．０に戻す一方で、Γ＝０．９に設定し、各エージェント間の通信遅延時間に応じて、分散制御器内の対応するエージェントの関わる成分の寄与を低減する制御ゲインを作用させる制御ゲイン補正を適用した。その場合、同図から理解される如く、各エージェントの状態指標値の平均値が保存されると共に、図５（Ｂ）及び図６（Ａ）に比して、各エージェントの状態指標値は、速やかに、より収束する方向には変化した。図６（Ｂ）の例に於いて、約５０秒に於いて収束条件が達成された。図６（Ｂ）の如く、分散制御器全体のゲインを調節する場合よりもエージェント間毎に通信遅延時間に応じて制御ゲインを作用させた方が早期に各エージェントの状態指標値が収束するのは、通信遅延時間の長い成分については、その寄与を相対的に小さくする一方で、通信遅延時間の短い成分については、その寄与を相対的に大きくすることで、通信遅延時間の短い成分に関わるエージェントの状態指標値が相対的に速やかに合意値へ近づけることができるためであると考えられる。
【0058】
以上の計算シミュレーションの結果より、上記の参照補正を適用した制御プロトコルによって、各エージェントの状態指標値の平均値が保存され、各エージェントの状態指標値が収束した場合には、予定通りの合意値に収束させられることが確認された。また、上記のエージェント間毎に通信遅延時間に応じて決定した制御ゲインを作用させる補正を適用することにより、各エージェントの状態指標値の収束を速められることが示された。なお、上記の作用効果は、各エージェント間の信号伝達の遅延が対称的でなくても達成されることは理解されるべきである。
【0059】
また、上記の制御ゲイン補正は、例示されている平均合意制御に限らず、その他の制御形式、例えば、合意制御、被覆制御、分散最適化制御の場合に於いて、通信遅延時間が発生する際にも適用され、通信遅延時間による各エージェントの状態指標値の収束性の悪化を補償する効果が得られることは理解されるべきである。
【0060】
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。