特開 2022-182356 制御装置及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022182356

(43)【公開日】2022-12-08

(54)【発明の名称】制御装置及び制御方法

(51)【国際特許分類】

   G05B 13/02 20060101AFI20221201BHJP

【ＦＩ】

G05B13/02 L

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021089871

(22)【出願日】2021-05-28

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】金 恩敬

(72)【発明者】

【氏名】徳田 勇也

【テーマコード（参考）】

5H004

【Ｆターム（参考）】

5H004GA29

5H004KD62

(57)【要約】

【課題】制御部の誤動作や故障などの不具合発生を早期に検知し、制御部に不具合が発生した場合でも制御安全性が確保できる操作量を出力する制御装置を提供することを目的とする。
【解決手段】機械学習による制御技術に基づいて状態モデルを出力する１つの学習部と、状態モデルに基づいて操作量を演算する複数の制御部と、制御部の内部ストレージに保存されている状態モデルを学習部からの状態モデルに更新するモデル更新部と、複数の制御部から１つの制御部を選び、その操作量を制御対象に出力する操作量選定部と、制御部に不具合を検知する異常検知部を備えたことを特徴とする制御装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習による制御技術に基づいて状態モデルを出力する１つの学習部と、前記状態モデルに基づいて操作量を演算する複数の制御部と、前記制御部の内部ストレージに保存されている状態モデルを学習部からの状態モデルに更新するモデル更新部と、複数の前記制御部から１つの制御部を選び、その操作量を制御対象に出力する操作量選定部と、前記制御部に不具合を検知する異常検知部を備えたことを特徴とする制御装置。

【請求項2】

請求項１に記載の制御装置であって、
前記モデル更新部は、前記操作量選定部に選ばれていない前記制御部の中から１つの制御部を選び、１つずつ順番に制御部内部の状態モデルを前記学習部からの状態モデルに更新することを特徴とする制御装置。

【請求項3】

請求項１に記載の制御装置であって、
前記操作量選定部は、制御対象に出力している前記制御部による操作量を、制御対象に出力していない前記制御部による操作量と比較し、制御対象に出力している前記制御部による操作量と同じ操作量が無い、かつ制御対象に出力していない前記制御部による操作量が同じ値である場合、制御対象に出力していない前記制御部による操作量の中から１つ選定し、選定した操作量を制御対象に出力することを特徴とする制御装置。

【請求項4】

請求項１に記載の制御装置であって、
前記異常検知部は、複数の前記制御部からの操作量を比較し、同じ操作量を出力する制御部が２つ以上ない、かつ、全ての制御部の状態モデルが更新中でない場合、異常が発生したと判断することを特徴とする制御装置。

【請求項5】

機械学習による制御技術に基づいて状態モデルを作成し、状態モデルに基づいて操作量を複数の制御系統により演算し、複数の制御系統で使用する状態モデルを学習した状態モデルに更新し、複数の前記制御系統の１つを選び、その操作量を制御対象に出力し、複数の前記制御系統に不具合を検知することを特徴とする制御方法。

【請求項6】

請求項５に記載の制御方法であって、
複数の制御系統で使用する状態モデルを学習した状態モデルに更新するに際し、制御対象の制御に選ばれていない前記制御系統の１つを選び、１つずつ順番に制御系統内部の状態モデルを前記学習した状態モデルに更新することを特徴とする制御方法。

【請求項7】

請求項５に記載の制御方法であって、
制御対象に出力している操作量を、制御対象に出力していないその他の操作量と比較し、制御対象に出力している操作量と同じ操作量が無い、かつ、その他の操作量中で２つ以上同じ値である場合、２つ以上同じ値である操作量の中で１つ選定し、その操作量を制御対象に出力することを特徴とする制御方法。

【請求項8】

請求項５に記載の制御方法であって、
前記制御系統の操作量を比較し、同じ操作量を出力する制御系統が２つ以上ない場合、異常が発生したと判断することを特徴とする制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習による制御技術を用いた制御装置及び制御方法に関する。

【背景技術】

【0002】

制御装置の制御精度向上、及び制御装置設定値の削減を目的に、機械学習による制御技術を用いた制御装置（以降、学習ベース制御装置）が適用されている。例えば、特許文献１などが挙げられる。学習ベース制御装置は一般的に、制御部と学習部を有し、制御部は状態モデルに基づいて計算した操作量をアクチュエータに出力し、学習部はセンサ信号に基づいて状態モデルを生成し、また所定時間ごとに制御部内の状態モデルを学習部が生成した状態モデルに更新する処理を繰り返す。

【0003】

一方、学習ベース制御装置に用いられる状態モデルはモデルを定義するためのデータサイズが大規模となる場合が多く、状態モデルの更新処理において、上書き失敗などの誤動作、メモリ（ハードウェア）の故障などの不具合が発生するポテンシャルが高くなっている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１０６４６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は上記事情を考慮したものであり，制御部の誤動作や故障などの不具合発生を早期に検知し、制御部に不具合が発生した場合でも制御安全性が確保できる操作量を出力する制御装置及び制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

以上のことから本発明においては、「機械学習による制御技術に基づいて状態モデルを出力する１つの学習部と、状態モデルに基づいて操作量を演算する複数の制御部と、制御部の内部ストレージに保存されている状態モデルを学習部からの状態モデルに更新するモデル更新部と、複数の制御部から１つの制御部を選び、その操作量を制御対象に出力する操作量選定部と、制御部に不具合を検知する異常検知部を備えたことを特徴とする制御装置」としたものである。

【0007】

また本発明においては、「機械学習による制御技術に基づいて状態モデルを作成し、状態モデルに基づいて操作量を複数の制御系統により演算し、複数の制御系統で使用する状態モデルを学習した状態モデルに更新し、複数の制御系統の１つを選び、その操作量を制御対象に出力し、複数の制御系統に不具合を検知することを特徴とする制御方法」としたものである。

【発明の効果】

【0008】

本発明によれば、学習ベース制御装置の不具合を入出力信号より検知することが出来る。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例１に係る制御装置の構成例を示す図。

【図2】本発明の実施例１に係るモデル更新部のフローチャートの一例を示す図。

【図3】本発明の実施例１に係る操作量選定部のフローチャートの一例を示す図。

【図4】本発明の実施例１に係る異常検知部のフローチャートの一例を示す図。

【図5】制御部に異常が発生しない場合の制御装置の処理内容を示す図。

【図6】制御対象に操作量を出力していない制御部が故障した場合の制御装置の処理内容を示す図。

【図7】制御対象に操作量を出力している制御部が故障した場合の制御装置の処理内容を示す図。

【図8】制御部のデータが改ざんされた場合の制御装置の処理内容を示す図。

【図9】本発明の実施例２に係る制御装置の構成例を示す図。

【図10】本発明の実施例２に係る異常検知部のフローチャートの一例を示す図。

【図11】制御部に異常が発生しない場合の制御装置の処理内容を示す図。

【図12】制御部が故障した場合の制御装置の処理内容を示す図。

【図13】制御部のデータが改ざんされた場合の制御装置の処理内容を示す図。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態を、図面を用いて詳細に説明する。

【実施例0011】

図１は、本発明の実施例１に係る制御装置の構成例を示している。図１において、制御装置１は、制御対象２に設置されているセンサ等により取得された状態量３を入力として受け、操作量を計算し、制御対象２に出力する。

【0012】

制御装置１は、状態量３を入力として状態モデルを生成する学習部１１、学習部１１の出力により、制御部１３の状態モデルを更新するモデル更新部１２、状態モデルにより操作量を演算する制御部１３（１３Ａ、１３Ｂ、１３Ｃ）、３つの制御部１３Ａ、１３Ｂ、１３Ｃの中で１つを選び、その操作量を制御対象２に出力する操作量選定部１４、３つの制御部１３Ａ、１３Ｂ、１３Ｃの操作量を比較し、制御部の異常を検知する異常検知部１５を主たる構成要素として構成されている。

【0013】

このうち学習部１１は、制御対象２の状態量３に基づいて、機械学習による制御技術に用いられる状態モデルを生成する。また、モデル更新部１２を通して制御部１３Ａ、１３Ｂ、１３Ｃのいずれかに状態モデルを出力する。学習部１１に用いられる機械学習による制御技術、及び、状態モデルの形式は、公知の方式のものが適用可能であり、例えば、特許文献１に開示されているものを使用することができる。

【0014】

制御部１３（１３Ａ、１３Ｂ、１３Ｃ）は、内部ストレージに状態モデルを有し、その状態モデルに基づいて、操作量を演算する。また、操作量選定部１４を通して選択した１つの制御部の出力により制御対象２に操作量を出力する。内部ストレージの状態モデルは、モデル更新部１２より学習部１１から出力された最新の状態モデルに適宜更新される。状態モデルに基づいて操作量を演算する方法は、公知の方式のものが適用可能であり、例えば、特許文献１に開示されているものを使用することができる。

【0015】

モデル更新部１２は、制御部１３（１３Ａ、１３Ｂ、１３Ｃ）の３つの中で１つを選び、選んだ制御部の状態モデルが保存されている内部ストレージに、学習部１１の出力（新たな状態モデル）を上書きする。モデル更新部１２の特徴は、制御対象２に操作量を出力していない制御部の中で１つを選び、順番に制御部を更新することである。

【0016】

このようなモデル更新部１２の処理を図２のフローチャートを用いて一例を説明する。

【0017】

まず、処理ステップＳ２０１にて、学習部１１が新たな状態モデルを生成して出力したか（ＹＥＳ）否か（ＮＯ）を判断し、新たな状態モデルが出力された場合（ＹＥＳ）は、処理ステップＳ２０２に進む。一方、学習部１１が新たな状態モデルを出力していない場合（ＮＯ）は、処理ステップＳ２０１を繰り返す。

【0018】

処理ステップＳ２０２では、処理ステップＳ２０１の後、新たな状態モデルに更新されなかった制御部がある場合は、その中から１つの制御部を選び、処理ステップＳ２０３に進む。一方、全ての制御部が新たな状態モデルに更新された場合は、処理ステップＳ２０１に戻る。

【0019】

処理ステップＳ２０３では、処理ステップＳ２０２で選ばれた制御部（以降、制御部ｉという）が制御対象２に操作量を出力していない場合（ＹＥＳ）は、処理ステップＳ２０４に進む。一方、制御部ｉが制御対象２に操作量を出力している場合（ＮＯ）は、処理ステップＳ２０２に戻る。

【0020】

処理ステップＳ２０４では、制御部ｉ内部の状態モデルを、学習部１１の出力に上書きする。上書き終了後、処理ステップＳ２０２に戻る。また上書き中には、制御部の状態モデルが更新中であることを、後述する図１の異常検知部１５に通知する。

【0021】

以上に述べた処理によれば、学習部１１が新たな状態モデルを出力した場合、制御対象２に操作量を出力していない制御部の中で１つずつ選び、順番に制御部内部の状態モデルを学習部１１の出力に更新することができる。

【0022】

図１に戻り、操作量選定部１４は、制御部１３Ａ、１３Ｂ、１３Ｃの３つから出力された操作量を受け、操作量の中で１つを選定し、選定した操作量を制御対象２に出力する。操作量選定部１４の特徴は、操作量３つを比較して２つ以上同じ操作量が有れば、その操作量の中から１つを選定することである。このような操作量選定部１４の処理を図３のフローチャートを用いて一例を説明する。

【0023】

図３の処理ではまず、処理ステップＳ４０１で、現時刻で選定されている操作量（以降、操作量ｉ）をその他の操作量らと比較し、その他の操作量らの中に操作量ｉと同じ操作量が無い場合（ＮＯ）は、処理ステップＳ４０２に進む。一方、その他の操作量らの中に操作量ｉと同じ操作量が一つ以上ある場合（ＹＥＳ）は、処理ステップＳ４０１を繰り返す。

【0024】

処理ステップＳ４０２では、その他の操作量らを比較し、その中で同じ操作量が２つ以上ある場合（ＹＥＳ）は、処理ステップＳ４０３に進む。一方、全ての操作量が異なる場合（ＮＯ）は処理ステップＳ４０４に進む。

【0025】

処理ステップＳ４０３では、同じ値が２つ以上ある操作量の中から１つを選定し、その操作量を制御対象２に出力する。操作量切り替え後、処理ステップＳ４０１に戻る。

【0026】

処理ステップＳ４０４では、全ての操作量が異なることを、後述する異常検知部１５に通知する。

【0027】

以上に述べた処理によれば、操作量ｉと同じ操作量が無く、かつ、操作量ｉを除いた操作量の中で同じ値が２つ以上ある場合、その中から選定された操作量に操作量ｉを切り替えて制御対象２に出力することができる。

【0028】

異常検知部１５は、モデル更新部１２と操作量選定部１４から通知を受け、制御部１３らから出力された操作量らが全て異なり、かつ全ての制御部１３の状態モデルが更新中でない場合、制御部１３Ａ、１３Ｂ、１３Ｃのいずれかに異常が発生したと判断し、管理者に知らせる。

【0029】

このような異常検知部１５の処理を図４のフローチャートを用いて一例を説明する。

【0030】

まず、処理ステップＳ５０１では、操作量選定部１４から通知を受け、制御部らから出力された操作量らが全て異なると判断した場合（ＹＥＳ）は、処理ステップＳ５０２に進む。一方、操作量選定部１４から通知を受けていない場合（ＮＯ）は、処理ステップＳ５０１を繰り返す。

【0031】

処理ステップＳ５０２では、モデル更新部１２から通知を受け、全ての制御部の状態モデルが更新中でないと判断した場合（ＹＥＳ）は、処理ステップＳ５０３に進む。一方、制御部の状態モデルのいずれかが更新中であると判断した場合（ＮＯ）は、処理ステップＳ５０１に戻る。

【0032】

処理ステップＳ５０３では、制御部１３Ａ、１３Ｂ、１３Ｃのいずれかに異常が発生したことを管理者に知らせる。管理者に知られる方法は、画面表示、メッセージ送信など、公知の方法であればよい。

【0033】

以上に述べた処理によれば、制御部らから出力された操作量らが全て異なり、かつ、全ての制御部の状態モデルが更新中でない場合、制御部１３Ａ、１３Ｂ、１３Ｃのいずれかに異常が発生したことを管理者に知らせることができる。

【0034】

以上に述べた、学習部１１、モデル更新部１２、制御部１３Ａ、１３Ｂ、１３Ｃ、操作量選定部１４、異常検知部１５を含む制御装置１の処理を、時間経過にそって説明する。

【0035】

まず図５を用いて、制御部１３Ａ、１３Ｂ、１３Ｃが正常で、学習部１１から新たな状態モデルが出力され、制御部１３Ａ、１３Ｂ、１３Ｃの状態モデルが更新される処理を説明する。

【0036】

図５には、制御部に異常が発生しない場合の制御装置の処理内容を示している。図５では、横軸に学習部１１、制御部１３（Ａ、Ｂ、Ｃ）、操作量選定部１４、異常検知部１５におけるその時点での状態を示し、縦軸に０から１０までの時刻を示している。なおこの記述において、Ｓ（０）、Ｓ（１）は学習部からのモデルＳであり、そのカッコ内記号０，１はモデル型番であり、モデル型番１のものが最新モデルであることを意味している。またモデルに付した記号＊は、この記号を付した制御部の出力が選定されていることを表している。

【0037】

以下の説明にあたり、まず初期状態では、制御部１３Ａ、１３Ｂ、１３Ｃの状態モデルがＳ（０）と同じであり、操作量選定部１４では制御部１３Ａが選ばれ、制御部１３Ａの操作量が制御対象２に出力されていたものとする。これに対し、時刻０において、学習部１１が新たな状態モデルＳ（１）を出力した。

【0038】

この変化を受けて時刻１では、モデル更新部１２で制御部１３Ｂが選ばれ、制御部１３Ｂの状態モデルがＳ（０）からＳ（１）に更新開始した。モデル更新部１２の処理を具体的に説明すると、まず、処理ステップＳ２０１で学習部１１から新たな状態モデルが出力されたと判断した。処理ステップＳ２０２に進み、制御部１３Ａを選び、処理ステップＳ２０３に進んだ。処理ステップＳ２０３では、制御部１３Ａが制御対象２に操作量を出力していると判断し、処理ステップＳ２０２に戻った。再び処理ステップＳ２０２では、制御部１３Ｂを選び、処理ステップＳ２０３に進んだ。処理ステップＳ２０３では、制御部１３Ｂが制御対象２に操作量を出力していないと判断し、処理ステップＳ２０４に進んだ。処理ステップＳ２０４では、制御部１３Ｂの状態モデルＳ（０）が学習部１１の出力Ｓ（１）と異なると判断し、処理ステップＳ２０５に進み、状態モデル更新作業を開始し、かつ、異常検知部１５に状態モデルを更新中であることを通知した。

【0039】

時刻２で、制御部１３Ｂの状態モデルの更新作業が終了した。その後、処理ステップＳ２０５から処理ステップＳ２０２に進み、制御部１３Ｃを選び、制御部１３Ｂの場合と同様に、処理ステップＳ２０３、処理ステップＳ２０４に進み、時刻４において、制御部１３Ｃに対する状態モデル更新作業を開始した。

【0040】

時刻４において、一方、操作量選定部１４では、処理ステップＳ４０１にて制御部１３Ａの操作量をその他の操作量（制御部１３Ｂ、１３Ｃの操作量）と比較し、同じ値がないと判断した。処理ステップＳ４０２に進み、制御部１３Ｂ、１３Ｃの操作量を比較し、異なる（同じ操作量が２つ以上ない）と判断し、処理ステップＳ４０４に進み、異常検知部１５に通知する。異常検知部１５では、操作量選定部１４から通知を受け、処理ステップＳ５０１にて全ての操作量が異なると判断し、処理ステップＳ５０２に進んだ。処理ステップＳ５０２では、モデル更新部１２から受けた通知から制御部のいずれかが更新中であると判断し、処理ステップＳ５０１に戻り、管理者への通知はなかった。

【0041】

時刻５において、制御部１３Ｃの状態モデルの更新作業が終了した。操作量選定部１４では、処理ステップＳ４０２にて、制御部１３Ｂ、１３Ｃの操作量を比較し、同じ値であると判断し、処理ステップＳ４０３に進んだ。時刻６において処理ステップＳ４０３にて、制御対象２に出力する操作量が制御部１３Ａから制御部１３Ｂに切り替わった。

【0042】

時刻７において、一方、モデル更新部１２では、処理ステップＳ２０２にて制御部１３Ａを選び、制御部１３Ｃの場合と同様に、処理ステップＳ２０３、処理ステップＳ２０４に進み、制御部１３Ａに対する状態モデル更新作業を開始した。

【0043】

時刻８において、制御部１３Ａの状態モデル更新作業終了後、モデル更新部１２では、処理ステップＳ２０２に戻った。処理ステップＳ２０２で、処理ステップＳ２０１の後、全ての制御部の状態モデルを更新したと判断し、処理ステップＳ２０１に戻った。

【0044】

以上述べたように、本発明によれば、学習部１１が新たな状態モデルを出力した後、制御部１３Ａ、１３Ｂ、１３Ｃの状態モデルを順番に更新でき、制御対象２に出力する操作量をスムーズに切り替えることができる。

【0045】

図６は、制御対象に操作量を出力していない制御部が故障した場合の制御装置の処理内容を示している。次に、図６を用いて、制御対象２に操作量を出力していない制御部の１つが故障した場合、これが検知される処理を説明する。なお、図６の表記は基本的に図５と同じであるが、縦軸の時刻についてｉからｉ＋７までの時刻を示している。

【0046】

初期状態では、制御部１３Ａ、１３Ｂの状態モデルがＳ（ｎ）と同じであり、制御部１３Ｃは故障（ｂｒｏｋｅｎ）していたものとする。また、制御部１３Ａの操作量が制御対象２に出力されていたものとする。そして、時刻ｉにおいて、学習部１１が新たな状態モデルＳ（ｎ＋１）を出力した。

【0047】

時刻ｉ＋１で、モデル更新部１２で制御部１３Ｂが選ばれ、制御部１３Ｂの状態モデルがＳ（ｎ）からＳ（ｎ＋１）に更新開始し、時刻ｉ＋２で更新終了した。

【0048】

時刻ｉ＋３において、操作量選定部１４では、処理ステップＳ４０４にて、全ての操作量が異なることを異常検知部１５に通知した。異常検知部１５では、操作量選定部１４から通知を受け、処理ステップＳ５０１から処理ステップＳ５０２に進んだ。処理ステップＳ５０２にてモデルが更新中でないと判断し、処理ステップＳ５０３に進み、管理者に制御部に異常が発生したことを通知した。

【0049】

時刻ｉ＋４、ｉ＋５の間、制御部１３Ｃの状態モデルが更新される間は、管理者への異常通知が一時的に止まった。しかし、時刻ｉ＋６以降、制御部１３Ｃの状態モデルの更新終了後は、管理者への異常通知が継続する。

【0050】

このように、本発明によれば、制御部の１つが故障した場合、異常が発生したと検知、および通知することができる。また、故障していない制御部の操作量を制御対象２に出力し続けることで、制御安全性を確保することができる。

【0051】

上記では、状態モデルの更新中に制御部が故障した場合など、制御部の中で制御装置２に操作量を出力していない制御部の故障を検知する例を述べた。本発明は上記に限らず、制御装置２に操作量を出力している制御部が故障した場合も、制御安全性を確保し、異常検知および通知ができる。

【0052】

図７は、制御対象に操作量を出力している制御部が故障した場合の制御装置の処理内容を示している。この例では、初期状態（時刻ｊ）で、制御部１３Ａ、１３Ｂ、１３Ｃの状態モデルがＳ（ｎ）と同じであり、制御部１３Ｃの操作量が制御対象２に出力されていた。時刻ｊ＋１において、制御部１３Ｃが故障した。この際に、操作量選定部１４では、処理ステップＳ４０１、処理ステップＳ４０２を経て、処理ステップＳ４０３にて制御対象２に出力する操作量を制御部１３Ａに切り替える処理をした。時刻ｊ＋２の状態は、図６に示した時刻ｉの状態と同じであり、次に学習部１１から新たな状態モデルが出力された際に異常が検知および通知される。

【0053】

このように本発明は、制御装置２に操作量を出力している制御部が故障した場合、操作量を他の制御部に切り替えることにより、制御安全性を確保できる。また、次に新たに状態モデルが更新される際に、制御部に異常が発生したことを検知および通知することができる。

【0054】

図８は、制御部のデータが改ざんされた場合の制御装置の処理内容を示す図である。次に、図８を用いて、サイバー攻撃など原因で、１つの制御部の状態モデルが改ざんされた場合、これが検知される処理を説明する。但しここでは縦軸の時間をｋからｋ＋９の各時刻で表している。

【0055】

初期状態では、制御部１３Ａ、１３Ｂ、１３Ｃの状態モデルがＳ（ｍ）と同じであり、制御部１３Ａの操作量が制御対象２に出力されていたが、制御部１３Ｃの状態モデルがＳ（Ｘ）に改ざんされた。制御対象２に操作量を出力している制御部の状態モデルが改ざんされた場合は、図７で説明したように、操作量選定部１４より操作量が切り替わる。時刻ｋにおいて、学習部１１が新たな状態モデルＳ（ｍ＋１）を出力した。

【0056】

以降、時刻ｋ＋１において、制御部１３Ｂの更新（Ｓ（ｍ）⇒Ｓ（ｍ＋１））を開始し、時刻ｋ＋２で更新終了した。時刻ｋ＋３において、全ての制御部の操作量操作量が異なり、かつ、モデル更新中でないことから、異常検知部１５より管理者へ異常が通知される。ｋ＋４において、改ざんされていた制御部１３Ｃも更新され、その後の処理は全ての正常になる。

【0057】

このように、本発明によれば、１つの制御部の状態モデルが改ざんされた場合、管理者に異常通知することができる。

【0058】

また、本発明によれば、制御部の状態モデルの更新を失敗した場合を検知することができる。上記と同じ初期状態で、制御部１３Ｃの更新を失敗した場合、時刻ｋ＋３の状態になり、異常検知部１５より管理者へ異常が通知される。

【0059】

以上、制御部の不具合として（ａ）制御部のハードウェアが故障した場合、（ｂ）制御部の状態モデルデータが改ざんされた場合、（ｃ）制御部の状態モデルの更新作業を失敗した場合を挙げ、それぞれの場合の本発明の処理、異常通知について述べた。場合によって異常通知パターンが異なり、このパターンの違いから原因が推定できる。場合（ａ）は、一時的、その後、継続的な異常通知であり、場合（ｂ）は一時的な異常通知であり、場合（ｃ）は継続的に異常通知である。

【0060】

このように、本発明によれば、操作量の演算作業、および状態モデルの更新作業を繰り返すため、不具合発生のポテンシャルが高い制御部に関し、同じ機能を持つ制御部を３つ以上設け、これらの信号を比較することにより、様々な不具合を検知できる。また信号比較結果に基づいて、信号を切り替えることにより、不具合が発生した場合でも、適切な操作量を出力でき、制御安全性を確保できる。

【実施例0061】

図９は、本発明の実施例２に係る制御装置の構成例を示している。本発明の実施例１との差異は、制御部を４つ有する点、異常検知部１５の処理である。他の要素、学習部１１、モデルの更新部１２、制御部１３Ａ，１３Ｂ、１３Ｃ、操作量選定部１４の特徴、および処理は実施例１と同様である。

【0062】

実施例２は、実施例１と同様に、制御部の不具合が検知でき、不具合が発生した場合でも制御安全性を確保できる。さらなる利点は、実施例１では制御部１つに不具合が発生した場合、新たな状態モデルに更新した制御部から操作量を制御対象２に出力することが困難であるのに対し、実施例２では、制御部１つに不具合が発生した場合でも新たな状態モデルに更新した制御部から操作量を制御対象２に出力することができる。また、正常な制御部３つより、その後新たに状態モデルの更新があった場合に対応できる。

【0063】

異常検知部１５の処理の差異を、図１０を用いて述べる。実施例１との差異は、モデル更新部１２からの通知を不要とし、処理ステップＳ５０２がない点である。操作量選定部１４から通知を受け、全ての操作量が異なると判断した場合（処理ステップＳ５０１）、管理者に通知する（処理ステップＳ５０３）
実施例２の処理を、時間経過にそって説明する。図１１に、全ての制御部が正常である場合、状態モデルが更新される処理を示し、図１２に、１つの制御部が故障した場合、状態モデルが更新される処理を示し、図１３に、１つの制御部のデータが改ざんされた場合、状態モデルが更新される処理を示す。

【0064】

図１１に示す全ての制御部が正常である場合は、時刻０に新たな状態モデルが出力され、モデルに更新部１２より制御部１３Ｂ、１３Ｃ，１３Ｄが更新された。時刻６において、操作量選定部１４より制御対象２に出力する操作量が制御部１３Ｂに切り替わった。その後、制御部１３Ａも更新され、更新作業終了となった。

【0065】

図１２に示す１つの制御部（制御部１３Ｄ）が故障した場合は、全ての制御部が正常である場合と同様に時刻２まで進むが、時刻３において、更新前、更新後、更新中、故障と全ての制御部の状態が異なり、全ての操作量が異なったため、異常検知部１５より、異常が通知された。その後、制御部１３Ｄが故障していても時刻６において、操作量選定部１４より制御対象２に出力する操作量が制御部１３Ｂに切り替わった。

【0066】

図１３に示す１つの制御部（制御部１３Ｄ）のデータが改ざんされた場合は、１つの制御部が故障した場合と同様に、時刻３において、更新前、更新後、更新中、改ざんと全ての制御部の状態が異なり、全ての操作量が異なったため、異常検知部１５より、異常が通知された。

【0067】

このように、実施例２によれば、実施例１と同様なことができ、かつ、制御部１つが故障した場合でも、制御部１つが故障した場合でも、新たな状態モデルに更新した制御部から操作量を制御対象２に出力することができ、その後の状態モデルの更新を継続できる。