特開 2024-20999 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020999

(43)【公開日】2024-02-15

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20240207BHJP

   G05B 13/04 20060101ALI20240207BHJP

【ＦＩ】

G05B23/02 P

G05B13/04

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022123616

(22)【出願日】2022-08-02

(71)【出願人】

【識別番号】000006666

【氏名又は名称】アズビル株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山内 敏嗣

【テーマコード（参考）】

3C223

5H004

【Ｆターム（参考）】

3C223AA01

3C223FF24

3C223FF47

5H004GA30

5H004GB01

5H004KC48

(57)【要約】

【課題】得られたデータがシステム同定に適しているか否かを、簡易に判定する。
【解決手段】情報処理装置１００は、システム同定をするための同定用データセットを用いて、パラメータ推定値の事後分布として推定し、パラメータ推定値の事後分布の分散に基づく評価と、パラメータ推定値を用いた場合の出力追従精度の評価と、を行い、評価部の評価結果に基づいて、同定用データセットの抽出区間をシステム同定に使用する際の適正を判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

システム同定をするための同定用データセットを用いて、パラメータ推定値の事後分布として推定する推定部と、
前記パラメータ推定値の事後分布の分散に基づく評価と、前記パラメータ推定値を用いた場合の出力追従精度の評価と、を行う評価部と、
前記評価部の評価結果に基づいて、前記同定用データセットの抽出区間をシステム同定に使用する際の適正を判定する、判定部と、
を有することを特徴とする情報処理装置。

【請求項2】

前記推定部は、前記同定用データセットを用いて、ベイズ推定に基づいてパラメータ推定値の事後分布を推定する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記評価部は、前記パラメータ推定値の事後分布について、二乗和誤差を用いて、前記パラメータ推定値を用いた場合の出力追従精度の評価を行う、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記評価部は、前記パラメータ推定値が、比較対象の異なる時系列における前記パラメータ推定値の事後分布の所定の範囲に含まれるかどうかの、パラメータ推定値変動の評価を行う、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記判定部は、前記パラメータ推定値の事後分布の分散に基づく評価と、前記パラメータ推定値を用いた場合の出力追従精度の評価と、前記パラメータ推定値変動の評価と、の評価結果が所定の条件を満たす場合に、前記同定用データセットの抽出区間をシステム同定に使用する際の適正を判定する、
ことを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記判定部が所定の条件に合致すると判定した場合に、前記パラメータ推定値の事後分布の平均値を用いて、モデルのパラメータを更新する、更新部を更に有する、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項7】

システム同定をするための同定用データセットを用いて、パラメータ推定値の事後分布として推定する工程と、
前記パラメータ推定値の事後分布の分散に基づく評価と、前記パラメータ推定値を用いた場合の出力追従精度の評価と、を行う工程と、
評価部の評価結果に基づいて、前記同定用データセットの抽出区間をシステム同定に使用する際の適正を判定する、工程と、
を含むことを特徴とする情報処理方法。

【請求項8】

システム同定をするための同定用データセットを用いて、パラメータ推定値の事後分布として推定する手順と、
前記パラメータ推定値の事後分布の分散に基づく評価と、前記パラメータ推定値を用いた場合の出力追従精度の評価と、を行う手順と、
評価部の評価結果に基づいて、前記同定用データセットの抽出区間をシステム同定に使用する際の適正を判定する、手順と、
を実行させることを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

複数のデータ間の関係及び現象について解明や、予測や、制御をする時に、該当するシステムを数理モデルとして記述する場合がある。例えば、空調の負荷予測は線形回帰モデルで記述し、プロセスの一次遅れ系はゲイン及び時定数を用いた伝達関数モデルで記述する。そして、数理モデルの記述はパラメータθの推定に帰着することから、パラメータθを推定する必要がある。そこで、推定方法の一つとして、パラメータθが与えられた状態で出力推定値と出力実測値の二乗誤差が、最も小さくなるようなパラメータθを探索する手法である最小二乗法が知られている。

【0003】

前述した数理モデルのパラメータの真値は、プロセスの経年変化や使用環境の変化等により逐次変化し、問題となる場合がある。例えば、パラメータ真値の変化に対応せず、最初に得られたパラメータに基づいて制御器等を設計し続けると、望ましい制御性能を発揮できず予測不能な挙動を示す可能性がある。そのため、システム同定（「プロセス制御において、制御対象の特性解析や制御器設計のために、入出力データ間のゲインや時定数といった応答特性を特徴づけるパラメータを推定すること」と定義し、以降は単に「システム同定」と表記）を逐次行い、パラメータを定期的に更新する必要がある。

【0004】

なお、パラメータを更新する際、逐次得られる入出力データに基づいて、システム同定を繰り返す方法が知られている。しかし、実際には、逐次得られる入出力データの全てが使用できるわけではなく、例えば、入出力特性が明確に表れているといったシステム同定に適しているデータと、ノイズの影響等が大きいといったシステム同定に適さないデータが存在する。そして、前述のシステム同定に適さないデータに基づいて、最小二乗法等を用いたパラメータ推定を行うと、誤推定を引き起こす可能性がある。そこで、前述の誤推定を排除するため、得られたモデルの妥当性を評価し、判断する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第５７６８８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来技術では、得られたデータ自体がシステム同定に適しているか否かを、簡易に判定できない場合があった。

【0007】

例えば、システム同定に適していないデータが得られた場合、従来技術では、データではなくモデルが誤っていると判定してしまう場合があった。そのため、システム同定に適したデータを入力することが前提となることから、システム同定に適したデータか否かを判断するために、深い知見と高度な技術が必要となる。

【課題を解決するための手段】

【0008】

そこで、上記の課題を解決し目的を達成するために、本発明の情報処理装置は、システム同定をするための同定用データセット（入力と出力をともに含むシステム同定に用いるデータのことで、以降は単に「同定用データセット」と表記）を用いて、パラメータ推定値の事後分布として推定する推定部と、前記パラメータ推定値の事後分布の分散に基づく評価と、前記パラメータ推定値を用いた場合の出力追従精度の評価と、を行う評価部と、前記評価部の評価結果に基づいて、前記同定用データセットの抽出区間をシステム同定に使用する際の適正を判定する、判定部と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、得られたデータがシステム同定に適しているか否かを、簡易に判定できる、という効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る情報処理方法の概要の一例を示す図である。

【図2】図２は、実施形態に係る情報処理装置の装置構成の一例を示す図である。

【図3】図３は、実施形態に係る情報処理手順についてのフローチャートである。

【図4】図４は、実施形態に係る抽出区間ごとの出力推定値の追従精度についてのグラフの一例を示す図である。

【図5】図５は、実施形態に係る抽出区間ごとの事後分散の一例を示す図である。

【図6】図６は、実施形態に係るシステム同定に適した同定用データセットを用いた場合の出力推定値の追従精度の一例を示す図である。

【図7】図７は、実施形態に係るシステム同定に適さない同定用データセットを用いた場合の出力推定値の追従精度の一例を示す図である。

【図8】図８は、実施形態に係るパラメータの妥当性について二乗和誤差（ＳＳＥ）を用いて比較したグラフの一例を示す図である。

【図9】図９は、実施形態に係るパラメータ推定値の変動範囲の評価一例を示す図である。

【図10】図１０は、実施形態に係る変形例１の入力と、外乱と、出力実測値のグラフの一例を示す図である。

【図11】図１１は、実施形態に係る変形例１の誤推定の影響を受けるグラフの一例を示す図である。

【図12】図１２は、実施形態に係る変形例１の誤推定の影響を回避するグラフの一例を示す図である。

【図13】図１３は、実施形態に係る変形例２の入力と、出力実測値と、パラメータ変動のグラフの一例を示す図である。

【図14】図１４は、実施形態に係る変形例２のシステム同定に適した区間でのパラメータ推定値更新についての一例を示す図である。

【図15】図１５は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0011】

以下では、実施の形態（以降、「実施形態」）について、図面を参照しながら説明する。なお、以下の説明において、各実施形態において共通する構成要素には同一の参照符号を付し、繰り返しの説明を省略する。また、この実施形態の説明は、本発明に係る情報処理装置、情報処理方法及び情報処理プログラムを限定するものではない。また、本実施形態にて説明する数値や情報等は、記載した内容に限定するものではなく、以降の項目において全て同様とする。

【0012】

〔１．情報処理方法の概要〕
本発明における情報処理装置１００は、モデルを構築するための同定用データセットに基づいて、ベイズ推定を用いてパラメータ推定値の事後分布として推定し、パラメータ推定値の事後分布の分散に基づく評価（以降、単に「事後分散の評価」）と、パラメータ推定値を用いた場合の出力追従精度の評価（以降、単に「出力追従精度の評価」と表記）と、パラメータ推定値変動の評価と、を行う。そして、情報処理装置１００は、前述の評価結果に基づいて、同定用データセットを取得するたびに、同定用データセット及び同定用データセットの取得区間をシステム同定に使用する際の適正を、自動的に判定する。

【0013】

〔１－１．情報処理の一例〕
まず、本発明における情報処理装置１００の情報処理方法の概要を、図１を用いて説明する。図１では、入力ｕにより出力実測値ｙが得られるシステム１０を例に説明を行う。なお、システム１０は、２入力１出力であることを前提とする。さらに、入出力データ間の応答特性を特徴づけるパラメータとして以下の式（１）を持つこととし、以降は、上記したパラメータを「パラメータ 式（１）」と表記する。なお、以降の項目で情報処理装置１００が扱うデータやパラメータは、記載する内容に限定されるものではない。

【0014】

【数1】

【0015】

まず、情報処理装置１００は、同定用データセットを収集する（図１の（１）参照）。続いて、情報処理装置１００は、収集した同定用データセットに基づいて、ベイズ推定を用いてパラメータ推定値である以下の式（２）を推定する（図１の（２）参照）。なお、以降は、パラメータ推定値を「パラメータ推定値 式（２）」と表記する。

【0016】

【数2】

【0017】

次に、情報処理装置１００は、前述したパラメータ推定値 式（２）の妥当性を評価するために、パラメータ推定値 式（２）の事後分布を用いて、評価を行う。まず、情報処理装置１００は、事後分散の評価として、入出力特性を記述するモデルのパラメータ事後分散を推定し、事後分散の評価を実施する（図１の（３）参照）。事後分散の評価では、情報処理装置１００が、パラメータ推定値の優劣を評価できない同定用データセットの取得区間での同定用データセットの取得を排除するために、事後分散の値を算出し、入力ｕの変動時に出力実測値ｙが有意に変動するかどうか、について判定する。

【0018】

次に、情報処理装置１００は、パラメータ推定値 式（２）を用いた時の出力追従精度の評価を実施する（図１の（４）参照）。出力追従精度の評価では、情報処理装置１００が、推定精度の良いパラメータ推定値 式（２）の算出に適さない同定用データセットの排除するために、二乗和誤差（以降、「ＳＳＥ：Sum of Squared Error」）を算出する。そして、情報処理装置１００は、ＳＳＥを用いて、パラメータ推定値 式（２）に基づいて算出する出力推定値である以下の式（３）が、出力実測値ｙに追従しているかどうか、について判定する。なお、以降は出力推定値を「出力推定値 式（３）」と表記する。

【0019】

【数3】

【0020】

次に、情報処理装置１００は、パラメータ推定値変動の評価を実施する（図１の（５）参照）。パラメータ推定値変動の評価では、情報処理装置１００は、事後分散の評価及び出力追従精度の評価の基準を満たすにも関わらず、パラメータ真値から乖離したパラメータ推定値 式（２）を算出する同定用データセットを排除するため、パラメータ推定値 式（２）が変動許容範囲内に含まれるかどうかを評価し、パラメータ推定値 式（２）の値やオーダーの妥当性を判定する。

【0021】

そして、情報処理装置１００は、事後分散の評価と、出力追従精度の評価と、パラメータ推定値変動の評価において、それぞれが後述する所定の基準を満たす場合に、システム同定に適する同定用データセット及び同定用データセットの取得区間であると、判断する（図１の（６）参照）。そして、情報処理装置１００は、判断結果に基づいてパラメータ推定値 式（２）の平均値等を算出し、モデルのパラメータを更新する。

【0022】

なお、図１の事例では、事後分散の評価（３）、出力追従精度の評価（４）、パラメータ推定値変動の評価（５）、という順番で説明を行ったが、前述の順番に限定されるものではなく、順番を適宜組み替えて実施して良い。

【0023】

〔２．情報処理装置の構成〕
次に、実施形態に係る情報処理装置１００の構成について、図２を用いて説明する。図２に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、を有する。なお、図２に図示していないが、情報処理装置１００は、各種操作を受け付ける入力部（例えば、タッチパネルや、キーボードや、マウス等）を備えても良い。

【0024】

（通信部１１０）
通信部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、必要に応じてネットワークと有線又は無線で接続され、双方向に情報の送受信を行うことができる。

【0025】

（記憶部１２０）
記憶部１２０は、同定用データセット記憶部１２１と、パラメータ記憶部１２２と、を有する。なお、記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。

【0026】

（同定用データセット記憶部１２１）
同定用データセット記憶部１２１は、情報処理装置１００がシステム同定を行うために収集する、同定用データセットを記憶する。なお、同定用データセット記憶部１２１が記憶する情報は、前述した同定用データセットに限定されるものではなく、その他の同定用データセットになり得る情報を記憶して良い。

【0027】

（パラメータ記憶部１２２）
パラメータ記憶部１２２は、情報処理装置１００がシステム同定により算出するパラメータを記憶する。なお、パラメータ記憶部１２２が記憶する情報は、前述した、システム同定により算出されるパラメータに限定されるものではなく、その他のパラメータになり得る情報を記憶して良い。

【0028】

（制御部１３０）
制御部１３０は、収集部１３１と、推定部１３２と、評価部１３３と、判定部１３４と、更新部１３５と、を有する。なお、制御部１３０は、プロセッサ（Processor）や、ＭＰＵ（Micro Processing Unit）や、ＣＰＵ（Central Processing Unit）等が、記憶部１２０に記憶されている各種プログラムについて、ＲＡＭを作業領域として実行することにより、実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のＩＣ（Integrated Circuit）により実現される。

【0029】

（収集部１３１）
収集部１３１は、情報処理装置１００がシステム同定を行うために用いる情報である同定用データセットを収集する。

【0030】

（推定部１３２）
推定部１３２は、システム同定をするための同定用データセットを用いて、ベイズ推定に基づいて、パラメータ推定値 式（２）の事後分布を推定する。

【0031】

前述のベイズ推定は、推定結果を点として得る従来手法の最小二乗法と異なり、推定結果を分布として得ることができる手法である。さらに、ベイズ推定は、事前知識（図１ではパラメータ 式（１）に関する情報）を反映した分布（以降、「事前分布」）を、観測されたデータに基づいて修正することで新たに分布（以降、「事後分布」）を得る手法である。そして、前述のベイズ推定によって得られた事後分布は、点として得られる最小二乗法に基づいた推定結果と比べて、分散や取り得る値の範囲や分布の広がり等の情報量が多い。そのため、情報処理装置１００は、事後分布を用いることで信頼性を評価可能な推定結果を算出する。

【0032】

また、補足すると、一般的にベイズ推定は、事前分布を以下の式（４）と、観測されたデータを以下の式（５）と、事後分布を以下の式（６）とした時に、以下の式（７）で表記できる。

【0033】

【数4】

【数5】

【数6】

【数7】

【0034】

なお、推定部１３２は、推定方法にベイズ推定を用いると説明したが、その他パラメータ分布の推定に使用できる推定方法であれば、使用して良い。

【0035】

（評価部１３３）
評価部１３３は、パラメータ推定値の事後分布の分散に基づく評価と、パラメータ推定値を用いた場合の出力追従精度の評価と、パラメータ推定値変動の評価と、を行う。評価部１３３の詳細な機能については、後述の「３－１．事後分散の評価の詳細」と、「３－２．出力追従精度の評価の詳細」と、「３－３．パラメータ推定値変動の評価の詳細」と、という項目で、それぞれ詳細に説明する。なお、評価部１３３は、前述した評価方法以外の評価を行って良く、さらに、事後分布に限らず確率分布であれば、その他の情報を用いても良い。

【0036】

（判定部１３４）
判定部１３４は、評価部１３３の評価結果に基づいて、同定用データセットの抽出区間をシステム同定に使用する際の適正を判定する。さらに、判定部１３４は、パラメータ推定値の事後分布の分散に基づく評価（事後分散の評価）と、パラメータ推定値 式（２）を用いた場合の出力追従精度の評価（出力追従精度の評価）と、パラメータ推定値変動の評価と、の評価結果が所定の条件を満たす場合に、同定用データセットの抽出区間をシステム同定に使用する際の適正を判定する。

【0037】

具体的には、判定部１３４は、同定用データセットの抽出区間をシステム同定に使用する際、事後分散の評価と、出力追従精度の評価と、パラメータ推定値変動の評価と、の評価結果が所定の条件を満たす場合に、対象の同定用データセット及び同定用データセットの抽出区間がシステム同定に適すると判定する。他方、前述の条件を満たさない場合は、判定部１３４は、対象の同定用データセット及び同定用データセットの抽出区間がシステム同定に適さないと判定する。

【0038】

なお、前述の所定の条件とは、本実施形態の一例では、事後分散の値が基準値以下で、ＳＳＥの値が基準値未満で、パラメータ推定値 式（２）が後述の変動許容範囲内に存在する場合である、と定義する。ただし、当該所定の条件は前述した組み合わせに限定されるものではなく、情報処理装置１００は、入出力データ間の応答特性に応じた条件を設定できる。例えば、判定部１３４が判定するのは、事後分散の値とＳＳＥの値の両方もしくはどちらか一方が基準値以下で、という条件のみとしても良い。

【0039】

（更新部１３５）
更新部１３５は、判定部１３４が所定の条件に合致すると判定した場合に、パラメータ推定値 式（２）の事後分布の平均値を用いて、モデルのパラメータを更新する。なお、事後分布の平均値のみならず、最頻値や中央値等のその他の代表統計量を用いてもよい。さらに、更新部１３５は、前述の判定部１３４の判定結果に基づき更新するだけでなく、例えば、管理者の指示等に基づいて、必要に応じてパラメータの更新を行って良い。

【0040】

〔３．情報処理の手順〕
次に、実施形態に係る情報処理装置１００の情報処理手順を説明する。図３は、実施形態に係る情報処理の手順についての一例を示すフローチャートである。

【0041】

まず、収集部１３１が、同定用データセットを収集する（工程Ｓ１０１）。続いて、推定部１３２が、同定用データセットに基づいて、ベイズ推定を用いてパラメータ推定値 式（２）の事後分布を推定する（工程Ｓ１０２）。次に、評価部１３３が、事後分散の評価を実施し、事後分散の値を算出する（工程Ｓ１０３）。続けて、判定部１３４が、評価部１３３が算出した事後分散の値が、基準値以下の場合には、次の工程に進む判定をする（工程Ｓ１０４のＹｅｓ）。他方、事後分散の値が基準値を超える場合には、判定部１３４は、システム同定に適さない同定用データセットの取得区間と判定し、工程が終了する（工程Ｓ１０４のＮｏ及び工程Ｓ１０５）。

【0042】

次に、評価部１３３が、パラメータ推定値 式（２）に基づいて出力追従精度の評価を実施し、ＳＳＥを算出する（工程Ｓ１０６）。続けて、判定部１３４は、評価部１３３が算出したＳＳＥの値が基準値未満の場合には、次の工程に進む判定をする（工程Ｓ１０７のＹｅｓ）。他方、ＳＳＥの値が基準値以上の場合には、判定部１３４は、システム同定に適さない同定用データセットと判定し、工程が終了する（工程Ｓ１０７のＮｏ及び工程Ｓ１０５）。

【0043】

次に、評価部１３３が、パラメータ推定値 式（２）に基づいて、パラメータ推定値変動の評価を実施する（工程Ｓ１０８）。続けて、判定部１３４が、評価部１３３が実施するパラメータ推定値変動の評価において、パラメータ推定値 式（２）が変動許容範囲に存在する場合には、工程Ｓ１０４及び工程Ｓ１０７の判定結果も併せて、システム同定に適した同定用データセットと判定する（工程Ｓ１０９のＹｅｓ及びＳ１１０）。他方、パラメータ推定値 式（２）が変動許容範囲に存在しない場合には、判定部１３４は、システム同定に適さない同定用データセットと判定し、工程が終了する（工程Ｓ１０９のＮｏ及び工程Ｓ１０５）。

【0044】

なお、図３のフローチャートでは、事後分散の評価（工程Ｓ１０３）、出力追従精度の評価（工程Ｓ１０６）、パラメータ推定値変動の評価（工程Ｓ１０８）、という順番で説明を行ったが、前述の順番に限定されるものではなく、順番を適宜組み替えて実施して良い。また、各評価における判定の条件についても、適宜変更して良い。

【0045】

〔３－１．事後分散の評価の詳細〕
続いて、以下の項目において「事後分散の評価」と、「出力追従精度の評価」と、「パラメータ推定値変動の評価」と、の詳細を説明する。まず、事後分散の評価について説明する。評価部１３３は、Ｆ検定等を用いて、パラメータ推定値 式（２）の事後分散に基づく評価を行う。

【0046】

事後分散の評価において、評価部１３３は、「パラメータ推定値 式（２）の優劣を評価できない同定用データセットの取得区間」、言い換えると「異なるパラメータ推定値 式（２）を与えても出力実測値ｙに対する出力推定値 式（３）の追従精度に、差が表れない同定用データセットの取得区間」であるかどうかを、判定部１３４が判定するための事後分散を算出する。

【0047】

補足すると、上記の同定用データセットの取得区間は、情報処理装置１００がパラメータの真値に近いパラメータ推定値 式（２）の候補値を絞り込むことができないため、システム同定に適していない。他方、「異なるパラメータ 式（１）を与えた場合、出力実測値ｙに対する出力推定値 式（３）の追従精度に大きな差が生じる」場合には、出力推定値 式（３）の出力実測値ｙに対する追従精度が良くなるようなパラメータ推定値 式（２）を絞り込むことが容易であることから、システム同定に適した同定用データセットの取得区間であると言える。

【0048】

そして、上記のパラメータ推定値 式（２）の候補値の絞り込み具合は、ベイズの定理に基づいて事後分散の大小として判定できる。具体的には、以下の式（８）で表され、式（８）から、式（９）と式（１０）は比例関係にある。したがって、パラメータ 式（１）の値を変えても式（９）に差が生じない場合、式（１０）が広い分布となっている。つまり、事後分散が大きくなる。

【0049】

【数8】

【数9】

【数10】

【0050】

そして、事後分散は推定結果に対する確信度を表しており、該事後分散の広がりの性質に基づいて、情報処理装置１００は、得られた同定用データセットがシステム同定に適しているかどうかの判定を、以降に記載する手順によって実施する。なお、各パラメータについて、次の通り定義し、以降は同様の表記を用いる。前回のシステム同定時に得られたパラメータを以下の式（１１）で表記する「パラメータ 式（１１）」とし、パラメータ 式（１１）の事後分散を以下の式（１２）で表記する「事後分散 式（１２）」とし、新たに得られたパラメータを以下の式（１３）で表記する「パラメータ 式（１３）」とし、式（１３）の事後分散を以下の式（１４）で表記する「事後分散 式（１４）」とする。

【0051】

【数11】

【数12】

【数13】

【数14】

【0052】

まず、評価部１３３は、事後分散 式（１２）と事後分散 式（１４）の比較を、Ｆ検定等を用いて行う。続いて、判定部１３４は、事後分散 式（１２） ≧ 事後分散 式（１４）が成立した場合に、事後分散の評価の観点において、同定用データセットの取得区間が、システム同定に適していると判定する。

【0053】

さらに、事後分散の評価について図４及び５を用いて、更に説明を行う。まず、図４は、同定用データセットの取得区間ごとに、パラメータ推定値 式（２）であるＧａｉｎ（ゲイン）の値とＴａｕ（時定数）の値を設定した場合の、ＳＳＥの値の算出及び出力実測値ｙと出力推定値 式（３）をグラフにプロットした図である。なお、図４に記載の情報処理装置１００が扱う数値及びグラフはあくまで一例であり、図４に記載の情報に限定されるものではない。

【0054】

まず、区間１では、Ｇａｉｎの値を〔－０．１，０．８〕及びＴａｕの値を〔９．０，２５．０〕とした場合にはグラフ２１が、Ｇａｉｎの値を〔０．５，－３５００〕及びＴａｕの値を〔１．０，２５０００００〕とした場合にはグラフ２２が、それぞれ出力される。グラフ２１において、出力推定値 式（３）を表すプロット２１ａは、出力実測値ｙを表すプロット２１ｂを追従しており、ＳＳＥの値は「５０」である。

【0055】

他方、グラフ２２において、出力推定値 式（３）を表すプロット２２ａは、出力実測値ｙを表すプロット２２ｂを追従しておらず、ＳＳＥの値は「１５００」である。前述した内容から、区間１においては、適したＧａｉｎの値とＴａｕの値を設定することで、出力推定値 式（３）は出力実測値ｙを追従するため、システム同定に適した同定用データセットの取得区間であると言える。

【0056】

次に、区間２においては、区間１と同様に、Ｇａｉｎの値を〔－０．１，０．８〕及びＴａｕの値を〔９．０，２５．０〕とした場合にはグラフ２３が、Ｇａｉｎの値を〔０．５，－３５００〕及びＴａｕの値を〔１．０，２５０００００〕とした場合にはグラフ２４が、それぞれ出力される。まず、グラフ２３おいて、出力推定値 式（３）を表すプロット２３ａは出力実測値ｙを表すプロット２３ｂを追従しておらず、ＳＳＥの値は「２５０」である。

【0057】

他方、グラフ２４において、出力推定値 式（３）を表すプロット２４ａは出力実測値ｙを表すプロット２４ｂを追従しておらず、ＳＳＥの値は「２００」である。前述した内容から、区間２においては、適したＧａｉｎの値とＴａｕの値を設定しても、適さないＧａｉｎの値とＴａｕの値を設定しても、出力推定値 式（３）の出力実測値ｙに対する追従精度に大きな差が生じないため、システム同定には適さない同定用データセットの取得区間であると言える。

【0058】

さらに、図５を用いて、事後分散の比較について説明を行う。図５は、図４で示した各区間の事後分散の比較したグラフである。まず、評価部１３３は、ベイズ推定を用いることで、図５に示すように分布を持った事後分散を推定する。そして、評価部１３３が、前回の区間の事後分散３１は「分散：０．５」と、区間１の事後分散３２は「分散０．２」と、区間２の事後分散３３は「分散：１．０」と、いう結果を算出する。

【0059】

そして、判定部１３４は、「前回の区間の事後分散３１ ≧ 区間１の事後分散３２」という結果に基づいて、区間１がシステム同定に適した同定用データセットの取得区間であると判定する。他方、区間２については「区間２の事後分散３３ ≧ 前回の区間の事後分散３１」であるため、判定部１３４は、システム同定に適さない取得区間であると判定する。

【0060】

〔３－２．出力追従精度の評価の詳細〕
次に、出力追従精度の評価について説明する。評価部１３３は、パラメータ推定値 式（２）の事後分布について、二乗和誤差を用いて、パラメータ推定値 式（２）を用いた場合の出力追従精度の評価を行う。

【0061】

出力追従精度の評価において、評価部１３３は、「出力推定値 式（３）の推定精度の良いパラメータ推定値 式（２）を算出できない同定用データセット」、言い換えると「出力推定値 式（３）の出力実測値ｙに対する追従精度が悪いパラメータ推定値 式（２）を算出する同定用データセット」であるかどうかを、判定部１３４が判定するための、ＳＳＥの値を算出する。ＳＳＥの値が小さければ、追従精度が良いと言い換えることができるため、追従精度の指標としてＳＳＥを用いることができる。

【0062】

出力実測値ｙを精度良く追従する出力推定値 式（３）を算出することが前提であるため、前述の「出力推定値 式（３）の出力実測値ｙに対する追従精度が悪いパラメータ推定値 式（２）を算出する同定用データセット」は、システム同定に適していない。そこで、判定部１３４は、出力実測値ｙと出力推定値 式（３）の追従精度について、ＳＳＥを算出し比較することで、判定を行う。

【0063】

なお、本実施形態においては、ＳＳＥを用いた評価を前提に説明するがＳＳＥに限定されるわけではなく、例えば、平均絶対誤差（以下、「ＭＡＥ：Mean Absolute Error」）や平均二乗誤差（以下、「ＭＳＥ：Mean Squared Error」）を用いて、出力追従精度の評価を行うことができる。

【0064】

次に、評価部１３３が行う、出力追従精度の評価の手順について説明する。なお、出力追従精度の評価に用いるパラメータについて、次の通り定義し、以降は同様の表記を用いる。パラメータ 式（１１）を用いた場合の出力推定値を以下の式（１５）で表記する「出力推定値 式（１５）」とし、出力推定値 式（１５）と出力実測値ｙのＳＳＥを以下の式（１６）で表記する「ＳＳＥ 式（１６）」とし、パラメータ 式（１３）を用いた場合の出力推定値を以下の式（１７）で表記する「出力推定値 式（１７）」とし、出力推定値 式（１７）と出力実測値ｙのＳＳＥを以下の式（１８）で表記する「ＳＳＥ 式（１８）」とする。

【0065】

【数15】

【数16】

【数17】

【数18】

【0066】

まず、評価部１３３は、ＳＳＥ 式（１６）と、ＳＳＥ 式（１８）とを、それぞれ算出する。続いて、判定部１３４は、ＳＳＥ 式（１６）とＳＳＥ 式（１８）の大小関係を確認し、ＳＳＥ 式（１６） ＞ ＳＳＥ 式（１８）であれば、パラメータ 式（１３）、すなわちパラメータ 式（１３）を算出するために用いた同定用データセットが、システム同定に適していると判定する。

【0067】

続いて、図６及び図７を用いて、出力追従精度の評価について更に説明を行う。図６及び図７は、パラメータ推定値 式（２）であるＧａｉｎの値とＴａｕの値を設定した場合に、ＳＳＥの値を算出し、出力実測値ｙと出力推定値 式（３）をグラフにプロットした図である。まず、図６では、Ｇａｉｎの値を〔－０．１，０．８〕及びＴａｕの値を〔９．０，２５．０〕とした場合にはグラフ４１が出力される。グラフ４１において、出力推定値 式（３）を表すプロット４１ａは、出力実測値ｙを表すプロット４１ｂを追従しており、ＳＳＥの値は「５０」である。

【0068】

他方、図７では、Ｇａｉｎの値を〔０．５，－３５００〕及びＴａｕの値を〔１．０，２５０００００〕とした場合にはグラフ４２が出力される。グラフ４２において、出力推定値 式（３）を表すプロット４２ａは、出力実測値ｙを表すプロット４２ｂを追従しておらず、のＳＳＥの値は「１５００」である。

【0069】

上記の結果に基づいて、判定部１３４は、グラフ４１のパラメータ推定値 式（２）、すなわちパラメータ推定値 式（２）を算出するために用いた同定用データセットが、システム同定に適していると判定する。

【0070】

〔３－３．パラメータ推定値変動の評価の手順〕
次に、評価部１３３が行うパラメータ推定値変動の評価について、説明する。評価部１３３は、パラメータ推定値 式（２）が、比較対象の異なる時系列におけるパラメータ推定値の事後分布の、所定の範囲に含まれるかどうかのパラメータ推定値変動の評価を行う。パラメータ推定値変動の評価は、前述した「事後分散の評価」及び「出力追従精度の評価」で排除されなかった、システム同定に不適切なパラメータ推定値 式（２）を算出する同定用データセットを排除することを目的とする。

【0071】

具体的に対象となるのは、「事後分散」と「ＳＳＥ」が共に基準値を下回るが、パラメータ推定値 式（２）が真値と乖離した値として得られる場合である。そこで、判定部１３４は、「事後分散の評価」及び「出力追従精度の評価」における判定基準に偶然合致するが、システム同定には不適切なパラメータ推定値 式（２）を算出する同定用データセットを除外するために、予めパラメータ推定値 式（２）の基準範囲として、以下に定義する「変動許容幅」を設定する。そして、判定部１３４は、設定した変動許容幅から外れるパラメータ推定値 式（２）、すなわちパラメータ推定値 式（２）を算出するために用いた同定用データセットについて、システム同定に不適切であると判定する。

【0072】

次に、パラメータ推定値変動の評価についての手順を説明する。まず、各パラメータについて、次の通り定義し、以降は同様の表記を用いる。パラメータ 式（１１）の事後標準偏差を以下の式（１９）で表記する「事後標準偏差 式（１９）」とし、パラメータの変動許容幅を以下の式（２０）で表記する「変動許容幅 式（２０）」とする。

【0073】

【数19】

【数20】

【0074】

まず、判定部１３４は、事後標準偏差 式（１９）を用いて、許容変動幅 式（２０）を設定する。続いて、判定部１３４は、パラメータ 式（１３）が、許容変動幅 式（２０）の範囲内であればパラメータ推定値変動の評価の観点において、パラメータ推定値 式（２）、すなわちパラメータ推定値 式（２）を算出するために用いた同定用データセットが、システム同定に適していると判定する。なお、変動許容幅 式（２０）に記述するαはハイパーパラメータであり、本発明を適用するデータに応じてあらかじめ設定する。

【0075】

続いて、パラメータ推定値変動の評価について図８及び図９を用いて、更に説明をする。まず、図８は、同定用データセットの取得区間ごとに、パラメータ推定値 式（２）であるＧａｉｎの値とＴａｕの値を設定した場合のＳＳＥの値を算出し、出力実測値ｙと出力推定値 式（３）をグラフにプロットした図である。

【0076】

まず、区間１では、Ｇａｉｎの値を〔－０．１，０．８〕及びＴａｕの値を〔９．０，２５．０〕とした場合にはグラフ５１が、出力される。そして、グラフ５１において、出力推定値 式（３）を表すプロット５１ａは、出力実測値ｙを表すプロット５１ｂを追従しており、ＳＳＥの値は「５０」である。

【0077】

他方、区間３においては、Ｇａｉｎの値を〔０．４，２．３０〕及びＴａｕの値を〔４．０，１５．０〕とした場合にはグラフ５２が出力される。グラフ５２において、出力推定値 式（３）を表すプロット５２ａは出力実測値ｙを表すプロット５２ｂを、追従しており、ＳＳＥの値は「６０」である。

【0078】

前述した、図８で示される区間１及び区間３に対しての「事後分散の評価」と「出力追従精度の評価」においては、判定部１３４は、区間１及び区間３で得られるパラメータ推定値 式（２）を算出する同定用データセットは、どちらもシステム同定に適していると判定する。しかしながら、図９で、前回更新時に得られたパラメータ 式（１１）の事後標準偏差 式（１９）を算出し、該事後標準偏差 式（１９）を用いて設定する変動許容幅 式（２０）に基づいて比較を行うと、区間１で得られるパラメータ 式（１３）は変動許容幅 式（２０）の範囲内に存在しており、区間３で得られるパラメータ 式（１３）は変動許容幅 式（２０）の範囲外に存在している、したがって、判定部１３４は、区間１で得られるパラメータ推定値 式（２）、すなわち区間１で得られるパラメータ推定値 式（２）を算出するために用いた同定用データセットがシステム同定に適すると判定する。

【0079】

〔４．変形例〕
次に、本実施形態の変形例について説明を行う。

【0080】

〔４－１．変形例１：誤推定の回避〕
まず、図１０から１２を用いて、情報処理装置１００が、パラメータ推定値 式（２）の誤推定を回避する例を説明する。図１０では、変形例１の前提条件として、３入力としての入力ｕと、意図しない入力である外乱ｄと、１出力として出力実測値ｙと、を示す。なお、図１０では、区間Ｂは出力実測値ｙが外乱ｄの影響を受けた値となっており、本来の入力ｕに起因する出力実測値ｙではなく、外乱ｄの影響を受けた出力実測値ｙとなる。そのため、該領域でパラメータを推定すると、誤推定を引き起こす場合がある。

【0081】

次に、図１１は、図１０の入力条件において、従来技術にてパラメータ推定を行った場合の出力実測値ｙ及び出力推定値 式（３）のプロットと、パラメータ推定値の変動を表している。まず、外乱ｄの影響を受けていない区間Ａ及び区間Ｃにおける出力推定値 式（３）のプロット６２は、出力実測値ｙのプロット６３を精度良く追従しており、パラメータ推定値 式（２）については、パラメータ真値６４と、パラメータ推定値の更新値６５が、一致していることから、区間Ａ及びＣにおけるパラメータ推定値 式（２）、すなわちパラメータ推定値 式（２）を算出するために用いた入力ｕ及び出力実測値ｙの取得区間が、システム同定に適していると言える。

【0082】

他方、区間Ｂにおいては、パラメータ真値６４と、パラメータ推定値の更新値６５が乖離していることから、区間Ｂにおいて推定されるパラメータ推定値 式（２）、すなわちパラメータ推定値 式（２）を算出するために用いた入力ｕ及び出力実測値ｙの取得区間は、システム同定に適していないと言える。

【0083】

続いて、図１２は、情報処理装置１００が出力する、出力実測値ｙ及び出力推定値 式（３）のプロットと、パラメータ推定値の変動を表している。図１２においては、まず、外乱ｄの影響を受けていない区間Ａ及び区間Ｃでは、本手法の事後分散の評価、出力推定値の追従精度の評価、パラメータ推定値変動の評価のいずれも基準を満たしている。したがって、判定部１３４は、本手法により区間Ａ及び区間Ｃのデータセットがシステム同定に適していると判定する。実際、図１２では、区間Ａ及び区間Ｃにおける出力推定値 式（３）のプロット６２は出力実測値ｙのプロット６３を精度良く追従しており、パラメータ推定値 式（２）については、パラメータ真値６４と、パラメータ推定値の更新値６５が、一致していることから、区間Ａ及びＣにおけるパラメータ推定値 式（２）、すなわちパラメータ推定値 式（２）を算出するために用いた入力ｕ及び出力実測値ｙの取得区間は、図１１同様にシステム同定に適していると言える。

【0084】

他方、区間Ｂについては外乱ｄの影響を受けており、本手法の事後分散の評価及びパラメータ推定値変動の評価で基準を満たさないため、システム同定に不適切な入力ｕ及び出力実測値ｙの取得範囲であると判定部１３４が判定し、更新部１３５は、パラメータの更新を行わない。その結果、区間Ｂにおいて、パラメータ真値６４と、パラメータ推定値の更新値６５が全ての区間において一致しており、情報処理装置１００は、区間Ｂでのパラメータ推定値 式（２）の誤推定を回避する。

【0085】

〔４－２．変形例２：所定の条件に合致するデータ区間でのパラメータの更新〕
次に、図１３及び図１４を用いて、本発明の情報処理装置１００が、所定の条件に合致する入力ｕ及び出力実測値ｙの取得区間で、パラメータを更新する例を説明する。まず、図１３では、変形例２の前提条件として、１入力としての入力ｕと、１出力として出力実測値ｙと、パラメータ 式（１）の変動と、を示す。そして、区間Ｅにて入力ｕと、パラメータ 式（１）が変動していることから、システム同定に適した区間Ｆでパラメータの更新が行われるのが望ましい。

【0086】

次に、図１４は、図１３の条件に基づいて、出力実測値ｙと出力推定値 式（３）のプロット及びパラメータ真値６９とパラメータ推定値の更新値７０の変動を表している。まず、区間Ｅにおいてパラメータ 式(1)が変動しているが、本手法の事後分散の評価で基準を満たさないため、判定部１３４は、区間Ｅがシステム同定に適していないと判定する。その結果、区間Ｅを含む取得区間は、システム同定に適さないことになる。したがって、更新部１３５は、この取得区間から得られるパラメータ推定値 式（２）では更新しない。その結果、出力実測値ｙのプロット６７と出力推定値 式（３）のプロット６８では、パラメータ 式（１）が変動していることから、追従精度が低下する。しかし、区間Ｆにて、本手法の事後分散の評価、出力推定値の追従精度の評価、パラメータ推定値変動の評価のいずれも基準を満たしているため、情報処理装置１００は、当該区間Ｆ及びパラメータ推定値 式（２）がシステム同定に適していると判定し、パラメータ推定値の更新値７０がパラメータ真値６９と同水準の値になるように更新する。その結果、区間Ｆ以降では、追従精度が区間Ｄと同水準となる。

【0087】

〔５．効果〕
従来技術では、システム同定に適している同定用データセットを、テストモード等でプロセスを稼働させ収集する必要があり、時間や金銭面でのコストが大きいことが問題となる場合があった。さらに、予め得られた同定用データセットの取得区間において、入力ｕが変動している時に、出力実測値ｙが有意に変動しているかどうかを目視等で判断し、必要に応じて入力ｕのデータの切り出し等の加工を行う必要があった。また、前述の入力ｕが変動している時に、出力実測値ｙが有意な変動を目視等で判断できたとしても、同定用データセットや同定用データセットの取得区間がシステム同定に適しているかどうか判断するためには、実際に最小二乗法を用いてパラメータ推定を行い、得られるパラメータ推定値について評価を行う必要があった。

【0088】

加えて、前述のシステム同定に適しているかの判断をするための評価は、最小二乗法により得られたパラメータ推定値を、パラメータ推定に関する深い知見と技術を持つエンジニア等が、「パラメータ推定値を用いることで得られる出力推定値が出力実測値に追従しているかどうか」や、「パラメータ推定値の値についてオーダーが経験的に妥当かどうか」等を確認する必要があった。

【0089】

しかしながら、前述してきたように、情報処理装置１００は、同定用データセットに基づいて、ベイズ推定を用いてパラメータ推定値の事後分布を推定し、パラメータ推定値の事後分布の分散に基づく評価と、出力追従精度の評価と、パラメータ推定値変動の評価を行い、同定用データセットや同定用データセットの取得区間がシステム同定に使用する際の適正を判定する。従って、情報処理装置１００は、パラメータ推定に関する深い知見と技術が無くても、得られた同定用データセットや同定用データセットの取得区間をシステム同定に使用する際の適正を、同定用データセットを取得する度に、システマチックに判定する。

【0090】

上記により、情報処理装置１００は、パラメータ推定値から同定用データセットが使用に適する同定用データセットの取得区間であるかについて、自動的に判定するため、システム同定に不適切な同定用データセットや同定用データセットの取得区間を排除できる、という効果を提供する。

【0091】

また、情報処理装置１００は、パラメータ推定値の精度が所定の基準を満たさない同定用データセットであるかについて、自動的に判定するため、システム同定に不適切な同定用データセットを排除できる、という効果を提供する。

【0092】

さらに、情報処理装置１００は、事後分散の評価及び出力追従精度の評価において所定の条件を満たすが、真値ではないパラメータ推定値であるかについて、自動的に判定するため、システム同定に不適切な同定用データセットを排除できる、という効果を提供する。

【0093】

さらに、本発明は、上記のように自動的かつシステマチックにシステム同定に不適切なデータセットを排除する機能を備えており、パラメータ推定に関する深い知見と技術を備えていないエンジニア等でも比較的低コストで精度の高いシステム同定を実現できる、という効果を奏するものとなっている。

【0094】

〔６．ハードウェア構成〕
前述した、実施形態に係る情報処理装置１００は、例えば、図１５に示すような構成のコンピュータ１０００によって実現される。図１５は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、補助記憶装置１４００、通信Ｉ／Ｆ（インタフェース）１５００、入出力Ｉ／Ｆ（インタフェース）１６００が、バス１８００により接続された形態を有する。

【0095】

ＣＰＵ１１００は、ＲＯＭ１３００又は補助記憶装置１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0096】

補助記憶装置１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、係るプログラムによって使用されるデータ等を格納する。通信Ｉ／Ｆ１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。ＣＰＵ１１００は、入出力Ｉ／Ｆ１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入出力装置１７００を制御する。ＣＰＵ１１００は、入出力Ｉ／Ｆ１６００を介して、入出力装置１７００からデータを取得する。また、ＣＰＵ１１００は、生成したデータについて入出力Ｉ／Ｆ１６００を介して入出力装置１７００へ出力する。

【0097】

例えば、コンピュータ１０００が本実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。

【0098】

〔７．その他〕
前述の実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0099】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の通り構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【0100】

前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0101】

また、前述してきた「部（section、module、unit）」は、「手段」や「回路」等に読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【0102】

以上、本発明の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【符号の説明】

【0103】

１０ システム
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 同定用データセット記憶部
１２２ パラメータ記憶部
１３０ 制御部
１３１ 収集部
１３２ 推定部
１３３ 評価部
１３４ 判定部
１３５ 更新部
１０００ コンピュータ
１１００ ＣＰＵ
１２００ ＲＡＭ
１３００ ＲＯＭ
１４００ 補助記憶装置
１５００ 通信Ｉ／Ｆ
１６００ 入出力Ｉ／Ｆ
１７００ 入出力装置
１８００ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】