特許 7647774 生成装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-10

(45)【発行日】2025-03-18

(54)【発明の名称】生成装置、方法、及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250311BHJP

【ＦＩ】

G06N20/00

【請求項の数】 8

(21)【出願番号】P 2022579183

(86)(22)【出願日】2021-02-02

(86)【国際出願番号】 JP2021003735

(87)【国際公開番号】W WO2022168163

(87)【国際公開日】2022-08-11

【審査請求日】2023-06-13

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】前島 綜太朗

(72)【発明者】

【氏名】尾花 和昭

(72)【発明者】

【氏名】角田 啓介

(72)【発明者】

【氏名】児玉 翠

(72)【発明者】

【氏名】荒井 直樹

【審査官】渡辺 順哉

(56)【参考文献】

【文献】米国特許第１０５１００２２（ＵＳ，Ｂ１）

【文献】特開２００８－１２３０１１（ＪＰ，Ａ）

【文献】国際公開第２０１７／１６８４５８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

複数種類の特徴量を用いて機械学習された複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する生成装置であって、
前記複数の学習モデルの各々について、学習モデルによる予測結果の精度と、ユーザにより指定された少なくとも１種類の特徴量の前記予測結果に対する寄与度とを取得する取得部と、
前記精度と前記寄与度とから前記指標を生成する生成部と、
を含む生成装置。

【請求項2】

前記生成部は、ユーザにより指定された重みを付加した、前記特徴量の種類毎の寄与度を用いて前記指標を生成する請求項１に記載の生成装置。

【請求項3】

前記生成部は、大きさの尺度を一致させた、前記特徴量の種類毎の寄与度を用いて前記指標を生成する請求項２に記載の生成装置。

【請求項4】

前記生成部は、前記精度の大きさと前記寄与度の大きさとの尺度を一致させて前記指標を生成する請求項１～請求項３のいずれか１項に記載の生成装置。

【請求項5】

前記生成部は、前記精度及び前記寄与度の少なくとも一方に重みを付加して前記指標を生成する請求項１～請求項４のいずれか１項に記載の生成装置。

【請求項6】

前記学習モデルは、空調利用部の温度最適化を目標として、空調制御器の温度設定の最適制御方法の算出を強化学習で行う場合における、強化学習エージェントのアクションである空調機の温度設定に応じて温度の変化を予測する環境モデルであり、
前記特徴量は、前記空調利用部の温度及び前記空調機の温度設定値を含む空調制御に関する特徴量である
請求項１～請求項５のいずれか１項に記載の生成装置。

【請求項7】

取得部及び生成部を含み、複数種類の特徴量を用いて機械学習された複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する生成装置が実行する生成方法であって、
前記取得部が、前記複数の学習モデルの各々について、学習モデルによる予測結果の精度と、ユーザにより指定された少なくとも１種類の特徴量の前記予測結果に対する寄与度とを取得し、
前記生成部が、前記精度と前記寄与度とから前記指標を生成する
生成方法。

【請求項8】

複数種類の特徴量を用いて機械学習された複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する生成プログラムであって、
コンピュータを、
前記複数の学習モデルの各々について、学習モデルによる予測結果の精度と、ユーザにより指定された少なくとも１種類の特徴量の前記予測結果に対する寄与度とを取得する取得部、及び、
前記精度と前記寄与度とから前記指標を生成する生成部
として機能させるための生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、生成装置、生成方法、及び生成プログラムに関する。

【背景技術】

【0002】

入力データのパターンを自動で機械学習し、動画像や音声の分類、時系列データの推移等を予測する学習モデルを作成する機械学習技術が普及している。また、学習モデルは、ベースとなる構造、パラメータ、入力するデータ形状等、学習モデルの振る舞いに関わる項目の設定によって、様々なパターンで作成され得る。そのため、機械学習技術の利用においては、予測精度が所定の基準を満たすように、適切なパターンの学習モデルを選択する必要がある。

【0003】

学習モデルの選択に関する技術として、同じ目的変数を予測する学習モデルであって、構造や利用する特徴量が異なる様々な学習モデルを生成し、生成した学習モデルを予測精度の降順に列挙する技術が提案されている（非特許文献１）。

【先行技術文献】

【非特許文献】

【0004】

【文献】原聡、石畠正和、前原貴憲、「機械学習モデルの列挙」、人工知能基本問題研究会、１０５：Ｐ．１－５、２０１８年

【発明の概要】

【発明が解決しようとする課題】

【0005】

機械学習技術では、学習モデルの予測精度だけでなく、予測の根拠が重要になる場合がある。例えば、学習モデルによる予測結果に基づいて病気の診断を行う場合など、人間の意思決定を支援するタスクでは、学習モデルによる予測結果だけでなく、その予測の根拠を見て、予測結果の信頼性が判断される。そのため、予測精度だけでなく、予測の根拠も所定の基準を満たすように、学習モデルを適切に選択する必要がある。

【0006】

従来技術は、予め決められた指標に基づいて推定された予測結果の精度のみを基準として学習モデルを列挙しているため、上記のように予測の根拠も重視したい場合には、学習モデルが最適な順で列挙されているとは限らない、という問題がある。

【0007】

開示の技術は、上記の点に鑑みてなされたものであり、所望の予測精度及び予測の根拠が得られる学習モデルを適切に選択するための指標を生成することを目的とする。

【課題を解決するための手段】

【0008】

本開示の第１態様は、複数種類の特徴量を用いて機械学習された複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する生成装置であって、前記複数の学習モデルの各々について、学習モデルによる予測結果の精度と、ユーザにより指定された少なくとも１種類の特徴量の前記予測結果に対する寄与度とを取得する取得部と、前記精度と前記寄与度とから前記指標を生成する生成部と、を含んで構成される。

【0009】

本開示の第２態様は、複数種類の特徴量を用いて機械学習された複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する生成方法であって、取得部が、前記複数の学習モデルの各々について、学習モデルによる予測結果の精度と、ユーザにより指定された少なくとも１種類の特徴量の前記予測結果に対する寄与度とを取得し、生成部が、前記精度と前記寄与度とから前記指標を生成する方法である。

【0010】

本開示の第３態様は、複数種類の特徴量を用いて機械学習された複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する生成プログラムであって、コンピュータを、前記複数の学習モデルの各々について、学習モデルによる予測結果の精度と、ユーザにより指定された少なくとも１種類の特徴量の前記予測結果に対する寄与度とを取得する取得部、及び、前記精度と前記寄与度とから前記指標を生成する生成部として機能させるためのプログラムである。

【発明の効果】

【0011】

開示の技術によれば、所望の予測精度及び予測の根拠が得られる学習モデルを適切に選択するための指標を生成することができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態の概要を説明するための図である。

【図2】ＳＨＡＰ値の一例を説明するための概略図である。

【図3】学習モデル選択装置のハードウェア構成を示すブロック図である。

【図4】第１実施形態に係る学習モデル選択装置の機能構成の一例を示すブロック図である。

【図5】学習モデル選択処理の流れを示すシーケンス図である。

【図6】第２実施形態に係る学習モデル選択装置の機能構成の一例を示すブロック図である。

【図7】材料データの一例を示す図である。

【図8】学習パターンセットの一例を示す図である。

【図9】学習データの目的変数として作成されたカラムの一例を示す図である。

【図10】学習データの説明変数として作成された系列カラムの一例を示す図である。

【図11】特徴識別子毎の寄与度の算出を説明するための図である。

【図12】寄与度重みベクトル及び全体寄与度重みの一例を示す図である。

【図13】取得部による算出結果の一例を示す図である。

【図14】取得部による取得結果、及び生成部による生成結果の一例を示す図である。

【図15】評価用データセット作成処理の一例を示すフローチャートである。

【図16】学習モデル評価処理の一例を示すフローチャートである。

【図17】全体寄与度重みの相違によるモデル評価関数の相違を説明するための図である。

【図18】全体寄与度重みの調整を説明するための図である。

【図19】Ｗ２＝１．０の場合に、モデル評価関数を最大化する学習パターンを選択した場合の予測結果の一例を示す図である。

【図20】Ｗ２＝１．５の場合に、モデル評価関数を最大化する学習パターンを選択した場合の予測結果の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0014】

＜第１実施形態＞
図１は、第１実施形態の概要を説明するための図である。図１に示すように、複数の学習モデル（図１の例では、学習モデルＡ及びＢ）の各々には、入力データが入力され、各学習モデルにおいて予測処理が行われ、予測結果である出力データが出力される。この予測結果である出力データと、出力データの正解とを比較することで、学習モデルの予測精度が得られる。

【0015】

従来では、この予測精度を用いて学習モデルの評価が行われる。一方、上記のように、予測精度だけではなく、予測の根拠も重視して学習モデルの評価を行いたい場合には、所望の特徴量が、学習モデルによる予測結果を得るために貢献していることを用いることが考えられる。所望の特徴量は、事前知識に基づき選択すればよい。例えば、肺がんになる確率を学習モデルにより予測しようとする場合、肺がんになる確率は、煙草を消費する量と関係がある事は知られているため、煙草を消費する量、又は、煙草を消費する量から抽出された値を、所望の特徴量とすればよい。

【0016】

上記の点を踏まえ、第１実施形態では、予測精度に加え、特徴量の寄与度も用いて、学習モデルを選択するための指標を生成する。特徴量の寄与度とは、学習モデルで利用される特徴量の種類毎の、予測結果に対する貢献度を示す値である。すなわち、ある特徴量の値が予測結果に与える影響が大きいほど、その特徴量の寄与度は大きいと言える。ここで、特徴量の種類とは、学習モデルの機械学習に用いる学習データに存在する各カラムを区別する情報である。すなわち、異なるカラム同士の特徴量の種類は異なる。ただし、後述する第２実施形態では、学習データとして時系列データを用い、学習データのカラムには、あるカラムの時系列をシフトしたカラムも含まれる。この場合、元のカラムと、時系列をシフトしたカラムとの特徴量の種類は同じであるとする。また、時系列をシフトしたカラムであっても、元のカラムの特徴量が目的変数、時系列をシフトしたカラムの特徴量が説明変数の場合には、元のカラムと、時系列をシフトしたカラムとでは、特徴量の種類は異なるものとして扱う。

【0017】

寄与度の一例としては、例えば、ＳＨＡＰ（ＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ、参考文献１）値が挙げられる。

【0018】

参考文献１： Scott M．Lundberg and Su-In Lee, "A Unified Approach to Interpreting Model Predictions", Advances in Neural Information Processing Systems, pp. 4765-4774, 2017.

【0019】

図２に、ＳＨＡＰ値の概略図の一例を示す。図２の例では、横軸がＳＨＡＰ値の大きさを表しており、右側にいくほど寄与度が正の向きに大きく、左側にいくほど寄与度が負の向きに大きいことを表している。また、図２の例では、各特徴量のデータ毎のＳＨＡＰ値（図２中の各点）を、特徴量の種類毎にヒストグラム形式で表している。なお、図２の例では、種類が同じ特徴量であっても、時系列がシフトされている特徴量については、それぞれ区別して表している。また、各点の色の濃度が濃いほど、その点が示す特徴量の値が大きいことを表している。

【0020】

第１実施形態では、例えば上記のＳＨＡＰ値のような特徴量の種類毎の寄与度のうち、所望の種類の特徴量の寄与度が高い学習モデルが選択されるように、学習モデルを選択するための指標を生成する。所望の特徴量の種類は、ユーザにより指定される。そして、生成された指標を用いて、予測精度、及び指定された種類の特徴量の寄与度が所定の基準を満たすように、学習モデルが選択される。以下、上記のように、複数種類の特徴量を用いて機械学習された複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する機能を含む学習モデル選択装置について説明する。

【0021】

図３は、第１実施形態に係る学習モデル選択装置１０のハードウェア構成を示すブロック図である。図３に示すように、学習モデル選択装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0022】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。第１実施形態では、ＲＯＭ１２又はストレージ１４には、後述する学習モデル選択処理を実行するための学習モデル選択プログラムが格納されている。

【0023】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。

【0024】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

【0025】

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。

【0026】

通信Ｉ／Ｆ１７は、学習モデル選択装置１０外部の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。

【0027】

次に、学習モデル選択装置１０の機能構成について説明する。図４は、学習モデル選択装置１０の機能構成の一例を示すブロック図である。図４に示すように、学習モデル選択装置１０は、機能構成として、材料データ収集部２１と、材料データ保存部２２と、学習パターン送信部２３と、評価用データセット作成部２４と、評価用データセット保存部２７とを含む。評価用データセット作成部２４は、さらに検証用データ作成部２５と、学習モデル作成部２６とを含む。また、学習モデル選択装置１０は、学習モデル評価部２８と、選択学習モデル保存部３２とを含む。学習モデル評価部２８は、さらに取得部２９と、生成部３０と、選択部３１とを含む。取得部２９及び生成部３０は、開示の技術の生成装置の一例である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された生成プログラムを含む学習モデル選択プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

【0028】

材料データ収集部２１は、学習モデルの作成に利用する学習用データセット構築の材料となる材料データを収集する。材料データとは、目的変数及び説明変数として利用可能なデータであり、各データをそれぞれ区別するための固有のデータ識別子を備えるデータである。材料データ収集部２１は、ユーザにより指定されたデータ識別子の入力を受け付け、受け付けたデータ識別子を備える材料データを収集する。材料データ収集部２１は、例えば、センサから出力されるセンサ値、外部又は内部の記憶装置に記憶されたデータ等を、材料データとして収集してよい。材料データ収集部２１は、収集した材料データを、材料データ保存部２２に保存する。

【0029】

学習パターン送信部２３は、ユーザにより指定された学習パターンセットの入力を受け付け、受け付けた学習パターンセットを、評価用データセット作成部２４へ送信する。

【0030】

学習モデルは、ベースとなる構造、パラメータ、入力するデータ形状等の違いにより、出力データの振る舞いが変化する。ここでは、学習モデルの出力データの振る舞いに影響を与える情報の設定である学習パターンを、ユーザが予め複数個作成してまとめたものを「学習パターンセット」という。各学習パターンには、各学習パターンを識別するためのインデックスが付与されている。また、各学習パターンの構成要素には、例えば、ベースモデル識別子、ハイパーパラメータ、及び学習データ構築方法が含まれる。

【0031】

ベースモデル識別子は、学習モデルのベースとなるモデル構造を特定する識別子であり、例えば、学習モデルのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）名等である。ハイパーパラメータは、ベースモデル識別子に対応した、機械学習の方法に関わるパラメータである。各ハイパーパラメータの値は一意に確定していてもよいし、複数の候補があってもよい。学習データ構築方法は、材料データを加工し、学習モデルに入力する説明変数及び目的変数を含む学習データを構築する方法である。学習データ構築方法として、学習データを構成する複数の特徴量の各々の、特徴量の種類を示す識別子である特徴識別子、特徴識別子毎の特徴量を得るための、材料データに対する計算方法等、複数の項目が設定されている。なお、上述したように、学習データとして時系列データを用い、学習データのカラムには、あるカラムの時系列をシフトしたカラムも含まれる場合、元のカラムと、時系列をシフトしたカラムとの特徴量の種類は同じである。したがって、元のカラムの特徴量と、時系列をシフトしたカラムの特徴量とでは、同じ特徴識別子が用いられる。ただし、元のカラムの特徴量が目的変数、時系列をシフトしたカラムの特徴量が説明変数の場合には、元のカラムの特徴量と、時系列をシフトしたカラムの特徴量とでは、異なる特徴識別子が用いられる。

【0032】

評価用データセット作成部２４は、検証用データ作成部２５により作成された検証用データ、及び学習モデル作成部２６により作成された学習モデルを評価用データとする。評価用データセット作成部２４は、学習パターンの数、すなわち、学習パターンセットに含まれるインデックス数分の評価用データをまとめて評価用データセットとし、評価用データセット保存部２７に保存する。

【0033】

検証用データ作成部２５は、材料データ保存部２２から材料データを取得し、学習パターンに含まれる学習データ構築方法に従って、材料データから学習データを作成する。また、検証用データ作成部２５は、学習データの一部を検証用データとして抽出し、残りの学習データを学習モデル作成部２６へ出力する。検証用データは、作成された学習モデルの検証に用いるデータであり、学習モデルの機械学習に利用しないデータである。

【0034】

学習モデル作成部２６は、学習パターンに含まれるベースモデル識別子及びハイパーパラメータに従って、検証用データ作成部２５から出力された学習データを利用し、学習モデルを作成する。

【0035】

学習モデル評価部２８は、評価用データセット保存部２７に保存された複数の学習モデルの各々を、取得部２９及び生成部３０により生成された指標に基づいて評価し、選択部３１により所望の学習モデルを選択する。そして、学習モデル評価部２８は、選択部３１により選択された学習モデルを選択学習モデル保存部３２に保存する。

【0036】

取得部２９は、各学習モデルの予測精度と、ユーザにより指定された少なくとも１種類の特徴量の、学習モデルによる予測結果に対する寄与度とを取得する。具体的には、取得部２９は、検証用データに含まれる説明変数を学習モデルへ入力した際の学習モデルの出力データと、検証用データに含まれる目的変数との誤差に基づく予測精度を取得する。予測精度は、例えば、ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）に基づく値としてよい。また、取得部２９は、検証用データを用いて、学習データを構成する特徴量の種類毎の寄与度を取得する。寄与度は、例えばＳＨＡＰ値に基づく値としてよい。取得部２９は、取得した学習モデル毎の予測精度及び寄与度を生成部３０へ出力する。

【0037】

生成部３０は、取得部２９から出力された予測精度及び寄与度を用いて、学習モデル毎に、学習モデルを選択するための指標を生成する。生成部３０は、ユーザにより指定された種類の特徴量についての寄与度のみを用いて、指標を生成してよい。また、生成部３０は、ユーザにより指定された重みが付加された、特徴量の種類毎の寄与度を用いて指標を生成してもよい。これにより、予測精度と、所望の特徴量の寄与度、すなわち所望の予測の根拠とを考慮した指標を生成することができる。寄与度に重みを付加する場合は、さらに、いずれの種類の特徴量の寄与度を重視して指標を生成するかを調整することができる。

【0038】

また、生成部３０は、特徴量の種類毎の寄与度のスケールを一致させた上で、指標を生成してもよい。ここでのスケールとは、値の大きさの尺度のことである。これにより、各種類の特徴量について、相対的な寄与度の大きさを公平に評価可能な指標を生成することができる。また、生成部３０は、予測精度と寄与度とのスケールを一致させて、指標を生成してもよい。これにより、予測精度と寄与度との大きさを公平に評価可能な指標を生成することができる。また、生成部３０は、予測精度及び寄与度の少なくとも一方に重みを付加して指標を生成してよい。これにより、学習モデルを選択する際に、予測精度及び寄与度のいずれを重視するかを調整することができる。なお、上記のように、予測精度と寄与度とのスケールを一致させた上で、予測精度及び寄与度の少なくとも一方に重みを付加することで、予測精度及び寄与度のいずれを重視するかを、より適切に調整することができる。生成部３０は、各学習モデルについて生成した指標を、選択部３１へ出力する。

【0039】

選択部３１は、生成部３０から出力された各学習モデルの指標に基づいて、評価用データセット保存部２７に保存された複数の学習モデルから、指標が最も高い学習モデルを選択する。なお、選択部３１は、指標が所定値以上の１個以上の学習モデルを選択してもよいし、指標が上位所定個の学習モデルを選択してもよい。選択部３１は、複数の学習モデルを選択した場合、選択した学習モデルを指標と共にユーザに提示して、ユーザから採用する学習モデルの選択を受け付けてもよい。

【0040】

次に、学習モデル選択装置１０の作用について説明する。図５は、学習モデル選択装置１０による学習モデル選択処理の流れを示すシーケンス図である。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から、生成プログラムを含む学習モデル選択プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習モデル選択処理が行なわれる。

【0041】

ステップＳ１１において、ＣＰＵ１１は、材料データ収集部２１として、ユーザにより指定されたデータ識別子の入力を受け付け、受け付けたデータ識別子を備える材料データを収集し、材料データ保存部２２に保存する。次に、ステップＳ１２において、ＣＰＵ１１は、学習パターン送信部２３として、ユーザにより指定された学習パターンセットの入力を受け付け、受け付けた学習パターンセットを、評価用データセット作成部２４へ送信する。

【0042】

次に、ステップＳ１３において、ＣＰＵ１１は、評価用データセット作成部２４として、材料データ保存部２２から材料データを取得する。次に、ステップＳ１４において、ＣＰＵ１１は、評価用データセット作成部２４として、評価用データセット作成処理を実行する。具体的には、ＣＰＵ１１は、評価用データセット作成部２４の検証用データ作成部２５として、学習パターンセットに含まれる学習パターン毎に、学習パターンに含まれる学習データ構築方法に従って、材料データから学習データを作成する。また、ＣＰＵ１１は、検証用データ作成部２５として、作成した学習データの一部を検証用データとして抽出し、残りの学習データを学習モデル作成部２６へ出力する。さらに、ＣＰＵ１１は、評価用データセット作成部２４の学習モデル作成部２６として、学習パターンに含まれるベースモデル識別子及びハイパーパラメータに従って、検証用データ作成部２５から出力された学習データを利用し、学習モデルを作成する。

【0043】

次に、ステップＳ１５において、ＣＰＵ１１は、評価用データセット作成部２４として、検証用データ作成部２５により作成された検証用データ、及び学習モデル作成部２６により作成された学習モデルを評価用データとする。そして、ＣＰＵ１１は、評価用データセット作成部２４として、学習パターンの数、すなわち、学習パターンセットに含まれるインデックス数分の評価用データをまとめて評価用データセットとし、評価用データセット保存部２７に保存する。

【0044】

次に、ステップＳ１６において、ＣＰＵ１１は、学習モデル評価部２８として、評価用データセット保存部２７に保存された評価用データセットを取得する。また、ステップＳ１７において、ＣＰＵ１１は、学習モデル評価部２８として、ユーザにより指定された特徴量の種類（図５中の「特徴量の指定」）の入力を受け付ける。なお、ＣＰＵ１１は、学習モデル評価部２８として、特徴量の指定に替えて、寄与度に対する特徴量の種類毎の重み（図５中の「寄与度の重み」）を受け付けてもよい。さらに、ＣＰＵ１１は、学習モデル評価部２８として、指標を生成する際に、予測精度及び寄与度の少なくとも一方に付与する重み（図５中の「全体の重み」）を受け付けてもよい。

【0045】

次に、ステップＳ１８において、ＣＰＵ１１は、学習モデル評価部２８として、学習モデル評価処理を実行する。具体的には、ＣＰＵ１１は、学習モデル評価部２８の取得部２９として、評価用データセットに含まれる学習モデル毎に、検証用データを用いて予測精度を取得する。また、ＣＰＵ１１は、取得部２９として、学習モデル毎に、検証用データを用いて、特徴量の種類毎の寄与度を取得する。そして、ＣＰＵ１１は、学習モデル評価部２８の生成部３０として、取得部２９で取得された予測精度、及びユーザにより指定された種類の特徴量についての寄与度を用いて、学習モデル毎に、学習モデルを選択するための指標を生成する。なお、特徴量の指定に替えて、寄与度の重みが受け付けられている場合には、ＣＰＵ１１は、生成部３０として、特徴量の種類毎の寄与度に、寄与度の重みを付加して指標を生成する。さらに、全体の重みが受け付けられている場合には、ＣＰＵ１１は、生成部３０として、予測精度及び寄与度の少なくとも一方に全体の重みを付加して指標を生成する。そして、ＣＰＵ１１は、学習モデル評価部２８の選択部３１として、生成部３０により生成された各学習モデルの指標に基づいて、評価用データセット保存部２７に保存された複数の学習モデルから、指標が最も高い学習モデルを選択する。

【0046】

次に、ステップＳ１９において、ＣＰＵ１１が、学習モデル評価部２８として、選択部３１により選択された学習モデル（図５中の「選択学習モデル」）を選択学習モデル保存部３２に保存し、学習モデル選択処理は終了する。

【0047】

なお、ステップＳ１８において、ＣＰＵ１１が取得部２９及び生成部３０として実行する処理が、ＣＰＵ１１が学習モデル選択プログラムに含まれる生成プログラムを実行することにより行われる生成処理の一例である。また、生成処理は、開示の技術の生成方法の一例である。

【0048】

従来は、学習モデルの評価において、予測結果に対する特徴量の種類毎の寄与度の大小や正負等は考慮されていない。そのため、学習モデルを「予測精度」及び「特徴量の種類毎の寄与度」の２つの指標で評価すると明示する場合、適切な学習モデルを選択できない場合がある。例えば、非特許文献１に記載の技術のように、構造や利用する特徴量が異なる複数の学習モデルを予測精度の降順に列挙したとしても、所望の予測精度及び予測の根拠を満たす最適な順に列挙されているとは限らない。これは、従来技術では、予め決められた指標に基づいて推定された予測精度のみを基準としてモデルの候補を挙げているためである。学習データや学習モデルの性質、学習モデルを選択した後に設計したコスト関数等によって、特徴量の種類毎の寄与度は変ってきてしまう。この点が従来技術では考慮されておらず、学習モデルの予測精度が高いことと、モデルの特徴量の寄与度の分布が所望の特徴量の寄与度の分布に近いこととの両方を満たす学習モデルを選択することが困難となっている。そのため、従来技術では、列挙された学習モデルから、人手で最適な学習モデルを探索する作業が必要となる。特に、特徴量の種類が増加すると、候補の学習モデルの数も膨大になり、学習モデル選択の作業自体が困難になる課題がある。

【0049】

一方、第１実施形態に係る学習モデル選択装置は、複数の学習モデルの各々について、学習モデルの予測精度と、ユーザにより指定された少なくとも１種類の特徴量についての寄与度と、から指標を生成する。この指標は、ユーザにより指定された種類の特徴量による寄与及び予測精度の両方が加味されていると言い換えてもよい。そして、学習モデル選択装置は、この指標を用いて、複数種類の特徴量を用いて機械学習された複数の学習モデルの中から所定の学習モデルを選択する。これにより、第１実施形態に係る学習モデル選択装置は、所望の予測精度及び予測の根拠が得られる学習モデルを適切に選択することができる。

【0050】

＜第２実施形態＞
次に第２実施形態について説明する。第２実施形態では、第１実施形態をより具体化した実施形態について説明する。具体的には、ある建物の内部に存在する、ドア等で外部と仕切られた空調利用部において、温度快適性の最適化を目標として、空調制御器の温度設定の最適制御方法の算出を強化学習で行う例である。強化学習エージェントのアクションである空調機の温度設定に応じて温度の変化を予測する環境モデルが、選択対象の学習モデルである。なお、第２実施形態に係る学習モデル選択装置のハードウェア構成は、図３に示す第１実施形態に係る学習モデル選択装置１０のハードウェア構成と同様であるため、説明を省略する。

【0051】

第２実施形態に係る学習モデル選択装置１１０の機能構成について説明する。図６は、学習モデル選択装置１１０の機能構成の一例を示すブロック図である。図６に示すように、学習モデル選択装置１１０は、機能構成として、材料データ収集部１２１と、材料データ保存部１２２と、学習パターン送信部１２３と、評価用データセット作成部１２４と、評価用データセット保存部１２７とを含む。評価用データセット作成部１２４は、さらに検証用データ作成部１２５と、学習モデル作成部１２６とを含む。また、学習モデル選択装置１１０は、学習モデル評価部１２８と、選択学習モデル保存部１３２とを含む。学習モデル評価部１２８は、さらに取得部１２９と、生成部１３０と、選択部１３１とを含む。取得部１２９及び生成部１３０は、開示の技術の生成装置の一例である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された生成プログラムを含む学習モデル選択プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

【0052】

なお、第２実施形態に係る学習モデル選択装置１１０の機能構成と、第１実施形態に係る学習モデル選択装置１０の機能構成とで、符号の末尾２桁が共通する機能構成同士において、共通する内容については、詳細な説明を省略する。

【0053】

材料データ収集部１２１は、空調制御に関する材料データを収集する。例えば、材料データ収集部１２１は、室温、外気温、人流、空調設定値、及びオープンフラグで表されるデータ識別子を備えた材料データの各々を収集する。室温は、空調利用部で計測される温度である。外気温は、屋外で計測される温度である。人流は、空調利用部の中に存在するユニークな人数である。ユニークな人数とは、単位時間当たりに空調利用部に存在する人数であり、単位時間内に空調利用部から出入りした場合でも、同一人物については重複してカウントしない人数（すなわち、延べ人数ではない）である。単位時間は、例えばデータのサンプリング間隔としてよい。空調設定値は、空調利用部に存在する空調機の温度設定値である。オープンフラグは、空調利用部を含む建物に人が出入りできるかどうかを示すフラグである。例えば、建物への出入りが可能な場合を「１」、出入りが不可能な場合を「０」としてよい。

【0054】

材料データのうち、室温は、目的変数として利用される材料データであり、外気温、人流、空調設定値、及びオープンフラグは、説明変数として利用される材料データである。第２実施形態のように、学習モデルの用途が強化学習の環境モデルとしての運用を前提とする場合は、説明変数の中に、強化学習エージェントのアクションに相当するデータそのもの、又はそれを加工したデータを含むことが必要になる。なぜなら、強化学習エージェントのアクションにより環境モデルの出力が変化する必要があるためである。ここでは、空調設定値を利用した説明変数が必須となる。

【0055】

材料データ収集部１２１、例えば、室温、外気温、空調設定値、及びオープンフラグを、ＢＥＭＳ（Ｂｕｉｌｄｉｎｇ ａｎｄ Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）２０１から収集してよい。また、材料データ収集部１２１は、人流を、空調利用部に設置された人流検知センサ２０２から収集してよい。これらの材料データは、全て時系列データである。具体的には、各材料データは、データのサンプリング点の日時をインデックスとし、インデックスと、そのインデックスが示す日時におけるデータ値とが対応付けられた時系列データである。材料データ収集部１２１は、収集した材料データを材料データ保存部１２２に保存する。図７に、材料データ保存部１２２に保存される材料データの一例を示す。

【0056】

学習パターン送信部１２３は、ユーザにより指定された学習パターンセットの入力を受け付け、受け付けた学習パターンセットを、評価用データセット作成部１２４へ送信する。図８に、学習パターンセットの一例を示す。図８の例において、学習パターン（ｐ）は、学習パターンのインデックスである。ここでは、ｐ＝１，２，３である。また、以下では、インデックスがｐ（ｐ＝１，２，３）の学習パターンを「学習パターンｐ」と表記する。また、図８の例では、学習パターン１のベースモデル識別子は、Ｌｉｇｈｔ ＧＢＭ（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｍａｃｈｉｎｅ、参考文献２）である。また、学習パターン２及び３のベースモデル識別子は、ＸＧＢｏｏｓｔ（ｅＸｔｒｅｍｅ Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ、参考文献３）である。学習パターン２と学習パターン３とでは、学習データ構築方法（詳細は後述）に一部相違がある。

【0057】

参考文献２：Ke et al., "LightGBM: A Highly Efficient Gradient Boosting Decision Tree", 2017.
参考文献３：Tianqi Chen, Carlos Guestrin, "XGBoost: A Scalable Tree Boosting System", 2016.

【0058】

ここで、第２実施形態では、材料データが時系列データであり、上述の図７に示すような、複数のカラムを含むテーブルデータとして表現することができる。そのため、テーブルデータの異なるカラム同士の演算、同じカラムの時間差分の取得等により、学習データを構成する特徴量となる新しいカラムを作成可能である。さらに、説明変数の場合、上記のように作成した新しいカラムのインデックスをシフトさせたカラム、すなわち時系列をシフトさせたカラムを、新しいカラムとして作成可能である。以下では、このように時系列をシフトさせたカラムを「系列カラム」という。学習パターンの学習データ構築方法には、この新しいカラムの作成方法が定義される。

【0059】

図８の例では、学習データ構築方法として、特徴識別子Ｆ_ｉ ^ｐ、計算式Ｅ_ｉ ^ｐ、及び系列パラメータＳ１_ｉ ^ｐ、Ｓ２_ｉ ^ｐ、Ｓ３_ｉ ^ｐが定義されている。特徴識別子Ｆ_ｉ ^ｐは、特徴量の種類を示す識別子である。ｉは特徴識別子のインデックスであり、ここでは、ｉ＝０，１，２，３，４，５である。したがって、特徴識別子Ｆ_ｉ ^ｐは、学習パターンｐのｉ番目の種類の特徴量を表す。また、系列カラムの場合、時系列がシフトしているだけで、シフトさせる元となった材料データのカラム又は新たに作成されたカラム、及び系列カラムのそれぞれの特徴量は、本質的には同じ種類の特徴量であるため、同じ特徴識別子Ｆ_ｉ ^ｐを用いる。例えば、あるカラムＡと、カラムＡのデータを３０分後方にシフトして新たに作成したカラムＡ’とは、両方ともＡという同じ特徴識別子を持つ。なお、以下では、系列カラムのそれぞれを区別するために、例えばＦ_ｉ ^ｐ－３０ｍｉｎのように、シフトした時間を示す表記を特徴識別子に付記して表す。なお、ｉ＝０の特徴識別子Ｆ_ｉ ^ｐが示す特徴量を目的変数、ｉ≧１の特徴識別子Ｆ_ｉ ^ｐが示す特徴量を説明変数とする。例えば、図８の１行目の室温階差（Ｆ_０ ^１）は、学習パターン１において、特徴識別子Ｆ_０ ^１で表される特徴量の種類が、目的変数である「室温階差」であることを表している。また、例えば、図８の２行目の室温階差（Ｆ_１ ^１）は、学習パターン１において、特徴識別子Ｆ_１ ^１で表される特徴量の種類が、説明変数である「室温階差」であることを表している。

【0060】

計算式Ｅ_ｉ ^ｐは、材料データから特徴量となる新しいカラムを計算するための式であり、材料データのデータ識別子を用いて規定される。例えば、図８の１行目の計算式は、時刻ｔの室温階差（Ｆ_０ ^１）を計算するための計算式Ｅ_０ ^１であり、Ｅ_０ ^１は、時刻ｔの室温から、時刻ｔの６０分前の室温を減算することを規定している。以下では、時刻ｔの＜データ識別子＞又は＜特徴識別子＞を「＜データ識別子＞又は＜特徴識別子＞（ｔ）」、例えば「室温（ｔ）」、「室温階差（ｔ）」のように表記する。

【0061】

系列パラメータＳ１_ｉ ^ｐ、Ｓ２_ｉ ^ｐ、Ｓ３_ｉ ^ｐは、計算式Ｅ_ｉ ^ｐで作成した新しいカラムＸに対し、そのカラムＸを基に系列カラムを作成するためのパラメータである。Ｓ１_ｉ ^ｐは系列数、Ｓ２_ｉ ^ｐは開始時点、Ｓ３_ｉ ^ｐは終了時点を規定するパラメータである。具体的には、Ｓ２_ｉ ^ｐ～Ｓ３_ｉ ^ｐの区間を等間隔にＳ１_ｉ ^ｐの数だけ分割し、Ｘを各時点にシフトした系列カラムを作成することを表す。特徴識別子Ｆ_０ ^ｐの場合、すなわち目的変数の場合、系列カラムを作成する必要はないため、系列パラメータは規定されない。

【0062】

検証用データ作成部１２５は、材料データ保存部１２２から材料データを取得し、学習パターンに含まれる学習データ構築方法に従って、材料データから学習データを作成する。図８に示す学習パターンセットの例を用いて、学習データ作成の具体例について説明する。検証用データ作成部１２５は、Ｅ_０ ^１＝室温（ｔ）－室温（ｔ－６０ｍｉｎ）により、特徴識別子Ｆ_０ ^１で示される室温階差（ｔ）を計算する。例えば、検証用データ作成部１２５は、［２０２０－０１－０１ ０９：００：００のＦ_０ ^１］＝［２０２０－０１－０１ ０９：００：００の室温］－［２０２０－０１－０１ ０８：００：００の室温］のように計算する。図９に、学習データの目的変数として作成された特徴識別子Ｆ_０ ^１で示される室温階差（ｔ）の一例を示す。

【0063】

また、例えば、検証用データ作成部１２５は、計算式Ｅ_１ ^１と、系列パラメータＳ１_１ ^１／Ｓ２_１ ^１／Ｓ３_１ ^１＝６／－６０ｍｉｎ／－３６０ｍｉｎとを用いて、特徴識別子Ｆ_１ ^１で示される室温階差（ｔ）の系列カラムを計算する。具体的には、検証用データ作成部１２５は、計算式Ｅ_１ ^１＝室温（ｔ）－室温（ｔ－６０ｍｉｎ）で計算されるＦ_１ ^１を、－６０ｍｉｎシフトしたＦ_１ ^１－６０ｍｉｎを、室温（ｔ－６０ｍｉｎ）－室温（ｔ－１２０ｍｉｎ）と計算する。例えば、検証用データ作成部１２５は、［２０２０－０１－０１ ０９：０：００のＦ_１ ^１－６０ｍｉｎ］＝［２０２０－０１－０１ ０８：００：００の室温］－［２０２０－０１－０１ ０７：００：００の室温］と計算する。図１０に、学習データの説明変数として作成された特徴識別子Ｆ_１ ^１～Ｆ_５ ^１の系列カラムの一例を示す。なお、図８の例に従い、図１０におけるＦ_１ ^１は室温階差、Ｆ_２ ^１は外気温、Ｆ_３ ^１は人流階差、Ｆ_４ ^１は空調設定差分、Ｆ_５ ^１はオープンフラグのそれぞれを示す特徴識別子である。

【0064】

また、検証用データ作成部１２５は、学習データの一部を検証用データとして抽出し、残りの学習データを学習モデル作成部１２６へ出力する。例えば、検証用データ作成部１２５は、１か月分の材料データを取得した場合、１か月分の学習データを作成する。そして、検証用データ作成部１２５は、１か月のうち、事前に規定したある１週間分の学習データを検証用データとして抽出する。

【0065】

学習モデル作成部１２６は、学習パターンに含まれるベースモデル識別子が示すモデル構造にハイパーパラメータを設定し、調整するパラメータに初期値を設定した学習モデルに、学習データの説明変数を入力し、出力データを得る。そして、学習モデル作成部１２６は、出力データと目的変数とが近づくようにパラメータを更新することにより、学習モデルの機械学習を実行する。なお、ハイパーパラメータが一意に定まらず、範囲で指定されている場合、学習モデル作成部１２６は、学習モデルの性能が最も良くなるハイパーパラメータを探索しながら、学習モデルを作成してもよい。

【0066】

取得部１２９は、学習パターン毎に、検証用データを用いて、検証用データの説明変数と同じ要素数（説明変数のカラム数×検証用データのインデックス数）のＳＨＡＰ値を絶対値に変換したＳＨＡＰ_ｉ ^ｐを算出する。そして、図１１に示すように、特徴識別子Ｆ_ｉ ^ｐに属する全カラムの検証用データの期間における、各要素のＳＨＡＰ_ｉ ^ｐの平均（ＳＨＡＰ_ｉ ^ｐ）￣（図１１、図１３、及び数式中では、「ＳＨＡＰ_ｉ ^ｐ」の上に「￣（オーバーライン）」）を算出する。取得部１２９は、下記（１）式により、全ての（ＳＨＡＰ_ｉ ^ｐ）￣が０～１００に収まるように、スケール変換したｃ_ｉ ^ｐを算出する。また、取得部１２９は、下記（２）式に示すように、ｃ_ｉ ^ｐを並べた寄与度評価ベクトルｃ^ｐ（数式中では太字で表記）を作成する。すなわち、ｃ_ｉ ^ｐは、特徴識別子Ｆ_ｉ ^ｐをで示される特徴量の種類についての寄与度に相当する。

【0067】

【数1】

【0068】

また、取得部１２９は、ユーザから指定された寄与度重みベクトルＷ１（数式中では太字で表記）を取得する。寄与度重みベクトルＷ１は、例えば図１２に示すように、［ｗ_１ ^ｐ，ｗ_２ ^ｐ，ｗ_３ ^ｐ，ｗ_４ ^ｐ，ｗ_５ ^ｐ］^Ｔ（Ｔは転置を表す）のように、各要素が寄与度評価ベクトルｃ^ｐの各要素に対応した重みを表すベクトルである。寄与度重みベクトルＷ１は、ユーザが事前に作成したものであり、各要素の重みは、学習モデルを選択する際に重視したい度合いに応じた値を設定しておけばよい。例えば、第２実施形態のように、「強化学習の環境モデル構築」という文脈においては、「強化学習エージェントのアクションに関する特徴量」の重みを大きく指定してよい。ここでは、「空調設定値」が該当する。なお、重みとして、０又は１の２値を用いることにより、第１実施形態で説明したような特徴量の指定を実現することができる。取得部１２９は、下記（３）式に示すように、寄与度評価ベクトルｃ^ｐと寄与度重みベクトルＷ１とを乗算して、寄与度評価α^ｐを取得する。

【0069】

【数2】

【0070】

また、取得部１２９は、検証用データを用いて平均２乗誤差ＲＭＳＥ^ｐを算出し、例えば下記（４）式に示すように、ＲＭＳＥ^ｐの逆数を精度評価β^ｐとして取得する。取得部１２９は、取得した寄与度評価α^ｐ及び精度評価β^ｐを生成部１３０へ出力する。

【0071】

【数3】

【0072】

生成部１３０は、取得部１２９から出力された寄与度評価α^ｐ及び精度評価β^ｐを用いて、例えば下記（５）式により、寄与度評価α^ｐと精度評価β^ｐとのスケールを一致させるための、寄与度スケーリング定数Ｋを算出する。

【0073】

【数4】

【0074】

また、生成部１３０は、例えば図１２に示すような全体寄与度重みＷ２を取得する。全体寄与度重みＷ２は、ユーザにより事前に設定された値であり、予測精度を１とした場合に、寄与度をどの程度重視するかに応じた値を設定しておけばよい。生成部１３０は、寄与度評価α^ｐ、精度評価β^ｐ、寄与度スケーリング定数Ｋ、及び全体寄与度重みＷ２を用いて、例えば下記（６）式により、モデル評価関数Ｌ^ｐを生成する。

【0075】

【数5】

【0076】

なお、寄与度スケーリング定数Ｋに替えて、（５）式を逆数にした予測精度スケーリング定数Ｋ’を用いてもよい。この場合、（６）式において、Ｋ’をβ^ｐの項に乗算する。また、全体寄与度重みＷ２に替えて、寄与度を１とした場合に、予測精度をどの程度重視するかに応じた重みである全体予測精度重みＷ２’を用いてもよい。この場合、（６）式において、Ｗ２’をβ^ｐの項に乗算する。

【0077】

図１３に、各学習パターンについて、取得部１２９で算出される（ＳＨＡＰ_ｉ ^ｐ）￣、寄与度評価ベクトルｃ^ｐ、及びＲＭＳＥ^ｐの一例を示す。また、図１４に、各学習パターンについて、取得部１２９で取得される寄与度評価α^ｐ及び精度評価β^ｐ、生成部１３０で算出される寄与度スケーリング定数Ｋ、スケール変換後の寄与度評価α^ｐ×Ｋ、及び生成部１３０で生成されるモデル評価関数Ｌ^ｐの一例を示す。

【0078】

選択部１３１は、評価用データセット保存部１２７に保存された複数の学習モデルから、生成部１３０により生成されたモデル評価関数Ｌ^ｐが最大になる学習モデルを選択する。

【0079】

次に、学習モデル選択装置１１０の作用について説明する。第２実施形態においても、第１実施形態と同様に、ＣＰＵ１１がＲＯＭ１２又はストレージ１４から、生成プログラムを含む学習モデル選択プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、図５に示す学習モデル選択処理が行なわれる。ここでは、図５のステップＳ１４における評価用データ作成処理、及びステップＳ１８における学習モデル評価処理の各々のより詳細な処理について、図１５及び図１６に示すフローチャートを用いて説明する。

【0080】

まず、図１５に示す評価用データセット作成処理について説明する。

【0081】

ステップＳ１０１において、ＣＰＵ１１は、評価用データセット作成部１２４として、学習モデルセット及び検証用データセットを初期化する。具体的には、ＣＰＵ１１は、評価用データセット作成部１２４として、作成された学習モデルを追加するための空集合、及び作成された検証用データを追加するための空集合を用意する。また、ＣＰＵ１１は、評価用データセット作成部１２４として、学習パターンのインデックスを示す変数ｐに１を設定する。

【0082】

次に、ステップＳ１０２において、ＣＰＵ１１は、評価用データセット作成部１２４として、ｐがインデックスの最大値ｐｍａｘ（ここでは、ｐｍａｘ＝３）以下か否かを判定する。ｐ≦ｐｍａｘの場合には、処理はステップＳ１０３へ移行する。

【0083】

ステップＳ１０３では、ＣＰＵ１１は、評価用データセット作成部１２４として、学習データセットを初期化する。具体的には、ＣＰＵ１１は、評価用データセット作成部１２４として、作成された学習データを追加するための空集合を用意する。そして、ＣＰＵ１１は、検証用データ作成部１２５として、特徴識別子のインデックスを示す変数ｉに０を設定する。

【0084】

次に、ステップＳ１０４において、ＣＰＵ１１は、検証用データ作成部１２５として、ｉがインデックスの最大値ｉｍａｘ（ここでは、ｉｍａｘ＝５）以下か否かを判定する。ｉ≦ｉｍａｘの場合には、処理はステップＳ１０５へ移行する。

【0085】

ステップＳ１０５では、ＣＰＵ１１は、検証用データ作成部１２５として、計算式Ｅ_ｉ ^ｐで使用する材料データを材料データ保存部１２２から取得し、取得した材料データに計算式Ｅ_ｉ ^ｐを適用し、新しいカラムＸを作成する。

【0086】

次に、ステップＳ１０６において、ＣＰＵ１１は、検証用データ作成部１２５として、ｉが０か否か、すなわちカラムＸに相当する特徴識別子Ｆ_ｉ ^ｐが示す特徴量が目的変数か否かを判定する。ｉ＝０の場合には、処理はステップＳ１０７へ移行し、ＣＰＵ１１は、検証用データ作成部１２５として、カラムＸを学習データセットに追加する。一方、ｉ≧１の場合には、処理はステップＳ１０８へ移行する。ステップＳ１０８では、ＣＰＵ１１は、検証用データ作成部１２５として、系列パラメータＳ１_ｉ ^ｐ、Ｓ２_ｉ ^ｐ、Ｓ３_ｉ ^ｐを読み込み、Ｓ２_ｉ ^ｐ～Ｓ３_ｉ ^ｐの区間を等間隔にＳ１_ｉ ^ｐの数だけ分割し、Ｘを各時点にシフトした系列カラムを作成する。そして、ＣＰＵ１１は、検証用データ作成部１２５として、作成した系列カラムを学習データセットに追加する。

【0087】

次に、ステップＳ１０９において、ＣＰＵ１１は、検証用データ作成部１２５として、ｉを１インクリメントして、処理はステップＳ１０４に戻る。ステップＳ１０４において、ｉ＞ｉｍａｘと判定されると、処理はステップＳ１１０へ移行する。

【0088】

ステップＳ１１０では、ＣＰＵ１１は、検証用データ作成部１２５として、学習データセットに含まれる一部の学習データを検証用データとして抽出し、検証用データセットに追加する。また、ＣＰＵ１１は、検証用データ作成部１２５として、残りの学習データを学習モデル作成部１２６へ出力する。

【0089】

次に、ステップＳ１１１において、ＣＰＵ１１は、学習モデル作成部１２６として、学習パターンｐのベースモデル識別子で指定されたモデル構造を、ベースモデル識別子からＡＰＩを呼び出す等して取得し、学習パターンｐのハイパーパラメータを設定する。そして、ＣＰＵ１１は、学習モデル作成部１２６として、検証用データ作成部１２５から出力された残りの学習データを利用して、ベースモデル識別子が示すモデル構造にハイパーパラメータが設定された学習モデルの機械学習を実行する。ＣＰＵ１１は、学習モデル作成部１２６として、例えば、グリッドサーチ交差検証で学習モデルを評価しながら、機械学習を実行する。

【0090】

次に、ステップＳ１１２において、ＣＰＵ１１は、学習モデル作成部１２６として、学習モデルセットに、完成した学習モデルを追加する。次に、ステップＳ１１３において、ＣＰＵ１１は、評価用データセット作成部１２４として、ｐを１インクリメントして、処理はステップＳ１０２に戻る。ステップＳ１０２において、ｐ＞ｐｍａｘと判定されると、評価用データセット作成処理は終了する。

【0091】

評価用データセット作成処理により作成された検証用データセット及び学習モデルセットが、評価用データセットとして、評価用データセット保存部１２７に保存される（図５のＳ１７）。

【0092】

次に、図１６に示す学習モデル評価処理について説明する。

【0093】

ステップＳ１２１において、ＣＰＵ１１は、学習モデル評価部１２８として、学習パターンのインデックスを示す変数ｐに１を設定する。次に、ステップＳ１２２において、ＣＰＵ１１は、学習モデル評価部１２８として、ｐがインデックスの最大値ｐｍａｘ（ここでは、ｐｍａｘ＝３）以下か否かを判定する。ｐ≦ｐｍａｘの場合には、処理はステップＳ１２３へ移行する。

【0094】

ステップＳ１２３では、ＣＰＵ１１は、取得部１２９として、学習パターンｐの検証用データを用いて、検証用データの説明変数と同じ要素数のＳＨＡＰ値を絶対値に変換したＳＨＡＰ_ｉ ^ｐを算出する。次に、ステップＳ１２４において、ＣＰＵ１１は、取得部１２９として、特徴識別子のインデックスを示す変数ｉに１を設定する。

【0095】

次に、ステップＳ１２５において、ＣＰＵ１１は、取得部１２９として、ｉがインデックスの最大値ｉｍａｘ（ここでは、ｉｍａｘ＝５）以下か否かを判定する。ｉ≦ｉｍａｘの場合には、処理はステップＳ１２６へ移行する。

【0096】

ステップＳ１２６では、ＣＰＵ１１は、取得部１２９として、特徴識別子Ｆ_ｉ ^ｐに属する全カラムの検証用データの期間における、各要素のＳＨＡＰ_ｉ ^ｐの平均（ＳＨＡＰ_ｉ ^ｐ）￣を算出する。次に、ステップＳ１２７において、ＣＰＵ１１は、取得部１２９として、ｉを１インクリメントして、処理はステップＳ１２５に戻る。ステップＳ１２５において、ｉ＞ｉｍａｘと判定されると、処理はステップＳ１２８へ移行する。

【0097】

ステップＳ１２８では、ＣＰＵ１１は、取得部１２９として、例えば（１）式により、全ての（ＳＨＡＰ_ｉ ^ｐ）￣が０～１００に収まるようにスケール変換したｃ_ｉ ^ｐを算出する。次に、ステップＳ１２９において、ＣＰＵ１１は、取得部１２９として、（２）式に示すように、ｃ_ｉ ^ｐを並べた寄与度評価ベクトルｃ^ｐを作成する。また、ＣＰＵ１１は、取得部１２９として、ユーザから指定された寄与度重みベクトルＷ１を取得し、（３）式に示すように、寄与度評価ベクトルｃ^ｐと寄与度重みベクトルＷ１とを乗算して、寄与度評価α^ｐを取得する。

【0098】

次に、ステップＳ１３０において、ＣＰＵ１１は、取得部１２９として、学習パターンｐの検証用データを用いて平均２乗誤差ＲＭＳＥ^ｐを算出し、例えば（４）式に示すように、ＲＭＳＥ^ｐの逆数を精度評価β^ｐとして取得する。次に、ステップＳ１３１において、ＣＰＵ１１は、学習モデル評価部１２８として、ｐを１インクリメントして、処理はステップＳ１２２に戻る。ステップＳ１２２において、ｐ＞ｐｍａｘと判定されると、処理はステップＳ１３２へ移行する。

【0099】

ステップＳ１３２では、ＣＰＵ１１は、生成部１３０として、取得部１２９により取得された寄与度評価α^ｐ及び精度評価β^ｐを用いて、例えば（５）式により、寄与度評価α^ｐと精度評価β^ｐとのスケールを一致させるための、寄与度スケーリング定数Ｋを算出する。

【0100】

次に、ステップＳ１３３において、ＣＰＵ１１は、生成部１３０として、ユーザにより指定された全体寄与度重みＷ２を取得する。そして、ＣＰＵ１１は、生成部１３０として、学習パターン毎に、寄与度評価α^ｐ、精度評価β^ｐ、寄与度スケーリング定数Ｋ、及び全体寄与度重みＷ２を用いて、例えば（６）式により、モデル評価関数Ｌ^ｐを生成する。そして、ＣＰＵ１１は、選択部１３１として、評価用データセット保存部１２７に保存された複数の学習モデルから、生成部１３０により生成されたモデル評価関数Ｌ^ｐが最大になる学習モデルを選択し、学習モデル評価処理は終了する。

【0101】

学習モデル評価処理により選択された学習モデルは、選択学習モデル保存部１３２に保存される（図５のＳ１９）。

【0102】

以上、説明したように、第２実施形態に係る学習モデル選択装置においても、第１実施形態に係る学習モデル選択装置と同様に、所望の予測精度及び予測の根拠が得られる学習モデルを適切に選択することができる。

【0103】

また、各学習モデルについて算出された特徴量の種類毎の寄与度のスケールは、必ずしも一致しないため、そのまま利用すると学習モデル間の比較を公平に行うことができない。例えば、各学習パターンの（ＳＨＡＰ_ｉ ^ｐ）￣の合計は一致せず、（ＳＨＡＰ_ｉ ^ｐ）￣の合計が大きい学習モデルは、寄与度が不当に大きく評価され易くなる。上記第２実施形態では、特徴量の種類毎の寄与度を、例えば（１）式に示すように、０～１００にスケール変換を行うことで、各学習パターンのｃ^ｐの合計が１００となり、各種類の特徴量について、相対的な寄与度の大きさを公平に評価することができる。

【0104】

また、第２実施形態では、特徴量の種類毎の個別の重みを表す「寄与度重みベクトル」を用いることで、所望の特徴量の寄与度を、評価において重視することができる。例えば、図１２に示すように寄与度重みベクトルＷ１を設計することで、最も重みが大きい４番目の特徴識別子Ｆ_４ ^ｐが示す空調設定値又は空調室温差分を重視することができる。これにより、図１３及び図１４に示すように、特徴識別子Ｆ_４ ^ｐに対応するｃ_４ ^ｐがｃ_ｉ ^ｐの中で最も大きい学習パターン１の寄与度評価α^ｐが最大になっている。

【0105】

また、寄与度と精度とのスケールは必ずしも一致しないため、寄与度評価及び精度評価のどちらかが大き過ぎる又は小さ過ぎる場合がある。例えば、図１４の例では、寄与度評価α^ｐが精度評価β^ｐに比べて全体的に大きい。そのため、仮にＫ＝１でモデル評価関数Ｌ^ｐを生成した場合、寄与度評価が大きくなり過ぎ、ユーザの意図に関わらず、精度評価の違いがモデル評価関数Ｌ^ｐにほとんど影響しなくなってしまう。第２実施形態では、例えば（５）式に示すように、寄与度評価と精度評価とのスケールを一致させるための寄与度スケーリング定数Ｋを算出して寄与度評価α^ｐに乗算することで、図１４に示すように、寄与度評価α^ｐと精度評価β^ｐとのスケールがほぼ同じになり、公平に評価を行うことができる。

【0106】

また、第２実施形態のようにＫを設計することで、ユーザは直感的に全体寄与度重みＷ２を設計することができる。例えば、寄与度評価と精度評価とを同じ程度に重視する場合はＷ２＝１、寄与度評価を重視する場合はＷ２＞１、精度評価を重視する場合はＷ２＜１、のように設計することができる。例えば、第２実施形態では、Ｗ２＝１．５とした例を示しているが、Ｗ２＝０．５にした場合には、精度評価が重視され、図１７に示すように、精度評価β^ｐが最も大きい学習パターン３のモデル評価関数Ｌ^ｐが最も大きくなっている。

【0107】

ここで、第２実施形態と同様の具体例を用いて、Ｗ２の調整方法について説明する。前提として、空調設定値に応じて学習モデルにより予測される室温が変動する挙動が望ましい。また、空調機を起動してから一定時間を経過すると、熱平衡により室温が定常的になる。学習モデルの予測で、その挙動を再現したい。具体的には、１時間早く暖房を起動すると、予測室温も１時間早く立ち上がり、空調機を起動してから４時間経過すると、予測室温が、空調機を１時間早く起動していない場合の室温、すなわち室温真値に収束する挙動である。空調機の起動後、予測室温が室温真値に収束する速さは、空調設定値の寄与度に依存しており、第２実施形態の例では寄与度評価に依存する。空調設定値が想定通りに室温の予測に寄与していることを確認するために、元のデータから空調設定値を１時間前にシフトした場合の予測室温の挙動を観察する。

【0108】

上記の前提の下でのＷ２の調整の手順は、以下のとおりである。まず、図１８に示すように、Ｗ２＝１．０の場合に、モデル評価関数を最大化する学習パターン３を選択した場合の予測結果を図１９に示す。なお、図１９及び後述する図２０において、ｔｅｍｐｅｒａｔｕｒｅは室温真値、ｓｈｉｆｔｅｄ＿ｐｒｅｄｉｃｔは空調設定値を１時間前にシフトした場合の予測室温である。また、ａｉｒ ｃｏｎｔｒｏｌ ｔｅｍｐｅｒａｔｕｒｅは空調設定値又は空調設定値差分、Ｓｈｉｆｔｅｄ ａｉｒ ｃｏｎｔｒｏｌ ｔｅｍｐｅｒａｔｕｒｅは１時間前にシフトした空調設定値又は空調設定値差分である。

【0109】

学習パターン３の学習モデルは最も精度が高いが、７時頃に空調機を起動しても１０時頃には予測室温が室温真値に収束してしまっており（図１９中の破線の丸で囲んだ部分）、理想の挙動とずれている。この場合、学習モデルの予測に対する、空調設定値の寄与度が足りないと考えられるため、Ｗ２＝１．５に増大して、もう一度学習モデルを選択する。

【0110】

図１８に示すように、Ｗ２＝１．５の場合に、モデル評価関数を最大化する学習パターン１を選択した場合の予測結果を図２０に示す。この学習モデルは、精度は学習パターン３の学習モデルに比べてやや低下するが、７時頃に空調機を起動した後、１１時頃に予測室温が室温真値に収束しており（図２０中の破線の丸で囲んだ部分）、理想の挙動に近い。したがって、空調設定値の寄与度は十分と考え、Ｗ２＝１．５で選択された学習モデルを採用する。なお、予測室温が室温真値に収束する時刻が１２時など遅い場合は、寄与度が高過ぎると考え、Ｗ２を低下させて、もう一度学習モデルの選択を行うことになる。

【0111】

＜変形例＞
第２実施形態では、室温や空調設定値等の時系列データと、ＬｉｇｈｔＧＢＭ等の決定木モデルによる回帰問題とを取り扱う場合について説明したが、開示の技術は、他の種類のデータや問題に対しても適用可能である。以下、各変形例について、主に第２実施形態と異なる点を説明する。

【0112】

１つ目の変形例として、深層学習モデル及び株取引の時系列データを用いた、株価予測の回帰問題が挙げられる。この問題では、ある銘柄の株取引に関するデータを基に、将来の「現在価格」を目的変数として回帰する。材料データのデータ識別子としては、「現在価格」、「最高買価」、「最低売価」、「最高売価格数」、「最高買価格数」、「買い注文総数」、「売り注文総数」等が用いられる。ベースモデル識別子は、例えば、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ、参考文献４）、及びＱＲＮＮ（Ｑｕａｓｉ－Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、参考文献５）の２種類から選択する場合が考えられる。ハイパーパラメータは、ベースモデル識別子の層に関する隠れ層ノード数、ステップ数、バッチサイズ、ドロップアウト率、及び層数、全結合層に関するノード数及び総数、活性化関数層に関するノード数及び活性化関数、並びに、最適化関数である。また、銘柄によって取引に関するデータの大小が大きく異なるため、学習データ構築方法の計算式において、全ての特徴識別子に対して正規化処理を追加してもよい。また、評価用データセット作成部において、学習データの説明変数が［データ数×（特徴量数×ステップ数）］の２次元行列になるが、これを［データ数×ステップ数×特徴量数］の３次元行列に変換する処理を加える。

【0113】

また、２つ目の変形例として、機械学習モデル及び会員情報の時系列データを用いた、会員制有料サービス加入状態の分類問題が挙げられる。この問題では、ある会員制有料のサービスについて、顧客の利用履歴等の時系列データを基に、将来の「サービスの加入状態（加入中又は退会済み）」を予測する。材料データのデータ識別子としては、「顧客ＩＤ」、「性別」、「サービス加入日」、「サービス退会日（退会していない人はＮａｎ値）」、「その日のサービス利用時間」、「サービス加入状態」等が用いられる。時系列データのインデックスは、顧客ＩＤが異なる場合は同じインデックスが重複し得る。また、学習データ構築方法において、新しい特徴識別子として、「当月のサービス利用日数」を作成してもよい。この特徴識別子についての計算式は、「顧客ＩＤ」毎にデータを分割した上で、時系列データのインデックスの年月でデータをグルーピングし、「その日のサービス利用時間」が０以上のデータ数を集計するものとしてよい。また、「サービス加入日」の計算式には、年及び月を日に換算する処理を加えてもよい。また、「サービス退会日」のＮａｎ値は－１に変換する処理を加えてもよい。「顧客ＩＤ」及び「性別」はカテゴリ変数のため、これらの計算式では、ラベルエンコーディングを行うように規定してもよい。評価用データセット作成部の系列パラメータを用いた系列カラム作成においては、「顧客ＩＤ」毎にデータを分割してから処理を行う。

【0114】

３つ目の変形例として、機械学習モデル及び住宅の特徴データを用いた、住宅価格の回帰問題が挙げられる。この問題では、住宅の様々な情報から、その住宅の「価格」を回帰する。材料データのデータ識別子としては、「住宅種類（マンション、一軒家等）」、「都道府県」、「市町村」、「最寄り駅までの徒歩分数」、「築年数」、「間取り（１Ｋ、２ＬＤＫ）等」、「専有面積」、「改装の有無」、「価格」等が用いられる。また、学習データ構築方法の計算式において、「住宅種類」、「都道府県」、「市町村」、「間取り」、「改装の有無」等の、文字を含むカテゴリ変数は、ラベルエンコーディングを行うように規定してもよい。この問題での材料データは、時系列データではないため、学習データ構築方法において系列パラメータを規定する必要はなく、系列カラムを作成する処理は行われない。

【0115】

４つ目の変形例として、機械学習モデル及びアヤメの花の特徴データを用いた、アヤメの品種の分類問題が挙げられる。この問題では、アヤメの花の様々な特徴データを基に、その「品種」を分類する。材料データのデータ識別子としては、「がく片の長さ」、「がく片の幅」、「花びらの長さ」、「花びらの幅」、「品種」等が用いられる。ベースモデル識別子は、サポートベクトルマシン（参考文献６）及びロジスティック回帰（参考文献７）の２種類から選択する場合が考えられる。ハイパーパラメータは、サポートベクトルマシンの場合、カーネル種類、正則化方法、評価関数、双対問題を解くか否か、アルゴリズム終了条件、ソフトマージンの厳しさ等である。ロジスティック回帰の場合、正則化方法、正則化の強さ等である。また、学習データ構築方法において、新しい特徴識別子として、計算式（「がく片の長さ」×「がく片の幅」）で計算される「がく片情報」、及び計算式（「花びらの長さ」×「花びらの幅」）で計算される「花びら情報」を追加してもよい。学習データ構築方法の計算式において、「品種」はカテゴリ変数のため、計算式でラベルエンコーディングを行うように規定してもよい。この問題での材料データは、時系列データではないため、学習データ構築方法において系列パラメータを規定する必要はなく、系列カラムを作成する処理は行われない。

【0116】

参考文献４：S. Hochreiter, J. Schmidhuber, "Long short-term memory", Neural Computation 9 (8), pp. 1735-1780, 1997.
参考文献５：J. Bradbury, et al, "Quasi-Recurrent Neural Networks", ICLP, 2016.
参考文献６：Ioannis Tsochantaridis, Thorsten Joachims, Thomas Hofmann, Yasemin Altun, "Large Margin Methods for Structured and Interdependent Output Variables", The Journal of Machine Learning Research 6 (9), pp. 1453-1484, 2005.
参考文献７：D. R. Cox, "The regression analysis of binary sequences (with discussion)", Journal of the Royal Statistical Society, Series B (Methodological), Vol. 20, No. 2, pp. 215-242, 1958.

【0117】

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した学習モデル選択処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習モデル選択処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0118】

また、上記各実施形態では、生成処理プログラムを含む学習モデル選択プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0119】

以上の実施形態に関し、さらに以下の付記を開示する。

【0120】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
複数種類の特徴量を用いて機械学習された複数の学習モデルの各々について、学習モデルによる予測結果の精度と、ユーザにより指定された少なくとも１種類の特徴量の前記予測結果に対する寄与度とを取得し、
前記精度と前記寄与度とから、前記複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する
ように構成されている生成装置。

【0121】

（付記項２）
生成処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記録媒体であって、
前記生成処理は、
複数種類の特徴量を用いて機械学習された複数の学習モデルの各々について、学習モデルによる予測結果の精度と、ユーザにより指定された少なくとも１種類の特徴量の前記予測結果に対する寄与度とを取得し、
前記精度と前記寄与度とから、前記複数の学習モデルの中から所定の学習モデルを選択するための指標を生成する
ことを含む非一時的記録媒体。

【符号の説明】

【0122】

１０、１１０ 学習モデル選択装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入力部
１６ 表示部
１７ 通信Ｉ／Ｆ
１９ バス
２１、１２１ 材料データ収集部
２２、１２２ 材料データ保存部
２３、１２３ 学習パターン送信部
２４、１２４ 評価用データセット作成部
２５、１２５ 検証用データ作成部
２６、１２６ 学習モデル作成部
２７、１２７ 評価用データセット保存部
２８、１２８ 学習モデル評価部
２９、１２９ 取得部
３０、１３０ 生成部
３１、１３１ 選択部
３２、１３２ 選択学習モデル保存部
２０１ ＢＥＭＳ
２０２ 人流検知センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】