特許 7419035 学習モデル管理システム、学習モデル管理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】学習モデル管理システム、学習モデル管理方法、およびプログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240115BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 9

(21)【出願番号】P 2019211869

(22)【出願日】2019-11-22

(65)【公開番号】P2021082229

(43)【公開日】2021-05-27

【審査請求日】2022-11-11

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】白河 祐貴

【審査官】太田 龍一

(56)【参考文献】

【文献】国際公開第２０１６／１５１６１８（ＷＯ，Ａ１）

【文献】特開２０１６－１９１９７３（ＪＰ，Ａ）

【文献】特開２０１９－０８７１０１（ＪＰ，Ａ）

【文献】特表２０２１－５００６５４（ＪＰ，Ａ）

【文献】特開２０１６－０１８３０８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３５８０６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

学習モデルの推定結果の提供先からのフィードバックに基づき、該学習モデルの性能評価を行う学習モデル管理システムであって、
前記性能評価を行うために必要なフィードバックの件数を特定するための情報の入力を受け付ける受付手段と、
前記受付手段により受け付けた入力に対応する件数のフィードバックが集まる前に、該件数よりも少ない件数による性能の仮評価を行う評価手段と、
前記評価手段により複数回、行われた仮評価の結果に基づき前記学習モデルの性能の劣化が検出された場合に、当該性能の劣化に対応する通知を提供する提供手段と、
を有することを特徴とする学習モデル管理システム。

【請求項2】

前記評価手段により複数回、行われた前記仮評価の結果から求めた、前記学習モデルの性能の変化傾向に基づいて、前記学習モデルの性能が劣化しているか否かを判断することを特徴とする請求項１に記載の学習モデル管理システム。

【請求項3】

前記通知は、前記受付手段により受け付けた入力に対応する件数のフィードバックを要求するための通知であることを特徴とする請求項１または２に記載の学習モデル管理システム。

【請求項4】

前記通知は、フィードバックの収集対象としてレコメンドするユーザを、予め定義した１または複数種類のユーザ属性に基づいて特定するための情報を含むことを特徴とする請求項３に記載の学習モデル管理システム。

【請求項5】

前記通知は、予め保存したユーザテーブルから、前記ユーザ属性に基づいて特定したユーザの情報を抜き出すことによって作成した、レコメンドリストを含むことを特徴とする請求項４に記載の学習モデル管理システム。

【請求項6】

前記受付手段により受け付けた入力に対応する件数のフィードバックを用いた性能評価の結果に従い、前記学習モデルに関して再学習が実行される、請求項１～５の何れか１項に記載の学習モデル管理システム。

【請求項7】

前記再学習は、前記フィードバックに含まれる少なくとも一部のデータを、学習データとして用いることで実行されることを特徴とする請求項６に記載の学習モデル管理システム。

【請求項8】

学習モデルの推定結果の提供先からのフィードバックに基づき、該学習モデルの性能評価を行う学習モデル管理システムにおける学習モデル管理方法であって、
前記性能評価を行うために必要なフィードバックの件数を特定するための情報の入力を受け付ける受付工程と、
前記受付工程により受け付けた入力に対応する件数のフィードバックが集まる前に、前記学習モデル管理システムが該件数よりも少ない件数による性能の仮評価を行う評価工程と、
前記評価工程により複数回、行われた仮評価の結果に基づき前記学習モデルの性能の劣化が検出された場合に、前記学習モデル管理システムが当該性能の劣化に対応する通知を提供する提供工程と、
を有することを特徴とする学習モデル管理方法。

【請求項9】

請求項１乃至７の何れか１項に記載の学習モデル管理システムの各手段としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習モデルを管理する技術に関し、より詳細には、学習データが少ない場合の、学習モデルの管理の信頼性を高める技術に関する。

【背景技術】

【0002】

機械学習機能を用いるシステムでは、予め、学習データを用いて学習モデルを調整したあとで、運用を開始する。一般的に、学習モデルは、様々な理由で、運用時間の経過と共に予測精度が劣化していくことが知られている。

【0003】

これに対して、従来より、システムの運用中に学習モデルを定期的に更新することで、予測精度を劣化から回復させ或いは向上させる技術が知られている。例えば、下記特許文献１のシステムでは、所定量の学習データが蓄積されるたびに自動的に予測精度を評価し、その評価結果が基準値を下回っている場合に、学習モデルの再学習を行う。そして、その再学習後の予測精度が、運用中の学習モデルの予測精度を上まわると判断された場合に、その運用中の学習モデルに対する更新処理を行う。特許文献１の学習モデルは、このような評価・学習・更新のサイクル（以下、“継続的学習サイクル”と記す）を実行することで、予測精度の回復・向上を図っている。

【0004】

加えて、特許文献１のシステムは、再学習した学習モデルと運用中の学習モデルとで予測精度を単純に比較して評価するのではなく、運用コストに鑑みた評価を行う技術も提案している。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第６５３１８２１号

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したように、学習モデルは、継続的学習サイクルを実行することで、予測精度を劣化から回復させたり向上させたりできる。ここで、一般的に、学習モデルに対する評価の信頼性は、その評価の際に学習モデルへ入力する学習データの“ばらつき”、“量”、“新しさ”等に依存する。すなわち、学習モデルの評価においては、例えば少量の学習データのみを用いて予測精度の評価を実施しても、信頼性のある評価結果が得られない可能性が高く、そのため、多くのシステムでは、学習データが一定量に満たない場合は評価を実施しない。したがって、学習データの流入頻度（収集頻度）が少ないシステムでは、継続的学習サイクルの実行頻度が少なく、その結果、予測精度が劣化した状態であるにもかかわらずそのまま運用を続けなければならなくなる場合も多い。

【0007】

このため、継続的学習サイクルを充分な頻度で実行して必要な予測精度を維持するためには、学習データ（すなわちユーザからのフィードバックデータ）を、継続的に収集し続ける必要がある。しかしながら、常時継続してフィードバックデータを積極的に収集するよう運用することは、システムリソースなど、運用コストを増大させる原因となる。

【0008】

本発明は、上記課題を解決するためになされたものであり、従来の継続的学習サイクル改良するための仕組みを提供する。

【課題を解決するための手段】

【0009】

本発明の一実施形態に係る学習モデル管理システムは、学習モデルの推定結果の提供先からのフィードバックに基づき、該学習モデルの性能評価を行うシステムであって、前記性能評価を行うために必要なフィードバックの件数を特定するための情報の入力を受け付ける受付手段と、前記受付手段により受け付けた入力に対応する件数のフィードバックが集まる前に、該件数よりも少ない件数による性能の仮評価を行う評価手段と、前記評価手段により複数回、行われた仮評価の結果に基づき前記学習モデルの性能の劣化が検出された場合に、当該性能の劣化に対応する通知を提供する提供手段と、を有することを特徴とする。

【発明の効果】

【0010】

本発明によれば、従来の継続的学習サイクル改良するための仕組みを提供することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の各実施形態に係るネットワーク構成を示す概念図である。

【図2】各実施形態に係るハードウエア構成を示すブロック図である。

【図3】（Ａ）～（Ｄ）ともに、本発明の各実施形態に係るソフトウェア構成を示すブロック図である。

【図4】各実施形態における、学習モデルの予測精度とフィードバックデータ数の関係を示すグラフである。

【図5】各実施形態に係るモデル管理システムで継続的学習サイクルを設定する画面を示す概念図である。

【図6】各実施形態に係る学習モデルが劣化したときの予測精度と試行回数との関係を示すグラフである。

【図7】各実施形態に係る継続的学習サイクルを説明するためのフローチャートである。

【図8】実施形態２に係るレコメンド機能を説明するための図であり、設定画面の概念図である。

【図9】実施形態２に係るレコメンド機能を説明するための図であり、レコメンド結果を示す表である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を用いて説明する。
［実施形態１］
＜ネットワーク構成＞

【0013】

図１は、実施形態１に係るネットワーク構成の一例を示す図である。
図１に示したように、本実施形態のシステムは、学習モデル管理システム１０１と、予測システム１０２、業務システム１０３、端末１０４とを含む。これらシステム１０１－１０３および端末１０４は、ネットワーク１０５を介して相互に接続されている。

【0014】

学習モデル管理システム１０１は、継続的学習サイクルを実行するための機能を提供する。すなわち、学習モデル管理システム１０１は、学習モデルの評価・学習・更新を実行する機能を備えており、また、それらを実行するために複数種類のデータ格納部（後述）を備えている。

【0015】

予測システム１０２は、運用中学習モデル（後述）に基づき、任意の事象に対して、予測機能を提供するシステムである。
業務システム１０３は、業務に関する要求を端末１０４から受信し、これ処理して、応答を返送する、フロントエンドとしての機能を提供する。

【0016】

端末１０４は、ユーザが所望の処理を実行するための情報処理端末である。
ネットワーク１０５は、例えば、インターネット等のＬＡＮ、ＷＡＮ、電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、ケーブルテレビ回線、データ放送用無線回線等のいずれかまたは組み合わせにより実現される、通信ネットワークである。

【0017】

なお、本実施形態に代えて、業務システム１０３と予測システム１０２とを一体化した構成を採用してもよいし、学習モデル管理システム１０１、予測システム１０２および業務システム１０３を一体化した構成を採用してもよい。

【0018】

＜ハードウェア構成＞
図２は、本実施形態で使用する学習モデル管理システム１０１の、バードウェア構成の例を概略的に示すブロック図である。なお、予測システム１０２、業務システム１０３および端末１０４のハードウェア構成も同様でよいので、説明を省略する。

【0019】

図２において、ＣＰＵ２０１（Central Processing Unit）は、例えばオペレーティングシステム上で各種アプリケーションプログラムを動作させることで、学習モデル管理システム１０１の全体を制御して各種処理を実行する。

【0020】

ＲＡＭ（Random Access Memory）２０２は、ＣＰＵ２０１の作業領域等として使用される。
ＲＯＭ（Read Only Memory）２０３は、ブートプログラムを格納する。このブートプログラムを用いて、ＣＰＵ２０１は、オペレーティングシステムを起動する。

【0021】

キーボードコントローラ２０４は、キーボード２０８や図示しないポインティングデバイス（マウス、タッチパッド、タッチパネル、トラックボールなど）からの操作入力を受け付ける。

【0022】

ディスプレイコントローラ２０５は、ディスプレイ２０９の表示を制御する。
ディスクコントローラ２０６は、各種データを記憶するハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶装置２１０へのデータアクセスを制御する。

【0023】

ネットワークインターフェース２０７は、ＬＡＮなどのネットワークに接続されて、ネットワークに接続された他の機器と通信する。
内部バス２１１は、ＣＰＵ２０１を、ＲＡＭ２０２、ＲＯＭ２０３、各種コントローラ２０４～２０６やネットワークＩ／Ｆ２０７と接続する。
＜システム構成＞

【0024】

図３は、本実施形態に係るソフトウェア構成の一例を概略的に示すブロック図である。以下、図３を用いて、学習モデル管理システム１０１、予測システム１０２、業務システム１０３および端末１０４のシステム構成を説明し、その後で、具体的なデータと処理について説明する。

【0025】

図３（Ａ）は、学習モデル管理システム１０１のソフトウェア構成例を示す。
上述のように、学習モデル管理システム１０１は、継続的学習サイクルを実行するための機能を提供する。

【0026】

通信部３１１は、ネットワークＩ／Ｆ２０７を介して予測システム１０２や業務システム１０３、端末１０４などの外部の機器と通信するための、ソフトウェアモジュールである。

【0027】

Ｗｅｂアプリケーション管理部３１２は、端末１０４のＷｅｂブラウザ３４０（後述）からの要求に応じて、ＨＴＭＬやＪａｖａＳｃｒｉｐｔ（登録商標）などのＷｅｂコンテンツから成るＷｅｂアプリケーションを提供するソフトウェアである。また、Ｗｅｂアプリケーション管理部３１２は、Ｗｅｂアプリケーション動作させるためのＷｅｂＡＰＩも提供しており、業務システム１０３や端末１０４との間でデータを送受信する。

【0028】

ユーザ情報格納部３１３は、業務システム１０３などから入力されたユーザ情報を格納してデータベース化するソフトウェアである。データの格納には、記憶装置２１０が使用される。

【0029】

フィードバックデータ格納部３１４は、業務システム１０３や端末１０４などから入力されたフィードバックデータを、学習データとして格納してデータベース化するソフトウェアである。データの格納には、記憶装置２１０が使用される。本実施形態では、フィードバックデータ格納部３１４に格納されるフィードバックデータが、ユーザから収集したデータであることを想定している。
ユーザ情報格納部３１３およびフィードバックデータ格納部３１４に格納されるデータの例は後述する。

【0030】

学習モデル評価部３１５は、学習モデルの評価を実施するソフトウェアモジュールである。学習モデル評価部３１５が学習モデルを評価する際には、フィードバックデータ格納部３１４に格納されているフィードバックデータを、学習データとして使用する。

【0031】

学習モデル学習部３１６は、学習モデルを学習させて、新しい学習モデルを作成するソフトウェアモジュールである。学習モデル学習部３１６は、新しい学習モデルを作成する際に、学習データとして、フィードバックデータ格納部３１４に格納されているフィードバックデータを使用する。
学習モデル評価部３１５および学習モデル学習部３１６の動作の詳細に関しては、後述する。

【0032】

学習モデル更新指示部３１７は、予測システム１０２で運用中の学習モデル３２２を、学習モデル学習部３１６で作成した新しい学習モデルに更新するか否かの判断を行うソフトウェアモジュールである。更新すると判断した場合、学習モデル更新指示部３１７は、予測システム１０２の学習モデル更新部３２３に更新指示を送る。

【0033】

継続的学習サイクル実行部３１８は、学習モデル評価部３１５、学習モデル学習部３１６および学習モデル更新指示部３１７を制御する。この制御により、学習モデル評価部３１５、学習モデル学習部３１６および学習モデル更新指示部３１７は、継続的学習サイクル、すなわち運用中の学習モデル３２２に対する評価・学習・更新の繰り返しを実行する。継続的学習サイクル実行部３１８の具体的な処理については、後述する。

【0034】

フィードバックデータ収集通知部３１９は、フィードバックデータの収集が必要であると判断された場合に、電子メール等の手段で予め登録された宛先に通知する、ソフトウェアモジュールである。フィードバックデータ収集通知部３１９の処理内容については、後述する。

【0035】

図３（Ｂ）は、予測システム１０２のソフトウェアの構成例を示す。
上述したように、予測システム１０２は、運用中学習モデル３２２（後述）を用いて、所望の事象に対して、予測機能を提供する。

【0036】

通信部３２１は、ネットワークＩ／Ｆ２０７を介して、学習モデル管理システム１０１や業務システム１０３、端末１０４などの外部機器と通信するための、ソフトウェアモジュールである。

【0037】

運用中学習モデル３２２は、本運用されている学習モデルである。学習モデルとは、入力されたデータに対して予測結果を出力するソフトウェアモジュールである。運用中学習モデル３２２の動作については、学習モデル評価部３１５および学習モデル学習部３１６の動作とともに、後述する。

【0038】

学習モデル更新部３２３は、学習モデル管理システム１０１などの外部システムから通信部３２１を介して受信した指示に応答して、運用中学習モデル３２２を更新するための、ソフトウェアモジュールである。

【0039】

図３（Ｃ）は、業務システム１０３のソフトウェアの構成例を示す。
上述したように、業務システム１０３は、業務に関する要求を端末１０４から受信し、これ処理して、応答を返送する。なお、通常の業務システムは、業務の内容に応じて様々な機能を備えているが、ここでは、業務システム１０３について、本実施形態の特徴を理解するために必要な最低限の説明のみを行う。

【0040】

通信部３３１は、ネットワークＩ／Ｆ２０７を介して、学習モデル管理システム１０１や予測システム１０２、端末１０４などの外部機器と通信するための、ソフトウェアモジュールである。

【0041】

Ｗｅｂアプリケーション管理部３３２は、端末１０４のＷｅｂブラウザ３４０（後述）からの要求に応じて、ＨＴＭＬやＪａｖａＳｃｒｉｐｔなどのＷｅｂコンテンツから成るＷｅｂアプリケーションを提供するソフトウェアである。具体的には、Ｗｅｂアプリケーション管理部３３２は、Ｗｅｂブラウザ３４０に、業務アプリケーションを提供する。そして、Ｗｅｂブラウザ３４０を介して業務アプリケーションへ入力されたデータを処理するとともに、必要に応じて学習モデル管理システム１０１や予測システム１０２と通信する。例えば、端末１０４のユーザが、Ｗｅｂブラウザ３４０上の業務アプリケーションを用いて、ある事象に対する予測を要求した場合、Ｗｅｂアプリケーション管理部３３２は、予測システム１０２に対して、その予測の結果を要求する。また、端末１０４のユーザが、Ｗｅｂブラウザ３４０上の業務アプリケーションへ、ユーザ情報やフィードバックデータを入力した場合、Ｗｅｂアプリケーション管理部３３２は、入力されたデータを、学習モデル管理システム１０１へ転送する。

【0042】

図３（Ｄ）は、端末１０４のソフトウェアの構成例を示す。
Ｗｅｂブラウザ３４０は、通信部３４１、スクリプト実行部３４２および表示部３４３を備える。

【0043】

通信部３４１は、ネットワークＩ／Ｆ２０７を介して、学習モデル管理システム１０１および業務システム１０３のＷｅｂアプリケーション管理部３１２、３３２から、Ｗｅｂアプリケーションを取得するためのソフトウェアモジュールである。

【0044】

スクリプト実行部３４２は、通信部３４１が取得したＷｅｂアプリケーションに含まれる、ＪａｖａＳｃｒｉｐｔなどを解析・実行するソフトウェアモジュールである。
表示部３４３は、スクリプト実行部３４２がＨＴＭＬやＣＳＳ、ＪａｖａＳｃｒｉｐｔを実行することで生成される、ユーザインタフェースを表示するソフトウェアモジュールである。

【0045】

なお、本実施形態では、ユーザ情報やフィードバックデータを学習モデル管理システム１０１の格納部に格納しているが、それらのデータを業務システム１０３内のデータベース等に格納して学習モデル管理システム１０１が必要に応じて取得する構成でもよい。また、端末１０４がシステム１０１、１０３と通信するためのクライアントアプリケーションとしてＷｅｂアプリケーションを用いているが、ネイティブアプリケーションを用いてもよい。

【0046】

次に、学習モデル管理システム１０１の学習モデル評価部３１５、学習モデル学習部３１６および運用中学習モデル３２２の動作について説明する。

【0047】

本実施形態では、ユーザに適合する不動産物件を勧めるための、簡易的なシステムを例にとって説明する。運用中学習モデル３２２は、性別や年齢、家族構成、年収、希望地域などの入力データに基づいて、お勧めの物件を出力（推定）する学習モデルとする。この入力データとしては、ユーザ情報格納部３１３に格納されたユーザ情報を用いる。ユーザ情報のデータの例を、表１に示す。
表１のユーザの情報は、例えば、本システムを利用しているユーザ（サービス利用者や顧客など）または管理者（サービス提供者や営業担当者など）によって登録される。

【0048】

【表1】

【0049】

次に、学習モデル学習部３１６が、運用中学習モデル３２２として使用する学習モデルを学習する方法について説明する。
表２は、学習データ、すなわちユーザからのフィードバックデータの例を示している。これらのデータは、フィードバックデータ格納部３１４に格納される。

【0050】

【表2】

【0051】

学習データとは、学習モデルを学習する際に使用する入力データと教師データ（正解データ）との組み合わせである。表２に示した各項目のうち、入力データは、“物件ＩＤ”、“性別”、“年齢”、“家族構成”および“年収”であり、また、教師データは、“結果”である。ここで、“物件ＩＤ”は、各物件を特定するＩＤであり、それぞれの“希望地域”（表１参照）に対応する物件の集合を意味している。

【0052】

学習モデル学習部３１６は、表２のフィードバックデータを用いて、“教師あり学習”を用いたパターン認識モデルの一つである、ＳＶＭ（Support Vector Machine）に基づく学習を行う。ここで、ＳＶＭは、あくまで一例であり、その他の手法、例えば二項分類を行うアルゴリズムを用いる方法や、ニューラルネットワークを用いる方法など、様々な機械学習アルゴリズムを適用することが可能である。

【0053】

表２のフィードバックデータは、本実施形態のシステムを利用するユーザがアンケート等の手段を通して入力してもよいし、管理者がユーザからのヒアリング等に基づいて入力してもよい。表２のフィードバックデータは、１ユーザにつき０件以上存在するものとする。
最後に、学習モデル評価部３１５が、運用中学習モデル３２２を評価する方法について、説明する。

【0054】

学習モデル評価部３１５は、表２のフィードバックデータを用いて運用中学習モデル３２２にお勧めの物件を出力（推定）させ、その時の正解率（accuracy）を予測精度として算出することで、この運用中学習モデル３２２を評価する。このとき、信頼性のある予測精度を得るためには、表２のフィードバックデータのうち、学習モデルの学習時に使用したフィードバックデータとは異なるものを、評価用のフィードバックデータとして使用することが望ましい。

【0055】

なお、本実施形態では、予測精度の指標として正解率（accuracy）を用いたが、学習モデルの特性に応じて、例えば適合率（precision）や再現率（recall）など、他の指標を用いることもできる。

【0056】

このように、本実施形態では、学習モデル評価部３１５が、予測システム１０２内に形成した運用中学習モデル３２２に対して推定を行わせる。但し、予測システム１０２の負荷を低減するために、同一の学習モデルを学習モデル管理システム１０１に配備し、その学習モデルに対してを行わせることにしてもよい。

【0057】

上述のように、学習モデルの予測精度に対する信頼性を充分に高くするためには、その学習モデルの入力パラメータ数に対して充分な量の学習データを用いて評価することが望まれる。

【0058】

図４は、運用中学習モデル３２２の、予測精度とフィードバックデータ数との関係を示すグラフである。
図４において、実線４０１は、学習モデルの予測精度の時間的変化を表しており、また、点線４０２は、フィードバックデータ数（蓄積数）の時間的変化を表している。

【0059】

実線４０１が示すように、一般に、学習モデルの予測精度は、運用時間に応じて低下する。一方、点線４０２が示すように、フィードバック数は、運用時間に応じて増加する。そして、フィードバックデータ数が所定数を超えると、継続的学習サイクル実行部３１８が継続的学習サイクル（評価・学習・更新）を実行するので、予測精度が上昇する。図４の例では、８ヶ月目にフィードバックデータが所定数（この例では１０００件）を超えたので、継続的学習サイクル実行部３１８が継続的学習サイクルを実行し、その結果、９ヶ月目の予測精度が上昇している。また、継続的学習サイクルの実行に伴い、フィードバックデータを廃棄する。その後、学習モデル管理システム１０１のフィードバックデータ格納部３１４へ、新しいフィードバックデータが逐次蓄積される。更新実行後にフィードバックデータを廃棄するのは、最新のフィードバックデータを使用するためである。

【0060】

このように、図４の学習モデルでは、評価が実行される条件は、フィードバックデータ数が１０００を超えることである。その一方で、フィードバックデータ数が１０００以下であるために継続的学習サイクルが実行されない期間（０～８ヶ月目）は、学習モデルの予測精度が劣化し続ける可能性がある。しかも、この間に、実際に学習モデルの評価が実行されているわけではないため、このシステムの管理者は、学習モデルの予測精度劣化の程度に気付くことが難しい。
仮に学習モデルの予測精度の劣化に気付いたとしても、学習データが不十分の可能性もある。再学習のための学習データには、フィードバックデータの少なくとも一部とそれらに対応する入力パラメータが用いられるためである。前述した継続的学習サイクルが実行されない期間は、フィードバックデータの絶対数が少ないため、そのままでは再学習を実行することができない。したがって、学習モデルを更新、置換することにより、予測精度を向上させることが困難である。

【0061】

以上の説明からわかるように、学習モデルの予測精度が劣化する速さに対して、フィードバックデータ数が増加する速さが小さい場合、継続的学習サイクルが実行される時間間隔が長くなる。そのため、学習モデルは、予測精度が劣化した状態で運用されてしまうおそれがある。

【0062】

これに対して、本実施形態では、以下の仕組みにより、フィードバックデータ数の増加が少ないために継続的学習サイクルが実行される時間間隔が長い場合でも、学習モデルの予測精度を充分高い状態に維持できる。

【0063】

以下、本実施形態に係る学習モデルについて、図５および図６を用いて説明する。
図５は、本実施形態に係る継続的学習サイクルのパラメータ設定を行う画面を示す概念図である。

【0064】

図５の画面５０１は、学習モデル管理システム１０１のＷｅｂアプリケーション管理部３１２から端末１０４へ提供されたウエブアプリケーションに基づいて、Ｗｅｂブラウザ３４０が、表示部３４３へ表示させる。

【0065】

本実施形態では、この画面５０１の操作は、運用中学習モデル３２２の管理者によって行われることとする。
図５からわかるように、画面５０１により、“評価条件”、“学習条件”および“モデルの更新条件”に関する設定が行われる。

【0066】

“評価条件”の設定において、ラジオボタン５１１は、学習モデル評価部３１５に運用中学習モデル３２２の評価を自動的に実行させるか否か、すなわち、継続的学習サイクルを自動的に実行するか否かを選択するための設定ボタンである。ラジオボタン５１１で、“自動的に評価する”を選択した場合は、プルダウンメニュー５１２以降の設定を行う。一方、ラジオボタン５１１で、“自動的に評価しない”を選択した場合は、プルダウンメニュー５１２以降の設定は行わない。

【0067】

なお、運用中学習モデル３２２の予測精度を向上させるためには、ラジオボタン５１１で、常に“自動的に評価する”を選択しておくことが望ましい。しかし、学習モデル管理システム１０１のコンピュータリソースの制限や、本実施形態のシステムが従量課金制のＳａａＳとして提供される場合などに鑑みて、本実施形態のＵＩでは、“自動的に評価しない”を選択できるようにした。同様の理由により、本実施形態のＵＩは、最適化されていない設定項目を他にも含んでおり、全ての設定項目が本発明に必要ななわけではない。

【0068】

プルダウンメニュー５１２は、学習モデル評価部３１５が運用中学習モデル３２２を評価する頻度を設定するための設定ボタンである。
テキストボックス５１３は、学習モデル評価部３１５が運用中学習モデル３２２を評価するために必要なフィードバックデータ数（以下、“最小フィードバック数”と記す）を設定するために使用される。

【0069】

すなわち、継続的学習サイクル実行部３１８は、評価に使用可能なフィードバックデータの数が最小フィードバック数を超えるたびに、学習モデル評価部３１５に、運用中学習モデル３２２の評価を行わせる。一方、継続的学習サイクル実行部３１８は、評価に使用可能なフィードバックデータの数が最小フィードバックデータ数を満たさないときは、信頼性のある評価結果を得られないと判断して、運用中学習モデル３２２の評価を実行しない。

【0070】

プルダウンメニュー５１４は、学習モデル評価部３１５が評価を実行する際に使用するフィードバックデータの、ソースを選択するための設定ボタンである。本実施形態では、表２のテーブルが選択される。

【0071】

ラジオボタン５１５は、本実施形態の特徴である“仮評価”を、継続的学習サイクル実行部３１８が学習モデル評価部３１５に実行させるか否かを指定するための、設定ボタンである。

【0072】

テキストボックス５１６は、予測精度劣化判定回数を設定するために使用される。後述するように、継続的学習サイクル実行部３１８は、“仮評価”がなされた回数が予測精度劣化判定回数に達した場合に、運用中学習モデル３２２の予測精度が劣化しているか否かを判断する。

【0073】

テキストボックス５１７は、上述のようにして“運用中学習モデル３２２の予測精度が劣化している可能性がある”と判断された場合に、その旨を通知する宛先を指定するために使用される。後述するように、継続的学習サイクル実行部３１８の制御により、フィードバックデータ収集通知部３１９が、テキストボックス５１７で指定された宛先へ、フィードバックデータを収集する必要があるとの通知を行う。本実施形態では、このテキストボックス５１７で、運用中学習モデル３２２の管理者の宛先を指定する。
以上の“評価条件”の設定については、図６を用いて詳細に後述する。

【0074】

“学習条件”の設定において、ラジオボタン５２１は、ラジオボタン５１１で“自動的に評価する”が選択された場合に、この選択に付随する設定を行うために使用する。具体的には、このラジオボタン５２１により、運用中学習モデル３２２を評価した後の再学習について、“評価実行後常に学習する”、“予測精度が閾値を下回った場合に学習する”または“自動的に学習しない”のいずれかが選択される。

【0075】

テキストボックス５２２は、ラジオボタン５２１で“予測精度が閾値を下回った場合に学習する”が選択された場合に、その閾値を指定するためのテキストボックスである。

【0076】

“モデルの更新条件”の設定において、ラジオボタン５３１は、ラジオボタン５１１、５２１で評価および学習の両方を自動的に行うよう設定した場合に、この選択に付随する選択を行うために使用される。すなわち、ラジオボタン５１１で“自動的に評価する”が選択され、且つ、ラジオボタン５２１で“評価実行後に常に学習する”または“予測精度が閾値を下回った場合に学習する”が選択された場合に、ラジオボタン５３１の設定が有効になる。ラジオボタン５３１で“予測精度が向上した場合に自動的に更新する”が選択された場合、継続的学習サイクル実行部３１８は、再学習で得られた学習モデルを学習モデル評価部３１５に評価させる。そして、その予測精度が運用中学習モデル３２２の予測精度より高い場合、継続的学習サイクル実行部３１８は、運用中学習モデル３２２の更新を学習モデル更新指示部３１７に行わせる。一方、ラジオボタン５３１で“自動的に更新しない”が選択された場合は、運用中学習モデル３２２は自動では行われない。

【0077】

保存ボタン５４１は、画面５０１での設定内容を保存するために使用される。
キャンセルボタン５４２は、画面５０１での設定内容を破棄するために使用される。

【0078】

図６は、運用中学習モデル３２２に対する仮評価について説明するためのグラフであり、試行回数と仮評価結果（予測精度）の相関を示している。以下、図６を参照して、本実施形態に係る仮評価処理、すなわち、継続的学習サイクル実行部３１８に、仮評価の結果を用いて、運用中学習モデル３２２の予測精度が劣化している可能性があるか否かを判断させる方法について、説明する。

【0079】

ここで、仮評価は、評価に使用可能なフィードバックデータの数が、テキストボックス５１３で設定した最小フィードバックデータ数には達していないが、仮評価用に定めた所定数には達している場合に、実行される。

【0080】

仮評価の評価方法は、通常の評価方法と比較して、継続的学習サイクル実行部３１８が継続的学習サイクルを実行することにより行われる点では一致するが、評価後の処理が異なる。以下の説明では、これら２種類の評価方法を区別するために、最小フィードバックデータ数（上述）を満たす場合に実行される評価処理を“本評価”と呼び、最小フィードバックデータ数を満たさなかった場合に実行される評価処理を“仮評価”と記す。これら本評価および仮評価は、継続的学習サイクル実行部３１８からの命令に基づき、学習モデル評価部３１５によって実行される。

【0081】

仮評価は、学習モデル評価部３１５が、フィードバックデータの数が最小フィードバックデータ数に満たない状態で実行されるため、信頼性のある評価結果は得られない。しかしながら、学習モデル評価部３１５が仮評価を複数回繰り返すことで、運用中学習モデル３２２の予測精度の変化傾向を把握することはできる。図６にプロットされた点５５１は、それぞれ、運用中学習モデル３２２に対する仮評価によって算出された、“予測精度”である。

【0082】

継続的学習サイクル実行部３１８は、仮評価を、テキストボックス５１６で指定した回数（本実施形態では１０回）だけ実行する。そして、これらの仮評価結果（予測精度）の相関係数を算出する。算出された相関係数が強い負の相関（例えば、－０．７以下）を示している場合、継続的学習サイクル実行部３１８は、本評価を行う必要があると判断する。上述のように、本評価行うためには、最小フィードバックデータ数以上のフィードバックデータを収集する必要がある。このため、継続的学習サイクル実行部３１８は、フィードバックデータ収集通知部３１９に対して、フィードバックデータを収集すべきであるとの通知をテキストボックス５１７に指定された宛先へ行うように、命令する（後述）。

【0083】

図７は、継続的学習サイクル実行部３１８による継続的学習サイクルを説明するためのフローチャートである。継続的学習サイクル実行部３１８の処理手順は、継続的学習サイクルに関する設定内容（図５参照）に応じて異なるが、ここでは、画面５０１に示した各設定と一致する場合について説明する。

【0084】

まず、ステップＳ６１１で、継続的学習サイクル実行部３１８は、プルダウンメニュー５１４で指定したソースをチェックする。そして、継続的学習サイクル実行部３１８は、評価に使用可能なフィードバックデータの数を、閾値（テキストボックス５１３で指定された最小フィードバックデータ数、以下“第１の最小フィードバックデータ数”と記す）と比較する。その比較の結果、評価に使用可能なフィードバックデータの数が第１の最小フィードバックデータ数を超えている場合は、処理はステップＳ６１２へ進み、“本評価”に係る処理が実行される。一方、評価に使用可能なフィードバックデータの数が第１の最小フィードバックデータ数以下である場合、処理はステップＳ６１７へ進み、“仮評価”に係る処理が実行される。

【0085】

ステップＳ６１２では、継続的学習サイクル実行部３１８が、学習モデル評価部３１５に、運用中学習モデル３２２の本評価を実行させる。この本評価には、プルダウンメニュー５１４で指定したソースに対応する、フィードバックデータが使用される。

【0086】

続いて、ステップＳ６１３で、継続的学習サイクル実行部３１８は、ステップＳ６１２での評価結果である“予測精度”を、テキストボックス５２２で指定した閾値と比較する。そして、予測精度が閾値以上である場合は、処理を終了する。その結果、運用中学習モデル３２２は、更新されることなく、運用を続ける。

【0087】

一方、ステップＳ６１３で、予測精度が閾値を下回っていると判断された場合、処理はステップＳ６１４へ進む。ステップＳ６１４では、継続的学習サイクル実行部３１８が、学習モデル学習部３１６に、学習モデルの再学習（新しい学習モデルの作成）を実行させる。この再学習では、プルダウンメニュー５１４で指定したソースのフィードバックデータが使用される。

【0088】

さらに、継続的学習サイクル実行部３１８は、学習モデル評価部３１５に、このステップＳ６１４で作成した新しい学習モデルの本評価を実行させる。上述したように、学習モデルの学習に使用したフィードバックデータをその学習モデルの評価でも使用すると、信頼性のある評価結果を得ることが困難となる。このため、ステップＳ６１４でも、学習と本評価とは、相互に異なるフィードバックデータを使用して行う。

【0089】

次に、ステップＳ６１５で、継続的学習サイクル実行部３１８は、ステップＳ６１４で評価した新しい学習モデルの予測精度を、ステップＳ６１２で評価した運用中学習モデル３２２の予測精度と比較する。そして、新しい学習モデルの予測精度が運用中学習モデル３２２の予測精度を上回っている場合、処理はステップＳ６１６に進み、上回っていない場合、処理は終了する。

【0090】

なお、継続的学習サイクル実行部３１８が、ステップＳ６１５で“上回っていない”と判断した場合に、ステップＳ６１４に戻り、学習に使用するデータと評価に使用するデータの割合を変更して、再学習および評価を再度実行しても良い。そして、ステップＳ６１５で“上回っている”と判断されるまで、または、再学習および評価の実行回数が所定の上限に達するまで、再学習および評価を繰り返すことにより、予測精度の高い学習モデルが作成される可能性を高めることができる。

【0091】

ステップＳ６１６では、継続的学習サイクル実行部３１８が、学習モデル更新指示部３１７に、運用中学習モデル３２２の更新を指示する。この指示を受けると、学習モデル更新指示部３１７は、学習モデル更新部３２３に指示して、運用中学習モデル３２２を、ステップＳ６１４で作成した新しい学習モデルに更新（デプロイ）させる。

【0092】

上述のように、ステップＳ６１１で、評価に使用可能なフィードバックデータの数が第１の最小フィードバックデータ数以下であると判断された場合には、処理はステップＳ６１７へ進み、“仮評価”に係る処理が実行される。

【0093】

ステップＳ６１７で、継続的学習サイクル実行部３１８は、プルダウンメニュー５１４で指定したソースをチェックし、仮評価に使用可能なフィードバックデータの数を、所定の閾値（以下、“第２の最小フィードバックデータ数”と記す）と比較する。この比較の結果、仮評価に使用可能なフィードバックデータの数が第２の最小フィードバックデータ数を超えている場合は、処理はステップＳ６１８へ進み、超えていない場合は処理は終了する。ここで、第２の最小フィードバックデータ数は、第１の最小フィードバックデータ数よりも小さい値であり、例えば、第１の最小フィードバックデータ数の１０％と定義される。

【0094】

次に、ステップＳ６１８で、継続的学習サイクル実行部３１８は、学習モデル評価部３１５に、運用中学習モデル３２２の仮評価を実行させる。この仮評価には、プルダウンメニュー５１４で指定したソースに対応する、フィードバックデータが使用される。
続いて、ステップＳ６１９で、継続的学習サイクル実行部３１８は、テキストボックス５１６で指定された判定回数分の仮評価結果を用いて、相関係数を計算する。

【0095】

ステップＳ６２０で、継続的学習サイクル実行部３１８は、ステップＳ６１９で計算した相関係数に基づいて、予測精度が劣化傾向にあるか否か（強い負の相関があるか否か）を判断する。そして、予測精度が劣化傾向にあると判断した場合、処理はステップＳ６２１に進み、予測精度が劣化傾向にないと判断した場合、処理は終了する。

【0096】

ステップＳ６２１で、継続的学習サイクル実行部３１８は、フィードバックデータ収集通知部３１９に指示して、テキストボックス５１７で指定した宛先への通知を行わせる。上述のように、この通知は、本評価を実行するためにフィードバックデータを収集するように管理者に促す通知である。

【0097】

以上のように、本実施形態によれば、フィードバックデータ数が少ない場合に、運用中学習モデル３２２の仮評価を行うことで、この運用中学習モデル３２２の予測精度が劣化傾向にあるか否かを判断することができる。そして、予測精度が劣化傾向にあると判断した場合には、フィードバックデータの収集を促す通知を行うことで、フィードバックデータの収集を必要とするタイミングを管理者に把握させることができる。更に、その後に収集したフィードバックデータを用いて、継続的学習サイクルを実行することで、予測精度の低い学習モデルが運用され続けるという不都合を回避することができる。

【0098】

［実施形態２］
上述の実施形態１では、フィードバックデータ数が少なく運用中学習モデル３２２の本評価が実行できない場合に、仮評価を行うことにより予測精度の劣化傾向を検出して、本評価を実行するためのフィードバックデータの収集を管理者に促す仕組みを説明した。

【0099】

しかし、運用中学習モデル３２２の管理者にとっては、学習モデルの予測精度を向上させるために、どのようなユーザからフィードバックデータを収集すればよいのかを、判断しづらい。例えば、汎用的なユーザに対して予測を行う学習モデルを運用したい場合、過学習を回避するために、収集するフィードバックデータの各属性にばらつきがある方が望ましい。その一方で、特定の属性を有するユーザに対象を絞って予測を行う学習モデルを運用したい場合には、フィードバックデータの収集コストの観点から、対象外のフィードバックデータは極力収集しないことが望まれる。このため、本実施形態では、上述の実施形態１に係る通知に加え、所望の属性を有するユーザからのフィードバックデータを収集するように、管理者にレコメンド（推奨）するための仕組みを設けた。

【0100】

なお、本実施形態では、実施形態１と異なる部分のみを説明し、共通する事項については説明を省略する。

【0101】

図８は、重点的に収集したい属性を設定するための設定画面の例である。また、図９は、継続的学習サイクル実行部３１８がレコメンド結果として管理者に通知する内容の例を示した表である。
図８において、画面７０１は、画面５０１のラジオボタン５１５で、仮評価の実行を“する”に設定した場合に設定可能となる画面である。

【0102】

ラジオボタン７１１は、フィードバックデータ収集対象ユーザをレコメンドする機能の有効／無効を設定するために使用される設定ボタンである。ラジオボタン７１１で、“する”を選択した場合はレコメンド機能が有効になり、“しない”を選択した場合はレコメンド機能が無効になる。

【0103】

プルダウンメニュー７２１は、収集対象となるユーザ情報が格納されたソースを指定するために使用される。例えば、プルダウンメニュー７２１で、ユーザ情報格納部３１３に格納されている複数の表（表１参照）の中から、ソースとして使用する表を指定する。

【0104】

プルダウンメニュー７２２は、不足している属性値を判断するために継続的学習サイクル実行部３１８が使用する、フィードバックデータのソースを指定するために使用される。

【0105】

プルダウンメニュー７２３は、属性マップを指定するために使用される。本実施形態において、属性マップとは、不足している属性値が取り得る範囲、または、条件指定で絞り込んで収集したい属性値が取り得る範囲を、定義したマップである。以下、属性マップの例を、ＹＡＭＬ（Yaml Ain't Markup Language）形式で示す。

【0106】

### 属性マップの定義 ###
AttributeMap:
gender:
attributeName: 性別
values:
- 男
- 女
valueType: GENDER
age:
attributeName: 年齢
values:
- 15-19
- 20-24
- 25-29
- 30-34
- 35-39
- 40-44
- 45-49
- ...
valueType: range<int>
unit: 歳
familyStructure:
attributeName: 家族構成
values:
- 大人1人
- 大人2人
- 大人1人子1人
- 大人1人子2人
- 大人2人子1人
- 大人2人子2人
- ...
valueType: FAMILY_STRUCTURE
income:
attributeName: 年収
values:
- 200-399
- 400-599
- 600-799
- 800-999
- ...
valueType: range<int>
unit: 万

【0107】

上述の属性マップにおいて、属性“gendaer”、“age”、“familyStructure”および“income”は、それぞれ、上述の表２における“性別”、“年齢”、“家族構成”および“年収”に対応している。各属性の定義は、表２に示した入力データ項目と対応付けられる。例えば、属性“income”については、“attributeName”の値として、“年収”を指定し、“values”で、値の取り得る範囲を定義し、“valueType”で、値の形式を定義し、かつ、“unit”で、値の単位を定義している。

【0108】

図７において、ラジオボタン７３１は、レコメンドするユーザ属性を指定するためのボタンである。
ラジオボタン７３１で、“不足している属性を有するユーザを優先”を選択した場合、継続的学習サイクル実行部３１８は、各属性内で同種データの個数のばらつきが小さくなるような属性を有するユーザをレコメンドする。ここで、各属性内の“同種データ”とはプルダウンメニュー７２３で指定した属性マップの“values”の値を指し、“ばらつき”とは確率論における分散（variance）の値を指す。レコメンドの対象となるユーザは、プルダウンメニュー７２２で指定されたフィードバックデータに対応するユーザから抽出される。

【0109】

一方、ラジオボタン７３１で、“収集対象のユーザの属性を指定”を選択した場合、継続的学習サイクル実行部３１８は、項目７４１で指定した各属性を有するユーザをレコメンドする。

【0110】

項目７４１には、上述のプルダウンメニュー７２３で指定した属性マップで定義された各属性が、チェックボックスとともに表示される。そして、所望のチェックボックスをチェックすることにより、指定する属性を選択できる。更に、項目７４１には、各属性に対応させて、プルダウンメニューが表示される。これらのプルダウンメニューを用いて、各属性に対応する選択肢から、いずれか１つの値を選択できる。但し、画面７０１には示していないが、一つの属性に対して複数の選択肢を選択できるようにしてもよい。

【0111】

以上の設定に従って、継続的学習サイクル実行部３１８は、実施形態１で説明したステップＳ６２１の処理を実行する際に、図９に示すレコメンド結果を作成する。そして、継続的学習サイクル実行部３１８は、テキストボックス５１７（図５参照）で指定した宛先への通知を、フィードバックデータ収集通知部３１９に実行させる。

【0112】

図９において、指定結果７８１は、継続的学習サイクル実行部３１８がレコメンド結果を作成する際に選択した、収集対象の属性とその値である。

【0113】

リスト７８２は、継続的学習サイクル実行部３１８が作成した、フィードバックデータ収集対象ユーザについてのレコメンド結果である。ここで、リスト７８２に含まれるユーザは、プルダウンメニュー７２１で指定した、ユーザ情報のソースに記録されたユーザである。但し、指定結果７８１を通知情報に含めることにしたので、学習モデル管理システム１０１に登録されたユーザ（表１参照）以外からフィードバックデータを収集することも、可能である。

【0114】

ラジオボタン７５１は、リスト７８２に含まれるユーザに対して直接フィードバックを要求するか否かを選択するボタンである。ラジオボタン７５１で、“する”を選択した場合、以下の各フォーム７６１～７６３の設定結果にしたがって、ユーザに直接フィードバックを要求する。一方、ラジオボタン７５１で、“しない”を選択した場合、ユーザにはフィードバックを要求しない。

【0115】

プルダウンメニュー７６１は、継続的学習サイクル実行部３１８がリスト７８２のユーザに要求メールを送る際の、宛先メールアドレスの属性名（例えば、表１の“メールアドレス”）を指定するために使用される。

【0116】

テキストボックス７６２には、継続的学習サイクル実行部３１８がリスト７８２のユーザに直接送るフィードバック要求電子メールの、件名欄の記載が入力される。
テキストボックス７６３には、継続的学習サイクル実行部３１８がリスト７８２のユーザに直接送るフィードバック要求電子メールの、本文が入力される。

【0117】

テキストボックス７６３内に本文を入力する際には、図７の例のように、ユーザにフィードバックデータを入力させるＷｅｂサイトのＵＲＬを含ませてもよい。或いは、ＨＴＭＬメールを用いて、フィードバックデータを入力させるフォームを本文中に含ませてもよい。

【0118】

なお、本実施形態では、ユーザへフィードバックを直接要求する手段として、電子メールを例にあげたが、要求方法はこれに限定されるものではない。例えば、図示しない郵送システムを利用して、リスト７８２（図９参照）中の住所にアンケート用紙等を送付する方法や、リスト７８２の電話番号に対してテキストボックス７６３に入力した内容をメッセージとして送信する方法などでもよい。

【0119】

保存ボタン７７１は、画面７０１の設定を保存するためのボタンである。
ボタン７７２は、画面７０１の設定を保存せずに終了するためのボタンである。

【0120】

以上のように、運用中学習モデル３２２の管理者がフィードバックデータの収集方法や通知に関する設定を行うことで、収集すべき属性を有するユーザを把握できるとともに、そのユーザに対して自動でフィードバックを要求することが可能となる。

【符号の説明】

【0121】

５０１，７０１ 画面
５１１，５１５，５２１，５３１，７１１，７３１，７５１ ラジオボタン
５１２，５１４，７２１－７２３，７６１ プルダウンメニュー
５１３，５１６，５１７，５２２，７６２，８６３ テキストボックス
５４１，７７１ 保存ボタン
５４２，７７２ キャンセルボタン
７４１ 項目
７８１ 指定結果
７８２ リスト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】