特開 2024-102438 学習支援装置、学習支援方法、および学習支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102438

(43)【公開日】2024-07-31

(54)【発明の名称】学習支援装置、学習支援方法、および学習支援プログラム

(51)【国際特許分類】

   G06F 18/30 20230101AFI20240724BHJP

   G06N 3/0895 20230101ALI20240724BHJP

   G06F 18/2415 20230101ALI20240724BHJP

   G06N 20/00 20190101ALN20240724BHJP

【ＦＩ】

G06F18/30

G06N3/0895

G06F18/2415

G06N20/00

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023006314

(22)【出願日】2023-01-19

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】ＩＢＣ一番町弁理士法人

(72)【発明者】

【氏名】寺中 駿人

(57)【要約】      （修正有）

【課題】運用データにデータドリフトが生じた場合であっても、運用データを活用した、迅速かつ妥当な予測結果を取得する学習支援装置、学習支援方法および学習支援プログラムを提供する。
【解決手段】方法は、学習データおよび運用データを取得しＳ１０１、学習データの特徴量および運用データの特徴量を、学習データおよび運用データからそれぞれ抽出しＳ１０２、運用データの特徴量に基づいて、運用データからの予測結果を算出しＳ１０３、学習データの特徴量と、運用データの特徴量とに基づいて、予測結果を補正しＳ１０４、補正された予測結果を出力するＳ１０５。
【選択図】図９

【特許請求の範囲】

【請求項1】

学習データおよび運用データを取得する取得部と、
前記学習データの特徴量、および前記運用データの特徴量を、前記学習データおよび前記運用データからそれぞれ抽出する特徴量抽出部と、
前記運用データの特徴量に基づいて、前記運用データからの予測結果を算出する予測結果算出部と、
前記学習データの特徴量と、前記運用データの特徴量とに基づいて、前記予測結果を補正する補正部と、
補正された前記予測結果を出力する出力部と、
を有する学習支援装置。

【請求項2】

前記補正部は、前記予測結果を劣化させる補正をする、請求項１に記載の学習支援装置。

【請求項3】

前記学習データの特徴量と、前記運用データの特徴量とに基づいて、前記予測結果の信頼度を算出する信頼度算出部をさらに有し、
前記補正部は、前記信頼度に基づいて、前記予測結果を劣化させる補正をする、請求項２に記載の学習支援装置。

【請求項4】

前記信頼度算出部は、前記学習データの特徴量と、前記運用データの特徴量との距離に基づいて、前記信頼度を算出する、請求項３に記載の学習支援装置。

【請求項5】

前記運用データの前記予測結果は、所定のクラスの中で尤度が最も高い前記クラスの前記尤度であり、
前記補正部は、前記運用データからの前記予測結果である前記尤度を、前記信頼度に応じて減少させることで、前記運用データからの前記予測結果を劣化させる、請求項３に記載の学習支援装置。

【請求項6】

前記取得部は、複数の前記学習データを学習データ群として取得し、
前記信頼度算出部は、前記学習データ群の各学習データから抽出された複数の特徴量の分布と、前記運用データの特徴量との距離に基づいて、前記信頼度を算出する、請求項３に記載の学習支援装置。

【請求項7】

前記出力部は、補正前の前記予測結果をさらに出力する、請求項１に記載の学習支援装置。

【請求項8】

前記予測結果は、前記学習データにより学習されたニューラルネットワークにより前記運用データから予測される前記予測結果である、請求項１に記載の学習支援装置。

【請求項9】

前記学習データおよび前記運用データは、画像データまたは文章データであり、
前記予測結果算出部は、前記学習データと、前記学習データに対応する正解ラベルとの組合せを教師データとして教師あり学習された機械学習モデルを用いて前記予測結果を算出する、請求項１に記載の学習支援装置。

【請求項10】

学習データおよび運用データを取得するステップ（ａ）と、
前記学習データの特徴量、および前記運用データの特徴量を、前記学習データおよび前記運用データからそれぞれ抽出するステップ（ｂ）と、
前記運用データの特徴量に基づいて、前記運用データからの予測結果を算出するステップ（ｃ）と、
前記学習データの特徴量と、前記運用データの特徴量とに基づいて、前記予測結果を補正するステップ（ｄ）と、
補正された前記予測結果を出力するステップ（ｅ）と、
を有する学習支援方法。

【請求項11】

前記ステップ（ｄ）においては、前記予測結果を劣化させる補正をする、請求項１０に記載の学習支援方法。

【請求項12】

前記学習データの特徴量と、前記運用データの特徴量とに基づいて、前記予測結果の信頼度を算出するステップ（ｆ）をさらに有し、
前記ステップ（ｄ）においては、前記信頼度に基づいて、前記予測結果を劣化させる補正をする、請求項１１に記載の学習支援方法。

【請求項13】

前記ステップ（ｆ）においては、前記学習データの特徴量と、前記運用データの特徴量との距離に基づいて、前記信頼度を算出する、請求項１２に記載の学習支援方法。

【請求項14】

前記運用データの前記予測結果は、所定のクラスの中で尤度が最も高い前記クラスの前記尤度であり、
前記ステップ（ｄ）においては、前記運用データからの前記予測結果である前記尤度を、前記信頼度に応じて減少させることで、前記運用データからの前記予測結果を劣化させる、請求項１２に記載の学習支援方法。

【請求項15】

前記ステップ（ａ）においては、複数の前記学習データを学習データ群として取得し、
前記ステップ（ｆ）においては、前記学習データ群の各学習データから抽出された複数の特徴量の分布と、前記運用データの特徴量との距離に基づいて、前記信頼度を算出する、請求項１２に記載の学習支援方法。

【請求項16】

前記ステップ（ｅ）においては、補正前の前記予測結果をさらに出力する、請求項１０に記載の学習支援方法。

【請求項17】

前記予測結果は、前記学習データにより学習されたニューラルネットワークにより前記運用データから予測される前記予測結果である、請求項１０に記載の学習支援方法。

【請求項18】

前記学習データおよび前記運用データは、画像データまたは文章データであり、
前記ステップ（ｃ）においては、前記学習データと、前記学習データに対応する正解ラベルとの組合せを教師データとして教師あり学習された機械学習モデルを用いて前記予測結果を算出する、請求項１０に記載の学習支援方法。

【請求項19】

請求項１０～１８のいずれか一項に記載の学習支援方法をコンピューターに実行させるための学習支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

学習支援装置、学習支援方法、および学習支援プログラムに関する。

【背景技術】

【0002】

近年、機械学習モデルを利用して、データの分類や製品の異常検知等をするシステムの開発が進んでいる。当該システムとしては、例えば、ユーザーからの製品に関するフィードバックレポートを所定のクラスに分類するものや、生産現場において、画像データ等のセンサーデータから製品の異常を検知するものがある。

【0003】

しかし、機械学習モデルの学習に用いられる学習データと、実際の運用現場で機械学習モデルに入力される運用データは異なるデータである。また、時間経過に伴い、運用データの特性が変化することで、学習時の学習データの特性から離れてゆくという、いわゆるデータドリフトにより、機械学習モデルの予測精度が低下することが知られている。データドリフトの具体的な原因としては、例えば、画像における背景の変化、製品に用いられる材料の変更、製品の外観仕様の変更、撮影カメラの経年劣化、レポート作成者の変更等による文章の書きぶり（例えば、使用される用語）の変化、データ形式の変化等が挙げられる。

【0004】

データドリフトによる機械学習モデルの予測精度の低下を防止するための技術に関連し、下記特許文献１には、次の先行技術が開示されている。学習データのデータ項目ごとのデータ値に基づいて、データ項目ごとのデータ値がとり得る値を示す範囲情報を計算し、異常検知の対象となる運用データの中で、データ項目ごとのデータ値が当該範囲情報に含まれる運用データを範囲内データとして記憶し、当該範囲情報に含まれない運用データを範囲外データとして記憶し、範囲内データの傾向と範囲外データの傾向との比較結果に基づいて機械学習モデルの再学習の要否を判定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－１９３４９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上述の先行技術は、データドリフトが生じたことで、運用データに基づいて機械学習モデルの再学習が必要になったかどうかについては判断できるが、再学習をするまで機械学習モデルによる妥当な予測結果が得られないという問題がある。

【0007】

本発明はこのような問題を解決するためになされたものである。すなわち、運用データにデータドリフトが生じた場合であっても、運用データを活用した、迅速かつ妥当な予測結果を取得できる、学習支援装置、学習支援方法。および学習支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の上記課題は、以下の手段によって解決される。

【0009】

（１）学習データおよび運用データを取得する取得部と、前記学習データの特徴量、および前記運用データの特徴量を、前記学習データおよび前記運用データからそれぞれ抽出する特徴量抽出部と、前記運用データの特徴量に基づいて、前記運用データからの予測結果を算出する予測結果算出部と、前記学習データの特徴量と、前記運用データの特徴量とに基づいて、前記予測結果を補正する補正部と、補正された前記予測結果を出力する出力部と、を有する学習支援装置。

【0010】

（２）前記補正部は、前記予測結果を劣化させる補正をする、上記（１）に記載の学習支援装置。

【0011】

（３）前記学習データの特徴量と、前記運用データの特徴量とに基づいて、前記予測結果の信頼度を算出する信頼度算出部をさらに有し、前記補正部は、前記信頼度に基づいて、前記予測結果を劣化させる補正をする、上記（２）に記載の学習支援装置。

【0012】

（４）前記信頼度算出部は、前記学習データの特徴量と、前記運用データの特徴量との距離に基づいて、前記信頼度を算出する、上記（３）に記載の学習支援装置。

【0013】

（５）前記運用データの前記予測結果は、所定のクラスの中で尤度が最も高い前記クラスの前記尤度であり、前記補正部は、前記運用データからの前記予測結果である前記尤度を、前記信頼度に応じて減少させることで、前記運用データからの前記予測結果を劣化させる、上記（３）に記載の学習支援装置。

【0014】

（６）前記取得部は、複数の前記学習データを学習データ群として取得し、前記信頼度算出部は、前記学習データ群の各学習データから抽出された複数の特徴量の分布と、前記運用データの特徴量との距離に基づいて、前記信頼度を算出する、上記（３）に記載の学習支援装置。

【0015】

（７）前記出力部は、補正前の前記予測結果をさらに出力する、上記（１）に記載の学習支援装置。

【0016】

（８）前記予測結果は、前記学習データにより学習されたニューラルネットワークにより前記運用データから予測される前記予測結果である、上記（１）に記載の学習支援装置。

【0017】

（９）前記学習データおよび前記運用データは、画像データまたは文章データであり、
前記予測結果算出部は、前記学習データと、前記学習データに対応する正解ラベルとの組合せを教師データとして教師あり学習された機械学習モデルを用いて前記予測結果を算出する、上記（１）に記載の学習支援装置。

【0018】

（１０）学習データおよび運用データを取得するステップ（ａ）と、前記学習データの特徴量、および前記運用データの特徴量を、前記学習データおよび前記運用データからそれぞれ抽出するステップ（ｂ）と、前記運用データの特徴量に基づいて、前記運用データからの予測結果を算出するステップ（ｃ）と、前記学習データの特徴量と、前記運用データの特徴量とに基づいて、前記予測結果を補正するステップ（ｄ）と、補正された前記予測結果を出力するステップ（ｅ）と、を有する学習支援方法。

【0019】

（１１）前記ステップ（ｄ）においては、前記予測結果を劣化させる補正をする、上記（１０）に記載の学習支援方法。

【0020】

（１２）前記学習データの特徴量と、前記運用データの特徴量とに基づいて、前記予測結果の信頼度を算出するステップ（ｆ）をさらに有し、前記ステップ（ｄ）においては、前記信頼度に基づいて、前記予測結果を劣化させる補正をする、上記（１１）に記載の学習支援方法。

【0021】

（１３）前記ステップ（ｆ）においては、前記学習データの特徴量と、前記運用データの特徴量との距離に基づいて、前記信頼度を算出する、上記（１２）に記載の学習支援方法。

【0022】

（１４）前記運用データの前記予測結果は、所定のクラスの中で尤度が最も高い前記クラスの前記尤度であり、前記ステップ（ｄ）においては、前記運用データからの前記予測結果である前記尤度を、前記信頼度に応じて減少させることで、前記運用データからの前記予測結果を劣化させる、上記（１２）に記載の学習支援方法。

【0023】

（１５）前記ステップ（ａ）においては、複数の前記学習データを学習データ群として取得し、前記ステップ（ｆ）においては、前記学習データ群の各学習データから抽出された複数の特徴量の分布と、前記運用データの特徴量との距離に基づいて、前記信頼度を算出する、上記（１２）に記載の学習支援方法。

【0024】

（１６）前記ステップ（ｅ）においては、補正前の前記予測結果をさらに出力する、上記（１０）に記載の学習支援方法。

【0025】

（１７）前記予測結果は、前記学習データにより学習されたニューラルネットワークにより前記運用データから予測される前記予測結果である、上記（１０）に記載の学習支援方法。

【0026】

（１８）前記学習データおよび前記運用データは、画像データまたは文章データであり、前記ステップ（ｃ）においては、前記学習データと、前記学習データに対応する正解ラベルとの組合せを教師データとして教師あり学習された機械学習モデルを用いて前記予測結果を算出する、上記（１０）に記載の学習支援方法。

【0027】

（１９）請求項１０～１８のいずれか一項に記載の学習支援方法をコンピューターに実行させるための学習支援プログラム。

【発明の効果】

【0028】

学習データの特徴量、および運用データの特徴量を抽出し、運用データの特徴量に基づいて運用データから予測される予測結果を算出し、学習データの特徴量と、運用データの特徴量とに基づいて、予測結果を補正して出力する。これにより、運用データにデータドリフトが生じた場合であっても、運用データを活用した、迅速かつ妥当な予測結果を取得できる。

【図面の簡単な説明】

【0029】

【図1】情報処理システムの概略構成を示す図である。

【図2】情報処理装置のハードウェア構成を示すブロック図である。

【図3】学習データを用いた学習時の制御部の機能について説明するための説明図である。

【図4】学習データから特徴量を抽出する制御部の機能について説明するための説明図である。

【図5】運用データから特徴量を抽出して予測結果を算出し、予測結果を補正する制御部の機能について説明するための説明図である。

【図6】運用データから予測される予測結果の信頼度の算出方法について説明するための説明図である。

【図7】信頼度の算出結果を示す図である。

【図8】信頼度に基づく予測結果の補正について説明するための説明図である。

【図9】情報処理装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0030】

以下、図面を参照して、本発明の実施形態に係る、学習支援装置、学習支援方法、および学習支援プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0031】

本明細書においては、機械学習において学習時に用いる学習データ、および運用時（予測時）において予測の対象となる運用データには、画像データおよび／または文章データが含まれる。文章データは、例えば、文章のテキストデータであり得る。学習データおよび運用データには、音声データ、温度データ、および臭いデータ等の、画像データおよび文章データ以外のデータも含まれる。

【0032】

図１は、実施形態に係る情報処理システム１０の概略構成を示す図である。

【0033】

情報処理システム１０は、情報処理装置１００、および撮影装置２００を含む。情報処理装置１００と撮影装置２００は、ネットワーク等により相互に通信可能に接続される。情報処理装置１００は学習支援装置を構成する。撮影装置２００は、学習データおよび運用データが画像データである場合に用いられ得る。学習データおよび運用データが文章データである場合は、撮影装置２００は、用紙をスキャンして用紙上の文字を読み込むスキャナー等に代替され得る。学習データおよび運用データが、音声データ、温度データ、または臭いデータである場合は、撮影装置２００は、それぞれ、音声をテキストデータに変換する音声認識装置、温度センサー、または臭いセンサーに代替され得る。

【0034】

撮影装置２００は、製品（部品を含む）等の検査対象の画像を撮影し、画像データとして出力する。製品には、例えば、ボルト、平板、半導体チップ、半導体ウエハ、および車体が含まれる。撮影装置２００がスキャナーで代替される場合は、スキャナーは、例えば、書類（紙）等をスキャンして、例えばテキストデータに変換し、文章データとして出力する。書類には、例えば、ユーザーからの製品に関するフィードバックレポート、故障レポート、および介護記録が含まれる。なお、書類がデータ（電子データ）である場合は、スキャナーは省略でき、データである書類が、文章データとして情報処理装置１００に直接入力され得る。

【0035】

撮影装置２００は、例えば、可視光カメラにより構成される。撮影装置２００は、検査対象である製品等の大きさや位置等に応じて、適当な撮影範囲および撮影方向となるように、例えば生産現場（工場）に設置される。

【0036】

画像データは、例えば静止画像であるが、動画像であってもよい。

【0037】

撮影装置２００は、学習データとして用いる画像データと、運用データである画像データとを得るために用いられ得る。学習データとして用いる画像データは、撮影装置２００以外の撮影装置により撮影された画像データであってもよい。

【0038】

撮影装置２００は、画像データを情報処理装置１００へ送信する。

【0039】

情報処理装置１００は、撮影装置２００から画像データを受信する。学習データおよび運用データが文章データである場合は、情報処理装置１００は、スキャナーから文章データを受信し得る。

【0040】

情報処理装置１００は、機械学習により、学習データの特徴量、および運用データの特徴量を、それぞれ学習データおよび運用データから抽出する。情報処理装置１００は、運用データの特徴量に基づいて、機械学習により、運用データからの予測結果を算出する。情報処理装置１００は、算出した予測結果を、学習データの特徴量と、運用データの特徴量とに基づいて補正する。情報処理装置１００は、補正した運用データを出力する。予測結果には、所定のクラスの尤度が含まれる。具体的には、予測結果は、例えば、所定のクラスの中で尤度が最も高いクラスの尤度である。所定のクラスには、例えば、製品の不良クラスや、書類の分類クラスが含まれる。製品の不良クラスには、例えば、傷、欠け、割れ、汚れ、および良品が含まれる。書類等の分類クラスには、例えば、ユーザー起因の故障、装置起因の故障、および故障無、が含まれる。

【0041】

情報処理装置１００の機能についてさらに説明する。以下、説明を簡単にするために、画像データは製品画像のデータであり、文章データは故障レポートのデータである場合を例に説明する。

【0042】

図２は、情報処理装置１００のハードウェア構成を示すブロック図である。

【0043】

情報処理装置１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を有する。これらの構成要素は、バスを介して相互に接続される。情報処理装置１００は、コンピューターにより構成され得る。

【0044】

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成され、プログラムに従って情報処理装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。

【0045】

記憶部１２０は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。ＳＳＤは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。

【0046】

表示部１３０は、例えば液晶ディスプレイであり、各種情報を表示する。

【0047】

入力部１４０は、例えばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。

【0048】

通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇ等の無線通信インターフェースが用いられ得る。

【0049】

情報処理装置１００の制御部１１０の機能の詳細について説明する。なお、以下説明する制御部１１０の機能は、記憶部１２０に記憶されたプログラムが、記憶部１２０に記憶された各種パラメーター（例えば、学習モデルの重み付けパラメーター）等を用いて実行されることで実現される。

【0050】

図３は、学習データを用いた学習時の制御部１１０の機能について説明するための説明図である。図４は、学習データから特徴量を抽出する制御部１１０の機能について説明するための説明図である。図５は、運用データから特徴量を抽出して予測結果を算出し、予測結果を補正する制御部１１０の機能について説明するための説明図である。

【0051】

（学習時の制御部１１０の機能）
図３に示すように、制御部１１０は、学習時に、特徴量抽出器１１１ａ、分類器１１２ａ、および学習部１１３として機能する。特徴量抽出器１１１ａおよび分類器１１２ａは学習モデルを構成する。

【0052】

特徴量抽出器１１１ａは、撮影装置２００等から受信され、記憶部１２０に記憶された学習データを記憶部１２０から読み出すこと等により取得する。特徴量抽出器１１１ａは、複数の学習データ（以下、「学習データ群」とも称する）の各学習データから、特徴量を抽出する。特徴量抽出器１１１ａは、学習データが画像データである場合、ＣＮＮ（畳み込みニューラルネットワーク）を用いて、学習データ群の各学習データから特徴量を抽出し得る。特徴量抽出器１１１ａは、学習データが文章データである場合、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）等の自然言語処理モデルを用いて、学習データ群の各学習データからそれぞれ特徴量を抽出し得る。

【0053】

分類器１１２ａは、各学習データの特徴量を、それぞれ所定のクラスのいずれかに分類して予測結果として出力する。具体的には、例えば、分類器１１２ａは、学習データの特徴量に対して、所定のクラスごとの尤度を算出して出力する。これにより、各学習データの特徴量が、尤度が最も大きいクラスに分類されることで、各学習データが所定のクラスのいずれかに分類される。分類器１１２ａには、例えば、ニューラルネットワークの全結合層が用いられる。

【0054】

学習部１１３は、学習データ群の各学習データに正解付けされた正解ラベルと、分類器１１２ａから出力される予測結果との差が小さくなるように、バックプロパゲーションにより特徴量抽出器１１１ａと分類器１１２ａとを学習し得る。正解ラベルは、ユーザーにより各学習データと対応付けられて、入力部１４０において入力され、記憶部１２０に記憶され得る。正解ラベルは、分類器１１２ａによる予測結果の正解である所定のクラスであり得る。正解ラベルは、予測結果の正解であるクラスの尤度を１、その他のクラスの尤度を０とした、所定のクラスごとの尤度であってもよい。

【0055】

（学習データ群からの特徴量抽出時の制御部１１０の機能）
図４に示すように、制御部１１０は、学習データ群の各学習データから特徴量を抽出する際、特徴量抽出器１１１として機能する。特徴量抽出器１１１には、図３に示す学習により学習された後の学習済みのＣＮＮまたはＢＥＲＴのモデルが用いられ得る。特徴量抽出器１１１には、学習済みの特徴量抽出器１１１ａの全部ではなく一部が用いられてもよい。この場合、特徴量抽出器１１１により抽出される特徴量の抽象度の程度は、特徴量抽出器１１１ａにより抽出される特徴量の抽象度の程度より低くなり得る。以下、説明を簡単にするために、特徴量抽出器１１１は、図３に示す学習により学習された後の学習済みのＣＮＮまたはＢＥＲＴのモデルが用いられるものとして説明する。すなわち、特徴量抽出器１１１として、学習後の特徴量抽出器１１１ａを用いるものとして説明する。特徴量抽出器１１１および分類器１１２は学習モデルを構成する。

【0056】

特徴量抽出器１１１は、学習データ群の各学習データから、特徴量を抽出する。特徴量抽出器１１１は、学習データ群の各学習データから抽出した複数の特徴量（以下、「特徴量群」とも称する）を記憶部１２０に記憶する。特徴量群は、特徴空間における特徴量の分布のデータとして記憶部１２０に記憶されてもよい。

【0057】

（運用時の制御部１１０の機能）
図５に示すように、制御部１１０は、運用時に、特徴量抽出器１１１、分類器１１２、信頼度算出部１１４、および補正部１１５として機能する。特徴量抽出器１１１および分類器１１２には、学習データ群を用いて学習された後の学習済モデルが用いられ得る。特徴量抽出器１１１は取得部および特徴量抽出部を構成する。分類器１１２は予測結果算出部を構成する。補正部１１５は信頼度算出部１１４とともに補正部および出力部を構成する。

【0058】

特徴量抽出器１１１は、撮影装置２００等から受信することで運用データを取得する。特徴量抽出器１１１は、撮影装置２００等から受信され、記憶部１２０に記憶された運用データを記憶部１２０から読み出すことにより取得してもよい。特徴量抽出器１１１は、運用データから特徴量を抽出する。

【0059】

分類器１１２は、運用データを、それぞれ所定のクラスのいずれかに分類して、運用データから予測される予測結果として出力する。具体的には、分類器１１２は、運用データに対して、所定のクラスの中で尤度が最も大きいクラスおよびその尤度を算出して予測結果として出力する。分類器１１２は、運用データに対して、所定のクラスごとの尤度を算出して予測結果として出力してもよい。運用データが、尤度が最も大きいクラスに分類されることで、運用データが所定のクラスのいずれかに分類される。

【0060】

信頼度算出部１１４は、学習データ群（学習データ）の特徴量と、運用データの特徴量とに基づいて、予測結果の信頼度（以下、単に「信頼度」とも称する）を算出する。

【0061】

図６は、運用データから予測される予測結果の信頼度の算出方法について説明するための説明図である。図７は、信頼度の算出結果を示す図である。

【0062】

図６は、特徴空間における、学習データ群の特徴量の分布と、運用データとの関係を示している。黒丸は学習データ群の特徴量を示し、白丸は運用データの特徴量を示している。特徴量抽出器１１１によって抽出される特徴量の数（種類）は比較的多数であり、特徴量の特徴空間は多次元となる。図６の例においては、説明を簡単にするために、第１特徴量および第２特徴量の２つの特徴量の関係を示す２次元の特徴空間において、学習データ群の特徴量と、運用データの特徴量とを示している。

【0063】

図６においては、学習データ群の各学習データは、同じ正解ラベルが対応付けされた学習データである。このため、各学習データから抽出された複数の特徴量（特徴量群）は、特徴空間において、破線で示す、比較的限定された範囲に限定されている。運用データも、各学習データに対応付けされた正解ラベルのクラスが予測結果として予測された（所定のクラスの中で当該正解ラベルのクラスの尤度が最も大きく算出された）運用データである。

【0064】

学習データ群の特徴量の分布に距離（より詳細には、特徴空間における距離）が近い特徴量の運用データについては、データドリフトの程度が比較的小さいと考えられる。データドリフトの程度が比較的小さい運用データから予測される予測結果は精度が比較的高いと考えられる。一方、学習データ群の特徴量の分布から距離が遠い特徴量の運用データについては、データドリフトの程度が比較的大きいと考えられる。データドリフトの程度が比較的大きい運用データから予測される予測結果は精度が比較的低いと考えられる。これは、運用データから予測結果を算出する特徴量抽出器１１１および分類器１１２が、データドリフトが生じる前の学習データにより学習されており、データドリフトが生じた後のデータにより学習されていないからである。図６において特徴空間に特徴量が示された運用データは、学習データ群の特徴量の分布から特徴量が比較的離れた距離にあるため、予測結果の精度が比較的低くなると考えられる。

【0065】

上述したように、運用データの特徴量が、学習データ群の特徴量の分布に近いほど、運用データから予測される予測結果の精度が高くなる。従って、学習データ群の特徴量の分布と運用データの特徴量との距離に基づいて、予測結果の信頼度を算出できる。予測結果の信頼度は、例えばマハラノビス距離を用いて算出し得る。予測結果の信頼度は、例えば、学習データ群の特徴量と運用データの特徴量とのマハラノビス距離の逆数として算出され得る。予測結果の信頼度は１以下の数値であり得る。以下、学習データ群の特徴量の分布と運用データの特徴量との距離を、単に「学習データ群との距離」とも称する。

【0066】

図７に示す例においては、図６に示す運用データの信頼度が、学習データ群の特徴量と運用データの特徴量とのマハラノビス距離の逆数として算出されている。図７に示すように、図６に示す運用データの特徴量の信頼度は、０．０１（信頼度の最大値は１）である。このため、当該運用データから予測される予測結果の精度は低いと考えられる。

【0067】

補正部１１５は、予測結果の信頼度に基づいて予測結果を補正する。信頼度は、学習データ群の各学習データの特徴量と、運用データの特徴量とに基づいて算出されるため、予測結果の補正は、学習データの特徴量と、運用データの特徴量とに基づいて行われると言える。

【0068】

図８は、信頼度に基づく予測結果の補正について説明するための説明図である。図８に示す、各運用データからの予測結果、距離に応じた信頼度の算出結果、および補正後の予測結果の各テーブルは、記憶部１２０に記憶され得る。

【0069】

各運用データからの予測結果のテーブルにおいては、「運用データ１」から予測された予測結果が「クラスＡで尤度が０．９８」であり、「運用データ２」から予測された予測結果が「クラスＣで尤度が０．８０」であり、「運用データ３」から予測された予測結果が「クラスＣで尤度が０．６６」である。

【0070】

距離に応じた信頼度のテーブルにおいては、「運用データ１」については、「クラスＡ」の正解ラベルがそれぞれ対応付けされた学習データ群との距離に基づいて信頼度が「０．９５」と算出されている。「運用データ２」については、「クラスＣ」の正解ラベルがそれぞれ対応付けされた学習データ群との距離に基づいて信頼度が「０．４０」と算出されている。「運用データ３」については、「クラスＣ」の正解ラベルがそれぞれ対応付けされた学習データ群との距離に基づいて信頼度が「０．８０」と算出されている。

【0071】

上述したように、学習データ群の特徴量の分布と運用データの特徴量との距離に基づいて、予測結果の信頼度を算出できる。しかし、１つの学習データの特徴量と運用データの特徴量との距離に基づいて、予測結果の信頼度を算出してもよい。

【0072】

予測結果の補正は、運用データからの予測結果である尤度（所定のクラスの中で尤度が最も大きいクラスの尤度）と、その信頼度との積を算出することでなされる。すなわち、補正後の予測結果は、運用データからの予測結果である、尤度が最も大きいクラスの尤度と、その信頼度との積である。

【0073】

予測結果が信頼度に基づいて補正されることで、特徴空間における学習データ群の分布から距離が離れた運用データは予測結果の信頼度が低くなる。予測結果である、尤度が最も大きいクラスの尤度が、１以下の数値である信頼度を乗算する補正計算により補正されることで、予測結果を劣化する補正がされる。これにより、機械学習モデルによる予測結果が適切に補正される。

【0074】

補正後の予測結果のテーブルにおいては、「運用データ１」については、予測結果である「クラスＡで尤度が０．９８」に対し、尤度に信頼度「０．９５」が乗算されることで、補正後の予測結果が「クラスＡで尤度が０．９３１」となっている。「運用データ２」については、予測結果である「クラスＣで尤度が０．８０」に対し、尤度に信頼度「０．４０」が乗算されることで、補正後の予測結果が「クラスＡで尤度が０．３２０」となっている。「運用データ３」については、予測結果である「クラスＣで尤度が０．６６」に対し、尤度に信頼度「０．８０」が乗算されることで、補正後の予測結果が「クラスＡで尤度が０．９３１」となっている。

【0075】

なお、運用データから予測される予測結果が、所定のクラスごとの尤度である場合（所定のクラスのそれぞれに対する尤度である場合）は、クラスごとに信頼度を算出し、信頼度をクラスごとの尤度にそれぞれ乗算することで、予測結果を補正してもよい。

【0076】

補正部１１５は、補正された予測結果を出力する。出力には、通信部１５０により他の装置への送信や、表示部１３０への表示等が含まれる。補正部１１５は、補正された予測結果とともに補正前の予測結果を出力してもよい。

【0077】

情報処理装置１００の動作について説明する。

【0078】

図９は、情報処理装置１００の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムに従い、制御部１１０により実行される。

【0079】

制御部１１０は、学習データ群および運用データを取得する（Ｓ１０１）。制御部１１０は、学習データ群を記憶部１２０から読み出すことで取得し得る。制御部１１０は、運用データを記憶部１２０から読み出すことにより、または、撮影装置２００等から受信することで取得し得る。

【0080】

制御部１１０は、学習データ群の各学習データの特徴量と、運用データの特徴量とを、それぞれ、学習データ群および運用データから抽出する（Ｓ１０２）。制御部１１０は、学習データ群の各学習データから複数の特徴量の分布を抽出する処理を事前に行い、記憶部１２０に記憶させておき、この特徴量の分布を用いてもよい。

【0081】

制御部１１０は、運用データから予測結果を算出する（Ｓ１０３）。

【0082】

制御部１１０は、学習データ群の各学習データから抽出された複数の特徴量の分布と、運用データの特徴量とに基づいて、予測結果の信頼度を算出する（Ｓ１０４）。

【0083】

制御部１１０は、信頼度に基づいて予測結果を補正して、補正後の予測結果を出力する（Ｓ１０５）。

【0084】

本実施形態は以下の効果を奏する。

【0085】

学習データの特徴量、および運用データの特徴量を抽出し、運用データの特徴量に基づいて運用データから予測される予測結果を算出し、学習データの特徴量と、運用データの特徴量とに基づいて、予測結果を補正して出力する。これにより、運用データにデータドリフトが生じた場合であっても、運用データを活用した、迅速かつ妥当な予測結果を取得できる。

【0086】

また、学習データの特徴量と、運用データの特徴量とに基づく、予測結果の補正は、予測結果を劣化させる補正である。これによりデータドリフトに応じた妥当な予測結果を取得できる。

【0087】

さらに、学習データの特徴量と、運用データの特徴量とに基づいて、予測結果の信頼度を算出し、信頼度に基づいて、予測結果を劣化させる補正をする。これにより、より妥当性の高い予測結果を取得できる。

【0088】

さらに、学習データの特徴量と、運用データの特徴量との距離に基づいて信頼度を算出する。これにより、簡単に、より妥当性の高い予測結果を取得できる。

【0089】

さらに、運用データの予測結果を、所定のクラスの中で尤度が最も高いクラスの尤度とし、運用データからの予測結果である尤度を、信頼度に応じて減少させることで、運用データからの予測結果を劣化させる。これにより、予測結果の妥当性を向上できる。

【0090】

さらに、複数の学習データを学習データ群として取得し、学習データ群の各学習データから抽出された複数の特徴量の分布と、運用データの特徴量との距離に基づいて、信頼度を算出する。これにより、簡単に予測結果の妥当性をさらに向上できる。

【0091】

さらに、補正前の予測結果も出力する。これにより、補正後の予測結果の妥当性を確認できる。

【0092】

さらに、予測結果を、学習データにより学習されたニューラルネットワークにより運用データから予測される予測結果とする。これにより、より簡単かつ柔軟に妥当性の高い予測結果を取得できる。

【0093】

さらに、学習データおよび運用データを、画像データまたは文章データとし、学習データと、学習データに対応する正解ラベルとの組合せを教師データとして教師あり学習された機械学習モデルを用いて予測結果を算出する。これにより、運用データの対象範囲を適切に拡大しつつ、妥当な予測結果を得ることができる。

【0094】

以上に説明した情報処理システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な情報処理システムが備える構成を排除するものではない。

【0095】

例えば、情報処理装置１００は複数の装置により構成されてもよい。

【0096】

また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

【0097】

また、上述した情報処理システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

【符号の説明】

【0098】

１０ 情報処置システム、
１００ 情報処理装置、
１１０ 制御部、
１１１ａ、１１１ 特徴量抽出器、
１１２ａ、１１２ 分類器、
１１３ 学習部、
１１４ 信頼度算出部、
１１５ 補正部、
１２０ 記憶部、
１３０ 表示部、
１４０ 入力部、
１５０ 通信部、
２００ 撮影装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】