特許 7571429 データ分析システム診断方法、デバイス及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】データ分析システム診断方法、デバイス及び媒体

(51)【国際特許分類】

   G06N 99/00 20190101AFI20241016BHJP

   G06N 3/08 20230101ALI20241016BHJP

   G06N 20/00 20190101ALI20241016BHJP

【ＦＩ】

G06N99/00 180

G06N3/08

G06N20/00

【請求項の数】 11

【外国語出願】

(21)【出願番号】P 2020152861

(22)【出願日】2020-09-11

(65)【公開番号】P2021060982

(43)【公開日】2021-04-15

【審査請求日】2023-09-08

(31)【優先権主張番号】201910865445.9

(32)【優先日】2019-09-12

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】ジャン ニー

(72)【発明者】

【氏名】チェン シャオイー

(72)【発明者】

【氏名】ジャオ ヤン

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特表２０１８－５２９１３４（ＪＰ，Ａ）

【文献】特開２００３－０３２２５３（ＪＰ，Ａ）

【文献】Yarin GAL et al.，Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning，arXiv［online］，v6，2016年10月04日，［検索日2024.08.29］，インターネット：<URL：https://arxiv.org/pdf/1506.02142v6>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ９９／００

Ｇ０６Ｎ ３／０８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

コンピュータがデータ分析システムを診断する方法であって、
取得手段が、診断しようとするデータ分析システムにおける分析エンジンに関する情報、及び前記分析エンジンに関連し、かつ前記分析エンジンの訓練データ及び予測データの少なくとも一方を含む診断しようとするデータを取得するステップと、
特定手段が、受信した前記情報に基づいて、前記分析エンジンに対応する診断エンジンを特定するステップと、
提供手段が、前記診断エンジンを利用して前記診断しようとするデータを処理することで、前記分析エンジン及び前記診断しようとするデータの少なくとも一方に関連する不確実性メトリックを提供するステップと、を含み、
前記不確実性メトリックは、前記分析エンジンが前記診断しようとするデータを処理して得られた予測結果についての確実度を示す、データ分析システム診断方法。

【請求項2】

前記情報に基づいて前記分析エンジンに対応する診断エンジンを特定することは、
前記情報により前記分析エンジンがニューラルネットワークモジュールを含むことが示されることに応じて、前記情報に基づいて前記ニューラルネットワークモジュールを構築することと、
確率推定で前記ニューラルネットワークモジュールを更新することで、確率ニューラルネットワークモジュールを得ることと、
得られた前記確率ニューラルネットワークモジュールを含ませるように前記診断エンジンを構築することと、を含む、請求項１に記載の方法。

【請求項3】

前記情報に基づいて前記分析エンジンに対応する診断エンジンを特定することは、
前記情報により前記分析エンジンがニューラルネットワークモジュールを含まないことが示されることに応じて、予め配置された確率ニューラルネットワークモジュールを含ませるように前記診断エンジンを構築することを含む、請求項２に記載の方法。

【請求項4】

前記診断しようとするデータは、前記訓練データ及び前記予測データの両方を含み、
前記不確実性メトリックを提供することは、
前記診断エンジンを利用して前記診断しようとするデータを処理することで、前記診断エンジンについてのトータル不確実性メトリックを特定することと、
前記トータル不確実性メトリックに基づいて、モデルの不確実性メトリック、データの不確実性メトリック及び分布の不確実性メトリックの少なくとも一つを提供することと、を含み、
前記モデルの不確実性メトリックは、少なくとも、前記分析エンジンの複雑度と前記診断しようとするデータの規模との適合度による前記分析エンジンのパフォーマンスへの影響を示し、
前記データの不確実性メトリックは、少なくとも、前記診断しようとするデータの品質による前記分析エンジンのパフォーマンスへの影響を示し、
前記分布の不確実性メトリックは、少なくとも、前記予測データと前記訓練データの分布とのマッチング度による前記分析エンジンのパフォーマンスへの影響を示す、請求項１に記載の方法。

【請求項5】

前記診断エンジンの入力は、それぞれ、異なる特徴に関連する複数のデータ項目を含み、
前記不確実性メトリックを提供することは、
前記不確実性メトリックに基づいて、前記複数のデータ項目の少なくとも１つのデータ項目の前記不確実性メトリックへの貢献を特定することを含む、請求項１に記載の方法。

【請求項6】

さらに、前記提供手段が、
前記貢献に基づいて、前記複数のデータ項目の少なくとも１つのデータ項目を調整する指示を提供するステップを含む、請求項５に記載の方法。

【請求項7】

さらに、前記提供手段が、
前記分析エンジン及び前記診断しようとするデータの前記少なくとも一方を調整する指示を提供するステップを含む、請求項１に記載の方法。

【請求項8】

前記分析エンジン及び前記診断しようとするデータの前記少なくとも一方を調整する指示を提供することは、
前記不確実性メトリックが所定の閾値より大きいことに応じて、前記指示を提供することを含む、請求項７に記載の方法。

【請求項9】

前記診断しようとするデータは、前記訓練データ及び前記予測データの両方を含み、
前記分析エンジン及び前記診断しようとするデータの前記少なくとも一方を調整する指示を提供することは、
前記診断エンジンを利用して前記訓練データを処理することで、第１の不確実性メトリックを取得することと、
前記診断エンジンを利用して前記予測データを処理することで、第２の不確実性メトリックを取得することと、
前記第１の不確実性メトリックと前記第２の不確実性メトリックとを比較することで、前記分析エンジン及び前記診断しようとするデータの前記少なくとも一方を調整する指示を提供することと、を含む、請求項７に記載の方法。

【請求項10】

データ分析システムを診断するデバイスであって、
少なくとも１つの処理ユニットと、
前記少なくとも１つの処理ユニットに接続され、前記少なくとも１つの処理ユニットが実行する指令を記憶する少なくとも１つのメモリと、を備え、
前記指令が前記少なくとも１つの処理ユニットによって実行されると、請求項１－９のいずれか１項に記載の方法を実行する、デバイス。

【請求項11】

請求項１－９のいずれか１項に記載の方法を実行するためのコンピュータ読み取り可能なプログラム指令を記憶している、コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、人工知能分野に関し、より具体的には、データ分析システム診断方法、データ分析システム最適化方法、デバイス及びコンピュータ記憶媒体に関する。

【背景技術】

【0002】

コンピュータ技術の発展に伴い、データ分析システムは、既に人々の生活の様々な方面において幅広く適用されており、例えば、ディープニューラルネットワーク等の分析エンジンは、ますます、画像識別、音声識別や目標検出等の様々なタスクに使用されている。通常、訓練データを利用して分析エンジンを訓練する必要があるが、分析エンジンは、予測中、訓練段階のパフォーマンスに達しないことが多い。分析エンジンの予測段階におけるパフォーマンスの低下につながる様々な原因が存在し得るため、開発者は、分析エンジンの持つ欠陥を見出して、対応して改善しにくいので、これは望ましくない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示の実施例は、データ分析システムを診断・最適化する技術案を提供する。

【課題を解決するための手段】

【0004】

本開示の第１局面によれば、データ分析システムを診断する方法を提供し、当該方法は、診断しようとするデータ分析システムにおける分析エンジンに関する情報、及び分析エンジンに関連し、かつ分析エンジンの訓練データ及び予測データの少なくとも一方を含む診断しようとするデータを取得することと、受信した情報に基づいて、分析エンジンに対応する診断エンジンを特定することと、診断エンジンを利用して診断しようとするデータを処理することで、分析エンジン及び診断しようとするデータの少なくとも一方に関連する不確実性メトリックを提供することと、を含み、不確実性メトリックは、分析エンジンが診断しようとするデータを処理して得られた予測結果についての確実度を示す。

【0005】

本開示の第２局面によれば、データ分析システムを最適化する方法を提供し、当該方法は、診断システムへデータ分析システムにおける分析エンジンに関する情報、及び分析エンジンに関連し、かつ分析エンジンの訓練データ及び予測データの少なくとも一方を含む診断しようとするデータを提供することと、診断システムから分析エンジン及び診断しようとするデータの少なくとも一方に関連する不確実性メトリックを受信することと、不確実性メトリックに基づいて、分析エンジンを更新することと、を含み、不確実性メトリックは、分析エンジンが診断しようとするデータを処理して得られた予測結果についての確実度を示す。

【0006】

本開示の第３局面によれば、データ分析システムを診断するデバイスを提供する。当該デバイスは、少なくとも１つの処理ユニットと、少なくとも１つの処理ユニットに接続され、少なくとも１つの処理ユニットが実行する指令を記憶する少なくとも１つのメモリと、を備え、当該指令は、少なくとも１つの処理ユニットによって実行されると、当該デバイスに動作を実行させる。当該動作は、診断しようとするデータ分析システムにおける分析エンジンに関する情報、及び分析エンジンに関連し、かつ分析エンジンの訓練データ及び予測データの少なくとも一方を含む診断しようとするデータを取得することと、受信した情報に基づいて、分析エンジンに対応する診断エンジンを特定することと、診断エンジンを利用して診断しようとするデータを処理することで、分析エンジン及び診断しようとするデータの少なくとも一方に関連する不確実性メトリックを提供することと、を含み、不確実性メトリックは、分析エンジンが診断しようとするデータを処理して得られた予測結果についての確実度を示す。

【0007】

本開示の第４局面によれば、データ分析システムを最適化するデバイスを提供する。当該デバイスは、少なくとも１つの処理ユニットと、少なくとも１つの処理ユニットに接続され、少なくとも１つの処理ユニットが実行する指令を記憶する少なくとも１つのメモリと、を備え、当該指令は、少なくとも１つの処理ユニットによって実行されると、当該デバイスに動作を実行させる。当該動作は、診断システムへデータ分析システムにおける分析エンジンに関する情報、及び分析エンジンに関連し、かつ分析エンジンの訓練データ及び予測データの少なくとも一方を含む診断しようとするデータを提供することと、診断システムから分析エンジン及び診断しようとするデータの少なくとも一方に関連する不確実性メトリックを受信することと、不確実性メトリックに基づいて、分析エンジンを更新することと、を含み、不確実性メトリックは、分析エンジンが診断しようとするデータを処理して得られた予測結果についての確実度を示す。

【0008】

本開示の第５局面によれば、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体は、第１局面に記述された方法を実行するためのコンピュータ読み取り可能なプログラム指令を記憶している。

【0009】

本開示の第６局面によれば、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体は、第２局面に記述された方法を実行するためのコンピュータ読み取り可能なプログラム指令を記憶している。

【0010】

発明の概要を提供することは、簡略した形態で概念についての選択を紹介するためであり、これらは、以下の具体的な実施的形態においてさらに詳細に説明される。発明の概要は、本開示の肝心となる特徴又は必須な特徴を示す意図も、本開示の範囲を限定する意図もない。

【図面の簡単な説明】

【0011】

図面を参照しながら本開示の例示的な実施例をより詳細に説明して、本開示の上記及びその他の目的や特徴や利点はより明確になる。なお、本開示の例示的な実施例において、同一の符号は、通常同一の部品を示す。

【0012】

【図1】本開示の実施例が実施可能な環境を示す模式図である。

【図2】本開示の実施例に係るデータ分析システムを診断する過程を示すフローチャートである。

【図3】本開示の実施例に係る診断エンジンを特定する過程を示すフローチャートである。

【図4】本開示の実施例に係る調整指示を提供する過程を示すフローチャートである。

【図5】本開示の実施例に係る不確実性メトリックの異なる特徴における分布を示す模式図である。

【図6】本開示の実施例に係るデータ分析システムを最適化する過程を示すフローチャートである。

【図7A】本開示の実施例に係る例示的な不確実性メトリックを示す模式図である。

【図7B】本開示の実施例に係る例示的な不確実性メトリックを示す模式図である。

【図7C】本開示の実施例に係る例示的な不確実性メトリックを示す模式図である。

【図7D】本開示の実施例に係る例示的な不確実性メトリックを示す模式図である。

【図7E】本開示の実施例に係る例示的な不確実性メトリックを示す模式図である。

【図7F】本開示の実施例に係る例示的な不確実性メトリックを示す模式図である。

【図8】本開示の実施例を実行可能である例示的なデバイスを模式的に示すブロック図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら、本開示のより好ましい実施例を詳細に説明する。図面は、本開示の好ましい実施例を示しているが、本開示は、様々な形態で実現されることができ、ここで説明された実施例に制限されるものではないと理解すべきである。一方、これらの実施例は、本開示がより明確かつ完全となり、本開示の範囲を当業者に完全に伝えるために提供される。

【0014】

本明細書で使用される「含む」という用語及びその変形は、オープン式であり、すなわち「含むがこれに限定されない」を意味する。特に明記されない限り、「や」という用語は「及び／又は」を意味する。「基づく」という用語は、「少なくとも一部に基づく」ことを意味する。「１つの例示的な実施例」及び「１つの実施例」という用語は、「少なくとも１つの例示的な実施例」を意味する。「もう１つの実施例」という用語は、「少なくとも１つの別の実施例」を意味する。「第１」、「第２」などの用語は、異なるオブジェクト又は同じオブジェクトを指す場合がある。以下、他の明示的及び非明示的な定義も含まれる場合がある。

【0015】

上述のように、コンピュータ技術の発展に伴い、データ分析システムは、既に人々の生活の様々な方面において幅広く適用されており、例えば、ディープニューラルネットワーク等の分析エンジンは、ますます、画像識別、音声識別や目標検出等の様々なタスクに使用されている。人々は、データ分析システムがデータに対して予測した結果に依存しつつあり、特に、医療診断、金融投資、ビジネス・公共政策決定等の肝心分野において、予測結果の信頼性及び安定性はより重要となる。しかしながら、分析エンジンは、予測中、訓練段階のパフォーマンスに達しないことが多い。従って、データ分析システムにおける分析エンジンや訓練データ／予測データに存在する欠陥を如何に特定して、対応して改善するかが注目されてきていた。

【0016】

本開示のいくつかの実施例によって、データ分析システムを診断する技術案を提供する。当該技術案において、まず、診断しようとするデータ分析システムにおける分析エンジンに関する情報及び分析エンジンに関連し、かつ分析エンジンのための訓練データ及び予測データの少なくとも一方を含む診断しようとするデータを取得することができる。次に、受信した情報に基づいて、分析エンジンに対応する診断エンジンを特定するとともに、診断エンジンを利用して診断しようとするデータを処理することにで、分析エンジン及び診断しようとするデータの少なくとも一方に関連する不確実性メトリックを提供することができ、ここでの不確実性メトリックは、分析エンジンが診断しようとするデータを処理して得た予測結果についての確実度を示す。このようにして、分析エンジンに対応する診断エンジンを利用して、モデル又は訓練データ及び予測データを含む診断しようとするデータが、データ分析システムにおける分析エンジンによる予測の正確性へ与える影響を判断することができ、さらに、ユーザに対して、モデル又は診断しようとするデータに存在し得る欠陥を特定するための支援を提供する。さらに、個別の診断エンジンを利用してデータ分析システムを診断することで、データ分析システムの正常な稼働が影響され得る場合に、開発者に対してデータ分析システムの診断アドバイスを提供することができる。

【0017】

本開示の他のいくつかの実施例によって、さらに、データ分析システムを最適化する技術案を提供する。当該技術案において、まず、診断システムへ、データ分析システムにおける分析エンジンに関する情報及び分析エンジンに関連する診断しようとするデータを提供し、ここでの診断しようとするデータは、分析エンジンのための訓練データ及び予測データの少なくとも一方を含む。次に、診断システムから分析エンジン及び診断しようとするデータの少なくとも一方に関連する不確実性メトリックを受信し、ここでの不確実性メトリックは、分析エンジンが診断しようとするデータを処理して得た予測結果についての確実度を示す。その後、不確実性メトリックに基づいて、分析エンジンを更新することができる。このようにして、分析エンジンにより特定された不確実性メトリックに基づいて分析エンジンを更新することができ、さらに、データ分析システムのパフォーマンスを改善することができる。

【0018】

例示的な環境
以下、図面を参照しながら本開示の実施例を具体的に説明する。図１は、本開示のいくつかの実施例を実施可能な例示的な環境１００を示す模式図である。図１に示されるように、当該例示的な環境１００は、データ分析システム１１０及び診断システム１４０を含む。データ分析システム１１０は、既存データから一定の知識及び能力を学習して、新たなデータを処理することができる分析エンジン１２５を含む。分析エンジン１２５は、例えば、画像の分類、目標検出、音声識別、機械翻訳、コンテンツフィルタリングなどの様々なタスクを実行するように設計されることができる。分析エンジン１２５は、例としては、様々なディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、サポートベクターマシン（ＳＶＭ）、ディシジョンツリー、ランダムフォレストモデルなどを含むが、これらに限定されない。

【0019】

図１に示されるように、データ分析システム１１０は、さらに、分析エンジン１２５を訓練するための訓練データ１１５及び分析エンジン１２５によって予測される予測データ１２０を含む。いくつかの実施例において、分析エンジン１２５に適用された訓練データ１１５及び予測データ１２０は、例えば、画像、医療データ、ビジネスデータ等のデータであり、分析エンジン１２５は、データ分析によって得た結果（予測結果とも称される）を提供することができる。具体的には、分析エンジン１２５は、訓練データ１１５及び予測データ１２０を含む、入力されたデータに対して、予測、識別、分類、モード分析、特徴検出及び抽出操作のうち、少なくとも１種類を実行することができる。いくつかの実施例において、分析エンジン１２５は、入力データに対する識別予測を提供することができ、例えば、入力データが画像であると、その予測は、画像に対する識別結果（例えば、画像に含まれる対象が猫や犬であるという結果）であってもよい。いくつかの実施例において、分析エンジン１２５は、入力データに対する予測を提供することができ、例えば、入力データがビジネスデータであると、その予測は、売上、カスタマーチャーンレート、広告のクリック率等についての分析エンジン１２５による予測分析であってもよい。

【0020】

データ分析システム１１０は、診断システム１４０との間のインターフェースを介して診断システム１４０へ分析エンジン１２５に関する情報１３０及び診断しようとするデータ１３５を提供することができ、ここでの診断しようとするデータは、訓練データ１１５及び予測データ１２０の少なくとも一方を含む。いくつかの実施例において、データ分析システム１１０と診断システム１４０との間のインターフェースは、物理的通信インターフェースであってもよい。オプションとして、データ分析システム１１０と診断システム１４０との間のインターフェースは、ソフトウェアによって実施されるデータ通信インターフェースであってもよい。いくつかの実施例において、情報１３０は、分析エンジン１２５のタイプ及びネットワーク構成を示す情報を含んでもよい。例えば、分析エンジン１２５がディープニューラルネットワークを含む場合に、情報１３０は、ディープニューラルネットワークの具体的な構成を示す情報を含んでもよく、例えば、当該情報は、ニューラルネットワークが３層の多層パーセプトロン（ＭＬＰ）を含み、かつ、各層における隠れユニットの数がそれぞれ４５個、１３５個及び４０５個であることを示してもよい。情報１３０は、分析エンジン１２５における具体的な重みの情報を含まなくてもよいことを理解すべきである。

【0021】

図１に示されるように、診断システム１４０は、診断エンジン１４５を含む。分析エンジン１２５に類似して、診断エンジン１４５も既存データから一定の知識及び能力を学習して、新たなデータを処理することができる。いくつかの実施例において、診断エンジン１４５は、定量的な方法で予測結果についての不確実度（以下、「不確実性メトリック」と称される）を提供する。いくつかの実施例において、分析エンジン１２５がニューラルネットワークモジュールを含むことに応じて、診断システム１４０は、受信した分析エンジン１２５に関する情報１３０に基づいて、ニューラルネットワークモジュールを構築するとともに、確率推定でニューラルネットワークモジュールを更新することで、診断エンジン１４５の一部とする。診断エンジン１４５において、重みは、固定値ではなく特定の分布で示される。いくつかの実施例において、例えば、診断エンジン１４５は、ベイズニューラルネットワーク（ＢＮＮ）を含んでもよい。診断システム１４０は、診断エンジン１４５を利用して受信した診断しようとするデータ１３５を処理することで、不確実性メトリック１５０を提供することができる。データ分析システム１１０は、不確実性メトリック１５０を受信した後、それに応じて分析エンジンを更新することができる。以下、診断システム１４０が不確実性メトリック１５０を生成する過程、及びデータ分析システム１１０が診断システム１４０によって特定された不確実性メトリック１５０に基づいて分析エンジン１２５を最適化する過程を詳細に説明する。

【0022】

データ分析システムの診断
以下、図２乃至図４を参照しながら、データ分析システムを診断する過程をより詳細に説明する。図２は、本開示のいくつかの実施例に係るデータ分析システムを診断する過程２００を示すフローチャートである。過程２００は、図１の診断システム１４０によって実現されることができる。説明の便宜上、図１も参照して過程２００を説明する。

【0023】

図２に示されるように、ブロック２０２において、診断システム１４０は、診断しようとするデータ分析システム１１０における分析エンジン１２５に関する情報１３０及び分析エンジン１２５に関連する診断しようとするデータ１３５を取得し、ここでの診断しようとするデータ１３５は、分析エンジン１２５ための訓練データ１１５及び予測データ１２０の少なくとも一方を含む。

【0024】

いくつかの実施例において、データ分析システム１１０は、例えば、クラウドプラットフォーム上にデプロイされ、それに対応して、分析エンジン１２５に関する情報１３０、訓練データ１１５及び予測データ１２０もクラウドプラットフォームに記憶されている。ユーザは、例えば、データ分析システム１１０で該当するデータ分析タスクを実行するようにクラウドプラットフォームにアクセスすることができる。

【0025】

いくつかの実施例において、診断システム１４０は、データ分析システム１１０と同じクラウドプラットフォーム上にデプロイされ、これにより、診断システム１４０は、分析エンジン１２５に関する情報及び診断しようとするデータ１３５を取得するようにクラウドプラットフォームのストレージにアクセスすることができる。

【0026】

いくつかの実施例において、診断システム１４０は、有線ネットワーク又は無線ネットワークを経由してデータ分析システム１１０から分析エンジン１２５に関する情報及び診断しようとするデータ１３５を受信するために、データ分析システム１１０と通信して結合されるようにデプロイされてもよい。

【0027】

ブロック２０４において、診断システム１４０は、受信した情報に基づいて、分析エンジン１２５に対応する診断エンジン１４５を特定する。いくつかの実施例において、診断エンジン１４５は、例えば、予め配置されたベイズニューラルネットワークモジュールを含むように構築されてもよい。

【0028】

以下、図３を参照しながら、ブロック２０４の過程を説明する。図３は、本開示の実施例に係る診断エンジン１４５を特定する過程３００を示すフローチャートである。図３に示されるように、ブロック３０２において、診断システム１４０は、受信した情報１３０に基づいて、分析エンジン１２５がニューラルネットワークモジュールを含むか否かを判定することができる。ブロック３０２において、分析エンジン１２５がニューラルネットワークモジュールを含むと特定したことに応じて、過程３００は、ブロック３０４に進み、ここで、診断システム１４０が受信した情報に基づいてニューラルネットワークモジュールを構築することができる。例えば、情報１３０は、ニューラルネットワークモジュールにおける層数、ノード数等を示してもよく、診断システム１４０は、情報１３０に基づいて訓練されていないニューラルネットワークモジュールを構築することができる。

【0029】

ブロック３０６において、診断システム１４０は、確率推定でニューラルネットワークモジュールを更新することで確率ニューラルネットワークモジュールを得ることができる。従来の、パラメータが特定の数値で表される決定的（ｄｅｔｅｒｍｉｎｉｓｔｉｃ）ニューラルネットワークと異なり、確率ニューラルネットワークは、ネットワークにおけるパラメータを分布で表すことで、予測結果についての不確実性メトリックをより良好に特定することができる。いくつかの実施例において、診断システム１４０は、すべての確率データネットワークモジュールがベイズニューラルネットワークを含むように、ベイズ推定でニューラルネットワークモジュールを更新することができる。オプションとして、診断システム１４０は、周波数推定でニューラルネットワークモジュールを更新することもできる。ブロック３０８において、診断システム１４０は、得られた確率ニューラルネットワークモジュールを含ませるように診断エンジン１４５を構築する。

【0030】

オプションとして、ブロック３０２において、分析エンジン１２５がニューラルネットワークモジュールを含まないと特定すると、過程３００はブロック３１０に進み、ここで、診断システム１４０は、予め配置された確率ニューラルネットワークモジュールを含ませるように診断エンジン１４５を構築する。

【0031】

引き続き図２を参照し、ブロック２０６において、診断システム１４０は、診断エンジン１４５を利用して診断しようとするデータ１３５を処理することで、分析エンジン１２５及び診断しようとするデータ１３５の少なくとも一方に関連する不確実性メトリック１５０を提供する。ここでの不確実性メトリック１５０は、分析エンジン１２５が診断しようとするデータ１３５を処理して得た予測結果についての確実度を示す。

【0032】

いくつかの実施例において、診断しようとするデータ１３５は、訓練データ１１５及び予測データ１２０の両方を含む。診断システム１４０によって特定された不確実性メトリック１５０は、モデルの不確実性メトリック、データの不確実性メトリック及び分布の不確実性メトリックの少なくとも一つを含んでもよい。

【0033】

モデルの不確実性メトリックは、少なくとも、分析エンジン１２５の複雑度と診断しようとするデータ１３５の規模との適合度による分析エンジン１２５のパフォーマンスへの影響を示す。例えば、モデルの不確実性メトリックは、訓練データ１１５の規模と分析エンジンの１２５の複雑度とが適合するか否かを示す。例えば、訓練データ１１５の規模が比較的大きいが、分析エンジン１２５に含まれるモデルが比較的簡単な場合に、適合度が悪いと見なす。

【0034】

データの不確実性メトリックは、少なくとも、診断しようとするデータ１３５の品質による分析エンジンのパフォーマンスへの影響を示す。例えば、診断しようとするデータ１３５の品質は、診断しようとするデータ１３５が予測しやすいか、多めなノイズを含むか、又は、多くのデータが紛失しているかなどの少なくとも一つを示してもよい。

【0035】

分布の不確実性メトリックは、少なくとも、予測データ１２０と訓練データ１１５との分布のマッチング度による分析エンジンのパフォーマンスへの影響を示す。例えば、分析エンジン１２５が訓練データ１１５で訓練されるため、予測データ１２０と訓練データ１１５との分布の差が大きい可能性がある。

【0036】

以下、ベイズニューラルネットワークを例として、モデルの不確実性メトリック、データの不確実性メトリック及び分布の不確実性メトリックを特定する過程を説明する。診断エンジン１４５に含まれるベイズニューラルネットワークモジュールについて、例えば、

で当該ベイズニューラルネットワークを表す。ただし、θは、当該ネットワークのパラメータを示し、ｘは、ネットワークに対する入力を示し、ｙ^は、当該ネットワークの出力を示す。

【0037】

なお、３種類の不確実性メトリックを分離するために、出力ｙの尤度関数は、以下の式で分解される。

（１）
ただし、ｘ^＊は、予測データ１２０におけるデータ項目を示し、Ｄは、訓練データ１１５を示し、式（１）における第３項目のp（θ｜Ｄ）は、モデルパラメータの事後分布を示す。また、φは、ｘ^＊がＤの分布に合うか否かを示し、公式（１）における第２項目のp（φ｜ｘ^＊，θ）がベルヌーイ分布を満たすと仮定し、φ＝１は、ｘ^＊がＤの分布に合うことを示し、φ＝０は、ｘ^＊がＤの分布に合わないことを示す。εは、データの不確実性を示し、式（１）における第４項目のｐ（ε｜Ｄ）は、εの事後分布を示す。式（１）における第１項目のp（ｙ｜φ，ε）は、出力ｙの分布を示す。

【0038】

いくつかの実施例において、診断エンジン１４５に含まれるベイズニューラルネットワークモジュールについて、ベイズニューラルネットワークは、データが特定の分布内にあるか否かを区別することができるために、
（１）ベイズニューラルネットワークは、分析エンジン１２５と同様に、データ予測を良好に実行することができるように訓練される。いくつかの実施例において、当該訓練の目標は、通常のベイズニューラルネットワークの目標関数を導入することで実現されることができる。
（２）ベイズニューラルネットワークは、さらに、入力データが訓練データＤの分布を満たすか否かを区別できるように訓練される。いくつかの実施例において、当該訓練の目標は、分布を満たした訓練データにランダムノイズを加えることでネガティブサンプルを構築し、そして、ポジティブサンプル及びネガティブサンプルの組み合わせで当該ベイズニューラルネットワークを訓練することにより実現されることができる。このようにして、ベイズニューラルネットワークは、ある入力データが特定の分布を満たすか否かを区別することができる。

【0039】

いくつかの実施例において、不確実性メトリックは、相互情報量（ＭＩ）、エントロピー、及び分散のうちの何れかで示されてもよい。絶対値で単独の不確実性を示すことに比較して、相互情報量は、モデルの不確実性メトリック、データの不確実性メトリック、及び分布の不確実性メトリックがお互いに存在し得る関連性をより良好に反映することができる。

【0040】

いくつかの実施例において、診断システム１４０は、診断エンジン１４５を利用して診断しようとするデータ１３５を処理することで、診断エンジン１４５についてのトータル不確実性メトリックを特定し、そして、トータル不確実性メトリックに基づいて、モデルの不確実性メトリック、データの不確実性メトリック及び分布の不確実性メトリックの少なくとも一つを提供することができる。具体的には、モデルの不確実性メトリックは、以下の式で特定されることができる。

（２）

【0041】

データの不確実性メトリックは、以下の式で特定される。

（３）

【0042】

分布の不確実性メトリックは、以下の式で特定される。

（４）

【0043】

式（２）乃至式（４）において、

は、ベイズニューラルネットワークのトータル不確実性メトリックを示し、式（２）における

は、ネットワークパラメータθが既知になった後の残りの不確実性メトリックを示し、式（３）における

は、データの不確実性情報が既知になった後の残りの不確実性メトリックを示し、式（４）における

は、データの分布情報が既知になった後の残りの不確実性メトリックを示す。

【0044】

式（２）乃至式（４）における各項目について、訓練データ１１５を利用してベイズニューラルネットワークの訓練が完成したら、p（ｙ｜φ，ε）、p（φ｜ｘ，θ）、q（θ｜Ｄ）及びp（ε｜Ｄ）は、特定されることができる。そして、式（１）における尤度関数の分解に基づいて、さらにp（ｙ｜Ｄ，θ）、p（ｙ｜Ｄ，φ）及びp（ｙ｜Ｄ，ε）を特定することができ、これにより、式（２）乃至式（４）でモデルの不確実性メトリック、データの不確実性メトリック及び分布の不確実性メトリックの値をそれぞれ特定することができる。

【0045】

いくつかの実施例において、診断システム１４０は、特定された不確実性メトリック１５０をデータ分析システム１１０へ送信し、これにより、データ分析システム１１０は、不確実性メトリック１５０に基づいて分析エンジン１２５及び診断しようとするデータ１３５の少なくとも一方を調整することができる。

【0046】

いくつかの実施例において、診断システム１４０は、さらに、分析エンジン１２５及び診断しようとするデータ１３５の少なくとも一方を調整する指示を提供することができる。上述したように、異なる不確実性メトリックは、それぞれ異なる要素によるモデル予測のパフォーマンスへの影響を示す。例えば、モデルの不確実性メトリックが比較的高いときに、診断システム１４０は、訓練データを増やす指示を提供することができる。データの不確実性メトリックが比較的高いときに、診断システム１４０は、例えば、診断しようとするデータを破棄する指示を提供することができる。分布の不確実性メトリックが比較的高いときに、診断システム１４０は、予測データ１２０を利用して分析エンジン１２５を再訓練する指示を提供することができる。いくつかの実施例において、診断システム１４０は、特定された不確実性メトリックと所定の閾値とを比較して、不確実性メトリックが所定閾値より大きい場合に上記指示を提供してもよい。

【0047】

いくつかの実施例において、診断システム１４０は、モデルの不確実性メトリック、データの不確実性メトリック及び分布の不確実性メトリックを比較することで最大値となる不確実性メトリックを選択し、当該タイプの不確実性メトリックに対応する指示を提供してもよい。例えば、データの不確実性メトリックが最も大きいときに、診断システム１４０は、訓練データを増やす指示を提供することができる。

【0048】

いくつかの実施例において、診断システム１４０は、さらに、訓練データ１１５に基づいて特定された不確実さと予測データ１２０に基づいて特定された不確実さとを比較することで、分析エンジン１２５及び診断しようとするデータ１３５の少なくとも一方を調整する指示を提供してもよい。具体的には、図４は、本開示の実施例に係る調整指示を提供する過程４００を示すフローチャートである。

【0049】

図４に示されるように、ブロック４０２において、診断システム１４０は、診断エンジン１４５を利用して訓練データ１１５を処理することで第１の不確実性メトリックを取得することができる。例えば、訓練データ１１５は、例えば、第１シーズンのデータであってもよく、診断システム１４０は、訓練データ１１５に基づいて、第１シーズンの訓練データに関するモデルの不確実性メトリックが０．６であり、データの不確実性メトリックが１．２であり、分布の不確実性メトリックが０．３であると特定することができる。

【0050】

ブロック４０４において、診断システム１４０は、診断エンジン１４５を利用して予測データ１２０を処理することで第２の不確実性メトリックを取得することができる。例えば、予測データ１２０は、予測すべき第２シーズンのデータであってもよく、診断システム１４０は、予測データ１２０に基づいて、第２シーズンの予測データに関するモデルの不確実性メトリックが０．５であり、データの不確実性メトリックが１．０であり、分布の不確実性メトリックが０．６であると特定することができる。

【0051】

ブロック４０６において、診断システム１４０は、第１の不確実性メトリックと第２の不確実性メトリックを比較することで、分析エンジン１２５及び診断しようとするデータ１３５の少なくとも一方を調整する指示を提供することができる。例えば、第１シーズンの訓練データに関する第１の不確実性メトリックと第２シーズンの予測データに関する第２の不確実性メトリックを比較することで、分布の不確実性メトリックの変化が最も大きい（０．３）ことがわかり、この時、診断システム１４０は、例えば、予測データ１２０を利用して分析エンジン１２５を再訓練する指示を提供することができる。

【0052】

いくつかの実施例において、診断エンジン１４５の入力は、異なる特徴にそれぞれに関連する複数のデータ項目を含む。例えば、家庭の消費電力を予測するシーンでは、訓練するためのデータ項目及び／又は予測するためのデータ項目は、例えば、異なる部屋（例えば、寝室、リビングルーム、キッチン等）の温度、異なる部屋（例えば、寝室、リビングルーム、キッチン等）の湿度、室外温度及び室外湿度等の、異なる特徴に関連する複数のデータ項目を含んでもよい。これらの異なるデータ項目は、例えば、異なる位置に置かれているセンサで収集される。

【0053】

いくつかの実施例において、診断システム１４０は、さらに、不確実性メトリックに基づいて、複数のデータ項目の少なくとも１つのデータ項目の不確実性メトリックへの貢献を特定してもよい。例えば、特定した不確実性メトリックｕについて、データ項目の不確実性メトリックへの貢献（以下、特徴の不確実性メトリックとも称される）は、微分することで以下のように特定されることができる。

（５）
ただし、ｕは、不確実性メトリックを示し、

は、ｉ個目の入力のうち、ｊ個目の特徴に関連するデータ項目を示す。各入力に基づいて特定された特定データ項目の不確実性メトリックへの貢献は、異なる可能性があるため、複数のデータ項目の少なくとも１つのデータ項目の不確実性メトリックへの貢献は、平均値を求めることで特定される。

（６）
ただし、Ｎは、入力の数を示す。例えば、データの不確実性メトリックの場合に、Ｎは、訓練サンプルの数を示してもよい。

【0054】

例えば、図５は、本開示の実施例に係る異なる特徴に関連するデータ項目の分布の不確実性メトリックへの貢献を示す模式図５００である。図５に示されるように、当該例において、診断エンジン１４５の入力は、２３個の特徴に関連するデータ項目を含み、各データ項目の分布の不確実性メトリックへの貢献５０２は、異なる可能性がある。例えば、当該例において、５個目の特徴に対応するデータ項目は貢献が最も大きい。

【0055】

いくつかの実施例において、診断システム１４０は、さらに、特定された少なくとも１つのデータ項目の不確実性メトリックへの貢献に基づいて、複数のデータ項目の少なくとも１つのデータ項目を調整する指示を提供することができる。例えば、図５の例において、診断システム１４０は、５個目の特徴に対応するデータ項目の貢献が最も大きいことに基づいて、５個目の特徴に対応するデータ項目を調整する、例えば、データ分析システム１１０に当該データ項目を削除、置換、又は調整させる指示を提供することができる。

【0056】

上述したデータ分析システムを診断する方法によれば、本開示の実施例は、分析エンジンに対応する診断エンジンを利用することで、モデル又は診断しようとするデータ（訓練データ及び予測データを含む）がデータ分析システムにおける分析エンジンによる予測の正確性へ与える影響を特定することができ、さらに、ユーザがデータ分析システムにおける適切なデータ分析モデルを選択すること、又は診断しようとするデータに存在し得る欠陥を特定することを支援することができる。なお、個別の診断エンジンを利用してデータ分析システムを診断することで、データ分析システムの正常な稼働が影響され得る場合に、開発者に対してデータ分析システムの診断アドバイスを提供することができる。

【0057】

データ分析システムの最適化
本開示の他の局面によれば、本開示の実施例は、さらに、データ分析システムを最適化する方法を提供する。図６は、本開示のいくつかの実施例に係るデータ分析システムを最適化する過程６００を示すフローチャートである。過程６００は、図１のデータ分析システム１１０によって実現されることができる。説明の便宜上、図１を参照して過程６００を説明する。

【0058】

ブロック６０２において、データ分析システム１１０は、データ分析システム１１０における分析エンジン１２５に関する情報１３０及び分析エンジン１２５に関連する診断しようとするデータ１３５を診断システム１４０へ提供し、診断しようとするデータ１３５は、分析エンジン１２５のための訓練データ１１５及び予測データ１２０の少なくとも一方を含む。上記した過程２００におけるブロック２０２を参照して説明したように、いくつかの例において、データ分析システム１１０は、有線ネットワーク又は無線ネットワークを経由して診断システム１４０に情報１３０及び診断しようとするデータ１３５を提供することができる。オプションとして、データ分析システム１１０及び診断システム１４０は、例えば、同じクラウドプラットフォーム上にデプロイされ、診断システム１４０がクラウドプラットフォームから情報１３０及び診断しようとするデータ１３５を取得してもよい。

【0059】

ブロック６０４において、データ分析システム１１０は、診断システム１４０から分析エンジン１２５及び診断しようとするデータ１３５の少なくとも一方に関連する不確実性メトリック１５０を受信し、不確実性メトリック１５０は、分析エンジン１２５が診断しようとするデータ１３５を処理して得た予測結果の確実度を示す。上述したように、図２乃至図５を参照して不確実性メトリック１５０を特定する過程を既に説明したが、データ分析システム１１０は、診断システム１４０から不確実性メトリック１５０を受信することができる。

【0060】

ブロック６０６において、データ分析システム１１０は、不確実性メトリック１５０に基づいて、分析エンジン１２５及び診断しようとするデータ１３５の少なくとも一方を更新する。

【0061】

いくつかの実施例において、方法６００は、さらに、ブロック６０８を含み、該ブロックにおいて、データ分析システム１１０は、更新された分析エンジン１２５を利用してデータ分析を行うことができる。具体的には、データ分析システム１１０は、新たな分析すべきデータを受信し、そして、更新された分析エンジン１２５を利用して新たな分析すべきデータを処理し、これにより、新たな分析すべきデータに対する予測を提供する。

【0062】

いくつかの実施例において、受信した不確実性メトリック１５０は、モデルの不確実性メトリックを含み、モデルの不確実性メトリックは、少なくとも、分析エンジンの複雑度と診断しようとするデータの規模との適合度による分析エンジンのパフォーマンスへの影響を示す。いくつかの実施例において、データ分析システム１１０は、モデルの不確実性メトリックと所定の閾値とを比較してもよい。モデルの不確実性メトリックが所定の閾値より大きいと特定すると、データ分析システム１１０は、追加した訓練データを利用して分析エンジン１２５を訓練することで、分析エンジン１２５を更新する。このようにして、モデルの不確実性による分析エンジン１２５のパフォーマンスへの影響を低減することができる。

【0063】

いくつかの実施例において、受信した不確実性メトリックは、データの不確実性メトリックを含み、データの不確実性メトリックは、少なくとも、診断しようとするデータ１３５の品質による分析エンジン１２５のパフォーマンスへの影響を示す。いくつかの実施例において、データ分析システム１１０は、データの不確実性メトリックと所定の閾値とを比較してもよい。データの不確実性メトリックが所定の閾値より大きいと特定すると、データ分析システム１１０は、訓練データの品質を確保するために、例えば、診断しようとするデータ１３５に対して、データを破棄するように対処してもよい。

【0064】

いくつかの実施例において、受信した不確実性メトリックは、分布の不確実性メトリックを含み、分布の不確実性メトリックは、少なくとも、予測データと訓練データの分布とのマッチング度による分析エンジンのパフォーマンスへの影響を示す。いくつかの実施例において、データ分析システム１１０は、分布の不確実性メトリックと所定の閾値とを比較してもよい。分布の不確実性メトリックが所定の閾値より大きいと特定すると、データ分析システム１１０は、予測データ１２０を利用して分析エンジン１２５を再訓練することで、分析エンジン１２５に予測データ１２０を正確に分析する能力を持たせることができる。

【0065】

いくつかの実施例において、上記したように、データ分析システム１１０、さらに、受信した不確実性メトリックから特徴の不確実性メトリックを特定することができ、当該不確実性メトリックは、複数のデータ項目の少なくとも１つの不確実性メトリックへの貢献を示し、分析エンジンの入力は、異なる特徴にそれぞれに関連する複数のデータ項目を含む。特徴の不確実性メトリックを特定することは、式（５）及び式（６）について説明した過程を参照することができ、ここで、詳しく説明しない。いくつかの実施例において、データ分析システム１１０は、受信した特徴の不確実性メトリックと所定の閾値とを比較してもよい。そして、特徴の不確実性メトリックが所定の閾値より大きいと、データ分析システム１１０は、分析エンジンの入力に対してより多くのデータ項目を追加すること、特徴に対応するデータ項目の属性（例えば、粒度）を変更すること、少なくとも１つのデータ項目を使用しないことのうち、少なくとも一つを実行する。例えば、図５の例において、データ分析システム１１０は、診断システム１４０から５個目の特徴に対応する特徴の不確実性メトリックを受信し、それが閾値より大きいと特定すると、例えば、予測データ１２０のうち、５個目の特徴に対応するデータ項目を破棄、又は置換し、これにより、当該特徴の分析エンジン１２５パフォーマンスへの影響を低減することができる。

【0066】

上述したデータ分析システムを最適化する方法によれば、本開示の実施例は、分析エンジンによって特定された不確実性メトリックに基づいて、分析エンジンを更新し、データ分析システムのパフォーマンスを改善する。

【0067】

例示的な応用
応用１：クレジットカード詐欺分析システム
上記したデータ分析システムを診断・最適化する方法は、クレジットカード詐欺を予測するためのデータ分析システムに適用されることができる。例えば、クレジットカード詐欺分析システムは、２５個の特徴に関連するデータ項目の＜特徴例＞の入力を受信するための分析エンジンを含み、そして、詐欺であるか否かについての予測を提供することができる。１つの具体例において、当該分析エンジンは、３層のＭＬＰから構成されるニューラルネットワークを含み、各層の隠れユニットの数は、それぞれ、４５個、１３５個及び４０５個である。

【0068】

ベイズ推定で当該ニューラルネットワークをベイズニューラルネットワークに変換することで、分析エンジンは、異なる訓練データの規模に対応するモデルの不確実性を特定することができる。例えば、図７Ａは、モデルの不確実性メトリックが訓練データの規模に従って変化するトレンド図７００Ａを示し、図面からわかるように、訓練データが増大するにつれて、全体的にモデルの不確実性メトリックが減少するトレンドがある。従って、当該トレンドは、開発者が訓練データの規模を増やす要否、又はニューラルネットワークの複雑度を低減する要否を判定することを補助することができる。

【0069】

また、図７Ｂは、さらに、異なる特徴の分布の不確実性メトリックへの貢献（特徴の不確実性メトリック）の模式図７００Ｂを示し、図７００Ｂからわかるように、３個目の特徴に関連する特徴の不確実性メトリックが最も大きいため、当該データは、開発者に３個目の特徴に対応するデータ項目の収集が故障しているか、及び３個目の特徴に対応するデータ項目を置換又は補正する必要があるか等をチェックさせることを指示することができる。

【0070】

本開示におけるデータ分析システムを診断・最適化する方法によれば、クレジットカード詐欺分析システムの現在のパフォーマンスのボトルネックを特定するとともに、それに応じて当該データ分析システムのパフォーマンスを向上させることができる。

【0071】

応用２：チャネルサブスクリプション分析システム
上記したデータ分析システムを診断・最適化する方法は、チャネルサブスクリプションを予測するためのデータ分析システムに適用されることができる。例えば、チャネルサブスクリプション分析システムは、２３個の特徴に関連するデータ項目の入力を受信するための分析エンジンを含み、そして、ユーザが当該チャネルを購読するか否かについての予測を提供することができる。１つの具体例において、当該分析エンジンは、２層のＭＬＰから構成されるニューラルネットワークを含み、各層の隠れユニットの数は、それぞれ、１２個及び１２個である。

【0072】

ベイズ推定で当該ニューラルネットワークをベイズニューラルネットワークに変換することで、分析エンジンは、異なる訓練データの規模に対応するモデルの不確実性を特定することができる。例えば、図７Ｃは、モデルの不確実性メトリックが訓練データの規模に従って変化するトレンド図７００Ｃを示し、図面からわかるように、訓練データが増大するにつれて、全体的にモデルの不確実性メトリックが減少するトレンドがある。従って、当該トレンドは、開発者が訓練データの規模を増やす要否、又はニューラルネットワークの複雑度を低減する要否を判定することを補助することができる。

【0073】

また、図７Ｄは、さらに、異なる特徴の分布の不確実性メトリックへの貢献（特徴の不確実性メトリック）の模式図７００Ｄを示し、図７００Ｄからわかるように、５個目の特徴に関連する特徴の不確実性メトリックが最も大きいため、当該データは、開発者に５個目の特徴に対応するデータ項目の収集が故障しているか、及び５個目の特徴に対応するデータ項目を置換又は補正する必要があるか等をチェックさせることを指示することができる。

【0074】

本開示におけるデータ分析システムを診断・最適化する方法によれば、チャネルサブスクリプション分析システムの現在のパフォーマンスのボトルネックを特定するとともに、それに応じて当該データ分析システムのパフォーマンスを向上させることができる。

【0075】

応用３：ショッピング費用分析システム
上記したデータ分析システムを診断・最適化する方法は、ショッピング費用を予測するためのデータ分析システムに適用されることができる。例えば、ショッピング費用分析システムは、９個の特徴に関連するデータ項目の入力を受信するための分析エンジンを含み、そして、ユーザが例えばショッピングプロモーションでどれぐらいの出費をするかについての予測を提供することができる。１つの具体例において、当該分析エンジンは、２層のＭＬＰから構成されるニューラルネットワークを含み、各層の隠れユニットの数は、それぞれ、１２８個及び２５６個である。

【0076】

ベイズ推定で当該ニューラルネットワークをベイズニューラルネットワークに変換することで、分析エンジンは、異なる訓練データの規模に対応するモデルの不確実性を特定することができる。例えば、図７Ｅは、モデルの不確実性メトリックが訓練データの規模に従って変化するトレンド図７００Ｅを示し、図面からわかるように、訓練データが増大するにつれて、全体的にモデルの不確実性メトリックが減少するトレンドがある。従って、当該トレンドは、開発者が訓練データの規模を増やす要否、又はニューラルネットワークの複雑度を低減する要否を判定することを補助することができる。

【0077】

また、図７Ｆは、さらに、異なる特徴の分布の不確実性メトリックの貢献（特徴の不確実性メトリック）の模式図７００Ｆを示し、図７００Ｆからわかるように、１個目の特徴に関連する特徴の不確実性メトリックが最も大きいため、当該データは、開発者に１個目の特徴に対応するデータ項目の収集が故障しているか、及び１個目の特徴に対応するデータ項目を置換又は補正する必要があるか等をチェックさせることを指示することができる。

【0078】

本開示におけるデータ分析システムを診断・最適化する方法によれば、ショッピング費用分析システムの現在のパフォーマンスボトルネックを特定するとともに、それに応じて当該データ分析システムのパフォーマンスを向上させることができる。

【0079】

上記のように、例として挙げられた具体的なデータ分析システムは例示的なものにすぎず、本開示を限定するものではないと理解すべきである。本開示に係るデータ分析システムを診断・最適化する技術案は、任意の適切なデータ分析システムに適用されることができる。

【0080】

例示的なデバイス
図８は、本開示内容の実施例を実施する例示的なデバイス８００を模式的に示すブロック図である。例えば、図１に示したデータ分析システム１１０、診断分析システム１４０、分析エンジン１２５及び／又は診断エンジン１４５は、デバイス８００によって実施されることができる。図面に示されるように、デバイス８００は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２に記憶されたコンピュータプログラム命令或いは記憶ユニット８０８からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３にロードされたコンピュータプログラム命令に基づいて、各種の適切な動作及び処理を実行できるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１を含む。ＲＡＭ８０３には、さらに、デバイス８００が操作するために必要な各種のプログラム及びデータが記憶されてもよい。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介してお互いに接続されている。入出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続されている。

【0081】

デバイス８００の複数の部件、例えば、キーボードや、マウスなどの入力ユニット８０６と、例えば各種のタイプのディスプレイや、スピーカーなどの出力ユニット８０７と、例えば磁気ディスクや、光ディスクなどの記憶ユニット８０８と、例えばネットワークアダプタ、モデム、無線通信トランシーバーなどの通信ユニット８０９とは、Ｉ／Ｏインターフェース８０５に接続される。デバイス８００は、通信ユニット８０９により、例えばインターネットのコンピュータネットワーク及び／又は各種の通信ネットワークを介して、他のデバイスと情報／データを交換することができる。

【0082】

例えば、過程２００及び／又は過程６００などの、上記した各々の過程及び処理は、処理ユニット８０１によって実行されることができる。例えば、いくつかの実施例において、過程２００及び／又は過程６００は、コンピュータのソフトウェアのプログラムとして実現でき、例えば記憶ユニット８０８の機械読み取り可能な媒体に有形に含まれている。いくつかの実施例において、コンピュータプログラムの一部或いは全部はＲＯＭ８０２及び／又は通信ユニット８０９を介してデバイス８００にロード、及び／又はインストールされる。コンピュータプログラムがＲＡＭ８０３にロードされてＣＰＵ８０１によって実行されると、上述した過程２００及び／又は過程６００の１つ或いは複数の動作を実行することができる。

【0083】

本開示は、方法、装置、システム及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、本開示の各々の形態を実行するためのコンピュータ読み取り可能なプログラム命令が格納されたコンピュータ読み取り可能な記憶媒体を含んでもよい。

【0084】

コンピュータ読み取り可能な記憶媒体は、命令実行装置に用いられる命令を保持して記憶する物理装置であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば電気記憶装置、磁気記憶装置、光記憶装置、電磁気記憶装置、半導体記憶装置、或いは上記装置の任意の適切な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（完全に網羅していないリスト）は、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ又はフラッシュメモリ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリースティック、フロッピーディスク、機械式エンコーダ、例えば命令が記憶されたパンチカード又は凹溝内の凸構造、及び上記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、例えば無線電波或いは他の伝送自在の電磁波、導波管又は他の伝送媒体を介して伝送される電磁波（例えば、光ファイバーケーブルによる光パルス）、或いはワイヤーを介して伝送される電気信号の、一時的な信号自身として解釈されるべきではない。

【0085】

ここで説明したコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各々の計算／処理デバイスにダウンロードされ、或いは例えばインターネット、ＬＡＮ、ＷＡＮ及び／又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードされる。ネットワークは、銅線伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバーを含んでもよい。各計算／処理デバイスにおけるネットワークアダプターカード或いはネットワークインターフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、転送する。これにより、当該コンピュータ読み取り可能なプログラム命令は、各々の計算／処理デバイスにおけるコンピュータ読み取り可能な記憶媒体に記憶される。

【0086】

本開示の操作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令集アーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、或いは１種類又は数種類のプログラミング言語の任意組み合わせによってプログラミングされたソースコードまたはオブジェクトコードであってもよく、前記プログラミング言語は、例えばＳｍａｌｌｔａｌｋ、Ｃ＋＋等などの対象向けのプログラミング言語、及び例えば「Ｃ」言語又は類似のプログラミング言語などの通常の手続き型プログラミング言語を含む。コンピュータ読み取り可能なプログラム命令は、その全部がユーザのコンピュータで実行されてもよく、その一部がユーザのコンピュータで実行されてもよく、１つの独立なソフトウェアパッケージとして実行されてもよく、その一部がユーザのコンピュータで実行され、かつ一部がリモートコンピュータで実行されてもよく、或いはその全部がリモートコンピュータ又はサーバーで実行されてもよい。リモートコンピュータの場合、リモートコンピュータは、ＬＡＮ又はＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続され、或いは、外部コンピュータに（例えばインターネットサービスプロバイダーによってインターネットを介して）接続されることができる。いくつの実施例において、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、コンピュータ読み取り可能なプログラム命令を実行可能であるように、例えばプログラマブルロジック回路、ＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）などの電子回路をカスタマイズすることで、本開示の様々な態様を実現する。

【0087】

ここで、本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら本開示の各々の態様を説明した。フローチャート及び／又はブロック図の各グロック、及びそれぞれの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現されることができると理解すべきである。

【0088】

これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置の処理ユニットに提供されることができるため、これらの命令がコンピュータ又は他のプログラマブルデータ処理装置の処理ユニットによって実行されることで、フローチャート及び／又はブロック図における１つ又は複数のグロックにおける所定の機能／動作を実現する装置を構成する機械を生産する。これらのコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体に記憶されて、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスに特定な形態で稼働させることができるため、命令が記憶されているコンピュータ読み取り可能な媒体は、フローチャート及び／又はブロック図における１つ又は複数のグロックにおける所定の機能／動作の各々の態様を実現する命令を含む製造品に構成される。

【0089】

コンピュータ読み取り可能なプログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードすることで、コンピュータ、他のプログラマブルデータ処理装置又は他のデバイスにおいて一連の操作ステップが実行されて、コンピュータによるプロセスが生じることにより、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにおいて実行される命令が、フローチャート及び／又はブロック図における１つ又は複数のグロックにおける所定の機能／動作を実現してもよい。

【0090】

図面におけるフローチャート及びブロック図は、本開示に係る複数の実施例のシステム、方法、及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示した。この点について、フローチャート又はブロック図における各ブロックは、所定のロジック機能を実現するための１つ又は複数の実行可能命令を含む１つのモジュール、プログラムセグメント又は命令の一部を代表する。いくつかの代替的なものとして、ブロックにマークされた機能は、図面に示された順番と異なる順番で作用してもよい。例えば、２つの連続するブロックは、実際にほぼ並行に実行し、かかる機能によっては逆な順番で実行することもある。ブロック図及び／又はフローチャートにおける各ブロック、及びそれぞれの組み合わせは、所定の機能又は動作を実行する専用のハードウェアによるシステムによって実現され、或いは専用ハードウェア及びコンピュータ命令の組み合わせよって実現されてもよい。

【0091】

以上、既に本開示の各実施的形態を説明したが、上記説明は例示的なものであり、挙げられた事項が全てではなく、かつ開示した各実施的形態を限定するためのものではない。説明した各実施的形態の範囲及び主旨を逸脱しないかぎり、様々な補正及び変更は当業者にとって自明である。本明細書に使用された用語は、各実施的形態の原理を最適に解釈し、実際の応用又は市場における技術上の改善、或いは当業者が本開示の各実施的形態を理解できるように選択された。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図8】