(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-19
(54)【発明の名称】予測モデルの予測出力の信頼性を決定するためのコンピュータ化された方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20241212BHJP
G06N 5/045 20230101ALI20241212BHJP
G06N 3/08 20230101ALI20241212BHJP
【FI】
G06N20/00
G06N5/045
G06N3/08
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024539346
(86)(22)【出願日】2022-12-28
(85)【翻訳文提出日】2024-06-27
(86)【国際出願番号】 EP2022087967
(87)【国際公開番号】W WO2023126448
(87)【国際公開日】2023-07-06
(32)【優先日】2021-12-30
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】522173055
【氏名又は名称】ウモン・ヘルステック
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ナタン・ヴァンソン
(72)【発明者】
【氏名】ルイ-オスカル・モレル
(57)【要約】
機械学習された、または深層学習された少なくとも1つの第1の予測モデルの予測出力の信頼性を決定するためのコンピュータ化された方法は、予測モデルコンピュータ化モジュールが、少なくとも1つの第1の予測モデルに従って予測出力を取得するための少なくとも1つの第1の予測モデルと、少なくとも1つの他の予測モデルに従って予測出力を取得するための少なくとも1つの他の予測モデルとを実行するステップと、類似性コンピュータ化モジュールが、少なくとも1つの第1の予測モデルの予測出力と少なくとも1つの他の予測モデルの予測出力との間の類似性スコアを決定するために類似性スコアリング方法を実行するステップと、信頼性コンピュータ化モジュールが、決定された類似性スコアに基づいて、少なくとも1つの第1の予測モデルの予測出力の信頼性を決定する信頼性モデルを実行するステップとを有する。
【特許請求の範囲】
【請求項1】
機械学習された、または深層学習された少なくとも1つの第1の予測モデルの予測出力の信頼性を決定するためのコンピュータ化された方法であって、
- 予測モデルコンピュータ化モジュールが、
- 前記少なくとも1つの第1の予測モデルに従って予測出力を取得するための前記少なくとも1つの第1の予測モデルと、
- 少なくとも1つの他の予測モデルに従って予測出力を取得するための前記少なくとも1つの他の予測モデルと
を実行するステップと、
- 類似性コンピュータ化モジュールが、
- 前記少なくとも1つの第1の予測モデルの前記予測出力と、
- 前記少なくとも1つの他の予測モデルの前記予測出力と
の間の類似性スコアを決定するために類似性スコアリング方法を実行するステップと、
- 信頼性コンピュータ化モジュールが、決定された前記類似性スコアに基づいて、前記少なくとも1つの第1の予測モデルの前記予測出力の信頼性を決定する信頼性モデルを実行するステップと
を有する、方法。
【請求項2】
前記少なくとも1つの第1の予測モデルおよび前記少なくとも1つの他の予測モデルの前記予測出力が、
- 単体確率ベクトル、
- 1次元のベクトル、または、
- N次元のベクトル
のうちの1つのタイプの予測ベクトルである、請求項1に記載の方法。
【請求項3】
前記類似性スコアリング方法が、
- コサイン距離法、
- カルバック-ライブラー情報量法、
- 最高確率クラス法の等価性、
- 推定ディリクレ法の分散、または、
- 情報半径法
のうちの1つの方法である、請求項1または2のいずれか一項に記載の方法。
【請求項4】
- 前記少なくとも1つの第1の予測モデルと、
- 前記少なくとも1つの他の予測モデルであって、機械学習された、または深層学習された個別予測モデルである、前記少なくとも1つの他の予測モデルと
によって決定される、予測出力の信頼性を決定し、前記方法が、
- 前記信頼性コンピュータ化モジュールが、決定された前記類似性スコアに基づいて、前記予測出力の前記信頼性を決定する前記信頼性モデルを実行するステップを有する、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記少なくとも1つの第1の予測モデルと前記少なくとも1つの他の予測モデルとが異なるモデルアーキテクチャを有する、請求項4に記載の方法。
【請求項6】
集約コンピュータ化モジュールが、前記予測出力を集約された予測出力に集約するステップをさらに有する、請求項4または5に記載の方法。
【請求項7】
前記集約コンピュータ化モジュールが、
- 過半数の投票、
- 加重投票、
- ベイズ法、または
- 情報検索方法
などの真実発見法を使用して、前記予測出力を集約された予測出力に集約する、請求項6に記載の方法。
【請求項8】
前記少なくとも1つの第1の予測モデルおよび前記少なくとも1つの他の予測モデルが、1つまたは複数の測定または獲得システムによって行われた測定または獲得からの入力データに実行される、請求項1から7のいずれか一項に記載の方法。
【請求項9】
信頼性モデルのコンピュータ化されたトレーニング方法であって、前記信頼性モデルが機械学習された、または深層学習された予測モデルであり、前記トレーニング方法が、
i 予測コンピュータ化モジュールが、予測出力を取得するためにトレーニングデータセットに複数の予測モデルを実行するステップと、
ii 類似性コンピュータ化モジュールが、取得された前記予測出力の間の類似性スコアを決定するために類似性スコアリング方法を実行するステップと、
iii 決定された前記類似性スコアを備える信頼性モデルトレーニングデータセットを取得するために、各反復において、異なるトレーニングデータセットを使用してステップiおよびステップiiを反復するステップであって、各類似性スコアが信頼できるかどうかにラベル付けされる、ステップと、
iv 較正コンピュータ化モジュールが、教師ありトレーニングに従って、前記信頼性モデルトレーニングデータセットを使用して、母集団レベルおよび/または単一画像レベルにおいて前記信頼性モデルを較正するステップと
を有する、トレーニング方法。
【請求項10】
ステップiのすべての前記トレーニングデータセットが、請求項1に記載の方法において前記第1の予測モデルをトレーニングするために使用される任意のデータセットとは異なり、および、該当する場合には、請求項4に記載の方法において前記複数の予測モデルのうちのいずれかをトレーニングするために使用される任意のデータセットとは異なる、請求項9に記載のトレーニング方法。
【請求項11】
ステップiiiの前記異なるトレーニングデータセットが、ノイズ、ブラー、および/またはアンコントラストなどの、ステップiの前記トレーニングデータセットに対するデータ破壊によって取得される、請求項9または10に記載のトレーニング方法。
【請求項12】
ブートストラップコンピュータ化モジュールが、前記信頼性モデルに、ブートストラップおよび/または正則化方法を実行するステップをさらに有する、請求項9から11のいずれか一項に記載のトレーニング方法。
【請求項13】
請求項1から12のいずれか一項に記載の方法を実施するシステムを制御するためのコンピュータ化された方法であって、前記予測出力に基づいてシステムを制御するステップをさらに有する、コンピュータ化された方法。
【請求項14】
機械学習された、または深層学習された少なくとも1つの第1の予測モデルの予測出力の信頼性を決定するためのコンピュータ化されたシステムであって、
- 予測コンピュータ化モジュールであって、
- 前記少なくとも1つの第1の予測モデルに従って予測出力を取得するための前記少なくとも1つの第1の予測モデルと、
- 少なくとも1つの他の予測モデルに従って予測出力を取得するための前記少なくとも1つの他の予測モデルと
を実行するように適合された、予測コンピュータ化モジュールと、
- 類似性コンピュータ化モジュールであって、
- 前記少なくとも1つの第1の予測モデルの前記予測出力と、
- 前記少なくとも1つの他の予測モデルの前記予測出力と
の間の類似性スコアを決定するために類似性スコアリング方法を実行するように適合された、類似性コンピュータ化モジュールと、
- 決定された前記類似性スコアに基づいて、前記少なくとも1つの第1の予測モデルの前記予測出力の信頼性を決定する信頼性モデルを実行するように適合された信頼性コンピュータ化モジュールと
を備える、コンピュータ化されたシステム。
【請求項15】
機械学習された、または深層学習された少なくとも1つの第1の予測モデルの予測出力の信頼性を決定するためのコンピュータプログラムであって、前記コンピュータプログラムが、プロセッサ上で実行されると、前記プロセッサに、請求項1から13のいずれか一項に記載の方法を実施させるように適合される、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータ化されたモジュールによって実行される予測アルゴリズムまたはモデルの分野に関し、特に、機械学習された、または深層学習された予測モデルの分野に関する。
【0002】
本発明は、医学の分野に特定の用途を見出すが、これに限定されるものではない。
【背景技術】
【0003】
機械学習された、または深層学習されたネットワークまたはモデルは強力なブラックボックスであり、最近では幅広いタスクで優れたパフォーマンスを達成している。
【0004】
それらのブラックボックスは、予測における優れた結果のおかげで、業界において様々な用途でますます使用されている。しかしながら、それらの結果の意味、および/またはそれらの結果を取得するためのモデルのプロセスを理解する必要がある。したがって、そのような用途の動作上の受入れ可能性は、主に、それらのモデルによって生成された結果の意味と特性を理解するために、エンジニアおよび意思決定者の能力によって条件付けされる。
【0005】
さらに、モデルの解釈可能性と説明可能性の問題を超えて、それらのモデルの結果の不確実性もまた重要な点である。実際、機械学習された、または深層学習されたネットワークまたはモデルは、予測の不確実性を定量化することが苦手であり、予測を過信する傾向がある。
【0006】
したがって、高い精度を達成することに加えて、信頼できる不確実性の推定値を取得することも重要であり、これは、たとえ完全に理解できていなくても、モデルの予測が信用できるかどうかを決定するために役立つ。機械学習された、または深層学習されたネットワークまたはモデルにおける予測または予測の不確実性を定量化することは困難であり、未解決の問題である。
【発明の概要】
【発明が解決しようとする課題】
【0007】
したがって、機械学習された、または深層学習されたモデルの結果の信頼性を評価する必要がある。
【課題を解決するための手段】
【0008】
したがって、本発明は、機械学習された、または深層学習された少なくとも1つの第1の予測モデルの予測出力の信頼性を決定するためのコンピュータ化された方法に関し、本方法は、
- 予測モデルコンピュータ化モジュールが、
- 少なくとも1つの第1の予測モデルに従って予測出力を取得するための少なくとも1つの第1の予測モデルと、
- 少なくとも1つの他の予測モデルに従って予測出力を取得するための少なくとも1つの他の予測モデルと
を実行するステップと、
- 類似性コンピュータ化モジュールが、
少なくとも1つの第1の予測モデルの予測出力と、
少なくとも1つの他の予測モデルの予測出力と
の間の類似性スコアを決定するために類似性スコアリング方法を実行するステップと、
- 信頼性コンピュータ化モジュールが、決定された類似性スコアに基づいて、少なくとも1つの第1の予測モデルの予測出力の信頼性を決定する信頼性モデルを実行するステップとを有する。
【0009】
第1の予測モデルおよび少なくとも1つの他の予測モデルは、入力画像に実行される。
【0010】
本方法のおかげで、この機械学習されたモデル(ここでは、第1の予測モデル)を説明および/または解釈することができない場合でも、機械学習されたモデルの出力の信頼性を決定することができる。
【0011】
本方法により、ランダムな不確実性に加えて認識論的な不確実性に従って、モデルの信頼性を推定することができる。
【0012】
したがって、本方法により、その出力の信頼性の決定により、機械学習されたモデルの能力の限界を識別することができる。
【0013】
信頼性の決定により、意思決定者は機械学習されたモデルの出力を使用するかどうかを決定しやすくなる。
【0014】
実際、一例として、機械学習されたモデルの出力は、別のコンピュータ化されたモジュールの入力であり得る。たとえ入力データが入れられるコンピュータ化されたモジュールがよく考えられていたとしても、欠陥のある入力データまたは無意味な入力データは無意味な出力を生成することを知っているので、本方法はコンピュータ化されたモジュールを実行するあらゆるシステムの改善を提供する。
【0015】
さらに、機械学習されたモデルのトレーニング段階の間、本方法は、過学習を警告することができる(過去のすべてのトレーニングデータに適合するように考えられた、不適切で過度に複雑な理論に落ち着くことは、過学習として知られている)。
【0016】
好ましくは、モデルは医用画像に実行される。
【0017】
それらの医用画像は、患者の生物学的特徴の測定値を表すことができる。したがって、この測定値は入力測定値であり、対応する生物学的特徴が入力特徴である。
【0018】
それ以外の場合、医用画像は生体サンプルを表すことができ、この場合、このサンプルは入力生体サンプルである。
【0019】
したがって、モデルは、入力生物学的特性または入力サンプルの入力測定値を表す入力画像を入力として有する。
【0020】
好ましくは、少なくとも1つの第1の予測モデルおよび少なくとも1つの他の予測モデルの出力は、以下の種類のうちの1つの予測ベクトルである。
- 単体確率ベクトル(マルチクラス)、
- 1次元の確率ベクトル、または、
- N次元の確率ベクトル。
【0021】
好ましくは、類似性スコアリング方法は、以下の方法のうちの1つである。
- コサイン距離法、
- カルバック-ライブラー情報量法、
- 最高確率クラス法の等価性、
- 推定ディリクレ法の分散、または、
- 情報半径法。
【0022】
本発明はまた、
- 少なくとも1つの第1の予測モデルと、
- 少なくとも1つの他の予測モデルであって、機械学習された、または深層学習された個別予測モデルである、少なくとも1つの他の予測モデルと
によって決定される、予測出力の信頼性を決定する方法に関し、本方法は、
- 信頼性コンピュータ化モジュールが、決定された類似性スコアに基づいて、予測出力の信頼性を決定する信頼性モデルを実行するステップを有する。
【0023】
すべての予測モデルが同様の予測を決定するために考えられている場合、すなわち、基本的に、すべての予測モデルが同じ入力データセットに基づいて同じ質問に答えるように考えられている場合、本方法は、機械学習されたモデルが説明できない、および/または解釈できない場合でも、出力の信頼性を決定し、次いで、決定された信頼性に従って、出力を使用する(または、使用しない)か、出力に基づいて意思決定を行う(または、行わない)ことができる。
【0024】
好ましくは、少なくとも1つの第1の予測モデルと少なくとも1つの他の予測モデルは異なるアーキテクチャを有する。モデルのアーキテクチャは、モデルの基本的な数学的構造および/またはソフトウェア構造を指す。各モデルアーキテクチャは、数学的構造および/またはソフトウェア構造の利点と制限に関係する特定の利点、および欠点、バイアス、制限を有する。
【0025】
したがって、各モデルは異なるアーキテクチャを有し、取得される出力は同じ制限/バイアスの影響を受けない。
【0026】
好ましくは、集約コンピュータ化モジュールは、予測出力を集約された予測出力に集約する。
【0027】
したがって、信頼性または信用性を決定するための固有の出力が存在する。さらに、少なくとも1つの第1の予測モデルと少なくとも1つの他の予測モデルが異なるアーキテクチャを有する場合、集約された出力は、複数の異なるモデルを実行することによって取得された予測出力のすべての利点と制限を組み合わせたものである。
【0028】
好ましくは、集約コンピュータ化モジュールは、
- 過半数の投票、
- 加重投票、
- ベイズ法、または
- 情報検索方法
などの真実発見法を使用して、予測出力を集約された予測出力に集約する。
【0029】
好ましくは、少なくとも1つの第1の予測モデルおよび少なくとも1つの他の予測モデルは、1つまたは複数の測定または獲得システムによって行われた測定または獲得からの入力データに実行される。
【0030】
好ましくは、信頼性モデルは、
- 多項ロジスティック回帰モデル、
- 多項線形回帰モデル、または、
- 素朴なベイズモデル
などの機械学習された、または深層学習された予測モデルである。
【0031】
本発明はまた、信頼性モデルのコンピュータ化されたトレーニング方法に関し、信頼性モデルは機械学習された、または深層学習された予測モデルであり、本方法は、
i 予測コンピュータ化モジュールが、予測出力を取得するためにトレーニングデータセットに複数の予測モデルを実行するステップと、
ii 類似性コンピュータ化モジュールが、取得された予測出力の間の類似性スコアを決定するために類似性スコアリング方法を実行するステップと、
iii 決定された類似性スコアを備える信頼性モデルのトレーニングデータセットを取得するために、各反復において、異なるトレーニングデータセットを使用してステップiおよびステップiiを反復するステップであって、各類似性スコアが信頼できるかどうかにラベル付けされる、ステップと、
iv 較正コンピュータ化モジュールが、教師ありトレーニングに従って、信頼性モデルトレーニングデータセットを使用して、母集団レベルおよび/または単一画像レベルにおいて信頼性モデルを較正するステップとを有する。
【0032】
好ましくは、ステップiのすべてのトレーニングデータセットは、第1の予測モデルをトレーニングするために使用される任意のデータセットとは異なり、および、該当する場合には、複数の予測モデルのうちのいずれかをトレーニングするために使用される任意のデータセットとは異なる。
【0033】
好ましくは、ステップiiiの異なるトレーニングデータセットは、ノイズ、ブラー、および/またはアンコントラストなどの、ステップiのトレーニングデータセットに対するデータ破壊によって取得される。
【0034】
データ破壊は古典的な拡張方法ではなく、センサまたは画像キャプチャシステムなどの獲得システムによって測定またはキャプチャされたデータとは異なる、新しいデータを生成するための新しい方法であり、特に、より広範囲のパフォーマンススコアに基づいて較正方法をトレーニングできるようにするためのものである。
【0035】
実際、本発明の目的は、第1の予測モデルに従って予測出力の信頼性を評価することである。
【0036】
ただし、このトレーニングデータセット上で十分な精度を得るために、予測モデルはトレーニングデータセット上でトレーニングされる。したがって、第1の予測モデルによる予測出力は、トレーニングデータセットに近いデータセットに実行された場合に正確であることが期待される。したがって、そのような場合、本発明による信頼性を決定する方法は、予測出力が信頼できると決定することを可能にする。
【0037】
しかしながら、パフォーマンスが低下する瞬間を検出できるようにしたいと考えている(第1の予測モデルは最適なパフォーマンスを提供するようにトレーニングされているため、先験的に追跡できない)。このパラドックスを解決するために、データ破壊は、パフォーマンスを低下させる低品質のデータを人為的に製造する(言い換えれば、低品質のデータは、キャプチャされた測定データから製造される)。
【0038】
そのため、より広範囲のパフォーマンススコアに基づいて較正方法をトレーニングすることができる。
【0039】
さらに、データ破壊、すなわち劣化方法により、さらに2つの利点が得られる。
【0040】
まず、データサンプルではなくデータ母集団に基づいて較正する。これを行うために、1つのデータ母集団全体を表すために、所与のデータセットに対して異なる劣化振幅で複数の劣化が実行される。
【0041】
これにより、データ母集団からのデータを用いて取得された類似性スコアを、データ母集団から同じデータに実行された第1の予測モデルの予測出力の精度とリンクすることができる。これにより、第1の予測モデルのデータのずれを検出することができる。
【0042】
言い換えれば、体系的な信頼性レベルの偏差(データサンプルではなく、データ母集団においてのみ検出可能)は、破壊されたデータを使用したこの較正のおかげで検出される。
【0043】
これは、サンプルごとに不確実性分析を適用し、次いでデータ母集団全体で平均化するよりも、より堅牢で正確な方法である。
【0044】
第2に、データサンプルによって較正する。(少なくとも1つの第1の予測モデルの予測出力と少なくとも1つの他の予測モデルの予測出力との間の)類似性スコアを第1の予測モデルの予測出力の信頼性にリンクする単一の信頼性モデルを有するのではなく、データサンプルごとに信頼性モデルを設計または生成することができる。
【0045】
具体的には、(第1の予測モデルの精度が利用できない)新しいデータサンプルに対して、劣化の振幅による一致点のセットが生成される。類似性スコアのセットは、劣化のすべての振幅レベルについて新しいデータサンプルに第1の予測モデルと少なくとも1つの他の予測モデルを実行することによって生成される。
【0046】
このセットと対応する劣化の振幅レベルに基づいて、劣化の振幅レベルと類似性スコアとの間の関係を知ることができる。
【0047】
最も単純な例は、劣化の振幅レベルと類似性スコアとの間に線形関係があるため、新しいデータサンプルが出現したときにこの方法が使用されると、回帰直線が計算され、振幅0の推定値を決定するために使用される。
【0048】
この手法により、信頼度の過大評価と過小評価を検出することができる。
【0049】
好ましくは、トレーニング方法は、ブートストラップコンピュータ化モジュールが、信頼性モデルにブートストラップおよび/または正則化方法を実行するステップをさらに有する。
【0050】
本発明はまた、本発明による方法を実施するシステムを制御するためのコンピュータ化された方法にも関する。
【0051】
本発明はまた、
- 予測コンピュータ化モジュールであって、
- 少なくとも1つの第1の予測モデルに従って予測出力を取得するための少なくとも1つの第1の予測モデルと、
- 少なくとも1つの他の予測モデルに従って予測出力を取得するための少なくとも1つの他の予測モデルと
を実行するように適合された、予測コンピュータ化モジュールと、
- 類似性コンピュータ化モジュールであって、
少なくとも1つの第1の予測モデルの予測出力と、
少なくとも1つの他の予測モデルの予測出力と
の間の類似性スコアを決定するために、類似性スコアリング方法を実行するように適合された類似性コンピュータ化モジュールと、
- 決定された類似性スコアに基づいて、少なくとも1つの第1の予測モデルの予測出力の信頼性を決定する信頼性モデルを実行するように適合された信頼性コンピュータ化モジュールとを備える、機械学習された、または深層学習された少なくとも1つの第1の予測モデルの予測出力の信頼性を決定するためのコンピュータ化されたシステムに関する。
【0052】
本発明はまた、機械学習された、または深層学習された少なくとも1つの第1の予測モデルの予測出力の信頼性を決定するためのコンピュータプログラムに関し、コンピュータプログラムは、プロセッサ上で実行されると、プロセッサに、本発明による任意の方法を実施させるように適合される。
【0053】
本発明の実施形態を、以下の図面に関連して以下に説明する。
【図面の簡単な説明】
【0054】
【
図1】コンピュータ化された方法の一般的なアーキテクチャの概略図である。
【発明を実施するための形態】
【0055】
各図面において、同一の符号は同一または類似のオブジェクトを示す。
【0056】
一般的な概要
機械学習
機械学習(ML)は、経験を通じて、およびデータの使用によって自動的に改善することができるコンピュータアルゴリズムの研究である。それは人工知能の一部として見られている。機械学習アルゴリズムは、明示的にプログラムされていなくても、予測、決定、または分類を行うために、トレーニングデータまたはトレーニングデータセットとして知られるサンプルデータに基づいてモデルを構築する。機械学習アルゴリズムは、医療、電子メールフィルタリング、音声認識、およびコンピュータビジョンなどの、必要なタスクを実行するための従来のアルゴリズムを開発することが困難または実現不可能な様々な用途で使用されている。
【0057】
「予測」という用語は、特定の結果の可能性を予測する際に、過去のデータセットを用いてトレーニングされ、新しいデータに適用された後のアルゴリズムの出力を指す。場合によっては、実際に将来の結果を予測していることを意味するが、別の場合には、「予測」が(将来のデータではなく)データのカテゴリ化に関係する場合もあり、その場合、「分類」という用語も使用することができる。言い換えれば、「予測」という用語は、機械学習の分野においてより広い意味で理解される必要がある。前に述べたように、これは分類出力、カテゴリ化出力、または機械学習モデルの任意の出力を指す場合がある。
【0058】
機械学習の手法は、従来、学習システムに利用できる「信号」または「フィードバック」の性質に応じて4つの大きなカテゴリに分類されている。
- 教師あり学習:「教師」によって与えられる例示的な入力とそれらの望ましい出力がコンピュータに提示され、目的は入力を出力にマッピングする一般規則を学習することである。
- 教師なし学習:学習アルゴリズムにはラベルが与えられていないため、学習アルゴリズムは入力内の構造を独自に見つける。教師なし学習は、それ自体が目的(データ内の隠れたパターンの発見)になってもよく、目的に向かう手段(特徴学習)になってもよい。
- 強化学習:コンピュータプログラムは、特定の目的(車両の運転、または対戦相手とのゲームなど)を実行する必要がある動的環境と相互作用する。問題空間をナビゲートする際、プログラムには報酬に似たフィードバックが提供され、それを最大化しようとする。
- 半教師あり学習:半教師あり学習は、教師なし学習(ラベル付けされたトレーニングデータなし)と教師あり学習(完全にラベル付けされたトレーニングデータあり)の間に位置する。トレーニング例のうちのいくつかはトレーニングラベルがないが、多くの機械学習研究者は、ラベルなしデータを少量のラベル付きデータと組み合わせて使用すると、学習精度が大幅に向上する可能性があることを発見した。弱教師あり学習では、トレーニングラベルにノイズが多く、制限され、または不正確である。しかしながら、これらのラベルは多くの場合、より安価に取得できるため、より大きい効果的なトレーニングセットをもたらすことができる。
【0059】
教師あり学習アルゴリズムは、入力と必要な出力の両方を含むデータのセットの数学的モデルを構築する。このデータはトレーニングデータとして知られ、トレーニング例のセットで構成される。各トレーニング例は、1つまたは複数の入力と、監視信号としても所望目的の出力を有する。数学的モデルにおいて、各トレーニング例は、特徴ベクトルと呼ばれることもある配列またはベクトルによって表され、トレーニングデータは行列によって表される。目的関数の反復最適化を通じて、教師あり学習アルゴリズムは、新しい入力に関連付けられる出力を予測するために使用することができる関数を学習する。最適な関数により、アルゴリズムはトレーニングデータの一部ではない入力の出力を正確に決定することができる。時間の経過とともに出力または予測の精度を向上させるアルゴリズムは、そのタスクを実行する方法を学習したと言われる。
【0060】
教師あり学習アルゴリズムの種類は、能動的学習、予測、および回帰を含む。予測アルゴリズムは、出力が限られた値のセットに制限される場合に使用され、回帰アルゴリズムは、出力が範囲内の任意の数値を有し得る場合に使用される。たとえば、電子メールをフィルタリングする予測アルゴリズムの場合、入力は受信電子メールとなり、出力は電子メールをファイルするフォルダの名前になる。
【0061】
類似性学習は、回帰および予測に密接に関連する教師あり機械学習の分野であるが、目的は、2つのオブジェクトがどの程度類似しているか、または関連しているかを測定する類似性関数を使用して例から学習することである。ランキング、推奨システム、ビジュアルアイデンティティ追跡、顔認証、話者認証などに応用することができる。
【0062】
機械学習のモデル-例
機械学習を実行することは、いくつかのトレーニングデータに基づいてトレーニングされたモデルを作成することを含み、次いで、予測を行うために追加のデータを処理することができる。
【0063】
機械学習システムまたは深層学習されたシステムには、様々な種類のモデルが使用され、研究されている。以下、これらの様々な種類のモデルの例のリストを列挙する。
【0064】
人工ニューラルネットワークモデル
人工ニューラルネットワーク(ANN)、またはコネクショニストシステムは、動物の脳を構成する生物学的ニューラルネットワークによって漠然とインスピレーションを得たコンピューティングシステムである。そのようなシステムは、通常、タスク固有のルールをプログラムすることなく、例を検討することによってタスクの実行を「学習」する。
【0065】
ANNは、生物学的な脳におけるニューロンを大まかにモデル化した、「人工ニューロン」と呼ばれる接続されたユニットまたはノードの集合に基づくモデルである。各接続は、生物学的な脳におけるシナプスと同様に、ある人工ニューロンから別の人工ニューロンに情報、つまり「信号」を伝達することができる。信号を受信した人工ニューロンはそれを処理し、次いで、それに接続されている追加の人工ニューロンに信号を送ることができる。一般的なANN実装形態では、人工ニューロン間の接続における信号は実数であり、各人工ニューロンの出力は、その入力の合計の何らかの非線形関数によって計算される。人工ニューロン間の接続は「エッジ」と呼ばれる。
【0066】
人工ニューロンとエッジは、通常、学習の進行に応じて調整される重みを有する。重みにより、接続における信号の強度が増減する。人工ニューロンはしきい値を有し得、集合信号がそのしきい値を超えた場合にのみ信号が送信される。通常、人工ニューロンは層に集約される。異なる層は、入力に対して異なる種類の変換を実行し得る。信号は、おそらく層を複数回通過した後、第1の層(入力層)から最後の層(出力層)まで伝わる。
【0067】
特定のANNモデルは深層学習モデルである。これは、人工ニューラルネットワーク内の複数の隠れ層で構成される。この手法は、人間の脳が光と音を視覚と聴覚に処理する方法をモデル化しようとする。学習は教師あり、半教師あり、または教師なしで行うことができる。
【0068】
深層ニューラルネットワーク、深層信念ネットワーク、深層強化学習、リカレントニューラルネットワーク、畳み込みニューラルネットワークなどの深層学習アーキテクチャは、コンピュータビジョン、音声認識、自然言語処理、機械翻訳、バイオインフォマティクス、医薬品設計、医用画像分析、材料検査、およびボードゲームプログラムなどの分野に応用されており、人間の専門家のパフォーマンスと同等、場合によってはそれを超える結果を生み出した。
【0069】
ディシジョンツリーモデル
ディシジョンツリー学習では、項目に関する観察(枝において表される)から項目の目的値に関する結論(葉において表される)まで進むために、ディシジョンツリーを予測モデルとして使用する。これは、統計、データマイニング、および機械学習において使用される予測モデリング手法のうちの1つである。ターゲット変数が値の離散セットを取ることができるツリーモデルは予測ツリーと呼ばれ、これらのツリー構造において、葉はクラスラベルを表し、枝はそれらのクラスラベルにつながる機能の結合を表す。ターゲット変数が連続値(通常は実数)を取ることができるディシジョンツリーは、回帰ツリーと呼ばれる。決定分析において、決定および意思決定を視覚的かつ明示的に表現するために、ディシジョンツリーを使用することができる。データマイニングにおいて、ディシジョンツリーはデータを記述するが、結果として得られる予測ツリーは意思決定のための入力であり得る。
【0070】
サポートベクタマシンモデル
サポートベクタマシン(SVM)はサポートベクタネットワークとしても知られ、予測および回帰のために使用される関連する教師あり学習方法のセットである。それぞれが2つのカテゴリのいずれかに属するとしてマークされたトレーニング例のセットが与えられると、SVMトレーニングアルゴリズムは、新しい例が一方のカテゴリに分類されるか、もう一方のカテゴリに分類されるかを予測するモデルを構築する。SVMトレーニングアルゴリズムは非確率的なバイナリ線形分類器であるが、確率的な予測設定においてSVMを使用するためにPlattスケーリングなどの方法が存在する。SVMは、線形予測の実行に加えて、いわゆるカーネルトリックを使用して非線形予測を効率的に実行し、それらの入力を高次元の特徴空間に暗黙的にマッピングすることができる。
【0071】
回帰分析モデル
回帰分析は、入力変数とそれらに関連付けられる特徴との間の関係を推定するための多種多様な統計方法を包含する。最も一般的な形式は線形回帰であり、通常の最小二乗などの数学的基準に従って、所与のデータに最もよく適合する単一の線が引かれる。後者は、リッジ回帰の場合のように、過学習およびバイアスを軽減するために、正則化(数学)方法によって拡張されることがよくある。非線形問題を扱う場合、頼りになるモデルは、多項式回帰(たとえば、Microsoft Excelにおいて傾向線近似に使用される)、ロジスティック回帰(統計的予測においてよく使用される)、さらにはカーネル回帰を含み、これは、入力変数を高次元空間に暗黙的にマッピングするためにカーネルトリックを利用することによって、非線形性を導入する。
【0072】
ベイジアンネットワークモデル
ベイジアンネットワーク、信念ネットワーク、または有向非巡回グラフィカルモデルは、確率変数のセットとそれらの条件付き独立性を、有向非巡回グラフ(DAG)を用いて表す確率的グラフィカルモデルである。たとえば、ベイジアンネットワークは、病気と症状の間の確率的な関係を表すことができる。症状を考慮して、様々な病気が存在する確率を計算するためにネットワークを使用することができる。推論と学習を実行する効率的なアルゴリズムが存在する。音声信号またはタンパク質シーケンスなどの変数のシーケンスをモデル化するベイジアンネットワークは、動的ベイジアンネットワークと呼ばれる。不確実性の下での決定問題を表現および解決できるベイジアンネットワークの一般化は、影響図と呼ばれる。
【0073】
統計学において、単純ベイズ分類器は、特徴間に強い(単純な)独立性を仮定したベイズの定理の適用に基づく、単純な「確率的分類器」のファミリである。それらは最も単純なベイジアンネットワークモデルの1つであるが、カーネル密度推定と組み合わせることにおより、より高い精度レベルを達成することができる。
【0074】
多項ロジスティック回帰は、複数の独立変数に基づいて、従属変数内のカテゴリの配置または従属変数のカテゴリメンバーシップの確率を予測するために使用される。独立変数は、2値(すなわち、バイナリ)または連続(すなわち、スケールの間隔または比率)のいずれかであり得る。多項ロジスティック回帰は、従属変数または結果変数の3つ以上のカテゴリを可能にするバイナリロジスティック回帰の単純な拡張である。バイナリロジスティック回帰と同様に、多項ロジスティック回帰は、カテゴリのメンバーシップの確率を評価するために最尤推定を使用する。
【0075】
単に重回帰としても知られる重線形回帰(MLR)は、応答変数の結果を予測するために複数の説明変数を使用する統計技法である。重線形回帰の目的は、説明(独立)変数と応答(従属)と変数の間の線形関係をモデル化することである。本質的に、重回帰は、複数の説明変数が関与するため、通常の最小二乗(OLS)回帰の拡張である。
【0076】
他のモデルも存在するが、それらが主なモデルである。
【0077】
モデルのトレーニング
通常、機械学習モデルが適切に実行するために、大量のデータが必要である。通常、機械学習モデルをトレーニングする際に、トレーニングセットから大規模な代表的なデータのサンプルを収集する必要がある。トレーニングセットからのデータは、テキストのコーパス、画像の集合、およびサービスの個々のユーザから収集されたデータなど、様々であってよい。
【0078】
モデルのトレーニングは、モデルのパフォーマンスにとって重要であり、詳細にはモデルの結果の信頼性にとって重要である。
【0079】
過学習は、機械学習モデルをトレーニングする際に注意すべきバイアスのうちの1つである。偏ったデータから派生したトレーニングされたモデルは、歪んだ予測または望ましくない予測を引き起こす可能性がある。アルゴリズムのバイアスは、トレーニング用に十分に準備されていないデータから生じる可能性がある。
【0080】
過学習は、「特定のデータセットに非常に密接または正確に対応する分析が生成されるため、追加のデータを適合したり、将来の観測を確実に予測したりできない可能性があること」である。過学習モデルは、データによって正当化できるよりも多くのパラメータを含む統計モデルである。過学習の本質は、あたかもその変動が基礎となるモデル構造を表しているかのように、残留変動(すなわち、ノイズ)の一部を無意識のうちに抽出してしまうことである。
【0081】
モデルの選択のために使用される基準が、モデルの適合性を判断するために使用される基準と同じではないため、過学習の可能性が存在する。たとえば、モデルは、トレーニングデータのいくつかのセットにおいてそのパフォーマンスを最大化することによって選択され得るが、その適合性は、目に見えないデータで適切に実行する能力によって決定される場合があり、モデルが傾向から一般化するために「学習」するのではなく、トレーニングデータを「記憶」し始めると、過学習が発生する。
【0082】
医学の分野では、具体的な例としては組織学が挙げられる。データは、スキャナXによってデジタル化された生体サンプルの画像データである。オートマトンYによって着色が実行された所与のマーカを定量化したいと考えている。トレーニングが実行されると、機械学習されたモデルはスキャナXおよびオートマトンYを用いてトレーニングされたが、色素が変更され、スライド上に広がるこの色素の量がトレーニング段階とは異なる可能性がある。しかしながら、モデルがトレーニングデータを過学習している場合、これらの違いによりモデルのパフォーマンスが低下する可能性がある。
【0083】
モデルの理解
トレーニング段階において導入することができるバイアス以外にも、機械学習モデルを理解するのが難しい場合がある。この理解は、モデルの「推論」(モデルがその結果をどのように決定するか)に関連する可能性があるが、モデルが答えようと考えられている問題を考慮してそのような結果を決定する理由(なぜモデルはそのような結果を決定するのか?)にも関連する可能性がある。それらの質問は、モデルの解釈可能性(どのように)とモデルの説明可能性(なぜ)と呼ばれる。
【0084】
解釈可能性に、機械学習アルゴリズムの推論とデータの内部表現の両方を表す情報を、MLまたはデータの専門家が解釈できる形式で提供することを含む。提供される結果は使用されたデータと強くリンクされており、これらのデータだけでなくモデルの知識も必要とする。
【0085】
一方、説明可能性は、初心者か技術愛好家かにかかわらず、また機械学習の専門知識に関係なく、自己完結型、ユーザにとって、たとえば意思決定者またはフィールドエンジニアにとってアクセス可能な完全なセマンティック形式で情報を提供することにある。
【0086】
それら2つの質問は、モデルの結果の信頼性を評価するために重要である。
【0087】
本発明の目的
本発明の一般的な目的は、たとえモデルの解釈可能性および説明可能性が達成できない場合でも、機械学習または深層学習モデルの出力の信頼性を評価(assess)、決定、または評価(evaluate)することである。
【0088】
たとえば、本発明の目的のうちの1つは、機械学習されたモデルの過学習の問題を検出することであり得る。言い換えれば、本発明は、トレーニング中に使用されたものとは異なるデータの導入(ドメインシフト)によって、機械学習または深層学習モデルのパフォーマンスが逸脱するかどうかを検証することを目的とする。
【0089】
同じ組織学の例に従って、本発明は、モデルが信頼できるかどうか、および/またはトレーニングデータに過度に依存しているかどうかを検出することを目的とする。
【0090】
目的は、モデルの出力、すなわち、モデルによって決定される特定の結果の確率的推定値(または、上で説明した特定の結果の尤度)を、機械学習されたモデルの古典的な較正に従って、この特定の結果の実際の確率を用いて較正することだけではない。
【0091】
本明細書では、目的は、確率とは無関係に、所与のサンプルに対するモデルの信頼性(および、詳細には能力)を推定することである。
【0092】
言い換えれば、目的は、ランダムな不確実性に加えて認識論的な不確実性に従ってモデルの信頼性を推定することであり、ランダムな不確実性のみに従ってモデル出力の確率を推定することではない。
【0093】
ランダムな不確実性は、確率の概念を生み出すものである。たとえば、非常に単純な機械学習されたモデルが、サイコロの目に従ってサイコロを投げた結果を予測するようにトレーニングされた場合、その出力は、6面のサイコロの場合はp(X=1)=1/6であり、10面のサイコロの場合はp(X=2)=1/10である。一方、サイコロがその方法を知らずに操作されている場合、1に当たる確率を与えることは不可能であるが、正確には、非常に単純なモデルが質問に答えることは不可能であると言うことができるが、それは根本的に異なる。
【0094】
したがって、本発明の目的は、モデルの能力の限界、すなわち、モデルの予測出力が信頼できる場合を識別することである。
【0095】
モデルが実行されるデータ
これ以降説明するすべてのモデルは、画像に実行されるように設計されており、したがって、画像はそれらのモデルの入力画像である。これは、それらのモデルの入力データが画像であることを意味し、これは、それらのモデルの入力画像である。
【0096】
したがって、これ以降、「データ」または「データセット」という用語は、入力画像、入力画像のセット、または入力画像データセットを指す。
【0097】
モデルの入力画像は、画像獲得方法に従って画像獲得システムによって獲得される、および/またはデジタル画像処理方法に従ってデジタル画像処理システムによってデジタル処理される技術データである。獲得システムおよび方法、ならびに/またはデジタル処理システムおよび方法は、入力画像のデジタル獲得パイプラインを定義する。
【0098】
さらに、この入力画像は、この入力測定としての技術データを表すか、またはこの入力サンプルは、獲得方法に従って獲得システムによって獲得され、および/または生物学的処理方法に従って生物学的処理システムによって生物学的に処理される。それらの測定システムおよび方法、ならびに/または生物学的処理システムおよび方法は、入力測定または入力サンプルの測定パイプラインを定義する。
【0099】
発明の原理
本発明の主な特徴の1つは、テストされたモデルの出力を参照モデルの出力と比較することである。
【0100】
したがって、第1に、モデルが実行され、その信頼性(または少なくともテストされたモデルの1つの出力の信頼性)が特定のデータセット上で決定される。このモデルはテストされたモデルと呼ぶことができる。
【0101】
次いで、参照モデルと呼ばれる別のモデルが同じデータセットに実行され、次いで、テストされたモデルの出力と参照モデルの出力が比較される。
【0102】
テストされたモデルと別のモデルは異なるモデルである。それらは同じモデルの2つのブロックではない。
【0103】
しかしながら、テストされたモデルと別のモデルは同じ入力画像データセットに実行される。さらに、テストされたモデルの出力と別のモデルの出力は、同じラベルに関連しており、すなわち、テストされたモデルと別のモデルは、同じ質問に従って、および/または同じ技術的問題を解決するために設計およびトレーニングされている(たとえば、テストされたモデルと別のモデルは、専門家が同じ医学的質問に答える際に役立つように、トレーニング画像データセット上で設計およびトレーニングされている)。
【0104】
テストされたモデルの信頼性は、原理を用いて2つの出力間の類似性に基づいて決定され、類似性が高いほど、テストされたモデルの信頼性が高くなる。
【0105】
最後に、この原理に基づいて信頼性モデルを実行することができる。この信頼性モデルは、テストされたモデルの出力と参照モデルの出力との間の類似性に基づいて、テストされたモデルの信頼性を決定する。
【0106】
さらに、本発明の別の主な特徴は、同じデータセットに実行された複数のモデルの複数の出力を一緒に比較することである(モデルの目的と出力の形式の両方に関して互いに比較可能である)。この場合、比較されるべき参照モデルはない。複数の出力の相互の一貫性が高いほど、すべてのモデルが信頼できる出力を提供しないという可能性は低いという考え方である。
【0107】
方法の説明
本方法は前述の原則に基づいている。
【0108】
コンピュータ化されたモジュール
本方法はコンピュータ化されたシステムによって実施される。このシステムは、それぞれが方法のステップを担当する様々なコンピュータ化されたモジュールを備える。
【0109】
予測モデルコンピュータ化モジュールまたは予測モジュールは、任意の機械学習モデル(たとえば、一般的な概要において説明した機械学習モデル)を実行することができるか、または実行するように適合されている。
【0110】
このモジュールは、所与のデータセットに任意のモデルを実行することができるか、または実行するように適合されている。このデータセットは、モデルの1つまたは複数のエントリを表すため、エントリデータセットと呼ばれ、一方、一般的な概要において説明したように、予測またはモデルの予測はモデルの出力である。
【0111】
モデルの取得された出力は、以下のタイプのうちの1つの予測ベクトルである。
- 単体確率ベクトル(マルチクラス)、
- 1次元の確率ベクトル、または、
- N次元の確率ベクトル。
【0112】
類似性コンピュータ化モジュールは、予測または予測モデルの様々な(少なくとも2つの)出力と少なくとも1つの機械学習されたモデルとの間の類似性スコアを決定することができる、またはそのように適合される。
【0113】
類似性スコアを決定するために、類似性モジュールは出力に対して類似性スコアリング方法を実行する。
【0114】
つまり、類似性スコアリング方法のエントリは機械学習されたモデルの出力であり、類似性スコアリング方法の出力は類似性スコアである。
【0115】
類似性スコアリング方法は、以下の方法のうちの1つであり得る。
- コサイン距離法、コサイン類似度法とも呼ばれる、
- カルバック-ライブラー情報量法、
- 最高確率クラス法の等価性、
- 推定ディリクレ法の分散、または、
- 情報半径法。
【0116】
コサイン類似度は、内積空間の2つの非ゼロベクトル間の類似性の尺度である。これは、それらの間の角度のコサインに等しいように定義されており、両方の長さが1になるように正規化された同じベクトルの内積とも同じである。後者の定義から、コサイン類似度は2つの非ゼロベクトル間の角度にのみ依存し、それらの大きさには依存しないことがわかる。コサイン類似度は、任意の角度シータに対して[-1,1]の範囲内に制限される。たとえば、同じ向きの2つのベクトルのコサイン類似度は1であり、互いに直角の向きの2つのベクトルの類似度は0であり、正反対の2つのベクトルの類似度は-1である。コサイン類似度は特に正の空間で使用され、結果は[0,1]においてきちんと制限される。この名前は、「方向コサイン」という用語に由来しており、この場合、単位ベクトルは、平行であれば最大限に「類似」し、直交(垂直)であれば最大限に「相違」する。これはコサインに似ており、セグメントの角度がゼロの場合は1(最大値)であり、セグメントが垂直の場合はゼロ(無相関)である。
【0117】
これらの制限は任意の数の次元に適用され、コサイン類似度は高次元の正の空間において最も一般的に使用される。たとえば、情報検索およびテキストマイニングにおいて、各用語に異なる次元が概念的に割り当てられ、文書はベクトルによって特徴付けられ、各次元における値は文書における用語の出現回数に対応する。次いで、コサイン類似度は、それらの主題に関して2つの文書がどの程度類似しているかを示す有用な尺度を提供する。
【0118】
この技法はまた、データマイニングの分野においてクラスタ内の凝集度を測定するために使用される。
【0119】
コサイン類似度の利点の1つは、特にスパースベクトルの場合、複雑さが低いことであり、考慮される必要があるのは非ゼロの次元のみである。
【0120】
コサイン類似度の他の名前は、オルキーニ類似度およびタッカ合同係数であり、大塚-落合類似度は、バイナリデータに適用されるコサイン類似度である。
【0121】
数学的統計において、カルバック-ライブラー情報量(Kullback-Leibler divergence)(相対エントロピとも呼ばれる)は統計的距離であり、1つの確率分布Qが第2の参照確率分布Pとどのように異なるかを示す尺度である。PからQの発散の簡単な解釈は、実際の分布がPである場合にQをモデルとして使用することから予想される過剰な驚きである。それは距離ではあるが、計量ではなく、最もよく知られた種類の距離であり、2つの分布において(情報の変動とは対照的に)非対称であり、三角不等式を満たさない。その代わりに、情報幾何学に関して言えば、それは発散、二乗距離の一般化であり、特定のクラスの分布(特に指数分布族)については、一般化されたピタゴラスの定理(二乗距離に適用される)を満たす。
【0122】
ジェンセン-シャノン発散とも呼ばれる形成半径法は、対称的なカルバック-ライブラー情報量から派生した方法であり、すべての分布およびすべての分布の平均のカルバック-ライブラー情報量の合計に基づいている。
【0123】
最高確率クラスの等価性方法は、最も予測されたクラスの予測の割合を出力する。たとえば、予測クラスが[1,3,3,2,3]である場合、予測の割合は3/5=0.6である。
【0124】
ディリクレ法の分散は、予測の分布を表すディリクレ分布の分散である。ディリクレ分布は、Kシンプレックスの分布である(たとえば、モデルの分類出力はKシンプレックスであり、Kクラスの出力確率の合計は1、たとえば[0.1,0.3,0.6]である)。
【0125】
たとえば、複数のモデルは、最尤法によるディリクレ分布または所与の事前分布を使用するベイジアン推論で近似することができる複数のKシンプレックスを提供する。
【0126】
信頼性コンピュータ化モジュールは、信頼性モデルを実行することができる、または実行するように適合されている。
【0127】
この信頼性モデルは、類似性スコアに基づいて信頼性スコアを決定することができる、または決定するように適合されている。したがって、信頼性モデルのエントリは類似性スコア(たとえば、類似性コンピュータ化モジュールによって決定される)であり、出力は信頼性評価である。
【0128】
信頼性評価には様々な形式を使用することができる。
- 下限と上限との間の信頼性スコア、
- バイナリ予測。
【0129】
信頼性モデルは、
- 多項ロジスティック回帰モデル、
- 多項線形回帰モデル、または、
- 素朴なベイズモデル
などの機械学習された、または深層学習された予測モデルであり得る。
【0130】
集約コンピュータ化モジュールは、様々な出力を1つの集約された出力に集約することができる、または集約するように適合される。
【0131】
集約コンピュータ化モジュールは、たとえば、
- 過半数の投票、
- 加重投票、
- ベイズ法、または
- 情報検索方法
などの真実発見方法を使用して、予測出力を集約された予測出力に集約することができる、または集約するように適合される。
【0132】
較正コンピュータ化モジュールは、トレーニングデータセットを用いて、母集団レベルおよび/または単一画像レベルにおいて、任意の機械学習されたモデルを較正またはトレーニングすることができるか、あるいは較正またはトレーニングするように適合される。
【0133】
このトレーニングは、一般的な概要において説明したように、教師ありトレーニング、教師なしトレーニング、または強化トレーニングであってよい。
【0134】
較正は母集団またはサンプルごとに行うことができる。母集団ごとの較正は、劣化の強度に応じて全体のパフォーマンスを調整し、次いでサブモデルの予測の類似値からパフォーマンスを予測することで構成される。
【0135】
サンプルごとの較正はより正確であり、サンプルから、バッチ、つまり同じ劣化強度を有するこのサンプルのいくつかのコピーを生成することで構成される(強度は同じであるが、ランダムなプロセスであるため結果は異なる)。
【0136】
異なる強度を有するバッチが生成され、次いで、母集団方法と同様の較正が実行される。それぞれの異なる強度のサンプルごとに複数のキャリブレーションが実行される。
【0137】
ブートストラップコンピュータ化モジュールは、任意の予測モデル、たとえば機械学習されたモデルにブートストラップおよび/または正則化方法を実行することができる、または実行するように適合される。
【0138】
さらに、コンピュータプログラムは、プロセッサ上で実行されると、プロセッサに、方法を実施させるために、コンピュータ化されたシステムのモジュールを実行させる。
【0139】
機械学習モデルの1つの出力の信頼性
ここで、
図1に示されるように、本方法の目的は、サブモデル1の信頼性を決定することである。このサブモデル1は、個別モデル、第1のモデル1、または単にモデル1と呼ぶことができる。
【0140】
サブモデル1は、任意の機械学習されたモデルであり得る。これは、所与のトレーニングデータセット上で事前にトレーニングされている。
【0141】
第1に、予測モデルコンピュータ化モジュールは、サブモデル1に従って予測出力10を取得するために、トレーニングデータセットとは異なる所与のデータセットにサブモデル1を実行する。信頼性が決定されるべきであるのはこの出力である。
【0142】
出力10は通常、以下のタイプのうちの1つのベクトルである。
- 単体確率ベクトル(マルチクラス)、
- 1次元の確率ベクトル、または、
- N次元の確率ベクトル。
【0143】
所与のデータセットは、測定データ、すなわちセンサまたは画像キャプチャシステムなどの獲得システムによって測定またはキャプチャされたデータによって形成される。
【0144】
次いで、または並行して、予測モデルモジュールは、同じ所与のデータセットに対して少なくとも1つの他の予測モデルを実行する。たとえば、
図1に示されるように、この少なくとも1つの他のモデルをサブモデル2とすることができる。
【0145】
このサブモデル2は、予測を決定するように適合された予測モデルであるが、必ずしも人工知能、特に機械学習されたモデルである必要はない。たとえば、ルールベースのモデルやエキスパートシステムモデルなどであってよい。
【0146】
それは人工モデル、特に機械学習されたモデルであってよい。この場合、サブモデル2はサブモデル1とは異なるアーキテクチャを有することができるが、同じ技術的問題を解決するか、同じ質問に答えるように設計されている。言い換えれば、サブモデル2は同じ予測または予測目的を有し、前に述べたように、同じ所与のデータセットに実行される。そのため、出力10を出力20と比較することができる。さらに、サブモデル2は、サブモデル1のトレーニングデータセットとは異なる可能性があるトレーニングデータセット上でトレーニングされており、サブモデル1および2が実行されている所与のデータセットとは異なる。
【0147】
別の実施形態では、サブモデル2は、サブモデル1と同じアーキテクチャを有するが、異なるトレーニングデータセット上でトレーニングされている。
【0148】
したがって、予測モデルモジュールはサブモデル2を実行することによって出力20を決定する。同様に、出力20もまた、以下のタイプのうちの1つのベクトルである。
- 単体確率ベクトル(マルチクラス)、
- 1次元の確率ベクトル、または、
- N次元の確率ベクトル。
【0149】
出力10と20はベクトル出力の種類を有することが望ましい。
【0150】
この時点で、類似性モジュールは、出力10と出力20との間の類似性スコアを決定する。出力20は、信頼性が決定されるべき出力10の参照と見なすことができる。
【0151】
上述のように、この類似性スコアを決定するために任意の類似性方法を使用することができる。
【0152】
次に、出力10と出力20との間の類似性スコアがわかったとき、問題は、出力10と出力20との間の類似性スコアを知っている出力10の信頼性(または、信頼度)はどれくらいかということである。
【0153】
信頼性モジュールは、この質問に答えるために考案された。類似性スコアに基づいて、信頼性モジュールは出力10の信頼性を決定する信頼性モデルを実行する。この信頼性は、下限と上限との間の信頼性スコアであってよい。信頼性スコア(ブール出力)に基づいて「はい」または「いいえ」の答えであってもよい。また、信頼性モデルについては後述する。
【0154】
この方法は、複数のサブモデルを参照して実施することができる。
【0155】
たとえば、
図1に示されるように4つのサブモデルが存在する場合がある。この場合、予測モジュールは、出力30と40を取得するために、サブモデル3と4をさらに実行する。
【0156】
好ましくは、サブモデル2、3、および4は、異なるアーキテクチャを有する(異なるブロックまたは異なるサイズなどであってもよい)。例として、1つのサブモデルはエンドツーエンドでトレーニングされたResNet50を使用する場合があり、別のサブモデルは、最上部に多層パーセプトロンを備えた自己教師あり変分オートエンコーダを使用する場合がある。参照モデルのセットは、各モデルアーキテクチャによって導入される系統的誤差をグローバルに除去するために選択される。
【0157】
類似性モジュールは、上述した任意の類似性スコアリング方法に従って、信頼性が評価される出力10と出力20、30、および40との間の類似性スコアを決定する。
【0158】
次いで、信頼性モジュールは、出力10と出力20、30、および40との間の類似性スコアに信頼性モデルを実行することによって、出力10の信頼性を決定する。
【0159】
機械学習されたモデルの複数の出力の信頼性
本実施形態によれば、機械学習されたモデルの複数の出力の信頼性が決定される。前述したように、すべての機械学習されたモデルは異なるモデルアーキテクチャを有することができるが、同じ質問に答えるか、同じ技術的問題を解決するように設計されている。
【0160】
しかしながら、すべての機械学習されたモデルは同じ入力画像データセットに実行されており、すべての機械学習されたモデルの出力は同じラベルに関連しており、すなわち、すべての機械学習されたモデルは、同じ質問に従って、および/または同じ技術的問題を解決するために設計およびトレーニングされている(たとえば、すべての機械学習されたモデルは、専門家が同じ医学的質問に答えるのに役立つように、トレーニング画像データセット上で設計およびトレーニングされている)。
【0161】
たとえば、
図1に示されるように、サブモデル1~4の信頼性を決定する必要がある。
【0162】
言い換えれば、前の実施形態と比較して、出力が比較される参照となる参照サブモデルが存在しない。
【0163】
これを除けば、方法は類似している。予測モデルモジュールは、複数の予測または予測出力10~40を取得するために、複数の機械学習されたモデル、たとえば
図1に示される4つを所与のデータセットに実行する。
【0164】
出力10~40は、信頼性が決定される単一の出力を有するために、集約コンピュータ化モジュールによって集約出力に集約することができる。
【0165】
次いで、複数の出力10~40は、上述した類似性方法に従って類似性モジュールによって相互に比較することができる。これにより、出力10~40間の類似性スコアがもたらされる。
【0166】
次いで、信頼性モジュールは、これらの出力の信頼性を決定するために出力10~40間の類似性スコアに信頼性モデルを実行する。
【0167】
【0168】
出力10~40が集約されている場合、信頼性モジュールは類似性スコアに信頼性モデルを実行することによって、集約された出力の信頼性を決定する。
【0169】
さらに、複数のサブモデル、たとえば
図1に示される4つのサブモデル1~4は、複数のサブモデルが、予測モデルモジュールによって同じ所与のデータセットに実行されているため、
図1に示されるパフォーマンスモデルと呼ばれる一般モデルにまとめることができる。
【0170】
言い換えれば、予測モデルモジュールは、所与のデータセットにパフォーマンスモデルを実行し、パフォーマンスモデルにおいて収集されたサブモデルと同じ数の出力を決定する。
【0171】
さらに、このパフォーマンスモデルは集約モジュールと組み合わせることができ、したがって、集約モジュールはパフォーマンスモデルの出力を1つの集約出力に集約する。本方法のこの部分は、
図1の上部に対応する。
【0172】
実際、一般的には出力を1つだけ有する方が便利である。留意すべき点として、複数のサブモデルが、すべてが独自のバイアスを有する異なるモデルアーキテクチャを有することが好ましく、したがって、1つの集約出力への集約により、すべてのサブモデルアーキテクチャを考慮した出力を1つだけ有することができるようになる。次いで、上述したように、信頼性モジュールは、パフォーマンスモデルの(出力のうちの)集約された出力の信頼性を決定することができる。
【0173】
信頼性モデル
上で説明したように、信頼性モデルは類似性スコアと信頼性評価との間のリンクを担当する。
【0174】
一実施形態では、信頼性モデルは、機械学習されたモデルではないモデルであってもよい。たとえば、ルールベースのモデルまたはエキスパートシステムモデルであってもよい。
【0175】
たとえば、類似性スコアと信頼性評価をリンクする簡単な方法は、類似性スコアの信頼性しきい値をあらかじめ決定することであり、しきい値を下回ると、信頼性は割り当てられず、しきい値を超えると、信頼性が割り当てられる。
【0176】
別の実施形態では、信頼性モデルは機械学習されたモデルであり、類似性スコアと信頼性評価をリンクできるように、またはリンクするように適合されるようにトレーニングされる必要がある。
【0177】
信頼性モデルのトレーニングの目的は、該当する場合、サブモデルの出力が、パフォーマンスモデルに収集されているか否かを信頼できるかどうか、すなわち、その出力に信頼性を割り当てることができるかどうかを決定することである。その目的は、サブモデル、または該当する場合はパフォーマンスモデルのパフォーマンスまたは精度を決定することではない。
【0178】
実際、一般的な概要においてより詳しく説明されているように、信頼性機械学習されたモデルは4つの主な手法に従ってトレーニングすることができる。
- 教師あり学習
- 教師なし学習
- 強化学習
- 半教師あり学習
【0179】
信頼性モデルのトレーニングは、パフォーマンスモデルにまとめられた、またはまとめられなかった、複数のサブモデルまたは個々のモデルのいずれをトレーニングするためにも使用されていないトレーニングデータを用いて行われる。したがって、信頼性モデルの1つまたは複数のトレーニングデータセットは、1つまたは複数のサブモデルをトレーニングするために使用される1つまたは複数のトレーニングデータセットとは異なる。サブモデルのトレーニングデータセットとより明確に区別するために、信頼性モデルのトレーニングデータセットは、
図2に示されるように較正データセットと呼ばれる。較正データセットは、1つまたは複数のサブモデルをトレーニングするために使用される1つまたは複数のデータセットとは異なる。
【0180】
この較正データセットでは、ブラウンノイズ、ピクセル削除、ブラーなどの劣化を適用することができる。これらの劣化は、データ数を増やすことを目的としているが、何よりも、信頼性モデルを完全に較正するために、パフォーマンスを自発的に調整できるようにすることを目的としている。
【0181】
信頼性モデルはエントリ入力用の類似性スコアを有するため、信頼性モデルの較正データセットは類似性スコアで作成される必要がある。それらを取得するために、予測モジュールは、複数のサブモデルの出力を取得するために、複数のサブモデル、たとえば4つのサブモデル1~4を較正データセットのデータに実行する。次いで、類似性コンピュータ化モジュールは、取得された複数の出力間の類似性スコアを決定する。
【0182】
それらのステップは、他の類似性スコアを取得するために、較正データセットの他のデータに対して繰り返される。較正データからのデータが知られており、これらのデータに対するサブモデルのパフォーマンスが知られているため、この類似性スコアの各々は信頼できるかどうかのラベルが付けられる。
【0183】
上で説明したように、較正データセットの劣化により、信頼性モデルをより適切にトレーニングするために、広範囲の類似性スコアを決定することができるようになる。たとえば、出力の信頼性を割り当てることができないことを較正モジュールが知っている低品質のデータにサブモデルを実行すると、信頼できるモデルに対して信頼できない類似性スコアとしてラベル付けされる類似性スコアが発生する。
【0184】
機械学習されたモデルである信頼性モデルを使用することは利点のうちの1つである。一般的な概要において説明したように、信頼性モデルは解釈が難しく、さらに説明するのが難しい場合があるが、教師あり学習のおかげで、サブモデルの出力の信頼度推定または信頼性評価が提供される。
【0185】
次いで、較正モジュールは、ラベル付けされたすべての類似性スコアによって形成された信頼性モデルトレーニングデータセットを使用して、母集団レベルおよび/または単一の画像レベルで信頼性モデルを較正する。
【0186】
最後に、ブートストラップモジュールは、信頼性モデルにブートストラップおよび/または正則化方法を実行する。つまり、較正データセットのトレーニングデータのいくつかのサブサンプルを使用して較正が繰り返され、信頼性モデルのパラメータが堅牢であるかどうかを知るための検証が行われる。堅牢ではない場合、平均値に設定するか、0に設定することができる。
【0187】
本方法の利点
一般的な概要において説明したように、機械学習されたモデルは、解釈および/または説明することが難しい場合がある。この文脈では、モデルの出力が信用できるかどうかを知ることは困難である。
【0188】
本方法のおかげで、意思決定者は、大部分の機械学習されたモデルについてまだ解決されていない問題を回避することができるが、依然としてテストされたモデルの結果に対する信頼度を評価することができる。
【0189】
さらに、特定の実施形態において見られるように、本方法により、たとえ参照モデルがない場合でも、モデルの結果における信頼性または信頼度を評価することができる。各アーキテクチャには独自のバイアスまたは制限があるため、これはモデルが異なるアーキテクチャを有する場合に非常に役立つ。さらに、各サブモデルは理解するのが難しい(解釈および/または説明することが難しい)可能性があり、その結果、複数の異なる出力(または、同じ質問に対する答え)を理解することがさらに難しくなる。
【0190】
異なるモデルからのそれらの出力(パフォーマンスモデルにまとめられる)が1つの集約出力に集約される場合、本方法により、この集約された出力の取得が理解しにくい場合でも、この集約された出力に対する信用性、信頼度、または信頼性のレベルを決定することができる。
【0191】
集約された出力は、パフォーマンスモデルの一意の結果または応答(質問または技術的問題について)として見ることができるため、本方法によって良好な信頼性が決定された場合、その出力に基づいて意思決定を行うことができるため、本方法は意思決定者にとって非常に役立つ。
【0192】
さらに、本方法により、意思決定者は機械学習されたモデルのトレーニング段階で導入されたバイアスを検出することができる。例としては、機械学習されたモデルの過学習がある。本方法のおかげで、トレーニングデータセットとは異なるデータに実行された過学習モデルは、同じデータに実行された他のモデルとの類似性スコアが低くなる。信頼性モジュールはこれを警告する。
【0193】
用途
最も一般的な観点から見ると、本方法は、機械学習されたモデルが予測または意思決定を行うために使用されるすべての業界および用途において使用することができる。特に、この方法は、モデルの出力の信頼性またはモデルの信頼性の評価に基づいてシステムを制御するために使用することができる。システムの制御は、直接的または即時的であってよく、すなわち、信用される出力は、制御されるシステムの一般的な特性(配送の速度、配送される数量、位置決めされる場所、移動の速度など)に関するものであるか、または信用される出力が、次いで、制御されるシステムの一般的な特性につながる別のコンピュータ化されたモジュールによって計算される場合、間接的なものであってよい。
【0194】
しかしながら、機械学習と機械学習されたモデルは、モデルが実行されているデータ内の知られていない特性を発見するなどの他の目的にも使用することができ、この分野はデータマイニングと呼ばれる。機械学習はトレーニングデータから学習した知られている特性に基づいて、予測に焦点を当てるが、データマイニングはデータ内の(以前は)知られていない特性の発見に焦点を当てる(これはデータベースにおける知識発見の分析ステップである)。本方法は、誤って検出された特性(上記の過学習など)を警告することができ、様々な機械学習されたモデルを比較して、それらの検出における信頼性を評価することもできる。
【0195】
機械学習されたモデルのもう1つの応用分野は最適化であり、これは、多くの学習問題が、例のトレーニングセットにおける損失関数の最小化として定式化されるためである。損失関数は、トレーニングされているモデルの予測と実際の問題のインスタンスとの間の不一致を表す。本方法により、最適化された技術パラメータの結果の信頼性を評価することができるようになる。測定からの知られていないデータ(または、測定データ)に基づく技術パラメータの最適化は、機械学習されたモデルの一般的な用途である。
【0196】
フィールド医学
特定の分野への応用は医学であり得る。
【0197】
この分野では、測定が行われた被験者の存在を必要とせずに測定からのデータを分析または解釈できることを理解した上で、測定データを解釈したいと考えることができる。方法の各ステップのパフォーマンスは、被験者の体の存在を必要としない。
【0198】
一例として、医用画像および組織学は、本方法の応用分野である。
【0199】
医用画像処理により、正常な解剖学的構造と生理学に関するデータベースが確立され、異常の識別が可能になる。
【0200】
組織学は、生物学的組織の顕微鏡的な解剖学的構造を研究する生物学の分野である。組織学は、顕微鏡なしで見えるより大きい構造を観察する肉眼解剖学の顕微鏡的な対応物である。
【0201】
それらの分野では、サブモデル(および/または、拡張して、パフォーマンスモデル)を実行することができる測定データは、獲得システムによってキャプチャされた画像である。臓器または組織の画像であってもよい。言い換えれば、それらはサブモデルの(および/または、拡張して、パフォーマンスモデルの)エントリ入力である。
【0202】
脳波検査(EEG)、脳磁気検査(MEG)、心電検査(ECG)などの、画像を生成することを主目的として設計されていない測定および記録技法は、測定位置に関するデータを含む、パラメータグラフ対時間またはマップとして表現されやすいデータを生成する他の技術を表す。これらの技術は医用画像処理の形式と考えることができ、それらの表現または「画像」は、サブモデル(および/または、拡張して、パフォーマンスモデル)が実行される入力データまたはエントリデータであってよい。
【0203】
たとえば、2次元画像は、画像の平面にわたるピクセルのセットを備える。各ピクセルは、画像平面の正方形のサブセットを表す。この正方形のサブセットには重心がある。デカルト座標系(x;y)において、重心の座標(x;y)に従って各正方形の位置を決めることができる。座標xとyは、画像のピクセルの2つの自由度を表す。
【0204】
したがって、位置は、画像を形成する各ピクセルの第1のパラメータである。もちろん、層全体に適用されるため、層のピクセルを区別しない場合でも、層の強度と色もある。
【0205】
強度はRGBシステムに従って0~255まで変化する。グレーレベルにすることもできる。
【0206】
したがって、サブモデル(および/または、拡張して、パフォーマンスモデル)を実行することができる表現の「画像」からの入力データは、「画像」からの層の位置(x;y)、強度、および色である。
【0207】
同じことが3次元画像にも準用される。
【0208】
一般的な概要において与えられた具体例に従って、本方法はモデルの過学習を警告することができる。
【0209】
念のために言うと、この具体的な例では、組織学サブモデルが実行されている画像データ(エントリデータ)がスキャナX上でデジタル化される。オートマトンYによって着色された所与のマーカを定量化したいと考えている。トレーニングが実行されると、サブモデルはスキャナXとオートマトンYとを用いてトレーニングされたが、色素が変更され、スライド上に広がるこの色素の量がトレーニング段階とは異なる可能性がある。類似性スコアと信頼性の高いモデルのおかげで、組織学サブモデルのトレーニング段階に実施された方法は、考えられた組織学サブモデルが過学習に苦しんでいることを警告する。ここで、過学習は、トレーニング段階の色素に関連する知られていないパラメータに基づいて行われる。
【0210】
同じ例に従って、様々な組織学サブモデル、好ましくは異なるアーキテクチャを備え、好ましくは一般的なパフォーマンスモデルにまとめたものが分類されるべき画像の所与のデータセットに実行されている場合、本方法により、1つの集約された予測出力に集約された予測出力の信頼性を評価することができる。本方法により、集約された予測出力が信用できるかどうかを決定することができる。
【0211】
次いで、集約された予測出力が本方法に従って信頼できる場合、意思決定者はそれに基づいて意思決定を行うことができる。たとえば、サブモデルが被験者の体組織が疾患状態に陥るか否かの予測を参照する場合、本方法により、意思決定者はパフォーマンスモデルの集約された出力を信用できるか否か、また出力に基づいて疾患状態があるか否かを決定することができる。
【0212】
別の例では、入力データは患者の体温(たとえば、40.1℃)であってよく、パフォーマンスモデルの集約された出力はインフルエンザの診断のヒントであってよい。たとえば、出力はインフルエンザに罹患する確率、あるいは「はい」または「いいえ」のブール出力であってよい。
【0213】
パフォーマンスモデルを形成する4つの異なるサブモデルは、患者の体温が40.1℃である場合にインフルエンザに感染している可能性があるかどうかを決定するように適合される。
【0214】
たとえば、これらのサブモデルの各々は、患者がインフルエンザに罹患している確率について、完全に同じデータ形式ではない可能性がある出力を決定し、類似性スコアリングモジュールがサブモデルの出力間の類似性スコアを決定する。
【0215】
本方法は、類似性スコアに基づいて、集約された出力における信頼度を評価する。
【0216】
特定の例
パフォーマンスモデルがデジタル化された患者組織上のがんを検出することを目的とする、医療分野における特定の使用例を以下に説明する。
【0217】
ここで、モデルは医用画像に実行される。
【0218】
それらの医用画像は、患者の生物学的特徴の測定値を表すことができる。したがって、この測定値は入力測定値であり、対応する生物学的特徴が入力特徴である。
【0219】
それ以外の場合、医用画像は生体サンプルを表すことができ、この場合、このサンプルは入力生体サンプルである。
【0220】
したがって、モデルは、入力生物学的特性または入力サンプルの入力測定値を表す入力画像を入力として有する。
【0221】
このケースは、モデルの準備と、次いでモデルの使用との2つの部分に分かれている。
【0222】
トレーニング
コンピューティングにおいて、データパイプラインとしても知られるパイプラインは、直列に接続されたデータ処理要素のセットであり、1つの要素の出力が次の要素の入力になる。パイプラインの要素は、多くの場合、並列またはタイムスライス方式で遂行される。多くの場合、ある程度の量のバッファストレージが要素間に挿入される。
【0223】
ここで、完全なデータパイプラインは、上記で定義されたデータ処理のセットに従って、生体組織の画像を「がん性」または「非がん性」というインジケータに変換する。言い換えれば、データパイプラインの予測出力は、「がん性」または「非がん性」という答えである。
【0224】
この出力予測は確率に関連付けられている。
【0225】
パイプラインのアーキテクチャは、入力画像を0から1までの「がん性」のスコアにそれぞれ変換する2つの異なる深層学習モデルのコアで構成されている。言い換えれば、ここでのパフォーマンスモデルは、入力画像を0から1までの「がん性」スコアに変換する2つの異なる深層学習モデルである2つのサブモデルで構成されている。
【0226】
第1のサブモデルは古典的なCNN、EfficientNetB7である。第2のサブモデルは、出力が逐次的にVisual Transformerに接続されたフーリエ変換層の組合せである。
【0227】
パイプラインのすべてのサブモデルを構築してトレーニングするために必要なデータは、トレーニングデータセット、較正データセット、および規制臨床検証用のデータセットである。
【0228】
これらのデータセットは、生物組織の画像を備える。
【0229】
第1のサブモデルモデルはトレーニングデータセットのランダムな90%でトレーニングされ、第2のサブモデルモデルはトレーニングデータセットの別のランダムな90%でトレーニングされる。
【0230】
2つのサブモデルの出力を集約するために、真実発見手法が適用され、これは両方のスコア間の絶対差である。
【0231】
使用される類似性スコアリング方法は、両方のスコアの差の二乗を測定する。
【0232】
信頼性モデルは、バイアスパラメータbと係数パラメータcを有する線形回帰モデルである回帰モデルである。
【0233】
パフォーマンスモデルの較正には、強度Iのノイズを画像に追加する関数が使用される。異なる強度および異なる画像について1000枚の画像が生成され、次いで、パフォーマンスモデルの精度と、それに対応する計算された類似性の両方が評価される。
【0234】
評価されたこの精度と類似性は、線形回帰モデルを構築するために使用されるデータであり、類似性が入力であり、精度が出力である。現在、回帰モデルの出力は信頼性と呼ばれる。bとcの典型的な例は、それぞれ1と-0.5になる。
【0235】
トレーニング後、パフォーマンスモデルは98%の精度で終了し、これは、(トレーニングデータに基づいて)98%の確率で正しい答えが得られることを意味する。
【0236】
生産用途
臨床上の理由から、以前のデータパイプラインの少なくとも99%のパフォーマンスが必要である。言い換えれば、最小信頼性スコアは、パフォーマンスモデルによって行われる信用される、または信頼できる予測の99%が正確な予測となるように設定される。
【0237】
ここでは、単に最小値0.99の類似性スコアである。
【0238】
比較スコアによって決定された類似性スコアが以下の場合、信頼できるモデルはパフォーマンスモデルの予測に信頼度を割り当てない。
【0239】
結果をそのまま受け入れるには十分な信頼性がないというメッセージが医師に送信される。
【0240】
他の分野
他の技術分野では、用途として、車両の車載カメラからのビデオ上の歩行者の軌跡の認識に基づくブレーキ制御が考えられる。
【0241】
この例において、入力データは、車載カメラによってキャプチャされた画像に基づいて測定モジュールによって以前に測定された車両と歩行者との間の距離、エンジンの測定速度および/または任意の位置システム(たとえば、GPS)によって測定された車両の位置を使用して計算された車両の速度、車載カメラによってキャプチャされた画像に基づく道路上の歩行者の位置であり得る。
【0242】
状況の複数の所与の状態パラメータも、実行のまさにその瞬間の位置、および/または数日前などの道路(凸凹、傾斜)、車輪のタイヤ(磨耗)、天候(降雨量)に関するパラメータなどの、サブモデルのエントリまたはパラメータとして考えることができる。
【0243】
サブモデルの各々は、歩行者が車両に衝突されるかどうかを決定するように適合されている。出力は、たとえば、衝突される確率、あるいはブール出力「はい」または「いいえ」などであってよい。
【0244】
パフォーマンスモデルは、サブモデルの出力に基づいて集約された出力を決定する。したがって、この集約された出力は、「歩行者は車両に衝突されるか?」という質問に対する答えである。
【0245】
本方法により、答え、つまりパフォーマンスモデルの出力における信頼度を評価することができる。
【0246】
たとえば、本方法は、衝突を避けるために、近くのオブジェクトを検出することを目的としたシステムに適用することができる。
【0247】
この評価により、本方法により車両のブレーキを制御できるようになり、集約された出力が衝突を分類し、この出力が方法に従って信頼できる場合、衝突を回避するために車両のブレーキが作動される。
【0248】
本システムは、距離を決定するように適合された深層学習モデルに関連付けられるカメラ、RADAR、およびLiDARで構成されている。これらのサブシステムの各々は、全方向における最も近いオブジェクトまでの距離の推定を返す。
【0249】
深層学習モデルは距離データに基づいてトレーニングされる必要があり、RADARとLiDARは較正される必要がある。
【0250】
この使用例では、真実発見方法は3つの推定値の平均であり、類似性スコアは3つの推定値の変動の係数である。
【0251】
較正には、霧および金属粉塵などの摂動も同じプロセスにおいて使用される。
【0252】
ここでは、距離を決定するように適合された深層学習されたモデルに関連付けられるカメラ、RADAR、およびLiDARによって決定された距離に従って、3つのサブモデルが衝突を予測する。集約された出力は、0から1までの3つの推定値の平均である。
【0253】
類似性スコアは、0から1までの3つの予測の変動の係数である。
【0254】
本発明の別の態様では、本方法はまた、距離を決定するように適合された3つのシステム、すなわち、距離を決定するように適合された深層学習されたモデルに関連付けられたカメラ、RADAR、およびLiDAR上で実施することができる。この場合、コンピュータ化された方法により、深層学習されたモデルの予測出力の信頼性を決定する。
【0255】
予測モデルコンピュータ化モジュールは、モデルに従って予測距離出力を取得するために距離を決定するように適合された深層学習されたモデルを実行し、距離を決定するように適合された他のシステムも実行される。RADARとLiDARは距離を出力する。
【0256】
3つの距離は、上で定義した真実発見方法に従って集約される。
【0257】
次いで、類似性コンピュータ化モジュールは、以下の間の類似性スコアを決定するために、類似性スコアリング方法を実行する。
- モデルの予測距離出力と、
- RADARとLiDARの距離出力
【0258】
類似性スコアは3つの推定値の変動の係数である。
【0259】
最後に、信頼性コンピュータ化モジュールは、決定された類似性スコアに基づいて、少なくとも1つの第1の予測モデルの予測出力の信頼性を決定する信頼性モデルを実行する。
【符号の説明】
【0260】
1,2,3,4 サブモデル
10,20,30,40 出力
【国際調査報告】