特許 7597469 不確実性にガイドされたイメージのクラス化のための半教師ありニューラル・ネットワークのトレーニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】不確実性にガイドされたイメージのクラス化のための半教師ありニューラル・ネットワークのトレーニング

(51)【国際特許分類】

   G06N 3/08 20230101AFI20241203BHJP

   G06T 7/00 20170101ALI20241203BHJP

   A61B 3/10 20060101ALI20241203BHJP

【ＦＩ】

G06N3/08

G06T7/00 612

G06T7/00 350C

A61B3/10 100

【請求項の数】 15

(21)【出願番号】P 2022537678

(86)(22)【出願日】2021-01-04

(65)【公表番号】

(43)【公表日】2023-03-15

(86)【国際出願番号】 IB2021050012

(87)【国際公開番号】W WO2021140426

(87)【国際公開日】2021-07-15

【審査請求日】2023-06-22

(31)【優先権主張番号】16/738,378

(32)【優先日】2020-01-09

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】セダイ、スーマン

(72)【発明者】

【氏名】アントニー、バーヴナ、ジョセフィーン

(72)【発明者】

【氏名】ガルナビ、ラーヒル

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１９－１５２９７７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１１０７５３（ＵＳ，Ａ１）

【文献】米国特許第９３１７９２７（ＵＳ，Ｂ２）

【文献】米国特許第７９３７２６４（ＵＳ，Ｂ２）

【文献】国際公開第２０１９／１６７８８３（ＷＯ，Ａ１）

【文献】高木純平, 外1名，“自己蒸留によるＤＮＮの蒸留の効率化”，電気学会論文誌Ｃ，日本，一般社団法人電気学会，2019年12月01日，第139巻, 第12号，p.1509-1516

【文献】木村昭悟, 外4名，"疑似訓練サンプル最適化によるニューラルネットワークの少数ショット学習"，一般社団法人人工知能学会 第３２回全国大会論文集，2018年06月05日，p.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０８

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ３／１０

(57)【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
ラベル付けされたイメージを使用して教師ニューラル・ネットワークをトレーニングして、トレーニングされた教師ニューラル・ネットワークを得ることであって、前記ラベル付けされたそれぞれのイメージのそれぞれのピクセルがクラス化のセットの１つを示すラベルに指定されること、
前記トレーニングされた教師ニューラル・ネットワークにラベル付けされていないイメージのセットを提供して、ソフト・ラベル付けされたイメージのセットを生成することであって、生成される前記ソフト・ラベル付けされたイメージのそれぞれのピクセルには、前記トレーニングされた教師ニューラル・ネットワークにより提供される、前記クラス化のセットの１つを示すソフト・ラベル及び前記ソフト・ラベルの信頼レベルを示す不確実性値が与えられること、
前記ラベル付けされたイメージのサブセット及び前記ソフト・ラベル付けされたセットを用い、前記ソフト・ラベル付けされたイメージの前記不確実性値から得られる信頼マップに基づいて、生徒ニューラル・ネットワークをトレーニングして、トレーニングされた生徒ニューラル・ネットワークを得ること、及び
前記トレーニングされた生徒ニューラル・ネットワークを使用してラベル付けされていないイメージから生徒ラベル付けイメージを得ること
を含む、コンピュータ実装方法。

【請求項2】

前記信頼マップに基づくことは、前記信頼マップに基づくクラスあたりのピクセルの有効数に応じてクラスごとに重み付けすることを含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

さらに、前記トレーニングされた教師ニューラル・ネットワークにラベル付けされていないイメージを提供することにより前記生徒ニューラル・ネットワークを反復的にトレーニングして、ソフト・ラベル付けされたイメージの異なるセットを生成し、それぞれの反復でソフト・ラベル付けされたイメージの異なるセット及び前記ラベル付けされたイメージの異なるサブセットを使用すること
を含む、請求項１または２に記載のコンピュータ実装方法。

【請求項4】

さらに、それぞれの反復で前記生徒ニューラル・ネットワークの出力からロス値を計算することを含み、前記生徒ニューラル・ネットワークをトレーニングすることが前記ロス値に基づいてそれぞれの反復で前記生徒ニューラル・ネットワークのパラメータをアップデートすること
を含む、請求項３に記載のコンピュータ実装方法。

【請求項5】

前記生徒ニューラル・ネットワークを前記反復してトレーニングすることは、それぞれの反復で前記生徒ニューラル・ネットワークについて計算された前記ロス値の収束が達成されるまで、又は事前規定された反復の数に達するまで実行される、
請求項４に記載のコンピュータ実装方法。

【請求項6】

さらに、それぞれのピクセルに与えられた前記ソフト・ラベルに関連する前記不確実性値に基づいて、前記トレーニングされた教師ニューラル・ネットワークにより生成される前記ソフト・ラベル付けされたイメージを重み付けすることを含む
請求項１～５のいずれか１項に記載のコンピュータ実装方法。

【請求項7】

前記生徒ニューラル・ネットワークを前記ソフト・ラベル付けされたイメージのセットでトレーニングすることは、前記重み付けより決定された重みに基づいてピクセルのソフト・ラベルを除外することを含む、
請求項６に記載のコンピュータ実装方法。

【請求項8】

前記クラス化のセットは、目の解剖学的特徴を示す前記クラス化のセットであり、前記コンピュータ実装方法は、さらに、前記ラベル付けされていないイメージとして光干渉断層撮影（ＯＣＴ）の網膜スキャンを入力することにより得られた前記生徒ラベル付けイメージに基づいて目の診断を行うことを含む、
請求項１～７のいずれか１項に記載のコンピュータ実装方法。

【請求項9】

システムであって、
コンピュータ可読な命令を有するメモリ、及び
前記コンピュータ可読な命令を実行するための１つ又はそれ以上のプロセッサを含み、前記コンピュータ可読な命令が前記１つ又はそれ以上のプロセッサを制御して：
ラベル付けされたイメージを使用して教師ニューラル・ネットワークをトレーニングして、トレーニングされた教師ニューラル・ネットワークを得ることであって、前記ラベル付けされたそれぞれのイメージのそれぞれのピクセルがクラス化のセットの１つを示すラベルに指定されること、
前記トレーニングされた教師ニューラル・ネットワークにラベル付けされていないイメージのセットを提供して、ソフト・ラベル付けされたイメージのセットを生成することであって、生成される前記ソフト・ラベル付けされたイメージのそれぞれのピクセルには、前記トレーニングされた教師ニューラル・ネットワークにより提供される、前記クラス化のセットの１つを示すソフト・ラベル及び前記ソフト・ラベルの信頼レベルを示す不確実性値が与えられること、
前記ラベル付けされたイメージのサブセット及び前記ソフト・ラベル付けされたセットを用い、前記ソフト・ラベル付けされたイメージの前記不確実性値から得られる信頼マップに基づいて、生徒ニューラル・ネットワークをトレーニングして、トレーニングされた生徒ニューラル・ネットワークを得ること、及び
前記トレーニングされた生徒ニューラル・ネットワークを使用してラベル付けされていないイメージから生徒ラベル付けイメージを得ること
を含む動作を実行する、システム。

【請求項10】

さらに、前記トレーニングされた教師ニューラル・ネットワークにラベル付けされていないイメージを提供することにより前記生徒ニューラル・ネットワークを反復的にトレーニングして、ソフト・ラベル付けされたイメージの異なるセットを生成し、それぞれの反復でソフト・ラベル付けされたイメージの異なるセット及び前記ラベル付けされたイメージの異なるサブセットを使用すること
を含む、請求項９に記載のシステム。

【請求項11】

さらに、それぞれの反復で前記生徒ニューラル・ネットワークの出力からロス値を計算することを含み、前記生徒ニューラル・ネットワークをトレーニングすることが前記ロス値に基づいてそれぞれの反復で前記生徒ニューラル・ネットワークのパラメータをアップデートすること
を含む、請求項１０に記載のシステム。

【請求項12】

前記生徒ニューラル・ネットワークを前記反復してトレーニングすることは、それぞれの反復で前記生徒ニューラル・ネットワークについて計算された前記ロス値の収束が達成されるまで、又は事前規定された反復の数に達するまで実行される、
請求項１１に記載のシステム。

【請求項13】

さらに、それぞれのピクセルに与えられた前記ソフト・ラベルに関連する前記不確実性値に基づいて前記トレーニングされた教師ニューラル・ネットワークにより生成され、前記ソフト・ラベル付けされたイメージを重み付けすることを含む
請求項９～１２のいずれか１項に記載システム。

【請求項14】

前記生徒ニューラル・ネットワークを前記ソフト・ラベル付けされたイメージのセットでトレーニングすることは、前記重み付けより決定された重みに基づいてピクセルのソフト・ラベルを除外することを含む、
請求項１３に記載のシステム。

【請求項15】

コンピュータ可読な媒体上に格納され、かつデジタル・コンピュータの内部メモリにロード可能なコンピュータ・プログラムであって、前記プログラムがコンピュータ上で動作する場合に請求項１～８いずれか１項に記載の方法を実行するためのソフトウェア・コード部分
を含む、コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に畳み込みニューラル・ネットワークを使用するイメージ検出に関し、より具体的には、イメージのクラス化のための不確実性にガイドされた半教師ありニューラル・ネットワークのトレーニングに関する。

【背景技術】

【0002】

畳み込みニューラル・ネットワークは、マルチ・レイヤのディープ・ラーニング・アルゴリズムである。ディープ・ラーニングは、特徴及びそれらのクラス化を識別する機械学習のタイプである。クラス化は、イメージのピクセルのセットのそれぞれのピクセルを、特徴を識別するクラス化のセットのうちの１つでラベル付けすることを参照する。
ディープ・ラーニング・アルゴリズムは、例えばイメージ内の特徴の識別及びクラス化を要求する医療イメージングに基づいて診断を行うことに良好に適合する。教師あり学習は、グラウンド・トルスを含むトレーニング・データセットでトレーニングされたニューラル・ネットワークを参照する。これは、入力に対応する正確な出力が知られている。教師無し学習は、入力のみでニューラス・ネットワークをトレーニングすることを参照する

【0003】

光干渉断層撮影（ＯＣＴ）の網膜スキャンといった、生物医学的の解剖学的なセグメント化は、特に疾病診断、進行分析、及び治療計画のために大きな療法的重要性を有する。例えば、ＯＣＴにより測定される視神経乳頭周囲網膜神経線維層（ｃｐＲＮＦＬ）の厚さが進行的に薄くなることは、緑内障の患者における視覚損失を予測するために使用することができる。

【0004】

畳み込みニューラル・ネットワーク（ＣＮＮｓ）に基づく方法は、医学的イメージ及び自然イメージのセグメント化において顕著な性能の増進を達成した。例えば、そのようなネットワークは、眼底及びＯＣＴイメージにおける網膜構造のセグメント化のために使用されてきた。そのような完全に教師ありのセグメント化アルゴリズムは、合理的な堅牢性及び精度を達成するために膨大な数のアノテーションされたイメージを必要とする。しかしながら、ピクセル・ワイズのグラウンド・トルスを要求することは、熟練者のみが信頼性のあるアノテーションを提供することができる医療イメージング・ドメインでは時間の浪費であり、かつコストが高い可能性がある。

【0005】

ラベル付けされたデータの供給不足は、限定された教師を要求する、効果的な半教師あり学習方法の必要性を要求する。本開示は、限定されたラベル付けされたデータと共に膨大な数の、容易に利用することができるラベル付けされていないデータを作用させることにより、本問題に対処するための新奇な半教師あり学習方法を記載する。

【0006】

したがって、上述した問題に対処するための技術が必要とされている。

【発明の概要】

【0007】

１つの側面から概観すると、本発明は、コンピュータ実装方法を提供し：ラベル付けされたイメージを使用して教師ニューラル・ネットワークをトレーニングして、トレーニングされた教師ニューラル・ネットワークを得ることであって、前記ラベル付けされたそれぞれのイメージのそれぞれのピクセルがクラス化のセットの１つを示すラベルに指定されること、前記トレーニングされた教師ニューラル・ネットワークにラベル付けされていないイメージのセットを提供して、ソフト・ラベル付けされたイメージのセットを生成することであって、前記ソフト・ラベル付けされたそれぞれのイメージのそれぞれのピクセルが、ソフト・ラベルに関連する前記クラス化のセットの１つ及び不確実性の値を示す前記ソフト・ラベルに指定されること、前記ラベル付けされたイメージ及び前記ソフト・ラベル付けされたセットで生徒ニューラル・ネットワークをトレーニングしてトレーニングされた生徒ニューラル・ネットワークを得ること、及び前記トレーニングされた生徒ニューラル・ネットワークを使用してラベル付けされていないイメージから生徒ラベル付けイメージを得ることを含む。

【0008】

さらなる側面から概観すると、本発明は、システムを提供し：コンピュータ可読な命令を有するメモリ、及び前記コンピュータ可読な命令を実行するための１つ又はそれ以上のプロセッサを含み、前記コンピュータ可読な命令が前記１つ又はそれ以上のプロセッサを制御して：ラベル付けされたイメージを使用して教師ニューラル・ネットワークをトレーニングして、トレーニングされた教師ニューラル・ネットワークを得ることであって、前記ラベル付けされたそれぞれのイメージのそれぞれのピクセルがクラス化のセットの１つを示すラベルに指定されること、前記トレーニングされた教師ニューラル・ネットワークにラベル付けされていないイメージのセットを提供して、ソフト・ラベル付けされたイメージのセットを生成することであって、前記ソフト・ラベル付けされたそれぞれのイメージのそれぞれのピクセルが、ソフト・ラベルに関連する前記クラス化のセットの１つ及び不確実性の値を示す前記ソフト・ラベルに指定されること、前記ラベル付けされたイメージのサブセット及び前記ソフト・ラベル付けされたセットで生徒ニューラル・ネットワークをトレーニングしてトレーニングされた生徒ニューラル・ネットワークを得ること、及び前記トレーニングされた生徒ニューラル・ネットワークを使用してラベル付けされていないイメージから生徒ラベル付けイメージを得ることを含む動作を実行する。

【0009】

さらなる側面から概観すると、本発明は、それにプログラム命令が実体化されたコンピュータ可読な記録媒体を含むコンピュータ・プログラム製品を提供し、プロセッサによって実行可能なプログラム命令は、プロセッサをして：ラベル付けされたイメージを使用して教師ニューラル・ネットワークをトレーニングして、トレーニングされた教師ニューラル・ネットワークを得ることであって、前記ラベル付けされたそれぞれのイメージのそれぞれのピクセルがクラス化のセットの１つを示すラベルに指定されること、前記トレーニングされた教師ニューラル・ネットワークにラベル付けされていないイメージのセットを提供して、ソフト・ラベル付けされたイメージのセットを生成することであって、前記ソフト・ラベル付けされたそれぞれのイメージのそれぞれのピクセルが、ソフト・ラベルに関連する前記クラス化のセットの１つ及び不確実性の値を示す前記ソフト・ラベルに指定されること、前記ラベル付けされたイメージのサブセット及び前記ソフト・ラベル付けされたセットで生徒ニューラル・ネットワークをトレーニングしてトレーニングされた生徒ニューラル・ネットワークを得ること、及び前記トレーニングされた生徒ニューラル・ネットワークを使用してラベル付けされていないイメージから生徒ラベル付けイメージを得ることを含む動作を実行させる。

【0010】

さらなる側面から概観すると、本発明は、イメージのクラス化のためのニューラル・ネットワークのためのコンピュータ・プログラム製品を提供し、前記コンピュータ・プログラム製品は、処理回路によって可読であり、かつ本発明のステップを実行するための前記処理回路による実行のための命令を格納するコンピュータ可読な記録媒体を含む。

【0011】

さらなる側面から概観すると、本発明は、コンピュータ可読な媒体上に格納され、かつデジタル・コンピュータの内部メモリにロード可能なコンピュータ・プログラムであって、前記プログラムがコンピュータ上で動作する場合に、本発明のステップを実行するためのソフトウェア・コード部分を含む、コンピュータ・プログラムを提供する。

【0012】

本発明の実施形態は、不確実性にガイドされた半教師ありニューラル・ネットワークのトレーニングを指向する。コンピュータ実装方法の非限定的な実施例は、ラベル付けされたイメージを使用して教師ニューラル・ネットワークをトレーニングし、トレーニングされた教師ニューラル・ネットワークを得ることであって、前記ラベル付けされたそれぞれのイメージのそれぞれのピクセルがクラス化のセットの１つを示すラベルに指定されることを含む。本方法はまた、前記トレーニングされた教師ニューラル・ネットワークにラベル付けされていないイメージのセットを提供してソフト・ラベル付けされたイメージのセットを生成すること、前記ソフト・ラベル付けされたそれぞれのイメージのそれぞれのピクセルが、前記クラス化のセットの１つ及びソフト・ラベルに関連する不確実性の値を示す前記ソフト・ラベルに指定されること、前記ラベル付けされたイメージのサブセット及び前記ソフト・ラベル付けされたセットで生徒ニューラル・ネットワークをトレーニングしてトレーニングされた生徒ニューラル・ネットワークを得ることを含む。生徒ラベル付けイメージは、前記トレーニングされた生徒ニューラル・ネットワークを使用してラベル付けされていないイメージから得られる。

【0013】

本発明の他の実施形態は、コンピュータ・システム及びコンピュータ・プログラム製品内に上述した方法の特徴を実装する。

【0014】

追加的な技術的特徴及び利益は、本発明の技術を通じて実現される。本発明の実施形態及び側面は、本明細書において詳述され、かつ請求項の主題の部分と考えられる。より良い理解のため、詳細な説明及び図面を参照する。

【0015】

本明細書に説明する排他的権利の特徴は、明細書の結論で請求項において特定的に指摘され、かつ個別に請求される。本発明の実施形態の上述した及び他の特徴及び他の特徴は、添付する図面との組み合わせにおいて後述する詳細な説明から理解される。

【図面の簡単な説明】

【0016】

【図1】図１は、本発明の１つ又はそれ以上の実施形態によるイメージのクラス化のための不確実性にガイドされた半教師ありニューラル・ネットワークのトレーニングを実行するための方法のプロセス・フローを示す。

【図2】図２は、本発明の１つ又はそれ以上の実施形態によるイメージのクラス化のための不確実性にガイドされた半教師ありニューラル・ネットワークのトレーニングを実行するための生徒ニューラル・ネットワークのトレーニングのプロセスの詳述である。

【図3】図３は、本発明の１つ又はそれ以上の実施形態によるイメージのクラス化のための不確実性にガイドされた半教師ありニューラル・ネットワークのトレーニングを実装するための処理システムのブロック図を示す。

【発明を実施するための形態】

【0017】

本明細書において図示された図は、例示的である。図、又は図内に記述された操作に対する多くのバリエーションは、本発明の精神から逸脱することなく存在することができる。例えば、動作は、異なる順序で実行することができ、又動作は、追加、削除、又は修正することができる。また、用語“結合”及びそのバリエーションは、２つの要素の間に通信経路を有することを記述し、それらの間にまったく介在的な要素／接続を有しない要素の間の直接接続を意味しない。これらのバリエーションすべては、本明細書の部分として考えられる。

【0018】

前述したように、ディープ・ラーニング・ニューラル・ネットワークは、イメージ内の特徴を識別すると共に特徴をクラス化するために使用することができる。これらのニューラル・ネットワークは、トレーニングされて、例えば、医療イメージ内の特徴をクラス化することに基づく医療診断が遂行される。すなわち、医療イメージ内の特徴は、クラス化のセットの１つで識別され、かつラベルされることができる。教師あり学習は、すでにラベル付けされたイメージを使用してニューラル・ネットワークをトレーニングすることを含み、より良好な結果を生成することができる。しかしながら、教師あり学習のために十分に大きなトレーニング・データセットを取得することは、時間の浪費であり、コストも高い可能性がある。医療診断用途においては、例えば、エキスパートだけが教師あり学習のために必要とされるイメージのピクセル・ワイズのグラウンド・トルスを提供することができる。

【0019】

典型的な教師あり学習のシナリオのおいては、ニューラル・ネットワークは、すでにクラス化されたイメージの入力セットが提供されて、トレーニングされたニューラル・ネットワークを生成する。入力セットがより大きくなると、得られるトレーニングされたニューラル・ネットワークは、より精度高くなりがちである。しかしながら、また上述したように、すでにクラス化されたイメージの大きさセットを取得することには課題がある。医療診断用途においては例えば、エキスパートのみが入力イメージをクラス化するために使用されるラベルを決定することができる。

【0020】

本発明の１つ又はそれ以上の実施形態は、イメージのクラス化のための不確実性にガイドされた半教師ありニューラル・ネットワークのトレーニングに関連する。本明細書において、より詳細に引き続き説明されるように、教師ニューラル・ネットワークは、クラス化されたイメージの利用可能なセットを使用して教師あり学習が行われる。得られたトレーニングされた教師ニューラル・ネットワークは、その後、追加的なイメージをクラス化してソフト・ラベルを提供する。クラス化されていないイメージは、クラス化されたイメージよりもより容易に使用されるので、トレーニングされた教師ニューラル・ネットワークを使用してクラス化されていないイメージから生成することができるソフト・ラベル付けされたイメージは、クラス化されたイメージよりもより大きなセットとすることができる。クラス化され、ソフト・ラベル付けされたイメージは、その後、生徒ニューラル・ネットワークをトレーニングするために使用される。したがって、生徒ニューラル・ネットワークは、クラス化され、かつソフト・ラベル付けされた両方のイメージの使用からの利益を受ける。

【0021】

本発明の側面によれば、生徒ニューラル・ネットワークは、トレーニングされた教師ニューラル・ネットワークによって生成されたそれぞれのラベルに関連する信頼レベルを示す不確実性マップからの利益を受ける。光干渉断層撮影（ＯＣＴ）の網膜スキャンは、特に実施例の目的で議論されるが、本明細書で詳述される本発明の１つ又はそれ以上の実施形態は、同様に特定のカテゴリにクラス化することができる特徴を有する如何なる生物医学的、又は他のイメージに対しても適用される。他の例示的なイメージは、磁気共鳴イメージ（ＭＲＩｓ）を含み、かつ他の例示的な診断は、肺小結節及び網膜血管に関係する。ＯＣＴ網膜スキャンから得られるイメージの例示的な場合は、ＯＣＴスキャンが視神経乳頭周囲網膜神経線維層（ｃｐＲＮＦＬ）の厚さを測定し、かつしたがって、ｃｐＲＮＦＬの薄化を示すことは、緑内障の患者における視覚損失を予測するために使用することができる。

【0022】

図１は、本発明の１つ又はそれ以上の実施形態によるイメージのクラス化のための不確実性にガイドされた半教師ありニューラル・ネットワークのトレーニングを実行する方法１００のプロセス・フローを示す。ブロック１１０で、ラベル付けされたイメージＤ_ｌが取得される。前述したように、それぞれのラベル付けされたイメージのそれぞれのピクセルは、イメージに適用されるクラス化にしたがってラベル付けされる。例えば、ＯＣＴスキャンのラベル付けされたイメージＤ_ｌについて、それぞれのＯＣＴスキャンのそれぞれのピクセルは、目の８つの解剖学的特徴の１つにしたがってラベル付けすることができる。教師ニューラル・ネットワークは、ベイジアン・ディープ・ラーニングを使用してブロック１２０でラベル付けされたイメージＤ_ｌの、このセットでトレーニングされる。ブロック１２０でのトレーニングの結果は、不確実性マップの他に入力としてラベル付けされていないイメージ及びそのイメージのそれぞれのピクセルについての出力されたソフト・ラベルを受領することができる、トレーニングされた教師ありニューラル・ネットワークである。不確実性マップは、それぞれのソフト・ラベルの不確実性を示す。トレーニングされた教師ニューラル・ネットワークにより出力されるラベルは、エキスパートによりアノテートされたラベル付けされ、そのためグラウンド・トルスを表すイメージＤ_ｌ内のラベルからトレーニングされた教師ニューラル・ネットワークの出力と区別するため、例示的な目的でソフト・ラベルとして参照する。

【0023】

ブロック１３０～１６０のプロセスは、その後、ブロック１７０でトレーニングされた生徒ニューラル・ネットワークを取得するために反復的に実行される。これらのプロセスは、ここでは要約され、かつ以下でさらに詳細に説明される。反復の数は、それぞれの反復で特有の検証トレーニングセットを使用して決定される、検証ロスの収束に基づくことができる。ブロック１３０では、ラベル付けされていないイメージＤ_ｕのサブセットｘ^＾ _ｕが取得される。サブセットｘ^＾ _ｕ内のラベル付けされていないイメージの数は、それぞれの反復で同一とすることができる。ブロック１４０では、トレーニングされた教師ニューラル・ネットワークを使用することによって、ソフト・ラベル付けされたイメージ及び不確実性の推定が、ラベル付けされていないイメージＤ_ｕのサブセットｘ^＾ _ｕについてブロック１５０で出力される。すなわち、サブセットｘ^＾ _ｕ内のそれぞれのラベル付けされていないイメージについて、トレーニングされた教師ニューラル・ネットワークは、それぞれのピクセルについてソフト・ラベルを提供すると共に、それぞれのソフト・ラベルの不確実性を示す。したがって、ソフト・ラベルｚのベクトル及び不確実性の推定ベクトル（すなわち、不確実性マップｕ）がブロック１５０でサブセットｘ^＾ _ｕ内のそれぞれのイメージについて取得される。不確実性マップｕ内のより高い値は、より不正確でありそうなソフト・ラベルを有するピクセルを記述することができる。これらのソフト・ラベルは、その後、ブロック１６０で、生徒ニューラル・ネットワークのトレーニングにおいて対応してダウン・ウェイトされることができる。それぞれの反復で、ソフト・ラベルを有するサブセットｘ^＾ _ｕ及びブロック１１０で得られたラベル付けイメージのサブセットｘ^＾ _ｌは、ブロック１６０で生徒ニューラル・ネットワークをトレーニングするために使用される。ブロック１６０での生徒ニューラル・ネットワークをトレーニングするプロセスは、図２を参照して詳述される。

【0024】

図２は、本発明の１つ又はそれ以上の実施形態によって、イメージのクラス化のための不確実性にガイドされた半教師ありニューラル・ネットワークのトレーニングを実行することによる、ブロック１６０（図１）での、生徒ニューラル・ネットワークをトレーニングするプロセスを詳述する。不確実性にガイドされた半教師ありトレーニングは、ブロック１５０でトレーニングされた教師ニューラル・ネットワークによって提供されるソフト・ラベルｚ及び不確実性マップｕを使用することを参照する。前述したように、不確実性マップｕは、サブセットｘ^＾ _ｕのそれぞれのピクセルについてトレーニングされた教師ニューラル・ネットワークにより生成されたソフト・ラベルの信頼性を示し、したがって、生徒ニューラル・ネットワークのトレーニングにおけるソフト・ラベルの重み付けを容易にする。

【0025】

ブロック２１０で、正規化された信頼マップωを得ることは、トレーニングされた教師ニューラル・ネットワークによって不確実性マップｕの出力を変換することを参照する。

【0026】

【数1】

【0027】

正のスカラーハイパー・パラメータαは、トレーニングされた教師ニューラル・ネットワークから生徒ニューラル・ネットワークへの情報フローを制御し、かつより特定的にはソフト・ラベルｚの使用を制御する。すなわち、もしもαが０に設定されるならば、ソフト・ラベルｚのすべては、等しく重み付けされるであろう（すなわち、ω＝１）が、α＞０では、より信頼性のあるソフト・ラベルの確率的選択が行われる。正規化された信頼マップω∈［０，１］は、ソフト・ラベルｚのピクセル・ワイズの品質を提供するので、より高い不確実性の値は、より低い品質スコアを生成し（及びトレーニングにおいて、ソフト・ラベルが使用されるであろうより低い蓋然性）、より低い不確実性の値は、より高いスコア（及びトレーニングにおいてソフト・ラベルが使用されるであろうより高い蓋然性）を生成する。αの値は、経験的に決定することができる。トレーニングされた教師ニューラル・ネットワークから得られたサブセットｘ^＾ _ｕのソフト・ラベルｚを、ラベル付けされたイメージのサブセットｘ^＾ _ｌのエキスパートがアノテートしたラベルに追加して使用することは、生徒ニューラル・ネットワークのトレーニングにおいて使用されるトレーニング・データセットを増加する。追加的に、トレーニングされた教師ニューラル・ネットワークから得られる不確実性マップｕに基づくソフト・ラベルｚの重み付けは、さらに、生徒ニューラル・ネットワークのトレーニングを改善する。

【0028】

ブロック２２０では、生徒ニューラル・ネットワークから出力ｚ^ｔ _ｃを得ることは、重み付けされたソフト・ラベルを使用することを参照すると共に、ｔ番目のピクセル及びｃ番目のクラスを示す。標準ロスＬ_ｌａｂは、ラベル付けされたイメージのサブセットｘ^＾ _ｌに関連するロスを記述するために使用され、かつサブセットｘ^＾ _ｕに関連するアンラベルド・ロスＬ_{ｕｎｌａｂ}は、信頼重み付け交差エントロピーとして以下によって定式化される：

【0029】

【数2】

【0030】

ＯＣＴスキャンであるイメージの例示的な場合では、クラスの数は、８（すなわち、Ｃ＝８）である。Ｚ_ｃは、ソフト・ラベル・ベクトルｚ内のｃ番目のクラスのピクセル領域を記述し、ξ_ｃは、以下に与えられる：

【0031】

【数3】

【0032】

式３にしたがい、クラスあたりのピクセルの有効数≦Ｐの場合、ξ_ｃ＝０である。これは、Ｚ_ｃのピクセルの多くが不確実である場合に、アンラベルド・ロスの安定化を提供する。Ｐの値は、経験的に設定される（例えば、ＯＣＴスキャンのイメージの例示的な場合においてはＰ＝５０）。半教師ありロスＬ_{ｓｅｍｉｓｕｐ}が、アンラベルド・ロスＬ_{ｕｎｌａｂ}及びラベルド・ロスＬ_ｌａｂの合計としてブロック２３０で以下に計算される。

【0033】

【数4】

【0034】

半教師ありロスＬ_{ｓｅｍｉｓｕｐ}は、ブロック２４０で反復についてのトレーニング・プロセスの部分として、生徒ニューラル・ネットワークのパラメータをアップデートするために使用される。

【0035】

ブロック２２０で生徒ニューラル・ネットワークから出力を得ること、及びブロック２３０で半教師ありロスを計算することは、ブロック１３０～ブロック１６０（図１）のさらなる反復が必要か否かを判断するために、特定のトレーニング・データセットについて繰り返されることができる。特定のトレーニング・データセット、又は検証イメージは、ラベル付けされていないイメージ及び対応するラベル付けされたイメージを含む。上述した半教師ありロスＬ_{ｓｅｍｉｓｕｐ}は、イメージ・サブセットｘ^＾ _ｕ及びｘ^＾ _ｌを使用してブロック２３０で計算され、かつブロック２４０で、生徒ニューラル・ネットワークのパラメータをアップデートするために使用される。ブロック２３０で検証イメージを使用して計算された半教師ありロスＬ_{ｓｅｍｉｓｕｐ}は、収束を判断するために使用される。半教師ありロスＬ_{ｓｅｍｉｓｕｐ}が収束する（例えば、１つの反復から次への半教師ありロスＬ_{ｓｅｍｉｓｕｐ}の差が閾値以下である。）場合、反復を停止することができる。ブロック１３０～１６０のプロセスの反復は、収束が達成されるか、又は、設定された数の反復（例えば、４０，０００）に達するまで実行することができる。

【0036】

本発明の１つ又はそれ以上の実施形態は、現在知られ、又はその後に開発される如何なる他のタイプのコンピューティング環境との組み合わせで実装することができることが理解される。図３は、本明細書で説明した技術を実装するためのプロセッシング・システム３００のブロック図である。図３に示す実施形態においては、プロセッシング・システム３００は、１つ又はそれ以上の中央処理ユニット（プロセッサ）２１ａ、２１ｂ、２１ｃなどを有する（集合的に、又は一般的にプロセッサ（複数でもよい）２１、又はプロセッシング・デバイス（複数でもよい）、又はそれらの両方として参照する。）。本発明の１つ又はそれ以上の実施形態によれば、それぞれのプロセッサ２１は、縮小命令セット・コンピュータ（ＲＩＳＣ）マイクロ・プロセッサを含むことができる。プロセッサ２１は、システム・メモリ（例えばランダム・アクセス・メモリ（ＲＡＭ）２４）及び種々の他のコンポーネントと結合される。リード・オンリー・メモリ（ＲＯＭ）２２は、システム・バス３３に結合され、かつベーシック入力／出力システム（ＢＩＯＳ）を含むことができ、これは、プロセッシング・システム３００の一定の基本機能を制御する。

【0037】

さらに図示されるものは、システム・バス３３に結合された入力／出力（Ｉ／Ｏアダプタ２７及び通信アダプタ２６である。Ｉ／Ｏアダプタ２７は、ハードディスク２３、又はテープ・ストレージ・ドライブ２５、又はこれらの両方と通信するスモール・コンピュータ・システム・インタフェース（ＳＣＳＩ）とすることができる。Ｉ／Ｏアダプタ２７、ハードディスク２３、及びテープ・ストレージ・デバイス２５は、集合的に本明細書においてマス・ストレージ３４として参照される。プロセッシング・システム３００上で実行するためのオペレーティング・システム４０は、マス・ストレージ３４内に格納することができる。ＲＡＭ２４、ＲＯＭ２２、及びマス・ストレージ３４は、プロセッシング・システム３００のメモリ１９の実施例である。ネットワーク・アダプタ２６は、システム・バス３３を、外部のネットワーク３６に相互接続して、プロセッシング・システム３００が他のそのようなシステムと通信することを可能とする。

【0038】

ディスプレイ（例えば、ディスプレイ・モニタ）３５は、システム・バス３３にディスプレイ・アダプタ３２によって接続され、これは、グラフィックス集約的なアプリケーションの性能を改善するグラフィックス・アダプタ及びビデオ・コントローラを含む。本発明の１つ又はそれ以上の実施形態によれば、アダプタ２６、２７、又は３２、又はそれらの組み合わせは、中間的なバス・ブリッジ（図示せず）を介してシステム・バス３３に接続される１つ又はそれ以上のＩ／Ｏバスに接続されることができる。ハードディスク・コントローラ、ネットワーク・アダプタ、及びグラフィックス・アダプタといった周辺デバイスを接続するための好ましいＩ／Ｏバスは、典型的には、ペリフェラル・コンポーネント・インタコネクト（ＰＣＩ）といった共通のプロトコルを含む。追加的な入力／出力デバイスは、ユーザ・インタフェース・アダプタ２８及びディスプレイ・アダプタ３２を介してシステム・バス３３に接続されるように示されている。キーボード２９、マウス３０、スピーカ３１は、システム・バス３３にユーザ・インタフェース・アダプタ２８を介して相互接続され、これは、例えば、単一の集積回路へと多数のデバイス・アダプタを集積するスーパーＩ／Ｏチップを含むことができる。

【0039】

本発明の１つ又はそれ以上の実施形態によれば、プロセッシング・システム３００は、グラフィックス・プロセッシング・ユニット３７を含む。グラフィックス・プロセッシング・ユニット３７は、メモリを操作すると共に変更して、ディスプレイへの出力を意図するフレーム・バッファ内へのイメージの生成を加速するように設計された、専用的な電子回路である。一般に、グラフィックス・プロセッシング・ユニット３７は、コンピュータ・グラフィックス及びイメージ・プロセッシングを極めて効率的に操作すると共に、並列に大規模なデータ・ブロックを処理するアルゴリズムのための汎用目的ＣＰＵよりも、より効果的とする高い並列構造を有する。

【0040】

したがって、本明細書で構成されるように、プロセッシング・システム３００は、プロセッサ２１に形態のプロセッシング能力、システム・メモリ（例えば、ＲＡＭ２４）及びマス・ストレージ３４を含むストレージ能力、キーボード２９及びマウス３０といった入力手段、及びスピーカ３１及びディスプレイ３５を含む出力能力を含む。本発明の１つ又はそれ以上の実施形態によれば、システム・・メモリ（例えばＲＡＭ２４）の部分及びマス・ストレージ３４は、ＩＢＭコーポレーションからのＡＩＸ（登録商標）オペレーティング・システムといったオペレーティング・システムを集合的に格納して、プロセッシング・システム３００に示された種々のコンポーネントの機能を調整する。

【0041】

本発明の種々の実施形態は、本明細書において関連する図面を参照して説明された。本発明の代替的実施形態は、本発明の範囲から逸脱することなく成しえる。種々の接続及び位置的な関係（例えば、上、下、隣接など）は、これにしたがう明細書において、及び図面において要素間において明らかにされる。これらの接続、又は位置的な関係、又はこれらの両方は、それ以外が特定されない限り、直接、又は間接とすることができ、かつ本発明は、これらの点において限定することを意図しない。したがって、エンティティの結合は、直接的、又は間接的なカップリングとすることができると共に、エンティティ間の位置的関係は、直接的、又は間接的な位置的関係とすることができる。さらに、本明細書で説明した種々のタスク及びプロセス・ステップは、本明細書で説明されていない追加的なステップ又は機能を有するより包括的な手順、又はプロセスに組み込むことができる。

【0042】

本明細書で説明した１つ又はそれ以上の方法は、それぞれが当技術において周知の以下の技術の如何なるもの又は組み合わせで実装することができる：データ信号に応じて論理的機能を実装するための論理ゲートを有する別々の論知回路（複数でもよい）、適切な組み合わせの論理ゲートを有する特定用途集積回路（ＡＳＩＣ）、プログラマブル・ゲート・アレイ（複数でもよい）（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、など。

【0043】

簡略化のために、本発明の側面を製造し、かつ使用することに関係する従来の技術は、本明細書において詳細に説明されているか、又はされていない場合がある。具体的には、本明細書で説明した種々の技術的特徴を実装するためのコンピューティング・システムの種々の側面及び特定のコンピュータ・プログラムは、よく知られている。したがって、簡潔さの観点において、多くの従来の実装の詳細は、本明細書において簡潔に述べられるか、周知のシステム、又はプロセス詳細、又はこれらの両方を提供することなく完全に省略された。

【0044】

いくつかの実施形態において、種々の機能又は動作は、所与の位置、又は１つ又はそれ以上の装置、又はシステムの動作に接続され、又はそれらの両方で発生することができる。いくつかの実施形態では、所与の機能又は動作は、第１のデバイス、又は位置で実行されることができ、機能又は動作の残りは、１つ又はそれ以上の追加的なデバイス、又は位置で実行されることができる。

【0045】

本明細書で使用される用語は、特定の実施形態を説明する目的のためのみのものであり、限定を意図するものではない。本明細書で使用するように、単数形、“ａ”、“ａｎ”及び“ｔｈｅ”は、文脈が明らかにそれ以外を示さない限り、同様に複数形態を含むことを意図する。さらに、用語、含む“ｃｏｍｐｒｉｓｅ”、含んでいる“ｃｏｍｐｒｉｓｉｎｇ”、又はこれらの両方が本明細書において使用される場合、宣言された特徴、整数、ステップ、操作、要素、又はコンポーネント、又はこれらの組み合わせの存在を特定するが、１つ又はそれ以上の他の特徴、整数、ステップ、操作、要素、コンポーネント又はグループ又はそれらの組み合わせの存在、又は追加を除外するものでないことについて理解されるべきである。

【0046】

下記のクレーム中の対応する構造、材料、動作、及びすべての手段又はステップ・プラス・ファンクションの均等物は、特定的に請求項に記載された他の請求項の要素との組み合わせにおいて機能を実行するための如何なる構造、材料、又は動作を含むことを意図する。本開示は、例示及び説明の目的で提示されるが、開示された形態だけに尽きる、又は限定されることを意図するものではない。多くの修正及びバリエーションは、本開示の範囲から逸脱することなく、当業者において明らかであろう。実施形態は、本開示の原理及び実際的な用途を説明すると共に、当業者の他の者に対して、想定される特定の使用に適切となるような種々の修正を有する種々の実施形態についての開示を理解させることを可能とするために選択され、かつ説明された。

【0047】

本明細書で説明した図は、例示である。本明細書で説明した図、又はステップ（又は操作）に対する多くのバリエーションが、本開示の範囲から逸脱することなく存在することができる。例えば、動作は、異なる順序で実行されることができ、又は動作は、追加、又は修正することができる。また、用語“結合”は、２つの要素間で信号経路を有することを記述し、要素間の間に介在する要素／接続の無い直接の接続を意味しない。これらのバリエーションのすべては、本開示の一部と考えられる。

【0048】

後述する定義及び略記は、請求項及び明細書の解釈のために使用されるべきものである。本明細書で使用されるように、“含む”、“含んでいる”、“内包する”、“内包している”、
“有する”、“有している”、“包含する”、又は“包含している”、又はそれらの如何なるバリエーションは、被排他的包含を含むことを意図する。例えば、要素のリストを含む組成物、混合物、プロセス、方法、製品、又は装置は、それらの要素だけに限定される必要は無いが、明示的にリストされていないか、そのような組成、混合物、プロセス、方法、製品又は装置に本質的なものである他の要素を含むことができる。

【0049】

追加的に、本明細書で使用する用語“例示的”は、“実施例としての提供”を意味する。本明細書で説明する“例示的な”如何なる実施形態、又は設計は、他の実施形態、又は設計を超えた好ましい、又は有利なものと解釈される必要はない。用語、“少なくとも１つ”及び“１つ又はそれ以上の”は、１に等しいか、それ以上の如何なる整数、すなわち、１、２、３、４、などを含むと理解される。用語、“複数の”は、２よりも大きな如何なる整数、すなわち、２、３、４、５などを含むと理解される。用語“接続”は、間接的な“接続”及び直接的な“接続”の両方を含むことができる。

【0050】

用語“約”、“実質的”、“近似的”、及びそれらのバリエーションは、本願の出願の時点で利用可能な装置に基づいて特定の品質の測定に関連する誤差の程度を含むことを意図する。例えば、“約”は、所与の値の、±８％、５％、又は２％の範囲を含むことができる。

【0051】

本発明は、システム、方法、又はコンピュータ・プログラム製品、又はそれらの組み合わせとすることができる。コンピュータ・プログラム製品は、それ上に、プロセッサに対して本開示の特徴を遂行させるためのコンピュータ可読なプログラム命令を有する、コンピュータ可読な記録媒体（又は複数の媒体）を含む。

【0052】

コンピュータ可読な記録媒体は、命令実行デバイスが使用するための複数の命令を保持し格納することができる有形のデバイスとすることができる。コンピュータ可読な媒体は、例えば、これらに限定されないが、電気的記録デバイス、磁気的記録デバイス、光学的記録デバイス、電気磁気的記録デバイス、半導体記録デバイス、又はこれらの如何なる好ましい組み合わせとすることができる。コンピュータ可読な記録媒体のより具体的な実施例のこれらに尽きないリストは、次のポータブル・コンピュータ・ディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ（登録商標））、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・イオンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク（登録商標）、パンチ・カード又は命令を記録した溝内に突出する構造を有する機械的にエンコードされたデバイス、及びこれらの好ましい如何なる組合せを含む。本明細書で使用するように、コンピュータ可読な記録媒体は、ラジオ波又は他の自由に伝搬する電磁波、導波路又は他の通信媒体（例えば、光ファイバ・ケーブルを通過する光パルス）といった電磁波、又はワイヤを通して通信される電気信号といったそれ自体が一時的な信号として解釈されることはない。

【0053】

本明細書において説明されるコンピュータ・プログラム命令は、コンピュータ可読な記録媒体からそれぞれのコンピューティング／プロセッシング・デバイスにダウンロードでき、又は例えばインターネット、ローカル・エリア・ネットワーク、ワイドエリア・ネットワーク又はワイヤレス・ネットワーク及びそれからの組み合わせといったネットワークを介して外部コンピュータ又は外部記録デバイスにダウンロードすることができる。ネットワークは、銅通信ケーブル、光通信ファイバ、ワイヤレス通信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及びエッジ・サーバ又はこれらの組み合わせを含むことができる。それぞれのコンピューティング／プロセッシング・デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読なプログラム命令を受領し、このコンピュータ可読なプログラム命令を格納するためにそれぞれのコンピューティング／プロセッシング・デバイス内のコンピュータ可読な記録媒体内に転送する。

【0054】

本発明の操作を遂行するためのコンピュータ可読なプログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、マシン依存命令、マイクロ・コード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は１つ又はそれ以上の、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、“Ｃ”プログラミング言語又は類似のプログラム言語といった従来の手続き型プログラミング言語を含むプログラミング言語のいかなる組合せにおいて記述されたソース・コード、又はオブジェクト・コードの何れかとすることができる。コンピュータ可読なプログラム命令は、全体がユーザ・コンピュータ上で、部分的にユーザ・コンピュータ上でスタンドアローン・ソフトウェア・パッケージとして、部分的にユーザ・コンピュータ上で、かつ部分的にリモート・コンピュータ上で、又は全体がリモート・コンピュータ又はサーバ上で実行することができる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）を含むいかなるタイプのネットワークを通してユーザ・コンピュータに接続することができ、又は接続は、外部コンピュータ（例えばインターネット・サービス・プロバイダを通じて）へと行うことができる。いくつかの実施形態では、例えばプログラマブル論理回路、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む電気回路がコンピュータ可読なプログラム命令を、コンピュータ可読なプログラム命令の状態情報を使用して、本発明の特徴を実行するために電気回路をパーソナライズして実行することができる。

【0055】

本明細書で説明した本発明の側面を、本発明の実施形態にしたがい、フローチャート命令及び方法のブロック図、又はそれらの両方、装置（システム）、及びコンピュータ可読な記録媒体及びコンピュータ・プログラム製品を参照して説明した。フローチャートの図示及びブロック図又はそれら両方及びフローチャートの図示におけるブロック及びブロック図、又はそれらの両方のいかなる組合せでもコンピュータ可読なプログラム命令により実装することができることを理解されたい。

【0056】

コンピュータ可読なプログラム命令は、汎用目的のコンピュータ、特定目的のコンピュータ、又は他のプロセッサ又は機械を生成するための他のプログラマブル・データ・プロセッシング装置に提供することができ、コンピュータのプロセッサ又は他のプログラマブル・データ・プロセッシング装置による実行がフローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作を実装するための手段を生成する。コンピュータ、プログラマブル・データ・プロセッシング装置及び他の装置又はこれらの組み合わせが特定の仕方で機能するように指令するこれらのコンピュータ可読なプログラム命令は、またコンピュータ可読な記録媒体に格納することができ、その内に命令を格納したコンピュータ可読な記録媒体は、フローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作の特徴を実装する命令を含む製造品を構成する。

【0057】

コンピュータ可読なプログラム命令は、またコンピュータ、他のプログラマブル・データ・プロセッシング装置、又は他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、又は他のデバイス上で操作ステップのシリーズに対してコンピュータ実装プロセスを生じさせることで、コンピュータ、他のプログラマブル装置又は他のデバイス上でフローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作を実装させる。

【0058】

図のフローチャート及びブロック図は、本発明の種々の実施形態にしたがったシステム、方法及びコンピュータ・プログラムのアーキテクチャ、機能、及び可能な実装操作を示す。この観点において、フローチャート又はブロック図は、モジュール、セグメント又は命令の部分を表すことかでき、これらは、特定の論理的機能（又は複数の機能）を実装するための１つ又はそれ以上の実行可能な命令を含む。いくつかの代替的な実装においては、ブロックにおいて記述された機能は、図示した以外で実行することができる。例えば、連続して示された２つのブロックは、含まれる機能に応じて、実質的に同時的に、又は複数のブロックは、時として逆の順番で実行することができる。またブロック図及びフローチャートの図示、又はこれらの両方及びブロック図中のブロック及びフローチャートの図示又はこれらの組み合わせは、特定の機能又は動作を実行するか又は特定の目的のハードウェア及びコンピュータ命令を遂行する特定目的のハードウェアに基づいたシステムにより実装することができることを指摘する。

【0059】

本開示の種々の実施形態の説明は、例示の目的のために提示されたが、開示された実施形態に尽きたものとか、又は限定を意図するものではない。多くの変更例又は変形例は、本開示の範囲及び精神から逸脱することなく、当業者において自明である。本明細書で使用する用語は、本実施形態の原理、実用的用途、又は市場において見出される技術を超える技術的改善を最良に説明するため、又は本明細書において開示された実施形態を当業者の他の者が理解できるようにするために選択したものである。

【図1】

【図2】

【図3】