特許 7557499 画像からデータを予測する方法、コンピュータシステム、及びコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】画像からデータを予測する方法、コンピュータシステム、及びコンピュータ可読媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240919BHJP

   G01N 33/483 20060101ALI20240919BHJP

【ＦＩ】

G06T7/00 350B

G01N33/483 C

【請求項の数】 20

(21)【出願番号】P 2022088439

(22)【出願日】2022-05-31

(65)【公開番号】P2023176256

(43)【公開日】2023-12-13

【審査請求日】2022-07-04

【審判番号】

【審判請求日】2023-11-29

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和３年１１月１日～１１月５日に開催された ＩＥＥＥ ＥＭＢＣ ２０２１（オンライン）、ウェブサイト（ｈｔｔｐｓ：／／ｅｍｂｃ．ｅｍｂｓ．ｏｒｇ／２０２１／）

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100110135

【弁理士】

【氏名又は名称】石井 裕一郎

(72)【発明者】

【氏名】シャルマ シュレヤ

(72)【発明者】

【氏名】バハダン アビヒシェック

(72)【発明者】

【氏名】ラゴサマン スリカンス

(72)【発明者】

【氏名】マジュムダル シャンタヌ

【合議体】

【審判長】中木 努

【審判官】本郷 彰

【審判官】廣川 浩

(56)【参考文献】

【文献】特開２０２１－００３５６４（ＪＰ，Ａ）

【文献】特開２０２２－０７８７３５（ＪＰ，Ａ）

【文献】特開２０２１－１７４４７１（ＪＰ，Ａ）

【文献】特開２０１９－１４８４７３（ＪＰ，Ａ）

【文献】国際公開第２０２２／０７９８４７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 1/00,7/00-7/90

G06V 10/00-10/98

G01N 21/64,33/48

(57)【特許請求の範囲】

【請求項1】

プロセッサによって実行可能である画像からデータを予測する方法であって、
画像を分割し当該画像全体の複数のパッチ画像を抽出する画像抽出工程と、
第１のモデルを使用して、前記複数のパッチ画像に対応し各前記パッチ画像の位置関係を含む、圧縮された特徴情報を抽出する特徴抽出工程と、
畳み込み層、プーリング層、及び全結合層を含む第２のモデルを使用して、前記圧縮された特徴情報に対応する出力データを予測する予測工程と、を含む、
方法。

【請求項2】

前記圧縮された特徴情報に対応する１つ又は複数の損失関数を最小化することに基づき、前記第１のモデル及び前記第２のモデルのパラメータを調整する調整工程、をさらに含む、
請求項１に記載の方法。

【請求項3】

前記１つ又は複数の損失関数のうちの第１の損失関数は、前記パッチ画像に基づき、前記第１のモデルによって出力される前記圧縮された特徴情報に対応する、
請求項２に記載の方法。

【請求項4】

前記１つ又は複数の損失関数のうちの第２の損失関数は、前記圧縮された特徴情報に基づく前記画像によって示される、前記第２のモデルによって出力される出力データに対応する、
請求項３に記載の方法。

【請求項5】

前記特徴抽出工程では、
前記各パッチ画像の位置関係に基づいた前記特徴情報に含まれるパッチ画像の位置関係に基づいて、深層学習モデルを生成する、
請求項１に記載の方法。

【請求項6】

前記特徴抽出工程は、
前記画像に関連する病理を検出し、
検出された前記病理に対応するパッチ画像を特定し、
前記画像に関連付けられた正常パッチ画像を特定し、
前記検出された病理に対応する前記正常パッチ画像とパッチ画像に対応する空間配置を決定させ、
決定された前記空間配置に基づいて深層学習モデルを生成又はトレーニングすることである、
請求項１に記載の方法。

【請求項7】

前記パッチ画像は、前記画像内の前記特徴情報に含まれるパッチ画像の位置に対応する前記画像とデータの少なくとも一部を含む、
請求項１に記載の方法。

【請求項8】

画像からデータを予測するためのコンピュータシステムであって、
コンピュータプログラムコードを格納するように構成された１つ又は複数のコンピュータ可読非一時記憶媒体と、
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードにより指示された動作をするように構成された１つ又は複数のコンピュータプロセッサと、を備え、
前記コンピュータプログラムコードは、
前記１つ又は複数のコンピュータプロセッサに、画像を分割し当該画像全体の複数のパッチ画像を抽出させるように構成された抽出コードと、
前記１つ又は複数のコンピュータプロセッサに、前記複数のパッチ画像間の位置関係を含む特徴情報を圧縮させるように構成された第１のモデルの圧縮コードと、
前記１つ又は複数のコンピュータプロセッサに、圧縮された前記特徴情報に対応する出力データを予測させるように構成され、畳み込み層、プーリング層、及び全結合層を含む第２のモデルの予測コードを含む、
コンピュータシステム。

【請求項9】

前記１つ又は複数のコンピュータプロセッサは、前記圧縮された特徴情報に対応する１つ又は複数の損失関数を最小化することに基づいて、前記第１のモデル及び前記第２のモデルのパラメータを調整するように
さらに構成された、請求項８に記載のコンピュータシステム。

【請求項10】

前記１つ又は複数の損失関数のうちの第１の損失関数は、前記第１のモデルに対応する、
請求項９に記載のコンピュータシステム。

【請求項11】

前記１つ又は複数の損失関数のうちの第２の損失関数は、前記第２のモデルに対応する、
請求項１０に記載のコンピュータシステム。

【請求項12】

前記圧縮コードは、
前記１つ又は複数のコンピュータプロセッサに、各前記パッチ画像の位置関係に基づいた前記特徴情報に含まれるパッチ画像の位置関係に基づいて、深層学習モデルを生成するように構成された生成コードと、を含む、
請求項８に記載のコンピュータシステム。

【請求項13】

前記圧縮コードは、
前記１つ又は複数のコンピュータプロセッサに、前記画像に関連する病理を検出させるように構成された検出コードと、
前記１つ又は複数のコンピュータプロセッサに、検出された前記病理に対応するパッチ画像を特定させるように構成された第１の特定コードと、
前記１つ又は複数のコンピュータプロセッサに、前記画像に関連付けられた正常パッチ画像を特定させるように構成された第２の特定コードと、
前記１つ又は複数のコンピュータプロセッサに、前記検出された病理に対応する前記正常パッチ画像とパッチ画像に対応する空間配置を決定させるように構成された決定コードと、
前記１つ又は複数のコンピュータプロセッサに、決定された前記空間配置に基づいて深層学習モデルを生成するように構成された生成コードと、を含む、
請求項８に記載のコンピュータシステム。

【請求項14】

前記パッチ画像は、前記画像の少なくとも一部と、前記画像内の前記特徴情報の位置に対応するデータとを含む、
請求項８に記載のコンピュータシステム。

【請求項15】

画像からデータを予測するためのコンピュータプログラムを格納した非一時的なコンピュータ可読媒体であって、
前記コンピュータプログラムは、１つ又は複数のコンピュータプロセッサに、
画像を分割し当該画像全体の複数のパッチ画像を抽出させ、
第１のモデルを使用して、前記複数のパッチ画像間の位置関係を含む特徴情報を圧縮させ、
畳み込み層、プーリング層、及び全結合層を含む第２のモデルを使用して、圧縮された前記特徴情報に対応する出力データを予測させるように構成された
コンピュータ可読媒体。

【請求項16】

前記コンピュータプログラムは、前記１つ又は複数のコンピュータプロセッサに、前記圧縮された特徴情報に対応する１つ又は複数の損失関数を最小化することに基づいて、前記第１のモデル及び前記第２のモデルのパラメータを最適化させるように、さらに構成された、
請求項１５に記載のコンピュータ可読媒体。

【請求項17】

前記１つ又は複数の損失関数のうちの第１の損失関数は、前記第１のモデルに対応する、
請求項１６に記載のコンピュータ可読媒体。

【請求項18】

前記１つ又は複数の損失関数のうちの第２の損失関数は、前記第２のモデルに対応する、
請求項１７に記載のコンピュータ可読媒体。

【請求項19】

前記コンピュータプログラムは、前記１つ又は複数のコンピュータプロセッサに、
各前記パッチ画像の位置関係に基づいた前記特徴情報に含まれるパッチ画像の位置関係に基づいて深層学習モデルを生成させるように、さらに構成された、
請求項１５に記載のコンピュータ可読媒体。

【請求項20】

前記コンピュータプログラムは、前記１つ又は複数のコンピュータプロセッサに、
前記画像に関連する病理を検出させ、
検出された前記病理に対応するパッチ画像を特定させ、
前記画像に関連付けられている正常パッチ画像を特定させ、
前記検出された病理に対応する前記正常パッチ画像とパッチ画像に対応する空間配置を決定させ、
決定された前記空間配置に基づいて深層学習モデルを生成させるように構成された、
請求項１５に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、データ処理の分野、より具体的には機械学習に関する。

【背景技術】

【0002】

画像、アニメーション、及び音声等のバイナリファイルは、大量のデータの作成及び符号化を可能にした。例えば、医学の分野では、顕微鏡画像データと分子データが癌研究に広く使用されている。この場合、表形式の分子データは遺伝子タイプの変化に関する情報を提供するが、非表形式の顕微鏡画像データは細胞の構造とパターンの変化に関する情報を提供する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

デジタル病理学は、スライド画像全体から、生物学的構成要素に関する情報を抽出することを可能にした。ヘマトキシリン及びエオシン（Ｈ＆Ｅ）は、世界中の病理学研究室で使用されている一般的な染色技術である。典型的な実施として、ヘマトキシリン色素は核を青で染色し、エオシンは細胞質と細胞外マトリックスをピンクで染色する。細胞と核は組織の基本要素であり、そのような成分の統計値は、新しいバイオマーカーの開発と正確な診断に利用できる。核の大きさ、形状、密度、局所的なテクスチャ、核の近くの空間的特徴、及び局所的な組織構造（腺）は、スライド画像全体の癌活動に関する重要な手がかりを提供する。

【課題を解決するための手段】

【0004】

実施形態は、バイナリファイル内の特徴を予測するための方法、システム、及びコンピュータ可読媒体に関する。一態様によれば、バイナリファイル内の特徴を予測するための方法が提供される。この方法は、画像を１つ又は複数のパッチ画像に分割することを含み得る。１つ又は複数のパッチ画像に対応する空間的特徴は圧縮される。圧縮された空間的特徴に対応する出力データが予測される。出力データは、圧縮された空間的特徴に対応する１つ又は複数の損失関数を最小化することに基づいて、予測される。

【0005】

別の態様によれば、バイナリファイルの特徴を予測するためのコンピュータシステムが提供される。コンピュータシステムは、１つ又は複数のプロセッサ、１つ又は複数のコンピュータ可読メモリ、１つ又は複数のコンピュータ可読有形記憶装置、及び１つ又は複数のメモリのうち少なくとも１つを介して、１つ又は複数のプロセッサの少なくとも１つにより実行するための１つ又は複数の記憶装置の少なくとも１つに格納されたプログラム命令を含み得る。それにより、コンピュータシステムは方法を実行できる。この方法は、画像を１つ又は複数のパッチ画像に分割することを含み得る。１つ又は複数のパッチ画像に対応する空間的特徴が圧縮される。圧縮された空間的特徴に対応する出力データが予測される。出力データは、圧縮された空間的特徴に対応する１つ以上の損失関数を最小化することに基づいて、予測される。

【0006】

さらに別の態様によれば、バイナリファイルの特徴を予測するためのコンピュータ可読媒体が提供される。コンピュータ可読媒体は、１つ又は複数のコンピュータ可読記憶装置、及び１つ又は複数の有形記憶装置のうちの少なくとも１つに記憶され、プロセッサによって実行可能なプログラム命令を含み得る。プログラム命令は、プロセッサにより実行され、画像を１つ又は複数のパッチ画像に分割することを適宜含むことができる方法を実行する。１つ又は複数のパッチ画像に対応する空間的特徴は圧縮される。圧縮された空間的特徴に対応する出力データが予測される。出力データは、圧縮された空間的特徴に対応する１つ以上の損失関数を最小化することに基づいて、予測される。

【0007】

これら及び他の目的、特徴及び利点は、例示的な実施形態の以下の詳細な説明から明らかになり、添付の図面に関連して読まれることになる。図は、詳細な説明と併せて当業者の理解を容易にすること明確にするため、図面の様々な特徴は、縮尺どおりではない。

【図面の簡単な説明】

【0008】

【図1】少なくとも１つの実施形態におけるネットワーク化されたコンピュータ環境を示す。

【図2】少なくとも１つの実施形態におけるデータを予測するシステムのブロック図である。

【図3A】少なくとも１つの実施形態における空間特徴圧縮モジュールのブロック図である。

【図3B】少なくとも１つの実施形態における空間特徴圧縮モジュールのブロック図である。

【図4】少なくとも１つの実施形態における分子データを予測するための方法の動作フローチャートである。

【図5】少なくとも１つの実施形態における図１に示されるコンピュータ及びサーバの内部及び外部構成要素のブロック図である。

【発明を実施するための形態】

【0009】

請求された構造及び方法の詳細な実施形態は、本明細書に開示される。しかしながら、開示された実施形態は、様々な形態で具体化され得る請求された構造及び方法の単なる例示であることが理解され得る。しかしながら、これらの構造及び方法は、多くの異なる形態で具体化することができ、本明細書に記載の例示的な実施形態に限定されると解釈されるべきではない。むしろ、これらの例示的な実施形態は、この開示が十分かつ完全であり、その範囲を当業者に十分に伝えるように提供される。本説明では、提示された実施形態を不必要に曖昧にすることを回避するために、周知の特徴及び技術の詳細は省略されることがある。

【0010】

実施形態は、一般に、データ処理の分野に関連し、より具体的には、機械学習に関連する。以下に記載される例示的な実施形態は、とりわけ、Ｈ＆Ｅ画像データに基づいて分子データを予測するためのシステム、方法、及びコンピュータプログラムを提供する。したがって、いくつかの実施形態は、容易に利用可能で、単純で、安価な診断方法を使用して、コンピュータによりＲＮＡデータを予測することを可能にすることによって、コンピューティングの分野を改善する能力を有する。

【0011】

上記のように、画像、アニメーション、及び音声などのバイナリファイルは、大量のデータの作成及び符号化を可能にした。例えば、医学の分野では、顕微鏡画像データと分子データが癌研究に広く使用されており、デジタル病理学により、スライド画像全体から生物学的成分に関する情報を抽出することが可能になった。ヘマトキシリン及びエオシン（Ｈ＆Ｅ）は、世界中の病理学研究室で使用される一般的な染色技術であり、核の大きさ、形状、密度、局所的なテクスチャ、核及び局所組織構造（腺）の近傍の空間的特徴を評価する。これらの特徴は、スライド画像全体の癌活動に関する重要な手がかりを提供する。癌の診断と治療において、患者の分子プロファイリングは、標的療法又はバイオマーカーベースの治療法を利用するため、需要が高まっている。例えば、ＥＧＦＲ変異を有する肺がんの患者、又はＢＲＡＦ変異を有する黒色腫の患者は、アメリカ食品医薬局による標的療法の承認を受けている。

【0012】

しかしながら、分子データの測定は、高価な装置、長い分析時間、及び組織サンプル依存性のために、非常に費用がかかり、時間のかかる臨床手順である。一方、Ｈ＆Ｅ技術は安価であり、比較的簡単な手順を構成する場合がある。研究によると、分子データの遺伝的変化がＨ＆Ｅデータの細胞構造の変化を引き起こす。したがって、２つのデータタイプは相関してリンクされる。よって、取得された顕微鏡画像データ（Ｈ＆Ｅ画像データなど）から特徴を使用して分子データを予測することが有効な場合がある。

【0013】

しかしながら、顕微鏡検査及び医療画像データは、サイズが非常に大きくなる可能性があり、計算制約のため、分子データ（例えば、ＲＮＡデータ）を予測するように訓練された深層学習モデルなどの分析モデルに、これらの画像をロードすることが困難になる。これらの制約を克服する１つの方法は、パッチベースの抽出である。この抽出では、画像から、パッチ又はタイルのランダムサンプルが取得され、分析結果がそれらのパッチ又はタイルについて集約される。例えば、深層学習モデルを使用して、各パッチからの分子データを予測し（特徴抽出）、その後、パッチアグリゲーターを使用して、すべてのパッチの結果を集約（例えば、平均化）することができる。したがって、モデルへ入力するために画像をパッチに分割して、次に結果を集約するように深層学習モデルを使用して、完全な画像予測をすることができる。

【0014】

パッチベースのアプローチには、いくつかの制限がある。まず、パッチは、画像からランダムに抽出される。ただし、実際には、分子データは均一ではなく、パッチのランダムサンプルは、画像全体の特徴を正確に反映していない可能性がある。例えば、パッチの１つに過度のノイズがあるか、十分な情報がない場合、集計結果は誤っており、分子データ（ＲＮＡデータなど）を正確に反映しない。さらに、パッチは画像からランダムに抽出されるため、その中の特徴は個別に処理され、パッチ間の空間的関係は失われる。しかし、空間的関係は、分子データの予測、特に分子データの観点から画像の重要な領域を識別するために重要である。もう１つの問題は、特徴抽出の深層学習モデルが、医療画像や顕微鏡画像とは関係のない画像により、事前にトレーニングされている可能性があることである。例えば、犬や車の画像でトレーニングされた深層学習モデルを、特徴抽出のために医療画像に適用することがある。データセット間の極端な違い（犬の画像と医療画像）を考えると、特徴抽出は最適ではない。

【0015】

例示的な実施形態の態様は、抽出されたパッチ間の空間的関係を保持する空間特徴圧縮部と、圧縮された特徴を入力し予測された分子データを出力する深層学習回帰部を、組み込むことによって、これらの問題を解決する。このフレームワークで、各パッチに分子データ情報があるという仮定が回避される。全スライドレベルで分子データを推測するために、局所的な細胞の特徴と全体的な空間的特徴の双方が使用される。さらに、例示的な実施形態の態様は、無関係のデータセットで事前に訓練されたモデルとは対照的に、結合損失を使用する特徴圧縮部及び深層学習回帰部のエンドツーエンドの訓練を提供する。その結果、分子データの特徴抽出と予測の精度が向上する。

【0016】

様々な実施形態による方法、装置（システム）、及びコンピュータ可読媒体のフローチャート図及び／又はブロック図を参照して、本明細書で態様を説明する。フローチャート図及び／又はブロック図の各ブロック、及びフローチャート図及び／又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実行できることが理解される。

【0017】

以下に記載される例示的な実施形態は、画像（例えば、Ｈ＆Ｅ顕微鏡画像データから）からデータ（例えば、分子データ）を予測するシステム、方法、及びコンピュータプログラムを提供する。人間のＨ＆Ｅ顕微鏡データから分子データを予測することを参照して、ここで例示的な実施形態を説明するが、本開示はそれに限定されず、画像から抽出された特徴に基づいて、任意のタイプの画像によって示される任意のタイプのデータを予測するために適用できると理解される。

【0018】

ここで図１を参照して、Ｈ＆Ｅ画像に基づいて、分子データを予測する分子データ予測システム１００（以下、「システム」）を示す、ネットワーク化されたコンピュータ環境の機能ブロック図を提供する。図１は、１つの実施の例示のみを提供し、異なる実施形態が実施され得る環境を制限するものではないと理解すべきである。設計と実施要件に基づいて、表記された環境に多くの変更を加えることができる。

【0019】

システム１００は、コンピュータ１０２とサーバコンピュータ１１４を含み得る。コンピュータ１０２は、通信ネットワーク１１０（以下、「ネットワーク」）を介してサーバコンピュータ１１４と通信できる。コンピュータ１０２は、プロセッサ１０４と、データ記憶装置１０６に記憶され、ユーザとインターフェースし、サーバコンピュータ１１４と通信することが可能であるソフトウェアプログラム１０８と、を含み得る。以下、図５を参照して説明するように、コンピュータ１０２は、内部構成要素８００Ａと外部構成要素９００Ａをそれぞれ含み得、サーバコンピュータ１１４は、内部構成要素８００Ｂと外部構成要素９００Ｂをそれぞれ含み得る。コンピュータ１０２は、例えば、モバイルデバイス、電話、携帯情報端末、ネットブック、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、又はプログラムを実行しネットワーク及びデータベースへアクセスできる任意のタイプのコンピューティングデバイスであり得る。

【0020】

図１を参照して以下に説明するように、サーバコンピュータ１１４は、サービスとしてのソフトウェア（ＳａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、又はサービスとしてのインフラストラクチャ（ＩａａＳ）などのクラウドコンピューティングサービスモデルにおいても動作し得る。サーバコンピュータ１１４はまた、プライベートクラウド、コミュニティクラウド、パブリッククラウド、又はハイブリッドクラウドなどのクラウドコンピューティング展開モデルに配置され得る。

【0021】

バイナリファイル内の特徴を予測するために使用され得るサーバコンピュータ１１４は、データベース１１２と相互作用し得る分子データ予測プログラム１１６（以下、「プログラム」）を実行することが可能である。分子データ予測プログラム方法は、以下で、図３Ａと図３Ｂを参照してより詳細に説明する。一実施形態では、プログラム１１６は主にサーバコンピュータ１１４上で実行され得るが、コンピュータ１０２は、ユーザインターフェースを含む入力デバイスとして動作し得る。別の実施形態では、プログラム１１６は、１つ又は複数のコンピュータ１０２上で実行されるが、サーバコンピュータ１１４は、プログラム１１６により使用されるデータの処理及び保存のために使用される。別の実施形態では、プログラム１１６は、１つ又は複数のコンピュータ１０２上で実行でき、プログラム１１６によって使用されるデータは、１つ又は複数のコンピュータ１０２に格納され得る。この場合、サーバコンピュータ１１４は省略されてもよい。プログラム１１６は、独立したプログラムであり得るか、又はより大きな分子データ予測プログラムに統合され得ることに留意すべきである。

【0022】

さらに、プログラム１１６の処理は、場合によっては、コンピュータ１０２とサーバコンピュータ１１４との間で任意の比率で共有され得ることに留意すべきである。別の実施形態では、プログラム１１６は、１以上のコンピュータ、サーバコンピュータ、又はコンピュータとサーバコンピュータのいくつかの組み合わせ、例えば、ネットワーク１１０を介して単一のサーバコンピュータ１１４と通信する複数のコンピュータ１０２で動作することができる。別の実施形態では、例えば、プログラム１１６は、ネットワーク１１０を介して、複数のクライアントコンピュータと通信する複数のサーバコンピュータ１１４上で動作することができる。あるいは、プログラムは、ネットワークを介してサーバ及び複数のクライアントコンピュータと通信するネットワークサーバー上で動作することができる。

【0023】

ネットワーク１１０は、有線接続、無線接続、光ファイバ接続、又はそれらのいくつかの組み合わせを含み得る。一般に、ネットワーク１１０は、コンピュータ１０２とサーバコンピュータ１１４との間の通信をサポートする接続及びプロトコルの任意の組み合わせであり得る。ネットワーク１１０は、様々なタイプのネットワーク、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネットなどの広域ネットワーク（ＷＡＮ）、公衆交換電話ネットワーク（ＰＳＴＮ）などの電気通信ネットワーク、無線ネットワーク、公共交換ネットワーク、衛星ネットワーク、セルラーネットワーク（例えば、第５世代 （５Ｇ）ネットワーク、長期進化（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワークなど）、公衆陸上移動体（ＰＬＭＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、プライベートネットワーク、アドホックネットワーク、イントラネット、光ファイバーベースのネットワークなど、及び／又はこれら又は他のタイプのネットワークの組み合わせ、を含み得る。

【0024】

図１に示すデバイス及びネットワークの数及び配置は、一例として示したものである。実際には、図１に示したもの以外に、追加のデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、又は異なる配置のデバイス及び／又はネットワークがあり得る。さらに、図１に示す２つ以上のデバイスは、図１に示す単一のデバイスに実装され得る。又は、図１に示す単一のデバイスは、複数の分散デバイスとして実装できる。さらに、又は代わりに、システム１００のデバイスのセット（例えば、１つ又は複数のデバイス）は、システム１００の別のデバイスのセットによって実行されると説明された１つ又は複数の機能を実行することができる。

【0025】

ここで図２を参照すると、データ予測システム２００のブロック図が示されている。例えば、本開示は、特定のタイプのデータ又は画像に限定されないと理解されるが、データ予測システム２００は、顕微鏡画像から分子データを予測する分子データ予測システムであり得る。データ予測システム２００は、他の構成要素の中において、前処理モジュール２０２、パッチ抽出モジュール２０４、空間特徴圧縮モジュール２０６、及び深層学習回帰モジュール２０８を含み得る。

【0026】

前処理モジュール２０２（又は前処理装置）は、入力データ２１０（例えば、Ｈ＆Ｅ画像又は免疫蛍光画像などの顕微鏡画像データ）を処理する。入力データ２１０は、とりわけ、頭頸部扁平上皮癌（ＨＮＳＣＣ）の原発腫瘍サンプルを含み得、これについて、Ｈ＆Ｅ全スライド画像及びＲＮＡ配列データの両方が利用可能であり得る。しかしながら、実質的に任意の病理に対応するデータが使用され得ることが理解され得る。ＨＮＳＣＣには、頭頸部領域の複数の部位の癌が含まれる場合がある。前処理モジュール２０２は、入力データ２１０をダウンサンプリングすることによって（例えば、４の係数で）、入力データ２１０に前処理を適用し、閾値（例えば、大津閾値）を適用して、組織領域を背景領域から分離することができる。一実施形態によれば、前処理は、画像サイズを縮小するダウンサンプリング、大津閾値化（例えば、組織領域から背景を除去する）、異なる画像間で染色色を正規化する染色正規化、及び画像の特徴（例えば、組織構造や細胞）を強化するコントラスト強調、のうちの少なくとも１つを含み得る。

【0027】

パッチ抽出モジュール２０４は、前処理された画像データからパッチを抽出することができる。限定ではなく例として、パッチは、１２８ピクセル×１２８ピクセルのサイズであり得、これは、組織病理学的画像分析で使用される一般的なパッチサイズであり得る。抽出されたパッチはまた、とりわけ、対応する組織領域からの位置データを含み得る。パッチ抽出モジュール２０４（又はパッチ抽出部）は、入力データ２１０から１つ又は複数のパッチ画像を抽出することができる。本実施形態では、パッチ抽出モジュール２０４は、パッチのランダムサンプルとは対照的に、画像全体のパッチを抽出する。

【0028】

パッチは全画像に対応するので、それらのサイズは、特徴抽出モデルに入力するには大きすぎる可能性がある。したがって、空間特徴圧縮モジュール２０６（又は空間特徴圧縮部）は、パッチを複数の特徴に圧縮することができる。入力データ２１０がパッチに変換された後、空間特徴圧縮モジュール２０６は、各パッチから特徴を抽出して、低次元のピクセル空間を高次元の特徴空間に表すことができる。空間コンテキスト情報を保持しながら特徴を抽出するために、空間特徴圧縮モジュール２０６は、全てのスライド画像を圧縮するための神経画像圧縮（ＮＩＣ）技術を採用することができる。ＮＩＣは、ニューラルネットワークを使用して、パッチを特徴ベクトルにマッピングし、各特徴ベクトルを配列に配置して、配列内の隣接する特徴ベクトルが元のスライド画像全体の隣接するパッチを表すように、元の空間配置を維持する。ＮＩＣではいくつかのニューラルネットワークアーキテクチャが使用される。例えば、変分オートエンコーダ（ＶＡＥ）を医療画像の分類に使用できる。空間特徴圧縮モジュール２０６は、圧縮された特徴表現を取得するために、Ｈ＆Ｅデータセットで訓練された事前訓練ＶＡＥを使用することができる。例えば、パッチは、異なる特徴に対応する複数のフィルタを使用して圧縮され得る（例えば、６４個の画像のスタックを出力するための６４個のフィルタ）。言い換えれば、本例示的な実施形態によれば、特徴は拡大され得るが、画像は圧縮され得る。これにより、空間情報及び他の有用な情報を予測モデル用に保存できる。

【0029】

深層学習回帰モジュール２０８（又は深層学習回帰部）は、圧縮された特徴画像を入力し、完全な画像の予測された分子データ２１２を出力する。ランダムパッチベースのアプローチと比較して、より多くの情報が深層学習回帰モジュール２０８（空間的関係を含む）に供給され、それにより、より正確な分子データ予測結果を提供する。具体的には、深層学習回帰モジュール２０８は、Ｈ＆Ｅの全スライド画像の圧縮された特徴表現を特徴ベクトルとして入力し、予測される分子データ２１２として、遺伝子発現値などのＲＮＡ配列情報を生成することができる。例えば、特徴ベクトルは、１２８個の入力チャネルで、２２４×２２４ピクセルの大きさを変更し、これは、各特徴ベクトルの長さに対応する場合がある。深層学習回帰モジュール２０８は、ストライド＝１及びパディング＝１のカーネルサイズ（３，３）の１つ又は複数の畳み込み層を含み得、それぞれ、ストライド＝２及びパディング＝２のバッチ正規化層及び最大プーリング層が続く。さらに、深層学習回帰モジュール２０８は、１つ又は複数の隠れた全結合層及び出力全結合層を含み得る。畳み込み層は、階層学習プロセスを通じて、ローカルパッチレベルとグローバル画像レベルの特徴を学習し、全結合層は、学習した特徴に基づいて遺伝子値を回帰する。深層学習回帰モジュール２０８は、トレーニング中に使用されたスライド画層全体にわたる、真のＲＮＡ配列遺伝子発現値と予測されたＲＮＡ配列遺伝子発現値との間の二乗差の合計の平均を計算する平均二乗誤差（ＭＳＥ）損失関数を用いて、提案された深層学習モデルの損失関数を最適化することができる。

【0030】

さらに、分子データ予測システム２００は、結合損失を使用する空間特徴圧縮モジュール２０６及び深層学習回帰モジュール２０８のエンドツーエンドトレーニングを含み得る。例えば、回帰損失関数は式１のように定義できる。

【数1】

特徴圧縮損失関数は、式２として定義できる。

【数2】

結合損失関数は、式３として定義できる。

【数3】

ここで、iは、画像のi番目のパッチ、Nは、１つの画像からのパッチの総数、ｘ_predは、再構成されたパッチ、ｘ_trueは、実際のパッチ、ｙ_predは、画像レベルでの分子データの予測値、ｙ_trueは、画像レベルでの分子データの実際の値である。

【0031】

１つ又は複数の実施形態によれば、第１のモデル及び第２のモデルのパラメータ（例えば、重み）は、第１及び第２の損失関数、すなわち、組み合わされた損失関数に基づいて調整（又は最適化）され得る。その結果、特徴抽出の第１のモデルは、関連するアートモデルを事前にトレーニングするために一般的に使用される無関係のデータセットの代わりに、関連する画像（Ｈ＆Ｅ画像など）を使用してトレーニングされるため、特徴抽出が改善される。さらに、特徴は、関連するタスク（例えば、上記の実施形態における分子データ予測のタスク）のために特別に最適化されている。これにより、予測タスクの精度が向上する。実施形態による結合損失なしでは、特徴は、分類／セグメンテーションなどの無関係なタスクのために最適化され得、意図されたタスク、例えば、分子データ予測のために有用でない可能性がある。さらに、実施形態による結合損失を実施することにより、両方のモデルのタスクは、順次又は一度に単一のモデル又はタスクではなく、エンドツーエンドのフレームワークで一緒にトレーニングされるので、トレーニングはより速くなる。

【0032】

図３Ａを参照すると、図２に示した空間特徴圧縮モジュール２０６のブロック図が、１つ又は複数の実施形態に従って示される。図３Ａに示す空間特徴圧縮モジュール２０６は、神経画像圧縮を基礎にすることができる。空間特徴圧縮モジュール２０６は、他の構成要素の中において、特徴抽出モジュール３０２Ａ－Ｃ（又は特徴抽出部）、空間配置モジュール３０４（又は空間配置部）、及び深層学習モデル出力モジュール３０６（又は深層学習モデル）を含み得る。特徴抽出モジュール３０２Ａ－Ｃは、受信された入力Ｈ＆Ｅデータ３０８から特徴を抽出することができる。空間配置モジュール３０４は、抽出された特徴の空間位置に基づいて圧縮画像を生成することができる。深層学習モデル出力モジュール３０６は、圧縮された画像からＲＮＡデータ３１０を予測及び出力することができる。

【0033】

ここで図３Ｂを参照すると、図２に示した空間特徴圧縮モジュール２０６のブロック図が、１つ又は複数の実施形態に従って示される。図３Ｂに示す空間特徴圧縮モジュール２０６は、腫瘍領域検出を基礎にすることができる。空間特徴圧縮モジュール２０６は、とりわけ、癌検出モジュール３１２（又は癌検出部）、特徴抽出モジュール３１４Ａ－Ｂ（又は特徴抽出部）、空間配置モジュール３１６Ａ－Ｂ（又は空間配置部）、及び組合せモジュール３１８（又は組合せ部）を含み得る。癌パッチと正常パッチは、Ｈ＆Ｅ画像で異なる空間パターンと形態を有する可能性があることが理解できる。したがって、癌検出モジュール３１２は、入力Ｈ＆Ｅデータ３２０の圧縮表現を強化するために、そのようなパターンの別個の学習を可能にし得る。したがって、特徴抽出モジュール３１４Ａは、癌パッチから特徴を抽出し得、特徴抽出モジュール３１４Ｂは、正常のパッチから特徴を抽出し得る。空間配置モジュール３１６Ａ及び３１６Ｂは、それぞれ、圧縮された癌パッチ特徴及び圧縮された正常パッチ特徴を生成し得る。組合せモジュール３１８は、圧縮された癌と正常なパッチの特徴を組み合わせることができ、深層学習モデルに基づいてＲＮＡデータ３２２を出力することができる。

【0034】

ここで図４を参照すると、分子データを予測するプログラムによって実行される方法４００のステップを示す動作フローチャートが示されている。

【0035】

４０２において、方法４００は、画像を１つ又は複数のパッチ画像に分割することを含み得る。本実施形態では、パッチ抽出モジュール２０４は、パッチのランダムサンプルとは対照的に、画像全体のパッチを抽出する。したがって、画像全体をデータ予測に使用することができ、それにより、より完全でより安定した情報（画像内の特徴の空間的関係など）を保存して、より正確な予測をもたらすことができる。

【0036】

４０４において、方法４００は、１つ又は複数のパッチ画像に対応する空間的特徴を圧縮することを含み得る。ここで、第１のモデル（例えば、空間特徴圧縮部などの機械学習モデル）を使用して、パッチ画像から特徴表現画像を圧縮する（例えば、Ｈ＆Ｅ特徴を圧縮する）ことができる。

【0037】

４０６において、方法４００は、圧縮された空間的特徴に対応する出力データを予測することを含み得る。特に、第２のモデル（例えば、深層学習回帰部などの機械学習モデル）を使用して、出力データ（画像のタイプに応じた分子データ又は他の特徴データなど）を予測することができる。

【0038】

１つ又は複数の実施形態によれば、結合損失関数を使用して、システムのエンドツーエンドのトレーニングを行うことができる。すなわち、第１のモデル及び第２のモデルのパラメータは、第１のモデルの第１の損失関数（例えば、上記の式１）及び第２のモデルの第２の損失関数（例えば、上記の式２）、つまり、結合損失関数に基づいて、調整又は最適化され得る。結合損失関数の例は、式３を参照して上記で提供されている。したがって、第１のモデル（機能コンプレッサー）と第２のモデル（深層学習リグレッサなど）のエンドツーエンドトレーニングは、無関係なデータセットで事前トレーニングされたモデルとは対照的に、結合損失を使用して達成される。その結果、データ（分子データやＲＮＡデータなど）の特徴抽出と予測の精度が向上する。

【0039】

図４は、１つの実施の例示のみを提供し、異なる実施形態がどのように実施され得るかについて、いかなる制限を意図するものではないと理解される。示された環境に対する多くの変更は、設計及び実施の要件に基づいて行うことができる。

【0040】

図５は、例示的な実施形態における、図１に示されるコンピュータの内部及び外部構成要素のブロック図５００である。図５は、１つの実施の例示のみを提供し、異なる実施形態が実施され得る環境について、いかなる制限を意図するものではないと理解されるべきである。示された環境に対する多くの変更は、設計及び実施の要件に基づいて行うことができる。

【0041】

コンピュータ１０２（図１）とサーバコンピュータ１１４（図１）は、図５に示す内部構成要素８００Ａ、Ｂ及び外部構成要素９００Ａ、Ｂのそれぞれのセットを含み得る。内部構成要素８００の各セットは、１つ又は複数のプロセッサ８２０、１つ又は複数のバス８２６上の、１つ又は複数のコンピュータ可読ＲＡＭ８２２と１つ又は複数のコンピュータ可読ＲＯＭ８２４、１つ又は複数のオペレーティングシステム８２８、及び１つ又は複数のコンピュータ可読有形記憶装置８３０を含む。

【0042】

プロセッサ８２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせで実行される。プロセッサ８２０は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理構成要件である。いくつかの実装形態では、プロセッサ８２０は、機能を実行するようにプログラムすることができる１つ又は複数のプロセッサを含む。バス８２６は、内部構成要素８００Ａ、Ｂ間の通信を可能にする構成要素を含む。

【0043】

サーバコンピュータ１１４（図１）上の１つ又は複数のオペレーティングシステム８２８、ソフトウェアプログラム１０８（図１）及び分子データ予測プログラム１１６（図１）は、それぞれの１つ又は複数のコンピュータ可読な有形記憶装置８３０に格納され、１つ又は複数のそれぞれのＲＡＭ８２２（典型的にはキャッシュメモリを含む）を介して、１つ又は複数のそれぞれのプロセッサ８２０によって実行される。図５に示す実施形態では、コンピュータ可読有形記憶装置８３０のそれぞれは、内蔵ハードドライブの磁気ディスク記憶装置である。あるいは、コンピュータ可読有形記憶装置（ハードドライブ）８３０のそれぞれは、例えば、ＲＯＭ８２４、ＥＰＲＯＭ、フラッシュメモリ、光ディスク、磁気光学ディスク、ソリッドステートディスク、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又はコンピュータプログラムとデジタル情報を格納できる別のタイプの非一時的なコンピュータ可読有形記憶装置である、半導体記憶装置である。

【0044】

内部構成要素８００Ａ、Ｂの各セットはまた、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、磁気テープ、磁気ディスク、光ディスク又は半導体記憶装置などの１つ又は複数の携帯型コンピュータ可読有形記憶装置９３６に対して、読取り及び書込みを行うためのＲ／Ｗドライブ又はインターフェース８３２を含む。ソフトウェアプログラム１０８（図１）及び分子データ予測プログラム１１６（図１）などのソフトウェアプログラムは、それぞれの携帯型コンピュータ可読有形記憶装置９３６のうちの１つ又は複数に記憶され得、Ｒ／Ｗドライブ又はインターフェース８３２を介して読み取られ、それぞれのハードドライブ８３０にロードされる。

【0045】

内部構成要素８００Ａ、Ｂの各セットはまた、ＴＣＰ／ＩＰアダプタカード、ワイヤレスＷｉ－Ｆｉインターフェースカード、又は３Ｇ、４Ｇ、又は５Ｇワイヤレスインターフェイスカード又はその他の有線又は無線通信リンクなどのネットワークアダプタ又はインターフェース８３６を含む。サーバコンピュータ１１４（図１）上のソフトウェアプログラム１０８（図１）及び分子データ予測プログラム１１６（図１）は、外部のコンピュータから、ネットワーク（例えば、インターネット、ローカルエリアネットワーク又は他の広域ネットワーク）及びそれぞれのネットワークアダプタ又はインターフェース８３６を介して、コンピュータ１０２（図１）及びサーバコンピュータ１１４にダウンロードすることができる。ネットワークアダプタ又はインターフェース８３６から、サーバコンピュータ１１４上のソフトウェアプログラム１０８及び分子データ予測プログラム１１６は、それぞれのハードドライブ８３０にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含み得る。

【0046】

外部構成要素９００Ａ、Ｂの各セットは、コンピュータディスプレイモニタ９２０、キーボード９３０、及びコンピュータマウス９３４を含むことができる。外部構成要素９００Ａ、Ｂはまた、タッチスクリーン、仮想キーボード、タッチパッド、ポインティングデバイス、及びその他のヒューマンインターフェイスデバイスを含むことができる。内部構成要素８００Ａ、Ｂの各セットはまた、コンピュータディスプレイモニタ９２０、キーボード９３０、及びコンピュータマウス９３４にインターフェースするためのデバイスドライバ８４０を含む。デバイスドライバ８４０、Ｒ／Ｗドライブ又はインターフェース８３２、及びネットワークアダプタ又はインターフェース８３６は、ハードウェア及びソフトウェア（ハードドライブ８３０及び／又はＲＯＭ８２４に格納されている）を含む。

【0047】

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に列挙される教示の実施はクラウドコンピューティング環境に限定されないことが事前に理解される。むしろ、いくつかの実施形態は、現在知られている、又は後で開発される他のタイプのコンピューティング環境と組み合わせて実行することができる。

【0048】

いくつかの実施形態は、任意の可能な技術的詳細レベルの統合におけるシステム、方法、及び／又はコンピュータ可読媒体に関連する。コンピュータ可読媒体は、プロセッサに動作を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読非一時的記憶媒体（又は複数の媒体）を含み得る。

【0049】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用する命令を保持及び記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、限定はされないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、又は前述の任意の適切な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、以下が含まれる。ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム読取専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、溝内に命令が記録されたパンチカード又は隆起した構造などの機械的に符号化されたデバイス、及び前述の任意の適切な組み合わせ。本明細書で使用されるコンピュータ可読記憶媒体は、電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体を通って伝播する電磁波（例えば、光ファイバーケーブル介して通過する光パルス）、又はワイヤーを介して送信される電気信号、などの一時的な信号自体であると解釈されるべきではない。

【0050】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置にダウンロード、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はワイヤレスネットワーク等のネットワークを介して、外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバで構成される。各コンピューティング／処理装置のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に記憶するために、コンピュータ可読プログラム命令を転送する。

【0051】

操作を実行するためのコンピュータ可読プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、統合回路の構成データ、又は１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードの何れかであり、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語を含む。コンピュータ可読プログラム命令は、全てがユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、又は全てがリモートコンピュータ又はサーバ上で実行され得る。後者の場合には、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続でき、又は、接続は、外部コンピュータにも実行できる（例えば、インターネットサービスプロバイダを使用したインターネット経由）。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることにより、アスペクト又は操作を実行するため、コンピュータ可読プログラム命令を実行することができる。

【0052】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、又は機械を製造する他のプログラム可能なデータ処理装置に提供されて、コンピュータのプロセッサ又は他のプログラム可能なデータ処理装置を介して実行される命令が、フローチャート及び／又はブロック図のブロック又は複数のブロックで指定された機能／行為を実施するための手段を作成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、及び／又は他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に記憶され得、その結果、その中に記憶された命令を有するコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図のブロックで指定された機能／行為の一部を実行する命令を含む製造品を備える。

【0053】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイスにロードされて、コンピュータ、他のプログラム可能な装置又は他のデバイス上で一連の操作ステップを実行させて、コンピュータで実行されるプロセスを生成し、コンピュータ、他のプログラム可能な装置、又は他のデバイス上で実行される命令が、フローチャート及び／又はブロック図で指定された機能／行為を実施する。

【0054】

図中のフローチャート及びブロック図は、様々な実施形態による、システム、方法、及びコンピュータ可読媒体の可能な実装のアーキテクチャ、機能、及び動作を示す。これに関して、フローチャート又はブロック図の各ブロックは、モジュール、セグメント、又は命令の一部を示し、これは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む。方法、コンピュータシステム、及びコンピュータ可読媒体は、図に示されている以外の追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含み得る。いくつかの代替の実行では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して表示される２つのブロックは、実際には同時に又は実質的に同時に実行される場合がある。また、関連する機能に応じて、ブロックが逆の順序で実行される場合もある。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図のブロックの組み合わせは、指定された機能又は動作を実行する専用ハードウェアベースのシステムによって実行でき、専用ハードウェアとコンピュータ命令の組み合わせを実行することに留意されたい。

【0055】

本明細書で説明されるシステム及び／又は方法は、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせで実行され得ることが明らかであろう。これらのシステム及び／又は方法を実行するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、実行を制限するものではない。したがって、システム及び／又は方法の動作及び行為は、特定のソフトウェアコードを参照せずに本明細書で説明した。ソフトウェア及びハードウェアは、本明細書の説明に基づくシステム及び／又は方法を実行するように設計され得ることが理解される。

【0056】

本明細書で使用される要素、行為、又は命令は、そのように明示的に記載されていない限り、重要又は必須であると解釈されるべきではない。また、本明細書で使用される場合、冠詞「ａ」及び「ａｎ」は、１つ又は複数の項目を含むことを意図しており、「ｏｎｅ ｏｒ ｍｏｒｅ」と交換可能に使用できる。さらに、本明細書で使用される場合、「ｓｅｔ」という用語は、１つ又は複数のアイテム（例えば、関連アイテム、非関連アイテム、関連アイテムと非関連アイテムの組み合わせなど）を含むことを意図し、「ｏｎｅ ｏｒ ｍｏｒｅ」と交換可能に使用され得る。１つの項目のみを意図する場合、「ｏｎｅ」という用語、又は同様の用語が使用される。また、本明細書で使用される場合、「ｈａｓ」「ｈａｖｅ」「ｈａｖｉｎｇ」などの用語は、オープンエンドの用語を意図している。さらに、「ｂａｓｅｄ ｏｎ」という句は、特に明記しない限り、「少なくとも部分的に基づく」を意味することを意図している。

【0057】

様々な態様及び実施形態の説明は、例示の目的で提示されてきたが、網羅的であること、又は開示された実施形態に限定されることを意図するものではない。機能の組み合わせが特許請求の範囲に記載され、及び／又は明細書に開示されているとしても、これらの組み合わせは、可能な実施の開示を制限することを意図するものではない。実際、これらの特徴の多くは、特許請求の範囲に具体的に記載されていない、及び／又は明細書に開示されていない方法で組み合わせることができる。以下に列挙されている各従属クレームは、１つのクレームのみに直接従属している可能性があるが、可能な実施の開示には、クレームセット内の他のすべてのクレームと組み合わせた各従属クレームが含まれる。説明された実施形態の範囲から逸脱することなく、多くの修正及び変形が当業者にとって明らかである。本明細書で使用される用語は、実施形態の原理、市場で認識された技術に対する実際の適用又は技術的改善を最もよく説明するため、又は当業者が本明細書に開示される実施形態を理解できるように選択された。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】