特表 2024-541551 着目物体を相関させるためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-08

(54)【発明の名称】着目物体を相関させるためのシステムおよび方法

(51)【国際特許分類】

   A61B 6/00 20240101AFI20241031BHJP

   A61B 6/50 20240101ALI20241031BHJP

   A61B 6/46 20240101ALI20241031BHJP

   G06T 7/00 20170101ALI20241031BHJP

【ＦＩ】

A61B6/00 550D

A61B6/50 500E

A61B6/00 560

A61B6/46 506B

G06T7/00 350B

G06T7/00 612

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024531498

(86)(22)【出願日】2022-11-23

(85)【翻訳文提出日】2024-07-03

(86)【国際出願番号】 US2022080432

(87)【国際公開番号】W WO2023097279

(87)【国際公開日】2023-06-01

(31)【優先権主張番号】63/283,866

(32)【優先日】2021-11-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】501214292

【氏名又は名称】ホロジック， インコーポレイテッド

【氏名又は名称原語表記】Ｈｏｌｏｇｉｃ， Ｉｎｃ．

【住所又は居所原語表記】２５０ Ｃａｍｐｕｓ Ｄｒｉｖｅ， ０１７５２ Ｍａｒｌｂｏｒｏｕｇｈ， ＭＡ，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】チュイ， ハイリ

(72)【発明者】

【氏名】クシルサガール， アシュウィニ

(72)【発明者】

【氏名】ジャン， シャンウェイ

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA26

4C093CA18

4C093CA23

4C093DA06

4C093FD03

4C093FF16

4C093FF28

4C093FF37

5L096BA06

5L096BA13

5L096GA30

5L096GA51

5L096JA03

5L096KA04

(57)【要約】

頭尾方向画像と、内外斜位方向画像とを含む、画像対内の領域を相関させる方法。類似性マッチングモデルからのデータが、アンサンブルモデルによって受信され、データは、少なくとも、マッチングされた対の領域と、マッチングされた対の領域と関連付けられる、第１の信頼度レベルインジケータとを含む。幾何学的マッチングモデルからのデータが、アンサンブルモデルによって受信され、幾何学的マッチングモデルからのデータは、少なくとも、マッチングされた対の領域と、第２の信頼度レベルインジケータとを含む。相関の結合確率が、アンサンブルマッチングモデルによる第１および第２の信頼度レベルのそれぞれの評価に基づいて、アンサンブルモデルによって決定され、相関の結合確率は、各画像内の領域が他方の画像内の対応する領域に相関する、確率を提供する。相関の結合確率は、出力デバイスに提供される。

【特許請求の範囲】

【請求項1】

頭尾方向（ＣＣ）画像と、内外斜位方向（ＭＬＯ）画像とを備える画像対内の着目領域（ＲＯＩ）を相関させる方法であって、前記方法は、
アンサンブルマッチング機械学習（ＭＬ）モデルによって、類似性マッチングＭＬモデルからのデータを受信することであって、前記類似性マッチングＭＬモデルからのデータは、少なくとも、マッチングされた対のＲＯＩと、前記マッチングされた対のＲＯＩと関連付けられる第１の信頼度レベルインジケータとを含む、ことと、
前記アンサンブルマッチングＭＬモデルによって、幾何学的マッチング（ＧＭ）モデルからのデータを受信することであって、前記ＧＭモデルからのデータは、少なくとも、前記マッチングされた対のＲＯＩと、第２の信頼度レベルインジケータとを含む、ことと、
前記アンサンブルマッチングＭＬモデルによって、前記アンサンブルマッチングＭＬモデルによる前記第１および第２の信頼度レベルのそれぞれの評価に基づいて、相関の結合確率を決定することであって、前記相関の結合確率は、前記ＣＣ画像内の前記ＲＯＩが前記ＭＬＯ画像内の対応するＲＯＩに相関する、その逆も同様である、確率を提供する、ことと、
前記相関の結合確率を出力デバイスに提供することと、
を含む、方法。

【請求項2】

訓練用ＣＣ－ＭＬＯ画像対と関連付けられるデータを受信することと、
前記訓練用ＣＣ－ＭＬＯ画像対と関連付けられるデータを用いて、前記アンサンブルマッチングＭＬモデルを訓練することと、
をさらに含む、請求項１に記載の方法。

【請求項3】

前記アンサンブルマッチングＭＬモデルによって、前記第１および第２の信頼度レベルのそれぞれの評価と、前記相関の結合確率とに基づいて、第３の信頼度レベルインジケータを決定することをさらに含み、前記第３の信頼度レベルインジケータは、前記相関の結合確率と関連付けられる信頼性の尤度である、請求項１または２に記載の方法。

【請求項4】

前記結合確率は、前記類似性相関および前記ＧＭ相関が前記ＣＣ－ＲＯＩおよび前記ＭＬＯ－ＲＯＩを適切に相関させる確率である、請求項１－３のいずれかに記載の方法。

【請求項5】

前記相関の結合確率を出力デバイスに提供することは、前記相関の結合確率と関連付けられる数値を含む、請求項１－４のいずれかに記載の方法。

【請求項6】

前記マッチングされた病変対の各画像は、全体的乳房画像である、請求項１－５のいずれかに記載の方法。

【請求項7】

前記マッチングされた病変対の各画像は、前記ＣＣ画像および前記ＭＬＯ画像の各々に対し、前記ＲＯＩのみを含有する、請求項１－６のいずれかに記載の方法。

【請求項8】

前記相関の結合確率を出力デバイスに提供することは、数値表示を含む、請求項１－７のいずれかに記載の方法。

【請求項9】

前記相関の結合確率を出力デバイスに提供することは、
一連の前記ＣＣ－ＲＯＩを受信することと、
前記ＣＣ－ＲＯＩの選択を受信することに応答して、前記ＭＬＯ－ＲＯＩを提示することと、
を含む、請求項１－８のいずれかに記載の方法。

【請求項10】

前記ＣＣ－ＲＯＩの選択を受信することに応答して、前記相関の結合確率が所定の閾値を超えることを決定することと、
前記相関の結合確率が所定の閾値を超えることを決定することに応答して、前記ＭＬＯ－ＲＯＩを提示することと
をさらに含む、請求項９に記載の方法。

【請求項11】

前記マッチングされた対のＲＯＩは、ＣＣ－画像内のＣＣ－ＲＯＩとＭＬＯ画像内のＭＬＯ－ＲＯＩとの間の類似性相関を含み、前記第１の信頼度レベルインジケータは、前記ＣＣ－ＲＯＩと前記ＭＬＯ－ＲＯＩとの間の相関と関連付けられる確率である、請求項１－１０のいずれかに記載の方法。

【請求項12】

前記第２の信頼度レベルインジケータは、前記ＣＣ－ＲＯＩと前記ＭＬＯ－ＲＯＩとの間のＧＭ相関と関連付けられる確率である、請求項１－１１のいずれかに記載の方法。

【請求項13】

前記出力ディスプレイ上に、一対の記号を表示することであって、前記一対の記号の各記号は、前記マッチングされた対のＲＯＩのうちのＲＯＩをマークする、こと
をさらに含む、請求項１－１２のいずれかに記載の方法。

【請求項14】

前記ＧＭモデルからのデータは、前記マッチングされた対のＲＯＩのうちの各ＲＯＩに対し、場所データを備える、請求項１－１３のいずれかに記載の方法。

【請求項15】

前記第２の信頼度レベルインジケータは、前記マッチングされた対のＲＯＩの第１のＲＯＩの第１の場所および前記マッチングされた対のＲＯＩの第２のＲＯＩの第２の場所が同一場所である確率を示す、請求項１４に記載の方法。

【請求項16】

前記ＣＣ画像および前記ＭＬＯ画像はそれぞれ、乳房を描写し、前記ＧＭモデルは、前記乳房を象限に論理的に分割する、請求項１４または１５に記載の方法。

【請求項17】

前記類似性モデルからのデータは、前記マッチングされた対のＲＯＩのうちの各ＲＯＩに対し、特性データを備える、請求項１－１６のいずれかに記載の方法。

【請求項18】

前記第１の信頼度レベルインジケータは、前記マッチングされた対のＲＯＩの第１のＲＯＩと関連付けられる特性の第１のセットと、前記マッチングされた対のＲＯＩの第２のＲＯＩと関連付けられる特性の第２のセットとの間の類似性の程度を示す、請求項１７に記載の方法。

【請求項19】

前記特性データは、サイズ、形状、１つまたはそれを上回る周縁、場所、密度、１つまたはそれを上回る色、配向、テクスチャ、パターン、および深度のうちの１つまたはそれを上回るものを含む、請求項１７または１８に記載の方法。

【請求項20】

頭尾方向（ＣＣ）および内外斜位方向（ＭＬＯ）画像をアンサンブルマッチングさせるためのシステムであって、
少なくとも１つのメモリと通信する少なくとも１つのプロセッサと、
アンサンブルマッチングモジュールであって、前記アンサンブルマッチングモジュールは、前記少なくとも１つのプロセッサ上で実行され、動作の間、
類似性マッチングモデルから、マッチングされたＣＣ－ＭＬＯ画像対と、前記マッチングされたＣＣ－ＭＬＯ画像対と関連付けられる類似性信頼度レベルインジケータとを受信することと、
幾何学的マッチング（ＧＭ）モデルから、前記マッチングされたＣＣ－ＭＬＯ画像対と、前記マッチングされたＣＣ－ＭＬＯ画像対と関連付けられるＧＭ信頼度レベルインジケータとを受信することと、
アンサンブルマッチングモデルを適用し、複数のマッチングされたＣＣ－ＭＬＯ対上で訓練されたアンサンブル機械学習（ＭＬ）アルゴリズムに基づいて、アンサンブル信頼度レベルを決定することと、
前記アンサンブル信頼度レベルと前記マッチングされたＣＣ－ＭＬＯ画像対を関連付けることと、
前記アンサンブル信頼度レベルを前記マッチングされたＣＣ－ＭＬＯ画像対とともに出力することと
を行うように構成される、アンサンブルマッチングモジュールと
を備える、システム。

【請求項21】

画像入手モジュールをさらに備える、請求項２０に記載のシステム。

【請求項22】

前記マッチングされたＣＣ－ＭＬＯ画像対は、前記ＣＣ画像内で識別された第１の着目領域（ＲＯＩ）と、前記ＭＬＯ画像内で識別された第２のＲＯＩとを備え、前記類似性ＭＬモデルまたは前記ＧＭモデルのいずれかが、相関を前記第１のＲＯＩおよび前記第２のＲＯＩに割り当てる、請求項２０または２１に記載のシステム。

【請求項23】

前記アンサンブルマッチングモジュールはさらに、前記ＧＭモデルから、前記第１のＲＯＩと前記第２のＲＯＩとの間の相関と関連付けられる場所データを受信する、請求項２２に記載のシステム。

【請求項24】

前記アンサンブルマッチングモジュールはさらに、前記類似性ＭＬモデルから、前記第１のＲＯＩと前記第２のＲＯＩとの間の相関と関連付けられる形状データを受信する、請求項２２または２３に記載のシステム。

【請求項25】

前記アンサンブルマッチングモジュールはさらに、前記類似性ＭＬモデルから、前記第１のＲＯＩと前記第２のＲＯＩとの間の相関と関連付けられる周縁データを受信する、請求項２２－２４のいずれかに記載のシステム。

【請求項26】

前記類似性マッチングモデルは、
画像入手モジュールから受信されるＣＣ－画像内のＣＣ着目領域（ＲＯＩ）を識別することと、
ＭＬＯ－ＲＯＩに関して前記画像入手モジュールから受信されるＭＬＯ画像を検索することであって、前記ＭＬＯ画像は、複数の領域を含み、前記類似性マッチングモデルは、前記複数の領域の各領域を精査する、ことと、
前記ＣＣ－ＲＯＩおよび前記ＭＬＯ－ＲＯＩのそれぞれの少なくとも１つの類似性特性を決定することと、
前記少なくとも１つの類似性特性に基づいて、前記ＣＣ－ＲＯＩおよび前記ＭＬＯ－ＲＯＩを相関させることと
によって、前記マッチングされたＣＣ－ＭＬＯ画像対を決定する、請求項２２－２５のいずれかに記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、ＰＣＴ国際特許出願として、２０２２年１１月２３日に出願されており、参照することによってその全体として本明細書に組み込まれる、２０２１年１１月２９日に出願された、米国仮出願第６３／２８３，８６６号の優先権および利益を主張する。

【背景技術】

【0002】

医療撮像は、患者の内部構造を可視化するための非侵襲性方法を提供する。可視化方法は、患者内の癌および他の病気を検診および診断するために使用されることができる。例えば、早期検診は、治療が疾患内の初期病期において生じ得るように、癌性である場合がある、乳房内の病変を検出することができる。

【0003】

マンモグラフィは、Ｘ線放射を利用して、乳房組織を可視化する、医療撮像の形態である。これらの技法は、多くの場合、潜在的癌性病変および他の異常に関して、患者を検診するために使用される。従来のマンモグラムは、乳房の２次元（２Ｄ）画像を種々の角度から入手することを伴う。頭側尾側（ＣＣ）画像は、Ｘ線放射を用いて捕捉される、標準的画像タイプのうちの１つである。ＣＣ画像は、上方からの乳房の可視化である（例えば、乳房の上部からの像）。別の標準的画像タイプは、乳房を側方からある角度で撮像する、内外斜位方向（ＭＬＯ）画像である。概して、ＭＬＯ画像は、ある角度で、または４０～６０度の角度で、捕捉される。ＣＣ画像内およびＭＬＯ画像内の情報をともに精査および検討することは、乳房撮像の診断力を増加させることができる。トモシンセシスは、マンモグラムを撮影する別の方法であって、複数の画像が、入手される。各画像は、個別の厚さで入手され、画像は、多数の角度で撮影される。

【0004】

本背景に対して、本開示は、成される。

【発明の概要】

【課題を解決するための手段】

【0005】

一側面では、本開示は、頭尾方向（ＣＣ）画像と、内外斜位方向（ＭＬＯ）画像とを含む、画像対内の着目領域（ＲＯＩ）を相関させる方法に関し、本方法は、アンサンブルマッチング機械学習（ＭＬ）モデルによって、類似性マッチングＭＬモデルからのデータを受信することであって、類似性マッチングＭＬモデルからのデータは、少なくとも、マッチングされた対のＲＯＩと、マッチングされた対のＲＯＩと関連付けられる、第１の信頼度レベルインジケータとを含む、ことと、アンサンブルマッチングＭＬモデルによって、幾何学的マッチング（ＧＭ）モデルからのデータを受信することであって、ＧＭモデルからのデータは、少なくとも、マッチングされた対のＲＯＩと、第２の信頼度レベルインジケータとを含む、ことと、アンサンブルマッチングＭＬモデルによって、アンサンブルマッチングＭＬモデルによる第１および第２の信頼度レベルのそれぞれの評価に基づいて、相関の結合確率を決定することであって、相関の結合確率は、ＣＣ画像内のＲＯＩがＭＬＯ画像内の対応するＲＯＩに相関する、その逆も同様である、確率を提供する、ことと、相関の結合確率を出力デバイスに提供することとを含む。ある実施例では、本方法はさらに、訓練用ＣＣ－ＭＬＯ画像対と関連付けられる、データを受信することと、訓練用ＣＣ－ＭＬＯ画像対と関連付けられる、データを用いて、アンサンブルマッチングＭＬモデルを訓練することとを含む。

【0006】

上記の側面の別の実施例では、本方法はさらに、アンサンブルマッチングＭＬモデルによって、第１および第２の信頼度レベルのそれぞれの評価と、相関の結合確率とに基づいて、第３の信頼度レベルインジケータを決定することを含み、第３の信頼度レベルインジケータは、相関の結合確率と関連付けられる、信頼性の尤度である。別の実施例では、結合確率は、類似性相関およびＧＭ相関がＣＣ－ＲＯＩおよびＭＬＯ－ＲＯＩを適切に相関させる、確率である。なおも別の実施例では、相関の結合確率を出力デバイスに提供することは、相関の結合確率と関連付けられる、数値を含む。

【0007】

別の実施例では、マッチングされた病変対の各画像は、全体的乳房画像である。さらに別の実施例では、マッチングされた病変対の各画像は、ＣＣ画像およびＭＬＯ画像の各々に対し、ＲＯＩのみを含有する。なおも別の実施例では、相関の結合確率を出力デバイスに提供することは、数値表示を含む。上記の側面の別の実施例では、相関の結合確率を出力デバイスに提供することは、一連のＣＣ－ＲＯＩを受信することと、ＣＣ－ＲＯＩの選択を受信することに応答して、ＭＬＯ－ＲＯＩを提示することとを含む。さらなる実施例では、本方法はさらに、ＣＣ－ＲＯＩの選択を受信することに応答して、相関の結合確率が所定の閾値を超えることを決定することと、相関の結合確率が所定の閾値を超えることを決定することに応答して、ＭＬＯ－ＲＯＩを提示することとを含む。

【0008】

上記の側面の別の実施例では、マッチングされた対のＲＯＩは、ＣＣ－画像内のＣＣ－ＲＯＩとＭＬＯ画像内のＭＬＯ－ＲＯＩとの間の類似性相関を含み、第１の信頼度レベルインジケータは、ＣＣ－ＲＯＩとＭＬＯ－ＲＯＩとの間の相関と関連付けられる、確率である。別の実施例では、第２の信頼度レベルインジケータは、ＣＣ－ＲＯＩとＭＬＯ－ＲＯＩとの間のＧＭ相関と関連付けられる、確率である。なおも別の実施例では、本方法はさらに、出力ディスプレイ上に、一対の記号を表示することであって、一対の記号の各記号は、マッチングされた対のＲＯＩのうちのＲＯＩをマークする、ことを含む。別の実施例では、ＧＭモデルからのデータは、マッチングされた対のＲＯＩのうちのＲＯＩの各々に対し、場所データを備える。さらなる実施例では、第２の信頼度レベルインジケータは、マッチングされた対のＲＯＩの第１のＲＯＩの第１の場所およびマッチングされた対のＲＯＩの第２のＲＯＩの第２の場所が同一場所である、確率を示す。なおもさらなる実施例では、ＣＣ画像およびＭＬＯ画像はそれぞれ、乳房を描写し、ＧＭモデルは、乳房を象限に論理的に分割する。

【0009】

上記の側面の別の実施例では、類似性モデルからのデータは、マッチングされた対のＲＯＩのうちのＲＯＩの各々に対し、特性データを備える。別の実施例では、第１の信頼度レベルインジケータは、マッチングされた対のＲＯＩの第１のＲＯＩと関連付けられる、特性の第１のセットと、マッチングされた対のＲＯＩの第２のＲＯＩと関連付けられる、特性の第２のセットとの間の類似性の程度を示す。さらなる実施例では、特性データは、サイズ、形状、１つまたはそれを上回る周縁、場所、密度、１つまたはそれを上回る色、配向、テクスチャ、パターン、および深度のうちの１つまたはそれを上回るものを含む。

【0010】

別の側面では、本開示は、頭尾方向（ＣＣ）および内外斜位方向（ＭＬＯ）画像をアンサンブルマッチングさせるためのシステムに関し、本システムは、少なくとも１つのメモリと通信する、少なくとも１つのプロセッサと、少なくとも１つのプロセッサ上で実行され、動作の間、類似性マッチングモデルから、マッチングされたＣＣ－ＭＬＯ画像対と、マッチングされたＣＣ－ＭＬＯ画像対と関連付けられる、類似性信頼度レベルインジケータとを受信し、幾何学的マッチング（ＧＭ）モデルから、マッチングされたＣＣ－ＭＬＯ画像対と、マッチングされたＣＣ－ＭＬＯ画像対と関連付けられる、ＧＭ信頼度レベルインジケータとを受信し、アンサンブルマッチングモデルを適用し、複数のマッチングされたＣＣ－ＭＬＯ対上で訓練されたアンサンブル機械学習（ＭＬ）アルゴリズムに基づいて、アンサンブル信頼度レベルを決定し、アンサンブル信頼度レベルとマッチングされたＣＣ－ＭＬＯ画像対を関連付け、アンサンブル信頼度レベルをマッチングされたＣＣ－ＭＬＯ画像対とともに出力するように構成される、アンサンブルマッチングモジュールとを含む。本側面のある実施例では、本システムはさらに、画像入手モジュールを含む。

【0011】

上記の側面の別の実施例では、マッチングされたＣＣ－ＭＬＯ画像対は、ＣＣ画像内で識別された第１の着目領域（ＲＯＩ）と、ＭＬＯ画像内で識別された第２のＲＯＩとを備え、類似性ＭＬモデルまたはＧＭモデルのいずれかが、相関を第１のＲＯＩおよび第２のＲＯＩに割り当てる。さらなる実施例では、アンサンブルマッチングモジュールはさらに、ＧＭモデルから、第１のＲＯＩと第２のＲＯＩとの間の相関と関連付けられる、場所データを受信する。別のさらなる実施例では、アンサンブルマッチングモジュールはさらに、類似性ＭＬモデルから、第１のＲＯＩと第２のＲＯＩとの間の相関と関連付けられる、形状データを受信する。なおもさらなる実施例では、アンサンブルマッチングモジュールはさらに、類似性ＭＬモデルから、第１のＲＯＩと第２のＲＯＩとの間の相関と関連付けられる、周縁データを受信する。なおもさらなる実施例では、類似性マッチングモデルは、画像入手モジュールから受信されるＣＣ－画像内のＣＣ着目領域（ＲＯＩ）を識別することと、ＭＬＯ－ＲＯＩに関して画像入手モジュールから受信されるＭＬＯ画像を検索することであって、ＭＬＯ画像は、複数の領域を含み、類似性マッチングモデルは、複数の領域の各領域を精査する、ことと、ＣＣ－ＲＯＩおよびＭＬＯ－ＲＯＩのそれぞれの少なくとも１つの類似性特性を決定することと、少なくとも１つの類似性特性に基づいて、ＣＣ－ＲＯＩおよびＭＬＯ－ＲＯＩを相関させることとによって、マッチングされたＣＣ－ＭＬＯ画像対を決定する。

【図面の簡単な説明】

【0012】

【図1】図１は、乳房内の着目領域を検出するための例示的システムを図示する。

【0013】

【図2】図２は、例示的Ｘ線撮像システムを図示する。

【0014】

【図3】図３は、図２のＸ線撮像システムの斜視図を図示する。

【0015】

【図4】図４は、左内外斜位方向（ＬＭＬＯ）撮像配向のための乳房位置付け状態における図２のＸ線撮像システムを図示する。

【0016】

【図5】図５は、ＣＣ画像内の乳首と病変との間の距離を使用する、幾何学的マッチングのための技法を図示する。

【0017】

【図6】図６は、幾何学的マッチングＭＬモデルによって使用され得る、象限技法を図示する。

【0018】

【図7】図７Ａ－７Ｃは、軟組織病変を示す、ＣＣ－ＭＬＯ画像対を図示する。

【0019】

【図8】図８Ａ－８Ｃは、石灰化クラスタを示す、ＣＣ－ＭＬＯ画像対を図示する。

【0020】

【図9】図９は、ＣＣ－ＭＬＯ画像対を処理するためのプロセスフローを図示する。

【0021】

【図10】図１０は、ＣＣ画像内の第１の病変をＭＬＯ画像内の第２の病変に相関させる方法のフローチャートを図示する。

【0022】

【図11】図１１は、ＣＣ画像内の第１の病変をＭＬＯ画像内の第２の病変に相関させる別の方法のフローチャートを図示する。

【0023】

【図12】図１２は、ＣＣ画像内の第１の病変をＭＬＯ画像内の第２の病変に相関させるアンサンブル方法のフローチャートを図示する。

【0024】

【図13】図１３は、アンサンブルマッチング機械学習（ＭＬ）モデルを訓練する方法のフローチャートを図示する。

【0025】

【図14】図１４は、本開示の１つまたはそれを上回る側面を実装するために使用可能である、コンピューティングシステムの例示的物理的構成要素のブロック図を図示する。

【発明を実施するための形態】

【0026】

詳細な説明
本開示は、撮像デバイスを使用して、乳房組織内の病変を位置特定するためのシステムおよび方法を対象とする。特に、コンピューティングシステムは、機械学習（ＭＬ）モデルまたは人工知能（ＡＩ）モデルを利用して、第１の画像タイプの画像内の第１の病変までナビゲートし、第２の画像タイプの画像内の第２の病変までナビゲートし、第１の病変および第２の病変を相関させる。第１の病変および第２の病変を相関させる際、コンピューティングシステムは、第１の病変および第２の病変が乳房の組織内の同一物体であることを決定する。一実施形態では、第１の画像タイプは、頭尾方向（ＣＣ）画像であって、第２の画像タイプは、内外斜位方向（ＭＬＯ）画像である。本明細書に議論されるように、画像タイプは、他の特徴、例えば、それを用いて画像が撮影される、モダリティに加え、そこから画像が撮影される、像視点を指す。用語「病変」は、腫瘤、１つまたはそれを上回る石灰化、および他の疑わしいエリア等の任意の着目物体を指す。

【0027】

実施例では、本開示を具現化するシステムおよび方法は、第１の画像タイプの画像内の第１の着目領域（ＲＯＩ）を識別し、第２の画像タイプの画像内の第２のＲＯＩを識別し、第１のＲＯＩを第２のＲＯＩに相関させる。ＲＯＩは、１つまたはそれを上回る病変を含有してもよい。第１の画像タイプの画像は、複数の病変を含んでもよい。同様に、第２の画像タイプの画像も、複数の病変を含んでもよい。本明細書により詳細に議論される実施例は、主に、マンモグラムを対象とするが、本開示の原理は、トモシンセシス、超音波、および磁気共鳴画像法等の他の形態の乳房撮像、および身体の他の構造上の医療撮像の使用にも適用可能であることが、当業者によって理解されるであろう。

【0028】

概して、コンピューティングシステムは、第１の画像タイプの画像内の第１の病変および第２の画像タイプの画像内の第２の病変を相関させ、信頼度レベルインジケータを提供するように動作する。相関は、本システムによる、第１および第２の病変がそれぞれ乳房内の同一物体を表すことの決定である。信頼度レベルインジケータは、第１の病変と第２の病変との間の相関の信頼度のレベルを示す。信頼度レベルインジケータは、第１および第２の病変が乳房内の同一物体を表すことの決定が確実に決定されたことの尤度を表す。コンピューティングシステムは、１つまたはそれを上回るＭＬモデルを使用して、第１の画像タイプの画像および第２の画像タイプの画像を分析し、第１の画像タイプの画像内の第１の病変が第２の画像タイプの画像内の第２の病変と相関するかどうかを決定する。信頼度レベルインジケータはまた、概して、信頼度スコアとして理解されてもよい。

【0029】

ある例示的実装では、信頼度レベルインジケータは、ディスプレイ上に提示される。信頼度レベルインジケータは、放射線科医に提供され、放射線科医が、第１の画像タイプ内の第１の病変が第２の画像タイプの第２の病変と相関されるかどうかを決定することを補助する。本システムが、第１の画像タイプ内の第１の病変が第２の画像タイプ内の第２の病変と相関されることを決定すると、これは、第１および第２の病変が患者の乳房内の同一物体の異なる像であることを示す。いくつかの実施例では、類似性マッチングＭＬモデル、幾何学的マッチングＭＬモデル、およびアンサンブルマッチングＭＬモデルのうちの１つまたはそれを上回るものが、使用される。

【0030】

図１は、１つまたはそれを上回るタイプの撮像を使用して、乳房内の病変を位置特定するための、かつ第１の画像タイプ内の第１の病変と第２の画像タイプの第２の病変を相関させるための、例示的識別システム１００を図示する。識別システム１００は、コンピューティングシステム１０２と、Ｘ線撮像システム１０４とを含む。いくつかの実施例では、識別システム１００は、病変が最初に識別されたとき、Ｘ線撮像手技の間に収集されたデータに基づいて、放射線科医を乳房内の病変まで誘導するように動作する。いくつかの実施例では、識別システム１００は、信頼度レベルインジケータを放射線科医に提供し、放射線科医が、第１の画像タイプの画像内で可視の第１の病変が第２の画像タイプの画像内で識別された第２の病変と相関されることを確認することを補助する。実施形態では、信頼度レベルインジケータは、ディスプレイ上に提示される。

【0031】

Ｘ線撮像システム１０４は、Ｘ線放射を使用して、乳房組織の画像を撮影するように動作する。Ｘ線撮像システム１０４は、Ｘ線撮像デバイス１２４と、Ｘ線撮像デバイス１２４と通信する、Ｘ線コンピューティングデバイス１１２とを含む。Ｘ線撮像デバイス１２４は、図２－４に関連してさらに詳細に説明される。Ｘ線コンピューティングデバイス１１２は、放射線科医（Ｒ）からの入力を受信し、Ｘ線撮像デバイス１２４を動作させ、Ｘ線撮像デバイス１２４から受信される画像を視認するように動作する。

【0032】

放射線科医Ｒは、Ｘ線コンピューティングデバイス１１２を動作させ、Ｘ線撮像デバイス１２４を使用して、患者（Ｐ）の乳房のＸ線画像を捕捉する。Ｘ線画像は、典型的には、各乳房に対するＣＣおよびＭＬＯ画像（ＬＭＬＯ、ＲＭＬＯおよびＲＣＣ、ＬＣＣ）およびその他を含む。Ｘ線画像は、定期的健康検診の一部として、または診断検査の一部として、撮影されてもよい。

【0033】

各画像タイプ（ＣＣ、ＭＬＯ等）に対し、画像は、異なる角度および厚さにおける複数の投影（Ｔｐ）として入手されてもよい。複数の画像は、処理または再構成され、複数の再構成された画像またはスライス（Ｔｒ）を生成してもよい。複数のＴｒ画像は、最も関連する臨床情報と、ＲＯＩ場所とを示す、単一の合成された画像（Ｍｓ）に合成されてもよい。合成された画像Ｍｓ内のピクセルはそれぞれ、Ｔｒ画像またはスライスにマッピングされてもよい。ＣＣ画像およびＭＬＯ画像はそれぞれ、１つまたはそれを上回るトモシンセシス画像スライスまたはＴｒ画像であってもよい。実施形態では、ＣＣ画像およびＭＬＯ画像のうちの１つまたはそれを上回るものは、Ｔｐ投影画像であってもよい。

【0034】

実施形態では、Ｍｓ、Ｔｒ、およびＴｐ画像はそれぞれ、データ記憶装置内に記憶されてもよく、放射線科医によって、精査のために読み出されることができる。画像は、次いで、病変が潜在的に癌性であって、生検を要求するかどうかを決定するために付加的分析を要求し得る、患者Ｐの乳房内の１つまたはそれを上回る病変を再識別する、放射線科医Ｒに提示される。

【0035】

コンピューティングシステム１０２は、Ｘ線撮像システム１０４から受信される情報を処理および記憶するように動作する。図１の実施例では、コンピューティングシステム１０２は、マッチングエンジン１０６と、データ記憶装置１０８とを含む。いくつかの実施例では、マッチングエンジン１０６およびデータ記憶装置１０８は、コンピューティングシステム１０２のメモリ（例えば、図１４におけるメモリ１４０８）内に格納される。いくつかの実施例では、コンピューティングシステム１０２は、クラウドコンピューティング環境等の遠隔コンピューティングシステム１１０から、マッチングエンジン１０６およびデータ記憶装置１０８にアクセスする。図１は、コンピューティングシステム１０２を識別システム１００の他の構成要素から独立しているものとして示すが、コンピューティングシステム１０２はまた、Ｘ線コンピューティングデバイス１１２または患者管理において利用される別のコンピューティングデバイスの中に組み込まれてもよい。いくつかの実施例では、コンピューティングシステム１０２は、２つまたはそれを上回るコンピューティングデバイスを含む。

【0036】

放射線科医Ｒは、典型的には、各乳房に対し、複数のＣＣトモシンセシス画像および複数のＭＬＯトモシンセシス画像を精査するであろう。特に、放射線科医は、複数の画像を視覚的に精査し、ＣＣ画像のうちの１つ内の着目領域を位置特定し、対応するＭＬＯ画像のうちの１つ内の類似領域を見出すことを試みるであろう。しかしながら、本プロセスは、異なるタイプの画像を横断して関連アーチファクトを見出し得る、公知の技術が存在しないため、不完全かつ人為的過誤を被る。

【0037】

マッチングエンジン１０６は、異なるタイプの画像を分析し、第１の画像タイプの第１の画像内の第１の病変が第２の画像タイプの第２の画像内の第２の病変と同一物体であるかどうかを決定するようにプログラムされる。マッチングエンジン１０６は、１つまたはそれを上回る機械学習（ＭＬ）モジュール１１６、１１８、１２０を含む。マッチングエンジン１０６は、図１４における処理デバイス１４０２等のコンピュータシステム１０２内のプロセッサ上で動作する、論理またはプログラミングを表す。実施形態では、マッチングエンジンはさらに、相関評価器１２２を含む。

【0038】

図１の実施例では、訓練データ記憶装置１１４は、ＭＬモデル１１６、１１８、１２０を訓練するために利用される。訓練データ記憶装置１１４は、第１および第２の画像タイプの画像内の相関された第１および第２の病変の複数の訓練症例を記憶し、第１および第２の病変は、マッチングエンジンによって、または人間によって、相関されている。実施形態では、訓練データ記憶装置１１４内に記憶される、訓練症例はそれぞれ、第１の画像タイプおよび第２の画像タイプの少なくとも一対の画像（単に、「画像対」とも称される）を含む。訓練画像対内の各画像は、ＲＯＩ、確認された病変、または潜在的病変のうちの１つまたはそれを上回るものを含有する。訓練画像対内の第１の画像内の第１の病変は、訓練画像対の第２の画像内の第２の病変に相関される。第１の画像は、第１の画像タイプであって、第２の画像は、第２の画像タイプである。記憶される訓練症例は、正しく相関された病変を伴う、訓練画像対を含み、実施形態ではまた、誤って相関された病変を伴う、訓練画像対を含む。

【0039】

コンピュータシステム１０２は、訓練データ記憶装置１１４内に記憶される訓練症例を使用して、ＭＬモデル１１６、１１８、および１２０を訓練し、第１および第２の画像タイプの画像内の第１および第２の病変を相関させるために使用され得る、特徴を識別する。一実施形態では、各ＭＬモデル１１６、１１８、１２０は、機械学習分類子である。いったん訓練されると、ＭＬモデル１１６、１１８、および１２０は、マッチングエンジン１０６によって、異なるタイプの画像内の病変を相関させるために使用されることができる。

【0040】

種々の機械学習技法が、病変分類子として使用されるための機械学習分類子を発生させるために利用されることができる。いくつかの実施例では、機械学習モデルは、教師あり機械学習モデルである。他の実施例では、機械学習モデルのうちの１つまたはそれを上回るものは、教師なし機械学習モデルである。いくつかの実施例では、機械学習モデルは、人工ニューラルネットワークに基づく。いくつかの実施例では、ニューラルネットワークは、深層ニューラルネットワーク（ＤＮＮ）である。いくつかの実施例では、機械学習モデルは、畳み込み深層ニューラルネットワーク（ＣＮＮ）である。いくつかの実施例では、２つまたはそれを上回るネットワークのアンサンブルまたは組み合わせが、画像分類子のうちの１つまたはそれを上回るものを発生させるために利用される。いくつかの実施例では、２つまたはそれを上回る機械学習モデルが、特徴または特徴セットを訓練データ記憶装置１１４内の訓練画像対から発生させるために利用される。

【0041】

結果として生じる訓練された機械学習分類子である、ＭＬモデル１１６、１１８、１２０は、相関評価器１２２によって適用される。相関評価器１２２は、第１のタイプの画像（例えば、ＣＣ画像）と、第２のタイプの画像（例えば、ＭＬＯ画像）とを含む、画像対（例えば、ＣＣ－ＭＬＯ画像対）を比較し、ＭＬモデル１１６、１１８、１２０のうちの１つまたはそれを上回るものをＣＣ－ＭＬＯ画像対に適用し、画像対のＣＣ画像内の第１の病変が画像対のＭＬＯ画像内の第２の病変に相関するかどうかを決定する。相関評価器１２２は、ＣＣ画像内で識別された第１の病変が、ＭＬモデル１１６、１１８、１２０に基づいて、ＭＬＯ画像内で識別された第２の病変と同一物体であると決定されると、第１および第２の病変が相関されることを決定する。相関評価器１２２は、相関における信頼度のレベルを示す、信頼度レベルインジケータを決定および出力する。実施形態では、相関評価器１２２は、不在であって、信頼度レベルインジケータは、相関評価器１２２を用いずに、ＭＬモデル１１６、１１８、１２０のうちの１つまたはそれを上回るものの適用を通して、マッチングエンジン１０６によって決定される。

【0042】

一実施例では、信頼度レベルインジケータは、数値である。別の実施例では、信頼度レベルインジケータは、「高」、「中」、または「低」等の信頼度のカテゴリを示してもよい。代替実施例では、信頼度レベルインジケータは、「９９％」、「７５％」、または「４４％」等のパーセンテージとして提供される。実施例では、信頼度レベルインジケータは、相関が第１および第２の病変が同一物体であることを正しく決定していることの尤度を示す。

【0043】

実施形態では、信頼度レベルインジケータは、２つの部分、すなわち、相関における信頼度のレベルを示す、第１の信頼度レベルインジケータと、第１の信頼度レベルインジケータの計算における信頼度のレベルを示す、第２の信頼度レベルインジケータとを含む。例えば、本開示を具現化するシステムは、第１の画像タイプの画像内の第１の病変が第２の画像タイプの画像内の第２の病変と相関されることを決定する。本システムは、第１の病変と第２の病変との間の相関が正確である、確率である、第１の信頼度レベルインジケータを計算する。本システムはまた、第１の信頼度レベルインジケータが適切に計算されたことのレベル信頼度を示す、第２の信頼度レベルインジケータを決定する。本実施例では、第１の信頼度レベルインジケータは、第１の病変と第２の病変との間の相関の査定である一方、第２の信頼度レベルインジケータは、第１の信頼度レベルインジケータを生成する計算の査定である。

【0044】

コンピューティングシステム１０２のディスプレイ上に提示される、グラフィカルユーザインターフェース（ＧＵＩ）は、情報を放射線科医または他の臨床医に提示するように動作する。いくつかの実施例では、ＧＵＩは、放射線科医によって精査されている１つまたはそれを上回る画像対上にオーバーレイされる、信頼度レベルインジケータを表示する。例えば、ＧＵＩは、並置して表示される、ＣＣ画像およびＭＬＯ画像を提示し、信頼度レベルインジケータが、画像対にオーバーレイし、ＣＣ画像内で識別された第１の病変がＭＬＯ画像内で識別された第２の病変と同一物体である、信頼度のレベルを示す。別の実施例では、放射線科医が、ＣＣ画像内の着目領域を示し、それに応答して、ＣＣ画像内の着目領域との相関の最高信頼度レベルを伴う、着目領域を有する、対応するＭＬＯ画像が、ディスプレイ上にもたらされる。実施形態では、対応するＭＬＯ画像は、インジケータを有する、または相関される着目領域まで拡大される。

【0045】

加えて、または代替として、表示される情報は、信頼度レベルインジケータの値に関する根拠または理由、またはマッチングエンジン１０６が信頼度レベルインジケータに関する特定の値を決定した理由を示す論理等のデータを含んでもよい。例えば、幾何学的マッチングモデル１１８からの座標場所データまたは類似性マッチングモデル１１６からの共有形状特性データが、表示されてもよい。実施形態では、信頼度レベルインジケータは、合成またはＭｓ画像上に表示されてもよい。加えて、ＧＵＩは、文字または他の記号印を表示し、ＣＣ画像内の第１の病変がＭＬＯ画像内の第２の病変に相関することを示してもよい。例えば、ＣＣ画像内の第１の病変およびＭＬＯ画像内の相関される第２の病変は、「Ａ」として標識される。複数の着目領域が、画像対内に現れる場合、複数の文字または標識が、使用されてもよい。実施形態では、文字または他の記号印が、信頼度レベルインジケータに加え、表示される。

【0046】

データ記憶装置１０８は、Ｘ線撮像システム１０４およびマッチングエンジン１０６から受信される情報を記憶するように動作する。いくつかの実施例では、データ記憶装置１０８は、実際には、２つまたはそれを上回る別個のデータ記憶装置である。例えば、１つのデータ記憶装置は、Ｘ線撮像システム１０４等の１つまたはそれを上回るＸ線撮像システムからの画像を記憶する、遠隔データ記憶装置であり得る。別のデータ記憶装置は、コンピューティングシステム１０２内にローカルで格納され得る。いくつかの実施例では、データ記憶装置１０８は、電子医療記録（ＥＭＲ）システムの一部であってもよい。

【0047】

図２は、図１に示される、Ｘ線撮像システムの実施例を図示する。図３は、図１のＸ線撮像システムの斜視図を図示する。図２および３を並行して参照すると、Ｘ線撮像システム１０４は、静的乳房支持プラットフォーム２０６と、移動可能圧縮パドル２０８とを含む、乳房圧縮イモビライザユニット２０４を介して、Ｘ線撮像のために、患者の乳房２０２を不動化する。乳房支持プラットフォーム２０６および圧縮パドル２０８はそれぞれ、相互に向かって移動させ、乳房２０２を圧縮および不動化する、それぞれ、圧縮表面２１０および２１２を有する。いくつかのシステムでは、圧縮表面２１０、２１２は、直接、乳房２０２に接触するように、暴露される。乳房支持プラットフォーム２０６はまた、受像機２１６と、随意に、傾斜機構２１８と、随意に、散乱防止グリッド（図示せず）とを格納する。乳房圧縮イモビライザユニット２０４は、撮像ビーム２２０が受像機２１６上に衝突するように、Ｘ線源２２２から発出する、撮像ビーム２２０の経路内にある。

【0048】

乳房圧縮イモビライザユニット２０４は、第１の支持アーム２２４上に支持され、Ｘ線源２２２は、第２の支持アーム２２６上に支持される。マンモグラフィのために、第１および第２の支持アーム２２４、２２６は、Ｘ線撮像システム１０４がマンモグラム投影画像（Ｘ線画像）を各配向において撮影し得るように、ＣＣおよびＭＬＯ等の異なる撮像配向間の軸２２８を中心として、ユニットとして回転することができる。動作時、受像機２１６は、画像が撮影される間、乳房支持プラットフォーム２０６に対して定位置に残る。乳房圧縮イモビライザユニット２０４は、異なる撮像配向に対する第１および第２の支持アーム２２４、２２６の移動のために、乳房２０２を解放する。トモシンセシスのために、第１の支持アーム２２４は、乳房２０２が不動化され、定位置に残っている状態で、定位置に留まる一方、少なくとも、第２の支持アーム２２６は、Ｘ線源２２２を乳房圧縮イモビライザユニット２０４および圧縮される乳房２０２に対して軸２２８を中心として回転させる。Ｘ線撮像システム１０４は、乳房２０２の複数のトモシンセシス投影画像を乳房２０２に対して撮像ビーム２２０の個別の角度で撮影する。

【0049】

並行して、随意に、受像機２１６は、乳房支持プラットフォーム２０６に対して、第２の支持アーム２２６の回転と同期して、傾斜されてもよい。傾斜は、Ｘ線源２２２の回転と同一角度を通ることができるが、また、撮像ビーム２２０が、複数の画像の各々に対し、受像機２１６上の実質的に同一位置に残るように選択される、異なる角度を通してもよい。傾斜は、軸２３０を中心とすることができ、これは、受像機２１６の像面内にあり得るが、そうである必要はない。受像機２１６に結合される、傾斜機構２１８は、傾斜運動において、受像機２１６を駆動することができる。

【0050】

Ｘ線撮像システム１０４が、動作されると、受像機２１６は、撮像ビーム２２０による照明に応答して、撮像情報を生成し、乳房Ｘ線画像を処理および発生させるために、それを画像プロセッサ２３２に供給する。ソフトウェアを含む、システム制御およびワークステーションユニット２３８が、本システムの動作を制御し、オペレータと相互作用し、コマンドを受信し、処理された光線画像を含む、情報を送達する。

【0051】

図４は、左ＭＬＯ（ＬＭＬＯ）撮像配向のための乳房位置付け状態における、図１に示される、Ｘ線撮像システムを図示する。Ｘ線撮像システム１０４の管ヘッド２５８は、Ｘ線撮像システム１０４のガントリ２５６と略平行である、または別様に、それに対して乳房が設置される、支持アーム２６０の平坦部分に対して法線ではないような配向に設定される。本位置では、技術者は、管ヘッド２５８の下方にかがむまたはしゃがむ必要なく、乳房をより容易に位置付け得る。

【0052】

Ｘ線撮像システム１０４は、Ｘ線撮像システム１０４を床上に支持するために、床搭載部または基部２５４を含む。ガントリ２５６は、床搭載部２５２から上向きに延在し、管ヘッド２５８および支持アーム２６０の両方を回転可能に支持する。管ヘッド２５８および支持アーム２６０は、離散的に相互に回転するように構成され、また、異なる身長の患者に適応するように、ガントリの面２６２に沿って上昇および降下されてもよい。本明細書のいずれかの場所に、説明され、ここでは示されない、Ｘ線源は、管ヘッド２５８内に配置される。支持アーム２６０は、その中にＸ線受像機と、他の構成要素（図示せず）とを含む、支持プラットフォーム２６４を含む。圧縮アーム２６６が、支持アーム２６０から延在し、撮像手技の間、患者乳房の圧縮のために、（支持アーム２６０に対して）圧縮パドル２６８を線形に上昇および降下させるように構成される。ともに、管ヘッド２５８および支持アーム２６０は、Ｃアームと称され得る。

【0053】

いくつかのインターフェースおよびディスプレイ画面が、Ｘ線撮像システム１０４上に配置される。これらは、フットディスプレイ画面２７０と、ガントリインターフェース２７２と、支持アームインターフェース２７４と、圧縮アームインターフェース２７６とを含む。一般に、種々のインターフェース２７２、２７４、および２７６は、１つまたはそれを上回る触覚ボタン、ノブ、スイッチ、およびユーザがＸ線撮像システム１０４との相互作用およびその制御を可能にするように、グラフィックユーザインターフェース（ＧＵＩ）を伴う、容量タッチスクリーンを含む、１つまたはそれを上回るディスプレイ画面を含んでもよい。実施例では、インターフェース２７２、２７４、２７６は、図１のＸ線コンピューティングデバイス１１２等のシステム制御およびワークステーション上でもまた利用可能であり得る、制御機能性を含んでもよい。任意の個々のインターフェース２７２、２７４、２７６は、少なくとも部分的に、所定の設定、ユーザ選好、または動作要件に基づいて、継続的または選択的にのいずれかにおいて、他のインターフェース２７２、２７４、２７６上で利用可能な機能性を含んでもよい。一般に、下記に説明されるように、フットディスプレイ画面２７０は、主に、ディスプレイ画面であるが、容量タッチスクリーンは、要求または所望される場合、利用される場合がある。

【0054】

実施例では、ガントリインターフェース２７２は、撮像配向の選択、患者情報の表示、支持アーム高度または支持アーム角度（傾斜または回転）の調節、安全性特徴等の機能性を可能にし得る。実施例では、支持アームインターフェース２７４は、支持アーム高度または支持アーム角度（傾斜または回転）の調節、圧縮アーム高度の調節、安全性特徴等の機能性を可能にし得る。実施例では、圧縮アームインターフェース２７６は、圧縮アーム高度の調節、安全性特徴等の機能性を可能にし得る。さらに、圧縮アームインターフェース２７６と関連付けられる、１つまたはそれを上回るディスプレイは、印加される圧縮アーム力、選択された撮像配向、患者情報、支持アーム高度または角度設定等のより詳細な情報を表示してもよい。フットディスプレイ画面２７０はまた、特定の用途のための要求または所望に応じて、圧縮アームインターフェース２７６のディスプレイによって表示されるような情報または付加的または異なる情報を表示してもよい。

【0055】

前述で説明されるように、例えば、Ｘ線撮像システム１０４によって撮影されたＣＣ－ＭＬＯ画像対は、分析され、ＣＣ画像内の第１の病変とＭＬＯ画像内の第２の病変との間の相関を決定する。ＣＣ－ＭＬＯ画像対は、１つまたはそれを上回るＭＬモデルを使用して、マッチングエンジンによって分析される。機械学習モデルは、類似性マッチングＭＬモデル、幾何学的マッチングＭＬモデル、およびアンサンブルＭＬマッチングモデル（例えば、図１におけるＭＬモデル１１６、１１８、１２０）のうちの１つまたはそれを上回るものを含む。

【0056】

類似性マッチングＭＬモデルを適用するとき、マッチングエンジンは、第１および第２の病変を比較し、外観または場所において、第１および第２の病変が相互に類似する程度を表す、信頼度レベルインジケータを決定する。類似性マッチングＭＬモデルは、形状、周縁、近接度、または画像内の解剖学的目印または他の顕著な特徴に対する関係等の要因または特徴に基づいて、２つまたはそれを上回る病変の類似性を決定するための基準を提供する。類似性マッチングＭＬモデルは、ニューラルネットワークであってもよく、実施形態では、特徴ベースのネットワークである。ニューラルネットワークは、全結合ネットワークであってもよい。実施例では、類似性マッチングＭＬモデルは、深層畳み込みネットワーク等の深層学習ニューラルネットワークである。

【0057】

幾何学的マッチングＭＬモデルを適用するとき、マッチングエンジンは、第１の病変が第２の病変と同一物体であるかどうかを決定するための１つまたはそれを上回る基準に基づいて、第１の画像（例えば、ＣＣ画像）および第２の画像（例えば、ＭＬＯ画像）のそれぞれ内の第１および第２の病変をマッピングする。一実施形態では、基準は、病変と１つまたはそれを上回る識別可能物理的または解剖学的目印との間の距離を含む。解剖学的目印は、限定ではないが、乳首、胸壁、および胸筋を含む。実施形態では、基準は、病変が撮像されている画像または体積（例えば、乳房）内の特定の象限内に位置する、確率を含む。幾何学的マッチングＭＬモデルは、ニューラルネットワークまたは他のＭＬモデルであってもよい。実施形態では、幾何学的マッチングモデルは、ルールベースのＡＩである。

【0058】

アンサンブルマッチングモデルを適用するとき、マッチングエンジンは、類似性マッチングモデル１１６および幾何学的マッチングモデル１１８等の本システム内の他のモデルから受信される、相関データを比較し、相関の結合確率を決定および出力する。実施例では、アンサンブルマッチングモデルは、特徴ベースのニューラルネットワークであってもよい。アンサンブルマッチングモデルは、異なる画像タイプ内の病変に関連する特徴だけではなく、本システム内の他のマッチングモデルから受信されるデータに関連する特徴も発生させてもよい。例えば、他のＭＬモデルによって生成されたデータまたは信頼度レベルインジケータが、アンサンブルマッチングモデル内の特徴であってもよい。

【0059】

図５は、画像対内の乳首と第１または第２の病変との間の距離を使用する、幾何学的マッチングのための技法を図示する。一実施形態では、右乳房のＣＣ画像（ＲＣＣ）内の第１の病変５００が、識別される。幾何学的マッチングＭＬモデルが、右乳房のＭＬＯ画像（ＲＭＬＯ）内の第２の病変５０２の場所を見出すために適用される。幾何学的マッチングＭＬモデルは、第１の病変５００から乳首５０４までの距離（ｄ）を計算するために使用される。弧が、距離（ｄ）に等しい半径を有するように、ＲＭＬＯ画像上に重畳される。いったん第２の病変５０２が、ＲＭＬＯ画像内で識別されると、幾何学的マッチングＭＬモデルが、ＲＭＬＯ画像内の第２の病変５０２がＲＣＣ画像内の第１の病変５００と同一物体であることの信頼度レベルインジケータ（例えば、確率）を決定するために適用される。他の実施形態では、異なるまたは付加的解剖学的目印が、標的病変を幾何学的にマッチングさせる際に使用されてもよい。

【0060】

図６は、幾何学的マッチングＭＬモデルを適用するときに使用され得る、象限技法を図示する。象限技法は、病変の象限ベースのマッチングのために使用される。乳房６００は、乳房の正面から視認される。水平線６０２および垂直線６０４が、乳房６００上に重畳され、乳首６０６と交差する。交差する水平および垂直線６０２、６０４は、論理的に、乳房６００を４つの象限（象限０、１、２、および３）に分割する。ＲＣＣ画像では、垂直線６０４は、後乳首線（ＰＮＬ）に対応する。ＰＮＬ線は、ＣＣ画像内の乳首から胸筋（またはＣＣ内の後画像縁）に向かって後方かつ垂直に描かれる。ＲＣＣ画像では、象限０および３は、乳房６１２の半分の中に組み合わせられ、象限１および２は、乳房６１４の残り半分の中に組み合わせられる。

【0061】

乳房のグラフィック表現６０８に示されるように、標的病変６１０は、象限０および３の中に延在する。垂直線６０４が、デカルト座標系のＸ軸を表し、水平線６０２が、ｙ軸を表す場合、病変６１０は、象限０内のｚ最大６１６と、象限３内のｚ最小６１８とを有する。幾何学的マッチングＭＬモデルは、ＣＣ画像内の第１の病変が位置する象限を推定し、ＭＬＯ画像内の第２の病変が位置する象限を推定し、２つの推定される象限を比較し、推定される象限がマッチングするかどうかを決定するために適用される。幾何学的マッチングモジュールは、ＣＣおよびＭＬＯ画像内の第１および第２の病変が同一病変であることの信頼度レベルインジケータ（例えば、確率）を決定するために使用されることができる。いくつかの実施形態では、象限０、１、２、３に関する確率マップが、決定され、幾何学的マッチングＭＬモデルと併用され、ＣＣ画像内の第１の病変とＭＬＯ画像内の第２の病変を相関させる。

【0062】

いくつかの事例では、少なくとも部分的に、乳房組織の密度、乳房の位置付け、乳房の圧縮、または圧縮の間の乳房組織の任意の運動等の要因に起因して、類似性マッチング技法または幾何学的マッチング技法は、第１および第２の画像タイプ内の第１および第２の病変を相関させるためにより好適であり得る。

【0063】

図７Ａ－７Ｃは、軟組織病変を示す、ＣＣ－ＭＬＯ画像対を図示する。ＣＣ－ＭＬＯ画像対７００、７０２、７０４では、ＣＣ画像は、上側画像であって、ＭＬＯ画像は、下側画像である。図示される画像対では、幾何学的マッチングおよび類似性マッチング技法の一方または両方とも、各ＣＣ－ＭＬＯ画像対７００、７０２、７０４におけるＣＣ画像内の第１の軟組織病変とＭＬＯ画像内の第２の軟組織病変を相関させる際に効果的であり得る。しかしながら、ある実施例では、前述で列挙されたもの等の要因（例えば、圧縮の間の乳房組織の運動）に起因して、いくつかの軟組織病変の場所は、第１の画像タイプと第２の画像タイプとの間で偏移し得、これは、幾何学的マッチング技法が、第１および第２の画像タイプを横断して、第１および第２の軟組織病変を相関させることをより困難にし得る。

【0064】

例えば、乳房組織の運動に起因して、第１および第２の病変が、実際には、乳房内の同一物体を表すにもかかわらず、ＣＣ画像内の第１の軟組織病変は、１つの象限内にあることが推定され得る一方、ＭＬＯ画像内の第２の軟組織病変は、異なる象限にあることが推定され得る。個別のＣＣ－ＭＬＯ画像対内の軟組織病変は、乳房内の軟組織病変の形状、周縁、配向、密度、サイズ、または深度のうちの１つまたはそれを上回るものにおいて、類似したままであるため、圧縮の間の移動等の要因にもかかわらず、類似性マッチング技法が、本例示的シナリオでは、ＣＣ－ＭＬＯ画像対内の第１および第２の軟組織病変を相関させる際、幾何学的マッチング技法より効果的であり得る。

【0065】

対照的に、幾何学的マッチング技法は、各ＣＣ－ＭＬＯ画像対８００、８０２、８０４が石灰化のクラスタを描写する、図８Ａ－８Ｃに示される例示的ＣＣ－ＭＬＯ画像対８００、８０２、８０４に見られるもののように、第１および第２の病変を相関させるためにより好適であり得る。石灰化の各クラスタは、乳房内の形状、周縁、配向、密度、またはサイズにおいて、かつ異なるタイプの画像を横断して、変動し得る、複数の石灰化を含む。ＣＣ画像およびＭＬＯ画像は、異なる角度で捕捉されるため、類似性マッチング技法を使用して、ＣＣ画像内の石灰化のクラスタとＭＬＯ画像内の石灰化のクラスタを相関させることは、困難であり得る。図８Ａ－８Ｃに示されるように、クラスタは、クラスタを形成する、カルシウム要素間での運動に起因して、異なる平面の中に投影されるとき、非常に異なって見え得る。類似性マッチングモデルが、ＭＬＯ画像内のクラスタがＣＣ画像内のクラスタと同一物体であることを識別することは、困難であり得る。したがって、幾何学的マッチング技法が、各病変が石灰化のクラスタである、本例示的シナリオでは、ＣＣ－ＭＬＯ画像対内の第１および第２の病変を相互に相関させる際により効果的であり得る。

【0066】

少なくとも、類似性マッチング技法と幾何学的マッチング技法との間の異なる強みおよび有効性に基づいて、本明細書に開示される実施形態は、アンサンブルマッチング技法（例えば、図１におけるアンサンブルマッチングＭＬモデル１２０）を使用して、ＣＣおよびＭＬＯ画像対内の第１および第２の病変を相関させる。アンサンブルマッチング技法は、あらゆるタイプの病変上で動作し、相関プロセスの有効性を改良する。いくつかの事例では、アンサンブルマッチング技法を採用する、実施形態は、９０パーセントを上回って、相関プロセスを改良することができる。

【0067】

図９は、ＣＣ－ＭＬＯ画像対を処理するためのプロセスフロー９０６を図示する。一実施形態では、ＣＣ－ＭＬＯ画像対９００、９０２が、マッチングエンジン１０６によって受信され、幾何学的マッチングＭＬモデル１１８が、ＣＣ－ＭＬＯ画像対９００、９０２に適用される。幾何学的マッチングＭＬモデル１１８は、事前に、幾何学的マッチングモデル訓練９０８を受信している。幾何学的マッチングモデル訓練９０８は、幾何学的マッチングＭＬモデル１１８を訓練するための訓練データを備え、図１の訓練データ記憶装置１１４等の訓練データ記憶装置内に記憶されてもよい。実施形態では、幾何学的マッチングモデル訓練９０８は、相関された第１および第２の病変を伴う、ＣＣ－ＭＬＯ画像対のセットである。幾何学的マッチングモデル訓練９０８は、正確な相関を実証する、真のマッチングされた病変と、不正確な相関を実証する、偽のマッチングされた病変との両方を含んでもよい。幾何学的マッチングＭＬモデル１１８が、代わりに、ルールベースのＡＩである、実施形態等の実施形態では、幾何学的マッチングモデル訓練９０８は、幾何学的マッチングルールのセットである。

【0068】

幾何学的マッチングＭＬモデル１１８を使用して、マッチングエンジン１０６は、１つまたはそれを上回る病変がＣＣ－ＭＬＯ画像対９００、９０２内に存在するかどうかを決定し、ＣＣ画像９００内に存在する第１の病変がＭＬＯ画像９０２内に存在する第２の病変に相関されることの信頼度レベルインジケータを含む、結果データ９１２を出力する。幾何学的マッチングＭＬモデル１１８は、幾何学的マッチングモデル訓練９０８から学習された特徴またはルールに基づいて、結果データ９１２を決定するために使用される。

【0069】

類似性マッチングＭＬモデル１１６は、マッチングエンジン１０６によって、ＣＣ－ＭＬＯ画像対９００、９０２に適用される。類似性マッチングＭＬモデル１１６は、事前に、類似性マッチングモデル訓練９１０を受信している。類似性マッチングモデル訓練９１０は、類似性マッチングＭＬモデル１１６を訓練するための訓練データを備え、図１の訓練データ記憶装置１１４等の訓練データ記憶装置内に記憶されてもよい。実施形態では、類似性マッチングモデル訓練９１０は、相関された病変を伴う、ＣＣ－ＭＬＯ画像対のセットである。類似性マッチングモデル訓練９１０は、正確な相関を実証する、真のマッチングされた病変と、不正確な相関を実証する、偽のマッチングされた病変との両方を含んでもよい。実施形態では、類似性マッチングモデル訓練９１０は、幾何学的マッチングモデル訓練９０８と同一データセットである。実施形態では、類似性マッチングモデル訓練９１０は、幾何学的マッチングモデル訓練９０８と異なるデータセットである。

【0070】

類似性マッチングＭＬモデル１１６は、１つまたはそれを上回る病変がＣＣ画像９００およびＭＬＯ画像９０２内に存在するかどうかを決定し、ＣＣ画像９００内の第１の病変がＭＬＯ画像９０２内の第２の病変に相関されることの信頼度レベルインジケータを含む、結果データ９１４を出力するために使用される。類似性マッチングＭＬモデル１１６は、類似性マッチングモデル訓練９１０に基づいて、結果データ９１４を決定するために使用される。実施例では、マッチングエンジン１０６は、類似性マッチングＭＬモデル１１６を類似性マッチングモデル訓練９１０上で実行し、例えば、特徴セットを発生させ、特徴セットをＣＣ－ＭＬＯ画像対９００、９０２に適用することによって、結果データ９１４を発生させる。

【0071】

マッチングエンジン１０６は、アンサンブルＭＬモデル１０２を幾何学的マッチングＭＬモデル１１８からの結果データ９１２（例えば、幾何学的マッチング信頼度レベルインジケータ）および類似性マッチングＭＬモデル１１６からの結果データ９１４（例えば、類似性信頼度レベルインジケータ）に適用する。実施形態では、アンサンブルマッチングＭＬモデル１２０もまた、直接、ＣＣ－ＭＬＯ画像対９００、９０２を分析するために採用される。

【0072】

アンサンブルマッチングＭＬモデル１２０は、幾何学的マッチングＭＬモデル１１８および類似性マッチングＭＬモデル１１６の一方または両方からの出力データとしてのＣＣ－ＭＬＯ画像対９００、９０２に適用されてもよい。例えば、幾何学的マッチングＭＬモデル１１８からの結果データ９１２は、幾何学的マッチング信頼度レベルインジケータを計算するために使用される、象限または他の場所データを示すように注釈が付けられる、ＣＣ－ＭＬＯ画像対を含んでもよい。類似性マッチングＭＬモデル１１６からの結果データ９１４は、第１および第２の病変に関する形状または周縁データを示すように注釈が付けられる、ＣＣ－ＭＬＯ画像対を含んでもよい。アンサンブルマッチングＭＬモデル１２０は、幾何学的マッチングＭＬモデル１１８および類似性マッチングＭＬモデル１１６のいずれかから独立して、ＣＣ－ＭＬＯ画像対９００、９０２に適用されてもよい。

【0073】

結果データ９１２、９１４は、概して、幾何学的マッチングＭＬモデル１１８からの幾何学的マッチング信頼度レベルと、類似性マッチングＭＬモデル１１６からの類似性信頼度レベルとを含む。実施形態では、結果データ９１２、９１４は、幾何学的マッチングＭＬモデル１１８および類似性マッチングＭＬモデル１１６の一方または両方からの付加的データを備える。例えば、幾何学的マッチングＭＬモデル１１８からの幾何学的マッチング結果データ９１２はまた、ＣＣ画像９００およびＭＬＯ画像９０２の各々に対し、病変と解剖学的目印との間の距離を含んでもよい、またはＣＣ画像９００内の第１の病変およびＭＬＯ画像９０２内の第２の病変の各々に対し、象限推定を含んでもよい。類似性マッチングＭＬモデル１１６からの類似性結果データ９１４は、形状、テクスチャ、配向、または周縁等の類似性データを含んでもよい。

【0074】

マッチングエンジン１０６は、アンサンブルＭＬモデル１２０を使用して、幾何学的マッチングおよび類似性マッチングＭＬモデル１１８、１１６からの結果データ９１２、９１４を用いて、ＣＣおよびＭＬＯ画像９００、９０２を評価し、ＣＣおよびＭＬＯ画像対内の第１および第２の病変が乳房内の同一物体であることの確率を表す、相関の結合確率９０４を生成する。相関の結合確率９０４は、ＣＣ画像９００とＭＬＯ画像９０２との間の第１および第２の病変の相関が信頼性がある相関であることの確率を表す、単一値であってもよい。実施例では、相関の結合確率９０４は、少なくとも２つの要素、すなわち、相関が信頼性があることの尤度を表す、相関確率９１８と、確率計算自体が信頼性があることの尤度を表す、相関信頼度レベル９２０とを含む。

【0075】

アンサンブルＭＬモデル１２０は、結果データ９１２、９１４を受信することに先立って、アンサンブルモデル訓練９１６を使用して訓練される。アンサンブルモデル訓練９１６は、アンサンブルマッチングＭＬモデル１２０を訓練するための訓練データを備え、図１の訓練データ記憶装置１１４等の訓練データ記憶装置内に記憶されてもよい。実施形態では、アンサンブルモデル訓練９１６は、相関された第１および第２の病変を伴う、ＣＣ－ＭＬＯ画像対のセットである。アンサンブルモデル訓練９１６は、真のマッチングされた病変と、偽のマッチングされた病変との両方を含んでもよい。実施形態では、アンサンブルモデル訓練９１６は、幾何学的マッチングモデル訓練９０８および類似性マッチングモデル訓練９１０と同一データセットである。実施形態では、アンサンブルモデル訓練９１６は、幾何学的マッチングモデル訓練９０８および類似性マッチングモデル訓練９１０の一方または両方と異なるデータセットである。

【0076】

アンサンブルモデル訓練９１６が、本システム内の他のモデルによって受信される訓練データと比較して、同一または異なるデータセットであるかどうかにかかわらず、アンサンブルＭＬモデル１２０は、一意の特徴セットを発生させる。アンサンブルＭＬモデル１２０は、画像、病変、および他のＲＯＩに関連する特徴を含み、また、スコア化、信頼度レベル、場所データ、形状データ、周縁データ等の結果データ９１２、９１４に関連する特徴を含む、特徴セットを展開する。

【0077】

アンサンブルＭＬモデル１１６は、マッチングエンジン１０６によって、幾何学的マッチングＭＬモデル１１８および類似性マッチングＭＬモデル１１６を使用して行われる相関が信頼性がある程度を決定し、相関の結合確率９０４として、本信頼性決定を提示するために使用される。相関の結合確率９０４は、数値確率または色分けされた信頼度レベルインジケータ等の単一出力であってもよい、または２つまたはそれを上回る部分を有してもよい。例示的プロセスフロー９０６は、相関確率９１８および関連付けられる相関信頼度レベル９２０として、相関の結合確率を提示する。

【0078】

例示的症例を考慮するために、特定の第１および第２の病変は、それに関して幾何学的マッチングがより効果的である、種類、例えば、石灰化のクラスタであってもよい。アンサンブルマッチングＭＬモデルは、標的病変が石灰化であるときを識別し、そのような症例では、より大きい加重を幾何学的マッチングＭＬモデルから受信されるデータ上に設置するように訓練されてもよい。しかしながら、本例示的シナリオでは、石灰化のクラスタは、２つまたはそれを上回る象限間の境界上に位置し得る。アンサンブルマッチングＭＬモデルはまた、これが病変が１つの象限またはその他内にあるように正確に推定されないように妨害するため、病変が象限境界にわたって交差する、本状況では、幾何学的マッチングＭＬモデルにおける信頼度を低減させるように訓練されてもよい。本シナリオでは、幾何学的マッチングＭＬモデルおよび類似性マッチングＭＬモデルは両方とも、高相関尤度を決定し得、これは、高相関確率をもたらすであろう。しかしながら、類似性マッチングＭＬモデルにおける信頼度は、病変のタイプに起因して、低減され、幾何学的マッチングＭＬモデルにおける信頼度は、象限境界上の病変の場所に起因して、低減されるため、高相関確率は、低相関信頼度レベルを伴う。

【0079】

アンサンブルＭＬモデル１２０は、アンサンブルモデル訓練９１６に基づいて、相関の結合確率９０４を決定するように訓練される。実施例では、アンサンブルＭＬモデル１２０は、ＭＬアルゴリズムをアンサンブルモデル訓練９１６上で実行し、例えば、特徴セットを発生させ、相関の結合確率９０４は、マッチングエンジン１０６が、アンサンブルＭＬモデルを使用して、特徴セットをＣＣ－ＭＬＯ画像対９００、９０２および結果データ９１２、９１４に適用するときに決定される。実施形態では、プロセスフロー９０６はさらに、図１の相関評価器１２２等の相関評価器を含んでもよい。相関評価器は、マッチングエンジン１０６の構成要素として、幾何学的マッチングＭＬモデル１１８、類似性マッチングＭＬモデル１１６、およびアンサンブルＭＬモデル１２０のうちの１つまたはそれを上回るものからデータを受信してもよく、相関評価器は、相関の結合確率９０４を発生および出力してもよい。

【0080】

図１０は、ＣＣ画像内の第１の病変をＭＬＯ画像内の第２の病変に相関させる方法１０１２のフローチャートを図示する。本方法は、図１および９における幾何学的マッチングＭＬモデル１１８等の幾何学的マッチングＭＬモデルを使用して、図１および９におけるマッチングエンジン１０６等のマッチングエンジンによって実施される。最初に、ブロック１０００に示されるように、第１の画像タイプの第１の画像と、第２の画像タイプの第２の画像とから成る、画像対が、受信される。一実施形態では、第１および第２の画像タイプは、ＣＣ画像およびＭＬＯ画像である。幾何学的マッチングマッチングモデルは、少なくとも１つの解剖学的目印とＣＣ画像内の第１の病変との間の第１の距離と、少なくとも１つの解剖学的目印とＭＬＯ画像内の第２の病変との間の第２の距離とを推定するために使用される（ブロック１００２）。幾何学的マッチングＭＬモデルはまた、その中にＣＣ画像内およびＭＬＯ画像内の第１および第２の病変が位置する、乳房の象限を推定するために使用される（ブロック１００４）。

【0081】

距離決定および象限決定からのデータは、組み合わせられる。実施形態では、幾何学的マッチングＭＬモデルは、解剖学的目印までの距離推定および象限割当の両方を実施するために使用される一方、他の実施形態では、幾何学的マッチングＭＬモデルは、評価の一方のみまたは他方の方法、または乳房または他の撮像される体積内の病変の場所の別の場所または幾何学形状ベースの評価を実施するために使用されてもよい。

【0082】

実施形態では、画像対の各画像は、個々に、幾何学的マッチングモデルを使用して、全体として評価される。例えば、画像対内のＣＣ画像およびＭＬＯ画像はそれぞれ、幾何学的マッチングＭＬモデルが、相関がＣＣ画像内で識別された第１の病変とＭＬＯ画像内で識別された第２の病変との間に存在するかどうかを決定するために使用される前に、幾何学的マッチングＭＬモデルを使用して、完全に評価され、病変を識別し、病変の場所を推定してもよい。１つまたはそれを上回る第１の病変が、ＣＣ画像内で識別され、１つまたはそれを上回る第２の病変が、ＭＬＯ画像内で識別されてもよい。１つまたはそれを上回る相関が、ＣＣ画像およびＭＬＯ画像内の第１の病変と第２の病変との間に存在するように決定されてもよい。例えば、２つの第１の病変、すなわち、第１の病変（ａ）および第１の病変（ｂ）が、ＣＣ画像内で、２つの第２の病変、すなわち、第２の病変（ａ）および第２の病変（ｂ）が、ＭＬＯ画像内で識別されてもよい。第１の相関が、第１の病変（ａ）と第２の病変（ａ）との間に存在することが決定されてもよく、第２の相関が、第１の病変（ｂ）と第２の病変（ｂ）との間に存在することが決定されてもよい。

【0083】

幾何学的マッチングＭＬモデルは、ブロック１００６では、信頼度レベルインジケータを算出するために使用される。前述で説明されるように、信頼度レベルインジケータは、第１の画像タイプの画像（例えば、ＣＣ画像）内の第１の病変が第２の画像タイプの画像（例えば、ＭＬＯ画像）内の第２の病変と同一物体である、確率を表す。いくつかの事例では、放射線科医は、幾何学的マッチングモデルのみに基づいて、信頼度レベルの決定を理解することに関心がある。信頼度レベルインジケータは、次いで、ブロック１００８において、放射線科医に提示されてもよい。一実施形態では、信頼度レベルインジケータは、ディスプレイデバイス上において、放射線科医に表示される。実施例では、文字または他の記号印が、ＣＣ画像内の第１の病変およびＭＬＯ画像内の第２の病変のそれぞれをマークするために表示されてもよい。複数の着目領域が、画像対内に現れる場合、複数の文字または標識が、使用されてもよい。実施形態では、文字または他の記号印は、信頼度レベルインジケータを伴わずに、表示される。

【0084】

次に、随意のブロック１０１０に示されるように、付加的情報が、放射線科医に提示される。付加的情報は、限定ではないが、マッチングエンジンが提示される信頼度レベルインジケータを導出した理由または本ＣＣ－ＭＬＯ対がより高い（またはより低い）信頼度レベルインジケータを有する理由に関する解説を含んでもよい。例えば、測定値または他の距離データおよび使用される解剖学的目印の識別が、表示される。解剖学的象限マップが、解剖学的象限マップ上にオーバーレイされる、各画像タイプの特定の象限内の第１または第２の病変の配向とともに表示されてもよい。病変が象限境界上にあることを示す、または特定の解剖学的目印に対する第１の病変の関係と特定の解剖学的目印に対する第２の病変の関係との間の非一貫性を示す等、不確実性の源が、ディスプレイ上で識別されてもよい。

【0085】

図１１は、ＣＣ画像内の第１の病変をＭＬＯ画像内の第２の病変に相関させる方法１１１２のフローチャートを図示する。本方法は、図１および９における類似性マッチングＭＬモデル１１６等の類似性マッチングＭＬモデルを使用して、図１および９におけるマッチングエンジン１０６等のマッチングエンジンによって実施される。図示される方法１１１２は、図１０に示される方法１０１２と、いくつかの類似ステップを共有する。

【0086】

ＣＣおよびＭＬＯ画像が、ブロック１０００において、マッチングエンジンによって受信される。ＣＣ画像内の第１の病変およびＭＬＯ画像内の第２の病変の１つまたはそれを上回る特性が、類似性マッチングＭＬモデルを使用して、ブロック１１００において決定される。病変に割り当てられる特性は、限定ではないが、サイズ、形状、周縁、場所、密度、色、配向、テクスチャ、パターン、または乳房内の深度を含む。

【0087】

実施形態では、画像対の各画像は、個々に、全体として評価される。例えば、対内のＣＣ画像およびＭＬＯ画像はそれぞれ、類似性マッチングＭＬモデルが、相関がＣＣ画像内の第１の病変とＭＬＯ画像内の第２の病変との間に存在するかどうかを決定するために使用される前に、類似性マッチングＭＬモデルを使用して、完全に評価され、病変または潜在的病変を識別し、識別された病変を完全に特性評価する。幾何学的マッチングＭＬモデルと同様に、類似性マッチングＭＬモデルは、画像対内の１つまたはそれを上回る病変を識別および相関させるために使用されてもよい。

【0088】

類似性マッチングＭＬモデルは、ブロック１００６において、信頼度レベルインジケータを算出するために使用される。前述で説明されるように、信頼度レベルインジケータは、第１の画像タイプの画像（例えば、ＣＣ画像）内の第１の病変が第２の画像タイプの画像（例えば、ＭＬＯ画像）内の第２の病変と同一病変である、確率を表す。いくつかの事例では、放射線科医は、類似性マッチングＭＬモデルのみに基づいて、信頼度レベルの決定を理解することに関心がある。信頼度レベルインジケータは、次いで、ブロック１００８において、放射線科医に提示されてもよい。一実施形態では、信頼度レベルインジケータは、ディスプレイデバイス上において、放射線科医に表示される。実施例では、文字または他の記号印対が、ＣＣ画像内の第１の病変およびＭＬＯ画像内の第２の病変のそれぞれをマークするために表示されてもよい。複数の着目領域が、画像対内に現れる場合、複数の文字または標識が、使用されてもよい。実施形態では、文字または他の記号印は、信頼度レベルインジケータを伴わずに、表示される。

【0089】

次に、随意のブロック１０１０に示されるように、付加的情報が、放射線科医に提示される。付加的情報は、限定ではないが、マッチングエンジンが提示される信頼度レベルインジケータを導出した理由または特定のＣＣ－ＭＬＯ対がより高い（またはより低い）信頼度レベルインジケータを有する理由に関する解説を含んでもよい。例えば、形状、テクスチャ、配向、または他の特性データが、表示される。１つまたはそれを上回るオーバーレイが、第１および第２の病変のそれぞれにわたって提示され、例えば、第１の病変と第２の病変との間の形状または周縁境界を示し、その特性の類似性または差異を示してもよい。

【0090】

図１２は、ＣＣ画像内の第１の病変をＭＬＯ画像内の第２の病変に相関させる方法１２１２のフローチャートを図示する。方法１２１２は、図１および９におけるアンサンブルマッチングＭＬモデル１２０等のアンサンブルマッチングＭＬモデルを使用して、図１および９におけるマッチングエンジン１０６等のマッチングエンジンによって実施される。実施形態では、方法１２１２のいくつかまたは全ては、図１における相関評価器１２２等の相関評価器によって実施されてもよい。図示される方法１２１２は、図１０および１１に示される方法１０１２、１１１２といくつかのステップを共有する。

【0091】

ＣＣおよびＭＬＯ画像が、ブロック１０００において、受信される。ブロック１２００では、幾何学的マッチングＭＬモデルを使用して生成される、信頼度レベルインジケータが、受信される。ある場合には、ＣＣおよびＭＬＯ画像の各々に対し、第１および第２の病変のそれぞれと１つまたはそれを上回る解剖学的目印との間の距離、またはＣＣおよびＭＬＯ画像内の第１および第２の病変の各々に対して推定される象限、または他の付加的データもまた、受信される。ブロック１２０２では、類似性マッチングＭＬモデルを使用して生成される、信頼度レベルインジケータが、受信される。実施形態では、ＣＣおよびＭＬＯ画像内の第１および第２の病変の１つまたはそれを上回る特性、または他の付加的データもまた、受信される。

【0092】

アンサンブルマッチングＭＬモデルは、ＣＣおよびＭＬＯ画像と、幾何学的マッチングＭＬモデルおよび類似性マッチングＭＬモデルのそれぞれから提供される、信頼度レベルインジケータと、いくつかの実施形態では、幾何学的マッチングおよび類似性マッチングＭＬモデルの一方または両方から受信される任意の付加的データとを分析するために使用される。アンサンブルマッチングＭＬモデルを使用する分析に基づいて、マッチングエンジンは、１２０４において、相関の結合確率を発生させる。

【0093】

分析の一部は、１つのタイプのモデルから受信されるデータを別のモデルより強調すること、またはより大きいまたはより小さい加重と特定のモデルから受信されるデータを関連付けることを含んでもよい。例えば、第１および第２の病変が識別される、病変のタイプ（例えば、軟組織病変または石灰化のクラスタ）に基づいて、アンサンブルマッチングＭＬモデルは、その訓練または以前の分析に基づいて、類似性マッチングＭＬモデルおよび幾何学的マッチングＭＬモデルのいずれかからのデータが標的病変が相互に相関する確率を予測する際により正確である（その逆も同様である）ことを決定してもよい。

【0094】

加えて、または代替として、１つのモデルによって生成された信頼度レベルインジケータが、比較的に高い一方、他のモデルから受信される信頼度レベルインジケータが、比較的に低い場合、アンサンブルマッチングＭＬモデルは、より比較的に高い信頼度レベルインジケータを提供される、モデルから受信されるデータに依拠してもよい（またはその逆）。例えば、高密度乳房に関して、類似性マッチングＭＬモデルは、周囲組織の密度による病変の不明瞭化に起因して、比較的に低信頼度レベルインジケータをもたらし得る一方、幾何学的マッチング場所ＭＬモデルは、ＣＣおよびＭＬＯ画像がマッチングすることを示す、比較的に高信頼度レベルインジケータを提供することによって、類似性マッチングＭＬモデルからの低信頼度レベルインジケータを補償することが可能である。そのような調節は、相関の結合確率と関連付けられる、相関の結合信頼度レベルとともに、放射線科医に示されてもよい。実施形態では、そのような調節は、放射線科医に不透明であってもよいが、結合確率への幾何学的マッチングＭＬおよび類似性マッチングＭＬモデルの寄与の一方または両方に割り当てられる相対的加重において反映されてもよい。

【0095】

相関の結合確率は、次いで、ブロック１２０６において、放射線科医に提示されてもよい。一実施形態では、相関の結合確率は、ディスプレイデバイス上において、放射線科医に表示される。相関の結合確率はまた、ディスプレイデバイスへの他の出力を決定するために使用されてもよい。例えば、閾値は、ユーザが、ＣＣ画像内の病変またはＲＯＩを選択し、所定の閾値を超える相関の結合確率が、その病変またはＲＯＩと関連付けられる場合、本システムが、相関された病変またはＲＯＩとともに、ＭＬＯ画像を自動的に表示し得るように、相関の結合確率と関連付けられてもよい。

【0096】

実施例では、文字または他の記号印が、ＣＣ画像内の第１の病変およびＭＬＯ画像内の第２の病変のそれぞれをマークするために表示されてもよい。複数の着目領域が、画像対内に現れる場合、複数の文字または標識が、使用されてもよい。実施形態では、文字または他の記号印は、信頼度レベルインジケータを伴わずに、表示される。

【0097】

次に、随意のブロック１０１０に示されるように、付加的情報が、放射線科医に提示される。付加的情報は、限定ではないが、方法１０１２、１１１２に関連して上記に議論される、付加的情報のいずれかを含んでもよい。

【0098】

図１３は、図１および９のアンサンブルマッチングＭＬモデル１２０等のアンサンブルマッチングＭＬモデルを訓練する方法１３１２のフローチャートを図示する。一実施形態では、アンサンブルマッチングＭＬモデルは、教師あり訓練プロセスを使用して訓練される。最初に、放射線科医またはマッチングエンジンが、複数のＣＣ－ＭＬＯ画像対を精査し、相互に相関する、ＣＣおよびＭＬＯ画像内の第１および第２の病変を標識または別様に識別する（ブロック１３００）。標識は、第１および第２の病変対の各々に対し、病変のタイプまたは病変が癌性であるかどうか等の情報を識別することができる。

【0099】

標識されたＣＣ－ＭＬＯ画像対は、ブロック１３０２において、アンサンブルマッチングＭＬモデルに入力される。類似性マッチングＭＬモデルのためおよび幾何学的マッチングＭＬモデルのための訓練データは、ブロック１３０４において、アンサンブルマッチングＭＬモデルに入力される。アンサンブルマッチングＭＬモデルは、ブロック１３０６において、人間によって標識されたＣＣ－ＭＬＯ画像対と、類似性および幾何学的マッチングＭＬモデルのための訓練データとを使用して訓練される。実施形態では、アンサンブルマッチングＭＬモデルは、人間によって標識されたＣＣ－ＭＬＯ画像対と、類似性および幾何学的マッチングＭＬモデルのための訓練データとに基づいて、特徴セットを発生させてもよい。訓練されたアンサンブルマッチングＭＬモデルは、次いで、ブロック１３０８において、図１に示されるシステム１００等の病変識別および相関システムにおいて使用される。

【0100】

いくつかの実施形態では、類似性マッチングおよび幾何学的マッチングＭＬモデルは、公知の訓練技法を使用して訓練される。加えて、人間によって標識されたＣＣ－ＭＬＯ画像対もまた、類似性マッチングＭＬモデルおよび幾何学的マッチングＭＬモデルを訓練するために使用される。各モデルは、他のモデルから独立して、訓練されることができる。代替として、幾何学的マッチング、類似性マッチング、およびアンサンブルマッチングＭＬモデルは、１つのステップまたは訓練プロセスにおいて訓練されてもよい。

【0101】

他の実施形態は、図示される順序と異なる順序において、図１０－１３に示されるフローチャート内のブロックを配列することができる。

【0102】

図１４は、コンピューティングデバイスの例示的物理的構成要素を図示する、ブロック図である。コンピューティングデバイス１４００は、コンピューティングシステム１０２、Ｘ線コンピューティングデバイス１１２、およびコンピューティングシステム１１０等の識別システム１００と併用される、任意のコンピューティングデバイスであることができる。

【0103】

図１４に示される実施例では、コンピューティングデバイス１４００は、少なくとも１つの処理デバイス（集合的に、処理デバイス１４０２）と、少なくとも１つのメモリ（集合的に、メモリ１４０８）と、メモリ１４０８を処理デバイス１４０２に結合する、少なくとも１つのバス（集合的に、バス１４２２）とを含む。例示的処理デバイス１４０２は、限定ではないが、中央処理ユニット、マイクロプロセッサ、特定用途向け集積回路、デジタル信号プロセッサ、およびグラフィックプロセッサを含む。例示的メモリ４０８は、ランダムアクセスメモリ（「ＲＡＭ」）１４１０および読取専用メモリ（「ＲＯＭ」）１４１２を含む。始動の間等、情報をコンピューティングデバイス１４００内の要素間で転送することに役立つ、基本ルーチンを含有する、基本入／出力システムが、ＲＯＭ１４１２内に記憶される。

【0104】

コンピューティングデバイス１４００はさらに、１つまたはそれを上回る記憶デバイス（集合的に、記憶デバイス１４１４）を含む。記憶デバイス１４１４は、ソフトウェア命令と、データとを記憶することが可能である。例えば、記憶デバイス１４１４は、図１に示されるＧＵＩを記憶する。

【0105】

記憶デバイス１４１４は、バス１４２２に接続される、記憶装置コントローラ（図示せず）を通して、処理デバイス１４０２に接続される。記憶デバイス１４１４およびその関連付けられるコンピュータ可読記憶媒体は、コンピューティングデバイス１４００のための不揮発性非一過性データ記憶装置を提供する。本明細書に含有されるコンピュータ可読記憶媒体の説明は、ハードディスクまたはソリッドステートディスク等の記憶デバイスを指すが、コンピュータ可読データ記憶媒体は、そこから処理デバイス１４０２がデータおよび／または命令を読み取り得る、任意の利用可能な有形物理的デバイスまたは製造品を含むことができることが、当業者によって理解されるであろう。ある実施例では、コンピュータ可読記憶媒体は、完全に非一過性媒体を含む。

【0106】

コンピュータ可読記憶媒体は、コンピュータ可読ソフトウェア命令、データ構造、プログラムモジュール、または他のデータ等の情報の記憶のために、任意の方法または技術で実装される、揮発性および不揮発性のリムーバブルおよび非リムーバブル媒体を含む。コンピュータ可読データ記憶媒体の例示的タイプは、限定ではないが、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のソリッドステートメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（「ＤＶＤ」）、他の光学記憶媒体、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、または所望の情報を記憶するために使用され得、コンピューティングデバイス１４００によってアクセスされ得る、任意の他の媒体を含む。

【0107】

いくつかの実施例によると、コンピューティングデバイス１４００は、無線ネットワーク、インターネット、または別のタイプのネットワーク等のネットワーク１４５２を通して、遠隔ネットワークデバイスへの論理接続を使用して、ネットワーク化された環境内で動作することができる。コンピューティングデバイス１４００は、バス１４２２に接続される、ネットワークインターフェースユニット１４０４を通して、ネットワーク１４５２に接続してもよい。ネットワークインターフェースユニット１４０４はまた、他のタイプのネットワークおよび遠隔コンピューティングシステムに接続するために利用されてもよいことを理解されたい。

【0108】

コンピューティングデバイス１４００はまた、タッチユーザインターフェースディスプレイ画面または別のタイプの入力デバイスを含む、いくつかの他のデバイスからの入力を受信および処理するための入／出力コントローラ１４０６を含む。同様に、入／出力コントローラ１４０６は、出力をタッチユーザインターフェースディスプレイ画面または他のタイプの出力デバイスに提供してもよい。

【0109】

上記に簡潔に述べられたように、コンピューティングデバイス１４００の記憶デバイス１４１４およびＲＡＭ１４１０は、ソフトウェア命令と、データとを記憶することができる。ソフトウェア命令は、コンピューティングデバイス１４００の動作を制御するために好適なオペレーティングシステム１４１８を含む。記憶デバイス１４１４および／またはＲＡＭ１４１０はまた、処理デバイス１４０２によって実行されると、コンピューティングデバイス１４００に、本明細書で議論される機能性を提供させる、ソフトウェア命令を記憶する。

【0110】

実施例：

【0111】

本明細書に説明されるシステムおよび方法の例証的実施例が、下記に提供される。本明細書に説明されるシステムまたは方法の実施形態は、下記に説明される任意の１つまたはそれを上回る付記およびその任意の組み合わせを含んでもよい。

【0112】

付記１．頭尾方向（ＣＣ）画像と、内外斜位方向（ＭＬＯ）画像とを備える、画像対内の着目領域（ＲＯＩ）を相関させる方法であって、アンサンブルマッチング機械学習（ＭＬ）モデルによって、類似性マッチングＭＬモデルからのデータを受信することであって、類似性マッチングＭＬモデルからのデータは、少なくとも、マッチングされた対のＲＯＩと、マッチングされた対のＲＯＩと関連付けられる、第１の信頼度レベルインジケータとを含む、ことと、アンサンブルマッチングＭＬモデルによって、幾何学的マッチング（ＧＭ）モデルからのデータを受信することであって、ＧＭモデルからのデータは、少なくとも、マッチングされた対のＲＯＩと、第２の信頼度レベルインジケータとを含む、ことと、アンサンブルマッチングＭＬモデルによって、アンサンブルマッチングＭＬモデルによる第１および第２の信頼度レベルのそれぞれの評価に基づいて、相関の結合確率を決定することであって、相関の結合確率は、ＣＣ画像内のＲＯＩがＭＬＯ画像内の対応するＲＯＩに相関する、その逆も同様である、確率を提供する、ことと、相関の結合確率を出力デバイスに提供することとを含む、方法。

【0113】

付記２．訓練用ＣＣ－ＭＬＯ画像対と関連付けられる、データを受信することと、訓練用ＣＣ－ＭＬＯ画像対と関連付けられる、データを用いて、アンサンブルマッチングＭＬモデルを訓練することとをさらに含む、付記１に記載の方法。

【0114】

付記３．アンサンブルマッチングＭＬモデルによって、第１および第２の信頼度レベルのそれぞれの評価と、相関の結合確率とに基づいて、第３の信頼度レベルインジケータを決定することをさらに含み、第３の信頼度レベルインジケータは、相関の結合確率と関連付けられる、信頼性の尤度である、付記１または２に記載の方法。

【0115】

付記４．結合確率は、類似性相関およびＧＭ相関がＣＣ－ＲＯＩおよびＭＬＯ－ＲＯＩを適切に相関させる、確率である、付記１－３のいずれかに記載の方法。

【0116】

付記５．相関の結合確率を出力デバイスに提供することは、相関の結合確率と関連付けられる、数値を含む、付記１－４のいずれかに記載の方法。

【0117】

付記６．マッチングされた病変対の各画像は、全体的乳房画像である、付記１－５のいずれかに記載の方法。

【0118】

付記７．マッチングされた病変対の各画像は、ＣＣ画像およびＭＬＯ画像の各々に対し、ＲＯＩのみを含有する、付記１－６のいずれかに記載の方法。

【0119】

付記８．相関の結合確率を出力デバイスに提供することは、数値表示を含む、付記１－７のいずれかに記載の方法。

【0120】

付記９．相関の結合確率を出力デバイスに提供することは、一連のＣＣ－ＲＯＩを受信することと、ＣＣ－ＲＯＩの選択を受信することに応答して、ＭＬＯ－ＲＯＩを提示することとを含む、付記１－８のいずれかに記載の方法。

【0121】

付記１０．ＣＣ－ＲＯＩの選択を受信することに応答して、相関の結合確率が所定の閾値を超えることを決定することと、相関の結合確率が所定の閾値を超えることを決定することに応答して、ＭＬＯ－ＲＯＩを提示することとをさらに含む、付記９に記載の方法。

【0122】

付記１１．マッチングされた対のＲＯＩは、ＣＣ－画像内のＣＣ－ＲＯＩとＭＬＯ画像内のＭＬＯ－ＲＯＩとの間の類似性相関を含み、第１の信頼度レベルインジケータは、ＣＣ－ＲＯＩとＭＬＯ－ＲＯＩとの間の相関と関連付けられる、確率である、付記１－１０のいずれかに記載の方法。

【0123】

付記１２．第２の信頼度レベルインジケータは、ＣＣ－ＲＯＩとＭＬＯ－ＲＯＩとの間のＧＭ相関と関連付けられる、確率である、付記１－１１のいずれかに記載の方法。

【0124】

付記１３．出力ディスプレイ上に、一対の記号を表示することであって、一対の記号の各記号は、マッチングされた対のＲＯＩのうちのＲＯＩをマークする、ことをさらに含む、付記１－１２のいずれかに記載の方法。

【0125】

付記１４．ＧＭモデルからのデータは、マッチングされた対のＲＯＩのうちの各ＲＯＩに対し、場所データを備える、付記１－１３のいずれかに記載の方法。

【0126】

付記１５．第２の信頼度レベルインジケータは、マッチングされた対のＲＯＩの第１のＲＯＩの第１の場所およびマッチングされた対のＲＯＩの第２のＲＯＩの第２の場所が同一場所である、確率を示す、付記１４に記載の方法。

【0127】

付記１６．ＣＣ画像およびＭＬＯ画像はそれぞれ、乳房を描写し、ＧＭモデルは、乳房を象限に論理的に分割する、付記１４または１５に記載の方法。

【0128】

付記１７．類似性モデルからのデータは、マッチングされた対のＲＯＩのうちの各ＲＯＩに対し、特性データを備える、付記１－１６のいずれかに記載の方法。

【0129】

付記１８．第１の信頼度レベルインジケータは、マッチングされた対のＲＯＩの第１のＲＯＩと関連付けられる、特性の第１のセットと、マッチングされた対のＲＯＩの第２のＲＯＩと関連付けられる、特性の第２のセットとの間の類似性の程度を示す、付記１７に記載の方法。

【0130】

付記１９．特性データは、サイズ、形状、１つまたはそれを上回る周縁、場所、密度、１つまたはそれを上回る色、配向、テクスチャ、パターン、および深度のうちの１つまたはそれを上回るものを含む、付記１７または１８に記載の方法。

【0131】

付記２０．頭尾方向（ＣＣ）および内外斜位方向（ＭＬＯ）画像をアンサンブルマッチングさせるためのシステムであって、少なくとも１つのメモリと通信する、少なくとも１つのプロセッサと、少なくとも１つのプロセッサ上で実行され、動作の間、類似性マッチングモデルから、マッチングされたＣＣ－ＭＬＯ画像対と、マッチングされたＣＣ－ＭＬＯ画像対と関連付けられる、類似性信頼度レベルインジケータとを受信し、幾何学的マッチング（ＧＭ）モデルから、マッチングされたＣＣ－ＭＬＯ画像対と、マッチングされたＣＣ－ＭＬＯ画像対と関連付けられる、ＧＭ信頼度レベルインジケータとを受信し、アンサンブルマッチングモデルを適用し、複数のマッチングされたＣＣ－ＭＬＯ対上で訓練されたアンサンブル機械学習（ＭＬ）アルゴリズムに基づいて、アンサンブル信頼度レベルを決定し、アンサンブル信頼度レベルとマッチングされたＣＣ－ＭＬＯ画像対を関連付け、アンサンブル信頼度レベルをマッチングされたＣＣ－ＭＬＯ画像対とともに出力するように構成される、アンサンブルマッチングモジュールとを備える、システム。

【0132】

付記２１．画像入手モジュールをさらに備える、付記２０に記載のシステム。

【0133】

付記２２．マッチングされたＣＣ－ＭＬＯ画像対は、ＣＣ画像内で識別された第１の着目領域（ＲＯＩ）と、ＭＬＯ画像内で識別された第２のＲＯＩとを備え、類似性ＭＬモデルまたはＧＭモデルのいずれかが、相関を第１のＲＯＩおよび第２のＲＯＩに割り当てる、付記２０または２１に記載のシステム。

【0134】

付記２３．アンサンブルマッチングモジュールはさらに、ＧＭモデルから、第１のＲＯＩと第２のＲＯＩとの間の相関と関連付けられる、場所データを受信する、付記２２に記載のシステム。

【0135】

付記２４．アンサンブルマッチングモジュールはさらに、類似性ＭＬモデルから、第１のＲＯＩと第２のＲＯＩとの間の相関と関連付けられる、形状データを受信する、付記２２または２３に記載のシステム。

【0136】

付記２５．アンサンブルマッチングモジュールはさらに、類似性ＭＬモデルから、第１のＲＯＩと第２のＲＯＩとの間の相関と関連付けられる、周縁データを受信する、付記２２－２４のいずれかに記載のシステム。

【0137】

付記２６．類似性マッチングモデルは、画像入手モジュールから受信されるＣＣ－画像内のＣＣ着目領域（ＲＯＩ）を識別することと、ＭＬＯ－ＲＯＩに関して画像入手モジュールから受信されるＭＬＯ画像を検索することであって、ＭＬＯ画像は、複数の領域を含み、類似性マッチングモデルは、複数の領域の各領域を精査する、ことと、ＣＣ－ＲＯＩおよびＭＬＯ－ＲＯＩのそれぞれの少なくとも１つの類似性特性を決定することと、少なくとも１つの類似性特性に基づいて、ＣＣ－ＲＯＩおよびＭＬＯ－ＲＯＩを相関させることとによって、マッチングされたＣＣ－ＭＬＯ画像対を決定する、付記２２－２５のいずれかに記載のシステム。

【0138】

付記２７．頭尾方向（ＣＣ）画像と、内外斜位方向（ＭＬＯ）画像とをアンサンブルマッチングさせるための方法であって、訓練用ＣＣ－ＭＬＯ画像対を使用して、アンサンブルマッチングモデルを訓練することであって、訓練用ＣＣ－ＭＬＯ画像対は、高信頼度を伴って相関される着目領域（ＲＯＩ）を伴う、対のＣＣ－ＭＬＯ画像と、誤って相関されたＲＯＩを伴う、対のＣＣ－ＭＬＯ画像とを含む、ことと、マッチングされたＣＣ－ＭＬＯ対を類似性マッチングモデルから受信することであって、マッチングされたＣＣ－ＭＬＯ対は、類似性信頼度スコアを含む、ことと、マッチングされたＣＣ－ＭＬＯ対を幾何学的マッチングモデルから受信することであって、マッチングされたＣＣ－ＭＬＯ対は、場所信頼度スコアを含む、こととによって、アンサンブルマッチングモデルによって、１つまたはそれを上回る対合されたＣＣ－ＭＬＯ画像内のＲＯＩ間の相関に関するアンサンブル信頼度レベルを決定することと、訓練用ＣＣ－ＭＬＯ画像対に基づいて、類似性信頼度スコアおよび場所信頼度スコアとともに、マッチングされたＣＣ－ＭＬＯ対を分析することと、アンサンブル信頼度レベルを計算することと、アンサンブル信頼度レベルの出力提示を発生させることとを含む、方法。

【0139】

本開示は、その中で可能性として考えられる実施例のうちのいくつかのみが示された、付随の図面を参照して、本技術のいくつかの実施例を説明した。しかしながら、他の側面も、多くの異なる形態において具現化されることができ、本明細書に記載される実施例に限定されるものと解釈されるべきではない。むしろ、これらの実施例は、本開示が、徹底しており、かつ完璧であって、可能性として考えられる実施例の範囲を当業者に完全に伝達するように、提供された。

【0140】

種々の実施形態および実施例が、本明細書に説明されるが、当業者は、多くの修正が本開示の範囲内でそこに行われ得ることを理解するであろう。したがって、具体的構造、行為、または媒体は、例証的実施例としてのみ開示される。本技術による実施例はまた、本明細書に別様に述べられない限り、一般に開示されるが、組み合わせで明示的に例示されないものの要素または構成要素を組み合わせてもよい。故に、本開示の範囲は、いかようにも、提供される実施例によって限定されることを意図するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】