(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-18
(45)【発行日】2024-12-26
(54)【発明の名称】合成乳房組織画像を生成するための標的オブジェクト増強のためのシステムおよび方法
(51)【国際特許分類】
A61B 6/00 20240101AFI20241219BHJP
A61B 6/46 20240101ALI20241219BHJP
G06V 10/70 20220101ALI20241219BHJP
A61B 6/50 20240101ALI20241219BHJP
【FI】
A61B6/00 530Z
A61B6/46 521A
G06V10/70
A61B6/50 500E
(21)【出願番号】P 2022178007
(22)【出願日】2022-11-07
(62)【分割の表示】P 2019553353の分割
【原出願日】2018-03-28
【審査請求日】2022-12-06
(32)【優先日】2017-03-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】501214292
【氏名又は名称】ホロジック, インコーポレイテッド
【氏名又は名称原語表記】Hologic, Inc.
【住所又は居所原語表記】250 Campus Drive, 01752 Marlborough, MA,United States of America
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】ハイリ チュイ
(72)【発明者】
【氏名】リヤン ウェイ
(72)【発明者】
【氏名】ジュン ゲ
(72)【発明者】
【氏名】ニコラオス カナトシオス
【審査官】遠藤 直恵
(56)【参考文献】
【文献】特表2015-515296(JP,A)
【文献】特開2017-056358(JP,A)
【文献】国際公開第2008/050823(WO,A1)
【文献】国際公開第2016/206942(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/58
G06V 10/70
(57)【特許請求の範囲】
【請求項1】
乳房組織画像データを処理するための方法であって、
患者の乳房組織の画像データを処理し、前記患者の乳房組織を集合的に描写する画像スライスのセットを生成することであって、前記画像スライスのセットの中の少なくとも2つの画像スライスは、少なくとも、第1のオブジェクトタイプの第1のオブジェクトおよび第2のオブジェクトタイプの第2のオブジェクトを含む、ことと、
第1のオブジェクト認識プロセスに基づいて、前記第1のタイプの前記第1のオブジェクトを認識することと、
前記第1のオブジェクト認識プロセスの1つ以上の特性に基づいて、第1の加重を前記第1のオブジェクトに割り当てることと、
第2のオブジェクト認識プロセスに基づいて、前記第2のタイプの前記第2のオブジェクトを認識することと、
前記第1および第2のオブジェクト認識プロセスの1つ以上の特性に基づいて、第2の加重を前記第2のオブジェクトに割り当てることであって、前記第2の加重は、前記第1の加重より大きい、ことと、
前記第1のオブジェクトおよび前記第2のオブジェクトが前記患者の乳房組織の合成された画像において重複する可能性が高いかどうかを決定することと、
前記第1のオブジェクトおよび前記第2のオブジェクトが前記合成された画像において重複する可能性が高いと決定することに応答して、前記合成された画像を生成することであって、前記第2のオブジェクトは、前記第1のオブジェクトに対して強調される、ことと、
前記合成された画像を表示することと
を含む、方法。
【請求項2】
前記第1のオブジェクト認識プロセスおよび前記第2のオブジェクト認識プロセスは、順次実行される、請求項1に記載の方法。
【請求項3】
前記第2のオブジェクト認識プロセスは、前記第1のオブジェクト認識プロセスの後に実行される、請求項2に記載の方法。
【請求項4】
前記第1のオブジェクト認識プロセスおよび前記第2のオブジェクト認識プロセスは、並行して実行される、請求項1に記載の方法。
【請求項5】
前記第2のオブジェクトは、前記第1および第2のオブジェクト認識プロセスの前記1つ以上の特性に基づいて、より臨床上有意であると決定される、請求項1に記載の方法。
【請求項6】
前記第2のオブジェクト
のみが前記合成された画像において表示される、請求項1に記載の方法。
【請求項7】
前記第1のオブジェクトおよび前記第2のオブジェクトは、両方が1つの高次元オブジェクトの一部であると決定される、請求項1に記載の方法。
【請求項8】
前記第2のオブジェクトは、前記高次元オブジェクトの中心部分であり、前記第1のオブジェクトは、前記高次元オブジェクトの周辺部分である、請求項
7に記載の方法。
【請求項9】
前記第1のオブジェクトおよび前記第2のオブジェクトを高次元グリッドに取り込むことをさらに含む、請求項1に記載の方法。
【請求項10】
前記第1および第2のオブジェクト認識プロセ
スに基づいて、前記第1および第2のオブジェクトが2つの別個のオブジェクトであることを決定することをさらに含む、請求項
1に記載の方法。
【請求項11】
前記第1のオブジェクト認識プロセスに基づいて、認識すること、および、前記第2のオブジェクト認識プロセスに基づいて、認識することは、前記第1および第2のオブジェクト認識プロセスによる、認識されたオブジェクトの記憶部との通信を含む、請求項1に記載の方法。
【請求項12】
前記第1のオブジェクト認識プロセスによって、認識することは、第1のオブジェクト認識モジュールによる、認識された第1のオブジェクトの記憶部との通信を含み、前記第2のオブジェクト認識プロセスによって、認識することは、第2のオブジェクト認識モジュールによる、認識された第2のオブジェクトの記憶部との通信を含む、請求項1に記載の方法。
【請求項13】
前記認識された第1のオブジェクトの記憶部および前記認識された第2のオブジェクトの記憶部は、2つの別個の記憶部である、請求項
12に記載の方法。
【請求項14】
前記第1のオブジェクト認識プロセスによって、1つ以上の認識された第1のオブジェクトに基づいて、前記認識された第1のオブジェクトの記憶部を更新することと、
前記第2のオブジェクト認識プロセスによって、1つ以上の認識された第2のオブジェクトに基づいて、前記認識された第2のオブジェクトの記憶部を更新することと
をさらに含む、請求項
12に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の発明は、概して、トモシンセシス等の乳房撮像技法に関し、より具体的には、乳房撮像データセットまたはそのサブセットを取得、処理、合成、記憶、および表示するためのシステムおよび方法に関する。特に、本開示は、1つ以上の標的オブジェクト認識/合成モジュールを実装し、トモシンセシススタック内の個別のオブジェクトを識別し、1つ以上の標的オブジェクト認識/合成モジュールからの結果を組み合わせ、1つ以上の合成された画像内に表示するためのオブジェクトを生成するステップに関する。
【背景技術】
【0002】
マンモグラフィは、長い間、乳癌および他の異常をスクリーニングするために使用されている。従来、マンモグラムは、X線フィルム上に形成されていた。より最近では、フラットパネルデジタル撮像機が、マンモグラムをデジタル形態において取得し、それによって、取得された画像データの分析および記憶を促進し、また、他の利点を提供するように導入されている。さらに、著しい注目および技術的発展が、胸部トモシンセシス等の方法を使用して、胸部の3次元画像を取得することに向けられている。旧来のマンモグラフィシステムによって生成される2D画像とは対照的に、胸部トモシンセシスシステムは、一連の2D投影画像から3D画像ボリュームを構成し、各投影画像は、X線源が検出器にわたって走査されるにつれて、画像検出器に対してX線源の異なる角変位で取得される。構成された3D画像ボリュームは、典型的には、画像データの複数のスライスとして提示され、スライスは、典型的には、撮像検出器と平行な平面上に数学的に再構成される。再構成されたトモシンセシススライスは、ユーザ(例えば、放射線技師または他の医療従事者)が、画像スライスを通してスクロールし、そのスライス内の構造のみを視認することを可能にすることによって、単一スライスの2次元マンモグラフィ撮像に存在する組織重複および構造雑音によって生じる問題を低減または排除する。
【0003】
トモシンセシスシステム等の撮像システムは、最近、乳癌スクリーニングおよび診断のために開発された。特に、Hologic,Inc.(www.hologic.com)は、胸部が固定されたままである間または胸部の異なる圧縮下にある間のいずれかにおいて、マンモグラムおよびトモシンセシス画像の一方または両方のタイプを取得する、融合型マルチモードマンモグラフィ/トモシンセシスシステムを開発している。他の企業は、トモシンセシス撮像を含む、システムを導入している。例えば、同一圧縮下でマンモグラムを取得する能力も含むものではない。
【0004】
随意に、トモシンセシス技術への移行を促進するために、既存の医療専門知識を活用する、システムおよび方法の実施例は、米国特許第7,760,924号(参照することによってその全体として本明細書に組み込まれる)に説明されている。特に、米国特許第7,760,924号は、スクリーニングおよび診断を補助するために、随意に、トモシンセシス投影または再構成画像とともに表示され得る、合成2D画像を生成する方法を説明している。
【0005】
2Dの合成された画像は、異常病変および正常乳房構造等の任意の臨床上重要かつ有意義な情報を含む、3D再構成スライスの簡潔な表現を提供する一方、関連部分では、従来の2D画像を表すように設計される。多くの異なるタイプの病変および乳房構造が存在し、これは、異なる特性を有する、異なるタイプの画像オブジェクトとして画定され得る。3Dボリュームデータ内で可視の任意の所与の画像オブジェクトに関して、2Dの合成された画像上に可能な限り多くの画像特性(例えば、微細石灰化、構造的歪曲等)を維持し、増強させることが重要である。標的画像オブジェクトの増強を達成するために、3Dトモシンセシスデータ内に存在する画像オブジェクトを正確に識別し、表すことが不可欠である。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【課題を解決するための手段】
【0007】
本開示の発明の一実施形態では、乳房組織画像データを処理するための方法は、患者の乳房組織の画像データを取得し、画像データを処理し、画像スライスのセットを生成するステップであって、画像スライスは、患者の乳房組織を集合的に描写する、ステップと、複数のオブジェクト認識モジュールのそれぞれを通して、セットの画像スライスをフィードするステップであって、オブジェクト認識モジュールはそれぞれ、画像スライス内に存在し得る、個別のタイプのオブジェクトを認識するように構成される、ステップと、個別のオブジェクト認識モジュールによって認識されるオブジェクトを組み合わせ、患者の乳房組織の合成された画像を生成するステップと、合成された画像を表示するステップとを含む。
本発明は、例えば、以下を提供する。
(項目1)
乳房組織画像データを処理するための方法であって、
患者の乳房組織の画像データを処理し、前記患者の乳房組織を集合的に描写する画像スライスのセットを生成することと、
複数のオブジェクト認識モジュールのそれぞれを通して、前記セットの画像スライスをフィードすることであって、前記オブジェクト認識モジュールはそれぞれ、前記画像スライス内に存在し得るオブジェクトの個別のタイプを認識するように構成される、ことと、
個別のオブジェクト認識モジュールによって認識されるオブジェクトを組み合わせ、前記患者の乳房組織の合成された画像を生成することと、
前記合成された画像を表示することと
を含む、方法。
(項目2)
前記画像スライスは、前記個別のオブジェクト認識モジュールにシーケンスでフィードされる、項目1に記載の方法。
(項目3)
個別の加重を前記オブジェクト認識モジュールのそれぞれに割り当てることをさらに含み、前記割り当てられた加重は、前記特定のオブジェクト認識モジュールによって認識されるオブジェクトのタイプの有意性に対応し、前記オブジェクト認識モジュールに割り当てられた個別の加重は、それを通して前記画像スライスがフィードされる前記オブジェクト認識モジュールの順序を決定する、項目2に記載の方法。
(項目4)
前記画像スライスは、前記第1の加重より高い第2の加重を有する第2のオブジェクト認識モジュールを通してフィードされる前に、第1の加重を有する第1のオブジェクト認識モジュールを通してフィードされる、項目3に記載の方法。
(項目5)
前記第1のオブジェクト認識モジュールによって認識される第1のオブジェクトタイプのオブジェクトおよび前記第2のオブジェクト認識モジュールによって認識される第2のタイプのオブジェクトが、前記表示される合成された画像上で重複する可能性が高いかどうかを決定することをさらに含む、項目4に記載の方法。
(項目6)
前記認識される前記第1のオブジェクトタイプのオブジェクトおよび前記認識される前記第2のオブジェクトタイプのオブジェクトが、重複する可能性が高いことが決定される場合、前記認識される前記第2のオブジェクトタイプのオブジェクトのみを表示することをさらに含む、項目5に記載の方法。
(項目7)
前記認識される前記第1のオブジェクトタイプのオブジェクトおよび前記認識される前記第2のオブジェクトタイプのオブジェクトが、重複する可能性が高いことが決定される場合、前記表示される合成された画像内で前記認識される前記第2のオブジェクトタイプのオブジェクトを前記認識される前記第1のオブジェクトタイプのオブジェクトに対して強調することをさらに含む、項目5に記載の方法。
(項目8)
前記オブジェクト認識モジュールは、前記画像スライス上で並行して適用される、項目1に記載の方法。
(項目9)
前記第1のオブジェクト認識モジュールによって認識される第1のオブジェクトタイプのオブジェクトおよび前記第2のオブジェクト認識モジュールによって認識される第2のタイプのオブジェクトが、前記表示される合成された画像上で重複する可能性が高いかどうかを決定することをさらに含む、項目8に記載の方法。
(項目10)
前記認識される前記第1のオブジェクトタイプのオブジェクトおよび前記認識される前記第2のオブジェクトタイプのオブジェクトが、重複する可能性が高いことが決定される場合、前記認識される前記第1のオブジェクトタイプのオブジェクトおよび前記認識される前記第2のオブジェクトタイプのオブジェクトのそれぞれの少なくとも一部が、増強され、前記表示される合成された画像内に含まれるように、前記認識される前記第1のオブジェクトタイプのオブジェクトと前記認識される前記第2のオブジェクトタイプのオブジェクトを融合することをさらに含む、項目9に記載の方法。
(項目11)
前記認識される前記第1のオブジェクトタイプのオブジェクトは、線形組み合わせ技法を使用して、前記認識される前記第2のオブジェクトタイプのオブジェクトと融合される、項目10に記載の方法。
(項目12)
前記認識される前記第1のオブジェクトタイプのオブジェクトは、非線形組み合わせ技法を使用して、前記認識される前記第2のオブジェクトタイプのオブジェクトと融合される、項目10に記載の方法。
(項目13)
第1のオブジェクト認識モジュールのサブセットは、第1のオブジェクトタイプのサブセットを認識するために、前記画像スライス上に連続して適用され、第2のオブジェクト認識モジュールのサブセットは、第2のオブジェクトタイプのサブセットを認識するために、前記画像スライス上に並行して適用される、項目1に記載の方法。
(項目14)
前記第1のオブジェクトタイプのサブセットは、異常乳房組織悪性腫瘍を含み、前記第2のオブジェクトタイプのサブセットは、正常乳房組織構造または所定の画像パターンを含む、項目13に記載の方法。
(項目15)
前記画像スライス内で認識される1つ以上の標的オブジェクトタイプをグラフィカルユーザインターフェース上に表示することをさらに含む、項目1-14のいずれかに記載の方法。
(項目16)
前記グラフィカルユーザインターフェースは、エンドユーザが、前記表示される合成された画像内で処理および増強されるべき1つ以上の標的オブジェクトタイプを選択するためのオプションを提供する、項目15に記載の方法。
(項目17)
前記グラフィカルユーザインターフェースは、エンドユーザが、前記合成された画像内で前記選択された標的オブジェクトタイプを表示するために、重要性の順序を入力することを可能にするためのオプションを提供する、項目16に記載の方法。
(項目18)
前記グラフィカルユーザインターフェースは、エンドユーザが、1つ以上の標的オブジェクトタイプ毎に、加重係数を入力することを可能にするためのオプションを提供し、ユーザ入力加重係数は、ユーザ選択された標的オブジェクトタイプを生成し、前記合成された画像内に表示するために考慮される、項目16に記載の方法。
(項目19)
エンドユーザが、1つ以上の標的オブジェクトタイプ毎に、加重係数を入力することを可能にするための前記オプションは、前記患者の年齢、性別、民族性、人種、または遺伝子特性のうちの1つ以上のものに応答して少なくとも部分的に基づく、項目18に記載の方法。
(項目20)
項目1-19のいずれかに記載の方法を実施するように構成される画像処理システムであって、前記システムは、オブジェクトのさらなるタイプを認識および表示するために、さらなるオブジェクト認識モジュールを前記複数に追加することを可能にするように構成される、システム。
【0008】
本開示の発明のこれらおよび他の側面および実施形態は、付随の図と併せて、以下により詳細に説明される。
【図面の簡単な説明】
【0009】
図面は、本開示の発明の実施形態の設計および有用性を図示するものであって、類似要素は、共通参照番号によって参照される。これらの図面は、必ずしも、正確な縮尺で描かれていない。前述および他の利点および目的がどのように得られたかをより理解するために、付随の図面に図示される実施形態のより具体的説明が、与えられる。これらの図面は、本開示の発明の典型的実施形態のみを描写し、したがって、その範囲を限定するものと見なされるものではない。
【0010】
【
図1】
図1は、本開示の発明の実施形態による、例示的乳房画像入手および処理システムを通したデータのフローを図示する、ブロック図である。
【0011】
【
図2】
図2は、本開示の発明の実施形態による、複数の標的オブジェクト認識/増強モジュールを利用して、画像スタック内の個別のオブジェクトを識別する、2Dシンセサイザを通したデータのフローを図示する、ブロック図である。
【0012】
【
図3】
図3は、標的オブジェクト認識/増強モジュールを画像スタック上で適用し、個別のオブジェクトを認識し、オブジェクトを2Dの合成された画像上に低減させるステップの一実施形態を図示する。
【0013】
【
図4】
図4は、単一標的オブジェクト認識/増強モジュールを画像スタック上で適用するときのデータのフローを図示する。
【0014】
【
図5】
図5は、複数の標的オブジェクト認識/増強モジュールを画像スタックで適用するときのデータのフローを図示する。
【0015】
【
図6A】
図6Aおよび6Bは、複数の標的オブジェクト合成モジュールからのデータを組み合わせる、順次組み合わせ技法を図示する。
【
図6B】
図6Aおよび6Bは、複数の標的オブジェクト合成モジュールからのデータを組み合わせる、順次組み合わせ技法を図示する。
【0016】
【
図7A】
図7Aおよび7Bは、複数の標的オブジェクト合成モジュールからのデータを組み合わせる、並行組み合わせ技法を図示する。
【
図7B】
図7Aおよび7Bは、複数の標的オブジェクト合成モジュールからのデータを組み合わせる、並行組み合わせ技法を図示する。
【0017】
【
図8A】
図8Aおよび8Bは、それぞれ、順次組み合わせおよび並行組み合わせ技法を使用して2Dの合成された画像を生成するステップの2つの例示的フロー図を図示する。
【
図8B】
図8Aおよび8Bは、それぞれ、順次組み合わせおよび並行組み合わせ技法を使用して2Dの合成された画像を生成するステップの2つの例示的フロー図を図示する。
【発明を実施するための形態】
【0018】
全ての数値は、本明細書では、明示的に示されるかどうかにかかわらず、用語「約」または「およそ」によって修飾されるものと仮定され、用語「約」および「およそ」は、概して、当業者が列挙される値と均等物である(すなわち、同一機能または結果を有する)と見なすであろう、数の範囲を指す。いくつかの事例では、用語「約」および「およそ」は、最近傍有効数字に丸められる数を含んでもよい。端点による数値範囲の列挙は、その範囲内の全数字を含む(例えば、1~5は、1、1.5、2、2.75、3、3.80、4、および5を含む)。
【0019】
本明細書および添付の請求項において使用されるように、単数形「a」、「an」、および「the」は、別様に文脈によって明確に示されない限り、複数参照も含む。本明細書および添付の請求項に使用されるように、用語「or(または)」は、概して、別様に文脈によって明確に示されない限り、「and/or(および/または)」を含む意味で採用される。付随の図において図示される本開示の発明の描写される実施形態を説明する際、具体的専門用語が、説明の明確化および容易化のために採用される。しかしながら、本特許明細書の開示は、そのように選択される具体的専門用語に限定されることを意図せず、各具体的要素は、同様に動作する全ての技術的均等物を含むことを理解されたい。さらに、異なる例証的実施形態の種々の要素および/または特徴は、本開示の範囲および添付の請求項内で可能である場合、相互に組み合わせる、および/または相互に代用され得ることを理解されたい。
【0020】
本開示の発明の種々の実施形態は、図を参照して以下に説明される。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。また、図は、実施形態の説明を促進するためだけに意図されることに留意されたい。それらは、本発明の包括的説明または本開示の発明の範囲の限定として意図されるものではなく、添付の請求項およびその均等物によってのみ定義される。加えて、本開示の発明の図示される実施形態は、示される全側面または利点を有する必要はない。例えば、本開示の発明の特定の実施形態と併せて説明される側面または利点は、必ずしも、その実施形態に限定されず、図示されない場合でも、任意の他の実施形態において実践されることができる。
【0021】
以下に定義される用語および略語に関して、これらの定義は、異なる定義が請求項または本明細書のいずれかに与えられない限り、本特許明細書および付随の請求項全体を通して適用されるものとする。
【0022】
「入手画像」は、患者の組織を可視化する際に生成された画像を指す。取得画像は、従来のマンモグラムにおけるように、患者の組織の両側に配置される放射線検出器に衝突する、放射線源からの放射線によって生成されることができる。
【0023】
「再構成画像」は、複数の取得画像から導出されたデータから生成される画像を指す。再構成画像は、複数の取得画像内に含まれない取得画像をシミュレートする。
【0024】
「合成画像」は、複数の取得および/または再構成画像から導出されたデータから生成される人工的画像を指す。合成画像は、取得および/または再構成画像からの要素(例えば、オブジェクトおよび領域)を含むが、必ずしも、可視化の間に取得され得る画像に対応しない。合成画像は、構成された分析ツールである。
【0025】
「Mp」画像は、胸部の2次元(2D)投影画像であって、フラットパネル検出器または別の撮像デバイスによって取得されるようなデジタル画像と、表示(例えば、医療従事者に)、記憶(例えば、病院のPACSシステムに)、および/または他の使用のためにそれを準備するための従来の処理後の画像との両方を包含する、従来のマンモグラムまたは造影増強マンモグラムである。
【0026】
「Tp」画像は、同様に、2次元(2D)であるが、胸部と撮像X線の原点(典型的には、X線管の焦点)との間の個別のトモシンセシス角度において取得され、取得されたままの画像と、表示、記憶、および/または他の使用のために処理された後の画像データを包含する、画像である。
【0027】
「Tr」画像は、例えば、米国特許第7,577,282号、第7,606,801号、第7,760,924号、および第8,571,289号(それらの開示は、参照することによって全体として本明細書に完全に組み込まれる)のうちの1つ以上のものに説明される様式において、トモシンセシス投影画像Tpから再構成される再構成画像のタイプ(またはサブセット)であって、Tr画像は、TpまたはMp画像を取得するために使用される角度においてのみのではなく、任意の所望の角度における、スライスの投影X線画像に現れるであろうような胸部のスライスを表す。
【0028】
「Ms」画像は、合成画像のタイプ(またはサブセット)であって、特に、頭尾方向(CC)または内外斜位方向(MLO)画像等のマンモグラフィ画像をシミュレートする、合成2D投影画像を指し、トモシンセシス投影画像Tp、トモシンセシス再構成画像Tr、またはそれらの組み合わせを使用して構成される。Ms画像は、医療従事者への表示のために、または病院または別の施設のPACSシステムにおける記憶のために提供されてもよい。Ms画像を生成するために使用され得る方法の実施例は、上記に組み込まれる米国特許第7,760,924号および第8,571,289号に説明されている。
【0029】
Tp、Tr、Ms、およびMp画像データは、表示、さらなる処理、または記憶のために、個別の画像を記述するために十分な何らかの形態における情報を包含することを理解されたい。個別のMp、Ms、Tp、およびTr画像は、典型的には、表示に先立って、デジタル形態で提供され、各画像は、画素の2次元アレイにおいて各画素の特性を識別する情報によって定義される。画素値は、典型的には、胸部内の対応するボリュームのX線に対する個別の測定、推定、または計算された応答、すなわち、組織のボクセルまたはカラムに関する。好ましい実施形態では、トモシンセシス画像(TrおよびTp)およびマンモグラフィ画像(MsおよびMp)の幾何学形状は、米国特許第7,702,142号(本開示は、参照することによって全体として本明細書に組み込まれる)に説明されるように、共通座標系に整合される。別様に規定されない限り、そのような座標系整合は、本特許明細書の続く詳細な説明において説明される実施形態に関して実装されると仮定される。
【0030】
用語「画像の生成」および「画像の伝送」とはそれぞれ、表示のための画像を説明するために十分な情報を生成および伝送することを指す。生成および伝送される情報は、典型的には、デジタル情報である。
【0031】
エンドユーザに表示される合成された2D画像(例えば、Ms画像)が、最も臨床上関連する情報を含むことを確実にするために、乳房組織内の悪性乳房塊状物、腫瘍等の3次元(3D)オブジェクトを検出および識別することが必要である。本目的を達成するために、本開示の発明の実施形態によると、3Dオブジェクトは、複数の標的オブジェクト認識/合成モジュールを使用して識別されてもよく、各標的認識/合成モジュールは、特定のタイプのオブジェクトを識別および再構成するように構成されてもよい。これらの複数の標的合成モジュールは、1つ以上の合成された2D画像を生成する再構成プロセスの間、個別のオブジェクトに関する情報を組み合わせる際、ともに協働し、各オブジェクトが正確に表されることを確実にし、臨床上有意な情報をエンドユーザに表示される2Dの合成された画像上に保存してもよい。
【0032】
図1は、合成された画像生成、オブジェクト識別、およびディスプレイ技術のそれぞれを組み込む、例示的画像生成およびディスプレイシステム100内のデータのフローを図示する。
図1は、特定の連続順序で、または並行して生じる、あるプロセスを伴う、フロー図の特定の実施形態を図示するが、請求項および本明細書に説明される種々の他の実施形態は、そのように規定されない限り、任意の特定の順序における画像処理ステップの実施に限定されないことを理解されたい。
【0033】
より具体的には、画像生成およびディスプレイシステム100は、現在利用可能なシステムのいずれかの個別の3次元および/またはトモシンセシス入手方法を使用して、患者の乳房のTp画像を生成するためのトモシンセシス画像データを入手する、画像入手システム101を含む。入手システムが、組み合わせられたトモシンセシス/マンモグラフィシステムである場合、Mp画像もまた、生成されてもよい。いくつかの専用トモシンセシスシステムまたは組み合わせられたトモシンセシス/マンモグラフィシステムは、旧来のマンモグラム画像(
図1では、破線および凡例「Mp
legacy」によって示される)を受け取り、好ましくは、DICOM準拠写真アーカイブおよび通信システム(PACS)記憶デバイスである、記憶デバイス102内に記憶するように適合されてもよい。入手に続いて、トモシンセシス投影画像Tpもまた、記憶デバイス102に伝送されてもよい(
図1に示されるように)。記憶デバイス102はさらに、エンドユーザに対して有意な3D画像パターンを識別するために使用され得る、既知の3Dオブジェクトのライブラリを記憶してもよい。他の実施形態では、別個の専用記憶デバイス(図示せず)が、3D画像パターンまたはオブジェクトを識別する、既知の3Dオブジェクトのライブラリを記憶するために使用されてもよい。
【0034】
Tp画像は、上記に組み込まれる特許および出願に開示されるように、入手システム101または記憶デバイス102のいずれかまたは両方から、Tp画像を、選択された厚さの選択された配向における、乳房スライスを表す、再構成された画像「スライス」Trに再構成する、再構成エンジン103として構成される、コンピュータシステムに伝送される。
【0035】
モードフィルタ107が、画像入手と画像ディスプレイとの間に配置される。フィルタ107は、加えて、個別の画像タイプのある側面を識別およびハイライトするように配列される、画像のタイプ(すなわち、Tp、Mp、およびTr画像)毎に、カスタマイズされたフィルタを含んでもよい。このように、各撮像モードは、具体的目的のために、最適方法において調整または構成されることができる。例えば、種々の2D画像スライスを横断してオブジェクトを認識するためにプログラムされるフィルタが、特定の高次元オブジェクトに属し得る画像パターンを検出するために、適用されてもよい。調整または構成は、画像のタイプに基づいて、自動であってもよい、または、例えば、ディスプレイに結合されるユーザインターフェースを通して、手動入力によって定義されてもよい。
図1の図示される実施形態では、モードフィルタ107は、個別の撮像モードで最良に表示される、画像の特定の特性をハイライトするように選択される、例えば、オブジェクトを識別する、塊状物または石灰化をハイライトする、3Dオブジェクトに構成され得る、ある画像パターンを識別する、または2Dの合成された画像(下記に説明される)を作成するために適合される。
図1は、1つのみのモードフィルタ107を図示するが、任意の数のモードフィルタが、乳房組織内の着目構造を識別するために利用されてもよいことを理解されたい。
【0036】
撮像およびディスプレイシステム100はさらに、1つ以上のTp、Mp、および/またはTr画像の組み合わせを使用して、2Dの合成された画像を生成するための再構成エンジン103と実質的に並行して動作する、2D画像シンセサイザ104を含む。2D画像シンセサイザ104は、入力画像(例えば、Mp、Tr、および/またはTp画像)のセットを取り込み、最も関連する特徴のセットを入力画像のそれぞれから決定し、1つ以上の合成された2D画像を出力する。合成された2D画像は、種々のスライスの有意な部分を1つの画像上に集約する、統合され、合成された画像を表す。これは、エンドユーザ(例えば、医療人員、放射線科医等)に、最も臨床上関連する画像データを効率的様式で提供し、有意なデータを有していない場合がある、他の画像上で費やされる時間を短縮する。
【0037】
合成された2D画像内でハイライトするための関連画像データのあるタイプは、1つ以上のMp、Tr、および/またはTp画像を横断して見出される、関連オブジェクトであろう。単に、2D画像スライスのそれぞれ内の着目画像パターンを査定するのではなく、着目2D画像パターンのいずれかがより大きい高次元構造に属するかどうかを決定し、該当する場合、識別された2D画像パターンをより高い次元構造に組み合わせることが有用であり得る。本アプローチは、いくつかの利点を有するが、特に、乳房組織の種々のスライス/深度を横断して高次元構造を識別することによって、エンドユーザは、乳房の種々の2Dスライス内で容易に可視ではない場合がある、潜在的に有意な構造の存在に関してより詳しく知らされ得る。
【0038】
さらに、2つの2Dスライス内の類似画像パターン(おそらく、相互に隣接する)を識別し、2Dスライスの一方または両方からの画像データをハイライトするかどうかを決定する代わりに、同一高次元構造に属するものとして画像パターンの両方を識別することは、システムが、構造の性質に関するより正確な査定を行い、その結果、有意により貴重である情報をエンドユーザに提供することを可能にし得る。また、高次元構造を識別することによって、構造は、合成された2D画像上でより正確に描写されることができる。乳房組織の種々の捕捉された2Dスライス内の高次元構造を識別するさらに別の利点は、識別されたより高い次元の構造の可能性として考えられるサイズ/範囲を識別するステップに関する。例えば、いったん構造が識別されると、高次元構造に幾分近接する、以前に顕著ではなかった画像パターンが、今度は、同一構造に属するものとして識別され得る。これは、エンドユーザに、高次元構造のサイズ/範囲が増加したことのインジケーションを提供し得る。
【0039】
この目的を達成するために、2D画像シンセサイザ104は、異なるタイプのオブジェクトを識別および再構成するように構成される、複数の標的オブジェクト認識/増強モジュール(標的オブジェクト合成モジュールとも称される)を採用する。各標的画像認識/合成モジュールは、患者の乳房組織の2D画像スライスのスタック(例えば、トモシンセシス画像スタック)上で適用(または「起動」)され、協働し、乳房組織内にあり得る、特定のタイプのオブジェクトを識別し、そのようなオブジェクトが臨床上有意な様式でエンドユーザに提示される結果として生じる2Dの合成された画像内に表されることを確実にしてもよい。例えば、第1の標的画像合成モジュールは、乳房組織内の石灰化を識別するように構成されてもよい。別の標的画像合成モジュールは、乳房組織内の有棘病変を識別および再構成するように構成されてもよい。さらに別の標的画像合成モジュールは、乳房組織内の球状塊状物を識別および再構成するように構成されてもよい。1つ以上の実施形態では、複数の標的画像合成モジュールは、画像スライスデータを処理し、個別のオブジェクトを、乳房組織内に存在する個別の高次元構造(例えば、3Dオブジェクト)を備える、高次元グリッド(例えば、3Dグリッド)内に取り込む。本高次元グリッドは、次いで、2Dの合成された画像内の種々の構造を正確に描写するために利用されてもよい。
【0040】
高次元オブジェクトは、少なくとも3以上の次元(例えば、3Dまたはより高次元のオブジェクト、3Dオブジェクトおよび時間次元等)を備える、任意のオブジェクトを指し得る。そのようなオブジェクトまたは構造の実施例は、限定ではないが、石灰化、有棘病変、良性腫瘍、不規則的塊状物、高密度オブジェクト等を含む。画像オブジェクトは、画像データ内に存在する、あるタイプの画像パターンとして画定されてもよい。オブジェクトは、3D空間内の単純丸形オブジェクトおよび2D空間内の対応する平坦丸形オブジェクトであってもよい。これは、複雑なパターンおよび複雑な形状を伴うオブジェクトであることができ、任意のサイズまたは次元であることができる。オブジェクトの概念は、局所的に境界された幾何学的オブジェクトを超えて拡張し得る。むしろ、画像オブジェクトは、任意の次元形状内に存在し得る、抽象的パターンまたは構造を指し得る。本明細書に開示される本発明は、3Dオブジェクトおよび/または構造に限定されず、より高い次元構造を含んでもよいことを理解されたい。標的画像合成モジュールはそれぞれ、個別のタイプのオブジェクトを識別および再構成するために構成されることを理解されたい。これらの「オブジェクト」は、2D形状、2D画像パターン、3Dオブジェクト、または任意の他の高次元オブジェクトを指し得るが、いずれの場合も、本明細書では、便宜上、全て「オブジェクト」または「3Dオブジェクト」と称されるであろうが、本例証的使用は、そうでなければ、請求項の範囲を限定するものとして読まれるべきではない。
【0041】
図示される実施形態では、2Dシンセサイザ104は、複数の標的オブジェクト認識/増強モジュール(例えば、110a、110b…110n)を備え、それぞれ、特定のタイプのオブジェクトを認識および増強させるために構成される。標的オブジェクト認識/増強モジュール110はそれぞれ、2D画像スタック(例えば、Tr画像スタック)上で起動され、その中の個別のオブジェクト(いずれかが存在するかどうか)を識別するように構成されてもよい。2D画像スタック内の割り当てられたオブジェクトを識別することによって、各標的オブジェクト認識/増強モジュール110は、個別のオブジェクトが、エンドユーザに提示される結果として生じる2Dの合成された画像内で保存され、正確に描写されることを確実にするように作用する。
【0042】
いくつかの実施形態では、階層式モデルが、標的オブジェクト認識/増強モジュールに割り当てられた加重または優先順位に基づいて、2Dの合成された画像内で強調または強調解除するためのオブジェクトを決定する際に利用されてもよい。他の実施形態では、下記にさらに詳細に議論されるであろうように、全てのオブジェクトは、等しく取り扱われてもよく、異なるオブジェクトは、z方向に重複が存在する場合、ともに融合されてもよい。これらの再構成技法は、臨床上有意な情報を備える、2Dの合成された画像の作成を可能にする一方、不必要または視覚的に混乱する情報を排除または低減させる。
【0043】
合成された2D画像は、ディスプレイシステム105において視認されてもよい。再構成エンジン103および2D画像シンセサイザ104は、好ましくは、高速伝送リンクを介して、ディスプレイシステム105に接続される。ディスプレイシステム105は、標準的入手ワークステーション(例えば、入手システム101)または入手システム101から物理的に遠隔の標準的(マルチディスプレイ)精査ステーション(図示せず)の一部であってもよい。いくつかの実施形態では、通信ネットワークを介して接続されるディスプレイ、例えば、パーソナルコンピュータ、または、いわゆるタブレット、スマートフォン、もしく他のハンドヘルドデバイスのディスプレイが、使用されてもよい。いずれの場合も、システムのディスプレイ105は、好ましくは、並行して、例えば、精査ワークステーションの別個の隣り合わせのモニタ内に個別のMs、Mp、Tr、および/またはTp画像を表示可能であるが、本発明は、依然として、画像間をトグルすることによって、単一ディスプレイモニタとともに実装されてもよい。
【0044】
したがって、限定ではなく、例証目的のために説明される、撮像およびディスプレイシステム100は、トモシンセシス投影画像Tp、トモシンセシス再構成画像Tr、合成されたマンモグラム画像Ms、および/またはマンモグラム(コントラストマンモグラムを含む)画像Mp、またはこれらの画像タイプの任意の1つまたは副次的組み合わせを受信し、選択的に表示することが可能である。システム100は、トモシンセシス画像Tpを画像Trに変換する(すなわち、再構成する)ためのソフトウェアと、マンモグラム画像Msを合成するためのソフトウェアと、3Dオブジェクトを分解するためのソフトウェアと、特徴マップおよびオブジェクトマップを作成するためのソフトウェアとを採用する。ソース画像内の着目オブジェクトまたは特徴は、1つ以上のアルゴリズムおよび/またはヒューリスティックとともに、オブジェクトマップの適用に基づく、2Dの合成された画像内への含有のための「最も関連する」特徴と見なされ得、アルゴリズムは、数値、加重、または閾値を、個別の領域内または特徴間の識別された/検出された着目オブジェクトおよび特徴に基づいて、個別のソース画像のピクセルまたは領域に割り当てる。着目オブジェクトおよび特徴は、例えば、有棘病変、石灰化、および同等物を含んでもよい。
【0045】
図2は、2D画像シンセサイザ104をさらに詳細に図示する。上記に議論されるように、トモシンセシスデータセット(または「スタック」)202(例えば、患者の乳房組織のフィルタ処理および/またはフィルタ未処理Mp、Tr、および/またはTp画像)の種々の画像スライス218が、2D画像シンセサイザ104に入力され、これは、次いで、処理され、ディスプレイ105上に表示されるであろう合成された2D画像内でハイライトするための画像の部分を決定する。画像スライス218は、患者の乳房組織の連続して捕捉された断面であってもよい。または、画像スライス218は、既知の間隔で捕捉された患者の乳房組織の断面画像であってもよい。画像スライス218を備える、トモシンセシス画像スタック202は、2D画像シンセサイザ104に転送されてもよく、これは、(1)1つ以上の2Dの合成された画像内への可能性として考えられる含有のために、種々のタイプのオブジェクト(Tr)を識別すること、および/または(2)識別されたオブジェクトを含有する画像内の個別のピクセル領域を識別することのために、ソース画像のそれぞれを評価する。
【0046】
図示される実施形態に示されるように、トモシンセシススタック202は、患者の乳房組織の種々の深度/断面で撮影された複数の画像218を備える。トモシンセシススタック202内の画像218のいくつかは、2D画像パターンを備える。したがって、トモシンセシススタック202は、スタックの画像内に種々の画像パターンを含有する、多数の入力画像を備える。
【0047】
より具体的には、
図2に示されるように、3つの標的オブジェクト認識/増強モジュール210a、210b、および210cが、トモシンセシススタック202上で起動されるように構成され、標的オブジェクト認識および増強モジュール210はそれぞれ、特定のオブジェクトと、トモシンセシススタック202によって描写される乳房組織内に存在し得る他のオブジェクトの中からその特定のオブジェクトを識別する方法とを画定する、プログラム/ルールおよびパラメータの個別のセットに対応する。例えば、フィルタ処理/画像認識技法および種々のアルゴリズム/ヒューリスティックが、特定の標的オブジェクト認識/増強モジュール210に割り当てられたオブジェクトを識別するために、トモシンセシススタック202上で起動されてもよい。画像操作/フィルタ処理技法の組み合わせを使用してオブジェクトを認識するために、多くの方法が存在することを理解されたい。
【0048】
例証目的のために、標的オブジェクト認識/増強モジュール210はそれぞれ、少なくとも1つの個別のオブジェクトを識別すると仮定されるであろうが、多くの場合、いずれのオブジェクトも識別されないであろうことを理解されたい。しかしながら、健康な乳房組織さえ、1つ以上の疑わしいオブジェクトまたは構造を有し得、標的オブジェクト認識/増強モジュールは、乳房背景オブジェクトを不注意に識別し得る。例えば、全ての乳房線形組織および密度組織構造は、乳房背景オブジェクトとして表示され得る。他の実施形態では、球状形状、卵形形状等の「健康な」オブジェクトは、単に、標的オブジェクト認識/増強モジュール210のうちの1つ以上のものによって識別され得る。識別された3Dオブジェクトは、次いで、2Dの合成された画像206上に表示されてもよい。当然ながら、下記にさらに詳細に議論されるであろうように、全ての識別された2Dオブジェクトから、より臨床上有意なオブジェクトが、個別のオブジェクトを2Dの合成された画像上に表示するとき、優先/増強されてもよい。
【0049】
図示される実施形態では、第1の標的オブジェクト認識/増強モジュール210aは、トモシンセシススタック202の画像218(例えば、Tr、Tp、Mp等)内の円形および/または球状形状を認識するように構成される。第2の標的オブジェクト合成モジュール210bは、分葉形状を認識するように構成される。第3の標的オブジェクト合成モジュール210cは、石灰化パターンを認識するように構成される。特に、標的オブジェクト合成モジュール210a、210b、および210cはそれぞれ、Tr画像スタック202上で起動され、特徴/オブジェクトのセットが、個別の標的オブジェクト合成モジュールによって認識される。
【0050】
例えば、標的オブジェクト認識/増強モジュール210aは、1つ以上の円形形状を認識し、これらを「認識されたオブジェクト」220aとして記憶してもよい。スタック202の複数の画像スライス218は、円形形状を含有し得、これらの形状は、同一球状オブジェクトと関連付けられ得る、または異なる球状オブジェクトに属し得ることを理解されたい。図示される実施形態では、少なくとも2つの明確に異なる円形オブジェクトは、標的オブジェクト認識/増強モジュール210aによって認識される。
【0051】
同様に、標的オブジェクト認識/増強モジュール210bは、1つ以上の分葉形状を認識し、これらを認識されたオブジェクト220bとして記憶してもよい。図示される実施形態では、1つの分葉オブジェクトが、トモシンセシススタック202内で標的オブジェクト認識/増強モジュール210bによって認識されている。図から分かるように、トモシンセシススタック202内の2つの異なる画像スライス218は、分葉オブジェクトの一部を描写するが、個別の部分は、認識/増強モジュール210bによって単一分葉オブジェクトに属するものとして認識され、単一の認識されたオブジェクト220bとして記憶される。
【0052】
最後に、標的オブジェクト認識/増強モジュール210cは、1つ以上の石灰化形状を認識し、これらを認識されたオブジェクト220cとして記憶してもよい。図示される実施形態では、(単一)石灰化クラスタが、標的オブジェクト認識/増強モジュール210cによって認識され、認識されたオブジェクト220cとして記憶されている。認識されたオブジェクト220a、220b、および220cは、個別の標的オブジェクト認識/増強モジュール210a、210b、および210cに対応する、記憶設備に、または代替として、標的オブジェクト認識/増強モジュールのそれぞれによってアクセスされ得る、別個の(すなわち、単一)記憶設備に、記憶されてもよい。
【0053】
ここで
図3を参照すると、標的オブジェクト認識/増強モジュール210はそれぞれ、1つ以上の2Dの合成された画像上に表示されるための個別の3Dオブジェクトを識別および合成する(例えば、2Dに低減させるため)ように構成されてもよい。言い換えると、いったん3Dオブジェクトが、個別の標的オブジェクト認識/増強モジュール210a、210b、または210cによって認識されると、標的オブジェクト認識/増強モジュールは、その後、認識されたオブジェクトが2Dの合成された画像上に表示され得るように、認識された3Dオブジェクトを2Dフォーマットに変換する。図示される実施形態では、標的オブジェクト認識/増強モジュール210a、21b、および210cは、個別のオブジェクトを認識し、認識されたオブジェクトを個別の2Dフォーマットに変換する。変換プロセスの一部として、認識されたオブジェクトのあるものは、下記にさらに詳細に議論されるであろうように、表示される画像に関して、より大きな程度またはより小さい程度まで増強されてもよい。全3つの標的オブジェクト認識/増強モジュール210a、210b、および210cが、2D画像シンセサイザ104に等しく重要であると見なされると仮定すると、全ての認識されたオブジェクト(例えば、2つの球状オブジェクト、1つの分葉オブジェクト、および1つの石灰化塊状物)の個別の2Dフォーマットが、2Dの合成された画像302上に描写される。
【0054】
図4は、単一の標的オブジェクト認識/増強モジュール210が、トモシンセシススタック上で起動され、2Dの合成された画像の一部を生成し得る方法を図示する。図示される実施形態では、画像スライス402は、単一の標的オブジェクト認識/増強モジュール404を通してフィードされ、これは、画像402のスタック内の星形オブジェクトを認識するように構成される。その結果、単一の標的オブジェクト合成モジュールは、画像スライスの種々の深度から得られた認識される星形に関する情報を単一の2Dの合成された画像406に低減させる。
【0055】
図5は、複数の標的オブジェクト認識/増強モジュールを協働させ、2Dの合成された画像を生産するための例示的実施形態を図示する。図示される実施形態では、(個別のスタックの)画像スライス502が、円形および/または球状形状を認識および再構成するように構成される、第1の標的オブジェクト認識/増強モジュール504aと、星形形状を認識および再構成するように構成される、第2の標的オブジェクト認識/増強モジュール504bと、石灰化構造を認識および再構成するように構成される、第3の標的オブジェクト認識/増強モジュール504cとを通してフィードされる。任意の数の標的オブジェクト認識/増強モジュールが、任意の数のオブジェクトタイプのためにプログラムされてもよいことを理解されたい。
【0056】
標的オブジェクト認識/増強モジュール504a、504b、および504cはそれぞれ、これらのプログラムが、個別のオブジェクトを正常に認識し、認識されたオブジェクトを2Dフォーマットに低減させることを可能にする、種々の所定のルールおよび属性で構成される、個別のアルゴリズムに対応する。全3つの標的オブジェクト認識/合成モジュール504a、504b、および504cを画像スライス502に適用することによって、2Dの合成された画像506が、生成される。特に、単に、単一のタイプのオブジェクトを表示するのではなく、2Dの合成された画像506は、3つの標的オブジェクト認識/増強モジュール504a、504b、および504cによって認識および合成される、全3つのオブジェクトタイプを備え、認識されたオブジェクトはそれぞれ、等しく強調される。これは、全てのオブジェクトタイプが、等しい有意性である場合、望ましくあり得るが、その加重/優先順位に基づいて、異なるオブジェクトタイプを可変程度まで増強させる/強調することが有用であり得る。本技法は、エンドユーザに、潜在的に重要なオブジェクトをアラートする一方、より低い重要性のオブジェクトを強調解除する際、より効果的であり得る。
【0057】
ここで
図6Aを参照すると、複数の標的オブジェクト認識/増強モジュールからのデータを組み合わせるための階層式順次アプローチが、図示される。特に、順次組み合わせ技法は、種々のオブジェクトタイプが、それらと関連付けられた明確に画定された階層を有する場合、適用されてもよい。例えば、あるタイプのオブジェクト(例えば、有棘病変)は、別のタイプのオブジェクト(例えば、乳房組織内の球状塊状物)より臨床上有意であると見なされ得る。本タイプのオブジェクト(および対応する標的オブジェクトモジュール)は、特定の高加重/優先順位を割り当てられてもよい。そのような場合では、2つのオブジェクトが、2Dの合成された画像上で空間に関して競合している場合、より高い優先順位と関連付けられたオブジェクトタイプは、2Dの合成された画像上で強調/表示され得、他のオブジェクトタイプは、強調解除される、または全く表示されなくてもよい。同様に、そのようなアプローチでは、標的オブジェクト認識/増強モジュールはそれぞれ、個別の有意性に基づいて、個別の加重を割り当てられてもよい。
【0058】
図示される実施形態では、画像スライス602は、3つの異なる標的オブジェクト認識/増強モジュール(604、606、および608)を通して連続してフィードされ、2Dの合成された画像610を生成し、標的オブジェクト合成モジュールはそれぞれ、特定のタイプのオブジェクトを認識および再構成するように構成される。第1の標的オブジェクト認識/増強モジュール604(正方形形状のオブジェクトと関連付けられる)が、最初に、再構成画像スライス602上で起動された後、第2の標的オブジェクト認識/増強モジュール606(菱形形状のオブジェクトと関連付けられる)が続き、次いで、第3の標的オブジェクト認識/増強モジュール608(円形形状のオブジェクトと関連付けられる)が続く。標的オブジェクト認識/増強モジュールは、連続して適用(または「起動」)されるため、第2の標的オブジェクト認識/増強モジュール606は、第1の標的オブジェクト認識/増強モジュール604と比較して、より高い優先順位オブジェクトと見なされ得、第3の標的オブジェクト認識/増強モジュール608は、第2の標的オブジェクト認識/増強モジュール606と比較して、より高い優先順位を有すると見なされ得ることを理解されたい。したがって、第3のオブジェクトタイプは、第2のオブジェクトタイプより優先(または強調)され得、第2のオブジェクトタイプは、第1のオブジェクトタイプより優先(または強調)され得る。
【0059】
図6Bは、種々のオブジェクトタイプを連続して組み合わせるための本階層式アプローチを図示する。特に、トモシンセシス画像スタック652は、種々の画像スライス内で認識され得る、オブジェクト656、658、および660を含む。図示されるように、オブジェクト658および660は、幾分、z方向に重複し、これは、それらが、2Dの合成された画像654内における表現のために競合する可能性が高いことを意味する。
図6Aの順次アプローチを使用して、複数の標的オブジェクト認識/増強モジュール604、606、および608からのデータを組み合わせるとき、プログラムされた階層は、保存される。したがって、円形形状のオブジェクトを認識および再構成するように構成される、標的オブジェクト認識/増強モジュール608は、正方形形状のオブジェクトを認識および再構成するように構成される、標的オブジェクト認識/増強モジュール604と比較して、より高い優先順位を有するため、2つのオブジェクト間の重複の場合(
図6Bにおける場合のように)、円形形状のオブジェクト658は、2Dの合成された画像654内で正方形形状のオブジェクト660に優先する。当然ながら、菱形形状のオブジェクト656は、他の2つのオブジェクトとz方向に重複しないため、菱形形状のオブジェクト656もまた、2Dの合成された画像654に表示されることを理解されたい。他の実施形態では、より低優先順位のオブジェクトに完全に優先させる代わりに、高優先順位を伴うオブジェクトは、より低優先順位オブジェクトに対して強調されてもよい(ディスプレイから省略されるのではなく)。
【0060】
複数の標的オブジェクト合成モジュールを画像スライスのセット上で起動する別のアプローチは、
図7Aに図示される。図から分かるように、最後に起動された標的オブジェクト合成モジュールが最高優先順位を有する、複数の標的オブジェクト認識/増強モジュールを連続して起動するのではなく、全ての標的オブジェクト認識/増強モジュールが、並行して適用されてもよい。特に、1つ以上の増強または融合モジュール712は、種々のオブジェクトが2Dの合成された画像上で適切に組み合わせられることを確実にするために利用されてもよい。本アプローチは、階層式アプローチに従わなくてもよく、オブジェクトは全て、等しい加重を与えられてもよい。
【0061】
画像スライス702は、3つの異なる標的オブジェクト認識/増強モジュール、704、706、および708を通して、並行してフィードされる。第1の標的オブジェクト認識/増強モジュール604(正方形形状のオブジェクトと関連付けられる)、第2の標的オブジェクト認識/増強モジュール606(菱形形状のオブジェクトと関連付けられる)、および第3の標的オブジェクト認識/増強モジュール608(円形形状のオブジェクトと関連付けられる)は全て、画像スライス702上で並行して起動される。いくつかの実施形態では、増強および融合モジュール712は、複数のオブジェクト間の重複の場合、異なるオブジェクトがともに適切に融合されることを確実にするために利用されてもよい。並行して起動される、標的オブジェクト認識/増強モジュール704、706、および708は、2Dの合成された画像710を生成してもよい。
【0062】
種々のオブジェクトタイプを並行して組み合わせる本アプローチは、
図7Bに図示される。特に、トモシンセシススタック752は、種々の画像スライスにおける
図6Bと同一オブジェクト(例えば、オブジェクト756、758、および760)を描写する。図示されるように、オブジェクト758および760は、幾分、z方向に重複し、これは、それらが、2Dの合成された画像754内での表現および/または重複のために競合する可能性が高いことを意味する。ここでは、複数の標的オブジェクト認識/増強モジュールが、1つのオブジェクトタイプが、
図6Bにおける場合のように、別のオブジェクトタイプに優先するのではなく、並行して起動されるため、正方形オブジェクト760および円形オブジェクト758は両方とも、2Dの合成された画像754内でともに融合される。したがって、本アプローチは、オブジェクト間の本来の優先順位/階層を仮定せず、全てのオブジェクトは、2Dの合成された画像754内でともに適切に融合されてもよい。
【0063】
図8Aは、
図6Aおよび6Bと併せて上記で概略された順次組み合わせアプローチに従って行われる画像マージプロセスにおいて実施され得る例示的ステップを図示する、フロー
図800を描写する。ステップ802では、画像データセットが、入手される。画像データセットは、トモシンセシス入手システム、組み合わせトモシンセシス/マンモグラフィシステムによって、または画像ディスプレイデバイスに対してローカルまたは遠隔で位置するかどうかにかかわらず、記憶デバイスから既存の画像データを読み出すことによって、入手されてもよい。ステップ804および806では、2D画像の範囲(例えば、Trスタック)に関して、第1の標的オブジェクト認識/増強モジュールが、第1の標的オブジェクト認識/増強モジュールと関連付けられた第1のオブジェクトを認識するために起動される。任意の認識されたオブジェクトは、第1の標的オブジェクト認識/増強モジュールと関連付けられた記憶モジュール内に記憶されてもよい。ステップ808では、第2の標的オブジェクト認識/増強モジュールが、第2の標的オブジェクト認識/増強モジュールと関連付けられた第2のオブジェクトを認識するために起動される。ステップ810では、第1の認識されたオブジェクトおよび第2の認識されたオブジェクトが相互にz方向に重複するかどうか決定されてもよい。2つのオブジェクトが重複することが決定される場合、第2のオブジェクトのみが、ステップ812において、2Dの合成された画像上に表示(または別様に第1のオブジェクトより強調)されてもよい。一方、2つのオブジェクトが重複しないことが決定される場合、両オブジェクトが、ステップ814において、2Dの合成された画像上に表示される。
【0064】
図8Bは、
図7Aおよび7Bと併せて上記に概略された並行組み合わせアプローチに従って行われる画像合成プロセスにおいて実施され得る例示的ステップを図示する、フロー
図850を描写する。ステップ852では、画像データセットが、入手される。画像データセットは、トモシンセシス入手システム、組み合わせトモシンセシス/マンモグラフィシステムによって、または画像ディスプレイデバイスに対してローカルまたは遠隔で位置するかどうかにかかわらず、記憶デバイスから既存の画像データを読み出すことによって、入手されてもよい。ステップ854および856では、2D画像の範囲(例えば、Trスタック)に関して、全てのプログラムされた標的オブジェクト認識/増強モジュールが、Tr画像スタック内の個別のオブジェクトを認識するために起動される。ステップ858では、1つ以上の増強モジュールはまた、融合プロセスが生じる必要があるかどうかを決定するために起動されてもよい。ステップ860では、任意の認識されたオブジェクトがz方向に重複するかどうか決定されてもよい。任意の2つ(以上の)オブジェクトが重複することが決定される場合、重複するオブジェクトは、ステップ862において、ともに融合されてもよい。一方、オブジェクトが重複しないことが決定される場合、全てのオブジェクトは、ステップ814において、2Dの合成された画像上にそのまま表示される。
【0065】
例示的実施形態が説明されたが、前述され、付随の図に描写される実施例は、例証にすぎず、他の実施形態および実施例もまた、添付の請求項の範囲内に包含されることを理解されたい。例えば、付随の図に提供される流れ図は、例示的ステップの例証であるが、全体的画像マージプロセスは、当技術分野において公知の他のデータマージ方法を使用して、種々の様式で達成されてもよい。システムブロック図も同様に、機能的境界を図示する、代表にすぎず、本開示の発明の要件の限定として見なされるものではない。また、種々の変更および修正が、以下の請求項およびその均等物によってのみ定義されるものとする、本開示の発明の範囲から逸脱することなく、描写および/または説明される実施形態(例えば、種々の部品の次元)に行われてもよいことが、当業者に理解されるであろう。故に、明細書および図面は、制限的意味ではなく、例証として見なされるものとする。