特開2024-18977媒体に関連付けられた超音波画像データと媒体に関連付けられた他の画像データを関連付けする方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018977
(43)【公開日】2024-02-08
(54)【発明の名称】媒体に関連付けられた超音波画像データと媒体に関連付けられた他の画像データを関連付けする方法及びシステム
(51)【国際特許分類】
A61B 8/14 20060101AFI20240201BHJP
A61B 5/055 20060101ALI20240201BHJP
A61B 6/00 20240101ALI20240201BHJP
A61B 6/46 20240101ALI20240201BHJP
【ＦＩ】
A61B8/14
A61B5/055 380
A61B5/055 390
A61B6/00 350Z
A61B6/03 360Z
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023097844
(22)【出願日】2023-06-14
(31)【優先権主張番号】22315173
(32)【優先日】2022-07-27
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】508291928
【氏名又は名称】スーパー ソニック イマジン
【氏名又は名称原語表記】ＳＵＰＥＲ ＳＯＮＩＣ ＩＭＡＧＩＮＥ
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】フラスキーニ，クリストフ
(72)【発明者】
【氏名】ジャン，ボゥ
【テーマコード（参考）】
4C093
4C096
4C601
【Ｆターム（参考）】
4C093AA01
4C093AA11
4C093AA22
4C093DA06
4C093FF11
4C093FF37
4C096AA18
4C096AC04
4C096AD14
4C096AD24
4C096DC14
4C096DC21
4C096DC33
4C601BB03
4C601DD08
4C601DD18
4C601DD19
4C601DD23
4C601JB34
4C601JC06
4C601LL33
(57)【要約】
【課題】本開示は、媒体に関連する超音波画像データを媒体に関連する他の画像データと関連付けさせる方法に関する。
【解決手段】この方法は、超音波データに基づいて媒体の変形能特性を推定するステップと、前記変形能特性に基づいて、超音波画像データと他の画像データを関連付けするステップとを含む。
【選択図】図１
【解決手段】この方法は、超音波データに基づいて媒体の変形能特性を推定するステップと、前記変形能特性に基づいて、超音波画像データと他の画像データを関連付けするステップとを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
媒体に関連する超音波画像データを媒体に関連する他の画像データと関連付けする方法（１００）であって、
前記方法は、
前記超音波データに基づいて媒体の変形能特性を推定すること（１１０）と、
前記変形能特性に基づいて前記超音波画像データと他の画像データとを関連付けすること（１２０）と、
を含む方法。
前記方法は、
前記超音波データに基づいて媒体の変形能特性を推定すること（１１０）と、
前記変形能特性に基づいて前記超音波画像データと他の画像データとを関連付けすること（１２０）と、
を含む方法。
【請求項2】
前記他の画像データは、
超音波画像ソースとは別のソースから発信された画像データと、
Ｘ線画像データと、
マンモグラフィ及び／又はトモシンセシス及び／又はトモグラフィ画像データと、
磁気共鳴（ＭＲ）画像データと、
光学撮像デバイスから発信された画像データと、
その他の超音波画像データと、
のうちの少なくとも１つを含む、
請求項１に記載の方法。
超音波画像ソースとは別のソースから発信された画像データと、
Ｘ線画像データと、
マンモグラフィ及び／又はトモシンセシス及び／又はトモグラフィ画像データと、
磁気共鳴（ＭＲ）画像データと、
光学撮像デバイスから発信された画像データと、
その他の超音波画像データと、
のうちの少なくとも１つを含む、
請求項１に記載の方法。
【請求項3】
前記超音波データは３Ｄ超音波画像データを含み、及び／又は
前記超音波データは、
せん断波弾性（ＳＷＥ）データと、
非線形せん断波弾性（ＮＬ－ＳＷＥ）データと、
Ｂモードデータと、
のうちの少なくとも１つを含む、
請求項１又は２に記載の方法。
前記超音波データは、
せん断波弾性（ＳＷＥ）データと、
非線形せん断波弾性（ＮＬ－ＳＷＥ）データと、
Ｂモードデータと、
のうちの少なくとも１つを含む、
請求項１又は２に記載の方法。
【請求項4】
前記他の画像データに関連付けられた媒体は、超音波画像データに関連付けられた媒体と比較して、異なる変形状態にある、
請求項１～３のいずれかに記載の方法。
請求項１～３のいずれかに記載の方法。
【請求項5】
前記超音波画像データと前記他の画像データとを関連付けすること（１２０）は、
前記超音波画像データと第三の画像データを関連付けすることと、
前記他の画像データと前記第三の画像データを関連付けすることと、
を含む、
請求項１～４のいずれかに記載の方法。
前記超音波画像データと第三の画像データを関連付けすることと、
前記他の画像データと前記第三の画像データを関連付けすることと、
を含む、
請求項１～４のいずれかに記載の方法。
【請求項6】
前記媒体はヒトの乳房組織を含む、
請求項１～５のいずれかに記載の方法。
請求項１～５のいずれかに記載の方法。
【請求項7】
前記変形能特性を推定すること（１１０）は、
前記媒体の弾性特性と、
前記媒体の非線形弾性特性と、
前記媒体の剛性特性と、
前記媒体の幾何学的特性と、
前記媒体の構造特性及び／又は粒度特性と、
前記媒体の密度特性と、
前記媒体の吸収特性と、
のうちの少なくとも１つを推定することを含む、
請求項１～６のいずれかに記載の方法。
前記媒体の弾性特性と、
前記媒体の非線形弾性特性と、
前記媒体の剛性特性と、
前記媒体の幾何学的特性と、
前記媒体の構造特性及び／又は粒度特性と、
前記媒体の密度特性と、
前記媒体の吸収特性と、
のうちの少なくとも１つを推定することを含む、
請求項１～６のいずれかに記載の方法。
【請求項8】
前記変形能特性は、
有限要素モデリングと、
境界を用いた有限要素モデリングと、
アクティブキューブを用いたモデリングと、
境界要素モデリングと、
予め定義された登録方法と、
のうちの少なくとも１つに基づいて推定される、
請求項１～７のいずれかに記載の方法。
有限要素モデリングと、
境界を用いた有限要素モデリングと、
アクティブキューブを用いたモデリングと、
境界要素モデリングと、
予め定義された登録方法と、
のうちの少なくとも１つに基づいて推定される、
請求項１～７のいずれかに記載の方法。
【請求項9】
前記超音波画像データと前記他の画像データとを関連付けすること（１２０）は、
シミュレーションされた変形媒体が他の画像データに関連付けられた媒体の変形状態と一致するように、変形能特性に基づいて変形媒体をシミュレーションすることを含む、
請求項１～８のいずれかに記載の方法。
シミュレーションされた変形媒体が他の画像データに関連付けられた媒体の変形状態と一致するように、変形能特性に基づいて変形媒体をシミュレーションすることを含む、
請求項１～８のいずれかに記載の方法。
【請求項10】
変形媒体をシミュレーションすることは、さらに他の画像データに基づいており、及び／又は、
変形媒体をシミュレーションすることは、制御ループにおいて他の画像データを用いる、
請求項１～９のいずれかに記載の方法。
変形媒体をシミュレーションすることは、制御ループにおいて他の画像データを用いる、
請求項１～９のいずれかに記載の方法。
【請求項11】
前記超音波画像データと前記他の画像データとを関連付けすること（１２０）は、
前記媒体の第一の部分に関連する超音波画像データの第一の部分集合を決定することと、
前記媒体の第二の部分に関連する他の画像データの第二の部分集合を決定することと、
オプションでシミュレーションされた変形媒体に基づき、第二の部分集合を第一の部分集合に関連付けすることと、
を含む、
請求項１～１０のいずれかに記載の方法。
前記媒体の第一の部分に関連する超音波画像データの第一の部分集合を決定することと、
前記媒体の第二の部分に関連する他の画像データの第二の部分集合を決定することと、
オプションでシミュレーションされた変形媒体に基づき、第二の部分集合を第一の部分集合に関連付けすることと、
を含む、
請求項１～１０のいずれかに記載の方法。
【請求項12】
前記媒体の第一の部分は、
前記媒体の弾性特性と、
前記媒体の非線形弾性特性と、
予め定義されたコンピュータ実装のアルゴリズムを用いる画像セグメンテーション及び／又は分類方法と、
のうちの少なくとも１つに基づいて周囲の媒体から区別される、
請求項１１に記載の方法。
前記媒体の弾性特性と、
前記媒体の非線形弾性特性と、
予め定義されたコンピュータ実装のアルゴリズムを用いる画像セグメンテーション及び／又は分類方法と、
のうちの少なくとも１つに基づいて周囲の媒体から区別される、
請求項１１に記載の方法。
【請求項13】
前記媒体の第二の部分は、予め定義されたコンピュータ実装アルゴリズムを用いる画像分割及び／又は分類方法に基づいて、周囲の媒体から区別される、
請求項１１又は１２に記載の方法。
請求項１１又は１２に記載の方法。
【請求項14】
前記方法はさらに、
前記変形能特性の信頼度を決定することと、
前記超音波画像データと前記他の画像データとの関連付け信頼度を決定すること（１３０）とを含み、
前記関連付け信頼度を決定することは、
変形能特性と、
変形能特性の信頼度と、
のうちの少なくとも１つに基づいている、
請求項１～１３のいずれかに記載の方法。
前記変形能特性の信頼度を決定することと、
前記超音波画像データと前記他の画像データとの関連付け信頼度を決定すること（１３０）とを含み、
前記関連付け信頼度を決定することは、
変形能特性と、
変形能特性の信頼度と、
のうちの少なくとも１つに基づいている、
請求項１～１３のいずれかに記載の方法。
【請求項15】
前記方法は、
第一の部分と第二の部分の空間的距離と、
シミュレーションされた変形媒体中の第一の部分と第二の部分との空間的距離と、
第一の部分と第二の部分との間の空間的な重なりと、
シミュレーションされた変形媒質中の第一の部分と第二の部分との空間的な重なりと、
第一の部分及び／又は第二の部分の輪郭と、
シミュレーションされた変形媒体中の第一の部分及び／又は第二の部分の輪郭と、
前記変形能特性と、
前記変形能特性の信頼度と、
のうちの少なくとも１つに基づいて、前記第二の部分集合を前記第一の部分集合に関連付けする関連付け信頼度を決定することをさらに含む、
請求項１４に記載の方法。
第一の部分と第二の部分の空間的距離と、
シミュレーションされた変形媒体中の第一の部分と第二の部分との空間的距離と、
第一の部分と第二の部分との間の空間的な重なりと、
シミュレーションされた変形媒質中の第一の部分と第二の部分との空間的な重なりと、
第一の部分及び／又は第二の部分の輪郭と、
シミュレーションされた変形媒体中の第一の部分及び／又は第二の部分の輪郭と、
前記変形能特性と、
前記変形能特性の信頼度と、
のうちの少なくとも１つに基づいて、前記第二の部分集合を前記第一の部分集合に関連付けする関連付け信頼度を決定することをさらに含む、
請求項１４に記載の方法。
【請求項16】
前記超音波画像データと前記他の画像データとを関連付けする関連付け信頼度を決定することは、前記第二の部分集合と前記第一の部分集合とを関連付けする関連付け信頼度を決定することに基づいている、
請求項１５に記載の方法。
請求項１５に記載の方法。
【請求項17】
変形媒体をシミュレーションする動作と、及び／又は
第一の部分集合を決定することと、及び／又は
第二の部分集合を決定することと、及び／又は
第二の部分集合と第一の部分集合との関連付けることと、及び／又は
超音波画像データと他の画像データとの関連付け信頼度を決定することと、及び／又は
第二の部分集合と第一の部分集合との関連付け信頼度を決定することは、
コンピュータに実装されたアルゴリズムを用いて実行される。
請求項９～１６のいずれかに記載の方法。
第一の部分集合を決定することと、及び／又は
第二の部分集合を決定することと、及び／又は
第二の部分集合と第一の部分集合との関連付けることと、及び／又は
超音波画像データと他の画像データとの関連付け信頼度を決定することと、及び／又は
第二の部分集合と第一の部分集合との関連付け信頼度を決定することは、
コンピュータに実装されたアルゴリズムを用いて実行される。
請求項９～１６のいずれかに記載の方法。
【請求項18】
データ処理システムによって実行されると、前記データ処理システムに請求項１～１７のいずれかに記載の方法を実行させる、コンピュータ読み取り可能な命令を含むコンピュータプログラム。
【請求項19】
媒体に関連付けられた超音波画像データを、媒体に関連付けられた他の画像データと関連付けさせるシステムであって、
前記システムは、
超音波データに基づいて媒体の変形能特性を推定し、前記変形能特性に基づいて、超音波画像データと他の画像データを関連付けするように構成された処理ユニットを備える、
システム。
前記システムは、
超音波データに基づいて媒体の変形能特性を推定し、前記変形能特性に基づいて、超音波画像データと他の画像データを関連付けするように構成された処理ユニットを備える、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、媒体に関連する超音波画像データと、媒体に関連する他の画像データとを関連付けする方法及びシステム、特に医療用画像処理に関する。特に、この方法は媒体の信号データを処理することに適している。
【背景技術】
【0002】
例えば、医療用画像処理、レーダ、ソナー、地震学、無線通信、電波天文学、音響学、生物医学などの分野において、通信、撮像（イメージング（画像化））、スキャンなどの目的で、複数のトランスデューサ素子及びトランシーバ（例えばアレイ状に配置されたもの）を用いることは知られている。一例として、超音波イメージング（画像化）がある。
【0003】
超音波イメージングの目的は、媒質の反射率を推定することである。従来の超音波イメージング法では、一組の超音波トランスデューサ素子を備えた超音波トランスデューサ装置（超音波プローブとも呼ばれる）が使用されることがある。この方法では、１つ又は複数のトランスデューサを使用して、送信動作に対応する１つ又は連続する複数の超音波ビームを媒体に送信する。次に、受信動作において、一組の後方散乱エコー信号が、一組のトランスデューサ素子によって媒体から受信される。特に、各トランスデューサ素子は、受信したエコー信号を例えば電気信号に変換する。信号はさらに、超音波システム及び／又はプローブによって処理されることがある。例えば、増幅、フィルターによるデジタル化、及び／又は信号調整動作が行われる。トランスデューサ素子は、トランスデューサーアレイとして配置することができる。
【0004】
超音波イメージング以外のイメージング方法として、例えば光学イメージングやＸ線イメージングを用いた方法がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】欧州特許出願公開第３７７１９２７号公報
【特許文献2】フランス国特許出願公開第３１０４７３６号公報（フランス国特許出願第２０１９００１４４３２号）
【特許文献3】米国特許出願第１６／９４１８６５号明細書
【特許文献4】国際公開第２０１７／２０５３８６号
【特許文献5】国際公開第２０１９／０３５０６４号
【発明の概要】
【発明が解決しようとする課題】
【0006】
現在、媒体に関連する超音波画像データを、媒体に関連する他の画像データと関連付けさせる方法及びシステムを提供することが依然として望まれており、この方法は、有利なことに、信頼度が高く、堅牢である。
【0007】
このような方法は、例えば乳房検診に利用できる：マンモグラフィ又はトモシンセシスによる検診では、早期がんや微小石灰化を発見することができ、死亡率が３０％以上減少することが証明されている。しかし、密度が高い乳房では有効性が低下し、生検のような介入手技の際には必ずしも適さない。
【0008】
マンモグラフィ又はトモシンセシスで潜在的リスクのある病変が同定された場合、患者は通常、診断のために超音波検査を受ける。マンモグラフィ検査やトモシンセシス検査では、乳房が２枚のプラークに挟まれるため、乳房が圧迫される、超音波検査中、乳房は物理的に拘束されることはないが、超音波検査を行う人が、超音波で観察された病変が実際に確認された病変であることを確認するのは難しいかもしれない。マンモグラフィの撮影時、及び／又はトモシンセシスの撮影時、及び／又は断層撮影のときに乳房と病変の両方が変形する。その結果、マンモグラフィ／トモシンセシスで確認された病変の位置を超音波検査で予測することが困難な場合がある。さらに、病変の形も異なることがある。
【課題を解決するための手段】
【0009】
そこで、媒体に関連付けられた超音波画像データを、媒体に関連付けられた他の画像データと関連付けさせる方法が提供される、前記方法は、超音波データに基づいて媒体の変形能特性を推定することと、前記変形能特性に基づいて、超音波画像データと他の画像データを関連付けすることとを含む。
【0010】
本開示において、「～に関連する」及び「～に代表される」という用語は、異なる表記がない限り、同義に使用される場合がある。
【0011】
本開示は、例えば、マンモグラフィ又はトモシンセシスなどに基づいて媒体中で同定された病変を、超音波画像診断に基づいて同定された媒体中の病変と関連付けることを可能にする。例えば関連付けすることは、本開示のシステムによって定義されてもよく、及び／又は例えば自動化されてもよい。
【0012】
本開示は、例えば、オプションではある信頼度で、マンモグラフィ及び／又はトモシンセシスのデータに基づいて検出され識別された病変が超音波データに基づいて検索され得ることを保証することができるように、増大した関連付け効力を提供することができる。超音波画像データに基づいて病変を特徴付け、例えば、マンモグラフィ又はトモシンセシス、超音波検査などの他の画像診断法の利点を組み合わせることも可能であろう。生検が必要な場合には、例えばマンモグラフィ画像データ及び／又はトモシンセシス画像データに基づいて特定された位置で、オプションの信頼度で、超音波ガイド下生検（超音波でガイドされた生検）を実施することができる。これらの動作はすべて、スキャンする人のスキルに依存しない。オプションの信頼度は、例えば、ガイダンスがどの程度信頼できるか、すなわち、ユーザが提供されたガイダンスをより信頼してもよいか、より信頼しなくてもよいかをユーザに示すことができる。
【0013】
本開示は、例えば、超音波病変発見手順が自動化され再現可能であるため、関連付け効率を高めることができる。
【0014】
変形能特性は、３次元（３Ｄ）変形能特性及び／又は２次元（２Ｄ）変形能特性を含む。３Ｄ変形能特性は、媒体の現実的に変形した３Ｄモデルを確立するため、及び／又は媒体及び／又は変形媒体の変形を現実的にシミュレーションするために有益であり得る。変形能特性は、媒体のモデル、例えばパラメトリックモデル、例えば３Ｄパラメトリックモデルを構築することを可能にする。
【0015】
「変形」及び「変形状態」という用語は、異なる表記がない限り、本開示を通じて同義に使用される場合がある。
【0016】
変形能特性は、媒体及び／又は変形した媒体の変形をシミュレーションすることを可能にする。媒体の変形及び／又は変形した媒体は、例えば、超音波画像データ及び／又は他の画像データ及び／又は第三の画像データなどの画像データに関連する／画像データによって表現される媒体と比較した媒体の変形に関連する場合がある、変形媒体をシミュレーションすることは、モデルに基づいて行うことができる。
【0017】
変形能特性に基づいて超音波画像データと他の画像データとを関連付けすることは、変形能特性に基づいて超音波画像データと他の画像データとをマッチング及び／又はマッピング及び／又は相関させることを含み得る。変形能特性に基づいて超音波画像データと他の画像データとを関連付けすることは、例えば、変形媒体のシミュレーション／媒体の変形のシミュレーションを他の画像データと関連付けさせることによって、変形能特性に基づいて超音波画像データと他の画像データとをマッチング及び／又はマッピング及び／又は相関させることを含み得る。関連付け、マッチング、マッピング、及び／又は相関付けは、１つ又は複数の信頼度を含んでいてもよく、例えば、関連付け、マッチング、マッピング、及び／又は相関付けをそれぞれの信頼度で採点してもよい。信頼度は、エンドユーザーに表示される既知の値の範囲であらかじめ選択することができる。
【0018】
変形能特性に基づいて超音波画像データと他の画像データとを関連付けすることは、例えば、超音波画像データに関連付けられた媒体と他の画像データとを比較した媒体の変形のシミュレーションなどの、変形媒体のシミュレーション／媒体の変形のシミュレーションを関連付けすることを含み得る。シミュレーションは、例えば超音波画像データに基づいて行われる。
【0019】
変形能特性に基づいて超音波画像データと他の画像データとを関連付けすることは、例えば、他の画像データに関連付けられた媒体と比較した媒体の変形のシミュレーションなどの、超音波画像データを変形媒体のシミュレーション／媒体の変形のシミュレーションと関連付けさせることを含み得る。シミュレーションは、例えば、他の画像データに基づいて行われる。
【0020】
超音波画像データを他の画像データと関連付けさせることで、画像データから得られた媒体に関する情報を組み合わせることができる。こうして、より多くの情報及び／又は補完的な情報を得ることができ、両方の方法の利点を得ることができる。例えば、超音波画像データに関連付けられている媒体は、変形していない、及び／又は、媒体と比較して同様の変形状態にある可能性があり、このことは、手術中など、さらなる医療処置が必要な場合など、さらなる医療処置治療を容易にする可能性がある。他の撮像（イメージング）方法、例えばマンモグラフィ及び／又はトモシンセシスは、特定のタスク、例えば病変の検索を行うための標準的な方法であってもよい。
【0021】
超音波画像データを他の画像データと関連付けさせることは、超音波画像データと他の画像データとの関係を定義することと理解され得る。
【0022】
超音波画像データと他の画像との関連付けすることは、追跡方式に基づくことができる。例えば、ブロックマッチングアルゴリズムを用いることができる。ブロックマッチングアルゴリズムは、例えば本出願人の特許文献１に開示されている。例えば、ピクセル追跡アルゴリズムが使用される。
【0023】
他の画像データは、超音波画像ソースとは別のソースから発信された画像データと、Ｘ線画像データと、マンモグラフィ及び／又はトモシンセシス及び／又はトモグラフィ画像データと、磁気共鳴（ＭＲ）画像データと、光学撮像（イメージング）デバイスから発信された画像データと、その他の超音波画像データと、のうちの少なくとも１つを含み得る。他の画像データは、媒体の内部に関連する画像データ及び／又は内部画像データである画像データを含み得る。
【0024】
光学装置から発信される画像データは、例えば、拡散光トモグラフィ画像データを含み得る。
【0025】
超音波データは、３Ｄ超音波画像データ、及び／又は３Ｄ超音波画像データであってもよく、及び／又は超音波データは、せん断波弾性（ＳＷＥ）データ、非線形せん断波弾性（ＮＬ－ＳＷＥ）データ、Ｂモードデータのうちの少なくとも１つであってもよい。
【0026】
超音波画像データ、例えば３Ｄ超音波画像データは、予め定義された超音波画像処理プロセスを用いて、３Ｄトランスデューサを用いて、及び／又は、オプションでナビゲーションと組み合わせたハンドヘルドデバイスを用いて得ることができる。超音波画像データ、例えば３Ｄ超音波画像データは、通常の１Ｄアレイトランスデューサを用いて得ることができ、オプションでナビゲーションシステム、及び／又は自動乳房システムと関連付けされ、例えば、１Ｄアレイトランスデューサと機械的掃引、及び／又は専用のマトリックスアレイトランスデューサを用いて得ることができる。
【0027】
せん断波弾性データは、Ｂモード画像と組み合わせて得ることができる。せん断波弾性超音波イメージング法を適用する場合、媒質の弾性特性を推定するために媒質を変形させる必要はない。
【0028】
Ｂモード画像と組み合わせて、非線形せん断波弾性データを得ることもできる。非線形のせん断波弾性は、比較的わずかな変形、あるいは１回又は数回の変形ステップを必要とする場合がある。得られた非線形せん断波弾性データに基づき、比較的強い変形を含む媒体の種々の変形状態を推定することができる。
【0029】
非線形せん断波弾性データを取得する一例として、例えば本出願人の特許文献２に開示されているものがある。連続的に変化する変形が媒体に加えられている間、時間的に連続したせん断波弾性データを媒体から収集してもよい。せん断波弾性データの時間的連続性と変形変化の関数として、媒質の非線形弾性を定量化することが可能である。
【0030】
Ｂモードデータは、モデルを生成するために媒体の形状を評価するために用いることができる。例えば、媒体の（幾何学的／物理的）モデルは、有限要素モデリングに基づいて、及び／又はＢモードデータに基づいて構築することができる。（幾何学的）モデルは、画像データをメッシュ化することができる。
【0031】
媒質の減衰特性は、超音波データに基づいて推定することができる。超音波画像データと他の画像データとの関連付けすることは、さらに、推定された減衰特性に基づいて行うことができる。言い換えれば、超音波データから推定及び／又は導出された減衰特性は、関連付け精度を向上させるために用いることができる。
【0032】
他の画像データに関連付けられ、及び／又は他の画像データによって表される媒体は、超音波画像データに関連付けられ、及び／又は超音波画像データによって表される媒体と比較して、異なる変形状態にある可能性がある。
【0033】
異なる変形状態は、媒体に作用する力及び／又は外力に関連／引き起こされる可能性がある。異なる変形状態は、媒体に作用する圧力及び／又は外圧に関連／起因している可能性がある。
【0034】
超音波画像データに関連付けられ、及び／又は超音波画像データによって表される媒体は、変形してもよく、及び／又は変形しなくてもよく、すなわち、外力／圧力を受けてもよく、又は外力／圧力を受けなくてもよい。例えば、非線形せん断波弾性画像データの取得中に媒体が変形し、その変形状態が変化することがある。別の例では、せん断波弾性画像データの取得中、媒体は変形させる必要がなく、かつ／又は、媒体に超音波プローブを当ててもわずかに変形するだけである。
【0035】
変形例特性に基づいて超音波画像データと他の画像データを関連付けさせることで、信頼度が高く再現性の高い方法で両方の画像データからの情報を組み合わせることができる、他の画像データ及び／又は超音波画像データによって表される／関連付けられる媒体の変形によって妨げられない。
【0036】
例えば、他の画像データは、マンモグラフィ画像データから構成され得る。マンモグラフィ検査では、通常、患者は立ったまま、乳房を２枚のプレートで挟んで圧迫する一方で、超音波検査中、患者は通常横になっており、外部からの（大きな）圧迫はない（重力の影響などによるものを除く）。
【0037】
他の画像データはトモシンセシス画像データであってもよい。また、トモシンセシス検査中、患者の乳房は通常、プラークを含む外力／外圧によって変形する。
【0038】
例えば乳房の超音波検査では、乳房の特定の領域が関心領域（ＲＯＩ）となることがある。例えば乳房の超音波検査では、乳房の特定の部分が関心領域（ＲＯＩ）に対応することがある。乳房の変形能性／弾性／剛性特性は、ＲＯＩとは別の領域／ＲＯＩに関連する部分とは別の部分を用いて推定することができ、その後、評価された圧縮を使用してＲＯＩ／関連部分を画像化することができる。
【0039】
超音波画像データと他の画像データとの関連付けすることは、超音波画像データと第三の画像データを関連付けし、他の画像データと第三の画像データを関連付けすることを含み得る。
【0040】
第三の画像データは、例えばＭＲ画像データであってもよく、他の画像データは、例えばＸ線画像データであってもよい。変形能特性に基づいて超音波画像データと他の画像データとを関連付けすることは、超音波画像データと第三の画像データ、例えばＭＲ画像データとを関連付けさせ、他の画像データ、例えばＸ線画像データと第三の画像データ、例えばＭＲ画像データとを関連付けさせることを含み得る。
【0041】
超音波画像データと第三の画像データとの関連付けすることは、変形能特性に基づいてもよい。他の画像データと第三の画像データとの関連付けすることは、変形能特性に基づいてもよい。
【0042】
超音波画像データ及び／又は他の画像データを第三の画像データとリンクさせることは、シミュレーションされた変形媒体／媒体の変形のシミュレーション、例えば、超音波画像データ及び／又は他の画像データに関連付けられた媒体と比較した媒体の変形のシミュレーションを、第三の画像データとリンクさせることを含み得る。シミュレーションされた変形媒体／媒体の変形のシミュレーションは、変形可能性特性に基づいてシミュレーションされてもよい。変形媒体のシミュレーション／媒体の変形のシミュレーションは、それぞれの画像データ、例えば超音波画像データ及び／又は第三の画像データ及び／又は他の画像データに基づいてシミュレーションされてもよい。シミュレーションされた変形媒体／媒体の変形のシミュレーションは、それぞれの撮像（イメージング（画像化））方法、例えば超音波撮像方法及び／又は第三の撮像方法及び／又は他の撮像方法に基づいて、例えばそれぞれの撮像方法、例えば超音波撮像方法及び／又は第三の撮像方法及び／又は他の撮像方法に対する典型的な変形に基づいて、例えばそれぞれの撮像方法、例えば超音波撮像方法及び／又は第三の撮像方法及び／又は他の撮像方法の間に媒体に加えられる典型的な外力に基づいて、シミュレーションされてもよい。
【0043】
超音波画像データ／他の画像データを第三の画像データと関連づけることは、超音波画像データ／他の画像データを、シミュレーションされた変形媒体／媒体の変形のシミュレーション、例えば第三の画像データに関連付けられた媒体と比較した媒体の変形のシミュレーションと関連づけることを含み得る。シミュレーションされた変形媒体／媒体の変形のシミュレーションは、変形可能性特性に基づいてシミュレーションされてもよい。シミュレーションされた変形媒体／媒体の変形のシミュレーションは、撮像方法、例えば第三の撮像方法に基づいて、例えば撮像方法、例えば第三の撮像方法に対する典型的な変形に基づいて、例えば撮像方法、例えば第三の撮像方法の間に媒体に加えられる典型的な外力に基づいてシミュレーションされてもよい。
【0044】
超音波画像データ／他の画像データを第三の画像データと関連づけることは、シミュレーションされた変形媒体／変形のシミュレーションをリンクすることを含み得て、変形のシミュレーションは、超音波画像データ／他の画像データ、例えば、超音波画像データ及び／又は他の画像データに関連付けられた媒体と比較した媒体の変形のシミュレーションに基づいており、別のシミュレーションされた変形媒体／変形の別のシミュレーションとリンクすることであって、変形の別のシミュレーションは、第三の画像データ、例えば、第三の画像データに関連付けられた媒体と比較した媒体の変形のシミュレーションに基づいている。それぞれのシミュレーションは、例えば、変形能特性に基づいてそれぞれ行うことができる。
【0045】
第三の画像データ、例えばＭＲ画像データは、超音波画像データを他の画像データと関連付けさせるための参照となり得る。第三の画像データ、例えばＭＲ画像データは、超音波画像データと他の画像データ、例えばＸ線画像データとを関連付けさせることができる。これは、超音波画像データ及び／又はＸ線画像データによって関連付けられ／表現される媒体の変形状態が、未知の、及び／又は不正確／不正確に知られた変形状態である場合に、特に有益である。そして、第三の画像データ、例えばＭＲ画像データによって関連付けられ／表現される媒体の変形状態が既知である場合、第三の画像データに関連付けられた媒体の変形状態は、基準変形状態であってもよい。そして、各関連付け動作に対して、未知の変形状態は１つだけである可能性があり、両方の画像データの未知の変形状態が互いに関連付けされるのとは対照的に、一方の画像データのみの変形状態が未知である可能性がある。
【0046】
媒体はヒトの乳房組織を含み得る。
【0047】
媒体は、例えば、動物組織、ヒト組織、ヒト乳房組織、ヒト乳房全体、筋骨格系材料、上半身の空間領域、上半身の一部、腹部の空間領域、腹部の一部、変形可能な媒体、非ヒト組織、非ヒト材料、及び／又はファントムを含み得る。
【0048】
変形能特性の推定は、媒体の弾性特性と、媒体の非線形弾性特性と、媒体の剛性特性と、媒体の幾何学的特性と、媒体の構造特性及び／又は粒度特性と、媒体の密度特性と、媒体の吸収特性とのうちの少なくとも１つを推定することを含み得る。
【0049】
変形能特性を推定することは、透明性特性及び／又は反射特性及び／又は吸収特性の推定を含み得る。変形能特性を推定することは、考慮される媒体の粘弾性を推定することを含み得る。
【0050】
媒体の弾性特性は、ヤング率を含み得る。媒体の非線形の弾性特性は、非線形のせん断弾性率を含み得る。
【0051】
変形能特性は媒体中で不均一である可能性がある。媒体の弾性特性を推定することは、媒体の不均一な弾性特性を推定することを含み得る。
【0052】
媒体の弾性特性は、例えばせん断波弾性データに基づいて決定することができる。媒体の非線形弾性特性は、例えば非線形せん断波弾性データに基づいて決定することができる。媒体の剛性特性は、例えば、せん断波弾性データ及び／又は非線形せん断波弾性データに基づいて決定することができる。
【0053】
例えば媒体の幾何学的特性は、Ｂモード画像データに基づいて決定することができる。幾何学的特性は、例えばカメラなどの光学センサのデータに基づいて決定される。幾何学的特性は、例えば、外部幾何学的特性を含んでいてもよい。外部の幾何学的特性は、例えばカメラなどの光学センサによって決定される。幾何学的特性は、例えば、超音波データを得るために使用される超音波トランスデューサ／超音波プローブの定位情報を提供する定位トラッカーを使用して決定され得る。例えば幾何学的特性は、媒体に存在するマーカー、例えば幾何学的ランドマークに基づいて決定される。マーカーという用語は、植え込み型マーカーを含み得る。媒体中のマーカーは、変形／変形した媒体のより良い推定、及び／又は、より良いシミュレーションを可能にする。
【0054】
媒体の構造特性及び／又は粒度特性を決定することは、媒体のボリュームセグメンテーション（例えば超音波ボリュームセグメンテーション（体積分離））を実行する。ボリュームセグメンテーションは、脂肪組織と腺組織の分離を含んでよい。媒質の構造的特性及び／又は粒状性特性は、Ｂモード画像データに基づいて決定することができる。
【0055】
媒体の密度特性は、例えば音速の推定値に基づいて決定することができる。
【0056】
媒体の吸収特性は、例えば超音波データに基づいて決定してもよく、例えば、超音波データに対して実行された減衰推定に基づいて決定してもよい。
【0057】
変形能特性は、有限要素モデリング（ＦＥＭ）、境界を用いた有限要素モデリング、ヤング率の推定、非線形せん断弾性率の推定、アクティブキューブ及び／又はマーチングキューブを用いたモデリング、境界要素モデリング、及び／又は事前定義された登録方法、のうちの少なくとも１つに基づいて推定することができる。
【0058】
変形能特性の推定は、有限要素モデリング（ＦＥＭ）、オプションで境界を用いたＦＥＭ、ヤング率の推定、非線形せん断弾性率の推定、アクティブキューブやマーチングキューブを用いたモデリング、境界要素モデリング、事前に定義された登録方法、のうちの少なくとも１つに基づいて、及び／又はこれらに基づいて行うことができる。
【0059】
例えば、有限要素モデリングは、Ｂモード画像データに基づく／関連付けさせることができる。例えばヤング率は、せん断波の弾性データに基づいて決定／入手／推定することができる。例えば非線形せん断弾性率は、非線形せん断波弾性データに基づいて決定／取得／推定することができる。
【0060】
例えば、変形能特性がマーカー位置の２つのデータセットから導出される場合、予め定義された登録方法が使用され得る。
【0061】
超音波画像データと他の画像データとの関連付けすることは、シミュレーションされた変形媒体が他の画像データに関連付けられた媒体の変形状態と一致するように、変形能特性に基づいて変形媒体をシミュレーションすることを含み得る。
【0062】
媒体の変形及び／又は変形された媒体は、例えば、超音波画像データ及び／又は他の画像データ及び／又は第三の画像データなどの、それぞれの画像データによって関連付けられる／表現される媒体と比較した媒体の変形に関連することがある。
【0063】
超音波画像データを他の画像データと関連付けさせることは、シミュレーションされた変形媒体が、他の画像データに関連付けられた媒体の変形状態に対応し、及び／又は関連するように、変形媒体をシミュレーションすることを含んでよい。超音波画像データと他の画像データとの関連付けすることは、他の画像データに関連付けられた媒体の変形状態に従って、変形した媒体をシミュレーションすることを含み得る。超音波画像データと他の画像データとの関連付けすることは、シミュレーションされた変形媒体が、他の画像データに関連付けられた媒体の変形状態に関連付けられるように、変形媒体をシミュレーションすることを含み得る。
【0064】
超音波画像データと他の画像データとの関連付けすることは、例えば、超音波画像データに関連付けられた媒体と他の画像データとを比較した媒体の変形のシミュレーションなどのシミュレーションされた変形媒体の関連付けをすることを含み得る。超音波画像データと他の画像データとの関連付けすることは、超音波画像データを、例えば、他の画像データに関連付けられた媒体と比較した媒体の変形のシミュレーションである、シミュレーションされた変形媒体と関連付けさせることを含み得る。
【0065】
シミュレーションされた変形媒体は、変形能特性に基づいて、及び／又は超音波画像データに基づいて、及び／又は他の画像データに基づいてシミュレーションされ得る。
【0066】
変形媒体をシミュレーションすることは、あらかじめ定義された数学的演算を含み得る
【0067】
変形媒体をシミュレーションすることは、媒体のモデル、例えば媒体のパラメトリックモデル、例えば３Ｄパラメトリックモデルを構築することを含み得る。パラメトリックモデルは、媒体の変形能特性に基づいている。変形媒体をシミュレーションすることは、媒体の変形能特性に基づいて行うことができる。
【0068】
変形媒体をシミュレーションすることは、モデル内の変形の粗いシミュレーションから構成され、及び／又は開始することができる。粗いシミュレーションは、媒体の現実的な変形をシミュレーションするために、変形能特性に基づいてもよいし、変形能特性によって誘導されてもよい。変形媒体をシミュレーションすることは、粗いシミュレーションを精緻化することにより、シミュレーションが媒体のすべての領域／すべての部分における変形能特性を満たす／対応するようにすることを含み得る。オプションとして、シミュレーションを媒体の推定された変形能特性と比較することもできる。そして、推定された媒体の変形能特性が、シミュレーションで満足／対応するかどうかをチェックすることができる。推定される変形能特性は、例えば、媒体の弾性特性、媒体の非線形弾性特性、媒体の剛性特性、媒体の幾何学的特性、媒体の構造特性及び／又は粒度特性、及び／又は媒体の密度特性を含み得る。
【0069】
媒体中のマーカーは、マンモグラフィ画像に関連する／マンモグラフィ画像によって表現される媒体の変形状態を推定し、シミュレーションされた変形媒体においてこの変形レベルに達しているかどうかを評価するために用いることができる。
【0070】
また、マンモグラフィ画像データを使用して、マンモグラフィ画像データに関連する／マンモグラフィ画像データによって表現される媒体の変形レベルが、シミュレーションされた変形媒体において到達したかどうかを評価することも可能である。
【0071】
シミュレーションされた変形媒体が、他の画像データに関連付けられた媒体の変形状態と一致するように、変形媒体をシミュレーションすることは、例えば他の画像データによって関連付けられ／表現されるように、媒体に加えられる外力に対応する力を仮定することを含み得る。シミュレーションされた変形媒体が、他の画像データに関連付けられた媒体の変形状態と一致するように、変形媒体をシミュレーションすることは、例えば他の画像データによって関連付けられ／表現されるように、媒体に加えられる外圧に対応する圧力を仮定することを含み得る。
【0072】
変形能特性に基づく超音波画像データと他の画像データとの関連付けすることは、さらに、シミュレーションされた変形媒体に基づくことができる。
【0073】
変形媒体をシミュレーションすることは、さらに他の画像データに基づいてもよく、及び／又は変形媒体をシミュレーションすることは、例えば制御ループにおいて他の画像データを使用してもよい。
【0074】
他の画像データに基づいて変形媒体をシミュレーションすること、及び／又は、制御ループにおいて他の画像データを用いることは、より良い／より正確な／より精密なシミュレーションされた変形媒体を得ることを可能にし得る。また、超音波画像データと他の画像データとの関連付けを改善することもできる。
【0075】
超音波画像データと他の画像データとの関連付けすることは、媒体の第一の部分／媒体の第一の領域に関連／対応する超音波画像データの第一の部分集合を決定することと、媒体の第二の部分／媒体の第二の領域に関連／対応する他の画像データの第二の部分集合を決定することと、オプションでシミュレーションされた変形媒体に基づく、第二の部分集合と第一の部分集合を関連付けすることとを含み得る。
【0076】
媒体の第一の部分と媒体の第二の部分は、媒体の空間領域に対応することができる。媒体の第一部分と媒体の第二部分は、媒体の病変に対応することができる。媒体の第一の部分及び媒体の第二の部分は、手動入力に基づいて、及び／又は、例えば、通常の自動化アルゴリズムや人工知能（ＡＩ）ベースのアルゴリズムなど、例えば、ニューラルネットワーク、畳み込みニューラルネットワーク、及び／又はそのようなものなど、予め定義されたコンピュータ実装アルゴリズムを使用して、決定することができる。例えば、腫瘍認識技術を用いることができる。媒体の第一の部分及び／又は媒体の第二の部分は、パターン認識スキームに基づいて決定されてもよい。
【0077】
第二の部分集合と第一の部分集合との関連付けすることは、例えば、マンモグラフィ検査及び／又はトモシンセシス検査で識別された病変と超音波検査で識別された病変との関連付けを可能にする。第一の部分集合及び／又は第二の部分集合は、例えば、病変及び／又は目立つ組織を構成することができる。超音波画像データで同定された病変と、例えば他の画像データで同定された病変とは、同一の病変である可能性がある。第二の部分集合と第一の部分集合との関連付けすることは、例えば、マンモグラフィ検査及び／又はトモシンセシス検査で識別された病変の位置と、超音波検査で識別された病変の位置とを、例えば同じ病変で関連付けすることを可能にすることができる。
【0078】
媒体の第一の部分と媒体の第二の部分にはラベルを付けることができる。
【0079】
第二の部分集合は第一の部分集合と関連付けしていてもよく、また第一の部分集合は第二の部分集合と関連付けしていてもよい。
【0080】
媒体中の第一の領域／媒体の第一の部分は、媒体中の第二の領域／媒体の第二の部分と重なっていてもよく、及び／又は同一であってもよい。特に、媒体／媒体の第一部分における第一領域と、媒体／媒体の第二部分における第二領域とは、同一の組織から構成されていてもよい。
【0081】
第一の部分集合を決定すること、及び／又は第二の部分集合を決定すること、及び／又は第二の部分集合を第一の部分集合に関連付けすることは、追跡スキームに基づいてもよい。例えば、第二の部分集合と第一の部分集合を関連付けさせるために、ブロックマッチングアルゴリズムを用いることができる。ブロックマッチングアルゴリズムは、例えば本出願人の特許文献３に開示されている。例えば、ピクセル追跡アルゴリズムを用いることができる。
【0082】
超音波画像データと他の画像データとの関連付けすることは、媒体の同一部分及び／又は類似部分、及び／又は媒体の同一領域及び／又は類似領域をそれぞれ表す超音波画像データ及び他の画像データを決定／識別することを含み得る。
【0083】
イメージング法の中には、３Ｄ超音波や断層撮影など、３Ｄ画像に対応する画像データを生成するものがある、一方、イメージング法の中には、例えばマンモグラフィ又はトモシンセシスのように、３Ｄ媒体の２Ｄ投影に対応する画像データを提供できるものもある。例えば、他の画像データがマンモグラフィ画像データ及び／又はトモシンセシス画像データからなる場合、超音波画像データと他の画像データとを関連付けさせることにより、例えば、超音波３Ｄデータと２Ｄマンモグラフィデータとを関連付けさせることができる。
【0084】
本開示は、異なる寸法の画像データを互いに関連付けさせることを可能にする、容易で再現可能な方法を有利に提供する。
【0085】
超音波画像データと他の画像データとの関連付けすることは、シミュレーションされた変形媒体に基づくことができる。第二の部分集合と第一の部分集合との関連付けすることは、シミュレーションされた変形媒体に基づくことができ、例えば、第二の部分集合と第一の部分集合とを関連付けすることは、第二の部分集合と、シミュレーションされた変形された第一の部分集合及び／又はシミュレーションされた変形媒体中の第一の部分集合とを関連付けすることを含み得る。第二の部分集合と第一の部分集合との関連付けすることは、シミュレーションされた変形媒体に基づくことができ、例えば、第二の部分集合と第一の部分集合とを関連付けすることは、変形された第二の部分集合及び／又はシミュレーションされた変形媒体中の第二の部分集合と第一の部分集合とを関連付けすることを含み得る。
【0086】
媒体の第一の部分は、媒体の弾性特性、媒体の非線形弾性特性、予め定義されたコンピュータ実装アルゴリズムを用いる画像分割及び／又は分類方法のうちの少なくとも１つに基づいて、周囲の媒体から区別され得る、及び／又は、媒体の第二の部分は、予め定義されたコンピュータ実装アルゴリズムを用いる画像セグメンテーション及び／又は分類方法に基づいて、周囲の媒体から区別され得る。
【0087】
媒体の第一の部分は、例えば、透明特性及び／又は反射特性及び／又は粘弾性特性、例えば、考慮される媒体の粘弾性に基づいて、周囲の媒体から区別され得る。
【0088】
媒体の第一の部分及び／又は媒体の第二の部分は、良性又は悪性の腫瘍、病変、疑わしい組織、腫瘍候補、マーカー、乳がんのうちの少なくとも一つを含むことができる。
【0089】
事前に定義されたコンピュータ実装アルゴリズムは、例えばＡＩベースであってもよく、例えばニューラルネットワーク、畳み込みニューラルネットワークなどを用いることが含まれる。例えば、腫瘍認識技術を用いることができる。
【0090】
本方法は、任意に、変形能特性の信頼度及び／又は変形能特性品質を決定することを含むことができる。本方法はさらに、超音波画像データと他の画像データとの関連付け信頼度を決定することを含み得る。関連付け信頼度を決定することは、変形能特性、変形能の信頼度の少なくとも１つに基づいて行うことができる。
【0091】
関連付け信頼度は、例えば信頼度指数である。
【0092】
例えば、変形能特性の信頼度は、変形能特性の推定の品質及び／又は信頼度を示す指標となり得る。変形能特性の信頼度は、例えば、あらかじめ定義された信頼度レベルのエラーバー／不確定性バーとすることができる。変形能特性の信頼度が低いと、例えば関連付けの信頼度が低くなる可能性がある。さらに、例えば、変形能特性が特定の値範囲内にある場合、超音波画像データと他の画像データとの関連付けが容易になる可能性がある。このようにして、例えば、関連付け信頼度は変形能特性に基づいてもよいし、変形能特性に影響されてもよい。
【0093】
変形能の信頼度は、例えば、シミュレーションされた変形媒体と、他の画像データによって表され／関連付けられ／及び／又は他の画像データから再構成された媒体との間の差異に関連し得る。変形能の信頼度は、例えば、シミュレーションされた変形媒体と、他の画像データによって表される及び／又は他の画像データから再構成される媒体との間の差異に基づいて決定され得る。
【0094】
本方法はさらに、第二の部分集合と第一の部分集合とを関連付けする関連付け信頼度を決定することを含み得る。第二の部分集合と第一の部分集合とを関連付けする関連付け信頼度を決定することは、第一の部分と第二の部分の空間的距離／第一の部分と第二の部分の間の空間的距離と、シミュレーションされた変形媒体中の第一の部分と第二の部分の空間的距離／シミュレーションされた変形媒体中の第一の部分と第二の部分の間の空間的距離と、第一の部分と第二の部分との間の空間的な重なりと、シミュレーションされた変形媒質中の第一の部分と第二の部分との空間的な重なりと、第一の部分及び／又は第二の部分の輪郭及び／又は形状及び／又はサイズと、シミュレーションされた変形媒体における、及び／又は第二の部分における、第一の部分の輪郭及び／又は形状及び／又はサイズ、変形能特性、変形能の信頼度と、のうちの少なくとも１つに基づいてもよい。
【0095】
第二の部分集合と第一の部分集合とを関連付けする関連付け信頼度を決定することは、シミュレーションされた変形媒体における第一の部分と第二の部分の空間的距離／シミュレーションされた変形媒体における第一の部分と第二の部分の間の空間的距離と、第一の部分と第二の部分との間の空間的な重なりと、シミュレーションされた変形媒質における第一の部分と第二の部分の空間的な重なりと、第一の部分及び／又は第二の部分の輪郭及び／又は形状及び／又はサイズと、シミュレーションされた変形媒体における第一の部分及び／又は第二の部分の輪郭及び／又は形状及び／又はサイズと、のうちの少なくとも１つに基づいてもよい。
【0096】
例えば、第二の部分集合と第一の部分集合とを関連付けする関連付け信頼度は、第二の部分集合と第一の部分集合とを関連付けするスコア及び／又は得点であってもよい。
【0097】
例えば、第一の部分と第二の部分の輪郭及び／又は形状及び／又はサイズが非常に類似している場合、関連付け信頼度は高くなる可能性がある。第二の部分集合を第一の部分集合に関連付けする関連付け信頼度を決定することは、ベイズ法及び／又は条件法に基づいてもよく、例えば、シミュレーションされた変形媒体と、他の画像データによって表現された及び／又は他の画像データから再構成された媒体との間の変形能の信頼度及び／又は相違に基づいてもよい。
【0098】
第二の部分集合を第一の部分集合に関連付けする関連付け信頼度を決定することは、コンピュータに実装されたアルゴリズムを用いて実行することができる。コンピュータに実装されるアルゴリズムは、ＡＩベースのものであってもよく、学習スキームの使用からなるものであってもよい、例えば、ディープラーニング及び／又は機械学習、及び／又は人工知能、及び／又はニューラルネットワーク、及び／又は畳み込みニューラルネットワーク、及び／又はそのようなものである。コンピュータに実装されたアルゴリズムは、さらに、ユーザによる手動入力に基づいてもよいし、自動化された方法で実行されてもよい。コンピュータに実装されるアルゴリズムは、例えばカーネルベースであり、例えば輪郭追跡、カルマンフィルタリング、パーティクルフィルタリングを含むことができる。コンピュータに実装されたアルゴリズムは、例えば自動化されたものであってもよい。
【0099】
超音波画像データを他の画像データと関連付けする関連付け信頼度を決定することは、オプションで、第二の部分集合を第一の部分集合と関連付けする関連付け信頼度を決定することに基づいてもよい。
【0100】
変形媒体をシミュレーションすること、第一の部分集合を決定すること、及び／又は、第二の部分集合を決定すること、及び／又は、第二の部分集合と第一の部分集合との関連付けすること、及び／又は、超音波画像データと他の画像データとの関連付け信頼度を決定すること、及び／又は、第二の部分集合と第一の部分集合との関連付け信頼度を決定することは、コンピュータに実装されたアルゴリズムを使用して実行することもできるし、コンピュータに実装されたアルゴリズムに基づいて実行することもできる。
【0101】
変形能特性の信頼度の判定は、コンピュータに実装されたアルゴリズムを用いて行うことができる。
【0102】
「信頼度」と「品質」という用語は、異なる表記がない限り、本開示を通じて同義に使用される場合がある。
【0103】
コンピュータ実装アルゴリズムは、例えばＡＩベースであってもよく、学習スキーム、例えばディープラーニング（深層学習）及び／又は機械学習、及び／又は人工知能及び／又はニューラルネットワーク及び／又は畳み込みニューラルネットワーク及び／又は同様のものの使用を含んでいてもよい。コンピュータに実装されたアルゴリズムは、さらに、ユーザによる手動入力に基づいてもよいし、自動化された方法で実行されてもよい。コンピュータに実装されるアルゴリズムは、例えばカーネルベースであり、例えば輪郭追跡、カルマンフィルタリング、パーティクルフィルタリングを含むことができる。コンピュータに実装されたアルゴリズムは、例えば自動化されたものであってもよい。
【0104】
コンピュータ実装アルゴリズムは、第一の部分集合と第二の部分集合とを関連付けするための、及び／又は関連付け信頼度を決定するための追跡スキームを適用することを含んでいてもよい。適用されるトラッキングスキームには、輪郭トラッキング、カルマンフィルタリング、パーティクルフィルタリング、学習スキーム、例えばディープラーニングなどが含まれる。
【0105】
また、媒体の複数の第一の部分／媒体の複数の第一の領域に関連／対応する複数の第一の部分集合、及び／又は、媒体の複数の第二の部分／媒体の複数の第二の領域に関連／対応する複数の第二の部分集合を決定し、互いに関連付けさせることができる、例えば損失関数を使用して、例えば対応する関連付けの信頼度を決定することができる。例えば、第一の部分集合と第二の部分集合を関連付けするループを複数回実行し、関連付け信頼度を持つ行列を構築することができる。
【0106】
本開示は、データ処理システムによって実行されたときに、データ処理システムに本開示のオプションの実施例による方法を実行させるコンピュータ可読命令を含むコンピュータプログラムを指すことができる。
【0107】
本開示は、媒体に関連する超音波画像データを、媒体に関連する他の画像データと関連付けさせるシステムに関する場合がある。システムは、超音波データに基づいて媒体の変形能特性を推定し、変形能特性に基づいて超音波画像データと他の画像データを関連付けするように構成された処理ユニットを含み得る。システムはさらに、上述した方法の特徴や動作のいずれかを実行するように構成することもできる。
【0108】
本開示はまた、媒体に関連付けられた超音波画像データを媒体に関連付けられた他の画像データとリンクさせるためのシステムにも言及し得る。本システムは、処理ユニットと、処理ユニットに結合されたメモリとを備えることができ、前記メモリは、前記処理ユニットによって実行されたときに、超音波データに基づいて媒体の変形能特性を推定することと、前記変形能特性に基づいて前記超音波画像データを他の画像データと関連づけることと、を含むように構成された方法を実行するコンピュータ実行可能命令を含む。
【0109】
矛盾する場合を除き、上述の要素と本明細書内の要素の組み合わせが可能であることが意図されている。
【0110】
前述の一般的な説明及び以下の詳細な説明は、いずれも例示的かつ説明的なものであり、説明のために提供されるものであって、特許請求の範囲に記載される本開示を制限するものではないことを理解されたい。
【0111】
本明細書に組み込まれ、本明細書の一部を構成する添付図面は、本開示の実施例を示し、本明細書とともに、その原理を支持し、説明するのに役立つ。
【図面の簡単な説明】
【0112】
【図1】本開示の実施形態による方法の例示的な実施形態を示す。
【図2】媒体のパラメトリックモデル、シミュレーションされた変形媒体と他の画像データとの関係を示す図である。
【図3】本開示の実施形態による方法の別の例示的な実施形態を示す。
【図4】本開示の実施形態による方法のさらに別の例示的な実施形態を示す。
【発明を実施するための形態】
【0113】
次に、添付図面に例示されている本開示の実施例を詳細に参照する。可能な限り、図面全体を通して同じ参照番号を使用し、同一又は類似のパーツを参照する。
【0114】
本出願人の特許文献４には、第一の撮像モダリティを用いてターゲットの表面画像データを取得することを含む撮像方法が開示されている。表面画像データに基づくターゲットの視覚的表現が生成される。ターゲットの内部画像データは、第二の画像モダリティを用いて取得される。内部画像データの取得中に、取得された内部画像データに基づくターゲットの視覚的表現が更新される。
【0115】
この方法は、表面画像データと内部画像データに関する。
【0116】
本出願人の特許文献５には、乳房撮像患者の動き補償のための技術が開示されている。撮像システムは、人体組織の画像を撮像する撮像（イメージング）検出器と、撮像検出器から離れた位置にあり、圧縮パドルと撮像検出器との間で人体組織を圧縮する圧縮パドルとを含む。応力センサは、人体組織に加えられた力の測定値を示す応力信号を生成することができる。動き検出回路は、圧縮された人体組織の動きの尺度を示す応力信号から動き信号をフィルタリングすることができる。動作分析モジュールは、動作信号が動作しきい値を超えていると判断することができる。画像補正モジュールは、前記移動信号が前記移動しきい値を超えているとの判定に基づいて、補正動作を実行する。他の実施形態も説明され、特許請求の範囲において主張されている。
【0117】
本方法は、動き検出回路からの入力に基づいて画像補正を行うことに関する。
【0118】
図１は、本開示の実施形態による方法の例示的な実施形態を示す。本方法は、超音波データに基づいて媒体の変形能特性を推定し、変形能特性に基づいて超音波画像データを他の画像データと関連付けさせるように構成された処理ユニットを含むシステムによって実施することができる。本システムはさらに、本開示に記載される方法の特徴又は動作のいずれかを実行するように構成され得る。
【0119】
この方法は、超音波システムによって実施される超音波法であってもよい。可能な超音波法は、Ｂモードイメージング、せん断波エラストグラフィイメージング（本出願人が開発したＳｈｅａｒＷａｖｅ（登録商標）モードなど）、ドップラーイメージング、ＣＥＵＳ イマジン（ｉｍａｇｉｎｅ）、ｕｌｔｒａｆａｓｔ(登録商標）ドップラーイメージング又はＡｎｇｉｏＰＬ．Ｕ．Ｓ（登録商標）超音波画像、又はその他の超音波画像モードを含む。従って、超音波画像データを取得するために、異なる取得モードを用いることができる。この方法は、上述の方法の一部であってもよいし、これらの方法のいずれかと組み合わせてもよい。
【0120】
動作（１１０）では、超音波データに基づいて媒体の変形能特性を推定する。
【0121】
変形能特性は、３次元（３Ｄ）変形能特性及び／又は２次元（２Ｄ）変形能特性を含み得る。３Ｄ変形能特性は、媒体の現実的に変形した３Ｄモデルを確立するため、及び／又は媒体及び／又は変形媒体の変形を現実的にシミュレーションするために有益であり得る。変形能特性は、例えばパラメトリックモデル、例えば３Ｄパラメトリックモデルなどの媒体のモデルを構築することを可能にするかもしれない、
【0122】
変形能特性は、媒体及び／又は変形した媒体の変形をシミュレーションすることを可能にする。媒体の変形及び／又は変形した媒体は、例えば、超音波画像データ及び／又は他の画像データ及び／又は第三の画像データによって。画像データに関連する／画像データによって表現される媒体と比較した媒体の変形に関連する場合がある、変形媒体をシミュレーションすることは、モデルに基づいて行うことができる。
【0123】
動作（１２０）において、超音波画像データは、変形能特性に基づいて他の画像データと関連付けされる。
【0124】
変形能特性に基づいて超音波画像データと他の画像データとを関連付けすることは、例えば、変形媒体のシミュレーション／媒体の変形のシミュレーションを他の画像データと関連付けさせることによって、変形能特性に基づいて、超音波画像データを他の画像データとマッチングし、及び／又は、マッピングし、及び／又は相関させることを含み得る。関連付けし、マッチングし、マッピングし、及び／又は相関をとることは、例えば、関連付け、マッチング、マッピング、及び／又は相関を、それぞれの信頼度でスコア化する１つ又は複数の信頼度を含み得る。
【0125】
変形能特性に基づいて超音波画像データと他の画像データとを関連付けすることは、例えば、超音波画像データに関連付けられた媒体と他の画像データとを比較した媒体の変形のシミュレーションなど、変形媒体のシミュレーション／媒体の変形のシミュレーションを関連付けすることを含み得る。シミュレーションは、例えば超音波画像データに基づいて行われる。
【0126】
変形能特性に基づいて超音波画像データと他の画像データとを関連付けすることは、例えば、他の画像データに関連付けられた媒体と比較した媒体の変形のシミュレーションなど、超音波画像データを変形媒体のシミュレーション／媒体の変形のシミュレーションと関連付けさせることを含み得る。シミュレーションは、例えば、他の画像データに基づいて行われる。
【0127】
超音波画像データと他の画像データとの関連付けすることは、媒体の同一部分及び／又は類似部分、及び／又は媒体の同一領域及び／又は類似領域を各々表す超音波画像及び他の画像データを識別することを含み得る。
【0128】
変形能特性に基づいて超音波画像データを他の画像データと関連付けさせる動作（１２０）は、変形能特性に基づいて変形媒体をシミュレーションするオプションの動作を含み得る。変形媒体は、シミュレーションされた変形媒体が、他の画像データに関連付けられた媒体の変形状態と一致するように、シミュレーションされ得る。
【0129】
シミュレーションされた変形媒体は、変形能特性に基づいて、及び／又は超音波画像データに基づいて、及び／又は他の画像データに基づいてシミュレーションされ得る。
【0130】
変形媒体をシミュレーションすることは、媒体のモデル、例えば媒体のパラメトリックモデル、例えば３Ｄパラメトリックモデルを構築することを含み得る。パラメトリックモデルは、媒体の変形能特性に基づいてもよい。変形媒体をシミュレーションすることは、媒体の変形能特性に基づいてもよい。
【0131】
変形能特性に基づいて超音波画像データを他の画像データと関連付け（１２０）することはさらに、シミュレーションされた変形媒体に基づくことができる。
【0132】
変形能特性に基づいて超音波画像データを他の画像データと関連付けさせる動作（１２０）は、超音波画像データの第一の部分集合、及び／又は超音波画像データの複数の第一の部分集合を決定するオプションの動作を含み得る。
【0133】
変形能特性に基づいて超音波画像データを他の画像データと関連付けさせる動作（１２０）は、他の画像データの第二の部分集合、及び／又は、他の画像データの複数の第二の部分集合を決定するオプションの動作を含み得る。
【0134】
超音波画像データの第一の部分集合は、媒体内の第一の領域に関連付けられ（例えば対応付けられ）、他の画像データの第二の部分集合は、媒体／媒体の第二の部分内の第二の領域に関連付けられ（例えば対応付けられ）得る。
【0135】
媒体の第一の部分と媒体の第二の部分は、媒体の空間領域に対応することができる。媒体の第一部分及び媒体の第二部分は、媒体中の病変に対応することができる。媒体の第一の部分及び媒体の第二の部分は、手動入力に基づいて、及び／又は、例えば、通常の自動化アルゴリズムやＡＩベースのアルゴリズムなど、予め定義されたコンピュータ実装アルゴリズムを使用して、決定することができる、例えば、ニューラルネットワーク、畳み込みニューラルネットワークなどを用いる。例えば、腫瘍認識技術を用いることができる。媒体の第一の部分と媒体の第二の部分は、パターン認識方式に基づいて決定することができる。
【0136】
媒体中の第一の領域／媒体の第一の部分は、媒体中の第二の領域／媒体の第二の部分と重なっていてもよく、及び／又は同一であってもよい。特に、媒体／媒体の第１部分における第１領域と、媒体／媒体の第２部分における第２領域とは、類似組織又は準同一組織を含み得る。
【0137】
変形能特性に基づいて超音波画像データと他の画像データとを関連付けする動作（１２０）は、オプションでシミュレーションされた変形媒体に基づき、第二の部分集合と第一の部分集合とを関連付けするオプションの動作を含み得る。
【0138】
第二の部分集合と第一の部分集合との関連付けすることは、例えば、マンモグラフィ検査及び／又はトモシンセシス検査で識別された病変と超音波検査で識別された病変との関連付けを可能にする。第一の部分集合及び／又は第二の部分集合は、例えば、病変及び／又は目立つ組織から構成される。超音波画像データで同定された病変と、例えば他の画像データで同定された病変とは、同一の病変であってもよい。第二の部分集合と第一の部分集合との関連付けすることは、例えば、マンモグラフィ検査及び／又はトモシンセシス検査で識別された病変の位置と超音波検査で識別された病変の位置との関連付けを可能にする。
【0139】
第一の部分集合を決定すること、及び／又は第二の部分集合を決定すること、及び／又は第二の部分集合を第一の部分集合に関連付けすることは、例えば、輪郭追跡、カルマンフィルタリング、パーティクルフィルタリング、例えばディープラーニング及び／又はブロックマッチングアルゴリズムなどの学習スキームなどの、追跡スキームに基づいてもよい。
【0140】
超音波画像データと他の画像データとの関連付けすることは、シミュレーションされた変形媒体に基づくことができる。第二の部分集合と第一の部分集合との関連付けすることは、シミュレーションされた変形媒体に基づくことができる、例えば、第二の部分集合と第一の部分集合とを関連付けすることは、第二の部分集合と、シミュレーションされた変形された第一の部分集合及び／又はシミュレーションされた変形媒体中の第一の部分集合とを関連付けすることを含み得る。第二の部分集合と第一の部分集合との関連付けすることは、シミュレーションされた変形媒体に基づくことができる。例えば、第二の部分集合と第一の部分集合とを関連付けすることは、変形された第二の部分集合及び／又はシミュレーションされた変形媒体中の第二の部分集合と第一の部分集合とを関連付けすることを含み得る。
【0141】
オプションの動作（１３０）において、関連付け信頼度、例えば関連付け信頼度パラメータ及び／又は超音波画像データと他の画像データとの関連付けのレベルが評価、すなわち決定される。
【0142】
超音波画像データを他の画像データと関連付けする関連付け信頼度を決定することは、変形能特性、変形能特性の信頼度のうちの少なくとも１つに基づいてもよい。
【0143】
関連付け信頼度は、例えば信頼度指数である。
【0144】
超音波画像データと他の画像データとの関連付け信頼度を決定すること（１３０）は、弾性特性の信頼度を決定するオプション動作を含んでいてもよい。
【0145】
例えば、変形能特性の信頼度は、変形能特性の推定の品質及び／又は信頼度を示す指標となり得る。変形能特性の信頼度は、例えば、あらかじめ定義された信頼度レベルのエラーバー／不確定性バーとすることができる。変形能特性の信頼度が低いと、例えば関連付けの信頼度が低くなる可能性がある。さらに、例えば、変形能特性が特定の値範囲内にある場合、超音波画像データと他の画像データとの関連付けが容易になる可能性がある。このようにして、例えば、関連付け信頼度は、変形能特性に基づいている／変形能特性の影響を受けている可能性がある。
【0146】
変形能特性の信頼度は、例えば、シミュレーションされた変形媒体と、他の画像データによって表され／関連付けられ／及び／又は他の画像データから再構成された媒体との間の差異に関連し得る。変形能特性の信頼度は、例えば、シミュレーションされた変形媒体と、他の画像データによって表される及び／又は他の画像データから再構成される媒体との間の差異に基づいて決定され得る。
【0147】
変形能特性の信頼度の判定は、コンピュータに実装されたアルゴリズムを用いて行うことができる。
【0148】
超音波画像データと他の画像データとを関連付けする関連付け信頼度を決定すること（１３０）は、第二の部分集合と第一の部分集合とを関連付けする関連付け信頼度を決定するオプションの動作を含み得る、及び／又は、第二の部分集合と第一の部分集合との関連付けの信頼度を決定することに基づいてもよい。
【0149】
第二の部分集合と第一の部分集合とを関連付けする関連付け信頼度を決定することは、第一の部分と第二の部分との空間的距離と、シミュレーションされた変形媒体中の第一の部分と／第二の部分の間の空間距離と、第一の部分と第二の部分との間の空間的な重なりと、シミュレーション変形媒質中の第一の部分と第二の部分との空間的な重なりと、第一の部分及び／又は第二の部分の輪郭及び／又は形状及び／又はサイズと、シミュレーションされた変形媒体における、及び／又は第二の部分における、第一の部分の輪郭及び／又は形状及び／又はサイズ、変形能特性、変形能特性の信頼度と、のうちの少なくとも１つに基づいてもよい。
【0150】
例えば、第一の部分と第二の部分の輪郭及び／又は形状及び／又はサイズが非常に似ている場合、関連付け信頼度は高くなる可能性がある。第二の部分集合を第一の部分集合に関連付けする関連付け信頼度を決定することは、ベイズ法及び／又は条件法に基づいてもよく、そして、例えば、シミュレーションされた変形媒体と、他の画像データによって表現された及び／又は他の画像データから再構成された媒体との間の変形能特性の信頼度及び／又は相違に基づいてもよい。
【0151】
変形媒体をシミュレーションすること、第一の部分集合を決定すること、及び／又は、第二の部分集合を決定すること、及び／又は、第一の部分集合と第二の部分集合とを関連付けすること、及び／又は、超音波画像データと他の画像データとの関連付け信頼度を決定すること、及び／又は、第二の部分集合と第一の部分集合との関連付け信頼度を決定することは、コンピュータに実装されたアルゴリズムを使用して実行することができる。
【0152】
変形能特性の信頼度の判定は、コンピュータに実装されたアルゴリズムを用いて行うことができる。
【0153】
コンピュータに実装されるアルゴリズムは、例えばＡＩベースのものであってもよいし、例えば、ディープラーニング及び／又は機械学習、及び／又は人工知能、及び／又はニューラルネットワーク、及び／又は畳み込みニューラルネットワーク、及び／又はそのようなものなど、学習スキームの使用からなるものであってもよい。コンピュータに実装されたアルゴリズムは、さらに、ユーザによる手動入力に基づいてもよいし、自動化された方法で実行されてもよい。コンピュータに実装されるアルゴリズムは、例えばカーネルベースであり、例えば輪郭追跡、カルマンフィルタリング、パーティクルフィルタリングを含むことができる。コンピュータに実装されたアルゴリズムは、例えば自動化されたものであってもよい。
【0154】
コンピュータ実装アルゴリズムは、第一の部分集合と第二の部分集合とを関連付けするための、及び／又は関連付け信頼度を決定するための追跡スキームを適用することを含んでいてもよい。適用されるトラッキングスキームには、輪郭トラッキング、カルマンフィルタリング、パーティクルフィルタリング、学習スキーム、例えばディープラーニングなどが含まれる。
【0155】
また、媒体の複数の第一の部分／媒体の複数の第一の領域に関連／対応する複数の第一の部分集合、及び／又は媒体の複数の第二の部分／媒体の複数の第二の領域に関連／対応する複数の第二の部分集合が決定され、例えば、損失関数を用いて互いに関連付けされてもよく、そして、例えば対応する関連付けの信頼度が決定されるかもしれない。例えば、第一の部分集合と第二の部分集合を関連付けするループを複数回実行し、関連付けの信頼度を持つ行列を構築することができる。
【0156】
図２は、媒体のパラメトリックモデル、シミュレーションされた変形媒体、及び他の画像データ間の例示的な関係を示す。
【0157】
媒体、すなわちこの例ではヒトの乳房のモデル２００ａが示されている。モデル２００ａは、パラメトリックモデル及び／又は幾何学的／物理学的モデルとすることができる。モデル２００ａは、超音波画像データ、例えば３Ｄ超音波画像データに基づいてもよい。媒体は第一部分を含む。パラメトリックモデルのうち、第一の部分を表す／関連する部分を２１０ａと示す。このモデルは、媒体の変形能特性に基づいている。変形能特性は超音波データに基づいて推定される。
【0158】
第一の部分は、媒体の弾性特性と、媒体の非線形弾性特性と、透明度の特性と、反射特性と、粘弾性特性と、予め定義されたコンピュータ実装のアルゴリズムを用いる画像セグメンテーション及び／又は分類方法と、のうちの少なくとも１つに基づいて、周囲の媒体から区別され得る。
【0159】
媒体の第一部分は、腫瘍、病変、疑わしい組織、腫瘍候補、マーカー、乳がんのうち少なくとも一つを含む。第１部分は病変、例えば疑わしい病変であってもよい。
【0160】
モデル（例えばパラメトリックモデル）及び／又は媒体のシミュレーションされた変形を２００ｂで示す。シミュレーション変形媒体のうち、第一の部分に相当／関連する部分を２１０ｂと示す。変形により、部分２１０ｂの形状、輪郭、大きさは、部分２１０ａと比較して変化する（変形を模式的に示す破線ＤＬも参照）。変形により、媒体２００ｂの形状、輪郭、大きさは媒体２００ａと比較して変化する。モデル２００ａとシミュレーションされた変形２００ｂの関係は、図中の点線でも示されている。
【0161】
シミュレーションされた変形は、例えば、マンモグラフィや断層撮影の画像データなどの、他の画像データによって関連付けられ／表現された媒体の変形状態と一致する可能性がある。
【0162】
他の画像データ、例えばトモシンセシス画像データを２００ｃで示す。他の画像データ／トモシンセシスデータのうち、第一の部分を表す／第一の部分に関連する部分を２１０ｃで示す。
【0163】
本開示は、変形能特性に基づいて、超音波画像データを他の画像データ、例えばトモシンセシスデータ２１０ｃと関連付けさせることを可能にし得る。本開示は、例えば部分２１０ｂに基づいて、例えば変形能特性に基づいて、部分２１０ａ及び２１０ｃを関連付けすることを可能にし得る。
【0164】
図３は、本開示の実施形態による方法の別の例示的な実施形態を示す。
【0165】
他の画像データ、例えばマンモグラフィ画像データ及び／又はトモシンセシスデータの第二の部分集合が決定されることがある（左上の写真の白い矢印で示される）。第二の部分集合は、例えば、媒体の疑わしい病変に対応する。他の画像データの複数の第二の部分集合が決定されてもよい。
【0166】
超音波画像診断、例えば３Ｄ超音波画像診断が行われることもある。対応する超音波画像データを右上の写真に示す。超音波画像データに基づいて、変形能特性を推定する。
【0167】
超音波画像データの１つ以上の第一の部分集合が決定されることがある。一つ以上の第一部分集合は、例えば、媒体の一つ以上の疑わしい病変に対応する。
【0168】
変形媒体は、変形能特性に基づいてシミュレーションすることができる。シミュレーションは、シミュレーションされた変形媒体が、他の画像データ、例えばマンモグラフィ画像データ及び／又はトモシンセシスデータに関連付けられた媒体の変形状態と一致するようなものであってもよい。
【0169】
変形されたシミュレーション媒体において、１つ以上の変形されたシミュレーション第一部分集合を決定することができる。
【0170】
第一の部分集合は、例えば、変形能特性に基づいて、第二の部分集合と関連付けさせることができる。シミュレーションされた変形された第一の部分集合は、第二の部分集合に関連付けされることがある。
【0171】
超音波画像データは、例えばシミュレーション変形媒体に基づく変形能特性に基づいて、他の画像データと関連付けされる。
【0172】
超音波画像データと他の画像データとの関連付け信頼度が決定されてもよい。例えば関連付け信頼度は、変形能特性及び／又は第二の部分集合を第一の部分集合に関連づける関連付け信頼度に基づいて、決定され得る。
【0173】
図４は、本開示の実施形態による方法のさらに別の例示的な実施形態を示す。
【0174】
動作１（Ｏ１）の間、マンモグラフィ及び／又はトモシンセシススキャンが実行され、他の画像データが取得されてもよい。
【0175】
動作２（Ｏ２）の間、他の画像データの１つ以上の第二の部分集合が決定され得る。
【0176】
動作３（Ｏ３）の間、媒体、例えば人間の乳房の超音波検査、例えば３Ｄ超音波検査が行われてもよく、超音波画像データが得られてもよい。
【0177】
動作４（Ｏ４）の間、超音波画像データの１つ以上の第一の部分集合が決定され得る。
【0178】
動作５（Ｏ５）の間、パラメトリックモデル、例えば３Ｄパラメトリックモデルが構築されることがある。３Ｄパラメトリックモデルは、変形能に基づいて構成される／される場合がある。変形能特性は超音波画像データに基づいて推定される。変形能特性の信頼度が決定されることもある。
【0179】
動作６（Ｏ６）では、変形媒体をシミュレーションすることができる。シミュレーションは、変形能特性に基づいてもよいし、モデルに基づいてもよい。シミュレーションは、シミュレーションされた変形媒体が、他の画像データに関連付けられた媒体の変形状態と一致するようなものであってもよい。
【0180】
動作７（Ｏ７）の間、超音波画像データは、変形能特性に基づいて他の画像データと関連付けされる。超音波画像データと他の画像データとの関連付けすることは、第二の部分集合／１つ又は複数の第二の部分集合を１つ又は複数の第一の部分集合に関連付けすること、及び／又は第二の部分集合／１つ又は複数の第二の部分集合を１つ又は複数のシミュレーションされた変形された第一の部分集合に関連付けすることを含み得る。１つ又は複数の第二の部分集合を１つ又は複数の第一の部分集合に関連付けすることは、前記１つ又は複数の第二の部分集合を前記１つ又は複数の第一の部分集合に関連付けする関連付け信頼度を決定することを含み得る。
【0181】
動作８（Ｏ８）の間、関連付け信頼度が決定されるかもしれない。関連付け信頼度は、例えば、変形能特性及び／又は、変形能特性の信頼度、及び／又は、前記１つ又は複数の第二の部分集合を前記１つ又は複数の第一の部分集合に関連付けする関連付け信頼度を含み得る。
【0182】
本開示の実施例は、信頼度が高く、堅牢で、再現可能で、正確で、正確で、及び／又は高速な方法で、超音波画像データを他の画像データと関連付けさせることを可能にし得る。
【0183】
特許請求の範囲を含む本明細書全体を通して、用語「からなる」は、特に断らない限り、「少なくとも１つからなる」と同義であると理解されるべきである。加えて、特許請求の範囲を含む明細書に記載された範囲は、特に断りのない限り、その端値を含むものと理解されるべきである。記載された要素の具体的な値は、当業者に知られた製造上又は産業上許容される範囲内であると理解すべきである、また、「実質的に」及び／又は「おおよそ」及び／又は「一般的に」という用語の使用は、そのような許容範囲内に収まることを意味すると理解されるべきである。
【0184】
本開示において、「～に関連する」及び「～に代表される」という用語は、異なる表記がない限り、同義に使用される場合がある。
【0185】
本明細書における本開示は、特定の実施例を参照して説明されてきたが、これらの実施例は、本開示の原理及び応用を単に例示するものであることを理解されたい。
【0186】
本明細書及び実施例は例示的なものとしてのみ考慮されることが意図されており、本開示の真の範囲は以下の特許請求の範囲によって示される。
【0187】
本明細書において特許文献又は先行技術として特定されたその他の事項への言及は、当該文献又はその他の事項が公知であったこと、又は当該文献又はその他の事項に含まれる情報が請求項の優先日において一般的な知識の一部であったことを認めるものとして解釈されるものではない。
【0188】
要約すると、上述した本開示による方法は、媒体に関連する超音波画像データを媒体に関連する他の画像データと関連付けさせる方法及びシステムを提供し、この方法は、有利なことに、信頼度が高く堅牢である。さらに、精度が向上するため、ばらつきが減少し、再現性が有利に向上する。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2023-08-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
媒体に関連する超音波画像データを媒体に関連する他の画像データと関連付けする方法（１００）であって、
前記方法は、
前記超音波画像データに基づいて媒体の変形能特性を推定すること（１１０）と、
前記変形能特性に基づいて前記超音波画像データと他の画像データとを関連付けすること（１２０）と、
を含む方法。
前記方法は、
前記超音波画像データに基づいて媒体の変形能特性を推定すること（１１０）と、
前記変形能特性に基づいて前記超音波画像データと他の画像データとを関連付けすること（１２０）と、
を含む方法。
【請求項2】
前記他の画像データは、
超音波画像ソースとは別のソースから発信された画像データと、
Ｘ線画像データと、
マンモグラフィ及び／又はトモシンセシス及び／又はトモグラフィ画像データと、
磁気共鳴（ＭＲ）画像データと、
光学撮像デバイスから発信された画像データと、
その他の超音波画像データと、
のうちの少なくとも１つを含む、
請求項１に記載の方法。
超音波画像ソースとは別のソースから発信された画像データと、
Ｘ線画像データと、
マンモグラフィ及び／又はトモシンセシス及び／又はトモグラフィ画像データと、
磁気共鳴（ＭＲ）画像データと、
光学撮像デバイスから発信された画像データと、
その他の超音波画像データと、
のうちの少なくとも１つを含む、
請求項１に記載の方法。
【請求項3】
前記超音波データは３Ｄ超音波画像データを含み、及び／又は
前記超音波データは、
せん断波弾性（ＳＷＥ）データと、
非線形せん断波弾性（ＮＬ－ＳＷＥ）データと、
Ｂモードデータと、
のうちの少なくとも１つを含む、
請求項１又は２に記載の方法。
前記超音波データは、
せん断波弾性（ＳＷＥ）データと、
非線形せん断波弾性（ＮＬ－ＳＷＥ）データと、
Ｂモードデータと、
のうちの少なくとも１つを含む、
請求項１又は２に記載の方法。
【請求項4】
前記他の画像データに関連付けられた媒体は、超音波画像データに関連付けられた媒体と比較して、異なる変形状態にある、
請求項１又は２に記載の方法。
請求項１又は２に記載の方法。
【請求項5】
前記超音波画像データと前記他の画像データとを関連付けすること（１２０）は、
前記超音波画像データと第三の画像データを関連付けすることと、
前記他の画像データと前記第三の画像データを関連付けすることと、
を含む、
請求項１又は２に記載の方法。
前記超音波画像データと第三の画像データを関連付けすることと、
前記他の画像データと前記第三の画像データを関連付けすることと、
を含む、
請求項１又は２に記載の方法。
【請求項6】
前記媒体はヒトの乳房組織を含む、
請求項１又は２に記載の方法。
請求項１又は２に記載の方法。
【請求項7】
前記変形能特性を推定すること（１１０）は、
前記媒体の弾性特性と、
前記媒体の非線形弾性特性と、
前記媒体の剛性特性と、
前記媒体の幾何学的特性と、
前記媒体の構造特性及び／又は粒度特性と、
前記媒体の密度特性と、
前記媒体の吸収特性と、
のうちの少なくとも１つを推定することを含む、
請求項１又は２に記載の方法。
前記媒体の弾性特性と、
前記媒体の非線形弾性特性と、
前記媒体の剛性特性と、
前記媒体の幾何学的特性と、
前記媒体の構造特性及び／又は粒度特性と、
前記媒体の密度特性と、
前記媒体の吸収特性と、
のうちの少なくとも１つを推定することを含む、
請求項１又は２に記載の方法。
【請求項8】
前記変形能特性は、
有限要素モデリングと、
境界を用いた有限要素モデリングと、
アクティブキューブを用いたモデリングと、
境界要素モデリングと、
予め定義された登録方法と、
のうちの少なくとも１つに基づいて推定される、
請求項１又は２に記載の方法。
有限要素モデリングと、
境界を用いた有限要素モデリングと、
アクティブキューブを用いたモデリングと、
境界要素モデリングと、
予め定義された登録方法と、
のうちの少なくとも１つに基づいて推定される、
請求項１又は２に記載の方法。
【請求項9】
前記超音波画像データと前記他の画像データとを関連付けすること（１２０）は、
シミュレーションされた変形媒体が他の画像データに関連付けられた媒体の変形状態と一致するように、変形能特性に基づいて変形媒体をシミュレーションすることを含む、
請求項１又は２に記載の方法。
シミュレーションされた変形媒体が他の画像データに関連付けられた媒体の変形状態と一致するように、変形能特性に基づいて変形媒体をシミュレーションすることを含む、
請求項１又は２に記載の方法。
【請求項10】
変形媒体をシミュレーションすることは、さらに他の画像データに基づいており、及び／又は、
変形媒体をシミュレーションすることは、制御ループにおいて他の画像データを用いる、
請求項１又は２に記載の方法。
変形媒体をシミュレーションすることは、制御ループにおいて他の画像データを用いる、
請求項１又は２に記載の方法。
【請求項11】
前記超音波画像データと前記他の画像データとを関連付けすること（１２０）は、
前記媒体の第一の部分に関連する超音波画像データの第一の部分集合を決定することと、
前記媒体の第二の部分に関連する他の画像データの第二の部分集合を決定することと、
オプションでシミュレーションされた変形媒体に基づき、第二の部分集合を第一の部分集合に関連付けすることと、
を含む、
請求項１に記載の方法。
前記媒体の第一の部分に関連する超音波画像データの第一の部分集合を決定することと、
前記媒体の第二の部分に関連する他の画像データの第二の部分集合を決定することと、
オプションでシミュレーションされた変形媒体に基づき、第二の部分集合を第一の部分集合に関連付けすることと、
を含む、
請求項１に記載の方法。
【請求項12】
前記媒体の第一の部分は、
前記媒体の弾性特性と、
前記媒体の非線形弾性特性と、
予め定義されたコンピュータ実装のアルゴリズムを用いる画像セグメンテーション及び／又は分類方法と、
のうちの少なくとも１つに基づいて周囲の媒体から区別される、
請求項１１に記載の方法。
前記媒体の弾性特性と、
前記媒体の非線形弾性特性と、
予め定義されたコンピュータ実装のアルゴリズムを用いる画像セグメンテーション及び／又は分類方法と、
のうちの少なくとも１つに基づいて周囲の媒体から区別される、
請求項１１に記載の方法。
【請求項13】
前記媒体の第二の部分は、予め定義されたコンピュータ実装アルゴリズムを用いる画像分割及び／又は分類方法に基づいて、周囲の媒体から区別される、
請求項１１又は１２に記載の方法。
請求項１１又は１２に記載の方法。
【請求項14】
前記方法はさらに、
前記変形能特性の信頼度を決定することと、
前記超音波画像データと前記他の画像データとの関連付け信頼度を決定すること（１３０）とを含み、
前記関連付け信頼度を決定することは、
変形能特性と、
変形能特性の信頼度と、
のうちの少なくとも１つに基づいている、
請求項１１又は１２に記載の方法。
前記変形能特性の信頼度を決定することと、
前記超音波画像データと前記他の画像データとの関連付け信頼度を決定すること（１３０）とを含み、
前記関連付け信頼度を決定することは、
変形能特性と、
変形能特性の信頼度と、
のうちの少なくとも１つに基づいている、
請求項１１又は１２に記載の方法。
【請求項15】
前記方法は、
第一の部分と第二の部分の空間的距離と、
シミュレーションされた変形媒体中の第一の部分と第二の部分との空間的距離と、
第一の部分と第二の部分との間の空間的な重なりと、
シミュレーションされた変形媒質中の第一の部分と第二の部分との空間的な重なりと、
第一の部分及び／又は第二の部分の輪郭と、
シミュレーションされた変形媒体中の第一の部分及び／又は第二の部分の輪郭と、
前記変形能特性と、
前記変形能特性の信頼度と、
のうちの少なくとも１つに基づいて、前記第二の部分集合を前記第一の部分集合に関連付けする関連付け信頼度を決定することをさらに含む、
請求項１４に記載の方法。
第一の部分と第二の部分の空間的距離と、
シミュレーションされた変形媒体中の第一の部分と第二の部分との空間的距離と、
第一の部分と第二の部分との間の空間的な重なりと、
シミュレーションされた変形媒質中の第一の部分と第二の部分との空間的な重なりと、
第一の部分及び／又は第二の部分の輪郭と、
シミュレーションされた変形媒体中の第一の部分及び／又は第二の部分の輪郭と、
前記変形能特性と、
前記変形能特性の信頼度と、
のうちの少なくとも１つに基づいて、前記第二の部分集合を前記第一の部分集合に関連付けする関連付け信頼度を決定することをさらに含む、
請求項１４に記載の方法。
【請求項16】
前記超音波画像データと前記他の画像データとを関連付けする関連付け信頼度を決定することは、前記第二の部分集合と前記第一の部分集合とを関連付けする関連付け信頼度を決定することに基づいている、
請求項１５に記載の方法。
請求項１５に記載の方法。
【請求項17】
変形媒体をシミュレーションする動作と、及び／又は
第一の部分集合を決定することと、及び／又は
第二の部分集合を決定することと、及び／又は
第二の部分集合と第一の部分集合との関連付けることと、及び／又は
超音波画像データと他の画像データとの関連付け信頼度を決定することと、及び／又は
第二の部分集合と第一の部分集合との関連付け信頼度を決定することは、
コンピュータに実装されたアルゴリズムを用いて実行される。
請求項９に記載の方法。
第一の部分集合を決定することと、及び／又は
第二の部分集合を決定することと、及び／又は
第二の部分集合と第一の部分集合との関連付けることと、及び／又は
超音波画像データと他の画像データとの関連付け信頼度を決定することと、及び／又は
第二の部分集合と第一の部分集合との関連付け信頼度を決定することは、
コンピュータに実装されたアルゴリズムを用いて実行される。
請求項９に記載の方法。
【請求項18】
データ処理システムによって実行されると、前記データ処理システムに請求項１又は２に記載の方法を実行させる、コンピュータ読み取り可能な命令を含むコンピュータプログラム。
【請求項19】
媒体に関連付けられた超音波画像データを、媒体に関連付けられた他の画像データと関連付けさせるシステムであって、
前記システムは、
超音波データに基づいて媒体の変形能特性を推定し、前記変形能特性に基づいて、超音波画像データと他の画像データを関連付けするように構成された処理ユニットを備える、
システム。
前記システムは、
超音波データに基づいて媒体の変形能特性を推定し、前記変形能特性に基づいて、超音波画像データと他の画像データを関連付けするように構成された処理ユニットを備える、
システム。
【外国語明細書】