特開 2024-138282 反転データのセグメント化、レンダリングの方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024138282

(43)【公開日】2024-10-08

(54)【発明の名称】反転データのセグメント化、レンダリングの方法及びシステム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20241001BHJP

【ＦＩ】

A61B8/14

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024098035

(22)【出願日】2024-06-18

(62)【分割の表示】P 2021547210の分割

【原出願日】2020-02-21

(31)【優先権主張番号】62/808,572

(32)【優先日】2019-02-21

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(74)【代理人】

【識別番号】100145654

【弁理士】

【氏名又は名称】矢ヶ部 喜行

(72)【発明者】

【氏名】シーラン パウル

(72)【発明者】

【氏名】ルーパス サナシス

(72)【発明者】

【氏名】トレムブレイ ダルヴー チャールズ

(57)【要約】      （修正有）

【課題】反転レンダリングを生成する前に3次元データを前処理する。
【解決手段】前処理は３次元データをセグメント化して、ノイズに関連するデータの部分を除去し、それらの部分が生成されるレンダリングに現れないようにすることを有することができる。セグメント化は、３次元データにマスクを適用することを有することができる。マスクは、前記３次元データセット内のデータポイントを第1のセット又は第2のセットにソートすることによって生成されてもよい。３次元データがマスクを生成する前にフィルタリングされてもよい。マスクが特徴認識に基づいて調整され得る。前処理は、ボリューム内の関心低エコー領域の視覚化を可能にすることができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

3次元データセットのデータポイントを第1のセット又は第2のセットの1つにソートするステップであって、前記３次元データセットは第1のボリュームを定義する、ステップと、
前記３次元データセットに対応するマスクを生成するステップであって、前記第1のセットにソートされる前記３次元データセットのデータポイントに対応する前記マスクのデータポイントは第1の値に設定され、前記第2のセットにソートされる前記３次元データセットのデータポイントに対応する前記マスクのデータポイントは第2の値に設定され、前記第1の値に設定される前記マスクの前記データポイントの外部境界は前記第1のボリューム内の第2のボリュームを定義する、ステップと、
前記第２のボリュームの外側のデータポイントに対応する前記３次元データセットのデータポイントが破棄されて、前記３次元データセットのサブセットを生成するように前記３次元データセットに前記マスクを適用するステップと、
前記３次元データセットの前記サブセットから反転レンダリングを生成するステップと
を有する、方法。

【請求項2】

閾値より上の前記３次元データセットの前記データポイントは前記第1のセットにソートされ、前記閾値より下の前記３次元データセットのデータポイントは前記第2のセットにソートされる、請求項1に記載の方法。

【請求項3】

前記３次元データセットの前記データポイントはさらに第3のセットにソートされ、前記第3のセットにソートされる前記３次元データセットのデータポイントに対応する前記マスクのデータポイントは第3の値に設定される、請求項1に記載の方法。

【請求項4】

前記第3のセットにソートされる前記３次元データセットの前記データポイントは、前記第1のセット又は前記第2のセットにソートされる前記３次元データセットの前記データポイントと比較して、前記反転レンダリングにおいて異なるようにレンダリングされる、請求項3に記載の方法。

【請求項5】

前記第3のセットにソートされる前記３次元データセットの前記データポイントは、前記第1のセットにソートされる前記３次元データセットの前記データポイントより低い不透明度値でレンダリングされる、請求項４に記載の方法。

【請求項6】

前記３次元データセットの前記データポイントをソートする前に、前記３次元データセットをフィルタリングして、信号値とノイズ値との間の差を増加させるステップをさらに有する、請求項1に記載の方法。

【請求項7】

閾値が前記フィルタリングに基づいて設定される、請求項6に記載の方法。

【請求項8】

前記３次元データセットをフィルタリングするステップは、2次元又は3次元平滑化カーネルを適用するステップを有する、請求項6に記載の方法。

【請求項9】

前記３次元データセットをフィルタリングするステップは、ヒストグラム等化及び再マッピングアルゴリズムを適用するステップを有する、請求項6に記載の方法。

【請求項10】

前記３次元データセットをフィルタリングするステップは、適応平滑化アルゴリズムを適用するステップを有する、請求項6に記載の方法。

【請求項11】

前記閾値は、スキャンされる組織タイプに基づく、請求項2に記載の方法。

【請求項12】

画像セグメンテーションを前記マスクに適用して、前記第2のボリュームから前記第1のボリュームに延在する形態学的特徴を認識するステップと、
前記形態学的特徴を含むように前記第2のボリュームを調整するステップと
を更に有する、請求項1に記載の方法。

【請求項13】

前記データポイントをソートするステップは、ファジー論理によって実行される、請求項1に記載の方法。

【請求項14】

前記データポイントをソートするステップは、深層学習アルゴリズムによって実行される、請求項1に記載の方法。

【請求項15】

ボリュームを定義する３次元データセットを含む非一時的コンピュータ可読媒体と、
プロセッサであって、
前記3次元データセットのデータポイントを第1のセット又は第2のセットの1つにソートし、
前記３次元データセットに対応するマスクを生成し、前記第1のセットにソートされる前記３次元データセットのデータポイントに対応する前記マスクのデータポイントは第1の値に設定され、前記第2のセットにソートされる前記３次元データセットのデータポイントに対応する前記マスクのデータポイントは第2の値に設定され、
前記第1の値に設定される前記マスクの前記データポイントの外部境界を決定し、
前記外部境界に基づいて前記第1のボリューム内の第2のボリュームを定義し、
前記第２のボリュームの外側のデータポイントに対応する前記３次元データセットのデータポイントを破棄して、前記３次元データセットのサブセットを生成するように前記３次元データセットに前記マスクを適用し、
前記３次元データセットの前記サブセットから反転レンダリングを生成する
ように構成される、プロセッサと
を有する、システム。

【請求項16】

ユーザ入力を受信するように構成されるユーザインターフェースをさらに備え、前記ユーザ入力は閾値を定義する、請求項15に記載のシステム。

【請求項17】

前記プロセッサは、前記３次元データセットの前記データポイントを前記閾値と比較する前に、前記３次元データセットをフィルタリングして、信号値とノイズ値との間の差を増加させるようにさらに構成される、請求項15に記載のシステム。

【請求項18】

ユーザ入力を受信するように構成されるユーザインターフェースをさらに備え、前記ユーザ入力は、前記３次元データセットをフィルタリングするように前記プロセッサによって適用されるフィルタを定義する、請求項17に記載のシステム。

【請求項19】

ユーザ入力を受信するように構成されるユーザインターフェースをさらに備え、前記ユーザ入力は、前記３次元データセットの前記ボリュームを定義する、請求項15に記載のシステム。

【請求項20】

ユーザ入力を受信するように構成されるユーザインターフェースをさらに備え、前記ユーザ入力は、前記反転レンダリングに含まれるべき特徴を定義する、請求項13に記載のシステム。

【請求項21】

ユーザ入力を受信するように構成されるユーザインターフェースをさらに備え、前記ユーザ入力は、前記反転レンダリングのコントラスト又は前記反転レンダリングの不透明度を設定する、請求項13に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、3次元データの反転レンダリングに関する。
より具体的には、本出願がデータの反転レンダリングに先立つ3次元データの前処理に関する。

【背景技術】

【0002】

超音波画像は被検体(例えば、被験者)に超音波信号を送信し、送信される信号から受信されるエコーを処理することによって生成される。医用画像では、エコーが典型的には超音波信号を反射する組織構造(例えば、細胞壁、結合繊維)によって生成される。超音波信号はボリュームの3次元(3D)画像を生成する(例えば、レンダリングする)ために、ボリュームを通して送信され、ボリュームからエコーを受信することができる。例えば、医用撮像では、臓器(例えば、心臓、肝臓)又は臓器の一部の3D画像を生成することができる。3D画像は、ボクセルの色及び／又は明度がその位置におけるエコー信号の強度に対応する色又はグレースケールであってもよい。すなわち、最も高い強度の信号を有するボクセルは最も明るい値(例えば、グレースケールの白色)でレンダリングされ、最も低い強度の信号を有するボクセルは最も暗い値(例えば、グレースケールの黒)でレンダリングされる。正のレンダリングは音響的に反射する構造を強調する傾向があり、一方、信号の低い領域は強調されない。

【0003】

ボリューム内の特定の特徴はエコー信号(例えば、低エコー)をほとんど又は全く提供しないにもかかわらず、関心のあるものであり得る。例えば、血管、胆嚢、及びいくつかの病変は、対象の解剖学的構造の3D画像において暗い領域としてレンダリングされ得る。超音波システムは、3D画像の負又は「反転レンダリング」を生成することができる。反転レンダリングでは、最も強度の高い信号を持つボクセルは最も暗い値でレンダリングされ(例グレースケールでは黒)、最も強度の低い信号は最も明るい値でレンダリングされる(例グレースケールでは白色)。反転レンダリングは、ユーザが関心のある低エコー領域をより容易に観察することを可能にし得る。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、関心特徴(例えば、不十分に結合される組織、シャドウイング、ノイズによって覆い隠される領域)を含まない低信号の領域もまた、低エコーであり、反転レンダリングにおいて強調され得る。場合によっては、低信号の領域が反転レンダリングを支配し、関心のある低エコー領域が不明瞭になることがある。これは、反転レンダリングの効用を低減又は排除することができる。

【課題を解決するための手段】

【0005】

反転レンダリングを生成する前に3次元データを前処理するための方法及びシステムが記載される。3Dデータを前処理することは、3Dデータを2つ以上のセット、例えば、レンダリングされるデータ及び3Dレンダリングされる画像に寄与することが許されないデータにセグメント化することを含むことができる。セグメント化は、マスクを3Dデータセットに適用することによって実行されてもよい。いくつかの例では、マスクはバイナリマスクである(例えば、データポイントは2つのセットにソートされる)。前処理は、セグメント化の前にノイズを低減することを含むことができる。ノイズを低減することは、平滑化カーネル及び／又は適応平滑化(例えば、パーシスタンス)アルゴリズムを適用することを含み得る。ノイズを低減すると、アプリケーションによってはセグメンテーションの性能が向上する場合がある。反転レンダリングを生成する前に3Dデータを前処理することは、いくつかのアプリケーションにおいて、ノイズによる関心低エコー領域の不明瞭化を低減することができる。

【0006】

本明細書で開示される少なくとも1つの例によれば、方法は3次元データセットのデータポイントを第1のセット又は第2のセットの1つにソートするステップであって、3Dデータセットが第1のボリュームを定義し、第1のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントが第1の値に設定され、第2のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントが第2の値に設定され、第1の値へのマスクセットのデータポイントの外側境界が第1のボリューム内の第2のボリュームを定義するステップと、第2のボリュームの外側の3Dデータセットのデータポイントに対応する3Dデータセットのデータポイントが破棄されて3Dデータセットのサブセットが生成されるようにマスクを3Dデータセットに適用するステップと、3Dデータセットのサブセットから反転レンダリングを生成するステップとを含むことができる。

【0007】

本明細書に開示する少なくとも1つの例によれば、システムはボリュームを規定する3次元データセットを含む非一時的コンピュータ可読媒体と、3Dデータセットのデータポイントを第1のセット又は第2のセットの1つにソートし、第1のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントを生成し、第2のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントを第1の値に、第2のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントを第2の値に、それぞれ決定し、第1の値にマスクセットのデータポイントの外側境界を決定し、外側の境界に基づいて第1のボリューム内の第2のボリュームを定義し、第2のボリューム外のデータポイントに対応する3Dデータセットのデータポイントを破棄するためにマスクを第3Dデータセットに適用し、3Dデータセットのサブセットから反転レンダリングを生成するように構成されるプロセッサとを含むことができる。

【図面の簡単な説明】

【0008】

【図1】肝臓内のボリュームの代表的な超音波スキャンを示す。

【図2】肝臓内のボリュームの代表的な他の超音波スキャンを示す。

【図3】本開示のいくつかの実施形態に従って構成される超音波画像システムのブロック図である。

【図4】胆嚢を含むボリュームの代表的な超音波スキャンと、本開示のいくつかの実施形態に従って処理されるスキャンとを示す。

【図5】本開示のいくつかの実施形態による、代表的な処理済み超音波スキャン、マスク、及び処理済み超音波スキャンの反転レンダリングを示す。

【図6】本開示のいくつかの実施形態による、セグメント化を伴わない代表的な超音波スキャンの代表的な反転レンダリングと、セグメント化を伴う代表的な超音波スキャンの反転レンダリングとを示す。

【図7】本開示のいくつかの実施形態による方法のフローチャートである。

【図8】本開示のいくつかの実施形態による例示的なプロセッサを示すブロック図である。

【発明を実施するための形態】

【0009】

特定の例示的な実施形態の以下の説明は、本質的に例示的なものにすぎず、決して本発明又はそのアプリケーション又は使用を限定することを意図するものではない。本システム及び方法の実施形態の以下の詳細な説明では、本明細書の一部を形成し、説明されるシステム及び方法を実施することができる特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は当業者が発明開示されているシステム及び方法を実施することを可能にするのに十分に詳細に記載されており、他の実施形態が利用されてもよく、構造的及び論理的な変更が、本システムの精神及び範囲から逸脱することなくなされてもよいことが理解されるべきである。さらに、明確にするために、特定の特徴の詳細な説明は本システムの説明を不明瞭にしないように、当業者に明らかである場合には論じない。したがって、以下の詳細な説明は限定的な意味で解釈されるべきではなく、本システムの範囲は添付の特許請求の範囲によってのみ定義される。

【0010】

前述のように、3次元データセットの正レンダリングは高強度エコー信号に関連するボクセルを光値又は光値(例えば、白色)として可視化する一方、低強度エコー信号に関連するボクセルは暗い値(例えば、黒色)として可視化する。一般に、関心領域において最も明るい構造(例えば、最も音響的に反射性)を引き出すことを求める正レンダリングは一般に、不透明度マップの利用と、一般に撮像される物体、例えば、超音波を介して問い合わせられる組織及び／又は器官の予想される音響特性に基づく最適化制御とによって、意図されるように機能する。不透明度マップ及び最適化制御は、多くの現在の超音波画像システムに含まれる。

【0011】

逆3Dレンダリングは均一な／明るい組織内の血管及び低エコー病変を強調する可能性を有するが、有用性は関心特徴(例えば、信号又はノイズのない領域)を含まないが、3Dレンダリング画像に含まれる低エコー領域の逆転によって著しく制限され得る。

【0012】

図1は、肝臓内のボリュームの代表的な超音波スキャンを示す。反転レンダリングが望ましい場合の例は、胃腸(GI)用途、例えば肝臓画像である。共通の問題は、肝臓が肋骨又は他の困難な音響窓を通して撮像され得ることである。肝臓は撮像ボリュームの中央に含まれてもよいが、ボリュームの外側領域はノイズを含む。肋骨、骨、及び／又は屈折からのシャドーイングは、反転レンダリングにおいて明るいアーチファクトを生成し得る。これらの領域は有用な信号を含まないが、外側エッジから内側に突出する最終的な反転レンダリングを支配し得る。

【0013】

図1に示すように、ペイン102は、スキャンされるボリュームの中心を通る肝臓の冠状スライスを示す。ペイン104はスキャンされるボリュームの中心を通る肝臓の矢状スライスを示し、ペイン106は、スキャンされるボリュームの中心を通る肝臓の横断スライスを示す。3つのパネルすべてで2つの低エコー病変110を観察することができる。低信号の幾つかの領域は例えば、窓ガラス104の領域112及び114内の窓ガラスにも観察することができる。これらの低信号領域112、114は、肋骨陰影、被験者の皮膚とのトランスデューサの不十分な音響結合、及び／又は他の要因の結果であり得る。低信号の原因にかかわらず、ボリュームの周辺上の低信号領域112、114は反転レンダリングにおいて明るい「壁」として現れ、低エコー病変110を部分的又は完全に不明瞭にすることがあり、明るい壁は、レンダリングするボリューム内の限定される関心領域(ROI)を手動で選択することによって「切り取られる」ことがある。ペイン104及び106に示すように、ユーザはボックス116及び／又は線118のサイズ及び位置を操作することによってレンダリングするボリュームのROIを定義するために、ユーザインターフェースを介して超音波システムと対話することができる。

【0014】

ペイン108は、ユーザによって手動でトリミングされるボリュームの反転レンダリングを示す。低エコー病変110は反転レンダリングで見えるが、アーチファクトは直交次元に残り、反転レンダリングを回転させる際に問題を引き起こす可能性がある。さらなるトリミングはこれらのアーチファクトを除去することができるが、3Dデータを回転させ、病変110をボックス116内に保持する能力を低減することができる。サーフェスレンダリングと最大強度レンダリングを含む、3Dデータセットのためのいくつかのレンダリング技術が存在する。

【0015】

多くのレンダリング技法は3Dデータセットに関連するボリュームの2D表現(例えば、画像)をレンダリングするために、ユーザによって選択されるか、又はシステムによって事前設定される視点から、3Dデータセットを通して平行光線を投影する。表面レンダリングでは、「最も近い」ボクセルがレンダリングされて2D画像が生成され、すなわち、最初に平行光線によって「ヒット」されるボクセルが表示される。最大強度レンダリングでは、光線に沿って最も高い強度を有するボクセルがレンダリングされるか、又は所与の深度範囲内で最も高い強度がレンダリングされる。反転レンダリングには、表面投影技術と最大投影技術の両方を使用することができる。

【0016】

図2は、血管を有する肝臓の代表的な超音波スキャンを示す。ペイン202はスキャンされるボリュームの代表的なスライスを示し、ペイン204は、表面レンダリング技術を使用して、ボリューム全体の反転レンダリングを示す。ボリュームの周辺における低信号は、ペイン204内の反転レンダリング内の血管をほぼ完全に覆い隠す。パネル206は、スキャンされるボリュームの代表的なスライスと、ユーザによって設定されるROIボックス207とを示す。ペイン208は、ROIボックス207によって定義されるトリミングされるボリュームの表面レンダリングを示す。血管209はトリミングされるボリュームの反転レンダリングで見えるが、不適切なトリミングによって、いくつかの細部は不明瞭なままである。

【0017】

ペイン210はスキャンされるボリュームの代表的なスライスを示し、ペイン212は、最大強度技術を使用して、ボリューム全体の反転レンダリングを示す。表面レンダリングと同様に、ボリュームの周辺におけるノイズは、ボリューム内の関心のある任意の特徴をほぼ完全に覆い隠す。パネル214は、スキャンされるボリュームの代表的なスライスと、ユーザによって設定されるROIボックス215とを示す。ペイン216は、ROIボックス215によって定義されるトリミングされるボリュームの最大強度レンダリングを示す。血管217は、トリミングされるボリュームの反転レンダリングで見ることができる。最大強度レンダリングは図2に見られるように、表面レンダリングよりいくらか詳細を提供し得るが、詳細はボリュームの周辺におけるノイズによって依然として不明瞭である。表面及び最大強度レンダリングの両方は、レンダリングされるボリュームの手動トリミングだけでなく、閾値、不透明度、及び透明度などの撮像パラメータに対する手動ユーザ調整も必要とする。

【0018】

図1及び図2に示すように、例えば、狭いROIボックスを使用して混乱した領域を排除し、閾値及び透明度のような設定を調整するような、関心特徴を分離するための高いユーザワークフロー負荷が存在する。取得後の分析において、低エコー特徴がボリューム内に捕捉されていることが先験的に知られている場合、このプロセスは時間がかかるが、許容可能であり得る。診断の目的のためのライブ(4D)イメージングでは、妨害アーチファクト及びワークフロー負荷が反転レンダリング技法の有用性の有用性を著しく制限する可能性がある。

【0019】

理想的には、3D又は4Dにおける反転レンダリングが最小限のワークフロー負荷で低エコー領域の単純な視覚化を可能にすることはずである。本開示では、ノイズ(単にノイズとも呼ばれる)による信号ではなく、関心領域(例えば、組織)からの信号を含むことが知られているボリュームの領域のみを投影するために、3Dデータセットをセグメント化する態様を自動化する「スマート反転」アプローチ。最終的な反転レンダリングにおいて、特定のクラスの特徴(例えば、「血管強調」対「血管強調なし」の基準を満たす特徴)又は特徴サイズ(例えば、大きな血管対小さな血管)の強調などの追加の強調を任意選択で含めることができる。追加の拡張機能の一部又はすべては、ユーザによって制御される場合がある。

【0020】

本明細書で説明するように、超音波画像システムなどのシステムは、ボリュームを定義する3次元データセットを受信又は取得することができる。例えば、3Dデータセットは、超音波トランスデューサを用いてボリュームをスキャンすることから取得されるエコー信号からのデータを含むことができる。3Dデータセットは、システムに含まれる非一時的コンピュータ可読媒体に記憶されてもよい。システムは、3Dデータセットのデータポイントを2つのセットの1つにソートするように構成されるプロセッサを含んでもよい。ソートに基づいて、プロセッサは、3Dデータセットに対応するマスクを生成してもよい。すなわち、マスクはマスク内の各データポイントが3Dデータセット内のデータポイントに対応するように、3Dデータセットと同じ次元及び数のデータポイントを有する可能性がある。第1のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントは第1の値(例えば、1)にセットされ得、第2のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントは第2の値(例えば、0)にセットされ得る。一部の例では、データポイントは2つ以上のセットにソートされる場合がある。

【0021】

データポイントは、さまざまな方法でセットにソートできる。例えば、2つのセットへのデータポイントのソートは、各データポイントを閾値と比較することによって実行されてもよい。閾値を超えるデータポイントは最初のセットでソートされ、閾値を下回るデータポイントは第２のセットにソートされる。閾値に等しいデータポイントはいくつかの例では最初のセットに、他の例では第２のセットにソートすることができる。マスクを生成するために使用される閾値は、いくつかのアプリケーションではシステム内で事前設定されてもよい。他の用途では、閾値が実施される検査のタイプ(例えば、肝臓検査、心臓検査)に基づいてもよい。一般的な検査では、関心組織及び／又は他の構造に関連する典型的な値はよく知られており、閾値を設定するために使用されてもよい。いくつかの実施形態において、システムは、ユーザ入力を受信するように構成されるユーザインターフェースを含んでもよい。ユーザはユーザインターフェースを介して入力を提供することによって、閾値を手動で設定し、かつ／又は検査のタイプを示して、予め設定される閾値をロードすることができる。

【0022】

別の例では、データポイントのセットへのソートがファジー論理演算によって実行されてもよい。例えば、ファジー論理演算は、第1の閾値及び第2の閾値を含むことができる。第1の閾値は、第2の閾値より高くてもよい。第1の閾値を超える値を有するデータポイントは第1のセットに割り当てられ得、第2の閾値を下回る値を有するデータポイントは第2のセットに割り当てられ得る。一部の例では、最初のセットのデータポイントがレンダリングされ、第２のセットのデータポイントがレンダリングされない場合がある。2つの閾値の間の値を有するデータポイントは、いくつかの例において、3つ目のセットに割り当てられてもよい。いくつかの例では、第3のセット内のデータポイントが(例えば、シグモイドファジーメンバーシップ関数及び／又は他のファジーメンバーシップ関数に基づいて)サブセットにさらにソートされ得る。3番目のセットのデータポイントは一部の例では3Dレンダリングに寄与する場合があるが、最初のセットのデータポイントとは異なるレンダリングが行われる場合がある。例えば、第3のセット内のデータポイントは低い不透明度値(例えば、高い半透明度)でレンダリングされてもよい。別の例では、第3のセット内のデータポイントが低減される強度値でレンダリングされ得る。

【0023】

別の例では、訓練される深層学習アルゴリズムが1つ又は複数の学習される特徴(例えば、類似又は異なる値の他のデータポイントへの近接度、データポイントにわたる強度勾配)に基づいて個々のデータポイントを特徴付けることができる。特徴付けに基づいて、個々のデータポイントを2つ以上のセットにソートすることができる。

【0024】

マスクは、3Dデータセットに適用して、3Dデータセットを反転レンダリングで使用されるデータと、反転レンダリング中に無視又は破棄されるデータにセグメント化することができる。例えば、プロセッサは第1の値に設定されるマスクのデータポイントの外側境界を決定し、外側境界に基づいて第1のボリューム内の第2のボリュームを定義することができる。第2のボリュームは、関心領域からの信号に関連する3Dデータセット内のデータポイントを含む3Dデータセットのサブセットを定義することができる。第2のボリュームの外側のデータポイントは、ノイズに関連する3Dデータセット内のデータポイントを定義することができる。マスクによるセグメンテーションに基づいて、プロセッサは、3Dデータセットのサブセットから反転レンダリングを生成してもよい。反転レンダリングは任意の現在知られている又は将来の技術、例えば、表面レンダリング又は最大強度レンダリングによって生成され得る。反転レンダリングは後で表示及び／又は分析するために、ユーザへの表示上に提供され、及び／又はシステムのメモリに記憶されてもよい。

【0025】

いくつかの実施形態では、プロセッサがマスクを生成する前に3Dデータセットをフィルタリングするように構成されてもよい。3Dデータセットをフィルタリングすることは、関心領域からの信号をノイズとして、及びその逆に誤分類することの発生を低減することができる。例えば、フィルタリングは雑音に関連するデータポイントの少なくともいくつかの値を、雑音に関連するより少ないデータポイントが閾値を超える値を有するように、低減することができる。別の例では、フィルタリングが信号に関連付けられたデータポイントの値と、ノイズに関連付けられたデータポイントの値との間の差を増加させることができる。これは、閾値未満の値を有する関心領域からの信号に関連するデータポイントの数を低減し、かつ／又は閾値を超える値を有するノイズに関連するデータポイントの数を低減することができる。いくつかの実施形態では、フィルタリングの結果を使用して閾値を設定することができる。以下でより詳細に説明するように、平滑化カーネル及び適応平滑化(例えば、持続性)アルゴリズムを含むが、これらに限定されない、様々なフィルタリング技法を使用することができる。使用されるフィルタリング技術はシステムによって予め設定されてもよいし、ユーザによって選択されてもよい。

【0026】

図3は、本開示の原理に従って構成される超音波画像システム300のブロック図を示す。本開示による超音波画像システム300は超音波プローブ312、例えば、外部プローブ又は血管内超音波(IVUS)カテーテルプローブなどの内部プローブに含めることができるトランスデューサアレイ314を含むことができる。他の実施形態では、トランスデューサアレイ314が撮像される対象(例えば、被験者)の表面に共形的に適用されるように構成される可撓性アレイの形態であってもよい。トランスデューサアレイ314は超音波信号(例えば、ビーム、波)を送信し、超音波信号に応答してエコーを受信するように構成される。様々なトランスデューサアレイ、例えば、線形アレイ、湾曲アレイ、又はフェーズドアレイを使用することができる。トランスデューサアレイ314は例えば、2D及び／又は3D画像のための仰角寸法及び方位角寸法の両方でスキャンすることができるトランスデューサ素子の2次元アレイ(図示のよう)を含むことができる。一般に知られているように、軸方向はアレイの面に垂直な方向であり(湾曲したアレイの場合、軸方向はファンアウトする)、方位角方向は一般に、アレイの長手方向寸法によって規定され、仰角方向は方位角方向に対して横断的である。

【0027】

いくつかの実施形態では、トランスデューサアレイ314が超音波プローブ312内に配置することができ、アレイ314内のトランスデューサ素子による信号の送受信を制御することができるマイクロビームフォーマ316に結合することができる。いくつかの実施形態では、マイクロビームフォーマ316がアレイ314内の能動素子(例えば、一時点に能動アパーチャを定義するアレイの素子の能動サブセット)による信号の送受信を制御することができる。

【0028】

いくつかの実施形態ではマイクロビームフォーマ316が例えば、プローブケーブルによって、又は無線によって、送信／受信(T／R)スイッチ318に結合されてもよく、このスイッチは送信と受信を切り替え、主ビームフォーマ422を高エネルギー送信信号から保護する。いくつかの実施形態では例えば、携帯型超音波システムではT／Rスイッチ318及びシステム内の他の要素が画像処理電子機器を収容することができる超音波システムベース内ではなく、超音波プローブ312内に含まれ得る。超音波システムベースは、典型的には信号処理及び画像データ生成のための回路、並びにユーザインターフェースを提供するための実行可能命令を含むソフトウェア及びハードウェアコンポーネントを含む。

【0029】

マイクロビーム形成器316の制御下でトランスデューサアレイ314からの超音波信号の送信は送信コントローラ320によって導かれ、送信コントローラはT／Rスイッチ318及び主ビーム形成器322に結合されてもよい。送信コントローラ320は、ビームがステアリングされる方向を制御することができる。ビームは、トランスデューサアレイ314から直進(直交)して、又はより広い視野のために異なる角度でステアリングされてもよい。送信コントローラ420はまた、ユーザインターフェース324に結合されてもよく、ユーザ制御のユーザ操作から入力を受信してもよい。ユーザインターフェース324は1つ以上の機械的制御(例えば、ボタン、エンコーダなど)、タッチ感知制御(例えば、トラックパッド、タッチスクリーンなど)、及び／又は他の公知の入力デバイスを含み得る、制御パネル352などの1つ以上の入力デバイスを含み得る。

【0030】

いくつかの実施形態では、マイクロビーム形成器316によって生成される部分的にビーム形成される信号がトランスデューサ素子の個々のパッチからの部分的にビーム形成される信号を完全にビーム形成される信号に結合することができる主ビーム形成器322に結合することができる。いくつかの実施形態ではマイクロビームフォーマ316は省略され、トランスデューサアレイ314はビームフォーマ322の制御下にあり、ビームフォーマ322は信号のすべてのビーム形成を行う。マイクロビームフォーマ316の有無の実施形態では、ビームフォーマ322のビーム形成信号がビーム形成信号(すなわち、ビーム形成RFデータ)から超音波画像を生成するように構成される1つ又は複数のプロセッサ(例えば、信号プロセッサ326、Bモードプロセッサ328、ドップラープロセッサ360、及び1つ又は複数の画像生成及び処理コンポーネント368)を含んでもよい処理回路350に結合される。

【0031】

信号プロセッサ326は、帯域通過フィルタリング、デシメーション、I及びQ成分分離、及び高調波信号分離のような様々な方法で受信ビーム形成RFデータを処理するように構成することができる。また、信号プロセッサ326は、スペックル低減、信号複合化、及びノイズ除去などの追加の信号強調を実行してもよい。処理される信号(I及びQコンポーネント又はIQ信号とも呼ばれる)は、画像生成のために追加の下流信号処理回路に結合されてもよい。IQ信号はシステム内の複数の信号経路に結合することができ、その各信号経路は異なるタイプの画像データ(例えば、Bモード画像データ、ドップラー画像データ)を生成するのに適した信号処理コンポーネントの特定の配置に関連付けることができる。例えば、システムはBモード画像データを生成するために、信号プロセッサ326からの信号をBモードプロセッサ328に結合するBモード信号経路358を含むことができる。

【0032】

Bモードプロセッサは、体内の構造の画像のために振幅検出を使用することができる。Bモードプロセッサ328によって生成される信号は、スキャンコンバータ330及び／又は多重アナリフォーマッタ332に結合することができる。スキャンコンバータ330は、それらが受信される空間関係から所望の画像フォーマットにエコー信号を配置するように構成することができる。例えば、スキャンコンバータ330は、エコー信号を、2次元(2D)セクタ形状フォーマット、又はピラミッド形又は他の形状の3次元フォーマットに配置することができる。マルチプレーナリフォーマッタ332は例えば、米国特許第6，443，896号(Detmer)に記載されているように、身体のボリューム領域内の共通平面内の点から受け取ったエコーを、その平面の超音波画像(例えば、Bモード画像)に変換することができる。いくつかの実施形態では、スキャンコンバータ330及びマルチプレーナリフォーマッタ332が1つ又は複数のプロセッサとして実装され得る。ボリュームレンダラ334は例えば、米国特許第6，530，885号(Entrekinら)に記載されているように、所与の基準点から見た3Dデータセットの画像(投影、レンダリング、又はレンダリングとも呼ばれる)を生成することができる。

【0033】

ボリュームレンダラ334は、いくつかの実施形態では1つ又は複数のプロセッサとして実装され得る。ボリュームレンダラ334は、表面レンダリング及び最大強度レンダリングなどの任意の既知の又は将来の既知の技法によって、ポジティブレンダリング又はネガティブレンダリングなどのレンダリングを生成することができる。

【0034】

本開示の原理によれば、ボリュームレンダラ334は、反転レンダリングを生成する前に3Dデータセットをセグメント化することができる。セグメント化は、マスクを3Dデータセットに適用することによって実行されてもよい。マスクは3Dデータセット内のデータポイントを2つのセット(例えば、レンダリングされるデータポイント及びレンダリングから除外されるデータポイント)にソートすることによって、ボリュームレンダラ334によって生成されてもよい。いくつかの例では、ボリュームレンダラ334がレンダリングされるべきデータを含む第1のセットに対応する閾値(例えば1)より上の値を有する3Dデータセット内のデータポイントに対応するマスク内のデータポイントと、レンダリングされないデータを含む第2のセットに対応する第2の値(例えば0)より下の値を有する3Dデータセット内のデータポイントに対応するマスク内のデータポイントとを設定することができる。第1の値に対応するマスク内のデータポイントの外側境界は、3Dデータセットのサブセットを定義することができる。次に、ボリュームレンダラ334は3Dデータセット(例えば、マスクされる3Dデータセット)のサブセットのみの反転レンダリングを生成することができる。外側境界の外側の3Dボリュームのデータポイントは、ボリュームレンダラ334によって無視されるか、又は破棄されてもよい。

【0035】

3Dデータセットのサブセットは、マスク内の第2の値に設定される外側境界内のデータポイントを含むことができる。これらのデータポイントは、いくつかのアプリケーションにおいて、関心低エコー領域に対応し得る。しかしながら、ボリュームレンダラ334は、マスク内の第1の値に等しいデータポイントの外側境界を使用するので、サブセット内の低エコー領域は反転レンダリングを生成するときに、ボリュームレンダラ334によって無視又は廃棄されない。

【0036】

いくつかのアプリケーションでは、低エコー関心領域が外側境界によって画定される領域内から外側境界を超えて延びることができる。例えば、血管は、3Dデータセットによって画定されるスキャンされるボリューム全体を通過することができる。この例では、マスクによって画定される外側境界の外側にある血管の部分が反転レンダリングを生成するときに、ボリュームレンダラ334によって無視又は廃棄され得る。任意選択で、3Dデータセットのサブセットを超えて延在する低エコー領域の特徴を保存するために、形態学的動作及び／又は特徴検出をマスクに適用することができる。これらの動作は、第1の値に設定されるデータポイントの外側境界を調整することができる。形態学的及び／又は特徴検出は、「オープン」、「フィル」、及び「ウォークアウト」アルゴリズムなどの既知又は将来の既知の画像セグメンテーション技法を使用することができる。形態学的特徴を認識するように訓練される人工知能又は深層学習アルゴリズムを使用して、マスクを調整することもできる。

【0037】

前述したように、いくつかの例では、閾値を使用してデータポイントを2つのセットにソートすることができる。マスクを生成するために使用される閾値は、様々な方法で設定することができる。いかなるセグメンテーション問題においても、閾値より低いROIからの信号に関連付けられたデータポイントと、閾値より高いノイズに関連付けられたデータポイントとが存在し得ることが困難である。閾値は、可能な限り正確に設定されるべきである。閾値が積極的に低く設定される場合、反転レンダリングは、組織の部分を含まなくてもよい。しかしながら、閾値が高すぎるように設定されると、関心低エコー領域が不明瞭になる可能性がある。いくつかのアプリケーションでは、ボリュームレンダラ334が閾値未満の値を有する信号データポイントの数、及び閾値を超える値を有するノイズデータポイントの数を低減するために、マスクの生成の前に3Dデータセットを事前処理することができる。以下でさらに詳細に説明するように、様々なフィルタリング技法を使用することができる。

【0038】

いくつかの実施形態では、システムが信号プロセッサ326からの出力をドップラープロセッサ360に結合するドップラー信号経路362を含むことができる。ドップラープロセッサ160はドップラーシフトを推定し、ドップラー画像データを生成するように構成され得る。ドップラー画像データは表示のためにBモード(すなわち、グレースケール)画像データとオーバーレイされるカラーデータを含むことができる。ドップラープロセッサ360は例えば、ウォールフィルタを使用して、不要な信号(すなわち、移動していない組織に関連する雑音又はクラッタ)をフィルタ除去するように構成されてもよい。ドップラープロセッサ360は、既知技術に従って速度及び電力を推定するようにさらに構成され得る。例えば、ドップラープロセッサは速度(ドップラー周波数)推定がラグ―ワン自己相関関数の引数に基づいており、ドップラー電力推定がラグ―ゼロ自己相関関数の大きさに基づいている、自己相関器のようなドップラー推定器を含んでもよい。動きは、既知の位相領域(例えば、MUSIC、ESPRIT等のパラメトリック周波数推定器)又は時間領域(例えば、相互相関)信号処理技術によって推定することもできる。速度推定器の代わりに、又は速度推定器に加えて、加速度又は時間及び／又は空間速度微分の推定器など、速度の時間又は空間分布に関連する他の推定器を使用することができる。いくつかの例では、速度と電力の推定値が更なる閾値検出を受けて、ノイズを更に低減し、また、充填や平滑化のようなセグメンテーション及び後処理を受けることがある。次に、速度推定値及びパワー推定値を、カラーマップに従って表示色の所望の範囲にマッピングすることができる。次いで、ドップラー画像データとも呼ばれるカラーデータをスキャンコンバータ330に結合することができ、そこでドップラー画像データを所望の画像フォーマットに変換し、組織構造のBモード画像上にオーバーレイして、カラードップラー又はパワードップラー画像を形成することができる。例えば、ドップラー画像データは、組織構造の反転レンダリング上にオーバーレイされてもよい。これは、低エコー領域(例えば、血管)内の流体の流れの視覚化を可能にし得る。

【0039】

スキャンコンバータ330、マルチプレーナリフォーマッタ332、及び／又はボリュームレンダラ334からの出力(例えば、Bモード画像、ドップラー画像)は画像ディスプレイ338上に表示される前に、さらなるエンハンスメント、バッファリング、及び一時記憶のために、画像処理装置336に結合され得る。

【0040】

本開示の原理によれば、画像処理装置336はボリュームレンダラ334が反転レンダリングを生成する前に、3Dデータセットの前処理及び／又は後処理の一部又は全部を実行することができる。例えば、ある実施形態では、画像処理装置336が3Dデータセットをフィルタリングし、及び／又はマスク上で特徴認識を実行することができる。画像処理装置336は反転レンダリングを生成するために、フィルタリングされる3Dデータセット及び／又は修正されるマスクをボリュームレンダラ334に提供することができる。いくつかの実施形態では、画像処理装置336が反転レンダリングの後処理、例えば、不透明度／透明度設定の調整、平滑化、コントラスト強調、及び／又は奥行きカラー符号化を実行することができる。

【0041】

グラフィックスプロセッサ340は、画像と共に表示するためのグラフィックオーバーレイを生成することができる。これらのグラフィックオーバーレイは例えば、患者名、画像の日時、撮像パラメータ等の標準識別情報を含むことができる。これらの目的のために、グラフィックプロセッサは、タイプされる患者名又は他の注釈などの入力をユーザインターフェース324から受信するように構成されてもよい。ユーザインターフェース344はマルチプレーナリフォーマット(MPR)画像のディスプレイの選択及び制御のために、マルチプレーナリフォーマット装置332に結合することもできる。

【0042】

システム300は、ローカルメモリ342を含むことができる。ローカルメモリ342は任意の適切な非一時的なコンピュータ可読媒体(例えば、フラッシュドライブ、ディスクドライブ)として実装されてもよい。ローカルメモリ342は、Bモード画像、マスク、実行可能命令、ユーザインターフェース324を介してユーザによって提供される入力、又はシステム300の動作に必要なその他の情報を含む、システム300によって生成されるデータを記憶することができる。

【0043】

前述のように、システム300は、ユーザインターフェース324を含む。ユーザインターフェース324は、ディスプレイ338及び制御パネル352を含み得る。ディスプレイ338は、LCD、LED、OLED、又はプラズマディスプレイ技術などの、種々の既知のディスプレイ技術を用いて実施されるディスプレイ装置を含んでもよい。いくつかの実施形態では、ディスプレイ338が複数のディスプレイを含むことができる。制御パネル352はユーザ入力(例えば、閾値、フィルタタイプ、レンダリングタイプ)を受信するように構成されてもよい。コントロールパネル352は1つ以上のハードコントロール(例えば、ボタン、ノブ、ダイヤル、エンコーダ、マウス、トラックボール等)を含んでもよい。いくつかの実施形態では、制御パネル352が付加的に又は代替的に、タッチセンシティブディスプレイ上に提供されるソフトコントロール(例えば、GUI制御要素又は単に、GUIコントロール)を含んでもよい。いくつかの実施形態では、ディスプレイ338が制御パネル352の1つ又は複数のソフトコントロールを含むタッチセンシティブディスプレイとすることができる。いくつかの実施形態では、図3に示す様々なコンポーネントを組み合わせることができる。例えば、画像処理装置336及びグラフィックスプロセッサ340は、単一のプロセッサとして実現することができる。別の例では、スキャンコンバータ330及びマルチプレーナリフォーマッタ332が単一のプロセッサとして実装され得る。

【0044】

いくつかの実施形態では、図3に示される様々なコンポーネントが別個の構成要素として実装されてもよい。例えば、信号プロセッサ326は各撮像モード(例えば、Bモード、ドップラー)に対して別々の信号プロセッサとして実装されてもよい。いくつかの実施形態では、図3に示される様々なプロセッサの1つ又は複数が指定されるタスクを実行するように構成される汎用プロセッサ及び／又はマイクロプロセッサによって実装され得る。いくつかの実施形態では、様々なプロセッサの1つ又は複数が特定用途向け回路として実装され得る。いくつかの実施形態では、様々なプロセッサ(例えば、画像処理装置336)の1つ以上を、1つ以上のグラフィカル処理ユニット(GPU)で実装してもよい。

【0045】

図8は、本開示の原理による例示的なプロセッサ800を示すブロック図である。プロセッサ800は本明細書で説明される1つ又は複数のプロセッサ、例えば、図3に示される画像処理装置336を実装するために使用され得る。プロセッサ800はマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、FPGAがプロセッサを形成するようにプログラムされているフィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、ASICがプロセッサを形成するように設計されている特定用途向け回路(ASIC)、又はそれらの組み合わせを含むが、それらに限定されない、任意の適切なプロセッサタイプであってもよい。

【0046】

プロセッサ800は、1つ以上のコア802を含んでもよい。コア802は、1つ以上の演算論理ユニット804を含んでもよい。いくつかの実施形態では、コア802がALU 804に加えて、又はその代わりに、浮動小数点論理ユニット(FPLU)806及び／又はデジタル信号処理ユニット(DSPU)808を含むことができる。

【0047】

プロセッサ800は、コア802に通信可能に結合される1つ以上のレジスタ812を含んでもよい。レジスタ812は専用論理ゲート回路(例えば、フリップフロップ)及び／又は任意のメモリ技術を使用して実装され得る。

【0048】

いくつかの実施形態では、レジスタ812がスタティックメモリを使用して実装されてもよい。レジスタは、データ、命令、及びアドレスをコア802に提供することができる。ある実施形態では、プロセッサ800がコア802に通信可能に結合される1つ以上のレベルのキャッシュメモリ810を含んでもよい。キャッシュメモリ810は、実行のためにコア802にコンピュータ可読命令を提供することができる。キャッシュメモリ810は、コア802による処理のためのデータを提供することができる。ある実施形態では、コンピュータ可読命令がローカルメモリ、例えば、外部バス816に接続されるローカルメモリによってキャッシュメモリ810に提供されていてもよい。キャッシュメモリ810は任意の適切なキャッシュメモリタイプ、例えば、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、及び／又は任意の他の適切なメモリ技術を用いて実装され得る。

【0049】

プロセッサ800はシステムに含まれる他のプロセッサ及び／又はコンポーネント(例えば、図3に示される制御パネル352及びスキャンコンバータ330)からのプロセッサ800への入力、及び／又はプロセッサ800からシステムに含まれる他のプロセッサ及び／又はコンポーネント(例えば、図3に示されるディスプレイ338及びボリュームレンダラ334)への出力を制御することができるコントローラ814を含むことができる。コントローラ814は、ALU 804、FPLU 806及び／又はDSPU 808内のデータパスを制御することができる。コントローラ814は、1つ又は複数の状態機械、データパス、及び／又は専用制御ロジックとして実装され得る。コントローラ814のゲートは、スタンドアロンゲート、FPGA、ASIC、又は任意の他の適切な技術として実装されてもよい。

【0050】

レジスタ812及びキャッシュメモリ810は、内部接続820A、820B、820C及び820Dを介してコントローラ814及びコア802と通信することができる。内部接続は、バス、マルチプレクサ、クロスバースイッチ、及び／又は任意の他の適切な接続技術として実装され得る。

【0051】

プロセッサ800の入力及び出力は、1つ又は複数の導電線を含むことができるバス816を介して提供することができる。

【0052】

バス816はプロセッサ800の1つ以上の構成要素、例えば、コントローラ814、キャッシュメモリ810、及び／又はレジスタ812に通信可能に結合されてもよい。バス816は、前述のディスプレイ338及び制御パネル352など、システムの1つ又は複数の構成要素に結合することができる。バス816は、1つ又は複数の外部メモリに結合することができる。外部メモリは、読み出し専用メモリ832を含んでもよい。ROM 832は、マスクされるROM、EPROM(Electronically Programmable Read Only Memory)、又はその他の適切な技術とすることができる。外部メモリは、ランダムアクセスメモリ833を含んでもよい。RAM 833は、スタティックRAM、バッテリバックアップされるスタティックRAM、ダイナミックRAM(DRAM)、又は任意の他の適切な技術であり得る。外部メモリは、EEPROM(Electrically Erasable Programmable Read Only Memory)835を含むことができる。外部メモリは、フラッシュメモリ834を含むことができる。外部メモリは、ディスク836などの磁気記憶装置を含むことができる。いくつかの実施形態では、外部メモリが図3に示される超音波画像システム300などのシステム、例えばローカルメモリ342に含まれてもよい。

【0053】

上述のように、3Dデータセットのフィルタリングは、セグメント化のためのマスクを生成する前に実行されてもよい。いくつかのアプリケーションでは、3Dデータセットをフィルタリングすることはセグメンテーション(例えば、ソーティング)の精度を改善することができる。フィルタリングは様々な既知の技術、例えば、隣接するボクセルを平均化するカーネルによる平滑化、適応閾値処理、ならびにヒストグラム等化及び再マッピングによって実行することができる。3Dデータセットをフィルタリングすることにより、均一なバックグラウンド信号を生成し、ノイズ(例えば、バックグラウンド)と組織信号との間により多くの分離を生成することができ、これにより、ノイズと信号含有領域との間のより正確なセグメント化が可能となり得る。

【0054】

使用され得る別のフィルタリング技術は、パーシスタンスアルゴリズム(PA)のような適応平滑化アルゴリズムである。PAは真のノイズフロアの測定又は推定に基づいてノイズである可能性の高いボクセルの強度を負にバイアスし、続いて、隣接するボクセルに対する値を平滑化することができる。PAでは、「真の信号」として分類されるボクセルが元の強度を保持し、ぼやけていないままであり、低エコー領域を黒くしながらエッジを保存する。PAは3Dデータセット内のデータポイント(例えば、ボクセル)をノイズモデルと比較し、信号又はノイズを含むその尤度を決定してもよい。ノイズを有する可能性が低いことが判明したデータポイントはそのままにしておき、ノイズを有する可能性が高いことが判明したデータポイントは、その値を減少させる。ノイズを有する可能性が高い又は低いデータポイントを定義する確率値は、システム内に事前設定されてもよく、又はユーザによって設定されてもよい。同様に、ノイズを含む可能性のあるデータポイントの値の減少量は、システム内で事前設定されてもよく、又はユーザによって設定されてもよい。ノイズモデルは、様々な方法で生成され得る。例えば、ノイズモデルは、イメージングシステムの受信増幅器の既知のノイズ電力対利得に基づいてもよい。別の例では、ノイズモデルがファントム又は空気のような静止した撮像物体からの連続的に受け取ったボリュームを相互相関させることに基づいていてもよい。ノイズモデルを生成する他の方法も使用することができる。PAのより詳細な説明は米国特許出願第62／621，187号に見出すことができ、これは、任意の目的のために参照により本明細書に組み込まれる。

【0055】

アプリケーションによっては、フィルタリングの出力を使用して、データポイントをソートしてマスクを生成するための1つ以上の閾値を設定することができる。例えば、PA内のノイズフロアの推定は、ノイズフロアより上の閾値を設定するために使用されてもよい。別の例では、ヒストグラム均等化からのデータがノイズに関連するヒストグラムピークと、信号に関連するヒストグラムピークとの間の閾値を選択するために使用されてもよい。ファジィ論理例などのいくつかの例では第1の閾値がノイズに関連するヒストグラムピークに基づいて選択されてもよく、第2の閾値は信号に関連するヒストグラムピークに基づいて選択されてもよい。いくつかのアプリケーションでは、フィルタリングからの処理される画像及び／又はデータがユーザがマスクを生成するためにデータポイントをソートするための1つ以上の閾値を選択することを支援するために、ユーザに提供されてもよい。

【0056】

図4は本開示のいくつかの実施形態による、胆嚢400を含むボリュームの代表的な超音波スキャンと、処理される(例えば、フィルタリングされる)スキャンとを示す。ペイン402はボリュームのA平面を示し、ペイン404は、ボリュームのB平面を示す。ペイン402及び404の両方における画像の周辺はノイズに関連するピクセルを有するが、これらのピクセルのいくつかの値は胆嚢400を取り囲む組織に関連するピクセルと値が類似している。したがって、ペイン402及び404を含むボリュームのためのマスクを生成することは、ノイズのこれらの領域を組織として誤ってセグメント化する可能性がある。マスクを生成する前に、ペイン402及び404をフィルタリングすることができる。図4に示す例では、PAが用いられている。ペイン406はフィルタリングされるA平面を示し、ペイン408は、フィルタリングされるB平面を示す。ペイン406及び408に見られるように、ノイズに関連する画素の強度(例えば値)は低減されている。次に、マスクを生成するためのデータポイントのソートを、フィルタリングされる3Dデータセット上で実行することができる。いくつかの例では、ソートが事前設定される、ユーザ駆動の、又はアルゴリズムベースの閾値(1つ又は複数)に基づくことができる。他の例では、ソートが深層学習又は他のソート技法に基づくことができる。任意選択で、形態学的動作を使用して、病変及び血管などの低エコーの関心領域であり得る「真の信号」領域内の追加のノイズ、切断領域、及び／又は穴を除去することができる。処理されるペイン406及び408を含むボリュームにマスクを適用することにより、ボリュームの組織領域及びノイズ領域をより正確にセグメント化することができる。

【0057】

図5は、本開示のいくつかの実施形態による、胆嚢500、マスク、及び処理される超音波スキャンの反転レンダリングを含むボリュームの代表的な処理される超音波スキャンを示す。ペイン502は、図4のペイン408からの処理されるB平面を示す。前述のように、B平面はPAフィルタを適用することによって処理される。ペイン504は、ペイン502に示されるB平面に対して生成されるマスクを示す。B平面に対して生成されるマスクのみが示されているが、マスクはボリューム内のすべての平面(例えば、ペイン502に示されるB平面を含むスキャンボリュームを定義する3Dデータセット全体)に対して生成されることが理解される。

【0058】

マスクは、第1の領域503及び第2の領域505を含む。第1の領域503は、第1の値に設定されるマスクのデータポイントを含む。第1の領域503は、組織に関連する信号を含む3Dデータセット内のデータポイントに対応する。第2の領域505は、第2の値に設定されるマスクのデータポイントを含む。第2の領域505は、ノイズを含む3Dデータセット内のデータポイントに対応する。マスクは、3Dデータセットに適用して、3Dデータセット内のどのデータポイントが反転レンダリングの生成に使用されるかを決定することができる。第1の領域503に関連する3Dデータセットのデータのサブセットのみが、反転レンダリングに含まれる。

【0059】

ペイン506はマスクされる3Dデータセット(例えば、マスクの第1の領域503に関連する3Dデータセットのサブセット)の反転レンダリングを示す。図5に示す例では、反転レンダリングが最大強度レンダリング技法を使用して生成される。胆嚢500は窓ガラス506内に見え、スキャンされるボリュームの周辺の明るいノイズ「壁」によって覆い隠されない。

【0060】

任意選択で、反転レンダリングを生成及び／又は表示する前に、マスクされる3Dデータセットは、さらなる処理を受けることができる。例えば、不透明度／透明度マッピング、平滑化(例えば、特徴サイズに基づく)、造影(例えば、ヒストグラムに基づく)、及び／又は色符号化などの態様を調整することができる。これらの調整はイメージングシステムのデータ及び／又はプリセット(例えば、検査のタイプに関連する期待値)に基づいて適応的であってもよい。この同じ段階で、所定の、ユーザ主導の、及び／又はアルゴリズムの基準、例えば、血管のしさ、血管強調の欠如、及び／又は特徴の大きさを満たすように決定される特徴の相対強度／コントラストを調整するために、さらなる強調が行われてもよい。

【0061】

結果として得られるセグメント化され、後処理される3Dデータセットは従来の技法(例えば、表面レンダリング、最大強度レンダリング)を使用してレンダリングされてもよく、ボリューム内の低エコー特徴の、よりアーチファクトに独立しない、及び／又は角度に独立しないレンダリングを生成してもよい。必要に応じて、レンダリングに対する現在のユーザ制御を保持して、レンダリング後にレンダリング及び／又は後処理を生成する前に、ユーザがセグメンテーションの態様を変更できるようにすることができる。例えば、反転レンダリングをカスタマイズするために、ユーザはどの特徴(例えば、量のエッジ付近の血管)及び／又は領域が反転レンダリングに含まれ、かつ／又は反転レンダリングから除外されるかを調整することができる。いくつかの例では、ユーザが閾値を設定することによって、及び／又はユーザインターフェースを介して選択ボックスでボリュームの領域を選択することによって、レンダリングをカスタマイズすることができる。別の例では、後処理において、ユーザは追加のユーザインターフェース制御(例えば、コントラスト、不透明度)を介して特徴を強調することができる。

【0062】

図6は、本開示のいくつかの実施形態による、セグメント化を伴わない代表的な超音波スキャンの代表的な反転レンダリングと、セグメント化を伴う代表的な超音波スキャンの反転レンダリングとを示す。ペイン602は、図2のペイン212に示される血管606を含む肝臓組織の容積の反転レンダリングを示す。パネル604は、本開示の原理によるマスクによってボリュームがセグメント化される後の、血管606を含む肝臓組織のボリュームの反転レンダリングを示す。ペイン604に示される反転レンダリングは、図2のペイン216に示される手動で強く切り取られた反転レンダリングに匹敵する結果を示す。したがって、本開示の原理による3Dデータセットの前処理は、ワークフロー負荷が低減される反転レンダリングにおける低エコー関心領域のより良好な視覚化を提供することができる。

【0063】

図7は、本開示のいくつかの実施形態による方法のフローチャート700である。図7に示される方法は本開示の原理に従って、例えば、図5のペイン506及び図6のペイン604に示される反転レンダリングを生成するために使用されてもよい。いくつかのアプリケーションでは、この方法がシステム、例えば、図3に示すシステム300などのイメージングシステムによって実行することができる。

【0064】

ブロック704で、「3つの3Dデータセットのデータポイントを第1のセット又は第2のセットの1つにソートする」ステップを実行してもよい。3Dデータセットは、最初のボリュームを定義できる。一部の例では、閾値を超える3Dデータセットのデータポイントが最初のセットにソートされ、閾値を下回る3Dデータセットのデータポイントが第２のセットにソートされる。いくつかの例では、閾値がスキャンされている組織タイプに基づく。一部の例では、閾値はユーザーによって設定される。一部の例では、データポイントは2つ以上のセットにソートされる場合がある。

【0065】

任意選択的に、「3Dデータセットのフィルタリング」は3Dデータセットのデータポイントを閾値と比較する前に、ブロック702で実行されてもよい。これにより、信号値とノイズ値の差が大きくなる場合がある。フィルタリングは2次元又は3次元平滑化カーネル、ヒストグラム等化及び再マッピングアルゴリズムを適用すること、及び／又は適応平滑化(例えば、持続性)アルゴリズムを適用することを含んでもよい。いくつかの例では、閾値がフィルタリングに基づいて設定される。

【0066】

ブロック706において、「3Dデータセットに対応するマスクの生成」を実行することができる。第1のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントは第1の値にセットされてもよく、第2のセットにソートされる3Dデータセットのデータポイントに対応するマスクのデータポイントは第2の値にセットされてもよい。データポイントが3つ以上のセットにソートされるいくつかの例では、マスクのデータポイントが追加セットに対応する他の値に設定されてもよい。第1の値に設定されるマスクのデータポイントの外側境界は、第1のボリューム内の第2のボリュームを定義することができる。いくつかの例では、第1の値及び／又は他の値に設定されるマスクのデータポイントの外側境界を決定して、第2のボリュームを定義することができる。任意選択で、ブロック708及び710を実行することができる。ブロック708では「画像セグメンテーションをマスクに適用する」ことが実行され、画像セグメンテーションは第2のボリュームから第1のボリュームに延在する形態学的特徴を認識することができ、ブロック710では「第2のボリュームを調整する」ステップが実行されることができる。これは、ブロック708で認識される形態学的特徴を含むように第2のボリュームを調整することができる。

【0067】

ブロック712で、「3Dデータセットへのマスクの適用」が実行されてもよい。マスクは、第2のボリューム外のデータポイントに対応する3Dデータセットのデータポイントが破棄されて、3Dデータセットのサブセットが生成されるように適用されてもよい。ブロック714で、「3Dデータセットのサブセットから反転レンダリングを生成する」が実行されてもよい。一部の例では、第２のボリュームの3Dデータセット内の特定のデータポイントが他のデータポイントとは異なる方法でレンダリングされる場合がある。例えば、2つの閾値の間の値を有するデータポイントは(例えば、ファジー論理演算において)2つの閾値の高い方を上回る値を有するデータポイントより低い不透明度でレンダリングされてもよい。

【0068】

いくつかの実施形態では、ブロックのいくつか又はすべてに関連するステップがボリュームレンダラ、例えば、図3のシステム300のボリュームレンダラ334によって実行することができる。いくつかの実施形態において、ステップのいくつかは、画像処理装置、例えば、図3の画像処理装置336によって実行されてもよい。例えば、ブロック702、704、706、708、710、及び／又は712は画像処理装置によって実行されてもよく、ブロック714はボリュームレンダラによって実行されてもよい。別の例では、ブロック704乃至714はボリュームレンダラによって実行され、ブロック702は画像処理装置によって実行される。ボリュームレンダラと画像処理装置との間のブロックの他の分割も使用することができる。反転レンダリングを生成する前に3Dデータを前処理するための本明細書で説明されるシステム及び方法は、いくつかのアプリケーションではノイズによる低エコー関心領域の不明瞭化を低減することができる。

【0069】

本明細書で説明されるシステム及び方法は、いくつかのアプリケーションにおいてセグメント化ステップの少なくともいくつかを自動化することによって、ユーザのワークフロー負荷を軽減することができる。

【0070】

コンポーネント、システム、及び／又は方法がコンピュータベースのシステム又はプログラマブルロジックなどのプログラマブルデバイスを使用して実装される様々な実施形態では、上述のシステム及び方法が「C」、「C＋＋」、「FORTRAN」、「パスカル」、「VHDL」などの様々な既知の又は後に開発されるプログラミング言語のいずれかを使用して実装できることを理解される。したがって、上述のシステム及び／又は方法を実施するようにコンピュータなどのデバイスに指示することができる情報を含むことができる、磁気コンピュータディスク、光ディスク、電子メモリなどの様々な記憶媒体を準備することができる。適切な装置が記憶媒体に含まれる情報及びプログラムにアクセスできると、記憶媒体は情報及びプログラムを装置に提供することができ、したがって、装置は、本明細書に記載するシステム及び／又は方法の機能を実行することができる。例えば、ソースファイル、オブジェクトファイル、実行可能ファイルなどの適切な材料を含むコンピュータディスクがコンピュータに提供される場合、コンピュータは情報を受け取り、それ自体を適切に構成し、様々な機能を実行するために、上記の図及びフローチャートに概説される様々なシステム及び方法の機能を実行することができる。すなわち、コンピュータは上述のシステム及び／又は方法の異なる要素に関連する情報の様々な部分をディスクから受信し、個々のシステム及び／又は方法を実装し、上述の個々のシステム及び／又は方法の機能を調整することができる。本開示を考慮して、本明細書で説明される様々な方法及びデバイスは、ハードウェア、ソフトウェア、及び／又はファームウェアで実装され得ることに留意される。さらに、様々な方法及びパラメータは、例としてのみ含まれ、いかなる限定的な意味においても含まれない。

【0071】

この開示を考慮して、当業者は本発明の範囲内に留まりながら、それら自体の技術及びこれらの技術に影響を及ぼすために必要とされる機器を決定する際に、本教示を実施することができる。本明細書で説明されるプロセッサの1つ又は複数の関数はより少ない数又は単一の処理ユニット(例えば、CPU)に組み込まれてもよく、本明細書で説明される関数を実行するために実行可能命令に応答してプログラムされる特定用途向け集積回路(ASIC)又は汎用処理回路を使用して実装されてもよい。

【0072】

本システムは超音波イメージングシステムを特に参照して説明されてきたが、本システムは1つ又は複数の画像が系統的な方法で得られる他の医療用イメージングシステムに拡張することができることも想定される。したがって、本システムは腎臓、精巣、乳房、卵巣、子宮、甲状腺、肝臓、肺、筋骨格、脾臓、心臓、動脈血及び血管系、ならびに超音波誘導介入に関連する他の画像応用に限定されるものではないが、画像情報を取得及び／又は記録するために使用され得る。さらに、本システムは本システムの特徴及び利点を提供することができるように、従来の撮像システムと共に使用することができる1つ又は複数のプログラムを含むこともできる。本開示の特定の追加の利点及び特徴は、本開示を検討することにより当業者に明らかであり得るか、又は本開示の新規なシステム及び方法を採用する当業者によって経験され得る。本システム及び方法の別の利点は、従来の医療画像システムを容易にアップグレードして、本システム、装置、及び方法の特徴及び利点を組み込むことができることであり得る。

【0073】

当然のことながら、本明細書で説明される例、実施形態、又はプロセスの任意の1つは、1つ又は複数の他の例、実施形態、及び／又はプロセスと組み合わせることができ、又は本システム、デバイス、及び方法による別個の装置又はデバイス部分の間で分離及び／又は実行することができることを理解される。

【0074】

最後に、上記の議論は本システム及び方法を単に例示することを意図しており、添付の特許請求の範囲を任意の特定の実施形態又は実施形態のグループに限定するものとして解釈されるべきではない。したがって、本システムは例示的な実施形態を参照して特に詳細に発明されてきたが、当業者であれば、以下の特許請求の範囲に記載される本システム及び方法のより広く意図される精神及び範囲から逸脱することなく、多数の修正及び代替実施形態を考案することができることも理解される。したがって、本明細書及び図面は例示的な方法で見なされるべきであり、添付の特許請求の範囲を限定することを意図するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2024-07-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

超音波イメージングシステムによって取得される3次元データセットの複数のデータポイントを複数のセットに分類するステップであって、前記３次元データセットは第1のボリュームを定義する、ステップと、
前記３次元データセットに対応するマスクを生成するステップであって、第1のセットに分類される３次元データセットの複数のデータポイントに対応するマスクの複数のデータポイントの画素値は第1の値に設定され、前記第1の値に設定されるマスクの複数のデータポイントの境界は前記第1のボリューム内の第2のボリュームを定義する、ステップと、
前記３次元データセットのサブセットを生成するように前記３次元データセットに前記マスクを適用するステップと、
画像セグメンテーションを前記マスクに適用して、形態学的特徴を認識するステップと、
前記形態学的特徴を含むように前記第2のボリュームを調整するステップと
を有する、方法。

【請求項2】

前記３次元データセットの複数のデータポイントを分類する前に、前記３次元データセットをフィルタリングして、信号値とノイズ値との間の差を増加させるステップをさらに有する、請求項1に記載の方法。

【請求項3】

前記３次元データセットをフィルタリングするステップは、2次元又は3次元平滑化カーネルを適用するステップを有する、請求項２に記載の方法。

【請求項4】

前記３次元データセットをフィルタリングするステップは、ヒストグラム等化及び再マッピングアルゴリズムを適用するステップを有する、請求項２に記載の方法。

【請求項5】

前記３次元データセットをフィルタリングするステップは、適応平滑化アルゴリズムを適用するステップを有する、請求項２に記載の方法。

【請求項6】

前記複数のデータポイントを分類するステップは、ファジー論理によって実行される、請求項1に記載の方法。

【請求項7】

前記複数のデータポイントを分類するステップは、深層学習アルゴリズムによって実行される、請求項1に記載の方法。

【請求項8】

超音波イメージングシステムによって取得される３次元データセットを含む非一時的コンピュータ可読媒体と、
プロセッサであって、
前記3次元データセットの複数のデータポイントを複数のセットに分類し、前記３次元データセットは第1のボリュームを定義し、
前記３次元データセットに対応するマスクを生成し、前記第1のセットに分類される３次元データセットの複数のデータポイントに対応するマスクの複数のデータポイントの画素値は第1の値に設定され、
前記第1の値に設定されるマスクの複数のデータポイントの境界を決定し、
前記境界に基づいて前記第1のボリューム内の第2のボリュームを定義し、
前記３次元データセットのサブセットを生成するように前記３次元データセットに前記マスクを適用し、
画像セグメンテーションを前記マスクに適用して、形態学的特徴を認識し、
前記形態学的特徴を含むように前記第2のボリュームを調整する
ように構成される、プロセッサと
を有する、システム。

【請求項9】

前記プロセッサは、前記３次元データセットの複数のデータポイントを分類する前に、前記３次元データセットをフィルタリングして、信号値からノイズ値を減じた差を増加させるようにさらに構成される、請求項８に記載のシステム。

【外国語明細書】