特表 2024-526087 視覚的データ送達システム、ディスプレイシステム及びその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-17

(54)【発明の名称】視覚的データ送達システム、ディスプレイシステム及びその動作方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240709BHJP

【ＦＩ】

A61B8/14

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023577276

(86)(22)【出願日】2022-07-15

(85)【翻訳文提出日】2023-12-13

(86)【国際出願番号】 EP2022069851

(87)【国際公開番号】W WO2023006448

(87)【国際公開日】2023-02-02

(31)【優先権主張番号】63/226,948

(32)【優先日】2021-07-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】21197335.9

(32)【優先日】2021-09-17

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(74)【代理人】

【識別番号】100145654

【弁理士】

【氏名又は名称】矢ヶ部 喜行

(72)【発明者】

【氏名】ウェーバー フランク マイケル

(72)【発明者】

【氏名】グロス アレクサンドラ

(72)【発明者】

【氏名】フレイネル ハラルト

(72)【発明者】

【氏名】スットン ヨナサン トマス

(72)【発明者】

【氏名】ラジュ バラサンダー イヤヴ

(72)【発明者】

【氏名】バラット シャム

(72)【発明者】

【氏名】ビングレー ペーター

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601DD15

4C601EE11

4C601JC06

4C601JC16

4C601JC25

4C601JC32

4C601KK09

4C601KK21

(57)【要約】

身体の3D画像のシーケンスを処理して、身体の2D画像の第1のシーケンスを表す第1の2D画像を生成する。2D画像は3D画像を通じる2D画像平面内の身体の画像であり、第1の2D画像データを表すデータの量は第1の2D画像データが生成される3D画像を表すデータの量よりも少ない。身体の2D画像の第1のシーケンスの表示のために第1の2D画像データをディスプレイシステムに送信する。ディスプレイシステムから2D画像平面調整インジケーションを受信する。2D画像平面調整インジケーションは2D画像平面の必要とされる回転及び／又は並進を示す。3D画像のシーケンス及び／又は3D画像のさらなるシーケンスを処理して、身体の2D画像の第2のシーケンスを表す第2の2D画像データを生成する。2D画像は身体の2D画像の第2のシーケンスを表す第2の2D画像の第2のシーケンスにおける画像が回転及び／又は並進された2D画像平面における身体の画像である。

【特許請求の範囲】

【請求項1】

視覚的データ送達システムを動作させるコンピュータ実装方法であって、
身体の3次元（3D）画像のシーケンスを処理して、前記身体の2次元（2D）画像の第１のシーケンスを表す第１の2D画像データを生成するステップであって、前記2D画像は、前記3D画像を通じた2D画像平面内の身体の画像であり、前記第１の2D画像データを表すデータの量は、前記第１の2D画像データが生成される3D画像を表すデータの量よりも少ない、ステップと、
ディスプレイシステムによる前記身体の2D画像の第1のシーケンスの表示のために、前記第1の2D画像データを前記ディスプレイシステムに送信するステップと、
前記3D画像のシーケンスを処理して、
前記3D画像のシーケンスから前記身体又は身体部分を表す一つ又はそれより多くの3Dモデルを生成し、前記一つ又はそれより多くの3Dモデルを前記ディスプレイシステムに送信するステップ、又は
前記3D画像のシーケンスにおいて示される身体のタイプ又は身体部分のタイプを識別し、前記識別された身体のタイプ又は身体部分のタイプのインジケーション、又は前記識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデルのインジケーションを前記ディスプレイシステムに送信するステップと、
前記ディスプレイシステムから2D画像平面調整インジケーションを受信するステップであって、前記2D画像平面調整インジケーションは、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記3D画像のシーケンス及び／又は前記3D画像のさらなるシーケンスを処理して、前記身体の2D画像の第2のシーケンスを表す第2の2D画像データを生成するステップであって、前記2D画像の第2のシーケンスにおける2D画像は、前記回転及び／又は並進された2D画像平面における身体の画像である、ステップと、
前記ディスプレイシステムによる身体の2D画像の第2のシーケンスの表示のために前記第2の2D画像データを前記ディスプレイシステムに送信するステップと
を有する、方法。

【請求項2】

前記識別された身体のタイプ又は識別された身体部分のタイプは、前記ディスプレイシステムに記憶された識別された身体のタイプ又は識別された身体部分のタイプに対応する所定の3Dモデルに関連付けられる、請求項1に記載の方法。

【請求項3】

前記一つ又はそれより多くの3Dモデルは、前記身体に対する前記2D画像平面の現在の方向及び／又は現在の位置のインジケーションを有し、前記受信された2D画像平面調整インジケーションは、前記一つ又はそれより多くの3Dモデルにおける2D画像平面のインジケーションの回転及び／又は並進、又は前記一つ又はそれより多くの3Dモデルの回転及び／又は並進である、請求項1乃至2の何れか一項に記載の方法。

【請求項4】

ディスプレイシステムを動作させるコンピュータ実装方法であって、
視覚的データ送達システムから、身体の2D画像の第1のシーケンスを表す第1の2次元（2D）画像データを受信するステップであって、前記2D画像は、前記身体の3次元（3D）画像を通じた2D画像平面内の身体の画像である、ステップと、
前記2D画像の第1のシーケンスを表示するステップと、
一つ又はそれより多くの3Dモデルを受信して、前記2D画像の第1のシーケンスにおいて示された身体又は身体部分のための一つ又はそれより多くの3Dモデルを表示するステップ、又は前記識別された身体のタイプ又は身体部分のタイプのインジケーション、若しくは前記識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデルのインジケーションを受信して、前記識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデル、若しくは前記識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデルのインジケーションを表示するステップと、
前記ディスプレイシステムのユーザからユーザ入力を受信するステップであって、前記ユーザ入力は前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
2D画像平面調整インジケーションを前記視覚的データ送達システムに送信するステップであって、前記2D画像平面調整インジケーションは、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記視覚的データ送達システムから前記身体の2D画像の第2のシーケンスを表す第2の2D画像データを受信するステップであって、前記2D画像の第2のシーケンスは前記回転及び／又は並進された2D画像平面内の身体の画像である、ステップと、
前記2D画像の第2のシーケンスを表示するステップと
を有する、方法。

【請求項5】

前記2D画像平面の必要とされる回転及び／又は並進を示すユーザ入力は、表示された3Dモデルを回転及び／又は並進させるユーザ入力として受信される、請求項4に記載の方法。

【請求項6】

コンピュータ可読媒体上に実装されたコンピュータ可読コードを有するコンピュータ可読媒体を有するコンピュータプログラムプロダクトであって、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる実行時に、前記コンピュータ又はプロセッサに、請求項1乃至5の何れか一項に記載の方法を実行させるように構成される、コンピュータプログラムプロダクト。

【請求項7】

視覚的データ送達システムであって、前記視覚的データ送達システムは、処理ユニット及びインターフェース回路を備え、前記視覚的データ送達システムは、
前記処理ユニットを使用して、身体の3次元（3D）画像のシーケンスを処理して、前記身体の2次元（2D）画像の第１のシーケンスを表す第１の2D画像を生成するステップであって、前記2D画像は、前記3D画像を通じた2D画像平面内の身体の画像であり、前記第１の2D画像データを表すデータの量は、前記第１の2D画像データが生成される前記3D画像を表すデータの量よりも少ない、ステップと、
前記インターフェース回路を介して、ディスプレイシステムによる前記身体の2D画像の第1のシーケンスの表示のために、前記第1の2D画像データを前記ディスプレイシステムに送信する、ステップと、
前記3D画像のシーケンスを処理して、
前記処理ユニットを使用して、前記3D画像のシーケンスから前記身体又は身体部分を表す一つ又はそれより多くの3Dモデルを生成し、前記インターフェース回路を介して、前記一つ又はそれより多くの3Dモデルを前記ディスプレイシステムに送信するステップ、又は
前記処理ユニットを使用して、前記3D画像のシーケンスに示される身体のタイプ又は身体部分のタイプを識別し、前記インターフェース回路を介して、前記識別された身体のタイプ又は身体のタイプのインジケーション、又は前記識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデルのインジケーションを前記ディスプレイシステムに送信するステップと、
前記インターフェース回路を介して、前記ディスプレイシステムから2D画像平面調整インジケーションを受信するステップであって、前記2D画像平面調整インジケーションは、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記処理ユニットを使用して、前記3D画像のシーケンス及び／又は3D画像のさらなるシーケンスを処理して、前記身体の2D画像の第2のシーケンスを表す第2の2D画像データを生成するステップであって、前記2D画像の第2のシーケンスにおける2D画像は、前記回転及び／又は並進された2D画像平面における身体の画像である、ステップと、
前記インターフェース回路を介して、前記ディスプレイシステムによる身体の2D画像の第2のシーケンスの表示のために、前記第2の2D画像データを前記ディスプレイシステムに送信するステップと
を実行するように構成される、視覚的データ送達システム。

【請求項8】

前記識別された身体のタイプ又は識別された身体部分のタイプは、前記ディスプレイシステムに記憶された前記識別された身体のタイプ又は識別された身体部分のタイプに対応する所定の3Dモデルに関連付けられる、請求項7に記載の視覚的データ送達システム。

【請求項9】

前記一つ又はそれより多くの3Dモデルは、前記身体に対する前記2D画像平面の現在の方向及び／又は現在の位置のインジケーションを有し、
前記受信された2D画像平面調整インジケーションは、前記一つ又はそれより多くの3Dモデルにおける前記2D画像平面のインジケーションの回転及び／又は並進、又は前記一つ又はそれより多くの3Dモデルの回転及び／又は並進である、請求項7乃至8の何れか一項に記載の視覚的データ送達システム。

【請求項10】

ディスプレイシステムであって、前記ディスプレイシステムは、ディスプレイスクリーン及びインターフェース回路を有し、前記ディスプレイシステムは、
前記インターフェース回路を介して、視覚的データ送達システムから身体の2D画像の第1のシーケンスを表す第1の2次元（2D）画像データを受信するステップであって、前記2D画像は、前記身体の3次元（3D）画像を通じた2D画像平面内の身体の画像である、ステップと、
前記ディスプレイスクリーンを使用して、前記2D画像の第1のシーケンスを表示するステップと、
前記インターフェース回路を介して、前記ディスプレイシステムへの一つ又はそれより多くの3Dモデルを受信し、前記ディスプレイスクリーンを使用して、前記2D画像の第1のシーケンスに示される身体又は身体部分のための一つ又はそれより多くの3Dモデルを表示するステップ、又は前記インターフェース回路を介して、前記ディスプレイシステムへの、前記識別された身体のタイプ又は身体部分のタイプのインジケーション、又は前記識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデルのインジケーションを受信し、前記ディスプレイスクリーンを使用して、前記識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデル、又は前記識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデルのインジケーションを表示するステップと、
前記インターフェース回路を介して、前記ディスプレイシステムのユーザからユーザ入力を受信するステップであって、前記ユーザ入力は、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記インターフェース回路を介して、2D画像平面調整インジケーションを前記視覚的データ送達システムに送信するステップであって、前記2D画像平面調整インジケーションは、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記インターフェース回路を介して、前記視覚的データ送達システムから前記身体の2D画像の第2のシーケンスを表す第２の2D画像データを受信するステップであって、前記2D画像の第2のシーケンスは、前記回転及び／又は並進された2D画像平面内の身体の画像である、ステップと、
前記ディスプレイスクリーンを用いて、前記2D画像の第2のシーケンスを表示する、ステップと
を実行するように構成される、ディスプレイシステム。

【請求項11】

前記2D画像平面の必要とされる回転及び／又は並進を示すユーザ入力は、表示された3Dモデルを回転及び／又は並進させるユーザ入力として受信される、請求項10に記載のディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は視覚的データ送達システム、ディスプレイシステム、及びその動作方法に関し、特に、表示のための身体の2次元(2D)画像のシーケンスを生成するための身体の3次元(3D)画像のシーケンスの処理に関する。

【背景技術】

【0002】

WO 2017／212063 A1はユーザが3次元(3D)データセットのボリュームレンダリングを視覚化し、ボリュームレンダリングを操作して、動的に選択されたMPR平面でBモード画像を生成するための3DデータセットのMPR平面を動的に選択することを可能にするユーザインターフェースを提供する、医用撮像及び視覚化システムを記載する。いくつかの例では3Dデータセットがボリュームの2D投影としてレンダリングされ、ユーザ制御はユーザがMPR平面の位置を動的に移動することを可能にし、一方、ディスプレイはボリュームのレンダリングを更新して、MPR平面及び／又は対応するBモード画像の現在の位置を示す。

【0003】

超音波(US)画像は様々な健康状態、例えば、心臓状態を診断するために、超音波検査者及び医師によって使用される。他のタイプの医用撮像とは対照的に、超音波画像は、電離放射線がないこと、及び撮像が非侵襲的かつ非侵襲方法で取得され得ることなど、多くの利点を有する。US撮像は身体の3D画像データ、すなわち、異なる視点から身体を見るために回転され得る身体の3D画像を表示するために使用され得るデータを取得するために使用され得る。3D画像データは、「3Dボリュームデータ」とも呼ばれる。

【0004】

多くの新しい又は有用な臨床的洞察は、超音波を用いた患者の心臓(又は他の)の状態の連続的モニタリングから生成することができる。これにより、複数のデータストリームを単一の患者からリアルタイムで収集することができる。これらのデータストリームは患者の状態に対するタイムリーで重要な洞察を医師に提供することができるが、データの量は混乱し、状況を欠く可能性がある。特に、超音波画像の解釈は、他の医用撮像モダリティと比較して複雑なタスクと見なされることが多い。したがって、インテリジェントな画像分析及び信号処理アルゴリズムに基づく(画像)データ可視化に対する新規のツール及びアプローチが表面化されている。

【0005】

患者モニタリングシステムでは、リアルタイムで連続的にストリーミングされる3D画像データの量は非常に多くなる可能性があり、その手段、システムの内外のデータ送信帯域幅を扱うことが難しい可能性がある。したがって、異なるサブシステム間のデータ送信のボトルネックが発生する可能性がある。その場合、データ送信のための直接的な「ブルートフォース」アプローチはもはや不可能であり(すなわち、すべてのデータが送信されるアプローチ)、システムアーキテクトはサブシステム間で送信されなければならないデータの量を低減するために、インテリジェントな解決策／ワークフローを考案しなければならない。

【0006】

データ送信帯域幅は、特定のサブシステムへの3Dデータのストリーミングを防止する唯一の問題ではない。別の問題は、サブシステムの計算能力が限られていることである。サブシステムの計算能力がデータを処理して表示するのに不十分である場合、データをサブシステムにストリーミングする点はない。

【0007】

電流(心臓)監視システムではボトルネックが典型的には超音波画像を生成するサブシステムと画像を表示する患者モニタとの間の外部リンクである。なぜなら、両方のサブシステムを接続するケーブルは3D画像データをストリーミングするのに必要な帯域幅よりも小さい送信帯域幅を有することができるからである。他のシステムでは、内部又は外部データ帯域幅がケーブル又はワイヤレス接続によって制限され得る。したがって、超音波3Dボリュームデータは典型的には2つのサブシステム間でリアルタイムで連続的に送信することができず、画像交換は3D画像データから抽出された2Dビデオシーケンスをストリーミングすることに限定される。これらのビデオシーケンスは関連する画像スライス(すなわち、3D画像データにおいて観察されている3D身体を通じる平面)、ならびに器官輪郭、測定値、色コードなどの追加のオーバーレイ情報を含むことができる。

【発明の概要】

【発明が解決しようとする課題】

【0008】

臨床実践では、ディスプレイシステムのユーザが典型的には現在表示されている2Dビデオストリームの解剖学的ビューを変更して、異なる視点から身体を見ることを望む。これは、3D画像データとの3D画像インタラクションと呼ばれ、そのような3D画像インタラクションの例は2Dビデオストリームにおける心臓の方向の再調整であり、3Dボリュームデータを通る異なる切断／画像平面もたらす。しかしながら、現在のシステムは、3D画像データから遠隔的に決定された2Dビデオシーケンスを表示しているディスプレイシステムのユーザがディスプレイシステムにおいてこの3Dインタラクションを実行することができるメカニズムを提供していない。したがって、実際の3D画像データへの直接アクセスを有することなく、3D画像インタラクションを可能にする解決策が必要とされている。

【課題を解決するための手段】

【0009】

本発明は、独立請求項によって定義される。従属請求項は、有利な実施形態を規定する。

【0010】

第1の特定の態様によれば、視覚的データ送達システムを動作させるコンピュータ実装方法が提供される。本方法は、
身体の3次元（3D）画像のシーケンスを処理して、前記身体の2次元（2D）画像の第１のシーケンスを表す第１の2D画像データを生成するステップであって、前記2D画像は、前記3D画像を通じた2D画像平面内の身体の画像であり、前記第１の2D画像データを表すデータの量は、前記第１の2D画像データが生成される3D画像を表すデータの量よりも少ない、ステップと、
ディスプレイシステムによる前記身体の2D画像の第1のシーケンスの表示のために、前記第1の2D画像データを前記ディスプレイシステムに送信するステップと、
前記ディスプレイシステムから2D画像平面調整インジケーションを受信するステップであって、前記2D画像平面調整インジケーションは、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記3D画像のシーケンス及び／又は前記3D画像のさらなるシーケンスを処理して、前記身体の2D画像の第2のシーケンスを表す第2の2D画像データを生成するステップであって、前記2D画像の第2のシーケンスにおける2D画像は、前記回転及び／又は並進された2D画像平面における身体の画像である、ステップと、
前記ディスプレイシステムによる身体の2D画像の第2のシーケンスの表示のために前記第2の2D画像データを前記ディスプレイシステムに送信するステップと
を有する。

【0011】

第2の態様によれば、ディスプレイシステムを動作させるコンピュータ実装方法が提供される。本方法は、
視覚的データ送達システムから、身体の2D画像の第1のシーケンスを表す第1の2次元（2D）画像データを受信するステップであって、前記2D画像は、前記身体の3次元（3D）画像を通じた2D画像平面内の身体の画像である、ステップと、
前記2D画像の第1のシーケンスを表示するステップと、
前記ディスプレイシステムのユーザからユーザ入力を受信するステップであって、前記ユーザ入力は前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
2D画像平面調整インジケーションを前記視覚的データ送達システムに送信するステップであって、前記2D画像平面調整インジケーションは、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記視覚的データ送達システムから前記身体の2D画像の第2のシーケンスを表す第2の2D画像データを受信するステップであって、前記2D画像の第2のシーケンスは前記回転及び／又は並進された2D画像平面内の身体の画像である、ステップと、
前記2D画像の第2のシーケンスを表示するステップと
を有する。

【0012】

第3の態様によれば、その中に具現化されたコンピュータ可読コードを有するコンピュータ可読媒体を含むコンピュータプログラムプロダクトが提供され、コンピュータ可読コードは適切なコンピュータ又はプロセッサによる命令実行時に、コンピュータ又はプロセッサに、第1の態様、第2の態様、又はそれらの任意の実施形態による方法を命令実行させるように構成される。

【0013】

第4の態様によれば、視覚的データ送達システムが提供され、視覚的データ送達システムは、処理ユニット及びインターフェース回路を備える。前記処理ユニットを使用して、身体の3次元（3D）画像のシーケンスを処理して、前記身体の2次元（2D）画像の第１のシーケンスを表す第１の2D画像を生成するステップであって、前記2D画像は、前記3D画像を通じた2D画像平面内の身体の画像であり、前記第１の2D画像データを表すデータの量は、前記第１の2D画像データが生成される前記3D画像を表すデータの量よりも少ない、ステップと、
前記インターフェース回路を介して、ディスプレイシステムによる前記身体の2D画像の第1のシーケンスの表示のために、前記第1の2D画像データを前記ディスプレイシステムに送信する、ステップと、
前記インターフェース回路を介して、前記ディスプレイシステムから2D画像平面調整インジケーションを受信するステップであって、前記2D画像平面調整インジケーションは、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記処理ユニットを使用して、前記3D画像のシーケンス及び／又は3D画像のさらなるシーケンスを処理して、前記身体の2D画像の第2のシーケンスを表す第2の2D画像データを生成するステップであって、前記2D画像の第2のシーケンスにおける2D画像は、前記回転及び／又は並進された2D画像平面における身体の画像である、ステップと、
前記インターフェース回路を介して、前記ディスプレイシステムによる身体の2D画像の第2のシーケンスの表示のために、前記第2の2D画像データを前記ディスプレイシステムに送信するステップと
を実行するように構成される。

【0014】

第5の態様によれば、ディスプレイシステムが提供され、ディスプレイシステムは、ディスプレイスクリーンインターフェース回路とを備える。ディスプレイシステムは、
前記インターフェース回路を介して、視覚的データ送達システムから身体の2D画像の第1のシーケンスを表す第1の2次元（2D）画像データを受信するステップであって、前記2D画像は、前記身体の3次元（3D）画像を通じた2D画像平面内の身体の画像である、ステップと、
前記ディスプレイスクリーンを使用して、前記2D画像の第1のシーケンスを表示するステップと、
前記インターフェース回路を介して、前記ディスプレイシステムのユーザからユーザ入力を受信するステップであって、前記ユーザ入力は、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記インターフェース回路を介して、2D画像平面調整インジケーションを前記視覚的データ送達システムに送信するステップであって、前記2D画像平面調整インジケーションは、前記2D画像平面の必要とされる回転及び／又は並進を示す、ステップと、
前記インターフェース回路を介して、前記視覚的データ送達システムから前記身体の2D画像の第2のシーケンスを表す第２の2D画像データを受信するステップであって、前記2D画像の第2のシーケンスは、前記回転及び／又は並進された2D画像平面内の身体の画像である、ステップと、
前記ディスプレイスクリーンを用いて、前記2D画像の第2のシーケンスを表示する、ステップと
を実行するように構成される。

【0015】

第6の態様によれば、第4の態様又はその何れかの実施形態による視覚的データ送達システムの一方又は両方と、第5の態様又はその何れかの実施形態によるディスプレイシステムとを備える撮像システムが提供される。いくつかの実施形態では、撮像システムが身体の3D画像のシーケンスを取得するように構成された画像取得システムをさらに備えることができる。

【0016】

これら及び他の態様は以下に記載される実施形態から明らかであり、それらを参照して説明される。

【0017】

例示的な実施形態は、以下の図面を参照して、例としてのみ説明される。

【図面の簡単な説明】

【0018】

【図1】本明細書に記載の技術を適用することができるシステムのブロック図である。

【図2】図1のシステムの超音波ベースの実施形態のブロック図である。

【図3】様々な実施形態による視覚的データ送達システムのブロック図である。

【図4】様々な実施形態によるディスプレイシステムのブロック図である。

【図5】様々な実施形態による方法を示すフローチャートである。

【図6a】心臓の3D超音波画像を通る切断面を表す2D超音波画像である。

【図6b】図6(a)の2D超音波画像上にオーバーレイされた心臓の3Dモデルを示す。

【図7a】異なる方向の心臓の3Dモデルの図である。

【図7b】異なる方向の心臓の3Dモデルの図である。

【図8】3Dモデルを通じる初期位置／方向及び調整された位置／方向における2D切断面の図である。

【図9】様々な実施形態による視覚的データ送達システムを動作させる方法を示すフローチャートである。

【図10】様々な実施形態によるディスプレイシステムを動作させる方法を示すフローチャートである。

【発明を実施するための形態】

【0019】

上述のように、現在の超音波(US)システム(及び他のタイプの3Dイメージングシステム)はディスプレイシステムのユーザがリモートシステムによって3D画像データから決定された2Dビデオシーケンスを閲覧することのみを可能にし、ユーザは3D画像データの2Dビューを操作することができない。したがって、本明細書で説明する技法は、ユーザが実際の3D画像データに直接アクセスすることなく、3D画像インタラクションを有効にし、表示された2Dシーケンスにおけるインタラクションの結果を観察することを可能にする。

【0020】

図1は、本明細書に記載の技術を適用することができるイメージングシステム1のブロック図である。イメージングシステム1は、画像取得システム(又はサブシステム)2と、視覚的データ送達システム(又はサブシステム)3と、ディスプレイシステム(又はサブシステム)4とを備える。視覚的データ送達システム3は接続部5を介してディスプレイシステム4に一連の画像を提供し、ディスプレイシステム4は、一連の画像を表示する。あるいは、視覚的データ送達システム3が接続部5を介してディスプレイシステム4に画像データを提供することができ、ディスプレイシステム4は画像データから一連の画像を再構成し、一連の画像を表示することができる。

【0021】

画像取得システム2は3D画像データを取得するために使用され、したがって、画像取得システム2は身体又は身体部分3D画像データを取得するために使用される一つ又はそれより多くのプローブ、スキャナ、又は他のセンサを備える。身体は、人体又は動物の身体、又はオブジェクトであり得る。身体部分は四肢、頭部、器官(例えば、心臓、肺、膀胱、腎臓、肝臓など)、胴体又は腹部(例えば、これらの身体部分の器官を含む)の何れかであり得る。3D画像データは、時間3Dボリュームの画像を表すデータのセットである。画像取得システム2は、超音波を使用して、3D画像データ、又はリアルタイム3D磁気共鳴(MR)などの任意の他の適切な技術を取得することができる。視覚的データ送達システム3は、取得された3D画像データを処理する。視覚的データ送達システム3は取得されるにつれて3D画像データを処理することができ、すなわち、3D画像データは、リアルタイムで、又は可能な限りほぼリアルタイムで処理される。

【0022】

上述のように、3D画像データ又は3D画像データから導出された3D画像を、接続部5を介してディスプレイシステム4に送信又はストリーミングすることは望ましくないか、又は不可能である。したがって、本明細書で説明する技術によれば、視覚的データ送達システム3は、身体の3D画像のシーケンスを含む3D画像データを処理して、身体の2D画像のシーケンスを表す2D画像データを生成する。2D画像は、3Dボリュームを通じる2D画像平面内の身体の画像である。2D画像データは、2D画像データが決定される3D画像のシーケンスよりも大幅に少ないデータ量によって表され、接続部5を介した送信又はストリーミングにより適している。2D画像データは2D画像のシーケンス(ビデオシーケンスのフレーム)、例えば2Dビデオストリームであってもよく、又は2D画像データはディスプレイシステム4が2D画像(フレーム)のシーケンスを再構成することを可能にするデータであってもよい。例えば、2D画像データは、第1の2D画像、すなわち2Dビデオシーケンスのフレームと、ビデオシーケンスの後続の画像／フレームが第1の2D画像とどのように異なるかを示すデータとを含むことができる。このようにして、ディスプレイシステム4は第1の2D画像及び2D画像データから、第1の2D画像の後のシーケンスにおける次の2D画像を再構成することができる。さらなる2D画像データは、次の画像／フレームが再構成された2D画像とどのように異なるかを示すことができる。この技法は、動きベクトルフィールドベースのアプローチと呼ばれることがある。当業者であれば、2D画像のシーケンスに関する情報をデータ効率の良い方法でディスプレイシステム4に送信することができ、ディスプレイシステム4が2D画像データから2D画像のシーケンスを再構成することができる他の方法を知っているのであろう。

【0023】

2D画像データは例えば、ディスプレイスクリーン又はモニタを使用して、ディスプレイシステム4のユーザに2D画像のシーケンスの表示を可能にするために、ディスプレイシステム4にストリーミング又は送信される。ディスプレイシステム4は、ユーザが身体の3D画像における2D画像平面の必要な回転及び／又は並進を入力することを可能にし、ユーザ入力又はそれを表す信号が視覚的データ送達システム3に送信される。

【0024】

視覚的データ送達システム3は要求された2D画像平面の回転及び／又は並進に従って3D画像データを処理して、要求された2D画像平面に従って2D画像データを生成し、この2D画像データは、ユーザに表示するためにディスプレイシステム4に送信される。したがって、ディスプレイシステム4のユーザは実際の3D画像データ自体に直接アクセスすることなく、3D画像インタラクションを実行し、表示された2Dシーケンスにおけるインタラクションの結果を観察することができる。

【0025】

視覚的データ送達システム3は3D画像データのコンテンツ(又はコンテンツの一部)の3D表現であるが、対応する3D画像データよりも大幅に少ないデータ量を有する置換データを有する3D画像データから、いわゆる「置換データ」を決定し、この置換データはディスプレイシステム4に送信される。置換データは、メッシュモデル、セグメンテーションモデル、及び三角形メッシュモデルなどの低解像度3Dモデルの形成であってもよい。3D表現は、置換データから決定され、ディスプレイシステム4のユーザに表示される。ユーザは表示された3D表現を使用して2D画像平面の必要な回転及び／又は並進を示すことができ、このユーザ入力を表すデータは、3D画像データ上で実行するために視覚的データ送達システム3に送信される。ユーザ入力を表すデータは回転行列、メッシュモデル内の有意点(例えば、メッシュモデルの重心)に関連する並進ベクトルの形成であり得る。

【0026】

したがって、視覚的データ送達システム3はディスプレイシステム4における3Dインタラクションを容易にするためにデータを送信することができ、すなわち、3D画像データ自体ではなく、例えば、心臓の3Dセグメント化メッシュなどの3D画像データの内容を反映する、低減されたデータ量の置換データを送信することができる。置換データの交換は必ずしも連続的又はリアルタイムでなくてもよく(置換データがリアルタイムで送信される場合、それは、身体又は身体部分の実際の形状／状態、例えば、心拍中の心臓の変形を表すことができるが)、必ずしも、各新しい相互作用のための置換データの新しい交換が存在しなくてもよい。あるいはディスプレイシステム4における3Dインタラクションを容易にするためのデータが3D画像データにおける身体又は身体部分のタイプのインジケーションであり得、ディスプレイシステム4は身体又は身体部分の所定のモデルを表示し得、ユーザは必要な回転及び／又は並進を示すために、この所定のモデルと対話し得る。

【0027】

ディスプレイシステム4は3D画像データに基づく2D画像データ(例えば、ディスプレイシステム4が2D画像のシーケンスを構築することを可能にする2D画像又はデータのシーケンス)を受信する。2D画像データは3D画像データに基づく(例えば、連続的)データストリームであってもよく、測定値、ラベル、色分けなどの、身体又は身体部分の2D画像上にオーバーレイするための追加情報を含んでもよい。

【0028】

ユーザからの入力に続いて、ディスプレイシステム4は視覚的データ送達システム3が身体又は身体部分の更新された2D視覚化を決定又は計算できるように、必要な回転又は並進を表す又は示すデータを視覚的データ送達システム3に送信する。したがって、回転又は並進は、視覚的データ送達システム3とディスプレイシステム4との間で3D画像データを交換することなく行うことができる。代わりに、3D画像データの操作(回転及び／又は並進)のための交換されたデータは例えば、均一な伝達行列、又は並進ベクトルなどの2D視覚化の計算のためのパラメータセットであり得る。

【0029】

上記のアプローチではディスプレイシステム4によって必要とされる計算能力が視覚的データ送達システム3によって必要とされる計算能力よりもはるかに低く、一方、ディスプレイシステム4のユーザは2D画像をリアルタイム又はほぼリアルタイムで閲覧及び操作することを依然として可能にする。これにより、ディスプレイシステム4は、デスクトップコンピュータ、ラップトップ、患者モニタリング装置、患者モニタ、ベッドサイドモニタ、タブレットコンピュータ、スマートフォン、スマートウォッチなどの電子デバイスとして具現化することができる。

【0030】

図2は、図1のシステムの超音波ベースの実施形態のブロック図である。超音波イメージングシステム1の画像取得システム2、視覚的データ送達システム3、及びディスプレイシステム4のそれぞれが、より詳細に示される。

【0031】

画像取得システム2は、アレイトランスデューサプローブ6と、トランスデューサアレイ7と、トランスデューサ8の2次元アレイと、マイクロビームフォーマ12と、スイッチ16と、トランスデューサコントローラ18と、主ビームフォーマ20と、ユーザインターフェース又は制御パネル38と、DCバイアス制御部45とを備える。

【0032】

視覚的データ送達システム3は、信号プロセッサ22と、Bモードプロセッサ26と、ドップラプロセッサ28と、画像処理装置30と、スキャンコンバータ32と、定量化プロセッサ34と、グラフィックプロセッサ36と、制御パネル38(又は画像取得システム2内の制御パネル38とは別個の制御パネル)と、ボリュームレンダラ42と、マルチプレーナリフォーマッタ44とを備える。

【0033】

ディスプレイシステム4は、ディスプレイスクリーン40と、コントロールパネル又はユーザインターフェース46とを備える。

【0034】

アレイトランスデューサプローブ6は、超音波を送信してエコー情報を受信するためのトランスデューサアレイ7を有する。トランスデューサアレイ7は、CMUTトランスデューサ、PZT又はPVDFなどの材料で形成された圧電トランスデューサ、又は任意の他の適切なトランスデューサ技術を備えることができる。この例では、トランスデューサアレイ7が関心領域の3次元ボリュームをスキャンすることができるトランスデューサ8の2次元アレイである。

【0035】

トランスデューサアレイ7は、トランスデューサ素子による信号の受信を制御するマイクロビームフォーマ12に結合される。マイクロビームフォーマは米国特許第5，997，479号(Savord ら)、第6，013，032号(Savord)、及び第6，623，432号(Powersら)に記載されているように、トランスデューサのサブアレイ(一般に「グループ」又は「パッチ」と呼ばれる)によって受信された信号の少なくとも部分的なビームフォーミングが可能である。

【0036】

マイクロビームフォーマは、完全に任意選択であることに留意されたい。さらに、システム1は送信／受信(T／R)スイッチ16を含み、これは、マイクロビームフォーマ12が結合されることができ、送信モードと受信モードとの間でアレイを切り替え、マイクロビームフォーマが使用されず、トランスデューサアレイがメインシステムビームフォーマによって直接動作される場合に、メインビームフォーマ20を高エネルギー送信信号から保護する。トランスデューサアレイ7からの超音波ビームの送信は、T／Rスイッチ16によってマイクロビームフォーマに結合されたトランスデューサコントローラ18と、ユーザインターフェース又は制御パネル38のユーザ操作から入力を受け取ることができる主送信ビームフォーマ(図示せず)とによって方向付けられる。コントローラ18は、透過モード中にアレイ7のトランスデューサ素子を(直接又はマイクロビームフォーマを介して)駆動するように構成された送信回路を含むことができる。

【0037】

典型的なラインバイラインイメージングシーケンスでは、プローブ内のビームフォーミングシステムが以下のように動作することができる。送信中、ビームフォーマ(実装に応じて、マイクロビームフォーマ又はメインシステムビームフォーマであり得る)は、トランスデューサアレイ、又はトランスデューサアレイのサブアパーチャをアクティブ化する。サブアパーチャは、トランスデューサの1次元線、又はより大きいアレイ内のトランスデューサの2次元パッチであってもよい。送信モードでは、アレイ又はアレイのサブアパーチャによって生成される超音波ビームの焦点及びステアリングが以下に説明するように制御される。

【0038】

被検体から後方散乱エコー信号を受信すると、受信信号は受信信号を整列させるために(後述するように)受信ビームフォーミングを受け、サブアパーチャが使用されている場合、サブアパーチャは例えば1つのトランスデューサ素子によってシフトされる。次に、シフトされたサブアパーチャが起動され、トランスデューサアレイのトランスデューサ素子の全てが起動されるまで、プロセスが繰り返される。

【0039】

各ライン(又はサブアパーチャ)について、最終超音波画像の関連するラインを形成するために使用される総受信信号は、受信期間中に所与のサブアパーチャのトランスデューサ素子によって測定された電圧信号の総和となる。結果として生じるライン信号は、以下のビームフォーミング処理に続いて、通常、無線周波数(RF)データと呼ばれる。次いで、様々なサブアパーチャによって生成された各ライン信号(RFデータセット)は、最終的な超音波画像のラインを生成するために追加の処理を受ける。時間によるライン信号の振幅の変化は深度による超音波画像の輝度の変化に寄与し、高い振幅ピークは、最終画像における明るいピクセル(又はピクセルの集合)に対応する。ライン信号の開始付近に現れるピークは浅い構造からのエコーを表すが、ライン信号の後に徐々に現れるピークは被検体内の深度が深くなる構造からのエコーを表す。

【0040】

トランスデューサコントローラ18によって制御される関数の1つは、ビームがステアリングされ、集束される方向である。ビームはトランスデューサアレイから(直交して)真っ直ぐ前方に、又はより広い視野に対して異なる角度でステアリングされてもよい。送信ビームのステアリング及び集束は、トランスデューサ素子の作動時間の関数として制御され得る。

【0041】

2つの方法、すなわち、平面波イメージング及び「ビームステアリング」イメージングは、一般的な超音波データ取得において区別することができる。2つの方法は、送信(「ビームステアリング」イメージング)及び／又は受信モード(平面波イメージング及び「ビームステアリング」イメージング)におけるビームフォーミングの存在によって区別される。

【0042】

最初に集束機能を見ると、トランスデューサ素子の全てを同時に作動させることによって、トランスデューサアレイは、被検体を通って進むにつれて発散する平面波を生成する。この場合、超音波のビームは集束されないままである。トランスデューサの活性化に位置依存時間遅延を導入することによって、ビームの波面を、焦点ゾーンと呼ばれる所望の点に収束させることが可能である。焦点ゾーンは、横方向ビーム幅が送信ビーム幅の半分未満である点として定義される。このようにして、最終的な超音波画像の横方向の解像度が改善される。

【0043】

例えば、時間遅延がトランスデューサ素子を、トランスデューサアレイの最も外側の素子から始まり、中央の素子で仕上げて、連続して活性化させる場合、焦点ゾーンは、中央の素子に沿って、プローブから所定の距離だけ離れて形成される。プローブからの焦点ゾーンの距離は、トランスデューサ素子の活性化の各後続のラウンド間の時間遅延に応じて変化する。ビームが焦点ゾーンを通過した後、ビームは発散し始め、遠視野撮像領域を形成する。トランスデューサアレイの近くに配置された焦点ゾーンでは、超音波ビームが遠距離場において急速に発散し、最終画像におけるビーム幅アーチファクトにつながることに留意されたい。典型的には、トランスデューサアレイと焦点ゾーンとの間に位置する近距離場が超音波ビームの大きな重複のために、ほとんど詳細を示さない。したがって、焦点ゾーンの位置を変化させることは、最終的な画像の品質に著しい変化をもたらす可能性がある。

【0044】

送信モードでは、超音波画像が複数の焦点ゾーン(それぞれが異なる送信焦点を有し得る)に分割されない限り、1つの焦点のみが定義され得ることに留意されたい。

【0045】

また、被検体内からエコー信号を受信すると、受信フォーカシングを行うために、上記の処理の逆を行うことができる。言い換えれば、入力信号は、トランスデューサ素子によって受信され、信号処理のためにシステムに渡される前に電子時間遅延を受けることができる。この最も単純な例は、遅延和ビームフォーミングと呼ばれる。トランスデューサアレイの受信焦点を時間の関数として動的に調整することが可能である。

【0046】

ここでビームステアリングの機能を見ると、トランスデューサ素子への時間遅延の正しい適用を通して、トランスデューサアレイを出るときに超音波ビームに所望の角度を与えることが可能である。例えば、トランスデューサアレイの第1の側でトランスデューサを作動させ、その後、アレイの反対側で終わるシーケンスで残りのトランスデューサを作動させることによって、ビームの波面は、第2の側に向かって角度が付けられる。トランスデューサアレイの法線に対する操舵角の大きさは、後続のトランスデューサ素子の活性化間の時間遅延の大きさに依存する。

【0047】

さらに、各トランスデューサ素子に印加される総時間遅延が、焦点時間遅延と操縦時間遅延の両方の総和で操縦ビームを焦点させることが可能である。この場合、トランスデューサアレイはフェーズドアレイと呼ばれる。

【0048】

活性化のためにDCバイアス電圧を必要とするCMUTトランスデューサの場合、トランスデューサコントローラ18は、トランスデューサアレイのためのDCバイアス制御45を制御するように結合することができる。DCバイアス制御部45は、CMUTトランスデューサ素子に印加されるDCバイアス電圧を設定する。

【0049】

トランスデューサアレイの各トランスデューサ素子に対して、典型的にはチャネルデータと呼ばれるアナログ超音波信号が、受信チャネルを経由してシステムに入る。受信チャネルでは部分的にビームフォーミングされた信号がマイクロビームフォーマ12によってチャネルデータから生成され、次いで、主受信ビームフォーマ20に渡され、ここで、トランスデューサの個々のパッチからの部分的にビームフォーミングされた信号は無線周波数(RF)データと呼ばれる完全にビームフォーミングされた信号に組み合わされる。各ステージで実行されるビームフォーミングは、上述のように実行されてもよく、又は追加の機能を含んでもよい。たとえば、主ビームフォーマ20は128個のチャネルを有することができ、その各々は、数十又は数百のトランスデューサ素子のパッチから部分的にビームフォーミングされた信号を受信する。このようにして、トランスデューサアレイの何千ものトランスデューサによって受信される信号は、単一のビーム形成された信号に効率的に寄与することができる。

【0050】

ビームフォーミングされた受信信号は、信号プロセッサ22に結合される。信号プロセッサ22は、受信されたエコー信号を、帯域通過フィルタリング、デシメーション、I及びQ成分分離、並びに組織及びマイクロバブルから戻される非線形(基本周波数の高調波)エコー信号の識別を可能にするように線形及び非線形信号を分離するように作用する高調波信号分離などの様々な方法で処理することができる。信号プロセッサはまた、スペックル低減、信号合成、及び雑音除去などの追加の信号拡張を実行し得る。信号プロセッサ内のバンドパスフィルタは追跡フィルタとすることができ、その通過帯域はエコー信号が増加する深度から受信されるにつれて、より高い周波数帯域からより低い周波数帯域へと摺動し、それによって、典型的には解剖学的情報を欠く、より深い深度から、より高い周波数における雑音を排除する。

【0051】

送信及び受信のためのビームフォーマは、異なるハードウェアで実装され、異なる機能を有することができる。もちろん、受信器ビームフォーマは、送信ビームフォーマの特性を考慮するように設計される。図1では、簡略化のために、受信器ビームフォーマ12、20のみが示されている。完全なシステムでは、送信マイクロビームフォーマと、主送信ビームフォーマとを有する送信チェーンも存在する。

【0052】

マイクロビームフォーマ12の機能はアナログ信号経路の数を減少させるために、信号の初期の組み合わせを提供することである。これは、典型的にはアナログ領域で実行される。

【0053】

最終的なビームフォーミングは主ビームフォーマ20において行われ、典型的にはデジタル化の後である。

【0054】

送信チャネル及び受信チャネルは、固定された周波数帯域を有する同じトランスデューサアレイ7を使用する。しかしながら、送信パルスが占める帯域幅は、使用される送信ビームフォーミングに応じて変化し得る。受信チャネルは(古典的なアプローチ)トランスデューサ帯域幅全体を捕捉することができ、又は帯域通過処理を使用することによって、所望の情報(例えば、主高調波の高調波)を含む帯域幅のみを抽出することができる。

【0055】

次いで、RE信号、Bモード(すなわち、輝度モード、又は2D撮像モード)プロセッサ26及びドップラープロセッサ28に結合され得る。Bモード処理部26は受信した超音波信号に対して振幅検出を行い、器官組織や血管などの身体構造を撮像する。ライン・バイ・ライン撮像の場合、各ライン(ビーム)は、関連するRE信号振幅がBモード画像内のピクセルに割り当てられるべき輝度値を生成するために使用される。画像内の画素の正確な位置は、RE信号関連する振幅測定の位置と、RF信号のライン(ビーム)数とによって決定される。このような構造のBモード画像は米国特許6,283,919(Roundhillら)及び米国特許6,458,083(Jagoら)に記載されているように、高調波又は基本画像モード、又は両方の組み合わせで形成することができる。ドップラープロセッサ28は画像フィールド内の血球の流れなどの移動物質を検出するために、組織の動き及び血流から生じる時間的に異なる信号を処理する。ドップラプロセッサ28は、典型的には体内の選択されたタイプの材料から戻されたエコーを通過又は拒絶するように設定されたパラメータを有する壁フィルタを含む。

【0056】

Bモード及びドップラープロセッサによって生成される構造信号及び動き信号は、スキャン変換器32及びマルチプレーナリフォーマッタ44に結合される。スキャンコンバータ32は、エコー信号を、それらがそこから受信された空間関係において、所望の画像フォーマットで配置する。言い換えれば、スキャンコンバータはRFデータを円筒座標系から、ディスプレイスクリーン40上に超音波画像を表示するのに適したデカルト座標系に変換するように作用する。Bモード画像の場合、所与の座標における画素の輝度は、その位置から受信されるRF信号の振幅に比例する。例えば、スキャンコンバータは、エコー信号を2次元(2D)扇形状フォーマット、又はピラミッド型3次元(3D)画像に配置することができる。スキャンコンバータは画像フィールド内の点における動きに対応する色を有するBモード構造画像を重ね合わせることができ、ここで、ドップラー推定速度は、所与の色を生成する。結合されたBモード構造画像及びカラードップラー画像は、構造画像フィールド内の組織の動き及び血流を描写する。米国特許6,443,896(Detmer)に記載されているように、マルチプレーナリフォーマッタは、身体の体積領域内の共通平面内の点から受信されたエコーをその平面の超音波画像に変換する。ボリュームレンダラ42は、3Dデータセットのエコー信号を、米国特許6,530,885(Entrekinら)に記載されている所与の参照点から見た投影3D画像に変換する。

【0057】

2D又は3D画像はスキャンコンバータ32、マルチプレーナリフォーマッタ44、及びボリュームレンダラ42から画像処理装置30に結合され、接続部5を介してディスプレイスクリーン40上に表示するために、さらなる拡張、バッファリング、及び一時記憶を行う。撮像プロセッサは例えば、強い減衰器又は屈折によって引き起こされる音響シャドウイング、例えば、弱い減衰器によって引き起こされる後方強調、例えば、高反射性組織界面が近接して位置する残響アーチファクトなど、最終超音波画像から特定の撮像アーチファクトを除去するように適合され得る。加えて、画像プロセッサは最終的な超音波画像のコントラストを改善するために、特定のスペックル低減関数を処理するように適合され得る。

【0058】

画像に使用されることに加えて、ドップラープロセッサ28によって生成された血流値及びBモードプロセッサ26によって生成された組織構造情報は、定量化プロセッサ34に結合される。定量化プロセッサは、器官のサイズ及び在胎期間などの構造的測定に加えて、血流の体積速度などの異なる流量条件の測定値を生成する。定量化プロセッサは、測定が行われる画像の解剖学的構造内の点など、ユーザ制御パネル38から入力を受信することができる。

【0059】

定量化プロセッサからの出力データはディスプレイスクリーン40上の画像を用いて測定グラフィックス及び値を再生し、スピーカ(図示せず)からオーディオ出力するために、グラフィックスプロセッサ36に結合される。グラフィックスプロセッサ36は、超音波画像と共に表示するためのグラフィックオーバーレイを生成することもできる。これらのグラフィックオーバーレイは、患者名、画像の日付及び時間、撮像パラメータなどの標準識別情報を含むことができる。これらの目的のために、グラフィックスプロセッサは、患者名などのユーザインターフェース38又はユーザインターフェース46から入力を受け取る。ユーザインターフェース38はまた、トランスデューサアレイ7からの超音波信号の生成、したがって、トランスデューサアレイ及び超音波システムによって生成される画像の生成を制御するために、送信コントローラ18に結合される。コントローラ18の送信制御機能は、実行される機能のうちの1つに過ぎない。コントローラ18はまた、動作モード(ユーザによって与えられる)と、受信器アナログ／AD変換器における対応する必要な送信機設定及び帯域通過設定とを考慮に入れる。コントローラ18は、固定状態を有する状態機械とすることができる。

【0060】

ユーザインターフェースはまた、MPR画像の画像フィールドにおいて定量化された測定を実行するために使用され得る複数のマルチプレーナリフォーマット(MPR)画像の平面の選択及び制御のために、マルチプレーナリフォーマッタ44に結合される。

【0061】

図3は、様々な実施形態による視覚的データ送達システム3のブロック図である。

【0062】

視覚的データ送達システム3は視覚的データ送達システム3の動作を制御し、本明細書に記載の方法を実行又は実行するように構成することができる処理ユニット52を含む。処理ユニット52は本明細書で説明する様々な機能を実行するために、ソフトウェア及び／又はハードウェアを用いて多数の方法で実装され得る。例えば、処理ユニット52は、図2に関して上述したプロセッサの何れかの機能を実装することができる。処理ユニット52は必要な機能を実行するために、及び／又は必要な機能を実行するために処理ユニット52の構成要素を制御するために、ソフトウェア又はコンピュータプログラムコードを使用してプログラムされ、一つ又はそれより多くのマイクロプロセッサ又はデジタル信号プロセッサ(DSP)を備える。処理ユニット52はいくつかの機能を実行するための専用ハードウェア(たとえば、増幅器、前置増幅器、アナログデジタル変換器(ADC)及び／又はデジタルアナログ変換器(DAC))と、他の機能を実行するためのプロセッサ(たとえば、一つ又はそれより多くのプログラムされたマイクロプロセッサ、コントローラ、DSP、及び関連する回路)との組合せとして実装され得る。本開示の様々な実施形態において使用され得る構成要素の例は従来のマイクロプロセッサ、DSP、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ニューラルネットワークを実装するためのハードウェア、及び／又はいわゆる人工知能(AI)ハードウェアアクセラレータ(すなわち、プロセッサ、又はメインプロセッサとともに使用され得るAIアプリケーションのために特に設計された他のハードウェア)を含むが、これらに限定されない。

【0063】

処理ユニット52は、視覚的データ送達システム3の動作を制御する際、及び／又は本明細書に記載の方法を実行又は実行する際に処理ユニット52によって使用されるデータ、情報、及び／又は信号を記憶することができるメモリユニット54に接続される。いくつかの実装形態では、メモリユニット54が処理ユニット52が本明細書で説明する方法を含む一つ又はそれより多くの機能を実行するように、処理ユニット52によって実行され得るコンピュータ可読コードを記憶する。メモリユニット54はランダムアクセスメモリ(RAM)、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、読み出し専用メモリ(ROM)、プログラマブルROM(PROM)、消去可能PROM(EPROM)及び電気的消去可能PROM(EEPROM)などの揮発性及び不揮発性コンピュータメモリを含むキャッシュ又はシステムメモリなどの任意のタイプの非一時的機械可読媒体を備えることができ、メモリユニット54は、メモリチップ、光ディスク(コンパクトディスク(CD)、デジタル多用途ディスク(DVD)又はブルーレイディスクなど)、ハードディスク、テープ記憶解決策、又はメモリスティック、ソリッドステートドライブ(SSD)、メモリカードなどを含むソリッドステート装置の形成で実装することができる。

【0064】

視覚的データ送達システム3はまた、特に、画像取得システム2、ディスプレイシステム4、及び任意選択で、サーバ、データベース、ユーザ装置などの任意の他の装置を含む、他の装置へのデータ接続部5及び／又は他の装置とのデータ交換を可能にするためのインターフェース回路56を含む。接続は直接的又は間接的(例えば、インターネットを介して)であり得、したがって、インターフェース回路56は、任意の望ましい有線又は無線通信プロトコルを介して、ネットワーク(インターネットなど)を介して視覚的データ送達システム3とディスプレイシステム4との間、又は視覚的データ送達システム3とディスプレイシステム4との間の直接的な接続を可能にし得る。例えば、インターフェース回路56は、WiFi、Bluetooth、Zigbee、又は任意のセルラー通信プロトコルを使用して動作することができる。無線接続の場合、インターフェース回路56(したがって、視覚的データ送達システム3)は伝送媒体(たとえば、空気)を介して送信／受信するための一つ又はそれより多くの適切なアンテナを含み得る。代替的に、ワイヤレス接続のケースでは、インターフェース回路56がインターフェース回路56が伝送媒体(例えば、エア)を介して送信／受信するために、視覚的データデリバリシステム3の外部の一つ又はそれより多くの適切なアンテナに接続されることを可能にする手段(例えば、コネクター又はプラグ)を含み得る。インターフェース回路56はインターフェース回路56によって受信された情報又はデータが処理ユニット52に提供されること、及び／又は処理ユニット52からの情報又はデータがインターフェース回路56によって送信されることを可能にするために、処理ユニット52に接続される。

【0065】

いくつかの実施形態では、視覚的データ送達システム3が視覚的データ送達システム3のユーザが視覚的データ送達システム3に情報、データ及び／又はコマンドを入力することを可能にする、及び／又は視覚的データ送達システム3が視覚的データ送達システム3のユーザに情報又はデータを出力することを可能にする、一つ又はそれより多くの構成要素を含むユーザインターフェース58を備える。ユーザインターフェース58は限定はしないが、キーボード、キーパッド、一つ又はそれより多くのボタン、スイッチ又はダイヤル、マウス、トラックパッド、タッチスクリーン、スタイラス、カメラ、マイクロフォンなどを含む、任意の適切な入力コンポーネントを備えることができ、ユーザインターフェース58は限定はしないが、ディスプレイスクリーン複数のライト又は光要素、一つ又はそれより多くのラウドスピーカ、振動要素などを含む、任意の適切な出力コンポーネントを備えることができる。ユーザインターフェース58は、図2に示される制御パネル38に対応し得る。

【0066】

視覚的データ送達システム3は、任意のタイプの電子デバイス又はコンピューティング装置とすることができる。例えば、視覚的データ送達システム3はラップトップ、コンピュータ、又はサーバ、例えば、データセンター内のサーバ(「クラウド内」とも呼ばれる)とすることができ、又はその一部とすることができる。

【0067】

視覚的データ送達システム3の実際の実施は、図1に示されるものに対する追加成分を含み得ることが理解されよう。例えば、視覚的データ送達システム3は、視覚的データ送達システム3が主電源に接続されることを可能にするためのコンポーネントを含むこともできる。

【0068】

図4は、様々な実施形態によるディスプレイシステム4のブロック図である。

【0069】

ディスプレイシステム4はディスプレイシステム4の動作を制御し、本明細書に記載の方法を実行又は実行するように構成され得る処理ユニット62を含む。処理ユニット62は本明細書で説明する様々な機能を実行するために、ソフトウェア及び／又はハードウェアを用いて多数の方法で実装され得る。例えば、処理ユニット62は、視覚的データ送達システム3における処理ユニット52の実施形態及び実施形態の何れかに従って実施することができる。

【0070】

ディスプレイシステム4は、ディスプレイシステム4のユーザに情報を表示するためのディスプレイスクリーン64を備える。ディスプレイスクリーン64は処理部62に接続されており、処理部62によって制御されて必要な情報を表示する。特に、ディスプレイスクリーン64は身体の一連の2D画像、例えば、身体の超音波画像を含む2Dビデオストリームを表示するために使用することができる。ディスプレイスクリーン64は、例えば陰極線管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、有機LED(OLED)など、視覚画像を生成するために任意の適切な技術を使用することができる。

【0071】

ディスプレイシステム4はまた、ディスプレイシステム4のユーザがディスプレイシステム4に情報、データ、及び／又はコマンドを入力することを可能にする一つ又はそれより多くの構成要素を含むユーザインターフェース66を備える。入力構成要素はディスプレイシステム4によって表示される2D画像のための2D画像平面の必要な回転及び／又は並進を入力するために、ユーザによって使用され得る。入力構成要素は限定はしないが、キーボード、キーパッド、一つ又はそれより多くのボタン、スイッチ又はダイヤル、マウス、トラックパッド、タッチディスプレイスクリーンスクリーン64と一体化される)、スタイラス、カメラ、マイクロフォンなどを含む、任意の適切なタイプのものであり得る。ユーザインターフェース66は、図2に示される制御パネル46に対応し得る。

【0072】

いくつかの実施形態では、ユーザインターフェース66がディスプレイスクリーン64に加えて、ディスプレイシステム4がディスプレイシステム4のユーザに情報又はデータを出力することを可能にする一つ又はそれより多くの構成要素を含むことができる。ユーザインターフェース66の出力構成要素はたとえば、一つ又はそれより多くの光又は光要素、一つ又はそれより多くのラウドスピーカ、振動要素などを備えることができる。

【0073】

ディスプレイシステム4はまた、特に、視覚的データ送達システム3、及び任意選択で、サーバ、データベース、ユーザ装置などの任意の他の装置を含む、他の装置へのデータ接続部5及び／又は他の装置とのデータ交換を可能にするためのインターフェース回路68を含む。接続は直接的又は間接的(例えば、インターネットを介して)であり得、したがって、インターフェース回路68は、任意の望ましい有線又は無線通信プロトコルを介して、ネットワーク(インターネットなど)を介してディスプレイシステム4と視覚的データ送達システムディスプレイシステム4と視覚的データ送達システム3との間の直接的な接続を可能にし得る。インターフェース回路68は、視覚的データ送達システム3におけるインターフェース回路56の実施形態及び実装の何れかに従って実装することができる。

【0074】

ディスプレイシステム4は、任意のタイプの電子デバイス又はコンピューティング装置とすることができる。例えば、ディスプレイシステム4は、ラップトップ、コンピュータ、ベッドサイド患者モニタなどの患者モニタリング装置、サーバ、タブレットコンピュータ、スマートフォン、スマートウォッチなどであってもよく、又はその一部であってもよい。

【0075】

ディスプレイシステム4の実際の実施は、図1に示されるものに対する追加成分を含むことができることが理解されるのであろう。例えば、ディスプレイシステム4は電源を含むことができ、及び／又はディスプレイシステム4が主電源に接続されることを可能にするためのコンポーネントを含むことができる。図4には示されていないが、ディスプレイシステム4はディスプレイシステム4の動作を制御する際、及び／又は本明細書に記載の方法を実行又は実行する際に処理ユニット62によって使用するためのデータ、情報、及び／又は信号を記憶することができるメモリユニットを備えることができる。メモリユニットは、視覚的データ送達システム3におけるメモリユニット54の実施形態及び実施形態の何れかに従って実施することができる。

【0076】

図5は、様々な実施形態による方法を示すフローチャートである。この方法は、画像取得システム2、視覚的データ送達システム3、及びディスプレイシステム4によって実行されるステップを含む。図5の方法を適用することができるイメージングシステム1は、PhilipsからのEPIQシステムなどの超音波システムの形態の複合画像取得システム2及び視覚的データ送達システム3と、PhilipsからのIntelliVue MX550患者モニタなどの患者モニタの形態のディスプレイシステム4とからなる患者モニタリングシステムとすることができる。この例示的なイメージングシステム1では、画像取得システム2及び視覚的データ送達システム3は、3D画像が画像収集システム画像シーケンスを表示するためのディスプレイスクリーンを含む。視覚的データ送達システム3とディスプレイシステム4との間の接続部5は、USデータの送信に特有のインターフェース、又はUSBもしくはイーサネット(登録商標)などの一般的な通信インターフェースとすることができる。インターフェースは患者モニタ4への限られた送信速度を有し、その結果、捕捉された3Dボリュームの患者モニタ4への連続的なリアルタイムストリーミングは不可能である。いずれの場合も、患者モニタ4は限られた計算能力を有するので、3D超音波データの視覚化及び3D画像の任意のセグメント化の計算も患者モニタ4では不可能である。これらの計算はインターフェースを介してデータを送信する前に実行される必要があり、インターフェースに、又はインターフェースを介して高帯域データを送信する必要性を回避する。

【0077】

図5の方法では、3D超音波データが取得され、3Dボリュームの切断面を通る一連の2D画像が患者モニタ／ディスプレイシステム4上に表示される。3Dボリュームの「切断面」は、本明細書では「2D画像平面」とも呼ばれる。2D画像(2Dビデオ)のシーケンスは、画像内に示される内部器官の輪郭及び／又は他の情報など、画像上に重ね合わされた他のデータを含むことができる。図6(a)は心臓の3D超音波画像を通る切断面を表す2D超音波画像であり、2D画像上に心臓輪郭が重ねられている。3Dボリュームを通る切断面の回転及び／又は並進はいくつかの実施形態では図6(b)に示されるように、患者モニタ4上に表示される内部器官の単純化された(すなわち、低解像度の)3Dモデル80又はモデル80と相互作用する患者モニタ／ディスプレイシステム4のユーザによって可能にされる。2Dビデオは更新され、患者モニタ／ディスプレイシステム4に連続的に又は半連続的にストリーミングされ、したがって、表示される視覚化はリアルタイム2Dビデオであり得る。それによって、超音波システム2、3と患者モニタ／ディスプレイシステム4との間で交換されるデータの量は、完全な3Dボリュームを送信するために必要とされるデータの量よりも著しく少ない。

【0078】

したがって、ステップ501において、3D超音波データが画像取得システム2によって取得され、3D画像が画像取得システム2のディスプレイスクリーン又は視覚的データ送達システム3のディスプレイスクリーン上に表示され得る。3D画像データに対して処理を実行して、3D画像内に見える内部器官の輪郭など、表示された3D画像のためのグラフィカルオーバーレイの有用な情報を決定することができる。

【0079】

ステップ503において、視覚的データ送達システム3は3D画像データを分析して、3D画像に示される器官(例えば、心臓)の3D表現／モデル80の形態の置換データを生成する。

【0080】

ステップ505において、3D表現80(例えば、3D心臓メッシュ)の置換データが患者モニタ／ディスプレイシステム4に送信され、3D画像データから決定された切断面(2D画像平面)の現在位置に対応する一連の2D画像も決定され、患者モニタ4に送信される。2D画像のシーケンスはまた、2D画像上にオーバーレイされたデータ、又は患者モニタ4がそれ自体で2D画像上にオーバーレイするデータを含むことができる。

【0081】

したがって、患者モニタ4のディスプレイスクリーン40上に示される結果として生じる視覚化は例えば図6(a)及び(b)に示されるように、任意選択で器官輪郭情報及び内部器官の3D表現80を伴う、3D画像のシーケンスの代わりに2D画像のシーケンスである。

【0082】

ステップ507において、患者モニタ4のユーザは3D表現80と対話し、3Dボリューム内の切断面の回転及び／又は並進を示すことができる。このインタラクションはステップ509で視覚的データ送達システム3に通信され、それにより、視覚的データ送達システム3は2D画像平面を調整し、新しい2D画像平面位置で2Dビデオを生成することができる(ステップ511)。新しい2Dビデオは、患者モニタ4に送信される。

【0083】

例えば、ステップ507において、所望の3Dユーザインタラクションは、表示された2D画像における心臓の方向の変化であり得る。従来、これは3D超音波データに対して実行されなければならない3Dユーザインタラクションであるが、そのようなデータは患者モニタにおいて利用可能ではない。したがって、(表示されていない)3D超音波データに対して3Dインタラクションを実行するために、ユーザは3Dボリュームの2Dビューがどのように変更されるかをユーザが視覚化することを可能にする置換データ(例えば、3Dメッシュ80)と対話する。好ましくは置換データはまた、3Dモデル80又は3Dメッシュ80などの3Dデータセットであるが、置換データは3D画像データよりも大幅に少ない量のデータによって表される。

【0084】

図6(b)に示される実施形態では、3D超音波ボリュームを表す置換データが3D超音波ボリュームから抽出されたセグメント化された器官輪郭を与える(心臓)メッシュ(例えば、三角形メッシュ)である。このような置換データを導出するための技術は、「CT画像における心臓の自動モデルベースセグメント化」(O. Ecabert, J. Peters, H. Schramm, C. Lorenz, J. von Berg, M. J. Walker, M. Vembar, M. E. Olszewski, K. Subramanyan, G. Lavi, J. Weese, in IEEE Transactions on Medical Imaging 2008， 27(9)， 1189-1201)に記載されており、代わりに、深層学習ベースのセグメンテーション方法が使用され得る。

【0085】

したがって、置換データ(例えば、メッシュ)と実際の3D超音波データとの間にリンクがあり、接続部5を介して送信されるデータの量は、完全な3D画像データを送信することに比べて大幅に低減される。一例として、3D三角形メッシュ80は、3つの座標を有するx個の頂点と、3つの頂点インデックスを有するy個の三角形とを有する。3D三角形メッシュ80を表すために必要とされるデータの量は3(y ＋ x)×32ビットであるが、3Dボリュームは3n×m×k×32ビットのデータを必要とし、ここで、n、m及びkは3Dボリュームの寸法である。例示的なセグメント化メッシュは、数百又は数千の頂点を含むことができる。

【0086】

ステップ507で実行される所望の3Dインタラクションに応じて、メッシュ又は他の3Dモデル80は、内部器官又は身体部分の合理的に正確な描写であるべきである。切断面調整の場合、メッシュ又は他の3Dモデル80は、必ずしも、内部器官又は身体部分の現在の状態を表す必要はない。例えば、3Dモデル80が心臓の拍動をリアルタイムで、又は全く再現する必要はない。したがって、ステップ505における置換データの送信又は伝送は、1回だけ、又は時折、たとえば数秒ごとに実行され得る。さらに、3Dモデル80の置換データは、ユーザが表示された3Dモデル80と対話している間、患者モニタ4に送信される必要はない。いくつかの実施形態ではステップ505が3Dモデル又はメッシュ80を表す置換データの単一の送信を含むことができ、モデル又はメッシュ80の置換データは患者モニタ4に記憶される。他の実施形態では、ステップ505が3Dモデル又はメッシュ80を表す置換データを、一連の2D画像と共に患者モニタ4に連続的に送信することを含むことができる。両方の実施形態は、3D画像ボリュームを表すために必要とされるデータの量と比較して、メッシュ80を表すために必要とされるデータの量が少ないため、可能である。

【0087】

患者モニタ4は例えば、図6(b)に示すように、表示された2D画像上に3Dメッシュ(例えば、心臓メッシュ)80をオーバーレイすることができる。ステップ507において、例えばタッチスクリーン、マウス、キーボード、スタイラスなどの患者モニタ4における適切な入力コンポーネントを使用して、ユーザは2Dビデオのメッシュ輪郭を「把持」及び「引っ張る」ことができ、3Dメッシュ80の方向を回転させ、次いでそれを解放することによって操作することができる。図7(b)は、図7(a)に示される3Dモデル80に対する心臓を表す3Dモデル80の回転を表す。次いで、ステップ509において、メッシュ80の新しい方向に関する情報を、接続部5を介して視覚的データ送達システム3に送信することができる。メッシュ80の新しい方向の情報は、視覚的データ送達システム3によって3D画像データにおいて2D画像平面がどのように調整されるべきかを示す。この情報は、「2D画像平面調整インジケーション」と呼ばれる。

【0088】

3Dモデルの位置／方向(異なる実施形態では基準フレーム内の絶対位置、画像座標系内で表される位置、及び最後／現在の位置／方向に対するモデルの相対位置／方向として表され得る)はパラメータセットとして表され得る。ステップ509において患者モニタ4によって視覚的データ送達システム3に送信される2D画像平面調整インジケーションは、このパラメータセットを含むことができる。

【0089】

代替の実施形態では、内部器官又は身体部分の3Dモデル80を回転及び／又は並進させるのではなく、ユーザは代わりに、3Dモデル80を通る切断面のグラフィカル表現を操作することができる。図8は、3Dモデル80を通る初期位置／方向における2D切断面82の表現を示す。ユーザは2D切断平面表現82を「把持」及び「引っ張る」ことができ、3Dメッシュ80に対する切断平面の方向及び／又は位置を操作することができる。2D切断平面84は、操作後の2D切断平面の位置及び方向を示す。前述のように、切断面の新しい位置及び／又は方向に関する情報は、ステップ509において、接続部5を介して視覚的データ送達システム3に送信される。この場合も、視覚的データ送達システム3に送信される情報は、「2D画像平面調整インジケーション」と呼ばれる。この代替実施形態は、「複数平面調整」と呼ばれる。

【0090】

ユーザが2D画像平面の変化及び2D画像平面調整インジケーションのフォーマットを示すために、患者モニタ4と対話するいずれの方法でも、視覚的データ送達システム3はステップ511において、3D画像データから2D画像の新しいシーケンスを生成し、この新しい2Dビデオはユーザに表示するために、患者モニタ4に送信される。この結果、ユーザは3D画像データと間接的に対話して、3D画像データ自体に対して対話を実行するのと同じ対話結果、すなわち、3D画像データ内の切断面の所望の位置を有する2Dビデオのディスプレイを達成することができる。

【0091】

ステップ503の代替の実施形態では、3D画像データから直接3D表現を生成するのではなく、視覚的データ送達システム3は3D画像データ内に表される内部器官又は身体部分を識別することができ、内部器官又は身体部分の一般的な3Dモデル(すなわち、患者固有ではない)を、ユーザによる操作のために患者モニタ4に表示することができる。これらの実施形態では視覚的データ送達システム3が適切な一般的なモデルのためのデータの形態の置換データを患者モニタ4に送信することができ、又は患者モニタ4がメモリユニットに記憶された汎用3Dモデルを有する場合、視覚的データ送達システム3はどの汎用3Dモデルが使用されるべきかを示すインジケーションを患者モニタ4に送信することができる。このインジケーションは、テキスト又はタグ／ラベルの形成とすることができる。後者の場合、視覚的データ送達システム3は3Dボリューム内の内部器官又は身体部分を自動的に認識し(例えば、当技術分野で知られている自動リアルタイム画像分析又はAIベースアプローチを使用して)、認識された内部器官又は身体部分のインジケーションを患者モニタ4に送ることができる。この実施形態は、接続部5を介して患者モニタ4に送信されるデータの量が2D画像のシーケンス及び3Dモデルを表す置換データを送信することに比べてさらに低減されるという利点を有する。

【0092】

別の代替実施形態では、3D画像データから直接3D表現を生成するか、又は3D画像データに表される器官又は身体部分を自動的に識別するのではなく、患者モニタ4のユーザは表示された2Dビデオを手動で解釈して、器官又は身体部分を識別し、例えば、患者モニタ4によって提示されるドロップダウンリストから、表示するための適切な汎用3Dモデルを選択することができる。したがって、ユーザが患者の心臓をスキャンしている場合、ユーザは患者モニタ4で利用可能なモデルのリストから心臓モデルを選択することができ、患者モニタ4は、汎用3Dモデルを表示することができる。

【0093】

患者固有又は一般的な3Dモデルを表示する任意の実施形態では、3Dモデルがユーザが2D画像平面に適用する操作のタイプを選択することを可能にするために、一つ又はそれより多くのユーザインターフェース(UI)要素を用いて表示され得る。例えば、UIは、ユーザが一つ又はそれより多くの所定の切断面(すなわち、内部器官又は身体部分に対して所定の位置及び方向を有する切断面)、回転された視覚化、縮小された3Dボリュームサブセットなどを選択することを可能にすることができる。

【0094】

いくつかの実施形態では、患者モニタ4及び／又は視覚的データ送達システム3が以前に使用された2D画像平面の特定の位置を示す情報、及び／又は解剖学的構造／身体のセグメントを追跡するために使用され得る標準ビュー(心臓の4腔ビューなど)を記憶することができる。以前に使用されたビュー又は標準的なビューの利用可能性、又は追跡されたセグメントの利用可能性は、視覚的データ送達システム3によって決定され、接続部5を介して患者モニタ4に通信され得る。次いで、患者モニタ4のユーザは、その以前に使用されたビュー、標準ビュー、又は追跡されたセグメントを選択するオプションを有することができる。その場合、2D画像平面調整インジケーションは、その以前に使用されたビュー、標準ビュー、又は追跡されたセグメントの選択であり得る。心臓に関するより複雑な例では、視覚的データ送達システム3が下大静脈の最大直径の姿勢を追跡し、その視覚化の利用可能性を患者モニタ4のユーザに送信することができる。ユーザは例えばボタンプッシュを介してそれを選択することができ、その視覚化プリセットの要求を視覚的データ送達システム3に通信することができる。さらにより複雑な例では、患者モニタ4のユーザが3D画像データのための所望の2D画像平面方位／位置を手動で選択することができ、視覚的データ送達システム3はユーザによるその後の選択及び使用のために、手動で選択された面方位／位置に関する情報を記憶することができる。

【0095】

いくつかの実施形態では、視覚的データ送達システム3が複数の2D画像シーケンスを患者モニタ4に提供することができる。例えば、視覚的データ送達システム3は例えば、2D画像平面のデフォルトの方向及び／又は位置に従う第1の2D画像シーケンスと、例えば、ユーザが選択した2D画像平面の位置及び／又は方向に従う第2の2D画像シーケンスとを提供することができる。

【0096】

図9のフローチャートは、本明細書に記載の技術に従って視覚的データ送達システム3によって実行される例示的な方法を示す。方法のステップのうちの1つ又は複数は、必要に応じて、インターフェース回路56及びメモリユニット14と併せて、視覚的データ送達システム3内の処理ユニット52によって実行され得る。処理ユニット52は例えば、メモリユニット54などのコンピュータ可読媒体に記憶され得るコンピュータプログラムコードの実行に応答して、一つ又はそれより多くのステップを実行し得る。

【0097】

ステップ901において、視覚的データ送達システム3は、身体の一連の3D画像を処理して、第1の2D画像データを生成する。3D画像は、3D超音波画像であってもよい。2D画像データは身体の2D画像の第1のシーケンスを表し、2D画像は、3D画像を通じる2D画像平面内の身体の画像である。第1の2D画像データを表すデータの量は、第1の2D画像データが生成される3D画像を表すデータの量よりも少ない。いくつかの実施形態では2D画像データが2D画像の第1のシーケンスであり、すなわち、2D画像データはシーケンス内の各2D画像の画像データを含む。他の実施形態では、2D画像データがディスプレイシステム4が2D画像データから2D画像のシーケンスを再構成することを可能にする形態とすることができる。

【0098】

ステップ903において、視覚的データ送達システム3はディスプレイシステム4が身体の第1のシーケンスの2D画像を表示できるように、第1の2D画像データをディスプレイシステム4に送信する。
ステップ905において、視覚的データ送達システム3は、ディスプレイシステム4から2D画像平面調整インジケーションを受信する。2D画像平面調整インジケーションは、3D画像における2D画像平面の必要な回転及び／又は並進を示す。

【0099】

ステップ907において、視覚的データ送達システム3は、3D画像のシーケンス及び／又は3D画像の更なるシーケンスを処理して、第2の2D画像データを生成する。第2の2D画像データは、身体の2D画像の第2のシーケンスを表すか、又はそれであり得る。2D画像の第2のシーケンスにおける2D画像は、回転及び／又は並進された2D画像平面における身体の2D画像である。3D画像のさらなるシーケンスは例えば、図9の方法が、3D画像が取得されているときにリアルタイムで実行されている、新たに取得された3D画像であり得る。

【0100】

ステップ909において、第2の2D画像データは身体の第2のシーケンスの2D画像の表示のために、ディスプレイシステム4に送信される。

【0101】

いくつかの実施形態ではステップ901及び／又は903又はその付近で、視覚的データ送達システム3は3D画像のシーケンスから身体又は身体部分を表す一つ又はそれより多くの3Dモデル80を生成する。視覚的データ送達システム3は、一つ又はそれより多くの3Dモデルをディスプレイシステム4に送信する。3Dモデル80を表すデータの量は、3Dモデルが生成される3D画像を表すデータの量よりも少ない。

【0102】

代替実施形態ではステップ901及び／又は903又はその付近で、視覚的データ送達システム3は3D画像のシーケンスを処理して、3D画像のシーケンスに示される身体のタイプ又は身体部分のタイプを識別する。視覚的データ送達システム3は、3D画像のシーケンスに示される内部器官を識別する。視覚的データ送達システム3は、識別された身体のタイプ又は身体部分のタイプのインジケーションをディスプレイシステム4に送信することができる。あるいは、視覚的データ送達システム3が識別された身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデル80のインジケーションを送信することができる。

【0103】

代替実施形態では、視覚的データ送達システム3が3D画像のシーケンスを処理して、3D画像のシーケンスに示される身体のタイプ又は身体部分のタイプを識別し、次いで、識別された身体のタイプ又は識別された身体部分のタイプの表示をディスプレイシステム4に送信する。これらの実施形態では、識別された身体のタイプ又は識別された身体部分のタイプが識別された身体のタイプ又は識別された身体部分のタイプに対応するディスプレイシステム4に記憶された所定の3Dモデル80に関連付けられる。

【0104】

上記の実施形態では、一つ又はそれより多くの3Dモデルが身体に対する2D画像平面の現在の方向及び／又は現在の位置のインジケーションを含むことができる。上記の実施形態では、2D画像平面調整インジケーションが(例えば、図8に示されるように)一つ又はそれより多くの3Dモデルにおける2D画像平面のインジケーションの回転及び／又は並進、又は(例えば、図7に示されるように)一つ又はそれより多くの3Dモデルの回転及び／又は並進であってもよい。3Dモデルは、メッシュモデル、セグメンテーションモデル、及び三角形メッシュモデルのいずれであってもよい。3Dモデルは、身体の内部器官を表すことができる。

【0105】

図10のフローチャートは、本明細書に記載の技術に従ってディスプレイシステム4によって実行される例示的な方法を示す。方法のステップのうちの1つ又は複数は、必要に応じて、インターフェース回路68及びメモリユニット(存在する場合)と併せて、ディスプレイシステム4内の処理ユニット62によって実行され得る。処理ユニット62は例えば、メモリユニットなどのコンピュータ可読媒体に記憶され得るコンピュータプログラムコードの実行に応答して、一つ又はそれより多くのステップを実行し得る。

【0106】

ステップ1001において、ディスプレイシステム4は、視覚的データ送達システム3から第1の2D画像データを受信する。第1の2D画像データは、身体の第1の一連の2D画像を表す。2D画像は、身体の3D画像を通じる2D画像平面内の身体の画像である。2D画像は、2D超音波画像とすることができる。

【0107】

ステップ1003において、ディスプレイシステム4は、第1のシーケンスの2D画像を表示する。いくつかの実施形態では2D画像データが2D画像の第1のシーケンスであり、すなわち、2D画像データはシーケンス内の各2D画像の画像データを含む。これらの実施形態では、ディスプレイシステム4が2D画像データ内の2D画像を表示する。他の実施形態では、2D画像データがディスプレイシステム4が2D画像データから2D画像のシーケンスを再構成することを可能にする形態とすることができる。これらの実施形態では、ステップ1003において、ディスプレイシステム4は2D画像データから2D画像のシーケンスを再構成し、再構成された2D画像のシーケンスを表示する。

【0108】

ステップ1005において、ユーザ入力がディスプレイシステム4のユーザから受信される。ユーザ入力は、2D画像平面の必要な回転及び／又は並進を示す。

【0109】

ステップ1007において、2D画像平面調整インジケーションが、視覚的データ送達システム3に送信される。2D画像平面調整インジケーションは、2D画像平面の必要な回転及び／又は並進を示す。

【0110】

ステップ1009において、第2の2D画像データが、視覚的データ送達システム3から受信される。第2の2D画像データは、身体の第2の一連の2D画像を表す。2D画像の第2のシーケンスは、回転及び／又は並進された2D画像平面内の身体の画像である。

【0111】

ステップ1011において、ディスプレイシステム4は、2D画像の第2のシーケンスを表示する。

【0112】

いくつかの実施形態では、ステップ1001及び／又は1003又はその付近で、ディスプレイシステム4は視覚的データ送達システム3から、2D画像の第1のシーケンスに示される身体又は身体部分のための一つ又はそれより多くの3Dモデルを受信することができる。

【0113】

代替実施形態ではステップ1001及び／又は1003又はその付近で、ディスプレイシステム4は2D画像の第1のシーケンスに示される身体のタイプ又は身体部分のタイプのインジケーションを受信することができる。インジケーションは、視覚的データ送達システム3から受信される。身体のタイプ又は身体部分のタイプは、ディスプレイシステム4に記憶された身体のタイプ又は身体部分のタイプのための所定の3Dモデルに対応する。

【0114】

代替実施形態ではステップ1001及び／又は1003又はその付近で、ディスプレイシステム4は2D画像の第1のシーケンスに示される身体のタイプ又は身体部分のタイプに対応する一つ又はそれより多くの所定の3Dモデルのインジケーションを受信することができる。インジケーションは、視覚的データ送達システム3から受信することができる。一つ又はそれより多くの所定の3Dモデルは、ディスプレイシステム4に記憶される。

【0115】

上記の実施形態では、ディスプレイシステム4が一つ又はそれより多くの3Dモデルを表示することができる。3Dモデルは2D画像のシーケンスとは別に示されてもよく、又は3Dモデルは2D画像の表示されたシーケンス上にオーバーレイされてもよい。

【0116】

上記の実施形態では、表示された3Dモデルが身体に対する2D画像平面の現在の方向及び／又は現在の位置のインジケーションを含むことができる。上記の実施形態では、2D画像平面調整インジケーションが(例えば、図8に示されるように)一つ又はそれより多くの3Dモデルにおける2D画像平面のインジケーションの回転及び／又は並進、又は(例えば、図7に示されるように)一つ又はそれより多くの3Dモデルの回転及び／又は並進であってもよい。3Dモデルは、メッシュモデル、セグメンテーションモデル、及び三角形メッシュモデルのいずれであってもよい。3Dモデルは、身体の内部器官を表すことができる。

【0117】

開示された実施形態に対する変形は図面、開示及び添付の特許請求の範囲の研究から、本明細書に記載された原理及び技術を実施する当業者によって理解され、達成され得る。請求項において、単語「有する(comprising)」は他の要素又はステップを除外せず、不定冠詞「a」又は「an」は複数を除外しない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。コンピュータプログラムは他のハードウェアとともに、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶又は配布され得るが、インターネット又は他の有線もしくはワイヤレス電気通信システムなどの他の形態で配布されてもよい。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6(a)】

【図6(b)】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】