ホーム > 特許ランキング > アンスティテュ・パストゥール
知財求人 - 知財ポータルサイト「IP Force」
特表2024-516930少なくとも１つのインターフェースにおいて対象物の少なくともゾーンを可視化するための方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-18
(54)【発明の名称】少なくとも１つのインターフェースにおいて対象物の少なくともゾーンを可視化するための方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20240411BHJP
A61B 5/00 20060101ALI20240411BHJP
G06T 15/08 20110101ALI20240411BHJP
【ＦＩ】
G06T1/00 290B
A61B5/00 D
A61B5/00 G
G06T15/08
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023557184
(86)(22)【出願日】2022-03-16
(85)【翻訳文提出日】2023-11-15
(86)【国際出願番号】 EP2022056779
(87)【国際公開番号】W WO2022194910
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】21305330.9
(32)【優先日】2021-03-18
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】508029653
【氏名又は名称】アンスティテュ・パストゥール
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】モハメド・エル・ベヘイリー
(72)【発明者】
【氏名】ジャン－バティスト・マソン
【テーマコード（参考）】
4C117
5B057
5B080
【Ｆターム（参考）】
4C117XE44
4C117XE45
4C117XE46
4C117XG14
4C117XG24
4C117XK03
4C117XK04
4C117XK34
4C117XR07
4C117XR08
4C117XR09
4C117XR10
5B057AA09
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE05
5B057CE06
5B057CH09
5B057CH16
5B057DB02
5B057DB06
5B057DB09
5B057DC40
5B080AA17
5B080BA00
5B080FA02
5B080FA17
5B080GA06
5B080GA21
(57)【要約】
本発明は、少なくとも1つのインターフェースにおいて対象物の少なくともゾーンを可視化するためのコンピュータ手段によって実施される方法に関する。方法は、以下のステップ、すなわち、ゾーンの少なくとも1つの画像を取得するステップであって、画像は少なくとも1つのチャネルを含み、画像はピクセルまたはボクセルを含む2次元または3次元画像であり、値が画像の各ピクセルまたはボクセルの各チャネルに関連付けられ、画像の表現はインターフェースに表示される、ステップと、ユーザから少なくとも1つの注釈を取得するステップであって、注釈は画像の選択されたピクセルまたはボクセルのグループを定義する、ステップと、選択されたピクセルまたはボクセルに基づいて伝達関数を計算し、伝達関数を画像の各チャネルの値に適用するステップと、インターフェース中の画像の表現を更新するステップであって、表現のピクセルまたはボクセルの色および透明度は伝達関数に依存する、ステップとを含む。
【特許請求の範囲】
【請求項1】
少なくとも1つのインターフェースにおいて対象物の少なくともゾーンを可視化するためのコンピュータ手段によって実施される方法であって、以下のステップ、すなわち、- 前記ゾーンの少なくとも1つの画像を取得するステップであって、前記画像は少なくとも1つのチャネルを含み、前記画像はピクセルまたはボクセルを含む2次元または3次元画像であり、値が前記画像の各ピクセルまたはボクセルの各チャネルに関連付けられ、前記画像の表現が前記インターフェースに表示される、ステップと、
- ユーザから少なくとも1つの注釈を取得するステップであって、前記注釈は前記画像の選択されたピクセルまたはボクセルのグループを定義する、ステップと、
- 前記選択されたピクセルまたはボクセルに基づいて伝達関数を計算し、前記伝達関数を前記画像の各チャネルの前記値に適用するステップと、
- 前記インターフェース中の前記画像の前記表現を更新するステップであって、前記表現の前記ピクセルまたはボクセルの色および透明度は前記伝達関数に依存する、ステップと
を含み、前記方法は、以下のステップ、すなわち、
- 前記ゾーンの少なくとも1つの2次元すなわち2D画像を取得するステップであって、前記2D画像はピクセルおよび少なくとも1つのチャネルを含み、値が前記2次元画像の各ピクセルの各チャネルに関連付けられ、前記2D画像の表現は第1のインターフェースに表示される、ステップと、
- 前記ゾーンの少なくとも1つの3次元すなわち3D画像を取得するステップであって、前記3D画像はボクセルおよび少なくとも1つのチャネルを含み、値が前記3D画像の各ボクセルの各チャネルに関連付けられ、前記3D画像の前記ボクセルの少なくとも一部は前記2D画像のいくつかのピクセルに対応し、前記3D画像の表現は第2のインターフェースに表示される、ステップと、
- ユーザから少なくとも1つの注釈を取得するステップであって、前記注釈は前記2D画像の選択されたピクセルのグループまたは前記3D画像の選択されたボクセルのグループを定義する、ステップと、
- 前記2Dまたは3D画像の前記選択されたピクセルまたはボクセルにそれぞれ対応する前記3Dまたは2D画像の前記ボクセルまたは前記ピクセルを選択することによって、前記2Dまたは3D画像中で選択されたピクセルまたはボクセルの前記グループの前記選択を前記3Dまたは2D画像にそれぞれ伝播するステップと、
- 前記2D画像の前記選択されたピクセルに基づいて第1の伝達関数を計算し、前記第1の伝達関数を前記2D画像の各チャネルの前記値に適用するステップと、
- 前記第1のインターフェース中の前記2D画像の前記表現を更新するステップであって、前記表現の前記ピクセルの前記色および前記透明度は前記第1の伝達関数に依存する、ステップと、
- 前記3D画像の前記選択されたボクセルに基づいて第2の伝達関数を計算し、前記第2の伝達関数を前記3D画像の各チャネルの前記値に適用するステップと、
- 前記第2のインターフェース中の前記3D画像の前記表現を更新するステップであって、前記表現の前記ボクセルの前記色および前記透明度は前記第2の伝達関数に依存する、ステップと
を含む、方法。
【請求項2】
前記対応する画像の選択されたピクセルまたはボクセルの前記グループは、前記少なくとも1つのインターフェースを通してユーザから少なくとも1つの追加注釈を取得することによって更新される、請求項1に記載の方法。
【請求項3】
前記伝達関数のうちの少なくとも1つは以下のステップ、すなわち、- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、前記選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップと、
- 対象の前記第1の領域Aおよび対象の前記第2の領域Bのピクセルまたはボクセルにそれぞれ基づいて、第1の特徴テンソルおよび第2の特徴テンソルを作成するステップと、
- 前記第1の領域Aおよび前記第2の領域Bに関連付けられる特徴の統計値の、最適な最大平均不一致(MMD)を通して前記第2の領域Bから前記第1の領域Aを区別することになる統計的検定を定義するステップと、
- 前記画像の各ピクセルまたはボクセルについて、前記ピクセルまたはボクセルの色Cを以下の式、すなわち、
【数1】
f*(v)は、次式によって定義される前記ピクセルまたはボクセルvの値のwitness関数であり、
【数2】
kは、ピクセルまたはボクセルxiおよびyjに関連付けられる前記特徴と、前記ピクセルまたはボクセルvに関連付けられる前記特徴との間の距離を表す値を定義するカーネルである、ステップと、
- 前記画像の各ピクセルまたはボクセルについて、前記ピクセルまたはボクセルの透明度Tを以下の式すなわち、
【数3】
hA(v)は、前記カーネルkを用いた、前記第1の領域Aのボクセルvに関連付けられる前記特徴の、平滑化された密度であり、
hB(v)は、前記カーネルkを用いた、前記第2の領域Bのボクセルvに関連付けられる前記特徴の、平滑化された密度であり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である、ステップと
にしたがって計算される、請求項1または2に記載の方法。
【請求項4】
前記伝達関数のうちの少なくとも1つは以下のステップ、すなわち、- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、前記選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップと、
- 前記対象の第1の領域Aおよび前記対象の第2の領域Bにそれぞれ基づいて、第1の特徴テンソルおよび第2の特徴テンソルを作成するステップと、
【数4】
- 前記画像の各ピクセルまたはボクセルについて、前記ピクセルまたはボクセルについてのシフトした確率の正規化した積が、前記ピクセルまたはボクセルvの1つの特徴、g(v)の値によって、領域Aに属するとき、f*(v)=(βpA(v)+1)g(v)を用いて、前記ピクセルまたはボクセルの色C、
【数5】
- 前記画像の各ピクセルまたはボクセルについて、前記ピクセルまたはボクセルの透明度Tを以下の式、すなわち、
【数6】
- hA(v)=(k*ρ)(v)は、前記カーネルkを用いた、前記第1の領域Aのボクセルvに関連付けられる前記特徴の、平滑化された密度、特徴の前記密度を用いた前記カーネルの畳込み、であり、
- hB(v)=(k*ρ)(v)は、前記カーネルkを用いた、前記第1の領域Bのボクセルvに関連付けられる前記特徴の、平滑化された密度、特徴の前記密度を用いた前記カーネルの畳込み、であり、
- ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である、ステップと
にしたがって計算される、請求項1から3のいずれか一項に記載の方法。
【請求項5】
各特徴テンソルは、前記対応する対象の領域の各ピクセルについて、以下の特徴のリスト、すなわち、・前記ピクセルまたはボクセルvの値、
・∇lvは、前記ピクセルまたはボクセル値の(スケールlにわたる)正規化勾配であり、正規化は、ガウシアン畳込み∇lv=∇(Nl *I)によって実施され、Nは、ヌル平均値のガウシアンおよびlの標準偏差
・Sl(v)は、ピクセルまたはボクセルvの周りのサイズlのパッチのエントロピー、
・
【数7】
ここで、(l1,l2)は前記ガウシアンに関連付けられる2つのスケールであり、
Iは画像スタックであり、
σl(v)は、ピクセルまたはボクセルvを中心とするサイズlの前記パッチの標準偏差、
KLl,m(v)は、ピクセルまたはボクセルvを中心とする、サイズlの前記パッチとサイズl+mの周りのパッチとの間のカルバックライブラー距離、
・
【数8】
・∇log(Nl *I)は、ピクセルまたはボクセルvにおける前記畳み込みされた画像の対数微分、
・dp-UMAP,l,m(v)は、ピクセルまたはボクセルvを中心とするサイズlのパッチおよびサイズl+mの周りのパッチについてパラメトリックUMAPによって生成される潜在空間中の低次元ユークリッド距離。この特徴は、医用画像のデータベースが集められている専門的解決策で使用される。パラメトリックUMAPは、3つの主軸(矢状軸、冠状軸、および軸方向軸)中の2D画像スライス上のパッチサイズの予め決められた組で訓練されている。前記訓練は、2D潜在空間に対する前記パッチの寸法を減らすために行われている。評価のときに、前記距離lおよびl+mは、訓練に使用される最も近い値として近似される。
・(r,θ)p-UMAP(v)は、ピクセルまたはボクセルv上を中心とするパラメトリックUMAPによって生成される前記潜在空間上の前記ピクセルまたはボクセルvの極座標、
・Sp-UMAP,l(v)は、ピクセルvの周りのサイズlの領域の凸包面
から選択される少なくとも1つの特徴値を定義する、請求項3または4に記載の方法。
【請求項6】
前記カーネルkは、カーネルの以下のリスト、すなわち、【数9】
- xおよびx'は、前記対応するピクセルまたはボクセルの特徴であり、
{σ,l,p,σb,σv,α,γ}は、カーネルのハイパーパラメータであり、これらのパラメータは、予め定義される、または自動的にもしくはユーザによって設定される、請求項3から5のいずれか一項に記載の方法。
【請求項7】
第1および第2のデバイスのうちの1つで生成される行為は、データをメモリの中に記憶する少なくとも1つのマネージャを通して他のデバイスに送信され、前記データは前記行為を表す少なくとも1つのパラメータを含み、前記第1の表現および/または第2の表現は前記記憶されたデータおよび元の画像のセットに基づいて更新される、請求項1から6のいずれか一項に記載の方法。
【請求項8】
各マネージャは、以下の汎用機能、すなわち、- マネージャデータ記憶装置からアプリケーションの外側で読み取り可能なフォーマットにデータをエクスポートする、
- 前記アプリケーションの外側から前記マネージャデータ記憶装置にデータをインポートする、
- 少なくとも1つのインターフェースからデータを受け取り、前記データを前記マネージャデータ記憶装置の中に記憶し、このデータを含む視覚的読出しですべての他のインターフェースを更新する、
- 少なくとも1つのインターフェースからデータを除去し、前記データを前記マネージャデータ記憶装置から除去し、このデータを除く視覚的読出しですべての他のインターフェースを更新する、
- 新しい視覚要素を追加した所与のインターフェースの前記視覚的読出しを更新する、
- 既存の視覚要素を除去した所与のインターフェースの視覚的読出しを除去する
のうちの少なくとも1つまたは各々を実装する、請求項7に記載の方法。
【請求項9】
記憶される各データ要素は、各インターフェース間の同期を確実にするために使用される、それに関連付けられる固有の識別子を有する、請求項8に記載の方法。
【請求項10】
前記3D画像の前記表現は、ボリュームレイキャスティング法を通して取得される、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記第1のインターフェースはコンピュータスクリーン上で表示され、前記第2のインターフェースはコンピュータスクリーン上および/または仮想現実デバイスのディスプレイ上で表示される、請求項1から10のいずれか一項に記載の方法。
【請求項12】
ソフトウェアがプロセッサによって実行されるとき、請求項1から11のいずれか一項に記載の方法の少なくとも一部を実施するための命令を含む、コンピュータプログラム。
【請求項13】
- 対象物のゾーンの少なくとも1つの画像を受け取るための入力手段と、- 請求項12に記載のコンピュータプログラムの少なくとも命令を記憶するためのメモリと、
- 前述の命令を読み取るため前記メモリにアクセスし、次いで請求項1から11のいずれか一項に記載の方法を実行するプロセッサと、
- 前記方法を実行することによって取得される前記画像の前記表現を表示するためのインターフェース手段と
を備える、コンピュータデバイス。
【請求項14】
コンピュータソフトウェアがプロセッサによって実行されるとき、請求項1から11のいずれか一項に記載の方法を実施するため、前記コンピュータソフトウェアが登録される、コンピュータ可読非過渡的記憶媒体。
【請求項15】
患者の解剖学的構造の3Dモデルを生成する方法であって、- コンピュータ手段によって、対象物の医用3D画像上に請求項1から11のいずれか一項に記載の方法を実施するステップであって、前記対象物は医療対象のゾーンを備える患者の解剖学的構造であり、前記医用3D画像は、磁気画像共鳴(MRI)画像、コンピュータ断層撮影(CT)スキャン画像、陽電子放出断層撮影(PET)スキャン画像、または数値処理した超音波記録画像である、ステップと、
- 医療対象の前記ゾーンを含む、前記患者の解剖学的構造の3Dモデルを表示するステップと
を含む方法。
【請求項16】
ユーザは、前記医用3D画像に少なくとも1つの注釈を提供し、前記少なくとも1つの注釈は、前記ゾーンの可視化もしくは/および対象の前記ゾーンの境界の可視化を改善するため、医療対象の前記ゾーン中のピクセルまたはボクセルを選択する、ならびに/または、前記少なくとも1つの注釈は、対象の前記ゾーン中で取り囲む組織、骨、筋肉、もしくは血管などといった干渉する構造物のクロッピングまたは削除によって、画像変換を可能にするため、医療対象の前記ゾーンの外側のピクセルまたはボクセルを選択する、請求項15に記載の方法。
【請求項17】
生の3D画像撮像データ上で実施されるか、または、セグメント化された3D画像データ上で実施される、請求項15または16に記載の方法。
【請求項18】
患者の状態、病気または健康状況を決定する必要のため、彼/彼女から以前に獲得された医用3D画像から取得された3Dモデルを分析する方法であって、- コンピュータ手段によって、対象物の医用3D画像上に請求項1から11のいずれか一項に記載の方法を実施するステップであって、前記対象物は医療対象のゾーンを含む患者の解剖学的構造であり、前記医用3D画像は、磁気画像共鳴(MRI)画像、コンピュータ断層撮影(CT)スキャン画像、陽電子放出断層撮影(PET)スキャン画像、または数値処理した超音波記録画像である、ステップと、
- 医療対象の前記ゾーンを含む、前記患者の解剖学的構造の3Dモデルを表示するステップと、
- 前記3Dモデルの撮像データに基づいて特に可視化、タグ付け、操作、および/または測定の計量値で前記表示される3Dモデルを分析し、それによって、医療対象の前記ゾーン中の前記患者の解剖学的構造を特徴付けるステップと
を含む方法。
【請求項19】
患者の状態、病気または健康の状況を診断または監視する方法であって、- 請求項18に記載の方法を実施するステップと、
- 撮像データに基づいて測定された前記計量値に対する前記データを収集するステップであって、前記計量値は、前記患者の状態、病気または健康の状況について、医療対象の形態学的、幾何学的、または位置の特徴をマッピングすることを可能にする、ステップと
を含む方法。
【請求項20】
患者の中の腫瘍の検出または監視のために、前記可視化されたまたは測定された計量値は、特定の臓器の中またはそれの部分の中の前記腫瘍の位置決め、病変の数の決定、影響を受けた解剖学的構造もしくは体の部分、特に、影響を受けた臓器の外形に対する前記腫瘍の位置、前記腫瘍の体積もしくは前記腫瘍のそれぞれの体積の比率および前記影響を受けた臓器の常在体積の決定というグループ中で選択される、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、少なくとも1つのインターフェースにおいて、対象物の少なくともゾーンを可視化するための、より具体的には、患者の少なくともゾーンを可視化するための方法に関する。
【背景技術】
【0002】
医学は、医用撮像技法を利用して、臨床分析および治療介入のため患者の体の内部の画像、ならびに、いくつかの臓器または組織の視覚表現を生成する。医用撮像は、病気を診断して治療するため、または何らかの手術を準備するために、たとえば皮膚または骨によって隠れている体の内部構造を明らかにすることを目的とする。
【0003】
たとえば、コンピュータ断層撮影(CT)、磁気共鳴撮像(MRI)、陽電子放出断層撮影(PET)または超音波によって生成される医用画像は、2次元(2D)または3次元(3D)画像でありうる。3D画像は、2D画像のスタックから計算されえ、または直接取得されうる。
【0004】
各画像は、(2D画像用の)ピクセルまたは(3D画像用の)ボクセルを含み、値が該画像の各ピクセルまたはボクセルの各チャネルに関連付けられる。たとえば、単色画像の場合、画像は、ただ1つのチャネルを含み得る。対照的に、カラー画像の場合、画像は、たとえば、各原色(赤、緑、青)につき1つの複数のチャネルを含み得る。ボクセルおよびピクセルという用語は、拡張または類似として、2Dまたは3D画像のいずれにも使用され得る。
【0005】
2D医用画像は、放射線科医師が診断を実施し、対象の構造を測定し、治療戦略を評価するのを可能にする、スライスベースの表現であることが多い。しかし、外科医師にとって、仮想および拡張現実没入型可視化技法によって実現されるものといった、自然な3D視状況中の「アバター」または「デジタルツイン」として患者の詳細な原寸大の表現が有益である。
【0006】
3D医用画像のボリュームレンダリングは、いくつかの健康管理の状況においてしばしば使用されるが、レンダリングされた画像の質ならびに対象の解剖学的構造間のコントラストは、画像に適用される伝達関数のタイプに強く依存する。
【0007】
画像に適用される伝達関数は、該表現のピクセルまたはボクセルの色(すなわち、放出特性)および透明度(不透明度、すなわち、吸収特性とも呼ばれる)を変更することによって、該画像の表現またはレンダリングを変更することを目的とする。
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来のソフトウェアによって、ユーザは、ピクセルまたはボクセルに光学特性を与える予め定義された伝達関数を適用することが可能になる。そのような予め定義された伝達関数は、対応する分析に常に適用されるわけではない。
【0009】
伝達関数のいくつかのハイパーパラメータの手動調整は、場合によって、ソフトウェアによって可能とされる。しかし、該伝達関数の手作業での設計は、退屈で時間がかかる仕事となる可能性があり、必ずしも対象の場合についての伝達関数の最良の最適化をもたらすわけではない。
【0010】
また、異なるインターフェースを使用する医療専門家間の通信を容易にする必要もある。特に、放射線科医師は、2D表示インターフェースを使用するように訓練される一方で、外科医師は、手術室中の患者と正確に似ている3Dインターフェースを使用する。そのような相互作用によって、病気の診断または手術の準備を容易にするため両方の専門知識から恩恵を被ることがある。
【課題を解決するための手段】
【0011】
これらの目的のため、本発明は、少なくとも1つのインターフェースにおいて対象物の少なくともゾーンを可視化するためのコンピュータ手段によって実施される方法を提案する。該方法は、以下のステップ、すなわち、
- 該ゾーンの少なくとも1つの画像を取得するステップであって、該画像は少なくとも1つのチャネルを含み、該画像はピクセルまたはボクセルを含む2次元または3次元画像であり、値が該画像の各ピクセルまたはボクセルの各チャネルに関連付けられ、該画像の表現はインターフェースに表示される、ステップと、
- ユーザから少なくとも1つの注釈を取得するステップであって、該注釈は該画像の選択されたピクセルまたはボクセルのグループを定義する、ステップと、
- 該選択されたピクセルまたはボクセルに基づいて伝達関数を計算し、該伝達関数を画像の各チャネルの値に適用するステップと、
- インターフェース中の画像の該表現を更新するステップであって、該表現のピクセルまたはボクセルの色および透明度は伝達関数に依存する、ステップと
を含む。
- 該ゾーンの少なくとも1つの画像を取得するステップであって、該画像は少なくとも1つのチャネルを含み、該画像はピクセルまたはボクセルを含む2次元または3次元画像であり、値が該画像の各ピクセルまたはボクセルの各チャネルに関連付けられ、該画像の表現はインターフェースに表示される、ステップと、
- ユーザから少なくとも1つの注釈を取得するステップであって、該注釈は該画像の選択されたピクセルまたはボクセルのグループを定義する、ステップと、
- 該選択されたピクセルまたはボクセルに基づいて伝達関数を計算し、該伝達関数を画像の各チャネルの値に適用するステップと、
- インターフェース中の画像の該表現を更新するステップであって、該表現のピクセルまたはボクセルの色および透明度は伝達関数に依存する、ステップと
を含む。
【0012】
本発明は、医用画像ならびに他のタイプの画像に適用可能である。本発明は、患者の体の少なくともゾーンを可視化することに限定されない。
【0013】
従来技術とは反対に本発明の場合には、伝達関数は、該伝達関数のハイパーパラメータを手作業で微調整することだけによって、予め定義されない、または変更されない。実際には本発明では、画像の注釈が使用されて、伝達関数を適用し、こうして画像の結果となる表現が得られる。そのようなプロセスは、伝達関数の半自動定義またはパラメータ化と呼ばれる。
【0014】
伝達関数のそのような人間工学的で動的な変更は、画像の内容に基づいて伝達関数を迅速で最適に変更するのに特に効果的である。
【0015】
インターフェースは、グラフィカルユーザインターフェース(GUI)であってよい。ユーザは、たとえば、マウス、キーボード、および/または、仮想現実コントローラといった、少なくとも1つのコントローラを通してインターフェースと相互作用し得る。
【0016】
該方法は、以下のステップ、すなわち、
- 該ゾーンの少なくとも1つの2次元すなわち2D画像を取得するステップであって、該2D画像はピクセルおよび少なくとも1つのチャネルを含み、値が該2D画像の各ピクセルの各チャネルに関連付けられ、該2D画像の表現は第1のインターフェースに表示される、ステップと、
- 該ゾーンの少なくとも1つの3次元すなわち3D画像を取得するステップであって、該3D画像はボクセルおよび少なくとも1つのチャネルを含み、値が該3D画像の各ボクセルの各チャネルに関連付けられ、3D画像のボクセルの少なくとも一部は2D画像のいくつかのピクセルに対応し、該3D画像の表現は第2のインターフェースに表示される、ステップと、
- ユーザから少なくとも1つの注釈を取得するステップであって、該注釈は該2D画像の選択されたピクセルのグループまたは該3D画像の選択されたボクセルのグループを定義する、ステップと、
- 該2Dまたは3D画像の選択されたピクセルまたはボクセルにそれぞれ対応する該3Dまたは2D画像のボクセルまたはピクセルを選択することによって、2Dまたは3D画像中で選択されたピクセルまたはボクセルの該グループの選択を3Dまたは2D画像にそれぞれ伝播するステップと、
- 該2D画像の該選択されたピクセルに基づいて第1の伝達関数を計算し、該第1の伝達関数を2D画像の各チャネルの値に適用するステップと、
- 第1のインターフェース中の2D画像の表現を更新するステップであって、該表現のピクセルの色および透明度は第1の伝達関数に依存する、ステップと、
- 該3D画像の該選択されたボクセルに基づいて第2の伝達関数を計算し、該第2の伝達関数を3D画像の各チャネルの値に適用するステップと、
- 第2のインターフェース中の3D画像の表現を更新するステップであって、該表現のボクセルの色および透明度は第2の伝達関数に依存する、ステップと
を含み得る。
- 該ゾーンの少なくとも1つの2次元すなわち2D画像を取得するステップであって、該2D画像はピクセルおよび少なくとも1つのチャネルを含み、値が該2D画像の各ピクセルの各チャネルに関連付けられ、該2D画像の表現は第1のインターフェースに表示される、ステップと、
- 該ゾーンの少なくとも1つの3次元すなわち3D画像を取得するステップであって、該3D画像はボクセルおよび少なくとも1つのチャネルを含み、値が該3D画像の各ボクセルの各チャネルに関連付けられ、3D画像のボクセルの少なくとも一部は2D画像のいくつかのピクセルに対応し、該3D画像の表現は第2のインターフェースに表示される、ステップと、
- ユーザから少なくとも1つの注釈を取得するステップであって、該注釈は該2D画像の選択されたピクセルのグループまたは該3D画像の選択されたボクセルのグループを定義する、ステップと、
- 該2Dまたは3D画像の選択されたピクセルまたはボクセルにそれぞれ対応する該3Dまたは2D画像のボクセルまたはピクセルを選択することによって、2Dまたは3D画像中で選択されたピクセルまたはボクセルの該グループの選択を3Dまたは2D画像にそれぞれ伝播するステップと、
- 該2D画像の該選択されたピクセルに基づいて第1の伝達関数を計算し、該第1の伝達関数を2D画像の各チャネルの値に適用するステップと、
- 第1のインターフェース中の2D画像の表現を更新するステップであって、該表現のピクセルの色および透明度は第1の伝達関数に依存する、ステップと、
- 該3D画像の該選択されたボクセルに基づいて第2の伝達関数を計算し、該第2の伝達関数を3D画像の各チャネルの値に適用するステップと、
- 第2のインターフェース中の3D画像の表現を更新するステップであって、該表現のボクセルの色および透明度は第2の伝達関数に依存する、ステップと
を含み得る。
【0017】
これらの特徴にしたがって、第1のインターフェースおよび2D画像の表現(または2D表現)は、たとえば放射線科医師といった第1のユーザの必要性に適合することができ、第2のインターフェースおよび3D画像の表現(または3D表現)は、たとえば外科医師といった第2のユーザの必要性に適合することができる。
【0018】
この方法では、場合によっては2Dまたは3D表現のうちの1つに見られない可能性がある検出されるべき要素が、他の表現上で検出されるより良好な機会を有することになろう。2Dおよび3Dインターフェースの両方を使用するこの2重検証が、こうして検出を改善する。もちろん、2Dおよび3D表現の両方を可視化して相互作用するために、第1および第2のインターフェースの両方を同じユーザが使用することができる。
【0019】
1つの画像から他の画像への選択されたピクセルまたはボクセルのグループの伝播が、第1および第2の伝達関数の動的で同時の適用を可能にする。他の言葉では、1つのインターフェースについての注釈が、両方のインターフェース上の画像の表現への影響を有する。
【0020】
さらに、上述の特徴によれば、注釈(たとえば、関心領域)が1つのインターフェースから他方へと伝達される。しかし、伝達関数は伝達されず、この伝達関数は、ユーザの各注釈で、各インターフェースについて再計算される。これは、インタラクティブで動的な方法で、2Dおよび3Dインターフェースの各々について、最良の伝達関数を取得することを可能にする。
【0021】
そのような挙動は、インターフェース間、たとえば2人のユーザ間の相互作用を容易にする。
【0022】
対応する画像の選択されたピクセルまたはボクセルのグループは、ユーザから少なくとも1つのインターフェースを通して少なくとも1つの追加注釈を取得することによって更新され得る。
【0023】
他の言葉では、両方のインターフェース上の画像の表現の更新は、各連続した注釈が該表現に影響を有する相互作用プロセスであることができる。
【0024】
ピクセルのグループは2Dインターフェースまたは第1のインターフェース中で選択され得、ボクセルのグループは3Dインターフェースまたは第2のインターフェース中で選択され得、両方のインターフェース中で選択される対応するピクセルおよびボクセルの和集合は、対応する第1および第2の伝達関数を計算するために使用され得る。
【0025】
この状況では、最初の伝達関数パラメータ化が最適でない場合、第1または第2のインターフェースのいずれかで、注釈位置が再調整され得、伝達関数再パラメータ化が、最適な画像表現に向けての収束を可能にする。
【0026】
該注釈は、選択されたピクセルまたはボクセルのグループとの間でピクセルまたはボクセルを追加または除去することに関係し得る。
【0027】
より具体的には、いくつかのピクセルまたはボクセルが、1つのインターフェース中の注釈を通して追加され得る一方で、以前に加えられたいくつかのピクセルまたはボクセルは、他のインターフェース中の注釈を通して除去され得る。
【0028】
伝達関数のうちの少なくとも1つは、以下のステップにしたがって計算され得る。
- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、該選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップ、
- 対象の第1の領域Aおよび対象の第2の領域Bのピクセルまたはボクセルにそれぞれ基づいて、第1の特徴テンソルおよび第2の特徴テンソルを作成するステップ、
- 第1の領域Aおよび第2の領域Bに関連付けられる特徴の統計値の、最適な最大平均不一致(MMD)を通して第2の領域Bから第1の領域Aを区別することになる統計的検定を定義するステップ、
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルの色Cを以下の式、すなわち、
- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、該選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップ、
- 対象の第1の領域Aおよび対象の第2の領域Bのピクセルまたはボクセルにそれぞれ基づいて、第1の特徴テンソルおよび第2の特徴テンソルを作成するステップ、
- 第1の領域Aおよび第2の領域Bに関連付けられる特徴の統計値の、最適な最大平均不一致(MMD)を通して第2の領域Bから第1の領域Aを区別することになる統計的検定を定義するステップ、
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルの色Cを以下の式、すなわち、
【0029】
【数1】
【0030】
で定義するステップ、
ここで、f*(v)は、次式によって定義されるピクセルまたはボクセルvの値のwitness関数である。
ここで、f*(v)は、次式によって定義されるピクセルまたはボクセルvの値のwitness関数である。
【0031】
【数2】
【0032】
ここで、kは、領域Aに属するピクセルまたはボクセルxiおよびyjに関連付けられる特徴と、ピクセルまたはボクセルvに関連付けられる特徴との間の距離を表す値を定義するカーネルであり、mがA中のピクセルまたはボクセルの数、nが領域B中のピクセルまたはボクセルの数である。
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルの透明度Tを以下の式で定義するステップ。
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルの透明度Tを以下の式で定義するステップ。
【0033】
【数3】
【0034】
ここで、
hA(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込み、であり、
hB(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込み、であり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である。
hA(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込み、であり、
hB(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込み、であり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である。
【0035】
伝達関数を計算するための該方法は、ほとんど計算力を必要とせず、多数の用途に好適である。
【0036】
伝達関数のうちの少なくとも1つは、以下のステップにしたがって計算され得る。
- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、該選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップ、
- 対象の第1の領域Aおよび対象の第2の領域Bにそれぞれ基づいて、第1の特徴テンソルおよび第2の特徴テンソルを作成するステップ、
-
- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、該選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップ、
- 対象の第1の領域Aおよび対象の第2の領域Bにそれぞれ基づいて、第1の特徴テンソルおよび第2の特徴テンソルを作成するステップ、
-
【0037】
【数4】
【0038】
および2nA≦nmaxとなるよう、対象の第1の領域Aおよび対象の第2の領域中のピクセルまたはボクセルをサンプリングするステップ。ここで、nAが第1の領域A中のサンプルピクセルまたはボクセルの数であり、nBが第2の領域B中のサンプルピクセルまたはボクセルの数であり、nmaxが予め決められた値である。
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルについてのシフトした確率の正規化した積が、該ピクセルまたはボクセルvの1つの特徴、g(v)の値によって、領域Aに属するとき、f*(v)=(βpA(v)+1)g(v)を用いて、該ピクセルまたはボクセルの色C、
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルについてのシフトした確率の正規化した積が、該ピクセルまたはボクセルvの1つの特徴、g(v)の値によって、領域Aに属するとき、f*(v)=(βpA(v)+1)g(v)を用いて、該ピクセルまたはボクセルの色C、
【0039】
【数5】
【0040】
を定義するステップであって、βは、予め決められた定数である、ステップ、
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルの透明度Tを以下の式、すなわち、
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルの透明度Tを以下の式、すなわち、
【0041】
【数6】
【0042】
で定義するステップ。
ここで、
hA(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
hB(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である。
ここで、
hA(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
hB(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である。
【0043】
伝達関数を計算するための該方法は、2Dまたは3D画像についてのそうした識別が特に困難またはあいまいに見えるときでさえ、ユーザが表現中の対象の部分をより良好に識別することを可能にする性能を提供する。
【0044】
対象の第1の領域は、注釈に基づいて選択されたピクセルまたはボクセルのグループとして定義され得る。
【0045】
対象の第2の領域は、注釈に基づいて選択されたピクセルまたはボクセルのグループのピクセルまたはボクセルを含まないピクセルまたはボクセルの他のグループとして自動的に定義され得る。
【0046】
あるいは、対象の第2の領域は、相補的な注釈に基づいて、ユーザによって選択されるピクセルまたはボクセルの他のグループとして定義され得る。
【0047】
各特徴テンソルは、対応する対象の領域の各ピクセルについて、以下の特徴のリストから選択される少なくとも1つの特徴値を定義し得る。
・ピクセルまたはボクセルvの値
∇lvは、ピクセルまたはボクセル値の(スケールlにわたる)正規化勾配であり、正規化は、ガウシアン畳込み∇lv=∇(Nl*I)によって実施され、Nは、ヌル平均値のガウシアンおよびlの標準偏差、Iは画像スタックである
・Sl(v)は、ピクセルまたはボクセルvの周りのサイズlのパッチのエントロピー
・
・ピクセルまたはボクセルvの値
∇lvは、ピクセルまたはボクセル値の(スケールlにわたる)正規化勾配であり、正規化は、ガウシアン畳込み∇lv=∇(Nl*I)によって実施され、Nは、ヌル平均値のガウシアンおよびlの標準偏差、Iは画像スタックである
・Sl(v)は、ピクセルまたはボクセルvの周りのサイズlのパッチのエントロピー
・
【0048】
【数7】
【0049】
は、ピクセルまたはボクセルvにおける畳み込みされた画像の差異
ここで、(l1,l2)はガウシアンに関連付けられる2つのスケールであり
Iは画像スタックである
・σl(v)は、ピクセルまたはボクセルvを中心とするサイズlのパッチの標準偏差
・KLl,m(v)は、ピクセルまたはボクセルvを中心とするサイズlのパッチとサイズl+mの周りのパッチとの間のカルバックライブラー距離
・
ここで、(l1,l2)はガウシアンに関連付けられる2つのスケールであり
Iは画像スタックである
・σl(v)は、ピクセルまたはボクセルvを中心とするサイズlのパッチの標準偏差
・KLl,m(v)は、ピクセルまたはボクセルvを中心とするサイズlのパッチとサイズl+mの周りのパッチとの間のカルバックライブラー距離
・
【0050】
【数8】
【0051】
、ピクセルまたはボクセルvを中心とする、サイズlのパッチ中のボクセルの中央値
・∇log(Nl*I)は、ピクセルまたはボクセルvにおける畳み込みされた画像の対数微分
・dp-UMAP,l,m(v)は、ピクセルまたはボクセルvを中心とするサイズlのパッチおよびサイズl+mの周りのパッチについてパラメトリックUMAPによって生成される潜在空間中の低次元ユークリッド距離。この特徴は、医用画像のデータベースが集められている専門的解決策で使用される。パラメトリックUMAPは、3つの主軸(矢状軸、冠状軸、および軸方向軸)中の2D画像スライス上のパッチサイズの予め決められた組で訓練されている。訓練は、2D潜在空間に対するパッチの寸法を減らすために行われている。評価のときに、距離lおよびl+mは、訓練に使用される最も近い値として近似される。
・(r,θ)p-UMAP(v)は、ピクセルまたはボクセルv上を中心とするパラメトリックUMAPによって生成される潜在空間上のピクセルまたはボクセルvの極座標
・Sp-UMAP,l(v)は、ピクセルvの周りのサイズlの領域の凸包面
・∇log(Nl*I)は、ピクセルまたはボクセルvにおける畳み込みされた画像の対数微分
・dp-UMAP,l,m(v)は、ピクセルまたはボクセルvを中心とするサイズlのパッチおよびサイズl+mの周りのパッチについてパラメトリックUMAPによって生成される潜在空間中の低次元ユークリッド距離。この特徴は、医用画像のデータベースが集められている専門的解決策で使用される。パラメトリックUMAPは、3つの主軸(矢状軸、冠状軸、および軸方向軸)中の2D画像スライス上のパッチサイズの予め決められた組で訓練されている。訓練は、2D潜在空間に対するパッチの寸法を減らすために行われている。評価のときに、距離lおよびl+mは、訓練に使用される最も近い値として近似される。
・(r,θ)p-UMAP(v)は、ピクセルまたはボクセルv上を中心とするパラメトリックUMAPによって生成される潜在空間上のピクセルまたはボクセルvの極座標
・Sp-UMAP,l(v)は、ピクセルvの周りのサイズlの領域の凸包面
【0052】
該カーネルkは、カーネルの以下のリストから選択され得る。
【0053】
【数9】
【0054】
ここで、
- xおよびx'は、対応するピクセルまたはボクセルの特徴、最高8のサイズのベクトルであり、
- {σ,l,p,σb,σv,α,γ}は、カーネルのハイパーパラメータであり、これらのパラメータは、予め定義される、または自動的にもしくはユーザによって設定される。
- xおよびx'は、対応するピクセルまたはボクセルの特徴、最高8のサイズのベクトルであり、
- {σ,l,p,σb,σv,α,γ}は、カーネルのハイパーパラメータであり、これらのパラメータは、予め定義される、または自動的にもしくはユーザによって設定される。
【0055】
上述のハイパーパラメータは、少なくとも1つのインターフェースを通して少なくとも1人のユーザによって変更または設定され得る。
【0056】
本発明にしたがって、スライスベースの2D画像および3D画像を取得するために、同じ医用画像または医用画像シリーズが使用されうる。
【0057】
該医用画像シリーズは、Digital Imaging and Communications in Medicine (DICOM)画像シリーズであり得る。
【0058】
3D画像の表現は、ボリュームレイキャスティング法を通して取得され得る。
【0059】
第1のインターフェースがコンピュータスクリーン上で表示され得る。
【0060】
第2のインターフェースは、コンピュータスクリーン上および/または仮想現実(VR)デバイスのディスプレイ上で表示され得る。該VRデバイスは、立体視動作追跡ヘッドマウントディスプレイおよびVRコントローラを備え得る。そのようなVRデバイスは、自然な3D可視化および3D画像の表現との相互作用を可能にする。
【0061】
上述の半自動伝達関数定義またはパラメータ化プロセスは、さらなる手作業のオプションと互換性がある。ユーザは、伝達関数との相互作用、および/または伝達関数の部分の追加もしくは除去をやはり行い得る。ユーザは、伝達関数の特徴空間中の伝達関数の形状を変更し得、カスタム機能によって最適化される関数を代替し得る。最適化された伝達関数に関連付けられるすべてのパラメータは、アクセス可能であり得る。
【0062】
この手作業の状況では、ユーザは、たとえば、専用インターフェースで、または、第1もしくは第2のインターフェースの専用区域で、伝達関数の透明度および色特性を手作業で決定し得る。このインターフェースまたは区域は、相互作用可能な吸収曲線および対応する色マッピングからなる。
【0063】
伝達関数の最も簡単な形式は、ピクセル強度値に基づいて不透明度と色を関連付ける1次元バージョンである。この伝達関数に重要なものは、ピクセル強度値間の不透明度と色変化の平滑性である。その結果、色と、不透明度を定義するための様々な関数との間で遷移させるため、1次元スプラインまたはガウシアンプロファイルが使用され得る。
【0064】
1Dインターフェースまたは区域(この場合、Dは、伝達関数の次元のことをいう)は、ユーザが制御したスプライン、または、ガウシアン、非対称ガウシアン、対数正規、ガウシアン混合などを含む1組の予め決められたテンプレート関数のいずれかを使用する伝達関数を構築することを可能にし得る。透明度および色は、独立してレンダリングされ得る。
【0065】
多くの場合で適切である一方で、伝達関数のそのように簡単な1次元記述は、特に、高度に異質の医用データ中で問題をもたらす可能性がある。事実上、上述したような1次元伝達関数は、ボリュームデータの異なる部分間で、それらが同じ生のピクセルまたはボクセル強度値を有することが偶然に生じる場合、区別することができない。
【0066】
この理由で、2次元伝達関数が使用され得、そのような伝達関数は、データ値(ピクセルまたはボクセル値)と勾配の大きさの両方を考慮する。この手法は、ボリュームの部分間(たとえば、骨と組織間)の界面を見ることを可能にするとともに、均一な領域をより良好に区別する。
【0067】
2次元伝達関数の最も一般的な形式は、ピクセルまたはボクセル強度を勾配の大きさと関係付けるもの(すなわち、ピクセルまたはボクセル強度の1次導関数)またはラプラシアンと関係付けるもの(すなわち、ピクセルまたはボクセル強度の2次導関数)である。たとえば、CT画像の場合には、これらのタイプの伝達関数は、肌と骨などといった、組織を分離するために特に有用である。このタイプの伝達関数中の均一な領域間の界面は、対応する2次元ヒストグラム中で円弧として現れる。勾配またはラプラシアンは表現を最適化するためのピクセルまたはボクセル強度に対する追加パラメータであるので、このことは、画像中の構造物のより完全な分離(セグメント化ではない)を可能にする。
【0068】
2D界面または区域は、より複雑な辞書で、1D界面または区域と同様の様式で伝達関数を構築することを可能にし得る。界面または区域は、伝達関数を設計するための、形状、関数、および幾何学的限界の組み合わせた使用を可能にし得る。
【0069】
本発明の実施形態によれば、第1のインターフェースと第2のインターフェースの間の同期は、該インターフェースとインターフェースして同期し、該ユーザインターフェース間の可視化関連情報(たとえば、注釈、伝達関数、画像変換)を制御する変数を記憶するプログラムを生成する1組のプロシージャ、クラス、およびメッセージを含む少なくとも1つのマネージャを通して取得され得る。
【0070】
マネージャは、すべてのユーザインターフェースで読み取り可能な汎用フォーマットで情報を保持するデータ記憶装置を備え得る。
【0071】
可視化関連情報の各タイプについて、別個のマネージャが存在し得る。各マネージャは、以下の汎用機能のうちの少なくとも1つまたは各々を実装する。
- マネージャデータ記憶装置からアプリケーションの外側で読み取り可能なフォーマット(たとえば、CSVテキスト、PNG画像、STLメッシュ)にデータをエクスポートする、
- アプリケーションの外側からマネージャデータ記憶装置にデータ(たとえば、CSVテキスト、PNG画像、STLメッシュ)をインポートする、
- 少なくとも1つのインターフェースからデータを受け取り、該データをマネージャデータ記憶装置の中に記憶し、このデータを含む視覚的読出しですべての他のインターフェースを更新する、
- 少なくとも1つのインターフェースからデータを除去し、該データをマネージャデータ記憶装置から除去し、このデータを除く視覚的読出しですべての他のインターフェースを更新する、
- 新しい視覚要素(たとえば、ランドマーク、ルーラー測定、体積測定)を追加した所与のインターフェースの視覚的読出しを更新する、
- 既存の視覚要素(たとえば、ランドマーク、ルーラー測定、体積測定)を削除した所与のインターフェースの視覚的読出しを除去する。
- マネージャデータ記憶装置からアプリケーションの外側で読み取り可能なフォーマット(たとえば、CSVテキスト、PNG画像、STLメッシュ)にデータをエクスポートする、
- アプリケーションの外側からマネージャデータ記憶装置にデータ(たとえば、CSVテキスト、PNG画像、STLメッシュ)をインポートする、
- 少なくとも1つのインターフェースからデータを受け取り、該データをマネージャデータ記憶装置の中に記憶し、このデータを含む視覚的読出しですべての他のインターフェースを更新する、
- 少なくとも1つのインターフェースからデータを除去し、該データをマネージャデータ記憶装置から除去し、このデータを除く視覚的読出しですべての他のインターフェースを更新する、
- 新しい視覚要素(たとえば、ランドマーク、ルーラー測定、体積測定)を追加した所与のインターフェースの視覚的読出しを更新する、
- 既存の視覚要素(たとえば、ランドマーク、ルーラー測定、体積測定)を削除した所与のインターフェースの視覚的読出しを除去する。
【0072】
記憶される各データ要素(たとえば、ランドマーク、ルーラー測定、体積測定)は、各インターフェース間の同期を確実にするために使用される、それに関連付けられる固有の識別子を有し得る。
【0073】
データは、マウスまたは対応する2Dもしくは3Dインターフェース中のVRコントローラを使用してユーザによって入力され得る。位置情報ならびにマウスまたはVRコントローラのいずれかのボタン押下は、それらを行為へと書き換える入力ハンドラによって受け取られ得る。たとえば、2D画像スライス中の特定の領域上でのユーザのクリックが、ランドマークの作成によって定義される行為をもたらし得る。マウスで注釈を付けるユーザは、2D表現中の注釈と、伝播を通した、VRコントローラでの注釈作成のための3D表現中の対応する注釈との両方の作成をもたらし得、その逆も同様である。
【0074】
1つのインターフェース中の全部の行為は、それらが対応する他方での行為を有し得る。行為は、領域クロッピング、領域削除、方向調整、および拡大縮小またはズームなどといった、画像変換を含み得る。他のタイプの行為は、ランドマーク、ルーラー測定、およびピクセル毎のタグ付けなどといった、画像に対する注釈の追加であり得る。同様に、注釈の除去が行為を構成し得る。行為は、2D表現または3D表現の視覚特性を制御する、伝達関数への調整に対応することができる。それは、ピクセルまたはボクセルに関連付けられる特徴の関数として、画像の輝度、色、および透明度を調整することである。
【0075】
その作成後、行為の視覚的読出しは、インターフェースの更新において、それぞれのインターフェースに影響され得る。たとえば、ランドマークを作成する第1のインターフェース中の行為は、第1のインターフェース中にランドマークのグラフィカル表現をレンダリングし得る。
【0076】
インターフェース更新は、ユーザ行為をマネージャに通知するイベントトリガを介して、イベントの発生によって続かれ得る。
【0077】
インターフェースは、データの一貫性および両方のインターフェースとそれらそれぞれのユーザとの間の合理化された通信を確実にするため完全に同期され得る。そうする手段は、2つの主な機能を有し得るマネージャの使用を通してである。マネージャは、1つのインターフェース中の行為が他方で明らかになるのを確実にするため、イベントの起動を介して両方のインターフェースを接続し得る。行為の作成は、マネージャに通知し次いで処理するそれぞれのインターフェースにイベントを生じ得る。マネージャは、次いで、それぞれのインターフェースからイベント引数を受け取り、2つの動作を順に実施し得る。マネージャは、引数中に記憶された情報を、両方のインターフェースタイプによって読出し可能なフォーマットで、集中型内部データ記憶装置の中に最初に保存し得る。たとえば、このデータは、注釈の位置または画像変換であり得る。第2のステップとして、マネージャは、他のインターフェース中でイベントを発生させ得、関連する引数を送信し得る。これらの引数は、インターフェース更新ユニットによって受信され得、適切なグラフィカル要素へと直接書き換えられ得る。
【0078】
上述したように、マネージャは、各タイプの注釈に関連付けされ得る。たとえば、マネージャがランドマークの追加および除去を処理し得、別個のマネージャが、伝達関数の変化を処理し得る。
【0079】
そのようなマネージャは、複数のユーザインターフェース間の、データの一貫性、整合性、同期、および安全性のため最適な手段である。
【0080】
集中した場所に汎用的フォーマットで記憶された異なるユーザインターフェースからの全部の関連する視覚情報を有するという事実は、それぞれのインターフェース中に存在するデータタイプ間の矛盾を解消する。
【0081】
1つのユーザインターフェースでの行為(データ追加、削除、変換)の効果が、あらゆる他のインターフェースに迅速に表される。
【0082】
データのエクスポートは、全部のユーザインターフェースからの注釈が1つの集中した場所に記憶されるので、常に一貫性がある。
【0083】
複数のデータタイプへのアクセスを必要とする関数(たとえば、タグ付けされたピクセルまたはボクセル情報へのアクセスを必要とする伝達関数)は、関連するマネージャタイプにアクセスすることによって、直接そうすることができる。
【0084】
放射線科医師が第1のインターフェース(放射線科医師が慣れているユーザインターフェース)中で注釈を行い得、そして、外科医師が諒解するように正確に同じ注釈が第2のインターフェースに3次元で表されて現れることになり、その結果、可視化される注釈にあいまいさは存在しない。加えて、外科医師が第2のインターフェース中で注釈を行うことができ、同じ注釈が第1のインターフェース中に現れることになる。第1のインターフェースのデータのユーザナビゲーションは、3つの移動する2D平面の形で第2のインターフェース内で可視化され得る。第1のインターフェース中のマウスの位置は、強調表示された球として第2のインターフェース内で示され得る。
【0085】
3Dインターフェース中のデータのユーザナビゲーションは、矢状軸、軸方向、および冠状軸平面の自律的運動の形で2Dインターフェース内で可視化され得る。VRコントローラの位置は、移動する色付き円の形で示され得る。
【0086】
より一般的には、1つのインターフェース中のマウスの位置またはVRコントローラの位置は、他のインターフェース中で迅速に見られ得る。
【0087】
集中型データの特徴は、異なるユーザインターフェース中で可視化されたデータが正しいデータであることを確実にする。マネージャは、モジュール型実装を確実にするために、調整され得る。マネージャモデルは、各可視化関連情報が同じインターフェースでアクセスされるのを確実にし得る。新しい特徴の組み込みは、マネージャに変化を必要としなくてよい。この抽象化は、ユーザインターフェースにわたって同期されるべき新しいタイプのデータタイプの簡単な実装の役に立つ。
【0088】
マネージャは、実時間での可視化関連データタイプの追加または除去の際に全インターフェースを更新するイベントトリガを使用し得る。このことは、全インターフェースにわたるデータタイプの瞬時の可視化を確実にする。
【0089】
注釈は、視覚表現上に重ね合わされる情報であり得る。すなわち、第1または第2のユーザインターフェースの両方で、同一の注釈が表され得る。位置および方向の精度が同一である一方で、それらの外観は各インターフェースに対して調整され得る。下は、ユーザによって対応するインターフェース中で追加または除去され得る注釈のうちのいくつかを記載している。
【0090】
ランドマークは、画像中または表現中の特定のピクセルまたはボクセルの場所にユーザによって置かれた注釈である。それは、球、フラグ、または矢印によって表現され得る。
【0091】
ルーラー注釈は、画像または表現上に重ね合わされる2Dまたは3D距離測定値である。それは、測定値を定義する2つの端部間の直線によって典型的には表される。
【0092】
体積注釈は、3D画像内または3D表現内の体積測定値である。それは、球、楕円、または他の3D幾何形状によって示され得る。体積注釈は、領域の表面積を測定するための手段としても機能し得る。
【0093】
タグは、画像または表現中の個々のピクセルまたはボクセルを表す注釈である。それは、画像中の元のピクセルまたはボクセルにオーバーレイする半透明色によって示され得る。
【0094】
バウンディングボックスは、画像または表現中の領域または対象物を識別するために使用される注釈である。それは、2D画像または2D表現中の箱形の外形および3D画像または3D表現中の3Dの箱によって示され得る。
【0095】
経路は、それに沿った自動表示手順の作成を可能にする第1および第2のインターフェースのうちのいずれかで定義されるスプライン補間曲線である。経路は、全インターフェース上で色付き線として現れ得る。
【0096】
注釈は、体積測定用画像スタック内側に位置情報を追加して、2D画像または2D表現および3D画像または3D表現中のそれの適切な可視化を確実にするために使用され得る。そのような注釈は、(たとえば、ランドマークを有する)腫瘍の数、(たとえば、ルーラー測定値を有する)腫瘍のサイズ、(たとえば、体積注釈を介した)手法の体積、ランドマークの位置、対象の構造物の自動または半自動セグメント化、およびセグメント化された対象物(外科器具、異物)に関する情報を含み得る。
【0097】
ランドマークおよびルーラー測定値などの注釈の使用は、放射線科医師が、外科医師に医用画像中に含まれる臨床情報を通信するための手段である。そのような情報は、腫瘍のサイズ、体積、および数、ならびに切除マージンを含むことができる。ランドマークは、オンコプラスティック手術のための候補の血管、先天的な心臓欠陥の存在、および骨の破片の正確な位置などといった、対象の区域を示すこともできる。
【0098】
外科医師は、手術用の所作を計画するため、医用画像に注釈を行うことができる。たとえば、切開面の場所は、ルーラーおよびタグ付けツールの使用で究明することができる。腹腔鏡検査手順では、経路注釈が、手術経路の直観的可視化を可能にする。
【0099】
2D表現または2D画像中のタグ付けおよびバウンディングボックス注釈は、他のインターフェースについての最適な伝達関数を定義することに、枢要な役割を演じる。事実上、上述したように、タグ付けまたは境界を画された領域に含まれる局部的情報は、伝達関数パラメータ化に容易に組み込まれることができる関心領域(ピクセルまたはボクセルのグループ)を示す。上述したような画像変換は、画像に実施される幾何学的編集である。
【0100】
画像変換は、画像クロッピングまたは削除を含み得る。
【0101】
画像クロッピングは、画像中の領域の外部を除去することを含む。クロップされる領域は、典型的には、正方形、立方体、または球などといった、共通の幾何形状によって選択される。
【0102】
クロッピング領域は、第1および第2のインターフェースの両方に現れ得、両方のインターフェースから変更することができる。インターフェースの同期が、クロッピング領域が全インターフェース上で同時に動くことを可能にする。
【0103】
画像削除は、画像中の領域の内部を除去することを含む。削除される領域は、典型的には、正方形、立方体、または球などといった、共通の幾何形状によって選択され得る。
【0104】
画像変換は、専門家による邪魔物がない可視化のために、医用画像を準備する。たとえばクロッピングルーチンで、特定の領域または対象の臓器が分離することができる。削除ルーチンは、患者の状態または病状に関係しない領域の除去を可能にすることができる。
【0105】
MRIおよびCTスキャンなどといった医用画像は、典型的には、患者の状態または病状に関係しないかなりの画像情報をキャプチャする。たとえば、肝臓のCTスキャンは、普通なら、肝臓の所望の可視化を不明瞭にする可能性がある、心臓、腸、肺、および胸郭についての信号をキャプチャする。画像の関係のない部分をクロッピングまたは削除する際に、第1および第2のインターフェースの両方で、不明瞭でない医用可視化が可能であり得る。
【0106】
さらに、多くの状況では、画像(より具体的には、医用画像)はマルチチャネルである。たとえば、同じ患者の同じゾーンが、異なる獲得パラメータまたは撮像モダリティーで複数回撮像され得る。該ゾーンの各画像が次いで画像のチャネルを構成し得る。これは、同じセッションで撮像された複数のMRI重み付け(たとえば、T1、T1注入、T2など)の場合であることができる。それは、MRIとCTスキャンで撮像される同じ患者の場合にも対応することができる。
【0107】
多様な画像の融合は、これらの複数のチャネルからの情報を互いに関連付ける行為である。
【0108】
画像の融合は、チャネルを使用して行うことができる。各チャネルは、専用伝達関数に関連付けられ得る。
【0109】
チャネルおよび複数の伝達関数は、マネージャによって処理され得る。
【0110】
すべての画像チャネルは、個別のチャネルを活性化させることによって、独立して可視化され得る。
【0111】
画像チャネルのサブセットは、複数のチャネルを活性化させることによって一緒に可視化され得る。
【0112】
関連する伝達関数は、3D表現を取得するため、第2のインターフェース中で3D画像に適用され得る。
【0113】
第1のインターフェース中で、複数の画像チャネルが融合され得る。しかし、本実施は、第1のインターフェース中のただ1つのチャネルを表示することである。
【0114】
1つの画像チャネル中で実施された注釈は、該画像の全チャネルに同時に伝達され得る。1つのチャネル中の注釈は、全チャネルで伝達関数を生成するために使用することができる。1つのチャネルで定義される伝達関数は、他のチャネルに適用することができる。
【0115】
多様な撮像の位置合わせが、記録技術によって確実になされないとき、または、異なる撮像間で、患者の形態が変えられたとき、2Dもしくは3D表現中で位置決めすることができるランドマークまたは複数のチャネル中の画像を使用して手順が更新することができ、該チャネルは、そのような注釈を使用して一方から他方に再度位置合わせされる。
【0116】
多様な画像の融合は、異なる画像シーケンスまたはモダリティーに含まれる情報を一緒に集約するのに有用であり、各シーケンスまたはモダリティーはチャネルを定義する。これらのタイプの情報を一緒に整合させることが、患者の状態の拡張されたピクチャをもたらす。
【0117】
マルチシーケンスの例は、前立腺撮像の状況で、T1重み付けMRIに含まれる相補型情報をT2重み付けMRI中のものに関係付けることを含むことになる。T2重み付け画像では、前立腺は、典型的には、良好に画成される。T1重み付け画像では、特に、血管に関係する処置効果の可視化が描かれる。同じ注釈を使用することによって、これら2つの情報タイプを単一の可視化に組み合わせることが、処置オプションを評価するとき、専門家の部分に拡張した理解をもたらし得る。
【0118】
マルチシーケンスの例は、処置期間の異なるときに取られた同じ患者についての関係するMRI画像を含むこともできる。たとえば、新補助処置の前の胸部MRIは、腫瘍の応答を評価するため、化学療法後と関連付けられ得る。これら2つのタイプの情報を同じ可視化に関連付けることが、適切な腫瘍切除マージンを定義する際に、胸部癌外科医師を支援する。
【0119】
マルチ取得の例は、MRIとCTスキャンシーケンスの融合を含むことになる。この状況での用途は、骨組織中の腫瘍の浸潤を評価するためとなる。組織のコントラストを拡大したMRIが、腫瘍の可視化を可能にする一方で、CTスキャンは、骨組織の明瞭な可視化を可能にする。
【0120】
本発明は、ソフトウェアがプロセッサによって実行されるとき、上述の方法の少なくとも一部を実施するための命令を含む、コンピュータプログラムにやはり関する。
【0121】
本発明は、
- 対象物のゾーンの少なくとも1つの画像を受け取るための入力手段と、
- 前述のコンピュータプログラムの少なくとも命令を記憶するためのメモリと、
- 前述の命令を読み取るためメモリにアクセスし、次いで前述の方法を実行するプロセッサと、
- 該方法を実行することによって取得される画像の表現を表示するためのインターフェース手段と
を備えるコンピュータデバイスにやはり関する。
- 対象物のゾーンの少なくとも1つの画像を受け取るための入力手段と、
- 前述のコンピュータプログラムの少なくとも命令を記憶するためのメモリと、
- 前述の命令を読み取るためメモリにアクセスし、次いで前述の方法を実行するプロセッサと、
- 該方法を実行することによって取得される画像の表現を表示するためのインターフェース手段と
を備えるコンピュータデバイスにやはり関する。
【0122】
本発明は、コンピュータソフトウェアがプロセッサによって実行されるとき、前述の方法を実施するため、コンピュータソフトウェアが登録される、コンピュータ可読非過渡的記憶媒体にやはり関する。
【0123】
本発明は、医療対象の患者の解剖学的構造の3Dモデルを生成する方法にやはり関する。方法は、
- コンピュータ手段によって、本明細書に開示されるような、対象物の少なくともゾーンを可視化するための方法を実施するステップであって、対象物は医用3D画像上に表示され、医療対象のゾーンを備える患者の解剖学的構造であり、医用3D画像は、磁気画像共鳴(MRI)画像、コンピュータ断層撮影(CT)スキャン画像、陽電子放出断層撮影(PET)スキャン画像、または数値処理した超音波記録画像である、ステップと、
- たとえば、仮想現実手段、好ましくは仮想現実ヘッドセットを使用して、医療対象のゾーンを含む、患者の解剖学的構造の3Dモデルを表示するステップと
を含む。
- コンピュータ手段によって、本明細書に開示されるような、対象物の少なくともゾーンを可視化するための方法を実施するステップであって、対象物は医用3D画像上に表示され、医療対象のゾーンを備える患者の解剖学的構造であり、医用3D画像は、磁気画像共鳴(MRI)画像、コンピュータ断層撮影(CT)スキャン画像、陽電子放出断層撮影(PET)スキャン画像、または数値処理した超音波記録画像である、ステップと、
- たとえば、仮想現実手段、好ましくは仮想現実ヘッドセットを使用して、医療対象のゾーンを含む、患者の解剖学的構造の3Dモデルを表示するステップと
を含む。
【0124】
3Dモデルを生成する方法のいくつかの実施形態では、ユーザは、医用3D画像に少なくとも1つの注釈を提供し、ここで、少なくとも1つの注釈は、該ゾーンの可視化もしくは/および対象のゾーンの境界の可視化を改善するため、医療上の関心ゾーン中のピクセルまたはボクセルを選択する、ならびに/または、少なくとも1つの注釈は、関心ゾーン中で取り囲む組織、骨、筋肉、もしくは血管などといった干渉する構造物のクロッピングまたは削除によって、画像変換を可能にするため、医療対象のゾーンの外側のピクセルまたはボクセルを選択する。
【0125】
いくつかの実施形態では関心ゾーンは、病変もしくは病変のグループ、腫瘍、特に癌、または解剖学的異常の医用画像である、または医用画像を包含する。
【0126】
ユーザは、医用画像から集められたデータを可視化し、注釈を付け、および/または相互作用するように訓練された人、特に、医療従事者であり得る。
【0127】
方法のいくつかの実施形態では3Dモデルは、生の3D画像撮像データを使用して、または代わりに、セグメント化された3D画像データを使用して生成される。
【0128】
本発明は、したがって、患者の状態、病気または健康状況を決定する必要のため、彼/彼女から以前に獲得された医用3D画像から取得された3Dモデルを分析する方法にやはり関し、方法は、
- コンピュータ手段によって、本明細書に開示されるような、対象物の少なくともゾーンを可視化するための方法を実施するステップであって、対象物は医用3D画像上に表示され、医療対象のゾーンを備える患者の解剖学的構造であり、医用3D画像は、磁気画像共鳴(MRI)画像、コンピュータ断層撮影(CT)スキャン画像、陽電子放出断層撮影(PET)スキャン画像、または数値処理した超音波記録画像である、ステップと、
- 医療対象のゾーンを含む、患者の解剖学的構造の3Dモデルを表示するステップと、
- 3Dモデルの撮像データに基づいて特に可視化、タグ付け、操作、および/または測定の計量値で表示される3Dモデルを分析し、それによって、医療対象のゾーン中の患者の解剖学的構造を特徴付けるステップと
を含む。
- コンピュータ手段によって、本明細書に開示されるような、対象物の少なくともゾーンを可視化するための方法を実施するステップであって、対象物は医用3D画像上に表示され、医療対象のゾーンを備える患者の解剖学的構造であり、医用3D画像は、磁気画像共鳴(MRI)画像、コンピュータ断層撮影(CT)スキャン画像、陽電子放出断層撮影(PET)スキャン画像、または数値処理した超音波記録画像である、ステップと、
- 医療対象のゾーンを含む、患者の解剖学的構造の3Dモデルを表示するステップと、
- 3Dモデルの撮像データに基づいて特に可視化、タグ付け、操作、および/または測定の計量値で表示される3Dモデルを分析し、それによって、医療対象のゾーン中の患者の解剖学的構造を特徴付けるステップと
を含む。
【0129】
本発明は、患者の状態、病気または健康の状況を診断または監視する方法にやはり関し、方法は、
- 上で開示されたような方法を実施するステップと、
- 撮像データに基づいて測定された計量値に対するデータを収集するステップであって、測定値は、患者の状態、病気または健康の状況について、医療対象の形態学的、幾何学的、または位置の特徴をマッピングすることを可能にする、ステップと
を含む。
- 上で開示されたような方法を実施するステップと、
- 撮像データに基づいて測定された計量値に対するデータを収集するステップであって、測定値は、患者の状態、病気または健康の状況について、医療対象の形態学的、幾何学的、または位置の特徴をマッピングすることを可能にする、ステップと
を含む。
【0130】
いくつかの実施形態では、収集したデータは、患者の状態、病気または健康の状況について結論を出すための決定要因である。
【0131】
いくつかの実施形態では、幾何学的特徴は、解剖学的構造の体積に対する、特に病変または腫瘍または解剖学的異常である、関心ゾーンの体積比率を包含する。いくつかの実施形態では、関心ゾーンの位置の特徴は、それを構成する解剖学的構造または要素の外形に対するゾーンの相対的位置を包含する。
【0132】
いくつかの実施形態では、形態学的、幾何、または位置の特徴が、特に多中心性または多発性病変である、多中心性または多発性の関心ゾーンの検出または可視化を可能にする。
【0133】
いくつかの実施形態では、形態学的、幾何、または位置の特徴が、表現される血管、筋肉、または他の組織が存在する中など、すなわち、表示されるデータの前処理なしで、3Dモデル上に表示される関心ゾーンの自然な状況で評価される。他の実施形態では、形態学的、幾何学的、または位置の特徴は、3Dモデルを表示する以前に実施された画像変換後に評価され、そのような変換は、関心ゾーン中で取り囲む組織、骨、筋肉、もしくは血管などといった、干渉する構造物のクロッピングまたは削除を含む、またはクロッピングまたは削除からなる。
【0134】
いくつかの実施形態では、本発明の方法は、患者の中の腫瘍(複数の病変を包含する腫瘍を含む)である関心ゾーンの検出または監視のためであって、可視化されたまたは測定された計量値は、特定の臓器の中またはそれらの特定の部分の中の腫瘍の空間的位置決め、病変の数の決定、影響を受けた解剖学的構造もしくは体の部分、特に、影響を受けた臓器の外形に対する腫瘍の位置、特に、腫瘍の境界(マージン)の決定、腫瘍の体積もしくは腫瘍のそれぞれの体積の比率およびそれを含む臓器の常在体積の決定のグループ中で選択される。特定の実施形態では、腫瘍は胸部癌である。
【0135】
本発明の方法は、手術の準備で援助するためを含む、医療の術前計画で援助するため、健康状況の患者の状態、病気に関係する医療の決定で援助するために使用され得る。特に、方法は、放射線医学での用途、手術専用トピックス、患者の状態または病気の医療での診断または監視のために使用され得る。手術分野での用途は、医用画像可視化および分析の精度を改善することが判明し、結果として、手術の戦略を設計または行うための有益なデータおよび情報を提供した。したがって、本発明は、癌治療の分野で、特に癌の診断またはオンコプラスティックサージャリーの計画で、特に手術による胸部癌治療の分野で、適用され得るが、やはりより幅広く外傷の治療の分野で、特に外傷手術の計画で、特に心臓の解剖に影響をおよぼす心臓病などの解剖学的病気の治療の分野で、肝臓病の分野で、適用され得る。本発明は、小児科の手術または整形外科の手術の分野でやはり適用され得る。
【0136】
他の特徴、詳細、および利点は、以下の詳細な説明および図に示されることになる。
【図面の簡単な説明】
【0137】
【図1】注釈を通したピクセルまたはボクセルの選択以前の、2D画像の2D表現を示す第1のインターフェースの例を示す図である。
【図2】注釈を通したピクセルまたはボクセルの選択以前の、3D画像の3D表現を示す第2のインターフェースの例を示す図である。
【発明を実施するための形態】
【0138】
図1および図2は、それぞれ、患者の特定のゾーンの2D画像の第1の表現または2D表現、および、該特定のゾーンの3D画像の第2の表現または3D表現を示す、第1および第2のインターフェースを表す。これらの図中の関心ゾーンは、患者の右の胸に位置する胸部癌の腫瘍である。腫瘍は、2Dインターフェース表現中で明瞭に見ることが可能であるが、3Dで腫瘍を可視化するには、伝達関数の正確なパラメータ化が必要である。図3および図4は、該インターフェース中の伝達関数を更新した後の、患者の同じゾーンを図示する。対象の第1の領域Aおよび第2の領域Bが図3中に表される。対象の該領域AおよびBを表す文字および線(ハッチング線および実線)が図3に加えられている。
【0139】
上述したように、該2Dおよび3D画像は、マルチチャネルであり得る同じ体積測定画像データを通して取得し得る。2D画像は、該体積測定画像のスライスベース画像であり得る。
【0140】
第1および/または第2のインターフェースでは、第1のユーザ(たとえば、放射線科医師)および第2のユーザ(たとえば、外科医師)は、注釈を通して、該2Dおよび3D表現上にピクセルまたはボクセルのグループを選択することが可能である。注釈が、両方のインターフェースおよび表現中で更新され、可視化され、変更されることが可能であるので、そのような選択は、両方のユーザによって作成および変更することができる。
【0141】
伝達関数は、該選択に基づいて、各インターフェースについて、またはただ1つのインターフェースについて計算することができる。
【0142】
伝達関数は、目的関数Lを最適化するように定義される。伝達関数は、Φ:V→Gというマッピングとして定義され、Vは、ピクセルまたはボクセルの特徴の空間であり、Gは、2つの関数が定義される関数空間の組(これは、自然に、用途に依存する)であり、T(v)は透明度関数であり、C(v)は、色マッピング関数であり、vは、ピクセルまたはボクセルに関連付けられる特徴である。
【0143】
下で記載される実施形態または用途では、目的関数がLおよび手順を最適化し、(T,C)を取得することを定義することになる。
【0144】
第1の実施形態または用途では、伝達関数を定義するために統計的検定が使用される。より具体的には、該検定は、最大平均不一致(MMD)に依拠する。
【0145】
カーネルの以下のリストが定義される。
【0146】
【数10】
【0147】
ここで、
- xおよびx'は、対応するピクセルまたはボクセルの特徴であり、
- {σ,l,p,σb,σv,α,γ}は、カーネルのハイパーパラメータであり、これらのパラメータは、予め定義される、または自動的にもしくはユーザによって設定される。
- xおよびx'は、対応するピクセルまたはボクセルの特徴であり、
- {σ,l,p,σb,σv,α,γ}は、カーネルのハイパーパラメータであり、これらのパラメータは、予め定義される、または自動的にもしくはユーザによって設定される。
【0148】
上述したハイパーパラメータは、少なくとも1つのインターフェースを通してユーザによって変更または設定され得る。
【0149】
最大平均不一致は、再生核ヒルベルト空間(RKHS)中の埋込み確率測定値の概念に依拠する。埋込み確率測定値は、RKHS中の要素として入力空間の埋込みポイントで処理するカーネル法の一般化である。
【0150】
分離可能な位相空間ξ上で定義される確率Pおよび連続的正定実数カーネルk(対応するRKHSであるべきH)があり、Pは、μP=∫k(.,x)dP(x)としてHの中に埋め込まれ、カーネル平均と呼ばれる。
【0151】
Pの上の埋込みに基づいて、確率測定値の空間上で、距離、最大平均不一致(MMD)を、対応する平均要素間の距離として定義する。すなわち、
【0152】
【数11】
【0153】
カーネルK(x,x')=kG(x-x')をh(v)として、正規化した密度、特徴のヒストグラムの畳込みを定義する。
【0154】
特徴は特定の用途に適合することができる一方で、スタックlのためボクセルに関連付けられる共通の特徴は、以下である。
・ピクセルまたはボクセルvの値
・∇lv、ピクセルまたはボクセル値の(スケールlにわたる)正規化勾配、正規化は、N、ヌル平均値のガウシアンおよびlの標準偏差で、ガウシアン畳込み∇lv=∇(Nl*I)によって実施され、Iは画像スタックである
・Sl(v)、ピクセルまたはボクセルvの周りのサイズlのパッチのエントロピー
・
・ピクセルまたはボクセルvの値
・∇lv、ピクセルまたはボクセル値の(スケールlにわたる)正規化勾配、正規化は、N、ヌル平均値のガウシアンおよびlの標準偏差で、ガウシアン畳込み∇lv=∇(Nl*I)によって実施され、Iは画像スタックである
・Sl(v)、ピクセルまたはボクセルvの周りのサイズlのパッチのエントロピー
・
【0155】
【数12】
【0156】
、ピクセルまたはボクセルvにおける畳み込みされた画像の差異
ここで、(l1,l2)はガウシアンに関連付けられる2つのスケールである
Iは画像スタックである
・σl(v)、ピクセルまたはボクセルvを中心とするサイズlのパッチの標準偏差
・KLl,m(v)、ピクセルまたはボクセルvを中心とするサイズlのパッチとサイズl+mの周りのパッチとの間のカルバックライブラー距離
・
ここで、(l1,l2)はガウシアンに関連付けられる2つのスケールである
Iは画像スタックである
・σl(v)、ピクセルまたはボクセルvを中心とするサイズlのパッチの標準偏差
・KLl,m(v)、ピクセルまたはボクセルvを中心とするサイズlのパッチとサイズl+mの周りのパッチとの間のカルバックライブラー距離
・
【0157】
【数13】
【0158】
、ピクセルまたはボクセルvを中心とするサイズlのパッチ中のボクセルの中央値
・∇log(Nl*I)、ピクセルまたはボクセルvにおいて畳み込みされた画像の対数微分
・dp-UMAP,l,m(v)、ピクセルまたはボクセルvを中心とするサイズlのパッチおよびサイズl+mの周りのパッチについてパラメトリックUMAPによって生成される潜在空間中の低次元ユークリッド距離。この特徴は、医用画像のデータベースが集められている専門的解決策で使用される。パラメトリックUMAPは、3つの主軸(矢状軸、冠状軸、および軸方向軸)中の2D画像スライス上のパッチサイズの予め決められた組で訓練されている。訓練は、2D潜在空間に対するパッチの寸法を減らすために行われている。評価のときに、距離lおよびl+mは、訓練に使用される最も近い値として近似される。
・(r,θ)p-UMAP(v)、ピクセルまたはボクセルv上を中心とするパラメトリックUMAPによって生成される潜在空間上のピクセルまたはボクセルvの極座標
・Sp-UMAP,l(v)、ピクセルvの周りのサイズlの領域の凸包面
・∇log(Nl*I)、ピクセルまたはボクセルvにおいて畳み込みされた画像の対数微分
・dp-UMAP,l,m(v)、ピクセルまたはボクセルvを中心とするサイズlのパッチおよびサイズl+mの周りのパッチについてパラメトリックUMAPによって生成される潜在空間中の低次元ユークリッド距離。この特徴は、医用画像のデータベースが集められている専門的解決策で使用される。パラメトリックUMAPは、3つの主軸(矢状軸、冠状軸、および軸方向軸)中の2D画像スライス上のパッチサイズの予め決められた組で訓練されている。訓練は、2D潜在空間に対するパッチの寸法を減らすために行われている。評価のときに、距離lおよびl+mは、訓練に使用される最も近い値として近似される。
・(r,θ)p-UMAP(v)、ピクセルまたはボクセルv上を中心とするパラメトリックUMAPによって生成される潜在空間上のピクセルまたはボクセルvの極座標
・Sp-UMAP,l(v)、ピクセルvの周りのサイズlの領域の凸包面
【0159】
予想される実行時間に応じて、特徴は、2D画像または対象のスライス(放射線科医師がデータに注釈を加えると決定したスライス)または完全な体積測定3D画像で評価される。それは、以下のアルゴリズムに変化をもたらさない。
【0160】
伝達関数のうちの少なくとも1つは以下のステップにしたがって計算される。
- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、該選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップ
- 対象の第1の領域Aおよび対象の第2の領域Bのピクセルまたはボクセルにそれぞれ基づいて、第1の特徴テンソルvAおよび第2の特徴テンソルvBを作成するステップ。各特徴テンソルvAまたはvBは、対応する対象の領域AまたはBの各ピクセルについて、上述した特徴のリストから選択される少なくとも1つの特徴値を定義する。16ビットグラフィックカードが使用される場合、両方の特徴テンソルvAまたはvBの特徴の合計数は、最大で4個の特徴であり得る。32ビットグラフィックカードが使用される場合、両方の特徴テンソルvAまたはvBの特徴の合計数は、最大で8個の特徴であり得る。
vAまたはvBは、(nA,mA)および(nB,mB)のそれぞれのサイズを有しており、ここで、
nAは領域Aのピクセルまたはボクセルの数であり、
mAは領域Aの各ピクセルまたはボクセルの特徴の数であり、
nBは領域Bのピクセルまたはボクセルの数であり、
mBは領域Bの各ピクセルまたはボクセルの特徴の数であり、
nAはnBと異なり得、mAはmBと異なり得る。
- 機械の制限に依存して、考慮されるべきピクセルまたはボクセル(AおよびB)の最大数nmaxを定義するステップ
- 上で予め定義されたカーネルのリストから1つのカーネルを選択し、以下の定義および式を使用してAとBを区別する最適なMMD検定を計算するステップ
Pについて、witness関数f*(v)∝μP-μQおよび経験的特徴平均
- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、該選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップ
- 対象の第1の領域Aおよび対象の第2の領域Bのピクセルまたはボクセルにそれぞれ基づいて、第1の特徴テンソルvAおよび第2の特徴テンソルvBを作成するステップ。各特徴テンソルvAまたはvBは、対応する対象の領域AまたはBの各ピクセルについて、上述した特徴のリストから選択される少なくとも1つの特徴値を定義する。16ビットグラフィックカードが使用される場合、両方の特徴テンソルvAまたはvBの特徴の合計数は、最大で4個の特徴であり得る。32ビットグラフィックカードが使用される場合、両方の特徴テンソルvAまたはvBの特徴の合計数は、最大で8個の特徴であり得る。
vAまたはvBは、(nA,mA)および(nB,mB)のそれぞれのサイズを有しており、ここで、
nAは領域Aのピクセルまたはボクセルの数であり、
mAは領域Aの各ピクセルまたはボクセルの特徴の数であり、
nBは領域Bのピクセルまたはボクセルの数であり、
mBは領域Bの各ピクセルまたはボクセルの特徴の数であり、
nAはnBと異なり得、mAはmBと異なり得る。
- 機械の制限に依存して、考慮されるべきピクセルまたはボクセル(AおよびB)の最大数nmaxを定義するステップ
- 上で予め定義されたカーネルのリストから1つのカーネルを選択し、以下の定義および式を使用してAとBを区別する最適なMMD検定を計算するステップ
Pについて、witness関数f*(v)∝μP-μQおよび経験的特徴平均
【0161】
【数14】
【0162】
を有する。
φ(x)=[…φi(x)…]は特徴マップであり、φ∈F、k(x,x')=<φ(x),φ(x')>F、およびFは関数のクラスである。
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルの色Cを以下の式で定義するステップ
ここで、f*(v)は、次式によって定義される、ピクセルまたはボクセルvの値のwitness関数である。
φ(x)=[…φi(x)…]は特徴マップであり、φ∈F、k(x,x')=<φ(x),φ(x')>F、およびFは関数のクラスである。
- 画像の各ピクセルまたはボクセルについて、該ピクセルまたはボクセルの色Cを以下の式で定義するステップ
ここで、f*(v)は、次式によって定義される、ピクセルまたはボクセルvの値のwitness関数である。
【0163】
【数15】
【0164】
ここで、kは、領域Aに属するピクセルまたはボクセルxiおよびyjに関連付けられる特徴と、ピクセルまたはボクセルvに関連付けられる特徴との間の距離を表す値を定義するカーネルであり、mがA中のピクセルまたはボクセルの数、nが領域B中のピクセルまたはボクセルの数である。
- 以下の式によって定義される色CおよびTを計算するステップ
- 以下の式によって定義される色CおよびTを計算するステップ
【0165】
【数16】
【0166】
【数17】
【0167】
ここで、
hA(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
hB(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Bのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である。
hA(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
hB(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Bのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である。
【0168】
第2の実施形態または用途では、伝達関数を定義するために特徴にわたる確率分布が使用される。
【0169】
本アルゴリズムは、対象の特徴と、1回限りの学習によって実施される構造物(A,B)のうちの1つに属するボクセルのシフトされた確率との積から、ピクセルまたはボクセルの色を定義する。
【0170】
ここで、学習は、放射線科医師および外科医師が扱っているデータ上でのみ実施される。学習は、データセットから実施されない。1回限りの学習のために使用されるいくつかの特徴は、特定のデータセット上で訓練された推論から導き出することができる。
【0171】
カーネルの以下のリストが定義される。
【0172】
【数18】
【0173】
ガウシアンプロセスを使用して、2値分類器を定義する。領域Aに、y=+1という「ラベル」を、領域Bに、y=-1という「ラベル」を関連付ける。潜在変数f(v)およびロジスティックス関数π(v)≡p(y=+1|v)=S(f(v))を定義する。
Sはロジスティックス関数である。(以下で、領域(A,B)に対応する)タグ付けしたピクセルまたはボクセルのセットVを定義する。
Sはロジスティックス関数である。(以下で、領域(A,B)に対応する)タグ付けしたピクセルまたはボクセルのセットVを定義する。
【0174】
ピクセルまたはボクセルv*について、以下である。
【0175】
【数19】
【0176】
ここで、
【0177】
【数20】
【0178】
ここで、
【0179】
伝達関数のうちの少なくとも1つは以下のステップにしたがって計算される。
- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、該選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップ
- 計算プラットフォーム上で、手順上で使用することができるピクセルまたはボクセルの最大数nmaxを定義するステップ
- 対象の特徴のリスト{…gi(v)…}を定義するステップ
- 対象の第1の領域Aおよび対象の第2の領域Bのピクセルまたはボクセルにそれぞれ基づいて、第1の特徴テンソルvAおよび第2の特徴テンソルvBを作成するステップ。各特徴テンソルvAまたはvBは、対応する対象の領域AまたはBの各ピクセルについて、第1の実施形態または用途のため、上述した特徴のリストから選択される少なくとも1つの特徴値を定義する。
vAまたはvBは、(nA,mA)および(nB,mB)のそれぞれのサイズを有しており、ここで、
nAは領域Aのピクセルまたはボクセルの数であり、
mAは領域Aの各ピクセルまたはボクセルの特徴の数であり、
nBは領域Bのピクセルまたはボクセルの数であり、
mBは領域Bの各ピクセルまたはボクセルの特徴の数であり、
nAはnBと異なり得、mAはmBと異なり得る。
- (A,B)についてボクセルまたはピクセルをサンプリングして、
- 対象の第1の領域Aおよび対象の第2の領域Bを選択するステップであって、各領域は、該選択されたピクセルに基づいたピクセルまたはボクセルのグループを含む、ステップ
- 計算プラットフォーム上で、手順上で使用することができるピクセルまたはボクセルの最大数nmaxを定義するステップ
- 対象の特徴のリスト{…gi(v)…}を定義するステップ
- 対象の第1の領域Aおよび対象の第2の領域Bのピクセルまたはボクセルにそれぞれ基づいて、第1の特徴テンソルvAおよび第2の特徴テンソルvBを作成するステップ。各特徴テンソルvAまたはvBは、対応する対象の領域AまたはBの各ピクセルについて、第1の実施形態または用途のため、上述した特徴のリストから選択される少なくとも1つの特徴値を定義する。
vAまたはvBは、(nA,mA)および(nB,mB)のそれぞれのサイズを有しており、ここで、
nAは領域Aのピクセルまたはボクセルの数であり、
mAは領域Aの各ピクセルまたはボクセルの特徴の数であり、
nBは領域Bのピクセルまたはボクセルの数であり、
mBは領域Bの各ピクセルまたはボクセルの特徴の数であり、
nAはnBと異なり得、mAはmBと異なり得る。
- (A,B)についてボクセルまたはピクセルをサンプリングして、
【0180】
【数21】
【0181】
および
【0182】
【数22】
【0183】
となるようにするステップ
ここで、
ここで、
【0184】
【数23】
【0185】
は、領域A中でサンプリングされるピクセルまたはボクセルの数であり、
【0186】
【数24】
【0187】
は、領域B中でサンプリングされるピクセルまたはボクセルの数である
- 分類器を、2値ガウシアンプロセス分類器(P,π)として定義するステップ
- ラプラス近似を計算するステップ
- 以下の式によって定義される色CおよびTを計算するステップ
- 分類器を、2値ガウシアンプロセス分類器(P,π)として定義するステップ
- ラプラス近似を計算するステップ
- 以下の式によって定義される色CおよびTを計算するステップ
【0188】
【数25】
【0189】
f*(v)=(βpA(v)+1)g(v)を用いて、該ピクセルまたはボクセルについてのシフトした確率の正規化した積が、該ピクセルまたはボクセルvの1つの特徴、g(v)の値によって、領域Aに属するとき、f*(v)=(βpA(v)+1)g(v)を用いる。βは、予め決められた定数である。
【0190】
【数26】
【0191】
ここで、
hA(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
hB(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Bのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である。
hA(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Aのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
hB(v)=(k*ρ)(v)は、カーネルkを用いた、第1の領域Bのボクセルvに関連付けられる特徴の、平滑化された密度、特徴の密度を用いたカーネルの畳込みであり、
ZA,Bは、c≦1でmax(ZA,B)=cであることを確実にする正規化定数、最大透明係数を定義する予め決められた定数である。
【0192】
ソフトウェア実装では、上述した手順は、上で定義されたカーネルのセットについて実行される。少なくとも1つのインターフェース内で、対応するユーザがカーネルを変えることができる。デフォルトでは、カーネルkGが表示され得る。
【0193】
そのようなベイジアン手法は、タグ付けされたピクセルまたはボクセルが非常に小さい数である場合、結果のより良好な一般化を可能にする。多数のタグ付けされたピクセルまたはボクセルが存在する場合、MMD(第1の実施形態または用途)は、ベイジアン手法(第2の実施形態または用途)よりも、より速い計算、および、より高い効率を可能にすることになる。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】