IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コーニンクレッカ フィリップス エヌ ヴェの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-06
(54)【発明の名称】画像処理のための方法及びシステム
(51)【国際特許分類】
   A61B 5/055 20060101AFI20240730BHJP
   G06T 19/20 20110101ALI20240730BHJP
【FI】
A61B5/055 380
G06T19/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024503441
(86)(22)【出願日】2022-07-19
(85)【翻訳文提出日】2024-01-18
(86)【国際出願番号】 EP2022070156
(87)【国際公開番号】W WO2023001800
(87)【国際公開日】2023-01-26
(31)【優先権主張番号】21186782.5
(32)【優先日】2021-07-20
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】ウェーバー フランク ミカエル
(72)【発明者】
【氏名】ペータース ヨヘン
(72)【発明者】
【氏名】ウェイス ロルフ ユルゲン
【テーマコード(参考)】
4C096
5B050
【Fターム(参考)】
4C096AC04
4C096AD14
4C096DC36
4C096DD09
5B050BA03
5B050BA09
5B050BA12
5B050CA07
5B050DA05
5B050DA10
5B050EA06
5B050EA07
5B050EA13
5B050EA18
5B050EA19
5B050EA28
5B050FA02
5B050FA09
5B050GA08
(57)【要約】
一態様によると、3D画像の分割を表す3Dメッシュに適用されるべき編集を決定するためのコンピュータ実施方法であって、3D画像の編集面内の3Dメッシュ上の第1の位置に適用されるべき調整のインジケーションを受信したことに応答して、3Dメッシュの編集領域内の3Dメッシュの境界上のポイントが、編集面に対して相対的に第1の方向にある場合、ポイントになされる調整を制限する異方性重み付け係数を使用して、ポイントを調整する、コンピュータ実施方法が提供される。

【特許請求の範囲】
【請求項1】
3D画像の分割を表す3Dメッシュに適用されるべき編集を決定するためのコンピュータ実施方法であって、前記方法が、
前記3D画像の編集面内の前記3Dメッシュ上の第1の位置に適用されるべき調整のインジケーションを受信したことに応答して、
前記3Dメッシュの編集領域内の前記3Dメッシュの境界上のポイントが、前記編集面に対して相対的に第1の方向にある場合、前記ポイントになされる調整を制限する異方性重み付け係数を使用して、前記ポイントを調整するステップを含む、方法。
【請求項2】
前記編集面が、前記3D画像のスライスに含まれるか、前記3D画像のスライスの中央面であるかの少なくとも一方である、請求項1に記載の方法。
【請求項3】
前記第1の方向が、前記編集面に垂直な方向、関心の軸に平行な方向、前記3D画像の解剖学的特徴の軸に平行な方向、前記3D画像の心室の軸に平行な方向、前記3D画像の前立腺の軸に平行な方向のうちの少なくとも1つを含む、請求項1又は2に記載の方法。
【請求項4】
前記異方性重み付け係数が、制限関数に基づいて前記ポイントに対して決定される、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記制限関数のパラメータが、前記第1の方向の前記編集面からの前記ポイントの距離、平滑度パラメータ、前記第1の方向のうちの少なくとも1つを含む、請求項4に記載の方法。
【請求項6】
前記第1の方向の前記編集面からの前記ポイントの前記距離が、前記編集面を含むスライスの厚さに対して正規化される、請求項5に記載の方法。
【請求項7】
前記制限関数が、平滑重み付け関数、シグモイド関数のうちの少なくとも一方である、請求項4から6のいずれか一項に記載の方法。
【請求項8】
前記制限関数が、制限された編集領域を規定するために前記編集領域を制限する、請求項4から7のいずれか一項に記載の方法。
【請求項9】
制限された前記編集領域が、前記第1の方向と、前記第1の方向とは反対の第2の方向とのうちの少なくとも一方の前記編集領域に対して相対的に制限される、請求項8に記載の方法。
【請求項10】
前記第1の方向の制限された前記編集領域のボーダーの幅及び鋭度のうちの少なくとも一方が、前記編集面を含むスライスの厚さに対して相対的に規定される、請求項8又は9に記載の方法。
【請求項11】
前記ポイントが前記編集面を含むスライスの外側にあるか、前記ポイントが隣接スライスの編集面の中又は向こうにあるかのうちの少なくとも一方である場合、異方性重み付け係数が、前記ポイントになされるゼロ調整への調整を制限する、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記3D画像が連続して編集されるべき複数のスライスを含み、前記第1の方向が、スライスが編集される方向とは反対である、請求項1から11のいずれか一項に記載の方法。
【請求項13】
前記方法が、前記3Dメッシュ上の前記第1の位置に適用されるべき調整の受信された前記インジケーションに基づいて編集領域を決定するステップを含み、前記編集領域は、前記3Dメッシュの前記境界が中で調整されるべき領域である、請求項1から12のいずれか一項に記載の方法。
【請求項14】
3D画像の分割を表す3Dメッシュに適用されるべき編集を決定するためのシステムであって、前記システムが、
命令のセットを表す命令データを含むメモリと、
前記メモリと通信し、前記命令のセットを実行するように構成されたプロセッサとを備え、前記命令のセットが、前記プロセッサによって実行されると、前記プロセッサに
前記3D画像の編集面内の前記3Dメッシュ上の第1の位置に適用されるべき調整のインジケーションを受信したことに応答して、
前記3Dメッシュの編集領域内の前記3Dメッシュの境界上のポイントが、前記編集面に対して相対的に第1の方向にある場合、前記ポイントになされる前記調整を制限する異方性重み付け係数を使用して、前記ポイントを調整させる、システム。
【請求項15】
適切なコンピュータ又はプロセッサによって実行されると、請求項1から13のうちのいずれか一項に記載の方法を前記コンピュータ又はプロセッサに実行させるように構成されているコンピュータ可読コードが組み入れられた、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理に関し、より詳細には、3次元(3D)メッシュに適用されるべき編集を決定するための画像処理に関する。
【背景技術】
【0002】
本開示は、画像の分割の結果として生成された3Dメッシュの3Dメッシュ操作の分野にある。本明細書における本開示は、例えば、医用画像などのさまざまな範囲の画像に適用される。画像分割は、画像内に捕捉されたオブジェクト又は形状についての形状/形態情報を抽出することを必要とする。これは、画像を、画像の異なる特徴を表す構成ブロック又は「セグメント」に変換することによって達成される。画像分割は、モデルを、画像の1つ又は複数の特徴に適合させることを含む。
【0003】
画像分割の1つの方法は、モデルベースの分割(MBS)であり、それによって、(例えば、心臓、脳、肺などの)対象物構造の三角形化された3次元(3D)メッシュが、画像の特徴に反復形式で適合される。分割モデルは、典型的には、個体群ベースの外観特徴及び形状情報を符号化する。そのような情報は、個体群のメンバの対象物構造の実際の形状に基づいて、許容される形状のばらつきを表現する。形状ばらつきは、例えば、モデルの一部に対する変更がモデルの他の部分の形状に抑制される、又は依存する方式を表す固有モードの形態で符号化される。
【0004】
モデルベースの分割は、医用画像からの1つ又は複数の対象物器官を分割するためにさまざまな用途で使用されてきており、例えば、IEEE Trans.Med.Imaging 27(9),1189-1201の「Automatic Model-Based Segmentation of the Heart in CT Images」という表題の2008年Ecabert,O他による文書を参照されたい。三角形化された表面メッシュの使用は、一般に、滑らかな分割結果を実現するMBSをもたらしてきた。さらに、MBSは、一般に、画像品質のばらつきなど、画像アーチファクトに対してロバストであると考えられている。
【0005】
インタラクティブな3Dメッシュ編集は、典型的には、上記で説明されたものなど、自動分割結果を手作業で微調整するために使用される。3Dメッシュを含むモデルが作り出されると、3Dメッシュは、画像上に、例えば、分割のための基礎として使用された画像上にオーバーレイとして表示される。ユーザは、3Dメッシュが、3Dメッシュによって表される画像内のオブジェクトにより良好に整合するように、編集されるべきメッシュ領域を所望の目標ロケーションまでドラッグすることによって、メッシュを編集することができる。メッシュの編集は、メッシュが編集されたポイントからメッシュ上の他のポイントまで広げられるが、典型的には、メッシュが編集されるポイントからメッシュのある特定の比率に抑制される。これは、編集領域又は影響領域と称される。3Dメッシュの効率的な編集をできるようにするには、編集領域が規定される様式を改善することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【0006】
MR(磁気共鳴)を使用して入手された3Dボリュームは、典型的には、入手プロセスのおかげで異方性の解像度を有する。MR分析から得られる3Dボリュームは、他の軸とは非常に異なる解像度を有する1つの特定の軸を有することが多い。MR画像は、スライスごとに入手され、多くの場合、スライスごとに連続して完全な一時情報が入手されるので、それにより、時間の経過とともに発生するスライスに対応する対象者の領域の変化が原因で、スライス間に不整合が生じることがある。
【0007】
3Dメッシュは、上記で説明された方法などの分割方法を使用して、複数のスライスでできているMR(磁気共鳴)画像などの3D画像のために生成される。次いで、ユーザは、メッシュが、3Dメッシュが表すオブジェクトにより良好に整合するように3Dメッシュを編集する。MR用途での3D編集ツールに関する問題は、ユーザインターフェースで利用できるのは、3Dメッシュのスライスごとの編集のみであることである。心臓のMRでは、これは、短軸のスライスのみが編集されている最中であることが多いことを意味する。3Dメッシュ編集ツールは、典型的には、全ての空間次元に沿って等方的に減衰する影響領域を使用する。編集領域が小さいことにより、編集はスライスに限定されるが、しかし、スライス内でのより大きな編集はできない。大きな編集領域は、スライス内に大きな編集領域をもたらすことができるものの、さらに、近隣スライスに望ましくない影響も与える。
【0008】
編集領域の改善された構成は、スライス内の大きな領域が影響を及ぼされる構成であるものの、近隣スライスへの影響力は制限され得ることが発明者達によって決定された。本明細書における実施形態の目的は、3Dメッシュに適用されるべき編集を決定するための改善された方法を提供することである。
【課題を解決するための手段】
【0009】
したがって、一態様による、3D画像の分割を表す3次元(3D)メッシュに適用されるべき編集を決定するためのコンピュータ実施方法であって、コンピュータ実施方法は、3D画像の編集面内の3Dメッシュ上の第1の位置に適用されるべき調整のインジケーションを受信したことに応答して、3Dメッシュの編集領域内の3Dメッシュの境界上のポイントが、編集面に対して相対的に第1の方向にある場合、ポイントになされる調整を制限する異方性重み付け係数を使用して、ポイントを調整する、コンピュータ実施方法が提供される。この方法は、超音波画像のリフォーマットされた面とインタラクションすることによって3Dメッシュを変更することによって、編集が実行される場合の、画像の、又は超音波における、スライスを入手することによって、典型的には、画像を構築するMRなどのさまざまな撮像方法を使用して取得される画像に適用可能である。
【0010】
本明細書では、ポイントになされるべき調整を決定するために、異方性重み付け係数に加えて、任意の標準的なプロセスが使用されると仮定する。例えば、異方性重み付け係数は、3Dメッシュの境界上のポイントへの第1の位置の調整の拡大に基づいて、ポイントに対して決定された編集に適用される。編集は、任意の従来の3Dメッシュ編集プロセスを使用して決定される。
【0011】
ポイントは、3Dメッシュの交点である。3Dメッシュは、境界を規定する。3Dメッシュの交点は、3Dメッシュの境界上のポイントを規定しても良い。方法は、面(例えば、編集面)からの特定のポイントの距離に応じて異なる異方性重み付け係数を使用して、3Dメッシュの境界上の複数のポイントに適用される。異方性重み付け係数は、第1の方向のポイントになされる調整を制限する。
【0012】
したがって、本発明は、異方性重み付け係数を使用して、編集面に対して相対的に第1の方向にあるメッシュの一部分に対する3Dメッシュの編集の制限に関する。これにより、有利には、編集領域の方向性の制限が可能になる。異方性の(例えば、方向性の)重み付け係数は、特定の方向、例えば第1の方向における編集を制限する。異方性重み付け係数は、第1の方向である特定の方向の編集の成分を制限する。特に、3Dメッシュの編集は、編集面に垂直な方向である方向において制限される。編集面は、3D画像のスライスに含まれ、しかもスライスの中央面である。これにより、例えば、ユーザによってまだ操作されていないスライス内の3Dメッシュは編集されるが、ユーザによってすでに操作されたスライスの編集は防止される(又は大幅に低減される)ことが可能になる。例えば、3D画像は、連続して編集されるべき複数のスライスを含み、第1の方向は、スライスが編集される方向とは反対である。特に、編集面を含むスライスに隣接するスライスの編集は、ゼロ調整が、編集面を含むスライスに隣接するスライスの中央編集面に適用されるように、制限される。さらに、これにより、編集されるべきスライス内の大きな領域が許容される。これらの画像は、一方向において高解像度を有するものの、別の方向においては低解像度を有するので、方法は、異方性解像度(例えば、心臓MR又は前立腺MR)を有する画像にとって有益である。したがって、低解像度な方向では編集は制限されるが、解像度がより高い方向では編集はより制限されない。例えば、3D画像の解像度は、スライスの面に平行な方向では高く、スライスに垂直な方向では低い。3Dメッシュの編集は、3D画像の解剖学的特徴の軸に平行な方向では制限される。特定の方向(スライスに垂直など)における編集の制限により、編集される領域と凍結された領域(例えば、編集されるべきでない領域)との間の滑らかな移行が可能になる。
【0013】
3Dメッシュの編集は、編集面に対して垂直な第1及び第2の方向(例えば、互いに逆方向であり、編集面に垂直である方向)において制限される。特に、メッシュの編集は、第1の方向(例えば、編集面に垂直な方向且つ編集面の上方)にあるメッシュのポイントに対して第1の方向において制限され、メッシュの編集は、第2の方向(例えば、編集面に垂直な方向且つ編集面の下方)にあるメッシュのポイントに対して第2の方向において制限される。したがって、メッシュの編集は、編集面に垂直な第1及び第2の方向において編集が(例えば、スライス内に、又は、隣接スライスの中央面が編集されないように)制限されるものの、編集面に平行な方向では、編集が異方性重み付け係数によって制限されないように、制限される。したがって、スライス内の大きな領域が編集される。第1の方向は、例えば、編集面に垂直な方向、関心の軸に平行な方向、3D画像の解剖学的特徴の軸に平行な方向、3D画像の心室の軸に平行な方向、3D画像の前立腺の軸に平行な方向のうちのいずれかである。
【0014】
異方性重み付け係数は、制限関数に基づいて、ポイントに対して決定される。特に、異方性重み付け係数は、面(例えば編集面)からのポイントの距離に依存する。編集領域は、3Dメッシュ上の第1の位置に適用される調整が、編集の他のポイントへの拡大によって編集領域内となる3Dメッシュ上の他のポイントの編集に帰着する、領域である。編集領域は、第1の位置に適用される調整によって規定される。編集領域は、第1の位置に適用されるべきと示された調整からのあらかじめ定められた距離である。編集領域は、最初は、等方性重み付け係数によって規定される。制限された編集領域は、制限関数によって規定される(例えば、制限関数は、編集領域内のポイントの編集を制限する)。制限された編集領域は、ポイントの編集が異方性重み付け係数によってゼロに制限されない領域を表す。編集の制限された編集領域は、所与の方向(例えば、第1の方向)に沿って迅速に減衰する。他の方向(例えば、編集面に平行な)では、編集領域はあまり迅速には減衰しない。スライスの厚さを変動させるための一貫したユーザ体験を提供するため、スライス法線に沿った制限された編集領域のボーダー又は境界の幅、及びエッジ鋭度(又は平滑度)は、スライスの厚さに対して相対的に規定される。さらに、編集が制限される方向は、一方向のみであるか、又は二方向以上である。異なる異方性重み付け係数が異なる方向に適用されるか、又は、同じ異方性重み付け係数が二方向以上に適用される。例えば、制限される編集領域の境界の、平滑度に関連する異なるパラメータ、及び、中央のロケーションは、異なる方向に対して異なる異方性重み付け係数を規定するために使用される。編集が制限されるべき方向は、ユーザによって入力される。異方性重み付け係数は、平滑重み付け関数、及び/又は、シグモイド関数から導出される。
【0015】
さらなる態様によると、3次元(3D)メッシュに適用されるべき編集を決定するためのシステムであって、3Dメッシュは、3D画像の分割を表しており、システムは、命令のセットを表す命令データを有するメモリと、メモリと通信し命令のセットを実行するように構成されたプロセッサとを備え、命令のセットは、プロセッサによって実行されると、プロセッサに、3D画像の編集面内の3Dメッシュ上の第1の位置に適用されるべき調整のインジケーションを受信したことに応答して、3Dメッシュの編集領域内の3Dメッシュの境界上のポイントが、編集面に対して相対的に第1の方向にある場合、ポイントになされる調整を制限する異方性重み付け係数を使用して、ポイントを調整させる、システムが提供される。
【0016】
さらなる態様によると、コンピュータ可読媒体を備えるコンピュータプログラム製品であって、コンピュータ可読媒体は、その中に組み入れたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行されると、コンピュータ又はプロセッサに、本明細書に記述された方法のうちのいずれかを実行させるように構成されている、コンピュータプログラム製品が提供される。
【0017】
これらの及び他の態様は、以下に記述される実施形態から、及び、以下に記述される実施形態を参照した説明から明らかであろう。
【0018】
ここで、例の実施形態を、例としてのみ、以下の図面を参照して説明することとする。
【図面の簡単な説明】
【0019】
図1】例による、本明細書に記述されている方法による使用のための装置を示す図である。
図2】例による方法を示す図である。
図3】3D画像の編集面の例を示す図である。
図4】画像に重ねられた3Dメッシュの2D描写による3D画像のスライスのスタックの例の2D描写を示す図である。
図5】複数のスライスを含む3D画像の2D描写の例を示す図である。
図6図6(a)では、編集領域μの境界の中央の値の効果が示され、図6(b)では、平滑度パラメータσの値の効果が示されている、制限関数を示す2つのグラフである。
図7図7(a)では、単一側及び2つの側の制限関数が示されており、図7(b)では、編集領域の境界の中央、及び、2つの側の制限関数に対する平滑度パラメータ、の値の変更の効果が示されている、制限関数を示す2つのグラフである。
【発明を実施するための形態】
【0020】
上記で簡単に説明されたように、3Dメッシュの編集領域は、典型的には等方性であるものの、しかし、編集領域は、大きすぎて隣り合うスライスに影響を及ぼすか、又は、小さすぎてスライスに十分には影響を及ぼさないかのどちらかである。
【0021】
本明細書における実施形態の目的は、3Dメッシュに適用されるべき編集を決定するための方法及びシステムを提供することである。3Dメッシュは、MRI又は超音波システムなどの従来の撮像システムを使用して取得された3D画像を分割することによって取得されてきた。
【0022】
ここで図1を参照する。いくつかの実施形態において、3次元(3D)メッシュに適用されるべき編集の決定の際の使用のための装置100であって、3Dメッシュが、本明細書のいくつかの実施形態による、3D画像の分割を表す、装置100がある。一般に、装置は、例えばラップトップ、デスクトップコンピュータなどのコンピュータ装置若しくはシステム、又は他のコンピューティングデバイスの一部を形成する。いくつかの実施形態では、装置100は、分散されたコンピューティング構成又はクラウドの一部を形成する。
【0023】
装置は、命令のセットを表す命令データを含むメモリ104と、メモリと通信し、命令のセットを実行するように構成されたプロセッサ102(例えば、処理回路構成又は論理)とを備える。一般に、命令のセットは、プロセッサによって実行されると、プロセッサに、下記に記述されるような3次元(3D)メッシュに適用されるべき編集を決定するための方法の実施形態のいずれかを実行させる。
【0024】
装置100の実施形態は、3次元(3D)メッシュに適用されるべき編集を決定するためのシステムでの使用向けある。より具体的には、命令のセットは、プロセッサによって実行されると、プロセッサに、3D画像の編集面内の3Dメッシュ上の第1の位置に適用されるべき調整のインジケーションを受信したことに応答して、3Dメッシュの編集領域内の3Dメッシュの境界上のポイントが、編集面に対して相対的に第1の方向にある場合、ポイントになされる調整を制限する異方性重み付け係数を使用して、ポイントを調整させる。
【0025】
プロセッサ102は、本明細書に記述されている方式で、装置100を制御するように構成された又はプログラムされた1つ若しくは複数のプロセッサ、処理ユニット、マルチコアプロセッサ、又はモジュールを備えることができる。特定の実装形態では、プロセッサ102は、本明細書に記述されている方法の個々のステップ若しくは複数のステップを実行するようにそれぞれ構成された、又は、個々のステップ若しくは複数のステップの実行向けである、複数のソフトウェア及び/又はハードウェアモジュールを備えることができる。プロセッサ102は、本明細書に記述されている方式で、装置100を制御するように構成された又はプログラムされた1つ若しくは複数のプロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールを備えることができる。いくつかの実装形態では、例えば、プロセッサ102は、分散された処理のために構成された、複数の(例えば、相互運用される)プロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールを備える。そのようなプロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールは、異なるロケーションに配置され、本明細書に記述されている方法の、異なるステップを、及び/又は、単一のステップの異なる部分を実行することが、当業者によって理解されるであろう。
【0026】
メモリ104は、本明細書に記述されている方法を実行するためにプロセッサ102によって実行されることが可能なプログラムコードを記憶するように構成されている。代替的に、又は、追加的に、1つ又は複数のメモリ104は、装置100の外部に(すなわち、とは別個に、又は、から遠隔に)ある。例えば、1つ又は複数のメモリ104は、別のデバイスの一部である。メモリ104は、例えば、3Dメッシュ、3Dメッシュの境界上の交点及び/若しくはポイント、3Dメッシュの境界上のポイントの編集、画像、例えば3D画像、3D画像の編集面、3D画像の複数のスライス、画像に関連するデータ、異方性重み付け係数に関連するデータ、制限関数、重み付け係数、並びに/或いは、装置100のプロセッサ102によって受信された、計算された、若しくは決定された、又は、装置100の外部にある任意のインターフェース、メモリ、若しくはデバイスからの、任意の他の情報又はデータを記憶するために使用することができる。プロセッサ102は、メモリ104が、3Dメッシュ、3Dメッシュの境界上の交点及び/若しくはポイント、3Dメッシュの境界上のポイントの編集、画像、例えば3D画像、3D画像の編集面、3D画像の複数のスライス、画像に関連するデータ、異方性重み付け係数に関連するデータ、制限関数、並びに重み付け係数を記憶するのを制御するように構成される。
【0027】
いくつかの実施形態では、メモリ104は、各サブメモリが命令データの一部分を記憶することができる、複数のサブメモリを含む。例えば、少なくとも1つのサブメモリは、命令のセットのうちの少なくとも1つの命令を表す命令データを記憶し、一方、少なくとも1つの他のサブメモリは、命令のセットのうちの少なくとも1つの他の命令を表す命令データを記憶する。
【0028】
図1は、本開示のこの態様を示すために必要とされる構成要素のみを示しているが、実際の実装形態では、装置100は、示されているものに対してさらなる構成要素を含むことが理解されるであろう。例えば、装置100は、ディスプレイをさらに含む。ディスプレイは、例えば、コンピュータスクリーン、及び/又は、モバイルフォン若しくはタブレット上のスクリーンを含む。装置は、キーボード、マウス、又は、ユーザが、装置とインタラクションさせることが可能な、例えば、ユーザが、本明細書に記述されている方法で使用すべき調整のインジケーションを与えるようにさせることが可能な、他の入力デバイスなどの、ユーザ入力デバイス又はインターフェースをさらに含む。装置100は、電池、若しくは、装置100に電力供給するための他の電源、又は、装置100を主電源に接続するための手段を含む。
【0029】
図2に進むと、3次元(3D)メッシュに適用されるべき編集の決定の際の使用のためのコンピュータ実施方法200であって、3Dメッシュが、3D画像の分割を表している、コンピュータ実施方法200がある。方法200の実装形態は、例えば、上記で説明された装置100などの装置によって実行される。
【0030】
簡潔には、方法200は、3D画像208の編集面内の3Dメッシュ上の第1の位置に適用されるべき調整のインジケーションを受信したことに応答して、3Dメッシュの編集領域内の3Dメッシュの境界上のポイントが、編集面210に対して相対的に第1の方向にある場合、ポイントになされる調整を制限する異方性重み付け係数を使用して、ポイントを調整することを含む。
【0031】
受信されたインジケーションはユーザの入力に基づく。受信されたインジケーションは、例えば、3Dメッシュによって表されるオブジェクトにより良好に整合するために、3Dメッシュ上の第1の位置から第2の位置への3Dメッシュの移動のインジケーションである。受信された調整のインジケーションは、例えば、編集領域内の3Dメッシュ内の他のポイントまで広げられる。異方性重み付け係数は、拡大された編集を制限するため、又は、特定の方向において、3Dメッシュの境界上のポイントになされる調整を制限するため、拡大された編集に適用される。
【0032】
異方性重み付け係数は、制限関数に基づいて、ポイントに対して決定される。制限関数は、平滑重み付け関数、及び/又は、シグモイド関数である。制限関数のパラメータは、第1の方向における編集面からのポイントの距離、平滑度パラメータ、第1の方向のうちの少なくとも1つを含む。したがって、異方性重み付け係数は、第1の方向における編集面からのポイントの距離に依存して異なる。例えば、3Dメッシュの境界上のポイントが、第1の方向において、編集面からの距離が大きい場合、制限関数はゼロになる傾向がある。3Dメッシュの境界上のポイントが、第1の方向において編集面に非常に近接している場合、制限関数は1になる傾向がある。ポイントの調整は、受信された調整のインジケーションに依存し、但し、異方性重み付け係数は、第1の位置の調整のインジケーションから第1のポイントに広げられた調整に適用される。
【0033】
等方性重み付け係数は、ユーザによって編集された3Dメッシュ上の第1の位置の周りの編集領域に対応するメッシュの編集にも適用されることが理解されるであろう。等方性重み付け係数に加えて、異方性重み付け係数がポイントの編集に適用され、以て、第1の方向におけるポイントの編集がさらに制限される。制限関数は、制限された編集領域を規定するために編集領域を制限する。制限された編集領域は、第1の方向と、第1の方向及び第1の方向とは反対の第2の方向とのうちの少なくとも一方における編集領域に対して相対的に制限される。
【0034】
方法は、3Dメッシュの境界上の単一のポイントの調整に限定されるものではなく、3Dメッシュの境界上の複数のポイントに適用され、但し、編集面に対して相対的に第1の方向にある複数のポイントのうちのいずれか(例えば、編集面の上方にある任意のポイント)が、異方性重み付け係数を使用して調整される。適用される異方性重み付け係数は、面(例えば編集面)からの点の距離に依存して異なる。例えば、制限関数は、適用されるべき異方性重み付け係数を決定するために、面からの点の距離を入力として取り込む。方法は、3Dメッシュの境界上のポイントである交点に、及び/又は、3Dメッシュの境界上のポイントである複数の交点に適用される。異方性重み付け係数は、制限関数を使用して、及び、第1の方向における編集面からの交点の距離に基づいて、交点のそれぞれに対して決定される。したがって、異方性重み付け係数は、交点ごとに異なる。
【0035】
図3は、例による、3D画像の編集面312を示している。特に、図3は、心臓の3D画像のスライスに含まれる編集面を示している。分割は、心臓の3Dメッシュを作り出すために3D画像に適用された。3Dメッシュの2D描画は、この図で点線314として示されている。ユーザは、画像上で直接クリック及びドラッグすることによって、3Dメッシュとインタラクションする(この例では、3Dメッシュ314の2D描写上でクリック及びドラッグする)。
【0036】
典型的には、3Dメッシュを編集するため、ユーザは、最初に、重ねられた分割結果を伴う画像を見て編集する領域を特定する。次いで、ユーザは、編集する領域の中央をクリックし、マウスボタンを押し下げたままとする。次いで、ユーザは、表示されたメッシュが動的に変形されたまま(すなわち、開始位置の周りの領域が新たなマウス位置に向かってシフトされる)、マウスを所望のロケーションにドラッグする。メッシュは、3D空間において変形させられる。次いで、ユーザは、所望のロケーションでマウスボタンを放す。変形したメッシュは、表示され、ボリューム計算などのさらなる解析のために使用される。
【0037】
上で論じたように、3Dメッシュの変形は、最初に、編集領域の中央(例えば、ユーザがクリックした最初のポイント)からの距離として規定される編集領域に限定される、但し、典型的には、ユーザによって編集された位置の編集は、編集領域内の他のポイントまで広げられる。編集の拡大は、等方的に減衰する。したがって、重み付けは、編集領域の中央からのポイントの距離に基づいて、編集領域内の3Dメッシュの境界上の交点又はポイントの編集に適用される。重み付けは、0から1の間であり、但し、ポイントが編集されたポイントから遠く離れれば離れるほど、重み付けは0の値に近づく。
【0038】
本明細書における例によると、別様に使用される編集のどの分画が、(第1の方向でもよい)特定の方向における編集を制限するために、3Dメッシュの境界上のポイントの編集に適用されるべきかを決定する、3Dメッシュの境界上のポイント(例えば、3Dメッシュの各交点)に対する0から1の間の異方性重み付け係数krestが決定される。編集面に平行な方向のポイントの編集の成分は、1の重み付けを有するが、編集面に垂直な方向のポイントの編集の成分は、0から1の間の重み付けを有する。異方性重み付け係数は、編集領域内のポイントに適用される。
【0039】
図4(a)~(c)は、スタックを通して2D平面として見た、3D画像416の複数のスライスのスタックを示している。この例では、画像は対象者の心臓を示しているが、但し、方法は対象者の任意の部分に適用可能である。分割が適用された結果、心臓の構造を表す3Dメッシュが作り出された。この画像では、3Dメッシュは、2D描写418として示されている。図4(a)~(c)のそれぞれでは、ユーザは、編集スライス420の編集面内のメッシュを編集した(編集は、図3に示されているものなど、編集面の2D画像内で行われる)。図4(a)は、円形領域として示されているユーザの編集から得られる典型的な編集領域422を示している。この画像の点線は、編集領域のボーダーを表していることが理解されることになり、さらに、この線はボーダーを単に示しているに過ぎず、編集領域は、徐々に弱まる平滑なボーダーを有することが理解されるであろう。この領域内にある3Dメッシュの境界上のポイントは、3Dメッシュの変形に応答して編集されることになる。この図に示されているように、典型的な編集領域は、編集面420を含むスライスの上方及び下方の隣接スライスと重なり合う。特に、編集領域は、2つの隣接スライス424、426のそれぞれの中央面(例えば、編集面)と重なり合う。これは、隣接スライスの一方又は両方が、ユーザによって前もって編集されている場合、現在のスライスの編集によって引き起こされる隣接スライスのさらなる編集により、前もって編集された隣接スライスをユーザが再編集する必要が生じるため、望ましくない。
【0040】
図4(b)は、異方性重み付け係数(又は制限関数)が本明細書におけるいくつかの例に従って使用される例を示している。図4(b)に示されているように、編集領域422は、編集面420に垂直な方向に、編集面に対して相対的に「上方」と「下方」の両方の2方向(第1の方向及び第2の方向)に制限関数によって制限される。編集面に垂直である方向は、編集が制限され得る唯一の可能性がある方向ではなく、編集が制限され得る方向は、代わりに、3D画像における心室の軸など、関心の軸に平行な方向である可能性があることが理解されよう。制限の方向は、解剖学的に、例えば、分割結果に基づいて選択され得る。例として、編集は、僧帽弁面の上方のみが許容され、下方は制限される可能性がある。この図に示されるように、3Dメッシュの編集は、編集面に垂直な第1及び第2の方向のスライス内に制限される。したがって、編集領域は、2つの隣接スライス424、426のそれぞれの中央面と重なり合わない。しかしながら、編集面に平行な方向では、編集領域422は制限されない(元々の編集領域、又は図4(a)に示される編集領域に対して相対的に)。
【0041】
図4(c)は、本明細書のいくつかの例に従って、異方性重み付け係数(又は制限関数)が使用されるさらなる例を示している。図4(b)の例とは対象的に、この例では、編集面420に垂直な一方向のみ(「上方」方向のみ)の編集を制限する。したがって、この図に示されるように、編集は、編集面に対して第1の垂直な方向のスライス内に制限される。したがって、編集領域は、第1の隣接スライス424の中央面と重ならないが、第2の隣接スライス426の中央面と重なり合う。これは、編集面に対して相対的に一方向の(例えば上方の)スライスが前もって編集されている場合には望ましいが、編集面に対して相対的に別方向の(例えば下方の)スライスには望ましくない。典型的には、スライスの編集面を再調査し、3Dメッシュに対して編集を行うとき、ユーザは、スライスのスタックを通じて処理することになる(通常は頂部から底部へ)。したがって、本明細書に記述されている方法を使用すると、前もって編集された面は、ユーザによってなされた後続のスライスのさらなる改変に基づいて変化することはないので、ユーザは、前もって編集された面に再訪する必要はない。しかしながら、この特定の構成により、スライスの面内、及び編集面の下方に延びる領域内で、より大きな編集領域が可能になり、それにより、3Dメッシュの、ユーザによって示されたその実際の位置とのより迅速な整合がもたらされる。
【0042】
この例では、編集領域はスライス内に制限されることに留意されたい。しかしながら、隣接スライスの編集が、編集がゼロになる隣接スライスの中央面までしか行われないように、編集領域が制限されることが理解されるであろう。このようにして、隣接スライスの中央面(例えば、前もって編集された編集面)は、編集スライスの改変に基づき変更されることはなく、しかし、3Dメッシュの滑らかな移行が、スライスの編集面間で行われる。
【0043】
図4に示されるように、3D画像が、複数のスライスから構成される場合、異方性重み付け係数は、下記で説明されるように決定される。下記の例では、3Dメッシュの境界上のポイントの位置は、3Dメッシュ上の交点として記述されている。しかしながら、本発明は交点に限定されるものではなく、方法は、3Dメッシュ上の任意のポイントに適用されることが理解されるであろう。
【0044】
スライス法線の方向zに沿って、現在の編集面に対する相対的な、交点pの位置を説明するために、現在の編集面からの正規化されたオフセットは、等式1を使用して下記の通り決定される。
z=(p-pplane)*nslice/Δslice (1)
ここで、pplaneは、編集面(典型的には、スライスの中央面)内の任意のポイントであり、nsliceは、スライス法線であり、Δsliceは、2つのスライス中央間のオフセットである。
【0045】
図5は、図4に関連して説明されたものなど、複数のスライス516を備える3D画像の2D描写を示している。編集スライス517は、点線で描かれた長方形によって示されており、点線として描かれた編集面520を含む。編集面は、編集スライスの中央面である。図5の軸「Z」は、編集スライスの中央からの距離を表現しており、スライスの厚さ、又は、2つのスライス中央間のオフセットΔsliceに対して正規化されている。各スライスは、およそ6から10mmの実質的な厚さΔsliceを有する。
【0046】
各スライスの中央面と隣接スライスの中央面との距離が1の値を有するように、面オフセットが正規化される(例えば、オフセットをスライスの厚さΔsliceで除することによって)。編集面は、0オフセット(z=0)と設定される。ポイントpについては、zは等式1を使用して計算される。図5に示されるpについては、z~1.2である。
【0047】
編集面内のポイントについては、zは0である。スライス法線に沿って1つのスライスの厚さのオフセット距離にあるポイントはz=1を有し、法線に沿った反対方向の場合は、z=-1である。スライスの厚さに対してスライスオフセットを正規化することにより、有利には、幾何学的パラメータをスライスの厚さとは独立して規定することができるようになる。スライスオフセットを正規化することによって、メッシュ編集の特性が、画像座標系の解像度及び配向に従属する可能性がある。
【0048】
制限された編集領域(異方性重み付け係数が交点になされる調整を制限するが、ゼロへの調整は制限しない)の境界の幅を担うパラメータ、及び、境界での1から0の間の移行の平滑度は、交点に適用されるべき編集を決定することに含まれる。これらのパラメータは、正規化されていない現在のスライスオフセットに基づいて調整される。代替的に、第1の方向の制限された編集領域のボーダーの幅及び鋭度(例えば、平滑度)は、編集面を含むスライスの厚さに対して相対的に規定される。正規化された面オフセットにより、パラメータの固定されたセットが、異なるスライスオフセットに対して同等の結果を作り出すように、パラメータはより抽象化されたレベルで選択される。
【0049】
異方性重み付け係数krestの減衰を説明するために、編集領域の境界の中央ポイント、及び、境界内での移行の平滑度を選択することをできるようにさせる、1から0まで変動するシグモイド関数uが使用される(下記の等式2参照)。
【数1】
【0050】
図6は、6(a)で、zの関数としてシグモイド関数を示しており、ここで、編集領域μの境界の中央の値がシグモイド関数に与える影響が示されている。この例では、-0.2、-0.1、0.0、0.1、及び0.2の値(参照番号632、634、636、638、及び640にそれぞれ対応する)は、μの値として設定され(ここで、μのこれらの値を有するu(z)に対する線がこの図に示されている)、σの値は一定値として設定されている。この図に示されているように、編集領域の境界の中央の値を変更することにより、編集領域の境界が、z=0に対して相対的にz方向に平行移動する。したがって、μの値は編集領域の所望のサイズに基づいて選択されることが可能であり、但し、境界の中央の値の増加により、編集領域のサイズは増加し(適用される重み付けはゼロではない)、したがって、ポイントにゼロでない重み付けを与えることになる編集面からの距離は増大する。例えば、ポイントが編集面から隣接スライスの中央面よりも遠ければ(例えば、編集面から1の距離)、ポイントに適用される重み付けがゼロであることが望ましいが、その編集が別様に適用されるべき場合、μのより高い値が使用される。一般に、ゼロより大きいμの値が使用される。本質的にゼロの重み付け(例えば、あらかじめ定められたしきい値より低い)を与える非常に小さい値の場合、ゼロの重み付けが適用される。
【0051】
図6(b)は、zの関数としてシグモイド関数を示しており、ここで、平滑度パラメータσがシグモイド関数に与える影響が示されている。この例では、0.05、0.07、0.09、0.11、及び0.13の値(参照番号642、644、646、648、及び650にそれぞれ対応する)は、σの値として設定され、μの値はゼロの値として設定されている。この図から理解することができるように、平滑度パラメータσが小さくなればなるほど、中央ポイント(例えば、編集領域の境界の)辺りでの1から0への移行はより急な勾配になる。したがって、平滑度パラメータが変動することにより、1の重み付けと0の重み付けとの間の移行の急激さを変えることができる。一般に、u(μ)=0.5が使用され、以て、μは、編集が50%の重みで適用される正規化オフセットである。
【0052】
したがって、上記のシグモイド関数は、制限関数であると考えられ、但し、第1の方向、例えば現在のスライスの一方の側の上方の(例えば、正のzの)、編集を制限するために、zの特定の係数に対して制限関数は異方性重み付け係数krestを提供する。したがって、第1の方向z(上方)の異方性重み付け係数krestは、
rest,up=u(z) (3)
と定義される。
【0053】
μ及びσの値は、z=0での関数値が1に近接するように選択される。z=0は編集スライスに対応するので、重み付けが、編集スライス内のポイントに対する編集を最小限に制限することが有益である。
【0054】
例として、第2の方向、例えば、スライスの他の側の下方(例えば、負のz)、の編集を制限するため、第1の方向の反対の方向を-zと定義することができ、したがって、u(-z)の等式が使用される。
したがって、
rest,down=u(-z) (4)
を得る。
【0055】
したがって、異方性重み付け係数は第1の方向(例えば、スライスの上方)又は、第2の方向(例えば、スライスの下方)に適用される。μ及び/又はσは、方向が異なるごとに異なる(例えば、第1及び第2の方向では異なる)ことが理解されるであろう。
【0056】
第1と第2の両方の方向における編集を制限するため、以下の等式を使用する。
rest=krest,up*krest,down (5)
【0057】
したがって、編集面に対して相対的に第1の方向にあるポイントに適用されるべき異方性重み付け係数と、編集面に対して相対的に第2の方向にあるポイントに適用されるべき異方性重み付け係数とを可能にする2つの側の制限関数が提供される。
【0058】
図7は、単一側及び2つの側のスライス制限関数を示している。特に、図7(a)は、第1の方向の制限関数(この例では、z=0を超える場合、編集を制限し、z=0未満では重みは1である)としてu(z) 726を示しており、第2の方向の制限関数(この例では、z=0未満では、編集を制限し、z=0を超える場合、重みは1である)としてu(-z) 728を示している。この図はさらに、第1の方向と第2の方向の両方における編集を制限する制限関数u(z)*u(-z) 730を示している。両方の単一側関数は、掛け合わされて2つの側の制限関数を形成する(実線)。
【0059】
図7(b)は、異なるパラメータの組合せ(μ、σ)での2つの側の制限関数の例を示している。特に、この図は、パラメータの組合せ(0.4、0.09)、(0.6、0.07)、(0.06、0.09)、(0.6、0.11)、(0.8、0.09)(参照番号752、754、756、758、及び760にそれぞれ対応する)での制限関数を示している。この図で理解することができるように、編集領域の境界の移行の急激さ、及び、編集領域のサイズ/編集領域の境界は、μ及びσの異なる値を使用して選択され、但し、上記で説明したように、μの値が増加することにより、編集領域のサイズが増加し、σの値が増加することにより、編集領域の境界の移行の急激さは低下する。したがって、これらのパラメータの値は、システムの要件に基づいて選択される。この図は、対称な2つの側の制限関数を示しているが、μ及び/又はσは、方向が異なるごとに異なり(例えば、第1及び第2の方向では異なる)、したがって、制限関数は非対称であることが理解されるであろう。
【0060】
これらの例では、編集領域の境界は、重み付け係数が、隣接スライスの中央面で0の値に到達するように(スライス同士が同じ幅であると仮定して)制限されることに留意されたい。これは、異方性重み付け係数が働いている方向の隣接スライスが、編集面内では変更されないため、ユーザは前もって編集されたスライスに再訪する必要はないが、しかし、3Dメッシュのための滑らかな移行が、隣接する編集面間で行われることを意味する。
【0061】
別の実施形態では、コンピュータ可読媒体を含むコンピュータプログラム製品であって、コンピュータ可読媒体は、その中に組み入れられたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行されると、本明細書に記述されている1つの方法又は複数の方法を適切なコンピュータ又はプロセッサに実行させるように、構成されている、コンピュータプログラム製品が提供される。
【0062】
したがって、本開示はさらに、コンピュータプログラムに適用する、特に、実施形態を実行に移すように適合された、担体上の又は担体内のコンピュータプログラムに適用することが理解されるであろう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び、部分的にコンパイルされた形態などのオブジェクトコードの形態、又は本明細書に記述されている実施形態による方法の実装形態での使用に適した任意の他の形態である。
【0063】
そのようなプログラムは、多くの異なるアーキテクチャ設計を有することが理解されるであろう。例えば、方法又はシステムの機能を実施するプログラムコードは、1つ又は複数のサブルーチンに再分割される。これらのサブルーチンの中でも機能を分散させる多くのさまざまな様式が、当業者には明らかであろう。サブルーチンは、自己完結型プログラムを形成するための1つの実行可能ファイル内に一緒に記憶される。そのような実行可能ファイルは、コンピュータ実行可能命令、例えば、プロセッサ命令及び/又はインタープリタ命令(例えば、Javaインタープリタ命令)を含む。代替的に、サブルーチンのうちの1つ若しくは複数又は全ては、少なくとも1つの外部ライブラリファイル内に記憶され、静的又は動的のいずれかに、例えば実行時に、メインプログラムとリンクさせる。メインプログラムは、サブルーチンのうちの少なくとも1つに対して少なくとも1つの呼び出しを含む。サブルーチンはさらに、互いに対する関数呼び出しも含む。
【0064】
コンピュータプログラムの担体は、プログラムを搭載することができる任意の実体又はデバイスである。例えば、担体は、ROM、例えば、CD-ROM若しくは半導体ROMなどのデータストレージ、又は磁気記録媒体、例えば、ハードディスクを含む。さらに、担体は、電気ケーブル若しくは光ケーブルを介して、又は無線若しくは他の手段によって伝達される、電気信号又は光信号などの伝達可能な担体である。プログラムがそのような信号に組み入れられると、担体は、そのようなケーブル若しくは他のデバイス又は手段によって構成される。代替的に、担体は、プログラムが組み入れられた集積回路であって、関連する方法を実行するように適合されているか、又は関連する方法の実行の際に使用される集積回路である。
【0065】
開示された実施形態に対する変形形態は、図面の調査、本開示、及び添付の特許請求の範囲から、本明細書に記述されている原理及び技法を実践する際に、当業者によって理解され、成し遂げられることが可能である。特許請求の範囲では、単語「備える」は、他の要素又はステップを排除するものではなく、単数形の要素は、複数を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に記載された、いくつかの項目の機能を実現する。互いに異なる従属請求項にある特定の方法が記載されていることのみで、これらの方法の組合せが利益を得るために使用することができないことを示すものではない。コンピュータプログラムは、他のハードウェアと一緒に、若しくは、他のハードウェアの一部として供給される光ストレージ媒体、又はソリッドステート媒体などの適切な媒体上に記憶される、又は分配されるが、さらに、インターネット、又は他の有線若しくは無線通信システムを介してなど、他の形態で分配される。特許請求の範囲内の任意の参照符号は、範囲を限定するものと解釈されるべきではない。
図1
図2
図3
図4a)】
図4b)】
図4c)】
図5
図6a
図6b
図7a
図7b
【国際調査報告】