知財求人 - 知財ポータルサイト「IP Force」
特開2024-55754マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024055754
(43)【公開日】2024-04-18
(54)【発明の名称】マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム
(51)【国際特許分類】
A61B 8/14 20060101AFI20240411BHJP
A61B 5/055 20060101ALI20240411BHJP
【ＦＩ】
A61B8/14
A61B5/055 380
A61B5/055 390
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023107311
(22)【出願日】2023-06-29
(31)【優先権主張番号】202211219688.3
(32)【優先日】2022-10-08
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】523249283
【氏名又は名称】▲か▼本（深▲せん▼）医療器械有限公司
【氏名又は名称原語表記】Ｃａｒｂｏｎ （Ｓｈｅｎｚｈｅｎ） Ｍｅｄｉｃａｌ Ｄｅｖｉｃｅ Ｃｏ， Ｌｔｄ．
【住所又は居所原語表記】Ｒｏｏｍ ２０３， Ｂｕｉｌｄｉｎｇ ５＃Ｂ， Ｓｋｙｗｏｒｔｈ Ｉｎｎｏｖａｔｉｏｎ Ｖａｌｌｅｙ， Ｔａｎｇｔｏｕ Ｎｏ． １ Ｒｏａｄ， Ｔａｎｇｔｏｕ Ｃｏｍｍｕｎｉｔｙ， Ｓｈｉｙａｎ Ｓｔｒｅｅｔ， Ｂａｏａｎ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１０１， ＰＲＣ
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(72)【発明者】
【氏名】黄 雄文
(72)【発明者】
【氏名】朱 栄亮
(72)【発明者】
【氏名】王 杉杉
(72)【発明者】
【氏名】バースタイン パブロ デヴィッド
(72)【発明者】
【氏名】呉 梦麟
【テーマコード（参考）】
4C096
4C601
【Ｆターム（参考）】
4C096AA18
4C096AC05
4C096AD14
4C096DC14
4C096DC33
4C601BB03
4C601EE09
4C601EE11
4C601FF03
4C601GA18
4C601GA25
4C601JC15
4C601JC26
4C601KK02
4C601KK31
4C601LL33
(57)【要約】 （修正有）
【課題】マルチモーダル医用画像レジストレーション・融合によって、より正確な病変発見と位置特定を達成する。
【解決手段】３次元レンダリングを行って穿刺点を描くＭＲＩシーケンス画像レンダリングユニットと、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、３次元レジストレーション操作を行ってレジストレーション変換係数を得るレジストレーションユニットと、系統穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、を含む、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムを提供する。
【選択図】図１
【解決手段】３次元レンダリングを行って穿刺点を描くＭＲＩシーケンス画像レンダリングユニットと、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、３次元レジストレーション操作を行ってレジストレーション変換係数を得るレジストレーションユニットと、系統穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、を含む、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムを提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ヒト磁気共鳴シーケンス画像即ちＭＲＩシーケンス画像を受信し、前記ＭＲＩシーケンス画像を３次元レンダリングし穿刺点を描くＭＲＩシーケンス画像レンダリングユニットと、
ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、
ＩＣＰ反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得るレジストレーションユニットと、
超音波プローブで取得したヒト超音波画像を受信し、系統穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、
を含むことを特徴とする、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、
ＩＣＰ反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得るレジストレーションユニットと、
超音波プローブで取得したヒト超音波画像を受信し、系統穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、
を含むことを特徴とする、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項2】
前記ＭＲＩシーケンス画像は大型磁気共鳴装置により取得され、前記ＭＲＩシーケンス画像レンダリングユニットは、ＭＲＩシーケンス画像の医用デジタル画像と通信ＤＩＣＯＭ情報における患者位置情報に基づいて３次元再構成レンダリングを行って画像情報を取得し、画像情報に基づいて穿刺点を描くことを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項3】
前記穿刺点は系統穿刺点及び／又はターゲット穿刺点を含み、系統穿刺点は１２個であり、３次元再構成レンダリングにより得られた画像情報において均一に分布しており、前記ターゲット穿刺点は疑い病変位置であることを特徴とする、請求項２に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項4】
前記ヒト超音波シーケンス画像は超音波プローブを連続的に回転させることで１組の超音波シーケンス画像が手動で収集され、前記超音波プローブに電磁センサが結び付けられ、該電磁センサは電磁位置特定システムに接続され、超音波シーケンス画像の頂点の３次元座標を取得するためのものであることを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項5】
前記超音波プローブのハンドル位置に穿刺パッドが配置され、前記穿刺パッドにいくつかの均一に分布する針孔が設けられ、前記穿刺パッドは穿刺器官を覆い得る大きさのサイズであり、且つ超音波表示平面も穿刺パッドにおける各孔の実際位置、間隔距離に対応して番号付けされることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項6】
超音波ボリュームデータを再構成するステップは、具体的に、
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得ることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得ることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項7】
レジストレーションユニットは、
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項8】
穿刺計画ユニットは、
各系統穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングするステップと、
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出するステップと、
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得するステップと、
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトするステップと、
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現するステップと、を実行することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
各系統穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングするステップと、
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出するステップと、
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得するステップと、
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトするステップと、
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現するステップと、を実行することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項9】
穿刺計画ユニットにおいて、
現在の超音波画像における穿刺点を取得するステップは、具体的に、
サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得するステップと、
超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得するステップと、
前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算するステップと、
算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認めるステップと、を含み、前記閾値は０．０１～０．０２であり、
穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、を含み、投影ステップは、
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算することを特徴とする、請求項８に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
現在の超音波画像における穿刺点を取得するステップは、具体的に、
サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得するステップと、
超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得するステップと、
前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算するステップと、
算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認めるステップと、を含み、前記閾値は０．０１～０．０２であり、
穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、を含み、投影ステップは、
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算することを特徴とする、請求項８に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項10】
超音波プローブで取得したリアルタイムのヒト超音波画像をリアルタイムに受信し、穿刺計画ユニットを作動させて穿刺計画を実行し、超音波画像及び穿刺計画画像をリアルタイムに表示することができる穿刺ガイドユニットをさらに含むことを特徴とする、請求項１から９のいずれか１項に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理の技術分野に属し、特にマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムに関する。
【背景技術】
【0002】
科学技術の発展に伴い、近年、ＣＴ画像技術、ＭＲＩ画像技術及び超音波画像技術を主とする医用画像技術は急速に抬頭してきている。各画像のそれぞれの特性により、ＣＴ画像は骨構造の撮像に優れ、ＭＲＩ画像は軟組織の撮像に優れ、超音波画像はリアルタイムフィードバックを特徴としている。したがって、マルチモーダル医用画像レジストレーション・融合によって、より正確な病変発見と位置特定を達成することは、ますます多くの注目を集めている。
【0003】
超音波が人体内部の組織構造をリアルタイムに表示できるため、超音波穿刺ガイド技術はそれによって活用されている。該技術はリアルタイム超音波画像による監視とガイド下で、体内のターゲットに穿刺する臨床技術である。治療又は細胞もしくは組織の少量吸引による病理検査のためにどのように針をターゲットに正確に刺すか、どのように周辺組織の穿刺による損傷を減少させるか、どのように穿刺等の時間を最短にして重篤な合併症の発症を回避するかは、臨床において煩雑で困難なところである。
【0004】
超音波穿刺ガイドは、組織内での穿刺針の運動状況をリアルタイムに表示し、穿刺経路の選択に根拠を提供することができ、超音波補助治療の重要な手段である。しかし、従来の超音波ガイド穿刺は操作者の経験及び超音波装置の性能にひどく依存するものであり、多い穿刺回数及び長い操作時間等の問題が存在し得ることにより、合併症の発症率が増加する。
【0005】
そこで、本発明は、上記問題を解決するために、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムを提案する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、従来の超音波ガイド穿刺が操作者の経験及び超音波装置の性能に大きく依存し、多い穿刺回数及び長い操作時間になり得、合併症の発症率増加をきたしやすいという問題に対して、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムを提案することである。
【課題を解決するための手段】
【0007】
本発明の技術的解決手段は以下のとおりである。
【0008】
本発明は、
ヒト磁気共鳴シーケンス画像即ちＭＲＩシーケンス画像を受信し、前記ＭＲＩシーケンス画像を３次元レンダリングし穿刺点を描くＭＲＩシーケンス画像レンダリングユニットと、
ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、
ＩＣＰ反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得るレジストレーションユニットと、
超音波プローブで取得したヒト超音波画像を受信し、系統穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、を含む、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムを提供する。
ヒト磁気共鳴シーケンス画像即ちＭＲＩシーケンス画像を受信し、前記ＭＲＩシーケンス画像を３次元レンダリングし穿刺点を描くＭＲＩシーケンス画像レンダリングユニットと、
ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、
ＩＣＰ反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得るレジストレーションユニットと、
超音波プローブで取得したヒト超音波画像を受信し、系統穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、を含む、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムを提供する。
【0009】
さらに、前記ヒトＭＲＩシーケンス画像は大型磁気共鳴装置により取得される。
【0010】
さらに、前記ＭＲＩシーケンス画像レンダリングユニットは、ＭＲＩシーケンス画像の医用デジタル画像と通信ＤＩＣＯＭ情報における患者位置情報に基づいて３次元再構成レンダリングを行って画像情報を取得し、画像情報に基づいて穿刺点を描く。
【0011】
さらに、前記穿刺点は系統穿刺点及び／又はターゲット穿刺点を含み、系統穿刺点は１２個であり、３次元再構成レンダリングにより得られた画像情報において均一に分布しており、前記ターゲット穿刺点は疑い病変位置である。
【0012】
さらに、前記超音波プローブのハンドル位置に穿刺パッドが配置され、前記穿刺パッドにいくつかの均一に分布する針孔が設けられ、前記穿刺パッドは穿刺器官（例えば前立腺）を覆い得る大きさのサイズであり、且つ超音波表示平面も穿刺パッドにおける各孔の実際位置、間隔距離に対応して番号付けされる。
【0013】
さらに、前記ヒト超音波シーケンス画像は超音波プローブを連続的に回転させることで１組の超音波シーケンス画像が手動で収集され、前記超音波プローブに電磁センサが結び付けられ、該電磁センサは電磁位置特定システムに接続され、超音波シーケンス画像の頂点の３次元座標を取得するためのものである。
【0014】
さらに、超音波ボリュームデータを再構成する前記ステップは、具体的に、
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得る。
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得る。
【0015】
さらに、レジストレーションユニットは、
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行する。
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行する。
【0016】
さらに、穿刺計画ユニットは、
各系統穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングするステップと、
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出するステップと、
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得するステップと、
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトするステップと、
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現するステップと、を実行する。
各系統穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングするステップと、
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出するステップと、
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得するステップと、
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトするステップと、
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現するステップと、を実行する。
【0017】
さらに、穿刺計画ユニットにおいて、
現在の超音波画像における穿刺点を取得するステップは、具体的に、
サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得するステップと、
超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得するステップと、
前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算するステップと、
算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認めるステップと、を含み、前記閾値は０．０１～０．０２である。
現在の超音波画像における穿刺点を取得するステップは、具体的に、
サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得するステップと、
超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得するステップと、
前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算するステップと、
算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認めるステップと、を含み、前記閾値は０．０１～０．０２である。
【0018】
さらに、穿刺計画ユニットにおいて、
穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、を含み、投影ステップは、
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算する。
穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、を含み、投影ステップは、
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算する。
【0019】
さらに、該システムは、超音波プローブで取得したリアルタイムのヒト超音波画像をリアルタイムに受信し、穿刺計画ユニットを作動させて穿刺計画を実行し、超音波画像及び穿刺計画画像をリアルタイムに表示することができる穿刺ガイドユニットをさらに含む。
【発明の効果】
【0020】
本発明の有益な効果は以下のとおりである。
本発明はマルチモーダル医用画像レジストレーションによって、超音波下における電磁系即ち２次元座標をＭＲＩ世界座標系即ち３次元座標へと統合し、超音波断面によってＭＲＩ座標系へと変換し、穿刺点が超音波平面にあるか否かを判断し、超音波平面にある穿刺点を２次元座標に変換し、超音波平面において、正確な穿刺を行うようにガイド画像を計画し、穿刺ガイドの精度及び正確性をさらに高め、医師がより迅速に病変ターゲットに穿刺することを助け、穿刺にかかる時間を効果的に短縮させ、合併症の発症率を低下させる。
本発明はマルチモーダル医用画像レジストレーションによって、超音波下における電磁系即ち２次元座標をＭＲＩ世界座標系即ち３次元座標へと統合し、超音波断面によってＭＲＩ座標系へと変換し、穿刺点が超音波平面にあるか否かを判断し、超音波平面にある穿刺点を２次元座標に変換し、超音波平面において、正確な穿刺を行うようにガイド画像を計画し、穿刺ガイドの精度及び正確性をさらに高め、医師がより迅速に病変ターゲットに穿刺することを助け、穿刺にかかる時間を効果的に短縮させ、合併症の発症率を低下させる。
【0021】
本発明の他の特徴及び利点は以下の発明を実施するための形態部分で詳述する。
【図面の簡単な説明】
【0022】
【図1】本発明のシステム構造図である。
【図2】超音波シーケンス画像及びその頂点座標の模式図である。
【図3】前立腺横断面における穿刺点分布の模式図である。
【図4】前立腺ＭＲＩレンダリングの模式図である。
【図5】パッドと超音波矢状面を異なる数字に対応付けする方式で超音波穿刺ガイドを行う模式図である。
【図6】パッドと超音波矢状面を異なる色に対応付けする方式で超音波穿刺ガイドを行う模式図である。
【図7】超音波穿刺計画の効果図である。
【発明を実施するための形態】
【0023】
図面を参照しながら本発明の例示的な実施形態をさらに詳細に説明することで、本発明の上記の及び他の目的、特徴及び利点はより明確になり、ここで、本発明の例示的な実施形態において、同じ参照記号は通常同じ要素を表す。
【0024】
以下において、図面を参照しながら本発明の好ましい実施形態をさらに詳細に説明する。図面には本発明の好ましい実施形態を示しているが、ここで説明される実施形態に限定されることなく様々な形態で本発明を実現することができることを理解すべきである。
【0025】
本発明はマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムを提供し、該システムは以下を含む。
【0026】
ＭＲＩシーケンス画像レンダリングユニットは、ヒト磁気共鳴シーケンス画像即ちＭＲＩシーケンス画像を受信し、前記ＭＲＩシーケンス画像を３次元レンダリングし穿刺点を描く。
【0027】
ここで、前記ＭＲＩシーケンス画像は大型磁気共鳴装置により取得され、前記ＭＲＩシーケンス画像レンダリングユニットは、ＭＲＩシーケンス画像の医用デジタル画像と通信ＤＩＣＯＭ（digital imaging and communication in medicine）情報における患者位置情報に基づいて３次元再構成レンダリングを行って画像情報を取得し、画像情報に基づいて穿刺点を描く。前記穿刺点は系統穿刺点及び／又はターゲット穿刺点を含み、そのうち、系統穿刺点は１２個であり、３次元再構成レンダリングにより得られた画像情報において均一に分布しているか、又は、前立腺穿刺における中国専門家の共通知識に従って設定され、前記ターゲット穿刺点は疑い病変位置であり、操作者又は医師により決定される。
【0028】
超音波シーケンス画像再構成ユニットは、ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する。
【0029】
ここで、前記超音波プローブのハンドル位置に穿刺パッドが配置され、図５に示すように、前記穿刺パッドにいくつかの均一に分布する針孔が設けられ、前記穿刺パッドは穿刺器官（例えば前立腺）を覆い得る大きさのサイズであり、且つ超音波表示平面も穿刺パッドにおける各孔の実際位置、間隔距離に対応して番号付けされる。前記ヒト超音波シーケンス画像は超音波プローブを連続的に回転させることで１組の超音波シーケンス画像が手動で収集され、図２に示すように、前記超音波プローブに電磁センサが結び付けられ、該電磁センサは電磁位置特定システムに接続され、超音波シーケンス画像の頂点の３次元座標を取得するためのものである。
【0030】
超音波ボリュームデータを再構成するステップは、具体的に、
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得る。
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得る。
【0031】
レジストレーションユニットは、ＩＣＰ（iterative closest point）反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得る。レジストレーションユニットは、具体的に、
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行する。
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行する。
【0032】
穿刺計画ユニットは、超音波プローブで取得したヒト超音波画像を受信し、系統穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する。穿刺計画ユニットは、具体的に以下のステップを実行する。
【0033】
各系統穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングする。
【0034】
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出する。
【0035】
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得する。具体的には、
まず、サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得し、
次に、超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得し、
さらに、前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算し、
最後に、算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認め、ここで前記閾値は０．０１～０．０２である。
まず、サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得し、
次に、超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得し、
さらに、前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算し、
最後に、算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認め、ここで前記閾値は０．０１～０．０２である。
【0036】
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトする。ここで、穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、を含み、投影ステップは、
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算する。
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、を含み、投影ステップは、
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算する。
【0037】
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現する。
【0038】
本発明のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムは、超音波プローブで取得したリアルタイムのヒト超音波画像をリアルタイムに受信し、穿刺計画ユニットを作動させて穿刺計画を実行し、超音波画像及び穿刺計画画像をリアルタイムに表示することができる穿刺ガイドユニットをさらに含む。
【0039】
具体的な実施において、
図１から図７に示すように、本発明のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムは、前立腺の超音波穿刺ガイドと計画に応用され、以下のＳ１～Ｓ５のステップを実行する。
図１から図７に示すように、本発明のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システムは、前立腺の超音波穿刺ガイドと計画に応用され、以下のＳ１～Ｓ５のステップを実行する。
【0040】
Ｓ１で、ＭＲＩシーケンス画像レンダリングユニットを用いてヒト磁気共鳴シーケンス画像即ちＭＲＩシーケンス画像を受信し、前記ＭＲＩシーケンス画像を３次元レンダリングし穿刺点を描く。
医用デジタル画像と通信ＤＩＣＯＭ情報における患者位置情報に基づき、それに医用デジタル画像と通信ＤＩＣＯＭ情報における患者画像位置の情報を組み合わせて３次元再構成レンダリングを行い、ヒト前立腺を例とすると、画像情報描出システム及びターゲット（存在する場合、操作者又は医師により決定される）穿刺点（図４に示すように、前立腺ＭＲＩ３次元レンダリング後の模式図であり、図中、番号１～１２は描かれた穿刺点の分布を示すものである）に基づき、前立腺系統穿刺点分布の横断面模式図は図３示すように、後続の穿刺を容易にするために穿刺点の位置を直感的に表示できる。
医用デジタル画像と通信ＤＩＣＯＭ情報における患者位置情報に基づき、それに医用デジタル画像と通信ＤＩＣＯＭ情報における患者画像位置の情報を組み合わせて３次元再構成レンダリングを行い、ヒト前立腺を例とすると、画像情報描出システム及びターゲット（存在する場合、操作者又は医師により決定される）穿刺点（図４に示すように、前立腺ＭＲＩ３次元レンダリング後の模式図であり、図中、番号１～１２は描かれた穿刺点の分布を示すものである）に基づき、前立腺系統穿刺点分布の横断面模式図は図３示すように、後続の穿刺を容易にするために穿刺点の位置を直感的に表示できる。
【0041】
Ｓ２で、電磁センサを超音波プローブと結び付け、超音波プローブにより手動で超音波シーケンス画像を１組収集し、各フレームの超音波シーケンス画像の４頂点の３次元座標を保存する。具体的なステップは、
まず、電磁位置特定システムを接続し、それに電磁センサを接続し、センサを超音波プローブと結び付け、次に、プログラム制御下で収集を開始し、１組の超音波シーケンス画像及び該当する各フレームの画像に対応する４頂点の座標を連続的に収集し、最後に、プログラム制御下で収集を終了し、収集された超音波シーケンス画像及び該当する各フレームの画像に対応する４頂点の座標をメモリに保存し、図２に示すように、ｐ３は左上頂点、ｐ２は右上頂点、ｐ０は左下頂点、ｐ１は右下頂点を表す。
まず、電磁位置特定システムを接続し、それに電磁センサを接続し、センサを超音波プローブと結び付け、次に、プログラム制御下で収集を開始し、１組の超音波シーケンス画像及び該当する各フレームの画像に対応する４頂点の座標を連続的に収集し、最後に、プログラム制御下で収集を終了し、収集された超音波シーケンス画像及び該当する各フレームの画像に対応する４頂点の座標をメモリに保存し、図２に示すように、ｐ３は左上頂点、ｐ２は右上頂点、ｐ０は左下頂点、ｐ１は右下頂点を表す。
【0042】
Ｓ３で、上記超音波データに基づいて超音波ボリュームデータを再構成し、マルチモーダルレジストレーションによって座標系を世界座標系へと統合する。具体的なステップは以下を含む。
【0043】
超音波ボリュームデータ再構成ステップを実行する。各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得る。
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得る。
【0044】
マルチモーダルレジストレーションステップを実行する。再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得、
そしてＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る。変換係数によって超音波と結び付けられた電磁座標系をＭＲＩ世界座標系へと変換する。
そしてＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る。変換係数によって超音波と結び付けられた電磁座標系をＭＲＩ世界座標系へと変換する。
【0045】
Ｓ４で、超音波プローブで取得したヒト超音波画像を受信し、穿刺点の空間位置及び超音波プローブ平面の空間位置に基づいて穿刺ガイド画像を生成する。具体的には、
まず、各穿刺点に対して半径が１ｍｍで、球心が穿刺点座標である球体を構築し、球体表面に対していくつかの点（本システムでは４９個）を一様にサンプリングし、
次に、超音波プローブを回転させて２次元超音波画像をリアルタイムに取得し、
最後に、各穿刺点に対して、該球体表面の点と現在のプローブ平面との空間位置関係をトラバースし、一定の誤差範囲内で点がプローブ平面にあれば、穿刺ガイド画像を生成し、つまり、２次元超音波平面内に現在の穿刺点（レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換し、そして穿刺点超音波ボリュームデータの３次元座標に基づき、それを現在の超音波画像の矢状面に投影する）、穿刺ガイドラインをリアルタイムに描き、穿刺ガイドラインに基づいて穿刺パッドにおける針孔番号を選択して正確な穿刺を実現し、図５及び図６は穿刺ガイドの２つの模式図であり、図左は超音波空間平面における前立腺ＭＲＩ横断面での穿刺点の一定誤差範囲内の分布を示し、図右は超音波で可視化された前立腺矢状面を示し、横断面での穿刺点が２次元超音波矢状面に投影され、図から明らかなように、穿刺針が番号４、６の針孔から刺されてそれぞれ穿刺点１１、８に穿刺する。図５、６の左は磁気共鳴での前立腺穿刺点を示し（２つの穿刺点が示される）、右は超音波プローブイメージングを示し、イメージング平面内に穿刺点が２つある。
まず、各穿刺点に対して半径が１ｍｍで、球心が穿刺点座標である球体を構築し、球体表面に対していくつかの点（本システムでは４９個）を一様にサンプリングし、
次に、超音波プローブを回転させて２次元超音波画像をリアルタイムに取得し、
最後に、各穿刺点に対して、該球体表面の点と現在のプローブ平面との空間位置関係をトラバースし、一定の誤差範囲内で点がプローブ平面にあれば、穿刺ガイド画像を生成し、つまり、２次元超音波平面内に現在の穿刺点（レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換し、そして穿刺点超音波ボリュームデータの３次元座標に基づき、それを現在の超音波画像の矢状面に投影する）、穿刺ガイドラインをリアルタイムに描き、穿刺ガイドラインに基づいて穿刺パッドにおける針孔番号を選択して正確な穿刺を実現し、図５及び図６は穿刺ガイドの２つの模式図であり、図左は超音波空間平面における前立腺ＭＲＩ横断面での穿刺点の一定誤差範囲内の分布を示し、図右は超音波で可視化された前立腺矢状面を示し、横断面での穿刺点が２次元超音波矢状面に投影され、図から明らかなように、穿刺針が番号４、６の針孔から刺されてそれぞれ穿刺点１１、８に穿刺する。図５、６の左は磁気共鳴での前立腺穿刺点を示し（２つの穿刺点が示される）、右は超音波プローブイメージングを示し、イメージング平面内に穿刺点が２つある。
【0046】
Ｓ５で、図７に示すように、ステップＳ４に基づいて超音波画像及び穿刺計画画像を表示することができる。
アプリケーション層が穿刺フレームを一定の縮尺で超音波平面内に描き、ここで穿刺点は黄色円形で示し、穿刺する孔の番号及び穿刺ガイドラインは赤色で示し、図から明らかなように、現在の穿刺針は番号９、３の針孔から刺されてそれぞれ穿刺点１、１０に穿刺し、最終的に超音波画像平面内で穿刺位置と穿刺ラインとの重なりが実現され、迅速で、高効率で、正確な穿刺プロセス全体が完了される。
アプリケーション層が穿刺フレームを一定の縮尺で超音波平面内に描き、ここで穿刺点は黄色円形で示し、穿刺する孔の番号及び穿刺ガイドラインは赤色で示し、図から明らかなように、現在の穿刺針は番号９、３の針孔から刺されてそれぞれ穿刺点１、１０に穿刺し、最終的に超音波画像平面内で穿刺位置と穿刺ラインとの重なりが実現され、迅速で、高効率で、正確な穿刺プロセス全体が完了される。
【0047】
システムが超音波プローブで取得したリアルタイムのヒト超音波画像をリアルタイムに受信し、穿刺計画ユニットを作動させて穿刺計画を実行すると、超音波画像及び穿刺計画画像をリアルタイムに表示することができる。
【0048】
本発明のシステムは、マルチモーダル医用画像レジストレーションによって超音波下における電磁座標系をＭＲＩ世界座標系へと統合し、リアルタイムの超音波断面によってＭＲＩ座標系へと変換し、穿刺点が超音波平面にあるか否かを判断することで正確に穿刺するように超音波ガイドし、穿刺ガイドの精度をさらに高め、それは、医師がより迅速に病変ターゲットに穿刺することを助け、穿刺にかかる時間及び合併症の発症率を効果的に減少させることができる。
【0049】
以上は本発明の各実施例を説明したが、上記説明は例示的なものであり、網羅的なものではなく、開示される各実施例に限定されるものでもない。説明された各実施例の範囲及び精神から逸脱しない限り、様々な修正及び変更は、当業者にとって自明である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-10-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ヒト磁気共鳴シーケンス画像即ちＭＲＩシーケンス画像を受信し、前記ＭＲＩシーケンス画像を３次元レンダリングし穿刺点を描くＭＲＩシーケンス画像レンダリングユニットと、
ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、
ＩＣＰ反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得るレジストレーションユニットと、
超音波プローブで取得したヒト超音波画像を受信し、前記穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、
穿刺計画ユニットは、
各前記穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングするステップと、
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出するステップと、
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得するステップと、
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトするステップと、
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現するステップと、
穿刺計画ユニットにおいて、
現在の超音波画像における穿刺点を取得するステップは、具体的に、
サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得するステップと、
超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得するステップと、
前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算するステップと、
算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認めるステップと、を含み、前記閾値は０．０１～０．０２であり、
穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、
を含むことを特徴とする、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、
ＩＣＰ反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得るレジストレーションユニットと、
超音波プローブで取得したヒト超音波画像を受信し、前記穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、
穿刺計画ユニットは、
各前記穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングするステップと、
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出するステップと、
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得するステップと、
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトするステップと、
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現するステップと、
穿刺計画ユニットにおいて、
現在の超音波画像における穿刺点を取得するステップは、具体的に、
サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得するステップと、
超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得するステップと、
前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算するステップと、
算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認めるステップと、を含み、前記閾値は０．０１～０．０２であり、
穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、
を含むことを特徴とする、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項2】
前記ＭＲＩシーケンス画像は大型磁気共鳴装置により取得され、前記ＭＲＩシーケンス画像レンダリングユニットは、ＭＲＩシーケンス画像の医用デジタル画像と通信ＤＩＣＯＭ情報における患者位置情報に基づいて３次元再構成レンダリングを行って画像情報を取得し、画像情報に基づいて穿刺点を描くことを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項3】
前記穿刺点は系統穿刺点及び／又はターゲット穿刺点を含み、系統穿刺点は１２個であり、３次元再構成レンダリングにより得られた画像情報において均一に分布しており、前記ターゲット穿刺点は疑い病変位置であることを特徴とする、請求項２に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項4】
前記ヒト超音波シーケンス画像は超音波プローブを連続的に回転させることで１組の超音波シーケンス画像が手動で収集され、前記超音波プローブに電磁センサが結び付けられ、該電磁センサは電磁位置特定システムに接続され、超音波シーケンス画像の頂点の３次元座標を取得するためのものであることを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項5】
前記超音波プローブのハンドル位置に穿刺パッドが配置され、前記穿刺パッドにいくつかの均一に分布する針孔が設けられ、前記穿刺パッドは穿刺器官を覆い得る大きさのサイズであり、且つ超音波表示平面も穿刺パッドにおける各孔の実際位置、間隔距離に対応して番号付けされることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項6】
超音波ボリュームデータを再構成するステップは、具体的に、
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得ることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得ることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項7】
レジストレーションユニットは、
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項8】
投影ステップは、
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項9】
超音波プローブで取得したリアルタイムのヒト超音波画像をリアルタイムに受信し、穿刺計画ユニットを作動させて穿刺計画を実行し、超音波画像及び穿刺計画画像をリアルタイムに表示することができる穿刺ガイドユニットをさらに含むことを特徴とする、請求項１から８のいずれか１項に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【手続補正書】
【提出日】2024-03-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ヒト磁気共鳴シーケンス画像即ちＭＲＩシーケンス画像を受信し、前記ＭＲＩシーケンス画像を３次元レンダリングし穿刺点を描くＭＲＩシーケンス画像レンダリングユニットと、
ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、
ＩＣＰ反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得るレジストレーションユニットと、
超音波プローブで取得したヒト超音波画像を受信し、前記穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、を含み、
穿刺計画ユニットは、
各前記穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングするステップと、
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出するステップと、
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得するステップと、
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトするステップと、
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現するステップと、
を実行し、
穿刺計画ユニットにおいて、
現在の超音波画像における穿刺点を取得するステップは、具体的に、
サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得するステップと、
超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得するステップと、
前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算するステップと、
算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認めるステップと、を含み、前記閾値は０．０１～０．０２であり、
穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、
を含むことを特徴とする、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
ヒト超音波シーケンス画像を受信し、各フレームの超音波シーケンス画像の４頂点の３次元座標を抽出し、超音波ボリュームデータを再構成する超音波シーケンス画像再構成ユニットと、
ＩＣＰ反復アルゴリズムを使用して再構成後の超音波ボリュームデータ及びレンダリング後のＭＲＩデータに対して３次元レジストレーション操作を行い、超音波データに対応する３次元座標をＭＲＩデータに対応する３次元座標系へ変換するためのレジストレーション変換係数を得るレジストレーションユニットと、
超音波プローブで取得したヒト超音波画像を受信し、前記穿刺点及び現在の超音波画像に基づいて穿刺計画画像を生成し、表示する穿刺計画ユニットと、を含み、
穿刺計画ユニットは、
各前記穿刺点に対して半径ｒの球体を構築し、球体表面に対していくつかの点を一様にサンプリングするステップと、
超音波プローブで取得したヒト超音波画像を受信し、該画像の４頂点の３次元座標を抽出するステップと、
各穿刺点に対して、穿刺点で構築された球体表面のサンプリング点と現在のプローブ平面との空間位置関係をトラバースし、現在の超音波画像における穿刺点を取得するステップと、
該穿刺点の３次元座標を超音波画像に投影し、超音波画像における該穿刺点の対応する針孔番号を抽出し、穿刺計画画像を生成する、即ち、２次元の現在の超音波画像において現在の穿刺点及び穿刺ガイドラインを描き及び対応する針孔をハイライトするステップと、
穿刺ガイドライン及び針孔番号に基づいて正確な穿刺を実現するステップと、
を実行し、
穿刺計画ユニットにおいて、
現在の超音波画像における穿刺点を取得するステップは、具体的に、
サンプリング点と超音波画像の左上頂点とからなる空間ベクトルを取得するステップと、
超音波画像空間即ち頂点ｐ０～ｐ３の法線ベクトルを取得するステップと、
前記空間ベクトルと法線ベクトルとの夾角のコサイン値を計算するステップと、
算出されたコサイン値と設定された閾値とを比較し、コサイン値が閾値より小さい場合、該穿刺点が現在の超音波画像にあると認めるステップと、を含み、前記閾値は０．０１～０．０２であり、
穿刺点の３次元座標を超音波画像に投影するステップは、具体的に、
レジストレーション変換係数に基づいて穿刺点ＭＲＩデータを超音波ボリュームデータに対応する３次元座標に変換するステップと、
穿刺点超音波ボリュームデータの３次元座標Ｐｉ（ｘ，ｙ，ｚ）に基づき、それを現在の超音波画像の矢状面に投影するステップと、
を含むことを特徴とする、マルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項2】
前記ＭＲＩシーケンス画像は大型磁気共鳴装置により取得され、前記ＭＲＩシーケンス画像レンダリングユニットは、ＭＲＩシーケンス画像の医用デジタル画像と通信ＤＩＣＯＭ情報における患者位置情報に基づいて３次元再構成レンダリングを行って画像情報を取得し、画像情報に基づいて穿刺点を描くことを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項3】
前記穿刺点は系統穿刺点及び／又はターゲット穿刺点を含み、系統穿刺点は１２個であり、３次元再構成レンダリングにより得られた画像情報において均一に分布しており、前記ターゲット穿刺点は疑い病変位置であることを特徴とする、請求項２に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項4】
前記ヒト超音波シーケンス画像は超音波プローブを連続的に回転させることで１組の超音波シーケンス画像が手動で収集され、前記超音波プローブに電磁センサが結び付けられ、該電磁センサは電磁位置特定システムに接続され、超音波シーケンス画像の頂点の３次元座標を取得するためのものであることを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項5】
前記超音波プローブのハンドル位置に穿刺パッドが配置され、前記穿刺パッドにいくつかの均一に分布する針孔が設けられ、前記穿刺パッドは穿刺器官を覆い得る大きさのサイズであり、且つ超音波表示平面も穿刺パッドにおける各孔の実際位置、間隔距離に対応して番号付けされることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項6】
超音波ボリュームデータを再構成するステップは、具体的に、
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得ることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
各フレームの超音波シーケンス画像の４頂点の３次元座標及び画素座標に基づき、下記座標変換式を用いて各フレームの超音波シーケンス画像における各画素に対応する３次元座標を得、超音波データの３次元ソース点群を得、
Ｐ（ｘ，ｙ，ｚ）＝Ｑ（ｘ，ｙ，ｚ）＋ｕＨ（ｘ，ｙ，ｚ）＋ｖＫ（ｘ，ｙ，ｚ）
式中、（ｕ，ｖ）は超音波シーケンス画像の画素座標であり、Ｐ（ｘ，ｙ，ｚ）は変換後の３次元座標であり、Ｑは超音波画像における左上頂点の３次元座標であり、Ｈは３次元空間のｘ方向ベクトルであり、Ｋは３次元空間のｙ方向ベクトルであり、
そして各フレームの超音波画像に対して上記変換を行って各フレーム画像における全ての画素点の３次元座標を得、前後２フレームの画像の同じ画素位置に対応する３次元座標を計算し、続いて該３次元座標をボクセル位置に変換し、前後フレームの画像における同じ画素位置の点群の所在する断面に補間し、再構成後の超音波ボリュームデータを得ることを特徴とする、請求項４に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項7】
レジストレーションユニットは、
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
再構成後の超音波ボリュームデータに対して三角形メッシュ化処理を行い平滑化し、ダウンサンプリングして再構成後の超音波ボリュームデータの３次元ソース点群を得る操作と、
ＫＮＮツリーを用いて再構成後の超音波ボリュームデータの３次元ソース点群とＭＲＩシーケンスレンダリング後の画像情報の３次元ターゲット点群との構造マッチングを行い、３次元ソース点群と３次元ターゲット点群との対応する点対を決定し、ＩＣＰ反復を行ってレジストレーションを完了し、レジストレーション回転マトリクスＲ及びレジストレーション並進量Ｔを含むレジストレーション変換係数を得る操作と、を実行することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項8】
投影ステップは、
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
まず、穿刺点Ｐｉ（ｘ，ｙ，ｚ）と現在の超音波画像の左上頂点ｐ３（ｘ０，ｙ０，ｚ０）との方向ベクトルｖｅｃ（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）を計算し、ｉは穿刺点の番号を表し、
次に、ベクトルｖｅｃの超音波平面ｘ方向での投影値を計算し、ｘ方向での穿刺点と超音波左上頂点との物理的距離Ｖａｌｕｅ：Ｖａｌｕｅ＝ｖｅｃ・Ｈを得、Ｈは超音波平面ｘ方向の単位ベクトルであり、
最後に、超音波画素の物理的間隔ｐｉｘｅｌＳｐａｃｅに基づいて穿刺点の超音波平面でのｘ方向画素座標Ｘ：Ｘ＝Ｖａｌｕｅ／ｐｉｘｅｌＳｐａｃｅを計算すること、を含み、
同様に、穿刺点の超音波平面ｙ方向での投影座標も上記と同様に計算することを特徴とする、請求項１に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。
【請求項9】
超音波プローブで取得したリアルタイムのヒト超音波画像をリアルタイムに受信し、穿刺計画ユニットを作動させて穿刺計画を実行し、超音波画像及び穿刺計画画像をリアルタイムに表示することができる穿刺ガイドユニットをさらに含むことを特徴とする、請求項１から８のいずれか１項に記載のマルチモーダル医用画像レジストレーションによる超音波穿刺ガイドと計画システム。