(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022135986
(43)【公開日】2022-09-15
(54)【発明の名称】管腔臓器の視覚化に関するプログラム及び方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20220908BHJP
【FI】
A61B6/03 360Z
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022028071
(22)【出願日】2022-02-25
(31)【優先権主張番号】63/157,004
(32)【優先日】2021-03-05
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】522075335
【氏名又は名称】陳 昭成
(71)【出願人】
【識別番号】522075346
【氏名又は名称】陳 昭宇
(74)【代理人】
【識別番号】110003214
【氏名又は名称】弁理士法人服部国際特許事務所
(72)【発明者】
【氏名】陳 昭成
(72)【発明者】
【氏名】陳 昭宇
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA26
4C093CA23
4C093DA01
4C093FF15
4C093FF42
4C093FF46
4C093FF50
(57)【要約】
【課題】管状物体の中心線に基づき目立った歪みなしに管状物体の内部構造を視覚化及び操作する管腔臓器の視覚化に関するプログラム及び方法を提供する。
【解決手段】医療臨床などの多くの実用的なアプリケーションでは、管状物体の内部構造を評価することは非常に重要なトピックである。多くの三次元視覚化技術が、器官の内部構造の視覚化に使用されるが、実際の長さが映し出せなく、非常に歪んだ3D管腔臓器しか生成できない。3D管状物体のシェルを自動的に計算し、シェルの中心線に基づいて物体を複数のセグメントに分割する。各セグメントは円柱の形で、基本的な操作ユニットとして使われることで、簡単に物体を切り開いたり切れ目を入れ内部構造を観察する。これより、物体の内部構造を歪みなく視覚化できる。医療用途では、診断、手術の計画、ステント留置などに使用でき、医療の質を大幅に向上させる。
【選択図】
図5A
【特許請求の範囲】
【請求項1】
コンピュータを使用して管腔臓器を視覚化するプログラムであって、
3D管状物体を構築するアルゴリズムを用いて、自動的に3D管状物体のシェルを生成する手順と、
自動または手動によりシェルをいくつかのセグメントに分割する手順と、
3D管状物体を操作する手順とを含み、3D管状物体の内部構造を歪みなく表示する管腔臓器の視覚化に関するプログラム。
【請求項2】
3D管状物体のシェルを生成し、
外シェルは、3D管状物体の外側にある物体の境界層であり、3D管状物体の内シェルは、3D管状物体のすぐ内側の境界層であり、外シェルと内シェルは、アプリケーションのニーズに応じて、さらに処理することが可能である請求項1に記載の管腔臓器の視覚化に関するプログラム。
【請求項3】
3D管状物体のシェルは、物体の中心線に基づいて、いくつかのセグメントに分割することができ、各セグメントは円柱のような形である請求項2に記載の管腔臓器の視覚化に関するプログラム。
【請求項4】
利用者が必要に応じてマスク、切断面、または他の操作方法を使用して物体のいくつかの部分を除去して3D管状物体の内部構造を明らかにする請求項1、2又は3のいずれか一項に記載の管腔臓器の視覚化に関するプログラム。
【請求項5】
マスクを使用する場合、セグメントごとにサブマスクを生成し、すべてのサブマスクの和集合を計算して、全体的なマスクを形成し、全体的なマスクの領域内にある物体のシェルを除去することで、物体の表面に切れ目を入れることができ、内部構造が明らかになる請求項4に記載の管腔臓器の視覚化に関するプログラム。
【請求項6】
物体の表面に切れ目を入れる際に、除去された部分の内部構造も個別に表示する請求項5に記載の管腔臓器の視覚化に関するプログラム。
【請求項7】
管状物体の内部構造を直接操作するための方法であって、
入力データを設定し、管状物体をエンコードし、ボクセル形式を使用して3D管状物体を表すステップと、
3D管状物体の外シェルと内シェルが含まれるシェルを生成するステップと、
3D管状物体の中心線を計算するステップと、
3D管状物体の中心線をデジタル化するステップと、
3D管状物体の各セグメントを操作し、各セグメントの中心線に従って、3D管状物体の特定の部分を削除するための切断面またはマスクを自動的に生成し、3D管状物体の内部構造を視覚化するステップと、を含む管腔臓器の視覚化に関する方法。
【請求項8】
物体セグメントが個別に検査される場合、各セグメントは、物体の内部構造全体の視覚化を提供するためにいくつかの重複領域を有する請求項7に記載の管腔臓器の視覚化に関する方法。
【請求項9】
各セグメントが円柱のような形であるため、マスクを利用したり、切断面を使用したり、または、その他の操作を用いて対象部分を除去し、物体の内部構造を明らかにする請求項7に記載の管腔臓器の視覚化に関する方法。
【請求項10】
物体の内部構造を正面から視覚化するために、除去された部分と操作の結果が利用者の視点に向けて表示されるように設計される請求項7に記載の管腔臓器の視覚化に関する方法。
【発明の詳細な説明】
【技術分野】
【0001】
既存のfly-through法(仮想内視鏡検査)及びCPR法(curved planar reformation)と比較して、仮想内視鏡の位置は管腔臓器内に制限されているため、ひどい歪みは避けられない。さらに、CPR法は画像が本質的に静的な二次元(2D)画像であり、死角が多いため、インタラクティブな視覚化機能が提供できない。本発明では、管腔臓器の一部が除去され、その結果、仮想内視鏡をどこにでも配置できるようになったため、仮想内視鏡と検査対象の管腔臓器の壁との間の距離が短いことによるひどい歪みを回避することができる。
【背景技術】
【0002】
医療などの多くの用途では、不規則な形の血管、気管支、または大腸などの管腔臓器の内部構造の評価が非常に重要なトピックである。従来、fly-through法及びCPR法などの多くの三次元(以下、「3D」という)視覚化技術が、器官の内部構造の視覚化に使用される。たとえば、3Dビューで結腸をナビゲートし、2Dアキシャルビュー、コロナルビュー、サジタルビューでCPR画像を取得する機能は、ほとんどの市販のCT(Computed Tomography)とMRI(Magnetic Resonance Imaging)装置のソフトウェアプラットフォームに標準機能として装備されている。
【0003】
医師は、fly-through法に関する技術を、使用することがよくあり、臨床現場では徐々に一般的になりつつある。しかし、fly-through法には次の欠点がある。
(1)仮想内視鏡の視野(FOV)が制限されているため、表示される表面の視界範囲が狭くなる。その結果、医師が多くの時間をかけて大腸などの器官の内腔を全部検査しなければ、多くの死角が見えない。
(2)視覚化された表面積を最大化するために、大腸などの内腔のナビゲーションは、順行方向と逆行方向の両方で実行する必要があり、非常に時間がかかる。
(3)大腸などの管腔臓器のひだの周りに隠れている小さなポリープを視覚化することは困難である。
(4)大腸などの内腔は常に不規則な形状であるため、方向が乱れやすくなる。
(5)透視投影(perspective projection)が使用されるため、画像の歪みが避けられない。特に仮想内視鏡を非常に狭い管腔に置かなければならないため、検査対象の大腸の壁に非常に近く、画像にかなりの歪みが生じる。
(6)仮想内視鏡が管腔内を移動しており、管腔臓器の全体構造が見えないため、管腔が徐々に狭くなったり広がったりするのが簡単に検出できない。この点は、血管の検査用途では特に重要である。
【0004】
医学界で確立された技術であるCPR法は、物体の中心線に従ってデータセットを再サンプリングして視覚化する。そして、さまざまなプロパティ(例えば、最小及び最大の血管径、平均減衰)も推定して表示できる。しかし、CPR法には次の欠点がある。
(1)CPR法は幾何学的マッピングに基づいているため、幾何学的歪みは避けられない。したがって、重要な診断機能が変更されたり、削除されたりする可能性がある。
(2)これらの画像は物体の3D立体画像に見えるが、実際には静的な2D平面画像であり、大腸などの内部構造の実際の形状を明らかにするためにインタラクティブに回転させたり、さまざまな視点から表示することはできない。そのため、大腸などの管腔臓器のひだには見えない死角が多い。
(3)CPR法により平坦化された画像は実際には歪んだ画像であるため、正常である領域でも異常があるように見える場合がある。その影響で、医師は誤って完全に正常なところを検査して多くの時間を浪費する可能性がある。
【0005】
現在の医療用途に適用した視覚化技術では、非常に歪んだ臓器の画像しか生成できず、臓器の実際の長さが映し出せなく、目立った歪みのない管腔臓器の内部構造の直接視覚化などの重要な特性も実現できない。これらの問題は長年続いており、まだ解決されていない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
既存の方法は、非常に歪んだ3D管状物体の内部構造の画像しか生成できない。
本発明は、上述に鑑みてなされたものであり、その目的は、3D管状物体の内層、外層を簡単に取得できる方法とコンピュータ画面で3D管状物体の移動、または回転などの操作する管腔臓器の視覚化に関するプログラム及び方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の管腔臓器の視覚化に関するプログラムは、3D管状物体の中心線をいくつかのセグメントに分割し、各セグメントは円柱に似ている形状にする。各セグメントは、3D管状物体の一部を除去するための基本的な操作ユニットとして使用されることで、各セグメントの内部構造をインタラクティブに視覚化する。
本発明は、3D管状物体の内部構造を歪みなく視覚化及び直接操作するためのアルゴリズムを用いたプログラムである。
本発明の管腔臓器の視覚化に関するプログラムは、コンピュータを使用して3D管状体(不規則な形の血管、気管支、大腸など)を構築するアルゴリズムを用いて、自動的に3D管状物体のシェル(内層、外層)を生成する手順と、自動または手動(利用者が指定した設定)により、シェルをいくつかのセグメントに分割する手順と、3D管状物体を操作する手順とを含み、3D管状物体の内部構造を歪みなく表示する。
本発明の管腔臓器の視覚化に関する方法は、管状物体の内部構造を直接操作するための方法であって、入力データを設定し、管状物体をエンコードし、ボクセル形式を使用して3D管状物体を表すステップと、物体の外シェルと内シェルが含まれるシェルを計算して生成するステップと、3D管状物体の中心線を計算するステップと、3D管状物体の中心線をデジタル化するステップと、3D管状物体の各セグメントを操作し、各セグメントの中心線に従って、物体の特定の部分を削除するための切断面またはマスクを自動的に生成し、3D管状物体の内部構造を視覚化するステップと、を含む。
【発明の効果】
【0008】
本発明の管腔臓器の視覚化に関するプログラムによると、医療用3D画像表示プログラムに用いることができる。3D管状物体の内部構造を本物のように目立った歪みなしに視覚化して操作することができる。
【図面の簡単な説明】
【0009】
【
図1】3D管状物体の「シェル」(内層、外層)の定義を示す説明図である。
【
図2】本発明における各用語の定義を説明するための3D大腸の例を示す説明図である。3D管状物体全体が大腸で、外側の太い線が「シェル」(SC)である。大腸の中央の曲線が中心線であり、正方形は中心線の曲率が大きい特徴点である。隣接する2つの特徴点を結ぶ直線がCSAである。
【
図3】切断面を使用して大腸をいくつかのセグメントにカットする方法の説明図である。
【
図4】大腸セグメントの内部構造を明らかにするために半分にカットされた3つの大腸を示す説明図である。
【
図5A】本発明で得られた歪みのない3D大腸の内部構造を示す説明図である。利用者がマウスでインタラクティブに大腸の内部構造を回転できることを示している。死角なしで、内部構造をあらゆる角度から確認でき、矢印が指す大腸内のポリープをはっきりと見ることができる。
【
図5B】
図5Aとは別の角度から見た大腸の内部構造を示す説明図である。
【
図6】利用者が指定した関心のある血管セグメント(始点P1と終点P2の間)を示す説明図である。
【
図7】楔形のマスクを用いて、血管の一部を除去し、血管セグメントに切れ目を入れる方法を示す説明図である。
【
図8】指定されたセグメントの内部構造を視覚化できるように切れ目を入れた血管の結果画像を示す説明図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態による管腔臓器の視覚化に関するプログラム及び方法を図面に基づいて説明する。
ステップ1: 入力データの設定
直状及び湾曲した3D管状物体の入力データは、表面ベースの表現(三角形のセットなど)またはボクセルベースの表現(バイナリボクセルオブジェクトなど)でエンコードしたデータである。表面ベースの表現を使用する場合、ボクセル化アルゴリズムを使用してそのボクセル表現を取得できるため、3D管状物体はバイナリボクセルオブジェクトであると見なすことができる。
【0011】
一般に、医療用途の3D血管構造などの3D管状物体にはいくつかの分枝があるのが普通である。本発明にはそれらの分枝はそれぞれを単一の3D管状物体とみなす。管状物体の内部構造の視覚化に関する限り、各分枝または一連の連続分枝を個別に分枝のない単一の3D管状物体とみなして処理できる。次の処理ステップにこの概念を適用している。
【0012】
ステップ2: 3D管状物体の「シェル」の生成
本発明において、3D管状物体の「シェル」は、
図1に示す通りに「外シェル」(3D管状物体の外層)と「内シェル」(3D管状物体の内層)があり、次の手順を使用して取得できる。この手順はすべての3D管状物体の「シェル」を生成することができるが、説明しやすくするため、ここからの文章は医療用途でよく使う人間の大腸を例に説明する。
3D管状物体の「シェル」の生成では、3Dシーン全体を表す2つの3Dボクセルシーン(つまり、2つの3D配列)が最初に作成される。1つ目は大腸領域のバイナリ表現のための3Dボクセルシーンであり、「Aシーン」と呼ばれる。各ボクセルは、ボクセルが大腸領域の一部であるかどうかに応じて1または0として表される。
もう1つの3Dボクセルシーンは「Bシーン」と呼ばれ、生成された3D大腸の「シェル」を格納するための空の3Dボクセルシーンである。「シェル」を生成するためのアルゴリズムは下記の通り、シンプルで実装が簡単である。
まずは、3D大腸の「外シェル」(外層)の生成から始める。
手順(1)「Aシーン」全体をスライスごと、行ごとにスキャンする。
手順(2)ボクセルの値が0の場合(つまり、そのボクセルが大腸領域の一部ではない場合)、何もせずに次のボクセルに移動する。
手順(3)ボクセルの値が1の場合(つまり、そのボクセルが大腸領域の一部である場合)、そのボクセルに隣接する6つ、18つ、または26つのボクセルの範囲内で値が0のボクセルが存在すれば、現在スキャンされたボクセルが大腸の境界を構成するボクセルで、すぐ隣にある値が0のボクセルは、「外シェル」を構成するボクセルとみなす。「外シェル」を取得するために、「Bシーン」に該当するボクセルを1に設定する。
手順(4)「Aシーン」のすべてのボクセルがスキャンされると、「Bシーン」の結果のボクセルは3D大腸の「シェル」のボクセルになる。
上記の手順で大腸の「外シェル」を取得できた。
【0013】
手順(3)の内容を下記の変更した手順(3)の通りに変更すれば、大腸の「内シェル」(内層)を取得することができる。
変更した手順(3):ボクセルの値が1の場合(つまり、そのボクセルが大腸領域の一部である場合)、そのボクセルに隣接する6つ、18つ、または26つのボクセルの範囲内で値が0のボクセルが存在すれば、現在スキャンされたボクセルが大腸の境界を構成するボクセルである。境界を構成するボクセルに対して、隣接する6つ、18つ、または26つのボクセルの範囲内で値が1のボクセルをさらに抽出し、隣接するすべてのボクセルの値も1の場合、抽出されたボクセルは、「内シェル」を構成するボクセルとみなす。「内シェル」を取得するために、「Bシーン」に該当するボクセルを1に設定する。
【0014】
取得した大腸の内側の外層は大腸内の糞便などにより、大腸内(「Aシーン」)に穴がある可能性があるため、「Bシーン」には、1つの大腸の「シェル」(大腸の内層、外層)だけでなく、複数のノーズコンポーネントが含まれる場合がある。Connected Componentアルゴリズムを使用すれば、大腸の「シェル」のみを抽出できる。このノーズコンポーネントが含まれていない「シェル」(内シェルまたは外シェル)はSCと呼ぶ。
【0015】
ステップ3: 3D管状物体の中心線の計算
3D管状物体の中心線は、任意のthinningアルゴリズムを使用して計算できる。
図2は一つの例としての大腸の概略図である。
【0016】
ステップ4: 3D管状物体の中心線のデジタル化
中心線を表す特徴点が抽出できるアルゴリズムを使用し、3D管状物体の中心線をデジタルバージョンに変換したデジタル中心線をVPと呼ぶ。(VPを構成する特徴点の位置と個数は、ニーズに応じて選択できる。)
図2に示すように、管状物体のVP上の隣接する2つの特徴点ごとに構成した線分を、CSAと呼ぶ。
つまり、VPは一連のCSAから構成される。各CSAは、円柱のような短い3Dセグメントになっていて、各CSAの長さはVPを構成する特徴点の位置と個数で決められている。各CSAをさらに個別に処理して、プロセス全体を簡素化できる。こちらの一連のCSAは、以降のプロセスのために元の中心線を概算する際に使える。
【0017】
ステップ5:3D管状物体の各セグメントへの操作
3D管状物体の種類によって、内部構造を検査するのにふさわしい操作が異なる。本発明では3D管状物体のカット操作と3D管状物体の表面に切れ目を入れる操作を提供している。例えば、3D大腸を検査する際に、大腸をカットするだけで、それぞれの内部構造を個別に検査できる。一方で、3D血管を検査する際に、血管が大腸より細くて曲がる可能性があり、カットするだけでは見えにくい場合がある。血管の内部構造を詳細に確認するために、血管の表面に切れ目を入れる操作を使う方が良い。したがって、用途によって、3D管状物体をカットしたり、切れ目を入れたりする必要がある。3D管状物体のカット操作と表面に切れ目を入れる操作の詳細は下記の通りである。
【0018】
(a)3D管状物体のカット操作
3D管状物体は3D空間で曲がる可能性があるため、一部の視点からは3D管状物体の一部が自体に遮蔽され、見えなくなる可能性がある。解決策として、3D管状物体をいくつかのセグメントにカットし、各セグメントは円柱に似ている形にして個別に視覚化することで、3D管状物体の一部が自体に遮蔽される問題を回避できる。
3D管状物体をいくつかのセグメントにカットするために、CSAに基づいて各セグメントの内部構造を個別に視覚化する。それから、3D管状物体の一部を切り取る切断面などの方法で各セグメントを元の3D管状物体から切り離すことができる。実施した結果は
図3に示すように大腸が3つの部分に分割されている。
図3に示すように、切断面で3D管状物体の各セグメントを順番に切り離す際に、よく使うのが隣接する2つのCSAの交点を通過し、2つのCSAに垂直であり、2つのCSAの二等分線を通過する切断面である。
【0019】
カット操作後に多くのセグメントが切り離される可能性があるため、Connected Componentアルゴリズムを使用して、関心のあるセグメントのみを抽出する。それから、切り離された各セグメントはさらに個別に処理できる。
図4に示すように、3つの大腸セグメントのそれぞれが別の切断面によって縦方向半分に切断されている。それらの切断面は、各大腸セグメントを半分に切断するために、各大腸セグメントに該当するCSAを通過している。
【0020】
結果として得られた各3D管状物体は、PCまたはモバイルデバイスを使用してインタラクティブに視覚化できる。
図5Aから
図5Cに示す結果の通り、死角がなく、fly-through法またはCPR法を使用して生成した画像よりもはるかに優れている。
【0021】
(b) 3D管状物体の表面に切れ目を入れる操作
本発明と従来の実内視鏡検査または仮想内視鏡検査との主な違いは、3D管状物体の表面に切れ目を入れる操作である。従来の実内視鏡検査または仮想内視鏡検査では、実内視鏡検査または仮想内視鏡は視覚化の目的で血管、気管支、大腸などの内腔に配置される。そのため、カメラと観察対象との距離が短すぎて画像が大きく歪んでしまう問題がある。さらに、視野は管腔臓器の内部に制限されているため、管腔臓器の全体的な形態を視覚化することも非常に困難である。
本発明では、管腔臓器の表面に切れ目を入れることにより、観察対象が切れ目を通して見える限り、仮想内視鏡を任意の視点に配置でき、観察対象と適切な距離を取って歪みなく観察できる。また、全体的な形態を簡単に視覚化できることも利点である。
【0022】
本発明では、切れ目を入れる場所は、利用者が指定できる。
図6に示すように、利用者が指定した始点と終点の間の血管に切れ目を入れることができる。
図6に示す血管のように3D管状物体は3D空間で曲がる可能性があるため、3D管状物体の各セグメントを表すCSAごとに、楔形のサブマスクを生成して、該当するセグメントの一部を除去し、
図7に示すように、セグメントの表面に切れ目を入れる。(
図7では、Nが楔形のサブマスクの法線と呼ばれる。NとS1とS2の間の角度は、ニーズに応じて調整することができる。また、楔形のサブマスクの長さを延長して、エイリアシングの影響も回避できる。)
さらに、各セグメントの楔形のサブマスクを、結合操作によって合体させ、3D管状物体の表面に入れる切れ目を生成するための全体的なマスクを作成する。最後に、全体的なマスクと上記のステップ2で生成されたSC(ノーズコンポーネントが含まれていない3D管状物体の「シェル」)との減算操作により、3D管状物体の表面に切れ目を入れる。また、必要に応じて、切れ目を入れることによって取り外された部分を再表示することも可能である。
図6に示す血管に上記の処理を適用すると、
図8に示すように利用者が指定し始点と終点の間の血管に切れ目を入れて、内部構造を視覚化できる。
また、処理対象の
図6に示す血管は上記のステップ4で中心線が一連のCSAに変換され、各セグメントを元の位置で個別に
図7に示す処理を実施するため、
図8に示すように切れ目を入れても処理対象の位置は変わらない。
【産業上の利用可能性】
【0023】
3D管状物体の内部構造を歪みなしに視覚化する必要がある多くの用途では、本発明を使用することができる。たとえば、血管、気管支、大腸の内部構造の視覚化など、多くの医療アプリケーションに本発明が適用できる。