(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-25
(45)【発行日】2024-02-02
(54)【発明の名称】医療用画像セグメント化のためのランドマーク視覚化
(51)【国際特許分類】
G06T 7/00 20170101AFI20240126BHJP
A61B 5/055 20060101ALI20240126BHJP
【FI】
G06T7/00 612
A61B5/055 380
(21)【出願番号】P 2020521935
(86)(22)【出願日】2018-10-15
(86)【国際出願番号】 EP2018078020
(87)【国際公開番号】W WO2019076791
(87)【国際公開日】2019-04-25
【審査請求日】2021-10-14
(32)【優先日】2017-10-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】クルエッカー ヨヘン
(72)【発明者】
【氏名】シュルツ ハインリッヒ
(72)【発明者】
【氏名】ステール トーマス ヘイコ
【審査官】佐藤 実
(56)【参考文献】
【文献】特表2017-524432(JP,A)
【文献】特開2003-299639(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
A61B 5/055
(57)【特許請求の範囲】
【請求項1】
セグメント化のための画像を準備するためのコントローラであって、前記コントローラは、
命令を記憶するメモリと、
前記命令を実行するプロセッサと
を備え、
前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
第1の種類の第1のモデル化済み組織構造を表示することと、
前記第1のモデル化済み組織構造とは別個に前記第1の種類の第1の組織構造の画像を表示することと、
前記第1の組織構造の前記画像上での特定のために、前記第1のモデル化済み組織構造上で、前記第1のモデル化済み組織構造上のランドマークを特定すること、及び、前記第1のモデル化済み組織構造上の各ランドマークを順次的に強調することと、
前記プロセッサによって、ユーザ入力に基づいて、前記第1のモデル化済み組織構造上の各ランドマークについて前記第1の組織構造の前記画像上での場所を特定することと、
前記第1のモデル化済み組織構造上の前記ランドマークを前記第1の組織構造の前記画像上で特定された前記場所にマッピングすることと、
第2の種類の第2のモデル化済み組織構造を表示することと、
前記第2のモデル化済み組織構造とは別個に前記第2の種類の第2の組織構造の画像を表示することと、
前記第2の組織構造の前記画像上での特定のために、前記第2のモデル化済み組織構造上で、前記第2のモデル化済み組織構造上のランドマークを特定すること、及び、前記第2のモデル化済み組織構造上の各ランドマークを順次的に強調することと、
前記プロセッサによって、ユーザ入力に基づいて、前記第2のモデル化済み組織構造上の各ランドマークについて前記第2の組織構造の前記画像上での場所を特定することと、
前記第2のモデル化済み組織構造上の前記ランドマークを前記第2の組織構造の前記画像上で特定された前記場所にマッピングすることと、
前記第1のモデル化済み組織構造上の所定の数のランドマークが特定されたことを判定すること、及び、前記第1のモデル化済み組織構造と前記第2のモデル化済み組織構造との間の所定の空間的関係を使用して、前記第1のモデル化済み組織構造上の前記所定の数のランドマークが特定されたことを判定したことに基づいて、前記第2のモデル化済み組織構造を前記第2の組織構造の前記画像にフィッティングすることと
を有するプロセスを実施させる、コントローラ。
【請求項2】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
前記第1のモデル化済み組織構造上の各ランドマークについて前記第1の組織構造の前記画像上での場所を前記特定することを実施するために、前記第1のモデル化済み組織構造上の各ランドマークを前記強調することの後に、前記第1の組織構造の前記画像上の各場所を特定するユーザ入力を認識すること
を更に有し、
前記第1のモデル化済み組織構造上の各ランドマークを順次的に前記強調することは、第1の時間において前記第1のモデル化済み組織構造上の第1のランドマークをハイライトすること、前記第1の時間の後の第2の時間において前記第1のモデル化済み組織構造上の第2のランドマークを続いてハイライトすること、及び、前記第2の時間の後の第3の時間において前記第1のモデル化済み組織構造上の第3のランドマークを続いてハイライトすることを有する、請求項1に記載のコントローラ。
【請求項3】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
前記第1のモデル化済み組織構造上の所定の数のランドマークが特定されたことを判定すること、及び、前記所定の数のランドマークが特定されたことを判定したことに基づいて、前記第1のモデル化済み組織構造を前記第1の組織構造の前記画像にフィッティングすること
を更に有する、請求項1に記載のコントローラ。
【請求項4】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
追加的なランドマークに対応する追加的な場所が特定されるべき前記第1の組織構造の前記画像の領域を強調すること
を更に有する、請求項3に記載のコントローラ。
【請求項5】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
前記第2の組織構造の前記画像上の場所の特定に伴って、前記第2のモデル化済み組織構造上のランドマークの強調を変更することと
を更に有し、
前記第1のモデル化済み組織構造上の各ランドマークについて前記第1の組織構造の前記画像上での場所を前記特定することは、前記第1のモデル化済み組織構造上の各ランドマークを前記強調することの後に、前記第1の組織構造の前記画像上の各場所を特定するユーザ入力を認識することを有し、
前記第2のモデル化済み組織構造上の各ランドマークについて前記第2の組織構造の前記画像上での場所を前記特定することは、前記第2のモデル化済み組織構造上の各ランドマークを前記強調することの後に、前記第2の組織構造の前記画像上の各場所を特定するユーザ入力を認識することを有する、請求項1に記載のコントローラ。
【請求項6】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
前記第1のモデル化済み組織構造上の前記ランドマークを前記第1の組織構造の前記画像上で特定された前記場所に前記マッピングすることに基づいて、前記第1のモデル化済み組織構造を前記第1の組織構造の前記画像にフィッティングすることと、
前記第2のモデル化済み組織構造上の前記ランドマークを前記第2の組織構造の前記画像上で特定された前記場所に前記マッピングすることに基づいて、前記第2のモデル化済み組織構造を前記第2の組織構造の前記画像にフィッティングすることと、
第1のセグメント化された画像を生成するために前記第1の組織構造をセグメント化し、前記第1のセグメント化された画像を表示することと、
第2のセグメント化された画像を生成するために前記第2の組織構造をセグメント化し、前記第2のセグメント化された画像を表示することと、
前記第1のセグメント化された画像又は前記第2のセグメント化された画像を変更する入力を検知することと、
前記入力に基づいて、前記第1のセグメント化された画像又は前記第2のセグメント化された画像を変更することと
を更に有する、請求項5に記載のコントローラ。
【請求項7】
セグメント化のための画像を準備するためのコントローラであって、前記コントローラは、
命令を記憶するメモリと、
前記命令を実行するプロセッサと
を備え、
前記命令は、前記プロセッサによって実行されたときに、前記コントローラに、
第1の種類の第1のモデル化済み組織構造をすることと、
前記第1のモデル化済み組織構造とは別個に前記第1の種類の第1の組織構造の画像を表示することと、
前記第1の組織構造の前記画像上での特定のために、前記第1のモデル化済み組織構造上で、前記第1のモデル化済み組織構造上のランドマークを特定すること、及び、前記第1のモデル化済み組織構造上の各ランドマークを順次的に強調することと、
前記プロセッサによって、ユーザ入力に基づいて、前記第1のモデル化済み組織構造上の各ランドマークについて前記第1の組織構造の前記画像上での場所を特定することと、
前記第1の種類について所定の数のランドマーク及び場所が特定されたことを判定すること、及び、前記第1の種類について前記所定の数のランドマーク及び場所が特定されたことを判定したことに基づいて、前記第1のモデル化済み組織構造上の前記所定の数のランドマークを前記第1の組織構造の前記画像上で特定された前記場所にマッピングすることと、
前記所定の数のランドマークを前記場所に前記マッピングすることに基づいて、第1の領域における前記第1の組織構造の前記画像をセグメント化することと、
前記第1の組織構造の前記画像上での特定のために、前記第1のモデル化済み組織構造上で、前記第1のモデル化済み組織構造上の少なくとも1つの追加的なランドマークを特定すること、及び、前記第1のモデル化済み組織構造上の前記少なくとも1つの追加的なランドマークを順次的に強調することと、
前記プロセッサによって、ユーザ入力に基づいて、前記第1のモデル化済み組織構造上の各追加的なランドマークについて前記第1の組織構造の前記画像上での追加的な場所を特定することと、
所定の数の追加的なランドマーク及び場所が特定されたことを判定すること、及び、前記所定の数の追加的なランドマーク及び場所が特定されたことを判定したことに基づいて、前記第1のモデル化済み組織構造上の前記ランドマーク及び前記追加的なランドマークを前記第1の組織構造の前記画像上で特定された前記場所及び前記追加的な場所にマッピングすることと
、
前記ランドマーク及び前記追加的なランドマークを前記場所及び前記追加的な場所にマッピングすることに基づいて、前記第1の組織構造の前記画像をセグメント化することと
を有するプロセスを実施させる、コントローラ。
【請求項8】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
前記第1のモデル化済み組織構造上の各追加的なランドマークについて、もしも前記画像における対応する場所が変化したなら、前記第1の領域が変化するであろうことを判定すること、及び、前記判定することに基づいて、前記画像における前記第1の領域を強調すること
を更に有する、請求項7に記載のコントローラ。
【請求項9】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
前記第1の種類の前記第1の組織構造及び前記第1のモデル化済み組織構造上の前記ランドマークのうちの少なくとも1つについて、第1の説明ラベルを表示することを更に有し、
前記第1のモデル化済み組織構造及び前記第1の組織構造の前記画像は、2次元的断面又はボリュームレンダリングとして表示される、請求項7に記載のコントローラ。
【請求項10】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
前記特定することにおいて特定された次のランドマークに対応する前記第1の組織構造の前記画像の領域を特定することと、
前記次のランドマークに対応する前記第1の組織構造の前記画像上の次の場所を特定する前に、前記第1の組織構造の前記画像の前記領域を強調することと
を更に有し、
前記領域を前記強調することは、前記領域にフォーカシングすること、前記領域に重畳すること、及び前記領域の色を変化させることのうちの少なくとも1つを有する、請求項7に記載のコントローラ。
【請求項11】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
第2の種類の第2のモデル化済み組織構造を表示することと、
前記第2のモデル化済み組織構造とは別個に前記第2の種類の第2の組織構造の画像を表示することと、
前記第2の組織構造の前記画像上での特定のために、前記第2のモデル化済み組織構造上で、前記第2のモデル化済み組織構造上のランドマークを特定すること、及び、前記第2のモデル化済み組織構造上の各ランドマークを順次的に強調することと、
前記プロセッサによって、前記第2のモデル化済み組織構造上の各ランドマークについて前記第2の組織構造の前記画像上での場所を特定することと、
前記第2の種類について所定の数のランドマーク及び場所が特定されたことを判定すること、及び、前記第2の種類について前記所定の数のランドマーク及び場所が特定されたことを判定したことに基づいて、前記第2のモデル化済み組織構造上の前記所定の数のランドマークを前記第2の組織構造の前記画像上で特定された前記場所にマッピングすることと
を更に有する、請求項7に記載のコントローラ。
【請求項12】
前記命令を実行する前記プロセッサに基づいて前記コントローラによって実施される前記プロセスは、
前記第2のモデル化済み組織構造上の前記ランドマークを前記第2の組織構造の前記画像上の前記場所に反復的にマッピングする前に、前記第1のモデル化済み組織構造上の前記ランドマークを前記第1の組織構造の前記画像上の前記場所に反復的にマッピングすることと、
前記第1のモデル化済み組織構造及び前記第2のモデル化済み組織構造について所定の数のランドマークがマッピングされたなら、前記第1の組織構造の前記画像及び前記第2の組織構造の前記画像をセグメント化することと、
前記第1の組織構造及び前記第2の組織構造についてのセグメント化を同時に表示することと
を更に有する、請求項11に記載のコントローラ。
【請求項13】
命令を記憶するメモリと、
前記命令を実行するプロセッサと
を備える、システムであって、
前記命令は、前記プロセッサによって実行されたときに、前記システムに、
第1の種類の第1のモデル化済み組織構造を表示することと、
前記第1のモデル化済み組織構造とは別個に前記第1の種類の第1の組織構造の画像を表示することと、
前記第1の組織構造の前記画像上での特定のために、前記第1のモデル化済み組織構造上で、前記第1のモデル化済み組織構造上のランドマークを特定すること、及び、前記第1のモデル化済み組織構造上の各ランドマークを順次的に強調することと、
前記プロセッサによって、ユーザ入力に基づいて、前記第1のモデル化済み組織構造上の各ランドマークについて前記第1の組織構造の前記画像上での場所を特定することと、
前記第1のモデル化済み組織構造上の前記ランドマークを前記第1の組織構造の前記画像上で特定された前記場所にマッピングすることと、
第2の種類の第2のモデル化済み組織構造を表示することと、
前記第2のモデル化済み組織構造とは別個に前記第2の種類の第2の組織構造の画像を表示することと、
前記第2の組織構造の前記画像上での特定のために、前記第2のモデル化済み組織構造上で、前記第2のモデル化済み組織構造上のランドマークを特定すること、及び、前記第2のモデル化済み組織構造上の各ランドマークを順次的に強調することと、
前記プロセッサによって、ユーザ入力に基づいて、前記第2のモデル化済み組織構造上の各ランドマークについて前記第2の組織構造の前記画像上での場所を特定することと、
前記第2のモデル化済み組織構造上の前記ランドマークを前記第2の組織構造の前記画像上で特定された前記場所にマッピングすることと、
前記第1のモデル化済み組織構造上の所定の数のランドマークが特定されたことを判定すること、及び、前記第1のモデル化済み組織構造と前記第2のモデル化済み組織構造との間の所定の空間的関係を使用して、前記第1のモデル化済み組織構造上の前記所定の数のランドマークが特定されたことを判定したことに基づいて、前記第2のモデル化済み組織構造を前記第2の組織構造の前記画像にフィッティングすることと
を有するプロセスを実施させる、システム。
【請求項14】
前記命令を実行する前記プロセッサに基づいて前記システムによって実施される前記プロセスは、
前記第2のモデル化済み組織構造上で、追加的なランドマークを強調することと、
前記追加的なランドマークに対応する追加的な場所が特定されるべき前記第2の組織構造の前記画像の領域を強調することと
を更に有する、請求項13に記載のシステム。
【発明の詳細な説明】
【背景技術】
【0001】
[001] 医療用画像セグメント化は、医療用画像を似通った特性を持つ領域に分割する。セグメント化の役割は、例えば、解剖学的構造の研究、関心領域の特定、組織ボリュームの測定などのために、医療用画像における解剖学的構造を再分割することである。解剖学的構造としては人間の身体の骨及び臓器などがあり、医療用画像は、1つのこのような解剖学的構造又は複数の解剖学的構造を含む。
【0002】
[002] モデルベースのセグメント化は、自動化又は半自動化された医療用画像セグメント化のためのツールである。モデルは、複数のパーツ及び/又はノードを含み、3次元的(3D)表面メッシュと、解剖学的構造を詳細に記述する特徴の集合とからなる。解剖学的構造のモデルは、複数の患者からの同じ種類の解剖学的構造の以前の測定値に基づいて作り出される。モデルにおける解剖学的構造の種類は、医療用画像における解剖学的構造の種類と同じである。3D表面メッシュは、解剖学的構造の理想化された幾何学的構造(例えば、幾何学的形状)を表す。特徴の集合は、種々のパーツ及び/又はノードに対応する場所における3D表面メッシュの外見を記述する。モデルベースのセグメント化において、セグメント化アルゴリズムは、セグメント化されるべき医療用画像における対応する場所とのモデルにおける特徴の合致を最適化する。
【0003】
[003] セグメント化されるべき医療用画像における1つ又は複数の構造が、モデルにおいてエンコードされた3D表面メッシュの理想化された幾何学的構造とは実質的に異なる幾何学的構造を含むなら、最適化は失敗し、ひいては、セグメント化も失敗する。もしもモデルベースのセグメント化が、セグメント化されるべき医療用画像における構造のおおよその位置、サイズ、形状及び姿勢についての情報を使用して初期化されたなら、失敗は回避され得る。セグメント化を初期化するために知られている効率的なやり方の1つは、セグメント化されるべき構造においてランドマークを特定することである。正確に特定されたとき、少数のランドマークによって、セグメント化アルゴリズムは、セグメント化されるべき構造のおおよその位置、サイズ、形状及び姿勢を判定することが可能となる。この情報は、最適化アルゴリズムを初期化し、続いて誘導するために使用され得、このことは、セグメント化の成功の可能性を向上させる。
【発明の概要】
【0004】
[004] 本開示の態様によると、セグメント化のための画像を準備するためのコントローラは、命令を記憶するメモリと、命令を実行するプロセッサとを含む。命令は、プロセッサによって実行されたときに、コントローラに、第1の種類の第1のモデル化済み組織構造を表示することと、第1のモデル化済み組織構造とは別個に第1の種類の第1の組織構造の画像を表示することとを有するプロセスを実施させる。プロセスは、第1の組織構造の画像上での特定のために、第1のモデル化済み組織構造上で、第1のモデル化済み組織構造上のランドマークを特定すること、及び、第1のモデル化済み組織構造上の各ランドマークを順次的に強調することも有する。プロセッサは、第1のモデル化済み組織構造上の各ランドマークについて第1の組織構造の画像上での場所を特定する。第1のモデル化済み組織構造上のランドマークは、第1の組織構造の画像上で特定された場所にマッピングされる。
【0005】
[005] 本開示の別の態様によると、セグメント化のための画像を準備するためのコントローラは、命令を記憶するメモリと、命令を実行するプロセッサとを含む。命令は、プロセッサによって実行されたときに、コントローラに、第1の種類の第1のモデル化済み組織構造を表示することと、第1のモデル化済み組織構造とは別個に第1の種類の第1の組織構造の画像を表示することとを有するプロセスを実施させる。プロセスは、第1の組織構造の画像上での特定のために、第1のモデル化済み組織構造上で、第1のモデル化済み組織構造上のランドマークを特定すること、及び、第1のモデル化済み組織構造上の各ランドマークを順次的に強調することも有する。プロセッサは、第1のモデル化済み組織構造上の各ランドマークについて第1の組織構造の画像上での場所を特定する。プロセスは、所定の数のランドマーク及び場所が特定された後、所定の数のランドマーク及び場所が特定されたことを判定したことに基づいて、第1のモデル化済み組織構造上の所定の数のランドマークを第1の組織構造の画像上で特定された場所にマッピングすることを有する。
【0006】
[006] 本開示の別の態様によると、システムは、命令を記憶するメモリと、命令を実行するプロセッサとを含む。命令は、プロセッサによって実行されたときに、プロセッサに、第1の種類の第1のモデル化済み組織構造を表示することと、第1のモデル化済み組織構造とは別個に第1の種類の第1の組織構造の画像を表示することとを有する動作を実施させる。プロセスは、第1の組織構造の画像上での特定のために、第1のモデル化済み組織構造上で、第1のモデル化済み組織構造上のランドマークを特定すること、及び、第1のモデル化済み組織構造上の各ランドマークを順次的に強調することも有する。プロセッサは、第1のモデル化済み組織構造上の各ランドマークについて第1の組織構造の画像上での場所を特定する。プロセスは、第1のモデル化済み組織構造上のランドマークを第1の組織構造の画像上で特定された場所にマッピングすることを更に有する。更には、第2の種類の第2のモデル化済み組織構造が表示される。第2のモデル化済み組織構造とは別個に第2の種類の第2の組織構造の画像が表示される。プロセスは、第2の組織構造の画像上での特定のために、第2のモデル化済み組織構造上で、第2のモデル化済み組織構造上のランドマークを特定すること、及び、第2のモデル化済み組織構造上の各ランドマークを順次的に強調することも有する。プロセッサは、第2のモデル化済み組織構造上の各ランドマークについて第2の組織構造の画像上での場所を特定する。プロセスは、第2のモデル化済み組織構造上のランドマークを第2の組織構造の画像上で特定された場所にマッピングすることを更に有する。
【0007】
[007] 例示的な実施形態は、以下の詳細な説明から、添付の図面と併せて読まれたときに最もよく理解される。様々な特徴は必ずしも縮尺通りに描かれていないことが強調される。実のところ、議論の明確化のために、寸法は任意に増加又は減少される。適用可能で実践的である場合にはいつも、類似の参照番号は類似の要素を指す。
【図面の簡単な説明】
【0008】
【
図1A】[008] 代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のためのランドマークが重畳された構造を示す図である。
【
図1B】[009] 代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のためのコンピュータシステムを示す図である。
【
図1C】[010] 代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のための別のコンピュータシステムを示す図である。
【
図2】[011] 代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のためプロセスを示す図である。
【
図3】[012] 代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のためのランドマークが重畳された構造の種類のセグメント化モデルを示す図である。
【
図4】[013] 代表的な実施形態による、
図3における構造上のランドマークに対応する場所を示すユーザによって定められたランドマークを有する画像を示す図である。
【
図5】[014] 代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のための別のプロセスを示す図である。
【
図6】[015] 代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のための命令のセットを含む例示的な一般的コンピュータシステムを示す図である。
【発明を実施するための形態】
【0009】
[016] 以下の詳細な説明において、限定ではなく説明を目的として、本教示による実施形態の完全な理解を提供するために、具体的な詳細を開示する代表的な実施形態が記載される。代表的な実施形態の説明を曖昧にすることを回避するために、知られたシステム、デバイス、材料、動作の方法、及び製造の方法の説明は、省略される場合がある。それにもかかわらず、当業者の認識内のシステム、デバイス、材料及び方法は、本教示の範囲内にあり、代表的な実施形態に従って使用され得る。本明細書において使用される用語は、単に特定の実施形態を説明する目的のためのものであり、限定することを意図されるものではないことを理解されたい。定義される用語は、本教示の技術分野において一般的に理解され、受け入れられている、その定義される語の技術的及び科学的な意味に追加されるものである。
【0010】
[017] 本明細書において、様々な要素又はコンポーネントを説明するために第1、第2、第3などの用語が使用されるが、これらの要素又はコンポーネントは、これらの用語によって限定されるべきはないことは理解されよう。これらの用語は、1つの要素又はコンポーネントを別の要素又はコンポーネントから単に区別するために使用される。故に、以下に論じられる第1の要素又はコンポーネントは、本発明的な概念の教示から逸脱することなく、第2の要素又はコンポーネントと称され得る。
【0011】
[018] 本明細書において使用される用語は、単に特定の実施形態を説明する目的のためのものであり、限定することを意図されるものではない。本明細書及び添付の特許請求の範囲において使用されるとき、単数形は、コンテキストがそうでないことを明確に述べていない限り、単数形及び複数形の両方を含むものと意図される。加えて、本明細書において使用されるとき、「備える、有する」という用語及び/又は類似の用語は、述べられた特徴、要素、及び/又はコンポーネントの存在を示すものであるが、1つ又は複数の他の特徴、要素、コンポーネント及び/又はそれらの集合の存在又は追加を排除するものではない。本明細書において使用されるとき、「及び/又は」という用語は、列記された関連するアイテムのうちの1つ又は複数のものの任意の及び全ての組み合わせを含む。
【0012】
[019] 別に記されない限り、ある要素又はコンポーネントが他の要素又はコンポーネントに「接続される」、「結合される」又は「隣接する」といわれるとき、これらの要素又はコンポーネントは他の要素又はコンポーネントに直接的に接続又は結合されてよく、又は、介在的な要素又はコンポーネントが存在してもよいことは理解されよう。すなわち、これらの及び類似の用語は、1つ又は複数の中間的な要素又はコンポーネントが、2つの要素又はコンポーネントを接続するために用いられる事例を包含する。しかしながら、ある要素又はコンポーネントが他の要素又はコンポーネントに「直接的に接続」されるといわれるとき、これは、2つの要素又はコンポーネントが、いかなる中間的又は介在的な要素又はコンポーネントも有することなく、互いに対して接続される事例のみを包含する。
【0013】
[020] 故に、前述のことに鑑みて、本開示は、その様々な態様、実施形態及び/又は特定の特徴若しくはサブコンポーネントのうちの1つ又は複数を通じて、以下に具体的に記される利点のうちの1つ又は複数をもたらすことを意図される。限定ではなく説明を目的として、本教示による実施形態の完全な理解を提供するために、具体的な詳細を開示する例示的な実施形態が記載される。しかしながら、本明細書において開示される具体的な詳細から逸脱する本開示と無矛盾な他の実施形態は、添付の特許請求の範囲の範囲内にとどまる。更には、例示的な実施形態の説明を曖昧にしないように、よく知られた装置及び方法の説明は省略される場合がある。このような方法及び装置は本開示の範囲内にある。
【0014】
[021]
図1Aは、代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のためのランドマークが重畳された構造の図を示す。
【0015】
[022]
図1Aにおいて、2つの異なる断面図が図示される。
図1Aにおける図は、医療用画像における組織構造のもの、又はモデルにおけるモデル化済み組織構造のもののいずれかである。
図1Aにおいて、左側の第1の図はフレーム103によって枠取りされ、右側の第2の図はフレーム113によって枠取りされている。左側の第1の図は、XY断面のものであり、XY断面とラベルが付されている。右側の第2の図は、ZY断面のものであり、ZY断面とラベルが付されている。Xは、固定的視野からの水平方向であると考えられる。Yは、固定的視野からの垂直方向であると考えられる。Zは、固定的視野からの深さ方向であると考えられる。固定的視野は、左側の第1の図についての初期視点であり、第2の図は、深さを図示するために初期視点から回転された視野からのものである。
【0016】
[023]
図1Aにおいて、左側の第1の図では、第1のランドマーク106、第2のランドマーク107、第3のランドマーク108及び第4のランドマーク109が、同一の円によって示されている。右側の第2の図では、第1のランドマーク116、第2のランドマーク117、第3のランドマーク118及び第4のランドマーク119が、同一の円によって示されている。
図1Aにおける破線は、組織構造の輪郭を描写し、又は、組織構造の全て又は一部を含む撮像結果の輪郭を描写する。
図1Aにおけるランドマークは、全て前もって決められており、単一のモデルにおける構造の1つの種類又は構造の種々の種類について、異なる場所におけるランドマーク種類を表す。
図1Aは、第1のランドマーク106、第2のランドマーク107、第3のランドマーク108、第4のランドマーク109、第1のランドマーク116、第2のランドマーク117、第3のランドマーク118、及び第4のランドマーク119を特定しているが、
図1Aにおけるこれらの要素は、モデルにおけるモデル化済み組織構造上のランドマーク又は医療用画像上の対応する場所を特定するものである。換言すれば、
図1Aは、医療用画像又はモデルのいずれかの図であり、
図1Aでランドマークとして特定された要素は、代わりに医療用画像上の場所であり得る。本明細書において説明されるように、モデル化済み組織構造上のランドマークは、医療用画像における対応する場所の特定において補助するために活用され、モデルにおける構造は医療用画像における構造と同一の種類である。
【0017】
[024] 図示されていないが、医療用画像における組織構造及びモデルにおけるモデル化済み組織構造の両方のために説明ラベルが提供され得る。例えば、モデルにおける各々の又は任意のランドマークは、ランドマークによって示される構造が何であるかについてユーザの理解を助けるために説明ラベルが付される。同様に、医療用画像上の特定された場所のためのラベルは、特定された場所が、何回のセグメント化の反復にわたって変更されることなく存続したものであるかを特定し、セグメント化又は再セグメント化された場所を含む領域のセグメント化のたびに更新される。
【0018】
[025]
図1Aにおいて、左側の図では、Y二等分線102は垂直二等分線であり、X二等分線101は水平二等分線である。右側の図では、Y二等分線112は垂直二等分線であり、Z二等分線111は水平二等分線である。
図1Aにおける左側の図では、第1のランドマーク106及び第3のランドマーク108はY二等分線102に沿って並んでいる。
図1Aにおける右側の図では、第1のランドマーク116及び第3のランドマーク118はY二等分線112に沿って並んでいる。
図1Aにおける左側の図では、第2のランドマーク107はY二等分線102の左側にある。
図1Aにおける右側の図では、第2のランドマーク117はY二等分線112の左側にある。
図1Aにおける左側の図では、第4のランドマーク109はY二等分線102の右側でX二等分線101の下方にある一方、
図1Aにおける右側の図では、第4のランドマーク119はY二等分線112の右側でZ二等分線111の上方にある。
【0019】
[026]
図1Aにおいて、第1の図及び第2の図の両方におけるランドマークは、第1の図及び第2の図によって撮像された3D空間における同一の場所に対応する座標セットのペアによって表されるが、3D空間における異なる場所に対応する個別の座標セットであってもよい。例えば、第1のランドマーク106及び第1のランドマーク116は、座標セットのペアによって表される同一のランドマークであり、1つのペアは第1の図のXY平面にあり、1つのペアは第2の図のZY平面にある。第2のランドマーク107及び第2のランドマーク117は、座標セットのペアによって表される同一のランドマークであり、1つのペアは第1の図のXY平面にあり、1つのペアは第2の図のZY平面にある。第3のランドマーク108及び第3のランドマーク118は、座標セットのペアによって表される同一のランドマークであり、1つのペアは第1の図のXY平面にあり、1つのペアは第2の図のZY平面にある。第4のランドマーク109及び第4のランドマーク119は、座標セットのペアによって表される同一のランドマークであり、1つのペアは第1の図のXY平面にあり、1つのペアは第2の図のZY平面にある。代替的に、第4のランドマーク109及び第4のランドマーク119は、異なる場所に対応する異なるランドマークであり、異なる場所は各々、第1の図及び第2の図の一方又は他方においてのみ現れる。
【0020】
[027] 第1の図が取られた視点は、第2の図が取られた視点とは異なるという点で、左側の画像及び右側の画像における同一のランドマークの場所の相対的配置は、第1の図と第2の図との間で異なる。故に、第2の図の視点が、第1の図の視点から水平方向に90度回転されたとき、第1の図の第1の座標は水平座標であるが、第2の図の第1の座標は深さ座標となり、その一方で、両方の図の第2の座標は垂直座標である。したがって、左の図及び右の図において、第2の座標は垂直座標であるともに同一のままであるべきで、その一方で、第1の座標が異なる次元を表す限りにおいて、第1の座標は異なる。
【0021】
[028]
図1Bは、代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のためのコンピュータシステムを示す。
【0022】
[029]
図1Bにおいて、コンピュータ100はモニタ150に接続される。モニタ150は、2つの別個のウィンドウ/スクリーン、すなわち、モデル化済み組織構造スクリーン150A及び組織構造画像スクリーン150Bを表示するように論理的に分割されたスクリーンを有する。
図1Bにおける実施形態において、特定の種類の組織構造の画像は、モデル化済み組織構造と同時に、且つ、それとは別個に表示され得る。モニタ150の単一のスクリーンは、異なるモデル化済み組織構造及び組織構造を別個に含む異なるウィンドウに論理的に分割され得る。組織構造及びモデル化済み組織構造は、同一のスクリーンの別個のウィンドウに、又は別個のスクリーンに表示される。本明細書において説明されるように、組織構造及びモデル化済み組織構造の表示の個別の態様は、同一のスクリーン又は異なるスクリーン上の強調されたランドマークに対応する場所の特定を待ち、これを認識することに伴ってスクリーン上のランドマークの強調を変更することなどによって、協調され得る。モデル化済み組織構造上のランドマークを直感的に提示し、同じ種類の組織構造の画像上の場所と相関させることによって、マッピング及びそれに続くセグメント化の信頼性が向上され得る。本明細書において説明される強調は、ハイライトすること又は他のやり方によってランドマークをその周囲から視覚的に隔離し、対比することによって実施される。強調は、ランドマークを含む領域にフォーカシングすること、ランドマークを含む領域に重畳すること、及びランドマークを含む領域の色を変化させることによって実施されてもよい。以前のランドマークと、以前のランドマークの以前に特定された場所への以前のマッピングとが与えられたときに、次の場所が見つかりそうな医療用画像上の領域をハイライトすることも可能である。このようにして、次の場所の位置を突き止めるための探索空間が減らされ、次の場所の特定を補助することができる。
【0023】
[030] 加えて、本明細書において説明される任意のモデル化済み組織構造は、2次元的(2D)断面として、又は3次元的(3D)なボリュームレンダリングとして表示される。同様に、本明細書において説明される医療用画像における任意の組織構造は、1つ又は複数の2次元的(2D)断面として、又は1つ又は複数の3次元的(3D)なボリュームレンダリングとして表示される。
【0024】
[031]
図1Cは、代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のための別のコンピュータシステムを示す。
【0025】
[032]
図1Cにおいて、コンピュータ100Aは、第1のコンピュータであり、
図1Bのようにモニタ(番号は付されていない)に接続される。
図1Cにおけるモニタ(番号は付されていない)は、単一のウィンドウ/スクリーン、すなわち、モデル化済み組織構造スクリーン150Aを表示する。コンピュータ100Bは、別個のコンピュータであり、単一のウィンドウ/スクリーン、すなわち、組織構造画像スクリーン150Bを表示するモニタ(番号は付されていない)を含む。
【0026】
[033]
図1Bにおいて、コンピュータ100は、無線で、又は、有線によってモニタ150に接続されたパーソナルコンピュータである。これとは対照的に、
図1Cにおいて、コンピュータ100Aはパーソナルコンピュータであるが、コンピュータ100Bはラップトップである。故に、モデル化済み組織構造スクリーン150A及び組織構造画像スクリーン150Bは、単一のディスプレイ又は異なるディスプレイに提供される。本明細書における実施形態において、モデル化済み組織構造スクリーン150A及び組織構造画像スクリーン150Bの態様は、協調され、この協調は、
図1Bにおけるコンピュータ100、又は
図1Cにおけるコンピュータ100A又はコンピュータ100Bのいずれかなどの単一のデバイスによって制御される。
【0027】
[034]
図2は、代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のためプロセスを示す。
【0028】
[035]
図2において、プロセスは、S210において、セグメント化モデルをロードし、表示することによって始まる。セグメント化モデルは、1つ又は複数の種類の構造の2D又は3Dモデルであり、したがって、モデル化済み組織構造である。本明細書において説明されるセグメント化モデル及び医療用画像は、2Dモデル及び医療用画像として表示され得る。任意の1つの構造のセグメント化モデルは、同一の種類の複数の構造の測定値に基づく。測定された複数の構造は、異なる患者からの、いくつかの、何ダースもの、何百もの、何千もの又はそれよりも更に多くの同一の種類の構造を含む。セグメント化モデルの基礎は、同一種類の複数の構造の平均値測定又は中央値測定である。外れ値を考慮から外すことなどによって、セグメント化モデルを取得するために測定値に対して多くの他の形態の数学的処理も実施される。複数の構造は、内臓器官などの組織構造である。構造の種類の例としては、肝臓又はすい臓がある。
【0029】
[036] S211において、画像がロードされ、表示される。S211においてロード及び表示される画像は、S210におけるセグメント化モデルが基礎を置いた構造と同一の種類の構造のものである。故に、S211における画像における構造は、第1の組織構造であり、S210においてセグメント化モデルが基礎を置いた構造は、第1のモデル化済み組織構造であり、第1の組織構造及び第1のモデル化済み組織構造は同一の種類である。
【0030】
[037] S215において、S210のセグメント化モデルにおける臓器/構造について、現在の構造が表示又はハイライトされる。換言すれば、S210のセグメント化モデルにおいて単一の臓器/構造のみがあるなら、S215における表示又はハイライトは一度だけ行われる。S210のセグメント化モデルにおいて複数の臓器/構造があるなら、S215における表示又はハイライトは繰り返し行われ、各反復の間に中間処理S230からS275が実施される。臓器/構造が表示されるがハイライトされないとき、これは、セグメント化モデルの臓器/構造は、選択的に、あるときは表示又は明るくされるが、他のときにはそうでないことを意味する。臓器/構造がハイライトされるとき、これは、セグメント化モデルの臓器/構造は、選択的に、あるときはハイライトされるが、他のときにはたとえ臓器/構造が依然として表示されていたとしてもハイライトはされないことを意味するものとみなされる。構造をハイライトすることは、選択的に明るくすること、輪郭を強調すること、重畳すること、色を変化させること、又はハイライトされている特定の臓器/構造に対応するモデル化済み組織構造スクリーン150A上のエリアの表示特性を他のやり方で変化させることを含む。
【0031】
[038] S230において、現在のランドマークが表示又はハイライトされる。換言すれば、現在に構造について単一のランドマークのみがあるなら、S230における表示又はハイライトは一度だけ行われる。S215からの現在の構造に複数のランドマークがあるなら、S230における表示又はハイライトは繰り返し行われ、各反復の間に中間処理S240からS260が実施される。ランドマークが表示されるがハイライトされないとき、これは、現在の構造上のランドマークは、選択的に、あるときは表示又は明るくされるが、他のときにはそうでないことを意味する。ランドマークがハイライトされるとき、これは、現在の構造上のランドマークは、選択的に、あるときはハイライトされるが、他のときにはたとえランドマークがまだ表示されていたとしてもハイライトはされないことを意味するものとみなされる。ランドマークをハイライトすることは、選択的に明るくすること、輪郭を強調すること、重畳すること、色を変化させること、又はハイライトされている現在の臓器/構造上でハイライトされている特定のランドマークに対応するモデル化済み組織構造スクリーン150A上のエリアの表示特性を他のやり方で変化させることを含む。
【0032】
[039] 現在の臓器/構造がS215において、現在のランドマークがS230において、両方ともハイライトされたとき、現在のランドマークのハイライトは、現在の臓器/構造のハイライトとは異なる。例えば、S215において、現在の臓器/構造はモデル化済み組織構造スクリーン150Aにおける現在の臓器/構造のエリアを光らせることによってハイライトされ、その一方で、S230において、現在のランドマークは、適切な対比を提供するために、現在のランドマークを暗くすることによって現在の臓器/構造の光ったエリアに対してハイライトされる。代替的に、現在の臓器/構造は、現在のランドマークとは異なる色でハイライトされて、現在のランドマークが現在の臓器/構造と対比されるようになる。
【0033】
[040] S240において、モデルにおけるランドマークに対応する画像における場所が特定される。すなわち、ランドマークに対応する構造(すなわち、第1の組織構造)の画像における場所が特定される。S240における場所の特定は、ユーザ入力に基づくが、タッチ入力の検知、カーソル座標、又は、例えば、キーボード、マウス、音声制御、タッチスクリーン又はユーザがユーザ入力を行う他の機構のうちの任意のものによる別の形態のユーザ入力の解釈などにより、プロセッサによってなされる。ユーザ入力は、タッチスクリーン上のセンサ、カーソルをスクリーン上で移動させるマウスのカーソル位置を追跡するプロセッサ、スクリーン上のグリッドにおける場所を指定する音声認識、又はデバイス又はシステムに対するユーザ入力を認識及び解釈し得る論理的処理の任意の他の形態によって認識される。
【0034】
[041] S255において、現在の構造上に更なるランドマークが存在するか否か、すなわち、S230において表示又はハイライトされたばかりの現在のランドマークの他に更なるランドマークが存在するか否かが判定される。更なるランドマークが存在するなら(S255=Yes)、S260において、現在のランドマークは次のランドマークに進められ、プロセスはS230に戻り、S230において次の(今となっては現在の)ランドマークを表示又はハイライトする。現在の構造に更なるランドマークが存在しないなら(S255=No)、プロセスはS270に進む。
【0035】
[042] S270において、セグメント化モデル上に更なる構造が存在するか否か、すなわち、S215において表示又はハイライトされた現在の構造の他に更なる構造が存在するか否かが判定される。更なる構造が存在するなら(S270=Yes)、S275において、現在の構造は次の構造に進められ、プロセスはS215に戻り、S215において次の(今となっては現在の)構造を表示又はハイライトする。もしも追加的な構造が存在するなら、次の構造のためのセグメント化モデルは、同一の種類の複数の構造の測定値に基づく。測定された複数の構造は、異なる患者からの、いくつかの、何ダースもの、何百もの、何千もの又はそれよりも更に多くの同一の種類の構造を含む。セグメント化モデルの基礎は、同一種類の複数の構造の平均値測定又は中央値測定である。外れ値を考慮から外すことなどによって、セグメント化モデルを取得するために測定値に対して多くの他の形態の数学的処理も実施される。
【0036】
[043] 論理的には、画像は、患者の撮像に由来する第1の組織構造、第2の組織構造、及び追加的な組織構造を含む。組織構造のモデルは、以前の患者の以前の撮像に由来する以前の組織構造の測定値に基づく。したがって、本明細書において説明されるプロセスは、間接的に、モデルの基礎として使用された無数の追加的な組織構造を含む。
【0037】
[044] 更なる構造が存在しないなら(S270=No)、S277において、モデル化済み組織構造上のランドマークは、組織構造の画像にマッピングされる。モデル化済み組織構造上のランドマークを組織構造の場所にマッピングすることは、セグメント化モデルにおけるランドマークの座標を、画像における対応する場所の座標に変換すること、又はその逆を含む。ランドマークとの合致に基づいて画像における所定の数の場所、例えば、3つの場所が特定されると、S280におけるセグメント化において、画像又は画像の一領域(すなわち全体よりも小さな領域)におけるいくつかの又は全ての場所は、セグメント化モデルの座標系に変換された座標を有するようになる。セグメント化モデルと位置合わせされるべき医療用画像の変換は、本明細書においてフィッティングと称され、医療用画像を確認すること又はセグメント化モデルの特性と位置が合うように医療用画像を変化させることなどによって医療用画像の全体をセグメント化モデルにフィッティングすることを指す。フィッティングは、マッピングが、モデル化済み組織構造と医療用画像における組織構造との間に、すなわち、モデル上の特定されたランドマークと医療用画像における特定された場所との間で相関させることによって、所定の空間的関係性を提供する限りにおいて、本明細書において説明されるマッピングに基づいて実施される。モデル化済み組織構造を組織構造の医療用画像にフィッティングすることは、モデル化済み組織構造上の僅かに3つのランドマークを組織構造の場所にマッピングすることに基づくが、正確性は、より多くのランドマーク及び場所によって向上及び/又は確認される。このようにして、患者からの画像における構造は、以前の患者の同一の種類の構造の測定値から理想化されたセグメント化モデルに基づいてセグメント化される。セグメント化は、画像の全体について、又は画像の全体よりも小さな一部分について、又は画像における1つ又は複数の構造の全体よりも小さな一部分について実施される。このようにして、セグメント化は、追加的なランドマークが表示又はハイライトされ、追加的なランドマークについて追加的な場所が画像上で特定されると、反復的に実施される。別の言い方をするならば、医療用画像の第1のセグメント化は、第1の素案のようなものであり、医療用画像の後続のセグメント化は、第1の素案から向上された後続の素案のようなものである。
【0038】
[045] 実施形態において、第1のモデル化済み組織構造は、所定の数のランドマーク及び場所が特定された後で、所定の数のランドマーク及び場所が特定されたことを判定したことに基づいて、第1の組織構造にフィッティングされる。追加的なランドマークが特定されると、追加的なランドマークに対応する場所が存在すると期待される医療用画像上の領域が強調されて、場所の誘導選択を助ける。既に記したように、強調は、領域にフォーカシングすること、領域に重畳すること、又は領域の色を変化させることによって、及び領域を光らせること又は暗くすることによって提供される。
【0039】
[046] 別の実施形態において、第1のモデル化済み組織構造は、所定の数のランドマーク及び場所が特定された後で、所定の数のランドマーク及び場所が特定されたことを判定したことに基づいて、第1の組織構造にフィッティングされる。追加的なランドマーク及び場所が特定されると、第1のモデル化済み組織構造は、元のランドマーク及び場所並びに追加的なランドマーク及び場所に基づいて、第1の組織構造に再びフィッティングされる。更には、追加的なランドマークが特定されたとき、医療用画像のセグメント化された領域が強調されて、医療用画像における対応する場所が変化するとそこも変化するであろうことを示す。このようにして、反復的プロセスにおいてセグメント化が既に実施された後の場所の選択は、追加的なランドマークついての場所の追加的な特定が以前のセグメント化の結果にどのように影響するかを示す。構造の次のセグメント化は、現在のセグメント化の近くの強度及び傾きなどの特徴を使用して最適化される。領域は、例えば、色を変化させることによってハイライトされ得、異なる色は、異なる所定量の変化に対応する。例えば、赤色は、最大変化の75%から100%の上部の四分位数における最も大きな変化を表し、黄色は、50%から75%の次の四分位数の変化を表し、緑色は、最大変化の25%から50%の四分位数を表す。
【0040】
[047]
図3は、代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のためのランドマークが重畳された構造の種類のセグメント化モデルの図を示す。
【0041】
[048]
図3において、複数構造の臓器の単一の構造(すなわち、左側)のセグメント化モデル上に、5つのランドマーク331~335が図示されている。
図3のセグメント化モデルにおける右側の構造にはランドマークが図示されていない。本明細書において説明されるように、ランドマーク331~335の各々は、構造の画像上でどの場所を特定するべきかを特定する際にユーザを補助するために、個別に及び順次的に表示及びハイライト/強調され得る。本明細書において使用されるとき、ランドマークに関する順次的という語は、個別のランドマーク又は少なくとも全てのランドマークよりも少ないランドマークの集合が、任意のある時間において順番に表示及びハイライト/強調されることを意味するものとみなされる。例えば、3つ以上のランドマークが個別に、一度に1つ表示及びハイライト/強調される。同様に、複数構造の臓器のセグメント化モデルにおける構造の各々は、特定のランドマークに対応する場所について複数構造の臓器のどの構造をチェックするべきかを特定する際にユーザを補助するために、個別に及び順次的に表示及びハイライト/強調され得る。
【0042】
[049]
図4は、代表的な実施形態による、
図3における構造上のランドマークに対応する場所を示すユーザによって定められたランドマークを有する画像の図を示す。
【0043】
[050]
図4において、2つの異なる断面画像が図示されている。第1の画像は左側にあり、XY断面であり、第2の画像は右側にあり、ZY断面である。左側の第1の画像は、初期視点から見たものであり、右側の第2の画像は、深さを図示するために初期視点から回転された視野からのものである。単一のランドマークはユーザによって定められたものであり、左側の第1の画像において円によって示されているが、右側の第2の画像には存在しない。ユーザによって定められたランドマークは、左側の画像において、垂直二等分線の左側にあり、水平二等分線上に位置が揃っている。
図4における左側の第1の画像におけるユーザによって定められたランドマークは、
図3のセグメント化モデルにおいて「1」というラベルが付されたランドマークに対応する。
【0044】
[051]
図4において、左側の第1の画像はフレーム403によって枠取りされ、右側の第2の画像はフレーム413によって枠取りされている。左側の第1の画像は、XY断面のものであり、XY断面とラベルが付されている。右側の第2の画像は、ZY断面のものであり、ZY断面とラベルが付されている。左側第1の画像において、X二等分線401は第1の画像を水平方向に二等分し、Y二等分線402は第1の画像を垂直方向に二等分している。第1の画像における単一の円は、ユーザによって定められたランドマーク406を示す。右側の第2の画像において、Z二等分線411は第2の画像を水平方向に二等分し、Y二等分線412は第2の画像を垂直方向に二等分している。
図4の右側の画像においては、ユーザによって定められたランドマークはない。
【0045】
[052]
図4において、第1の画像及び第2の画像におけるランドマークは、第1の画像図及び第2の画像によって撮像された3D空間における同一の場所に対応する座標セットのペアによって表されるが、3D空間における異なる場所に対応する個別の座標セットであってもよい。ランドマーク406は、
図4における左側の図にのみ現れる単一の、ユーザによって定められたランドマークであり、XY座標の単一のセットにのみ対応する。
【0046】
[053]
図5は、代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のための別のプロセスを示す。
【0047】
[054]
図5において、プロセスは、S510において、セグメント化モデル及び画像をロードし、表示することによって始まる。S515において、S510のセグメント化モデルにおける臓器/構造について現在の構造が表示又はハイライトされる。S520において、現在の構造が変更されるか否かが判定される。換言すれば、S520において、現在の構造を次の構造に変更する命令が、例えばユーザ入力に基づいて受信されたか否かが判定される。
【0048】
[055] 現在の構造が変更されるべきであるなら(S520=Yes)、プロセスはS515に戻り、S520において判定された変更に基づいて、現在の構造を表示又はハイライトする。現在の構造が変更されるべきでないなら(S520=No)、プロセスはS525に移動し、現在の構造上に定められた全てのランドマークが表示される。S530において、現在のランドマークが、他のランドマークに対して現在のランドマークを個別に強調するために、表示又はハイライトされる。現在の構造について単一のランドマークのみが存在するなら、S530における表示又はハイライトは一度だけ行われる。S515からの現在の構造上に複数のランドマークが存在するなら、S530における表示又はハイライトは繰り返し行われ、各反復の間に中間処理S535からS560が実施される。
【0049】
[056] S535において、現在のランドマークを変更するか否かが判定される。現在のランドマークが変更されるべきであるなら(S535=Yes)、現在のランドマークは次のランドマークに変更され、プロセスはS530に戻り、新たな現在のランドマークを表示又はハイライトする。現在のランドマークが変更されないなら(S535=No)、S540において、ランドマークに対応する場所が画像において特定される。この場所は、ユーザからの入力に基づいて特定されるが、この入力は、タッチスクリーン上の判定可能な場所へのタッチを検知すること、音声入力を解釈すること、スクリーン上のカーソルの場所を判定することなどによって、入力デバイスによって検知されなければならない。同様に、S535における現在のランドマークへの変更又は上記のS520における現在の構造への変更は、キーボード、マウス、タッチスクリーン、音響(音声)入力、又は電子デバイスに命令を入力する任意の他の知られた形態から検知されたユーザ入力に基づく。
【0050】
[057] S545において、モデルを画像上にマッピングするために十分なランドマークが存在するか否かが判定される。十分なランドマークが存在するなら(S545=Yes)、S550において、画像上のモデルの姿勢が表示又は更新され、S555において、現在の構造に更なるランドマークが存在するか否かが判定される。モデルを画像上にマッピングするために十分なランドマークが存在しないなら(S545=No)、S555において、現在の構造に更なるランドマークが存在するか否かが判定される。
【0051】
[058] 現在の構造に更なるランドマークが存在するなら(S555=Yes)、S560において、現在のランドマークは次のランドマークに進められ、プロセスはS530に戻り、次のランドマークが表示又はハイライトされる。現在の構造に更なるランドマークが存在しないなら(S555=No)、プロセスはS565に進み、S565において、画像上の構造セグメント化の視覚化が更新され、次いで、プロセスはS570に進む。
【0052】
[059] S570において、セグメント化モデル上に更なる構造が存在するか否か、すなわち、S515において表示又はハイライトされた現在の構造の他に更なる構造が存在するか否かが判定される。更なる構造が存在するなら(S570=Yes)、S575において、現在の構造は次の構造に進められ、プロセスはS515に戻り、S515において次の(今となっては現在の)構造を表示又はハイライトする。もしも追加的な構造が存在するなら、次の構造のためのセグメント化モデルは、次の構造として同一の種類の以前の構造に基づく。
【0053】
[060] 更なる構造が存在しないなら(S570=No)、S577において、モデル化済み組織構造上のランドマークは、組織構造の画像にマッピングされる。マッピングすることは、セグメント化モデルにおけるランドマークの座標を、画像における対応する場所に変換することを含む。所定の数の、モデルにおけるランドマーク及び画像における場所が特定されると、S580におけるセグメント化において、画像における全ての場所は、セグメント化モデルの座標系に変換された座標を有するようになる。換言すれば、
図5におけるプロセスは、所定の数のランドマークを対応する場所にマッピングすることを有する。このようにして、患者からの画像における構造は、以前の患者の同一の種類の構造の測定値から理想化されたセグメント化モデルに基づいてセグメント化される。例として、モデルにおける3つのランドマークが特定され、画像上の3つの対応する場所が特定されたとき、セグメント化は部分的に又は全体的に実施される。加えて、追加的なランドマーク及び追加的な場所が特定されたとき、セグメント化は再び実施される。換言すれば、
図5におけるプロセスは、マッピング及びセグメント化が反復的に実施されるとき、所定の数の追加的なランドマークを含むようにマッピングを再び実施することを有する。
【0054】
[061]
図5において、複数構造のセグメント化モデルのための反復的プロセスが実施され、第1の構造のためのランドマークが順次的に特定され、次に、医療用画像における対応する場所が特定され、第1の構造について全ての場所又は所定の最少数の場所が特定されると、プロセスは、第2の構造に切り替わる。
図5において、1つ又は複数の構造が処理されると、ユーザは、以前のランドマークについて以前に特定された場所を変更することなどによって、第1のセグメント化された画像又は第2のセグメント化された画像を変更する選択肢が与えられる。故に、場所の特定をもたらす入力をユーザが提供した後でも、ユーザのリクエストで場所は変更され得る。換言すれば、ユーザが、マッピング又は全体的なセグメント化の結果に基づいて間違いを認識すれば、ユーザからの入力が検知され、セグメント化への変更をユーザが制御することを可能とするために使用される。別の言い方をするなら、セグメント化は、ユーザが医療用画像上の場所の以前の特定を変更し、医療用画像を再びマッピング及び/又は再びセグメント化することを可能とすることによって、部分的に又は全体的に再び実施される。
【0055】
[062]
図6は、代表的な実施形態による、医療用画像セグメント化のためのランドマーク視覚化のための命令のセットを含む例示的な一般的コンピュータシステムを示す。
図6は、医療用画像セグメント化のためのランドマーク視覚化の方法が実施され得るコンピュータシステム600の例示的な実施形態である。コンピュータシステム600は、本明細書において開示される方法又はコンピュータベースの機能のうちの任意の1つ又は複数をコンピュータシステム600に実施させるために実行され得る命令のセットを含み得る。コンピュータシステム600は、スタンドアローンデバイスとして動作し、又は、例えばネットワーク601を使用して他のコンピュータシステム又は周辺デバイスに接続される。
【0056】
[063] ネットワーク化された配置において、コンピュータシステム600は、サーバ-クライアントユーザネットワーク環境におけるサーバの資格で又はクライアントユーザコンピュータとして、又はピアツーピア(又は分散式)ネットワーク環境におけるピアコンピュータシステムとして動作する。コンピュータシステム600は、固定的コンピュータ、移動式コンピュータ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、ディスプレイを備えた移動式通信デバイス、パーソナルデジタルアシスタント(PDA)、又は任意の他の機械であって、その機械によって行われるべき動作を指定する命令のセット(順次式又は他の形態のもの)を実行可能な任意の他の機械などの様々なデバイスとしても実現され得、又はそれに組み込まれ得る。コンピュータシステム600は、追加的なデバイスを含む統合システムである特定のデバイスとして又は特定のデバイスに組み込まれ得る。特定の実施形態において、コンピュータシステム600は、音声、ビデオ又はデータ通信を提供する電子デバイスを使用して実現され得る。更に、コンピュータシステム600は単数形で示されているが、「システム」という用語は、1つ又は複数のコンピュータ機能を実施するために1セットの命令又は複数セットの命令を個別に又は共同で実行するシステム又はサブシステムの任意の集合を含むものともみなされるべきである。
【0057】
[064]
図6に示されるように、コンピュータシステム600はプロセッサ610を含む。コンピュータシステム600のためのプロセッサは、有体及び非一時的なものである。本明細書において使用されるとき、「非一時的」という用語は、ある状態の永続的な特性ではなく、一定期間にわたって存続するある状態の特性として解釈されるべきである。「非一時的」という用語は、具体的には、任意の時点で任意の地点において一時的にのみ存在する特定の搬送波又は信号又は他の形態の特性などの、瞬間的な特性ではない。プロセッサは、製造物品及び/又は機械コンポーネントである。コンピュータシステム600のためのプロセッサは、本明細書における様々な実施形態において説明される機能を実施するために、ソフトウェア命令を実行するように構成される。コンピュータシステム600のためのプロセッサは、汎用プロセッサであり、又は、特定用途向け集積回路(ASIC)の一部である。コンピュータシステム600のためのプロセッサは、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、状態機械、又はプログラム可能論理デバイスであってもよい。コンピュータシステム600のためのプロセッサは、フィールドプログラマブルゲートアレイ(FPGA)などのプログラマブルゲートアレイ(PGA)、又は、ディスクリートゲート及び/若しくはトランジスタ論理を含む別の種類の回路などの、論理回路であってもよい。コンピュータシステム600のためのプロセッサは、中央処理装置(CPU)、グラフィックス処理装置(GPU)、又はその両方であってもよい。加えて、本明細書において説明される任意のプロセッサは、複数のプロセッサ、並列プロセッサ、又はその両方を含んでもよい。複数のプロセッサが、単一のデバイス又は複数のデバイスに含まれ、又は、それに結合されてもよい。
【0058】
[065] 更には、コンピュータシステム600は、バス608を介して互いに通信し得るメインメモリ620及びスタティックメモリ630を含む。本明細書において説明されるメモリは、データ及び実行可能な命令を記憶し得る有体の記憶媒体であり、命令がその中に記憶されている間は非一時的である。本明細書において使用されるとき、「非一時的」という用語は、ある状態の永続的な特性ではなく、一定期間にわたって存続するある状態の特性として解釈されるべきである。「非一時的」という用語は、具体的には、任意の時点で任意の地点において一時的にのみ存在する特定の搬送波又は信号又は他の形態の特性などの、瞬間的な特性ではない。本明細書において説明されるメモリは、製造物品及び/又は機械コンポーネントである。本明細書において説明されるメモリは、コンピュータによってデータ及び実行可能な命令がそこから読み出され得るコンピュータ可読媒体である。本明細書において説明されるメモリは、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、フラッシュメモリ、電気的プログラム可能読み出し専用メモリ(EPROM)、電気的消去可能プログラム可能読み出し専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、テープ、コンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、フロッピーディスク、blu-rayディスク、又は、当技術分野において知られている任意の他の形態の記憶媒体である。メモリは、揮発性又は不揮発性のもの、セキュア及び/又は暗号化されたもの、非セキュア及び/又は暗号化されていないものであってもよい。
【0059】
[066] コンピュータシステム600又はコンピュータシステム600のコンポーネントの組み合わせは、コントローラであると考えられる。例えば、メインメモリ620は、本明細書において説明される機能、ステップ、又は個別のプロセスのうちのいくつか又は全てを実施するためにプロセッサ610によって実行される命令を記憶する。例えば、プロセッサ610は、論理判定に基づいて変わる結果を得るために、本明細書において説明される論理判定を実施し、論理判定及び結果は、プロセッサ610を含むコントローラによる制御の形態をとる。もちろん、コントローラは、メインメモリ620及び/又はプロセッサ610の他に、コンピュータシステム600の追加的な要素を含み得る。
【0060】
[067] 図示されるように、コンピュータシステム600は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、フラットパネルディスプレイ、ソリッドステートディスプレイ、又は陰極線管(CRT)などのビデオディスプレイユニット650を更に含む。加えて、コンピュータシステム600は、キーボード/仮想キーボード、タッチセンサ式入力スクリーン又は音声認識を有する音声入力などの入力デバイス660と、マウス、タッチセンサ式入力スクリーン又はパッドなどのカーソル制御デバイス670とを含む。コンピュータシステム600は、ディスクドライブユニット680と、スピーカ又は遠隔制御装置などの信号生成デバイス690と、ネットワークインタフェースデバイス640とも含み得る。
【0061】
[068] 特定の実施形態において、
図6に描かれるように、ディスクドライブユニット680は、例えばソフトウェアなどの、1つ又は複数のセットの命令684が埋め込まれ得るコンピュータ可読媒体682を含む。命令684のセットは、コンピュータ可読媒体682から読み出され得る。更に、命令684は、プロセッサによって実行されたとき、本明細書において説明される方法及びプロセスのうちの1つ又は複数を実施するために使用され得る。特定の実施形態において、命令684は、コンピュータシステム600による実行中にメインメモリ620、スタティックメモリ630内に及び/又はプロセッサ610内に完全に又は少なくとも部分的に存在する。
【0062】
[069] 代替的な実施形態において、特定用途向け集積回路(ASIC)、プログラム可能論理アレイ及び他のハードウェアコンポーネントなどの専用ハードウェアによる実施態様が、本明細書において説明される方法のうちの1つ又は複数を実施するために構築され得る。本明細書において説明される1つ又は複数の実施形態は、2つ以上の特定の相互接続されたハードウェアモジュール又はデバイスを使用し、モジュールの間で及びそれらを介して通信され得る関連した制御信号及びデータ信号を用いることによって、機能を実施する。それ故、本開示は、ソフトウェア、ファームウェア、及びハードウェアによる実施態様を包含する。本出願における何ものも、有体の非一時的プロセッサ及び/又はメモリなどのハードウェアではなくソフトウェアだけによって実施されるもの又は実施可能であるものとして解釈されるべきではない。
【0063】
[070] 本開示の様々な実施形態によると、本明細書において説明される方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実施される。更に、例示的で非限定的な実施形態において、実施態様は、分散処理、コンポーネント/オブジェクト分散処理、及び並列処理を含み得る。仮想的コンピュータシステム処理が、本明細書において説明される方法又は機能のうちの1つ又は複数を実施するために構築され得、本明細書において説明されるプロセッサは、仮想的処理環境をサポートするために使用される。
【0064】
[071] 本開示は、命令684を含み、又は伝搬された信号に応じて命令684を受信及び実行するコンピュータ可読媒体682を企図するものであり、ネットワーク601に接続されたデバイスは、ネットワーク601を通じて音声、ビデオ又はデータを通信し得る。更に、命令684は、ネットワークインタフェースデバイス640を介してネットワーク601を通じて送信又は受信される。
【0065】
[072] それ故、医療用画像セグメント化のためのランドマーク視覚化は、セグメント化モデル上のランドマークと構造の画像上の対応する場所の選択との間の直感的な協調を可能とする。このことは、第1のモデル化済み組織構造上の個別のランドマークを順次的に強調し、次いで、組織構造の画像上の対応する場所を特定することによって達成され得る。
【0066】
[073] 医療用画像セグメント化のためのランドマーク視覚化がいくつかの例示的な実施形態を参照して説明されたが、使用された単語は、説明及び例示の単語であり、限定の単語ではないことが理解される。その態様における医療用画像セグメント化のためのランドマーク視覚化の範囲及び主旨から逸脱することなく、現在述べられ、修正されたように、添付の特許請求の範囲の範囲内で変更がなされ得る。医療用画像セグメント化のためのランドマーク視覚化が特定の手段、材料及び実施形態を参照して説明されたが、医療用画像セグメント化のためのランドマーク視覚化は、開示された特定の事項に限定されることを意図されるものではなく、医療用画像セグメント化のためのランドマーク視覚化は、添付の特許請求の範囲の範囲内にあるものなど、全ての機能的に同等な構造、方法、及び使用に拡大されるものである。
【0067】
[074] 例えば、本出願は、概して、一度に1つのランドマークを強調することを説明している。しかしながら、2つのランドマークがモデル化済み組織構造上で遠く離れており、ユーザがこの2つのランドマークの対応する場所を混同することが殆どありそうもないときなどは、ランドマークは、2つ以上のランドマークのサブグループとして強調されてもよく、対応する場所は2つ以上の場所のサブグループとして特定されてもよい。
【0068】
[075] 本明細書において説明される実施形態の図解は、様々な実施形態の構造の全体的な理解を提供することを意図される。図解は、本明細書において説明される本開示の要素及び特徴の全ての完全な説明として働くことを意図されない。本開示を検討することにより、多くの他の実施形態が当業者には明らかである。他の実施形態が、本開示から利用及び導出され、本開示の範囲から逸脱することなく、構造的及び論理的な置換及び変更がなされる。加えて、図解は、単に代表的なものであり、縮尺通りに描かれていない場合がある。図解内の特定の比率は誇張されている場合があり、一方で他の比率が最小化されている場合がある。それ故、本開示及び図面は、制限的なものではなく、例示的なものとみなされるべきである。
【0069】
[076] 本開示の1つ又は複数の実施形態は、本明細書において、単に利便性のために、及び、本出願の範囲を任意の特定の発明又は発明的概念に自ら限定することを意図することなく、個別に及び/又は集合的に、「発明」という用語によって言及されている。更には、特定の実施形態が、本明細書において例示及び説明されているが、同じ又は類似の目的を達成するように設計された任意の後の構成が、示されている特定の実施形態と置換されることが理解されるべきである。本開示は、様々な実施形態の任意の及び全ての後の適合例又は変形例をカバーすることを意図される。上記の実施形態及び本明細書において具体的に説明されていない他の実施形態の組み合わせは、本説明を検討することにより、当業者には明らかになろう。
【0070】
[077] 本開示の要約は、米国特許法施行規則第1.72条(b)項を順守するために提供され、特許請求の範囲の範囲又は意味を解釈又は限定するために使用されないという理解の下で提出される。加えて、上記の詳細な説明において、本開示を合理化する目的で、様々な特徴がともにグループ化され又は単一の実施形態において説明されていることがある。本開示は、特許請求される実施形態が、各請求項に明示的に記載されているものよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するものとして、発明的な主題は、開示される実施形態のいずれかの特徴の全てよりも少ない特徴へと向けられる。故に、以下の特許請求の範囲は、詳細な説明に組み込まれ、各請求項は、別個に特許請求される主題を定めるものとして独立している。
【0071】
[078] 開示される実施形態の前述の説明は、当業者が本開示において説明される概念を実践することを可能とするために提供される。したがって、上記で開示されている主題は、制限ではなく例示であると考えられるべきであり、添付の特許請求の範囲は、本開示の真の主旨及び範囲内にある全てのそのような修正、向上、及び他の実施形態をカバーすることを意図される。故に、法によって許容される最大範囲で、本開示の範囲は、以下の特許請求の範囲及びその等価物の最も広く許容可能な解釈によって決定されるべきであり、前述の詳細な説明によって制限又は限定されるべきではない。