(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-15
(45)【発行日】2023-05-23
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
G06T 15/08 20110101AFI20230516BHJP
G06T 19/00 20110101ALI20230516BHJP
A61B 6/03 20060101ALI20230516BHJP
A61B 5/055 20060101ALI20230516BHJP
【FI】
G06T15/08
G06T19/00 A
A61B6/03 360G
A61B6/03 360J
A61B5/055 380
(21)【出願番号】P 2022534137
(86)(22)【出願日】2021-07-05
(86)【国際出願番号】 JP2021025373
(87)【国際公開番号】W WO2022004898
(87)【国際公開日】2022-01-06
【審査請求日】2022-09-30
(31)【優先権主張番号】P 2020116005
(32)【優先日】2020-07-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】511273621
【氏名又は名称】瀬尾 拡史
(74)【代理人】
【識別番号】100127384
【氏名又は名称】坊野 康博
(72)【発明者】
【氏名】瀬尾 拡史
【審査官】片岡 利延
(56)【参考文献】
【文献】特開2013-236750(JP,A)
【文献】特開2004-230166(JP,A)
【文献】特開2016-202904(JP,A)
【文献】特開2011-10715(JP,A)
【文献】特開2012-239820(JP,A)
【文献】特開2008-18016(JP,A)
【文献】特開2009-136665(JP,A)
【文献】特開2013-13650(JP,A)
【文献】国際公開第2018/159709(WO,A1)
【文献】原口亮, 外6名,病理組織標本デジタル画像からの3次元可視化における表現手法の改善,電子情報通信学会技術研究報告,日本,2015年03月,Vol.114 No.482,pp.125-128
【文献】中島一崇,外5名,インタラクティブな変形を可能にするデータ構造を医療画像から自動生成する手法,Visual Computing/グラフィックスとCAD合同シンポジウム2016 予稿集,2016年06月18日,pp.217-220
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/08
G06T 19/00
A61B 6/03
A61B 5/055
(57)【特許請求の範囲】
【請求項1】
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得手段と、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定手段と、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定手段と、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御手段と、
を備え、
前記交点特定手段は、前記閾値が変化されることで前記表面の形状を表す前記表面データが更新された場合、前記視点として設定された位置と前記ユーザによって指定された点とを通る直線が、更新された前記表面の形状と交差する交点を特定し、
前記表示制御手段は、更新された前記表面の形状における前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御することを特徴とする画像処理装置。
【請求項2】
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得手段と、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定手段と、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定手段と、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御手段と、
を備え、
前記表面データ取得手段は、前記ボリュームデータにおけるボクセルのエッジを識別するエッジ情報と、前記エッジに前記表面データを表す三角形メッシュの頂点が存在するか否かを表すフラグと、前記エッジ情報と、前記フラグとに基づいて特定される前記三角形メッシュの頂点を識別する頂点識別情報とが対応付けられたテーブルデータを参照し、前記ボリュームデータから前記表面データを取得することを特徴とする画像処理装置。
【請求項7】
前記閾値設定手段は、前記表面データとして表示するか否かを決定するための第1の閾値と第2の閾値とを設定し、
前記表示制御手段は、設定された前記第1の閾値と前記第2の閾値とによって決定される前記値に基づいて、前記表面データの表示を制御することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
【請求項11】
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得ステップと、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定ステップと、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定ステップと、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御ステップと、
を含み、
前記交点特定ステップでは、前記閾値が変化されることで前記表面の形状を表す前記表面データが更新された場合、前記視点として設定された位置と前記ユーザによって指定された点とを通る直線が、更新された前記表面の形状と交差する交点を特定し、
前記表示制御ステップでは、更新された前記表面の形状における前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御することを特徴とする画像処理方法。
【請求項12】
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得ステップと、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定ステップと、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定ステップと、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御ステップと、
を含み、
前記表面データ取得ステップでは、前記ボリュームデータにおけるボクセルのエッジを識別するエッジ情報と、前記エッジに前記表面データを表す三角形メッシュの頂点が存在するか否かを表すフラグと、前記エッジ情報と、前記フラグとに基づいて特定される前記三角形メッシュの頂点を識別する頂点識別情報とが対応付けられたテーブルデータを参照し、前記ボリュームデータから前記表面データを取得することを特徴とする画像処理方法。
【請求項13】
コンピュータに、
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得機能と、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定機能と、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定機能と、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御機能と、
を実現させ、
前記交点特定機能は、前記閾値が変化されることで前記表面の形状を表す前記表面データが更新された場合、前記視点として設定された位置と前記ユーザによって指定された点とを通る直線が、更新された前記表面の形状と交差する交点を特定し、
前記表示制御機能は、更新された前記表面の形状における前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御することを特徴とするプログラム。
【請求項14】
コンピュータに、
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得機能と、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定機能と、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定機能と、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御機能と、
を備え、
前記表面データ取得機能は、前記ボリュームデータにおけるボクセルのエッジを識別するエッジ情報と、前記エッジに前記表面データを表す三角形メッシュの頂点が存在するか否かを表すフラグと、前記エッジ情報と、前記フラグとに基づいて特定される前記三角形メッシュの頂点を識別する頂点識別情報とが対応付けられたテーブルデータを参照し、前記ボリュームデータから前記表面データを取得することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、3次元画像のデータを表示するための種々の技術が提案されている。
特に、CT(Computed Tomography)あるいはMRI(MagneticResonanceImaging)により取得された医用画像は、通常、縦、横及び高さの情報を有するボリュームデータによって構成されており、これらを表示するために、サーフェスレンダリング技術が広く用いられている。
なお、ボリュームデータのレンダリングに関する技術は、例えば、特許文献1に記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術においては、サーフェスレンダリングされたオブジェクトを可視化する場合、ユーザの要求に応じた種々の表示形態で表示することが必ずしも容易ではない。例えば、サーフェスレンダリングを行った場合、使用するレンダリング手法によっては、形成される三角形メッシュが、それぞれ独立したものとなる。三角形メッシュが独立した状態では、注目する三角形メッシュと、これに隣接する三角形メッシュとを連動して動かすことができないため、サーフェスレンダリングされたオブジェクトを変形すること等が困難である。
このように、従来の技術においては、3次元画像を適切に可視化することが困難であった。
【0005】
本発明の課題は、3次元画像をより適切に可視化するための技術を実現することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の一実施形態に係る画像処理装置は、
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得手段と、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定手段と、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定手段と、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、3次元画像をより適切に可視化するための技術を実現することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る画像処理装置1の構成を示すブロック図である。
【
図2】頂点位置特定テーブルの一例を示す模式図である。
【
図4】閾値設定部D3の具体的形態を示す模式図である。
【
図7】視点切替画面の一例(3人称視点の場合)を示す模式図である。
【
図8】視点切替画面の一例(1人称視点の場合)を示す模式図である。
【
図9】1人称視点における表示形態例を示す模式図である。
【
図10】人の胸腔部のサーフェスデータの表示例を示す模式図である。
【
図12】閾値を変化させて、3次元画像表示部D1に表示されるオブジェクトの表示形態を変化させる様子を示す模式図である。
【
図13】3次元画像表示部D1に表示されたオブジェクトの一部(ここでは、肺)が連続領域として抽出された状態を示す模式図である。
【
図14】イラスト表示画面の一例(3次元画像が表示された状態)を示す模式図である。
【
図15】イラスト表示画面の一例(イラスト化された画像が表示された状態)を示す模式図である。
【
図16】オブジェクト変形画面の一例を示す模式図である。
【
図17】画像処理装置1で実行されるオブジェクト表示処理の流れを説明するフローチャートである。
【
図18】頂点位置特定テーブルの変形例を示す模式図である。
【
図19】変形例2におけるオブジェクト表面の色補正方法を示す模式図である。
【
図20】変形例2の色補正方法によって、1つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。
【
図21】変形例3におけるオブジェクト表面の色補正方法を示す模式図である。
【
図22】変形例3の色補正方法によって、1つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。
【
図23】着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点の周辺のボクセルを選択する色補正方法の一例を示す模式図である。
【
図24】変形例4の色補正方法によって、1つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。
[第1実施形態]
[構成]
図1は、本発明の一実施形態に係る画像処理装置1の構成を示すブロック図である。
画像処理装置1は、例えば、PC(Personal Computer)あるいはタブレット端末等の情報処理装置によって構成される。
図1に示すように、画像処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、入力部14と、表示部15と、画像処理部16と、記憶部17と、通信部18とを備えている。
【0010】
CPU11は、記憶部17に記憶された各種プログラムを実行することにより、画像処理装置1全体を制御する。例えば、CPU11は、ボリュームデータ(CTあるいはMRIにより撮像された断層画像のデータ等)から生成されたサーフェスデータを可視化する処理(以下、「オブジェクト表示処理」と称する。)のためのプログラムを実行する。オブジェクト表示処理を実行する場合、CPU11は、後述するように、全体として効率的な処理となるよう画像処理部16にタスクを割り当てる。例えば、CPU11は、多様な処理を柔軟に実行することが可能である一方、画像処理部16は、同様の演算を高速に繰り返し行うことが可能であることから、処理の種類に応じて、CPU11は画像処理部16と連携して全体の処理を実行する。
【0011】
オブジェクト表示処理のためのプログラムを実行することにより、CPU11には、機能的構成として、ユーザインターフェース制御部(UI制御部)11aと、データ管理部11bと、が形成される。
【0012】
UI制御部11aは、オブジェクト表示処理等、画像処理装置1が各種処理を実行する際の各種入出力画面(以下、「UI画面」と称する。)の表示を制御する。例えば、UI制御部11aは、ボリュームデータから生成されたサーフェスデータを各種表示形態でUI画面に表示する。本実施形態において、UI制御部11aは、サーフェスデータを表示する初期UI画面を表示し、初期UI画面に複数のメニューを表示することにより、特定の表示形態でサーフェスデータを表示する画面への移行を受け付ける。なお、画像処理装置1で表示されるUI画面の例については後述する。
【0013】
データ管理部11bは、ユーザの指示に応じて、UI画面に表示されているオブジェクトの画像のデータを記憶部17に記憶したり、他の装置(病院内システムのサーバ等)からオブジェクトのデータ(ボリュームデータあるいはサーフェスデータ)を取得したりする。
【0014】
ROM12には、画像処理装置1を制御するための各種システムプログラムが予め書き込まれている。
RAM13は、DRAM(Dynamic Random Access Memory)等の半導体メモリによって構成され、CPU11が各種処理を実行する際に生成されるデータを記憶する。
入力部14は、キーボードやマウス、または、タッチセンサ(タッチパネル)等の入力装置によって構成され、ユーザによる画像処理装置1への各種情報の入力を受け付ける。
【0015】
表示部15は、LCD(Liquid Crystal Display)等の表示装置によって構成され、画像処理装置1の各種処理結果を表示する。
【0016】
画像処理部16は、GPU(Graphics Processing Unit)を備えたハードウェア(グラフィックアクセラレータ等)によって構成され、画像処理装置1における画像の表示に関する処理を実行する。なお、画像処理部16には、画像処理を実行するためのローカルメモリ(不図示)が備えられている。本実施形態において、画像処理部16は、CPU11がオブジェクト表示処理を実行する際に、CPU11の指示に従って、特定の処理を実行する。
【0017】
オブジェクト表示処理のためのプログラムがCPU11に実行されることにより、画像処理部16には、機能的構成として、オブジェクトデータ取得部16aと、レンダリング処理部16bと、が形成される。
【0018】
オブジェクトデータ取得部16aは、CPU11の指示に応じて、記憶部17に記憶されているオブジェクトのデータを読み出す。
レンダリング処理部16bは、CPU11の指示に応じて、オブジェクトデータ取得部16aによって読み出されたオブジェクトのデータをUI画面で表示するためにレンダリング処理し、レンダリング処理の結果(即ち、表示のためにラスタライズされたデータ)を表示部15に表示する。本実施形態において、オブジェクトデータ取得部16aが取得するオブジェクトのデータは、ボリュームデータから生成されたサーフェスデータとされており、サーフェスデータにおける三角形メッシュは互いに連結されたデータとなっている。ただし、レンダリング処理部16bは、CPU11からボリュームデータをサーフェスデータにレンダリング(サーフェスレンダリング)する指示が行われた場合、ボリュームデータをサーフェスデータにレンダリングする処理を実行し、三角形メッシュが連結されたサーフェスデータを生成する。例えば、レンダリング処理部16bは、オブジェクトのボリュームデータのみが存在し、サーフェスデータが生成されていない場合や、オブジェクト表示処理において、オブジェクトが仮想的に切断等されることにより、新しい表面が生成した場合等に、ボリュームデータをサーフェスデータにレンダリングする処理を実行する。
【0019】
本実施形態において、レンダリング処理部16bがボリュームデータをサーフェスデータにレンダリングする場合、ボリュームデータにおけるボクセルと、サーフェスデータにおける三角形メッシュの頂点との関係をテーブル形式のデータ(以下、「頂点位置特定テーブル」と称する。)を用いて、高速に特定しながら処理が行われる。
【0020】
図2は、頂点位置特定テーブルの一例を示す模式図である。
図2に示すように、頂点位置特定テーブルの第1行には、ボリュームデータにおけるボクセルのエッジを識別する番号が格納されている。
また、頂点位置特定テーブルの第2行には、第1行の各エッジ上に三角形メッシュの頂点が存在するか否かを示すフラグ(存在する場合は「1」、存在しない場合は「0」)が格納されている。エッジ上に三角形メッシュの頂点が存在するか否かは、エッジの両端に位置するボクセルの値が所定の差分(表面であるか否かを判定するための閾値以上の値)を有するか否かによって判定することができる。
【0021】
さらに、頂点位置特定テーブルの第3行には、第1行のエッジを識別する番号及びそのエッジに対応する第2行のフラグに基づいて特定されるハッシュ値が格納されている。第3行のハッシュ値は、第n番目(nは自然数)のエッジの場合、第n-1番目のエッジのハッシュ値と、第n-1番目のエッジのフラグとを加算することで算出される。なお、第0番目のエッジのハッシュ値は、ここでは0とするが、任意に設定してもよい。このように、頂点位置特定テーブルのハッシュ値は、加算処理の連続によって算出することができるため、画像処理部16が実行することで、高速に処理することができる。
【0022】
頂点位置特定テーブルの第3行を参照することで、第m番目(mは0以上の整数)の頂点(三角形メッシュの頂点)がいずれのエッジに存在するかを容易に特定することができるため、ボリュームデータからサーフェスデータを生成する処理をより高速に行うことができる。
【0023】
図1に戻り、記憶部17は、ハードディスクまたはフラッシュメモリ等の不揮発性の記憶装置によって構成され、オブジェクト表示処理のためのプログラム等を記憶する。また、記憶部17は、オブジェクトのデータ(ボリュームデータあるいはサーフェスデータ)や、画像処理装置1の各種処理結果(画像処理部16によって生成された特定の表示形態の画像データ等)を記憶する。
【0024】
通信部18は、有線または無線LAN(Local Area Network)やUSB(Universal Serial Bus)等、所定の通信規格に基づいて信号処理を行う通信インターフェースを備え、画像処理装置1が他の装置との間で行う通信を制御する。
【0025】
[UI画面の具体例]
次に、画像処理装置1において表示されるUI画面の具体例について説明する。
UI画面は、画像処理部16によってレンダリングされたオブジェクトのデータを表示すると共に、ユーザからの各種指示(特定の表示形態への移行、オブジェクトの表示における閾値の変更等)を受け付ける機能を有している。
【0026】
[初期UI画面]
初期UI画面は、オブジェクト表示処理が実行された場合に表示されるホーム画面である。
図3は、初期UI画面の一例を示す模式図である。
図3に示すように、初期UI画面には、表示対象のオブジェクトが表示される画面(3次元画像表示部D1及び断面画像表示部D2)と、オブジェクトにおいて表面として表示する閾値を設定するための閾値設定部D3と、オブジェクトを特定の表示形態で表示する等の機能を呼び出すための指示部D4とが含まれている。なお、
図3においては、断面画像表示部D2に表示される断面画像の位置を調整するための「断面位置調整用スライダ」、及び、画像の塗りつぶしの透明度を調整するための「透明度変化用スライダ」が併せて示されている。
3次元画像表示部D1には、閾値設定部D3で設定された閾値に対応する表面が表されたオブジェクトの3次元画像が表示される。なお、ユーザの使用目的等に応じて、3次元画像表示部D1に断面画像を表示する設定としてもよいし、断面画像表示部D2等を非表示として、画面全体を3次元画像表示部D1としてもよい。
【0027】
断面画像表示部D2には、ボリュームデータの任意の場所の三面図を表示できることに加え、3次元画像表示部D1上で指定された点に対応する断面で切断されたオブジェクトの断面画像も表示できる。断面画像表示部D2に表示された断面画像においても、閾値設定部D3で設定された閾値に対応する表面が表された状態となっている。
オブジェクトを3次元画像として表示する場合、レンダリング処理部16bは、カメラ位置(視点)及びマウスカーソル位置を通る半直線と、サーフェスデータの三角形メッシュとの交点を特定し、この交点を3次元画像の表示あるいは断面画像の表示における基準点とする。例えば、レンダリング処理部16bは、特定された交点を、表示されているオブジェクトを回転させる際の中心点として用いることができる。
【0028】
このとき、閾値設定部D3において閾値が変更された場合に、表示されているオブジェクトの状態(具体的には、オブジェクトの表面の表示)が変化するが、この場合、表示されていない部分(体表面等)は存在しないものとして取り扱い、「交点」としては、現在表示されているオブジェクトとの交点が算出される。
なお、閾値設定部D3において閾値が変更され、表示されるオブジェクトの状態が変化される場合、上述の頂点位置特定テーブルを用いて三角形メッシュの頂点を特定することで、高速にオブジェクトの状態を変化させることができる。
このような表示形態とすることにより、ユーザが閾値を変化させて視認したい部分が現れたときに、現在視認しているオブジェクト上の点を中心に回転(あるいはこの点での断面表示等)させることができ、3次元的なオブジェクトを視認するための操作をより利便性が高いものにできる。
【0029】
また、レンダリング処理部16bは、3次元画像表示部D1においてユーザが断面となる平面を指定した場合、断面に対して一方の側(例えば、断面より上側)にある表面データ(三角形メッシュ)のみを表示し、断面に対して反対側(例えば、断面より下側)にある表面データを非表示とすることができる。
閾値設定部D3は、オブジェクトにおいて表面として表示する閾値を設定するユーザインターフェースを構成し、例えば、スライダにより閾値を連続的に設定する形態とすることができる。また、本実施形態において、閾値設定部D3では、オブジェクトを表示するための複数の閾値を設定することが可能となっている。
【0030】
図4は、閾値設定部D3の具体的形態を示す模式図である。
従来のCT画像等では、閾値を1つ設定し、閾値未満である場合は表示する、閾値以上である場合には表示しないといった表示形態が取られており、
図4の「(A)1つの閾値を設定する場合」のように、閾値設定部D3においても、このような表示形態とすることが可能である。
これに対し、
図4の「(B)2つの閾値を設定する場合」のように、閾値設定部D3においては、閾値を複数(例えば2つ)設定し、複数の閾値の間の値を有するボクセルのみを表示することができる。
これにより、閾値の有効領域を特定の値に挟まれた範囲に設定することができる。なお、より多くの閾値を設定可能とし、有効領域を2つ以上設定することとしてもよい。
【0031】
また、スライダにより閾値を設定する場合、スライダの移動範囲の大きさに対して、より詳細な範囲での閾値の設定を行うために、
図4の「(C)補助的なスライダを表示する場合」のように、限られた範囲の目盛りが表示される補助的なスライダを表示することとしてもよい。
図3に戻り、指示部D4には、画像処理装置1において実行可能なオブジェクトの表示あるいは処理に関する各種メニューを呼び出すためのアイコンが表示されている。
【0032】
[物理量計測画面]
物理量計測画面は、初期UI画面において、指示部D4の「計測」メニューが呼び出された場合に表示される画面である。
物理量計測画面では、表示されているオブジェクトにおける距離や体積等の物理量をUI画面に対する操作によって計測することができる。
【0033】
図5は、物理量計測画面の一例を示す模式図である。
物理量計測画面においては、初期UI画面と同様に、3次元画像表示部D1と、断面画像表示部D2と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン及び物理量計測画面における物理量の計測結果を保存するためのアイコンが表示されている。
図5に示す物理量計測画面において、3次元画像あるいは断面画像上で点、線分、曲線あるいは範囲を指定することで 、オブジェクトにおける物理量が計測(算出)され、計測結果がオブジェクトの画面上に表示される。
図5に示す例では、2点間を結ぶ表面上の距離を計測した結果(3次元画像表示部D1における上側の計測結果)と、2点間を結ぶ断面上の距離を計測した結果(3次元画像表示部D1における下側の計測結果)が示されている。
このとき、例えば、マウスの左クリックでオブジェクトの表面上の点を指定し、右クリックでオブジェクトの断面上の点を指定する等、操作方法によって、計測する対象の属性を変化させることができる。
なお、計測可能な物理量としては、断面上の距離/表面上の距離、表面上の面積あるいは体積(例えば、心臓等の閉曲面で囲まれた領域等)等を選択することができる。
【0034】
[位置表示画面]
位置表示画面は、初期UI画面において、指示部D4の「位置表示」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
位置表示画面では、指定されたボクセルの位置がオブジェクトのいずれに存在するかを、少なくとも断面画像において表示することができる。
【0035】
図6は、位置表示画面の一例を示す模式図である。
位置表示画面においては、初期UI画面と同様に、3次元画像表示部D1と、断面画像表示部D2と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、ボクセルを指定するためのアイコン及び位置表示画面におけるボクセルの表示結果を保存するためのアイコン等が表示されている。
ユーザが3次元画像表示部D1においてオブジェクト表面上の任意の点を指定した場合に、断面画像表示部D2においては、指定したボクセルが現在表示されている断面上には存在していない可能性がある。
そこで、
図6に示すように、位置表示画面においては、断面画像表示部D2で表示される断面画像を指定されたボクセルの位置に移動させ、少なくとも断面画像において、指定されたボクセルがいずれにあるかを示すこととしている。
【0036】
また、断面画像表示部D2において断面画像上の任意の点を指定した場合に、指定した断面画像以外の断面や、3次元画像表示部D1においては、指定したボクセルを表示出来ない可能性がある。そこで、断面画像表示部D2においては、断面画像を指定されたボクセルの位置に移動させる。3次元画像表示部D1においては、オブジェクトの内部や、3次元画像表示部D1での表示においてオブジェクトの裏側にあるボクセルが指定された場合等には、サーフェスデータで表される3次元画像には、指定されたボクセルが現れないことがあり、この場合は、3次元画像表示部D1上での断面を、指定されたボクセルを通る位置に移動させること等により、3次元画像表示部D1にて常に位置を確認することが可能である。
これにより、オブジェクトにおける特定の部位を確認したい場合に、確認対象となるボクセルを容易に認識することができる。
【0037】
[視点切替画面]
視点切替画面は、初期UI画面において、指示部D4の「視点切替」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
視点切替画面では、3人称視点(外部からの視点)と、1人称視点(主観的な視点/見上げる・見下ろす等)とを切り替えてカメラの視点を決定することができる。
【0038】
図7は、視点切替画面の一例(3人称視点の場合)を示す模式図である。また、
図8は、視点切替画面の一例(1人称視点の場合)を示す模式図である。
視点切替画面においては、初期UI画面と同様に、3次元画像表示部D1と、断面画像表示部D2と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、視点を切り替えるためのアイコン及び視点切替画面における表示内容を保存するためのアイコン等が表示されている。なお、3次元画像表示部D1以外は用途に応じて非表示としてもよい。
オブジェクトの画像を表示する場合、例えば、臓器のオブジェクトを外部から観察する場合は3人称視点、臓器のオブジェクト内部を観察する(内視鏡での観察と同様の表示形態とする)場合には1人称視点にすることで、利便性が高いものとなる。
【0039】
このとき、1人称視点で臓器内部を観察しながら、閾値設定部D3において閾値を逐次変化させることで、連続していなかった臓器の部分を連続させながら表示させることができる。また、このように閾値を変化させて連続的に表示させた結果を用いて、臓器の一体的な部分のデータを作成することが可能となる。
【0040】
また、
図9は、1人称視点における表示形態例を示す模式図である。
1人称視点とした場合、仮想的なカメラ(視点)の移動において、進行方向と表面との角度に応じて、仮想的なカメラ(視点)における動作を異なるものとすることができる。
例えば、仮想的なカメラ(視点)の進行方向と三角形メッシュ(三角形ポリゴン)の法線とがほぼ平行である場合、オブジェクトの表面で仮想的なカメラが跳ね返るように表示を制御することができる。また、仮想的なカメラ(視点)の進行方向と三角形メッシュ(三角形ポリゴン)の法線とがほぼ垂直である場合、オブジェクトの表面に沿って進むように表示を制御することができる。
これにより、オブジェクト内部を内視鏡で検査する状況等と同様の表示形態とすることができる。
【0041】
[領域抽出画面]
領域抽出画面は、初期UI画面において、指示部D4の「領域抽出」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
領域抽出画面では、表示されているオブジェクトにおいて、連続している領域を抽出し、識別して表示することができる。
【0042】
図10は、人の胸腔部のサーフェスデータの表示例を示す模式図である。また、
図11は、領域抽出画面の一例を示す模式図である。また、
図12は、閾値を変化させて、3次元画像表示部D1に表示されるオブジェクトの表示形態を変化させる様子を示す模式図である。また、
図13は、3次元画像表示部D1に表示されたオブジェクトの一部(ここでは、肺)が連続領域として抽出された状態を示す模式図である。
領域抽出画面においては、初期UI画面と同様に、3次元画像表示部D1と、断面画像表示部D2と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、連続領域を抽出するためのアイコン及び領域抽出画面における連続領域の抽出結果を保存するためのアイコン等が表示されている。なお、3次元画像表示部D1以外は用途に応じて非表示としてもよい。
【0043】
図10に示すオブジェクトにおいて、ユーザが連続領域を抽出する場合、
図11に示す領域抽出画面の3次元画像表示部D1にオブジェクトを表示させる。
そして、閾値設定部D3を操作することにより、連続領域として抽出しようとするオブジェクトの一部が表示されるよう閾値を調整する(
図12参照)。
連続領域として抽出しようとするオブジェクトの一部が表示された状態において、そのオブジェクトの一部上の点を指定すると、
図13に示すように、レンダリング処理部16bは、サーフェスデータにおいて、指定された点(三角形メッシュ)と連続している領域を特定し、特定した領域を識別表示(着色する、エッジを強調する、高輝度で表示する等)する。また、特定した領域以外を非表示としたり、特定した領域のみを非表示としたりしてもよい。
これにより、オブジェクトにおいて、一体的な部分を容易に抽出することができ、例えば、臓器がどのように連続しているか等をわかり易く表示することができる。
【0044】
なお、連続領域を抽出する際に、「連続している部分」とされる領域は、所定の閾値で表示されている状態での連続性を条件とすることができる。
また、「連続している部分」を抽出する場合の閾値は1つに限らず、複数の閾値それぞれの場合に連続している部分(例えば、第1の閾値で連続している状態となる心臓と、第2の閾値で連続している状態となる肺等)を抽出した上で、当該抽出された連続領域は、その後閾値設定部D3によって閾値が調整されても変化せずに残るようにすることもできる。
【0045】
[イラスト表示画面]
イラスト表示画面は、初期UI画面において、指示部D4の「イラスト」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
イラスト表示画面では、3次元画像を2次元アニメーション(イラスト)のように見せる手法(セルルックあるいはトゥーンレンダリング等)で画像の複雑さを解消して表示あるいは印刷することができる。
【0046】
図14は、イラスト表示画面の一例(3次元画像が表示された状態)を示す模式図である。また、
図15は、イラスト表示画面の一例(イラスト化された画像が表示された状態)を示す模式図である。
イラスト表示画面においては、3次元画像表示部D1と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、3次元画像をイラスト化するためのアイコン(またはイラスト化された画像を3次元画像に戻すためのアイコン)及びイラスト表示画面における表示結果(イラスト化された画像)を保存するためのアイコン等が表示されている。なお、イラスト表示画面においても、初期UI画面と同様に、断面画像表示部D2を表示することとしてもよく、断面画像をイラスト化することも可能である。なお、3次元画像表示部D1以外は用途に応じて非表示としてもよい。
【0047】
3次元画像をそのまま表示あるいは印刷(即ち、立体画像を平面的に表示あるいは印刷)した場合、画像が複雑でわかり難くなる場合がある。
特に、医師が患者にCT画像等を示して説明する場合等には、必要な情報以外が多く含まれ、かえって解り難くなることがある。
そこで、イラスト表示画面においては、3次元画像を2次元アニメーション(イラスト)のように見せる手法(セルルックあるいはトゥーンレンダリング等)で画像の複雑さを解消し、模式的に示された画像に変換して表示する。
【0048】
このとき、オブジェクトの表面と内側(例えば、心臓の表面と内側)等を識別して表示するようにすれば、単純かつわかり易い形態で表示できる。また、オブジェクトの各部の名称やコメント等の文字情報を画像上に表示する場合、3次元画像上に表示するよりも(
図14参照)、イラスト化された画像上に表示した方が(
図15参照)、文字情報を識別し易いものとなる。
なお、カルテ等には、3次元画像とイラスト化された画像とを併せて記録することとしてもよい。
【0049】
[オブジェクト変形画面]
オブジェクト変形画面は、初期UI画面において、指示部D4の「変形」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
オブジェクト変形画面では、表示されているオブジェクトを変形したり、切断したりする等、物理的作用を施した結果をシミュレーションして表示することができる。
【0050】
図16は、オブジェクト変形画面の一例を示す模式図である。
オブジェクト変形画面においては、3次元画像表示部D1と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、オブジェクトを変形させるためのアイコン、オブジェクトを切断するためのアイコン、オブジェクトにその他の物理的作用を施すためのアイコン、操作を戻すためのアイコン及びオブジェクト変形画面における操作結果の画像を保存するためのアイコン等が表示されている。
画像処理装置1においては、三角形メッシュが連続したサーフェスデータを取り扱うことから、オブジェクトの変形等、物理的作用を施すシミュレーションを行うことが容易である。また、オブジェクトの変形等により、新たな表面が生成される場合等には、頂点位置特定テーブルを用いて三角形メッシュの頂点を特定することで、高速にオブジェクトの表面を表すサーフェスデータを生成することができる。
【0051】
[動作]
次に、画像処理装置1の動作を説明する。
[オブジェクト表示処理]
図17は、画像処理装置1で実行されるオブジェクト表示処理の流れを説明するフローチャートである。
オブジェクト表示処理は、入力部14を介して、オブジェクト表示処理の実行が指示入力されることに対応して開始される。
【0052】
オブジェクト表示処理が開始されると、ステップS1において、UI制御部11aは、初期UI画面を表示する。初期UI画面において、表示対象となるオブジェクトデータの選択や、表示形態のメニューの選択等が受け付けられる。
ステップS2において、UI制御部11aは、選択された表示形態でオブジェクトを表示する。例えば、UI制御部11aは、物理量計測画面、位置表示画面あるいは視点切替画面等の各種表示形態に対応するアイコンが選択されることに対応して、それぞれの表示画面に移行する。なお、各表示形態の表示画面に移行した直後は、デフォルトのパラメータ(視点あるいは閾値等)に従って、オブジェクトが表示される。
【0053】
ステップS3において、UI制御部11aは、ユーザによるパラメータ(視点、閾値、断面位置等)の変更を受け付ける状態に移行する。
ステップS4において、レンダリング処理部16bは、ユーザによりパラメータが変更されたか否かの判定を行う。
ユーザによりパラメータが変更された場合、ステップS4においてYESと判定されて、処理はステップS2に移行する。これにより、変更されたパラメータに応じて、オブジェクトの表示が更新される。このとき、オブジェクトの表示を更新するために、頂点位置特定テーブルが用いられることで、高速に表示を更新することができる。
一方、ユーザによりパラメータが変更されていない場合、ステップS4においてNOと判定されて、処理はステップS5に移行する。
【0054】
ステップS5において、UI制御部11aは、ユーザにより、表示画面に表示された結果を保存する指示が入力された否かの判定を行う。
表示画面に表示された結果を保存する指示が入力されていない場合、ステップS5においてNOと判定されて、処理はステップS7に移行する。
一方、表示画面に表示された結果を保存する指示が入力された場合、ステップS5においてYESと判定されて、処理はステップS6に移行する。
【0055】
ステップS6において、データ管理部11bは、表示画面に表示された結果を記憶部17に記憶する。
ステップS7において、UI制御部11aは、ユーザにより、初期UI画面に戻る指示が入力されたか否かの判定を行う。
ユーザにより、初期UI画面に戻る指示が入力された場合、ステップS7においてYESと判定されて、処理はステップS1に移行する。
一方、ユーザにより、初期UI画面に戻る指示が入力されていない場合、ステップS7においてNOと判定されて、処理はステップS8に移行する。
【0056】
ステップS8において、UI制御部11aは、オブジェクト表示処理を終了する指示が入力されたか否かの判定を行う。
オブジェクト表示処理を終了する指示が入力されていない場合、ステップS8においてNOと判定されて、処理はステップS4に移行する。
一方、オブジェクト表示処理を終了する指示が入力された場合、ステップS8においてYESと判定されて、オブジェクト表示処理は終了する。
【0057】
このような処理により、画像処理装置1においては、ボリュームデータから生成されたサーフェスデータを、オブジェクトの変形や計測等が可能な種々の表示形態で、高速に表示することができる。
したがって、画像処理装置1によれば、3次元画像を適切に可視化することができる。
【0058】
[変形例1]
上述の実施形態において、頂点位置特定テーブルとして、
図2に示す形態を例に挙げて説明したが、これに限られない。
即ち、頂点位置特定テーブルは、三角形メッシュの頂点がいずれのエッジに存在するかを容易に特定することができるものであれば、種々の変形を行うことが可能である。例えば、ボリュームデータの頂点から所定方向(上下方向、左右方向、前後方向の各一方)に延びるエッジの数(2次元のボリュームデータの場合は2つ、3次元のボリュームデータの場合は3つ)に応じて、これらのエッジをまとめて取り扱うことで、より高速に三角形メッシュの頂点がいずれのエッジに存在するかを特定することができる。
【0059】
図18は、頂点位置特定テーブルの変形例を示す模式図である。
なお、
図18においては、説明を簡単にするため、ボリュームデータの頂点から所定方向に延びるエッジが2つである場合(2次元のボリュームデータ)を例に挙げて説明する。
図18に示すように、本変形例において、頂点位置特定テーブルの第1行には、ボリュームデータにおけるボクセルのエッジを識別する番号が格納されている。
また、頂点位置特定テーブルの第2行には、第1行の各エッジ上に三角形メッシュの頂点が存在するか否かを示す第1のフラグ(存在する場合は「1」、存在しない場合は「0」)が格納されている。エッジ上に三角形メッシュの頂点が存在するか否かは、エッジの両端に位置するボクセルの値が所定の差分(表面であるか否かを判定するための閾値以上の値)を有するか否かによって判定することができる。
【0060】
本変形例における頂点位置特定テーブルでは、2つのエッジが1組として取り扱われる。即ち、エッジ番号の小さいエッジから2つずつを1組とし、これらの組ごとに、第2のフラグが設定される。
具体的には、頂点位置特定テーブルの第3行には、エッジ番号の小さいエッジから2つずつを1組として、これらのエッジの第1のフラグの値を加算した結果が共通の第2のフラグとして設定される。
【0061】
さらに、頂点位置特定テーブルの第4行には、第1行のエッジを識別する番号及びそのエッジに対応する第3行の第2のフラグに基づいて特定されるハッシュ値が格納されている。第4行のハッシュ値は、第2n番目及び第2n+1番目(nは自然数)の1組のエッジの場合、第2(n-1)番目及び第2(n-1)+1番目の1組のエッジのハッシュ値と、第2(n-1)番目及び第2(n-1)+1番目の1組のエッジの第2のフラグとを加算することで算出される。第0番目及び第1番目の組のエッジのハッシュ値は第0番目及び第1番目の組の第2のフラグと同じ値である。このように、頂点位置特定テーブルのハッシュ値は、加算処理の連続によって算出することができるため、画像処理部16が実行することで、高速に処理することができる。
【0062】
なお、頂点位置特定テーブルの第5行には、エッジ番号の小さいエッジから2つずつを1組としたエッジの組の番号が設定されている。このエッジの組の番号は、ボリュームデータの頂点の番号(Voxel ID(ただし、
図18では2次元のボリュームデータの例であるため「Pixel ID」と表記する。))を表している。
このような頂点位置特定テーブルから、三角形メッシュの頂点がいずれのエッジに存在するかを特定する場合、第4行に設定されているハッシュ値を参照することで、第m番目(mは0以上の整数)の頂点がいずれのエッジに存在するかを容易に特定することができる。
【0063】
なお、頂点位置特定テーブルにおいて、第4行に設定されているハッシュ値は不連続な値となっているが、値が不連続となる箇所は、エッジ番号の小さいエッジから2つずつを1組とした場合の2つのエッジ共に三角形メッシュの頂点が存在している場合に該当する。
したがって、頂点位置特定テーブルの第4行に設定されているハッシュ値のうち、不連続な値に該当する三角形メッシュの頂点(例えば、第k番目(kは自然数))を参照する場合、1つ小さい値(第k-1番目)の頂点が属するエッジの組のうち、番号が大きい方のエッジに存在するものと特定できる。
このような頂点位置特定テーブルを用いることで、ボリュームデータにおけるエッジの数が増大した場合であっても、より少ないデータを保持しておくことで、三角形メッシュが存在するエッジを特定することが可能となる。
【0064】
[変形例2]
上述の実施形態において、オブジェクトのデータ(サーフェスデータ)を表示する場合、閾値設定部D3で設定された閾値に基づいて、サーフェスデータを構成する三角形メッシュの頂点の位置を特定し、三角形メッシュの集合で表される表面全体に特定の色(例えば、白または黒)を付してオブジェクトが表示される。
このとき、1つの閾値を設定することで、骨と血管等、ボクセルの値が大きく異なるオブジェクトを同時に表示できれば、比較的単純な処理で表面を表示することができることから、利便性が高いものとなる。
【0065】
しかしながら、1つの閾値を設定して、ボクセルの値が大きく異なるオブジェクトを同時に表示する場合、いずれのオブジェクトの表面も、設定された閾値が共通することから、同一の色で表示されることとなる。
この結果、視点や断面の位置等の条件によっては、異なるオブジェクトの表面を区別し難くなる可能性がある。
【0066】
そこで、本変形例においては、オブジェクト表面の色を付す際に、三角形メッシュの頂点に隣接するボクセルの値を参照し、設定された条件(以下、「着色基準ボクセル選択条件」と称する。)に従って選択されたボクセルに対応する色を三角形メッシュの頂点の色に設定して表示するものとする。
これにより、オブジェクトの属性(内部のボクセルの値)を反映させて表面の色を補正することができるため、ボクセルの値が大きく異なるオブジェクトを1つの閾値で抽出した場合に、異なるオブジェクトの表面を区別し易い形態で表示することができる。また、同一オブジェクト内においても、異なるボクセルの値に応じた色の区別を行うことができる。
【0067】
図19は、本変形例におけるオブジェクト表面の色補正方法を示す模式図である。
なお、
図19においては、説明の便宜のため、表面が線分で表される2次元のボリュームデータを例として示しているが、3次元のボリュームデータの場合、表面は三角形メッシュで表され、三角形メッシュの各頂点について、同様に補正を行うことができる。また、
図19に示す例では、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点を挟むボクセルの一方(ここでは、オブジェクトの内側のボクセル)を選択する場合を示している。
【0068】
図19において、「(a)オリジナルデータ」に示される各点はボクセルを表し、各点に付記された数値はボクセルが有する値を示している。
図19に示す例では、「骨」の領域に属するボクセルは、約1200程度の値を中心に分布し、「血管」の領域に属するボクセルは、約400程度の値を中心に分布している。
このとき、閾値を1000に設定すると、骨の領域が高精度に抽出され、血管の領域は抽出されないこととなる。
【0069】
一方、閾値を300に設定した場合、骨及び血管の領域が抽出されるものの、閾値を1000に設定した場合に比べて、骨の領域がやや膨らんだ状態で抽出される。
しかしながら、閾値を1000に設定した場合に比べて、骨の領域がやや膨らんだとしても、頂点が三角形メッシュの同じ辺の上を移動する程度の差の範囲であれば、1つの閾値を設定して、骨及び血管の領域の表面を同時に表示できることが望ましい。
【0070】
そこで、本変形例においては、三角形メッシュの頂点を挟むボクセルのうち、オブジェクトの内側のボクセルに色を割り当て、このボクセルの色を三角形メッシュの頂点の色としてコピーする。
即ち、
図19の「(a)オリジナルデータ」において、閾値を300に設定した場合、ボクセル(ピクセル)の値が300以上の領域がオブジェクトの内側と定義される。
そして、
図19の「(b)選択されたボクセルへの色の割り当て」に示すように、三角形メッシュの頂点を挟むボクセルのうち、オブジェクトの内側のボクセル(即ち、設定された閾値よりも大きい値を有する方のボクセル)に、オブジェクトの値に応じた色を割り当てる。
【0071】
さらに、
図19の「(c)頂点への色のコピー」に示すように、オブジェクトの内側のボクセルに割り当てられた色を三角形メッシュの頂点の色としてコピーする。
この後、
図19の「(d)表面の色の線形補間」に示すように、三角形メッシュの頂点の色を基準に、頂点の間(表面)の色を線形補間することで、オブジェクトの表面に色が付される。
【0072】
図20は、本変形例の色補正方法によって、1つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。なお、
図20においては、本願発明のオリジナルの手法(第1実施形態の手法)と、本変形例の手法とでオブジェクトを表示した場合の例を比較して示している。
図20に示すように、変形例2の色補正方法によれば、ボクセルの値が大きく異なる領域を1つの閾値で抽出したとしても、オブジェクト内部のボクセルの値が表面に反映されることから、表面がある程度異なる色で表現されたオブジェクトとして表示することができる。
なお、設定された閾値よりもボクセルの値が小さい領域がオブジェクトの内側と定義される場合には、閾値よりも小さい値を有する方のボクセルに色を割り当て、このボクセルの色を三角形メッシュの頂点の色としてコピーすればよい。
【0073】
[変形例3]
上述の変形例2によれば、ボクセルの値が大きく異なる領域を1つの閾値で抽出したとしても、表面がある程度異なる色で表現されたオブジェクトとして表示することが可能となる。
一方、ボリュームデータにおけるオブジェクトの境界が、隣接するボクセルの間に明確に表れていない場合、
図20に示すように、異なるオブジェクトの色が部分的に類似したり、オブジェクトの色が単一にならず、モザイク状や縞模様になったりする可能性が生じる。
【0074】
そこで、本変形例においては、変形例2のオブジェクト表面の色補正方法に変更を加え、オブジェクトの境界が、隣接するボクセルの間に明確に表れていないボリュームデータであっても、ボクセルの値が大きく異なる領域を1つの閾値で抽出した場合に、表面が異なる色で表現されたオブジェクトとして表示する方法を実現する。
【0075】
図21は、オブジェクトの境界が、隣接するボクセルの間に明確に表れていないボリュームデータのオブジェクト表面の色補正方法を示す模式図である。なお、
図21の「(a)線形補間された表面の色」は、オリジナルのボリュームデータに対して、
図19に示す色補正方法が施された状態(「(d)表面の色の線形補間」の状態)を示している。
図21の「(a)線形補間された表面の色」に示すように、オブジェクトの境界において、オブジェクトの内側のボクセルの値とオブジェクトの外側のボクセルの値との中間の値を有するボクセルが存在する場合等には、この中間の値を有するオブジェクトの存在により、異なるオブジェクトの表面に類似する色の部分が生じる。
【0076】
そこで、本変形例においては、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点を挟む複数のボクセル群の一方のボクセル群を選択し、選択したボクセル群の各ボクセルの値の中で最も大きい(または最も小さい)値を有するボクセルを選択するものとする。
即ち、
図21の「(a)線形補間された表面の色」に示す例の第1行のボクセル群において、100,1100,1200のようなボクセル(ピクセル)の配置であれば、オブジェクトの境界が隣接するボクセルの間に明確に表れているといえるが、実際には100,350,1100のようになっており、オブジェクトの内側のボクセルの値1100とオブジェクトの外側のボクセルの値100との中間の値350を有するボクセルが存在している。
このようなボクセルの存在により、
図21の「(a)線形補間された表面の色」に示す骨及び血管の領域の表面では、類似する色の部分が生じている。
【0077】
これに対し、
図21の「(b)変形例3のオブジェクト表面の色補正方法」では、第1行のボクセル群において、三角形メッシュの頂点に隣接する350の値を有するボクセルに加え、さらに1つ先に隣接している1100の値を有するボクセルも着色基準ボクセル選択条件による選択対象とされる。
そして、三角形メッシュの頂点に隣接する350の値を有するボクセル及び1100の値を有するボクセルのうち、大きい方の値を有するボクセルを選択し、1100の値に対応する色が三角形メッシュの頂点にコピーされる。
このような処理を各三角形メッシュの頂点に対して、行方向または列方向に実行し、オブジェクトの属性(内部のボクセルの値)を確実に反映させて、表面の色を補正する。
【0078】
図22は、本変形例の色補正方法によって、1つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。なお、
図22においては、本願発明のオリジナルの手法(第1実施形態の手法)と、本変形例の手法とでオブジェクトを表示した場合の例を比較して示している。
図22に示すように、変形例3の色補正方法によれば、オブジェクトの境界が隣接するボクセルの間に明確に表れていないボリュームデータであっても、ボクセルの値が大きく異なる領域を1つの閾値で抽出した場合に、オブジェクト内部のボクセルの値がより強く表面に反映されることから、表面が異なる色で表現されたオブジェクトとして表示することが可能となる。
【0079】
[変形例4]
変形例3の
図21に示す例では、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点から一方向に隣接する2つ目までのボクセルを着色基準ボクセル選択条件による選択対象とする例について説明したが、より多くの隣接するボクセルを選択対象とすることとしてもよい。また、一方向に隣接するボクセルを選択対象とすることの他、三角形メッシュの頂点の周辺のボクセルを選択対象とすることも可能である。
【0080】
図23は、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点の周辺のボクセルを選択する色補正方法の一例を示す模式図である。
図23においては、変形例3の着色基準ボクセル選択条件である一方向に隣接する2つ先のボクセルまでを選択した上で、2つ先のボクセルから一方向と交差する方向(ここでは前述の一方向と直交する方向とする。)に1つずつ、さらに選択対象のボクセルを拡大した例を示している。
【0081】
図23の「(a)変形例3のオブジェクト表面の色補正方法の一部」に示す例のように、変形例3の色補正方法を用いたとしても、特に、オブジェクトの境界が隣接するボクセルの間に明確に表れていないボリュームデータの場合、参照されるボクセルがオブジェクト内部のボクセルとは異なる値を有するものとなることがある。これは、オブジェクト表面に縞模様(あるいは角部分の不連続な色)が現れる原因となる等、オブジェクト表面を滑らかに表示する上で改善の余地を残すものとなる。
【0082】
そこで、本変形例においては、三角形メッシュの頂点から一方向に隣接する2つ先のボクセルまでを選択した上で、2つ先のボクセルから一方向と交差する方向(直交する方向)に1つずつ、さらに選択対象のボクセルを拡大する。
即ち、
図23の「(b)変形例4のオブジェクト表面の色補正方法の途中経過」に示す例の第2行の三角形メッシュの頂点に着目すると、この頂点については、左側の図に示すように、第2行の右側に隣接する2つのボクセル及び第2行の右端のボクセルの上下に隣接する2つのボクセルが選択対象となり、これらの中で最も大きい値である1200を有するボクセルが選択され、1200の値に対応する色が着目する三角形メッシュの頂点にコピーされる。
【0083】
次に、
図23の「(b)変形例4のオブジェクト表面の色補正方法の途中経過」に示す例の第3行の三角形メッシュの頂点に着目すると、この頂点についても、右側の図に示すように、第3行の右側に隣接する2つのボクセル及び第3行の右端のボクセルの上下に隣接する2つのボクセルが選択対象となり、これらの中で最も大きい値である1200を有するボクセルが選択され、1200の値に対応する色が着目する三角形メッシュの頂点にコピーされる。
この様な処理が繰り返される結果、
図23の「(c)変形例4のオブジェクト表面の色補正方法の一部」に示す例のように、1200の値を有するボクセルの周辺に位置するオブジェクト表面においては、全ての三角形メッシュの頂点に1200の値に対応する色がコピーされることとなる。
【0084】
そのため、
図23の「(a)変形例3のオブジェクト表面の色補正方法(一部抜粋)」に示す例の場合に比べて、オブジェクト表面に縞模様(あるいは角部分の不連続な色)が現れることが抑制されている。
即ち、変形例4の色補正方法によれば、オブジェクト表面において特異な色が現れることを防止し、オブジェクトの表面をさらに滑らかに表示することが可能となる。
【0085】
図24は、本変形例の色補正方法によって、1つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。なお、
図24においては、本願発明のオリジナルの手法(第1実施形態の手法)と、本変形例の手法とでオブジェクトを表示した場合の例を比較して示している。
図24に示すように、変形例4の色補正方法によれば、オブジェクトの境界が隣接するボクセルの間に明確に表れていないボリュームデータであっても、オブジェクト内部のボクセルのうち、より適切なボクセルの値が表面に反映されることとなる。そのため、ボクセルの値が大きく異なる領域を1つの閾値で抽出した場合に、表面が異なる色で表現されたオブジェクトをより滑らかに表示することが可能となる。
【0086】
以上のように構成される画像処理装置1は、UI制御部11aと、レンダリング処理部16bと、を備える。
レンダリング処理部16bは、値を有する複数の点によって構成されるボリュームデータから、値の大きさに基づいて特定される表面の形状を表す表面データ(サーフェスデータ)を取得する。
UI制御部11aは、表面データとして表示するか否かを決定するための値の閾値を設定する。
レンダリング処理部16bは、視点として設定された位置とユーザによって指定された点とを通る直線が、閾値に応じて表示される表面の形状と交差する交点を特定する。
レンダリング処理部16bは、交点を通る平面を基準として、表面データが表す表面の形状の表示を制御する。
これにより、ボリュームデータから生成されたサーフェスデータを種々の表示形態で、高速に表示することができる。
したがって、画像処理装置1によれば、3次元画像を適切に可視化することができる。
【0087】
レンダリング処理部16bは、ボリュームデータにおけるボクセルのエッジを識別するエッジ情報と、エッジに表面データを表す三角形メッシュの頂点が存在するか否かを表すフラグと、エッジ情報と、フラグとに基づいて特定される三角形メッシュの頂点を識別する頂点識別情報とが対応付けられたテーブルデータを参照し、ボリュームデータから表面データを取得する。
これにより、ボリュームデータから表面データを取得する処理をより高速に行うことができる。
【0088】
レンダリング処理部16bは、交点を通る平面に対し、一方の側に存在する表面データを表示し、他方の側に存在する表面データを表示しない。
これにより、断面画像を容易に生成することができる。
【0089】
レンダリング処理部16bは、表示されている表面データにおいて、特定の操作が行われた場合に、表面データに基づいて、当該操作に対応する物理量を算出する。
これにより、表示されている表面データに対する操作によって、表面データが表すオブジェクトの物理量を計測することが可能となる。
【0090】
レンダリング処理部16bは、表面データにおけるボクセルが指定された場合に、当該ボクセルを通る断面画像を表示する。
これにより、オブジェクトにおける特定の部位を確認したい場合に、確認対象となるボクセルを容易に認識することができる。
【0091】
レンダリング処理部16bは、ユーザの操作に応じて、ボリュームデータが表すオブジェクトの外部を視点とする第1の表示形態と、オブジェクトの内部を視点とする第2の表示形態とを切り替える。
これにより、オブジェクトを外部から観察する場合と、オブジェクト内部を観察する場合とで適切な視点に切り替えることができるため、オブジェクトを表示する際の利便性を高めることができる。
【0092】
UI制御部11aは、表面データとして表示するか否かを決定するための第1の閾値と第2の閾値とを設定する。
レンダリング処理部16bは、設定された第1の閾値と第2の閾値とによって決定される値に基づいて、表面データの表示を制御する。
これにより、多様な閾値を設定して、適切に表面データを表示することが可能となる。
【0093】
レンダリング処理部16bは、表示されている表面データにおいて、特定の点に対する操作が行われた場合に、表面データに基づいて、当該特定の点と連続する部分を抽出する。
これにより、表面データが表すオブジェクトにおける一体的な部分を容易に抽出することができ、オブジェクトがどのように連続しているか等をわかり易く表示することができる。
【0094】
レンダリング処理部16bは、ユーザの指示に応じて、表示されている前記表面データをイラスト化した2次元画像に変換して表示する。
これにより、画像の複雑さを解消し、模式的に示されたわかり易い画像を表示することができる。
【0095】
レンダリング処理部16bは、1つの閾値が設定された場合に、ボリュームデータが表すオブジェクトであって、当該閾値に応じて表示される異なるオブジェクトの表面を、当該オブジェクトそれぞれの内部のボクセルの値に応じた色で表示する。
これにより、ボクセルの値が大きく異なる領域を1つの閾値で抽出したとしても、表面が異なる色で表現されたオブジェクトとして表示することができる他、同一オブジェクト内でも異なるボクセルの値に応じた色の区別を行うことができる。
【0096】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
即ち、本発明は、画像処理機能を備える各種電子機器に対して適用することができる。
【0097】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、
図1の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
【0098】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0099】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM(Read Only Memory)や、記憶部20Bに含まれる半導体メモリ等で構成される。
【0100】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0101】
1 画像処理装置、11 CPU、11a UI制御部、11b データ管理部、12 ROM、13 RAM、14 入力部、15 表示部、16 画像処理部、16a オブジェクトデータ取得部、16b レンダリング処理部、17 記憶部、18 通信部