特許 7555560 医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラム

(51)【国際特許分類】

   A61B 6/46 20240101AFI20240917BHJP

   A61B 6/03 20060101ALI20240917BHJP

   A61B 5/055 20060101ALI20240917BHJP

   A61B 8/14 20060101ALI20240917BHJP

   G06T 15/08 20110101ALI20240917BHJP

   G06T 19/00 20110101ALI20240917BHJP

【ＦＩ】

A61B6/46 536N

A61B6/03 560H

A61B6/03 560D

A61B5/055 380

A61B8/14

G06T15/08

G06T19/00 A

【請求項の数】 8

(21)【出願番号】P 2020078919

(22)【出願日】2020-04-28

(65)【公開番号】P2021171443

(43)【公開日】2021-11-01

【審査請求日】2023-03-10

(73)【特許権者】

【識別番号】391039313

【氏名又は名称】株式会社根本杏林堂

(74)【代理人】

【識別番号】100106297

【弁理士】

【氏名又は名称】伊藤 克博

(72)【発明者】

【氏名】七戸 金吾

【審査官】亀澤 智博

(56)【参考文献】

【文献】特開２０２０－０００８６３（ＪＰ，Ａ）

【文献】特開平０２－１５０９６８（ＪＰ，Ａ）

【文献】特開２０１１－２００５４９（ＪＰ，Ａ）

【文献】特表２００６－５１２１３３（ＪＰ，Ａ）

【文献】特開２００９－１１９０００（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２７９９９６（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１４９７２１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／５８

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ８／００ － ８／１５

Ｇ０１Ｔ １／１６１ － １／１６６

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

被検者の解剖学的構造体を表す三次元画像の表示を制御する表示制御部を備える医用画像処理装置であって、
前記表示制御部は、
ａ１：前記三次元画像の表示範囲を規定するためのグラフィカルユーザインターフェースを含む画像を生成する処理であって、当該グラフィカルユーザインターフェースは、
三次元空間内における所定の基準軸に沿った前記三次元画像の一方の側の切断基準面を 規定するための第１のスライダと、
前記所定の基準軸に沿った前記三次元画像の他方の側の切断基準面を特定するための第２のスライダと、
を含むものである、画像生成処理と、
ａ２：前記切断基準面どうしの間に存在する前記三次元画像を表示する処理と、
を行うように構成されており、さらに、
前記第１および第２のスライダは独立に移動可能であり、かつ、
所定の入力が行われた場合には、前記スライダどうしの距離を保ったまま前記第１および第２のスライダを同時に移動させることができるように構成されている、医用画像処理装置。

【請求項2】

タッチパネル式ディスプレイへの、被検者の解剖学的構造体を表す三次元画像の表示を制御する表示制御部を備える医用画像処理装置であって、
前記表示制御部は、
ａ１：前記三次元画像の表示範囲を規定するためのグラフィカルユーザインターフェースを含む画像を生成する処理であって、当該グラフィカルユーザインターフェースは、
三次元空間内における所定の基準軸に沿った前記三次元画像の一方の側の切断基準面を 規定するための第１のスライダと、
前記所定の基準軸に沿った前記三次元画像の他方の側の切断基準面を特定するための第２のスライダと、
を含むものである、画像生成処理と、
ａ２：前記切断基準面どうしの間に存在する前記三次元画像を表示する処理と、
を行うように構成されており、
前記第１および第２のスライダが所定位置にある状態で、前記第１および第２のスライダに挟まれた領域の任意の位置をタッチし、所定の方向に移動された場合に、前記スライダどうしの距離を保ったまま前記第１および第２のスライダを同時に移動させることができるように構成されている、医用画像処理装置。

【請求項3】

前記所定の入力は、前記第１のスライダと第２のスライダとの間の領域の一部を選択し、所定方向に移動させることである、請求項１に記載の医用画像処理装置。

【請求項4】

前記グラフィカルユーザインターフェースは、三次元画像を表示するための表示領域に表示される、請求項１～３のいずれか一項に記載の医用画像処理装置。

【請求項5】

前記一方の側の切断基準面では三次元画像の断面が表示され、および／または、
前記他方の側の切断基準面では三次元画像の他の断面が表示される、
請求項１～４のいずれか一項に記載の医用画像処理装置。

【請求項6】

前記表示範囲が規定された状態で、
前記三次元画像は、回転可能、移動可能、および拡大縮小可能の少なくとも１つの態様で表示されている、
請求項１～５のいずれか一項に記載の医用画像処理装置。

【請求項7】

被検者の解剖学的構造体を表す三次元画像を表示する医用画像処理装置の制御方法であって、
ａ１：前記三次元画像の表示範囲を規定するためのグラフィカルユーザインターフェースを含む画像を生成するステップであって、当該グラフィカルユーザインターフェースは、
三次元空間内における所定の基準軸に沿った前記三次元画像の一方の側の切断基準面を規定するための第１のスライダと、
前記所定の基準軸に沿った前記三次元画像の他方の側の切断基準面を特定するための第２のスライダと、
を含むものである、生成ステップと、
ａ２：前記切断基準面どうしの間に存在する前記三次元画像を表示させるステップと、
を含み、さらに、
前記第１および第２のスライダは独立に移動可能であり、かつ、
所定の入力が行われた場合には、前記スライダどうしの距離を保ったまま前記第１および第２のスライダを同時に移動させることができるようにすることを含む、医用画像処理装置の制御方法。

【請求項8】

被検者の解剖学的構造体を表す三次元画像を表示する医用画像処理プログラムであって、１つまたは複数のコンピュータに、
ａ１：前記三次元画像の表示範囲を規定するためのグラフィカルユーザインターフェースを含む画像を生成するステップであって、当該グラフィカルユーザインターフェースは、
三次元空間内における所定の基準軸に沿った前記三次元画像の一方の側の切断基準面を 規定するための第１のスライダと、
前記所定の基準軸に沿った前記三次元画像の他方の側の切断基準面を特定するための第２のスライダと、
を含むものである、生成ステップと、
ａ２：前記切断基準面どうしの間に存在する前記三次元画像を表示させるステップと、
を行わせ、さらに、
前記第１および第２のスライダは独立に移動可能であり、かつ、
所定の入力が行われた場合には、前記スライダどうしの距離を保ったまま前記第１および第２のスライダを同時に移動させることができるようにする、医用画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被検者の解剖学的構造体を二次元または三次元の医用画像として表示する医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラムに関し、特には、三次元医用画像を操作性良く扱うことができ高信頼な手術の実施に寄与し得る医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラムに関する。

【背景技術】

【0002】

従来、ＣＴ装置等の撮像装置によって得られた断層画像データに基づき医用画像を生成し、その医用画像を用いて診断および治療が行われている。医用画像は、例えば、病変の有無の確認、手術前のシミュレーション、および手術中のナビゲーション等に利用される。医用画像としては、二次元画像だけではなく、解剖学的構造体を立体的に表した三次元画像（三次元モデル）も利用されるようになってきている。なお、撮像装置によって取得される断層画像データは、複数のスライス画像データすなわち二次元画像のデータであり、一方、三次元画像は、二次元画像のデータからボリュームデータを作成することによって得られるものである。

【0003】

例えば特許文献１には、二次元画像と三次元画像を同一の表示デバイスに表示できる医用画像表示装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－８６３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記文献の装置でも、二次元画像と三次元画像との両方を観察しながら良好に病変の有無の確認やシミュレーション等を行うことができるが、手術直前や手術中という状況下での使用が想定されるこの種の装置においては、医用画像をより操作性良く扱うことができるようになっていることが高信頼な手術実施の観点からも望ましい。

【0006】

そこで、本発明の目的は、三次元医用画像を操作性良く扱うことができ高信頼な手術の実施に寄与し得る医用画像処理装置、医用画像処理方法および医用画像処理プログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一形態に係る発明は下記の通りである：
被検者の解剖学的構造体を表す三次元画像の表示を制御する表示制御部を備える医用画像処理装置であって、
上記表示制御部は、
上記三次元画像の表示範囲を規定するためのグラフィカルユーザインターフェースを含む画像を生成する処理であって、当該グラフィカルユーザインターフェースは、
三次元空間内における所定の基準軸に沿った上記三次元画像の一方の側の切断基準面を規定するための第１のスライダと、
上記所定の基準軸に沿った上記三次元画像の他方の側の切断基準面を特定するための第２のスライダと、
を含むものである、画像生成処理と、
上記切断基準面どうしの間に存在する上記三次元画像を表示する処理と、
を行うように構成されている、医用画像処理装置。

【0008】

（用語の定義）
・「二次元画像」（医用画像に関する文脈における二次元画像）とは、被検者の断面画像のことをいい、例えばＣＴ値の大小に応じた濃淡で表される画像等がこれに相当する。
・「三次元画像」とは、解剖学的構造体を三次元的に表した立体的モデルのことをいう。三次元画像は、一例として、解剖学的構造体ごとに設定された複数のレイヤーで構成されており、座標情報の他に、これらレイヤーを示す情報である複数のレイヤー情報、およびレイヤーごと（解剖学的構造ごと）に異なる色相情報をもっている。これらの情報は、一例で、ボリュームデータセットから三次元画像を作成した際に、ボリュームデータセットの各ボクセルから引き継いだ情報であってもよい。三次元画像においては、レイヤーごとに解剖学的構造体が異なる色で表示されてもよい。
・「解剖学的構造体」とは、被写体内で認識可能な対象物（例えば臓器、骨、血管等）のことをいい、脂肪や、腫瘍等の病変等も含む。また、全体としてみれば１つの解剖学的構造であっても、複数の単位に分けられたり別個の役割等を有していたりする解剖学的構造体については、複数の解剖学的構造体として扱われることもある。例えば、肺は、上葉、中葉および下葉をそれぞれ別個の解剖学的構造体として扱うことができ、また、血管は、動脈系血管と静脈系血管をそれぞれ別個の解剖学的構造体として扱うことができる。
・「選択する」という語句に関し、例えば、「操作者がアイコンを選択する」と言った場合には、アイコンを選ぶための手段は特に限定されるものではなく、例えば、タッチパネルを介して操作者が当該アイコンをタッチ（タップ）すること、マウス等を用いてカーソルで当該アイコンを選択すること、ジェスチャ入力等を用いて当該アイコンを選択すること等の全てが含まれるものとする。
・「制御部」とは、一形態では、ＣＰＵおよびメモリ等を有し演算処理を行うものであり、「コントローラ」、「プロセッサ」、「コントローラユニット（制御ユニット）」、「コントローラ回路（制御回路）」、「コントローラモジュール（制御モジュール）」、「プロセッサ部」、「演算部」、「プロセッサユニット」、「プロセッサモジュール」等と呼ぶこともできる。「制御部」は、マイクロコンピュータ、マイクロコントローラ、プログラマブル論理コントローラ、特定応用向け集積回路、および他のプログラム可能な回路などで構成することができる。本明細書において、「制御部」は、物理的に１つの構成であってもよいが、２つまたは３以上の制御部が機能的に協働して１つの「制御部」を構成するものであってもよい。
・画像の表示における「半透明」とは、三次元画像での解剖学的構造体の表示形態の一つであり、隠れていた他の解剖学的構造体を視認できるように透過率が設定されていることを意味し、半透明とされる対象となる解剖学的構造体をほとんど視認することができない状態での表示も含む。

【0009】

（医用画像処理装置の一般的説明）
医用画像処理装置は、一例として、操作者からの入力を受け付けるための入力デバイスと、その入力に基づいて所定のデータ処理を行う一つまたは複数の制御部（プロセッサ部）と、医用画像を表示するための表示デバイス等を備え、二次元画像および三次元画像を表示する。表示デバイスを備えておらず、画像の生成等のみを行う装置も本発明の医用画像処理装置に含まれる。医用画像処理装置が有する表示機能としては、次のようなものの少なくとも１つが挙げられる：
・医用画像の移動、回転、拡大・縮小等、断面位置変更等、
・特定の解剖学的構造体の着色表示、透過状態での表示等、
・二次元画像と三次元画像とにおける対応位置の表示等。

【発明の効果】

【0010】

本発明によれば、三次元医用画像を操作性良く扱うことができ高信頼な手術の実施に寄与し得る医用画像処理装置、医用画像処理方法および医用画像処理プログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態による医用画像処理装置のブロック図である。

【図2】医用画像処理装置で表示される画像の一例を示す図である。

【図3】表示画像の一例を示す図である（三次元画像と一緒に切断面を表示させた状態）。

【図4】フラットカット機能のためのグラフィカルユーザインターフェースの一例を示す図である。

【図5】フラットカット機能のためのグラフィカルユーザインターフェースの一例を示す図である（三次元画像が部分的に切断された状態）。

【図6】図４のユーザインターフェースの機能を説明するための図である。

【図7】三次元画像に対して表示される３Ｄポインタについて説明するための図である。

【図8】３Ｄポインタの操作方法を示す図である。

【図9】バーチャルプローブ機能について説明するための図である。

【図10】マージン球について説明するための図である。

【図11】マージン球のサイズを変更するためのユーザインターフェースの一例を示す図である。

【図12】オブジェクトの透過度を変更するためのユーザインターフェースの一例を示す図である。

【図13】凝固範囲シミュレーション機能を説明するための図である。

【図14】ポインタを表示させるための入力方式の一例を示す図である。

【図15】図１４の入力方式により表示されたポインタを示す図である。

【図16】円形領域を指定するための入力方式の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の幾つかの形態について図面を参照しながら説明する。なお、以下で説明する具体的な機器の構成や方法はあくまで本発明の一形態に係るものであり、本発明はこれに必ずしもこれに限定されるものではない。

【0013】

医用画像処理システム１は、図１に示すように、この例では、画像表示制御部１１と、データ格納部１２と、表示デバイス１３と、入力デバイス１４とを備えている。医用画像処理システム１は、さらに、データ入出力インターフェース１５、医用情報管理装置２１、薬液注入装置２２および撮像装置２３を備えていてもよい。医用画像処理システム１は、三次元画像およびその三次元画像と関連付けられた他の種類の画像である第二画像を表示デバイス１３に同時に表示できるように構成されるものである。以下においては、第二画像が二次元画像である場合を例に挙げて説明する。

【0014】

表示デバイス１３は、液晶ディスプレイおよび有機ＥＬディスプレイなど、画像表示制御部１１で作成された画像を表示できる任意のディスプレイであってよい。表示デバイス１３は１つであってもよいし複数であってもよい。

【0015】

入力デバイス１４は、例えば、キーボードやマウスなど、操作者による入力操作を受け付け、画像表示制御部１１にデータ等を入力できる任意のデバイスであってよい。また、ディスプレイとタッチスクリーンとを組み合わせたタッチパネルを、表示デバイス１３および入力デバイス１４として用いることもできる。入力デバイス１４としては、非接触で入力を行うことのできる非接触入力ユニットを組み合わせることもできる。非接触入力ユニットは、ジェスチャ認識技術を利用したものと音声認識技術を利用したものに分けることができる。ジェスチャ認識技術を利用した非接触入力ユニットの一例として、「Ｌｅａｐセンサ」（Ｌｅａｐ Ｍｏｔｉｏｎ社製）が挙げられる。「Ｌｅａｐセンサ」は、操作者の指の動き等を非接触で認識できる入力デバイスであり、赤外線照射部と、赤外線カメラ等を有する。赤外線照射部から照射された赤外線が操作者の手に当たったときの反射光を赤外線カメラで撮影し、画像解析を行うことで、三次元空間内での操作者の手および指の位置、動作および形状等をリアルタイムで検出するものである。ジェスチャ認識技術を利用した非接触入力ユニットの他の例として、「リアルセンス」（インテル社製）が挙げられる。「リアルセンス」は、ＲＧＢカメラおよび赤外線カメラから構成された３Ｄカメラ、赤外線センサ等をモジュール化したものであり、色情報の他に奥行情報を取得でき、操作者の指等の動作を三次元で認識可能である。本形態では、Ｌｅａｐセンサおよびリアルセンスのいずれも利用可能であり、いずれにおいても、入力のための操作者の動作は、タッチパネル上での操作者の動作（例えば、タップ、ダブルタップ、スワイプ、フリック、ピンチイン、ピンチアウトなど）と同じ動作に加え、奥行方向の動作も利用可能である。実際の入力動作に際しては、アクリル樹脂等からなる透明な平板を適宜位置に配置し、その平板を基準面として入力動作を行うようにすることで、奥行方向での位置ずれによる誤認識を防止することができる。

【0016】

音声認識技術を利用した非接触入力ユニットの例として、音声認識ユニットを挙げることができる。音声認識ユニットは、操作者が発生した音声を取得するマイクロフォンと、マイクロフォンが取得した音声を認識して操作用信号に変換する音声認識装置とを有するものであってもよい。音声認識装置の設置場所は任意であってよいが、マイクロフォンは、操作者の近くに設置することが好ましい。

【0017】

データ格納部１２は、複数の解剖学的構造体についての立体的配置を表す三次元画像を作成可能な少なくとも１つのデータセットを格納する。データ格納部１２としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）および各種メモリの少なくとも一種を含むことができる。データ格納部１２には、これら二次元画像データおよび三次元画像データの他に、画像表示制御部１１が行う処理に必要な少なくとも１つのプログラム、テーブル、データベース等が格納されていてもよい。データ格納部１２に格納されるデータセットは、データ入出力インターフェース１５を通じて医用情報管理装置２１から取得することができる。データ入出力インターフェース１５は、医用情報管理装置２１と無線接続されるものであってもよいし有線接続されるものであってもよい。

【0018】

医用情報管理装置２１としては、ＰＡＣＳ（ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ ＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍｓ）、ＲＩＳ（Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）およびＨＩＳ（Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）等が挙げられる。医用情報管理装置２１は、薬液注入装置２２によって薬液（例えば造影剤）が注入され、撮像装置２３によって撮像された被検者の医用画像のデータを管理する。薬液注入装置２２としては、シリンジや薬液バッグ等に充填された造影剤等の薬液を、予め設定された注入条件に従って被検者に注入する任意の注入装置であってもよい。

【0019】

撮像装置２３は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇａｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、アンギオグラフィ装置、ＰＥＴ（Ｐｏｓｉｔｏｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置、超音波診断装置等、画像データで構成された医用画像を撮像することのできる任意の装置であってよい。データ格納部１２に格納されるデータセットは、撮像装置２３から取得することもできる。

【0020】

なお、データ格納部１２に格納されるデータセットについて説明すると、データセットの例としては、複数の解剖学的構造体についてのボリュームデータセットが挙げられる。ボリュームデータセットは、撮像装置２３によって被検者に対して特定の方向（例えば、体軸方向、左右方向、前後方向、これらの少なくとも１つに対して傾斜した方向など）に一定の間隔（例えば１ｍｍ間隔）で連続的に撮影された複数（例えば３００枚）のスライス画像データを体軸方向に配列して得られるデータセットである。また、データ格納部１２に格納されるデータセットは、撮像装置２３から直接または間接的に取得された生データであってもよい。この場合、画像表示処理部１１は、データ格納部１２に格納された生データの再構成を行い、任意の画像を得るように構成されることが好ましい。ボリュームデータセットは複数のボクセルからなり、各ボクセルのボクセル値に基づく所定の処理により、複数の解剖学的構造体が抽出される。そして、各ボクセルに対して、抽出した解剖学的構造体ごとに透過率や色相が設定される。よって、各ボクセルは、座標情報、透過率情報および色相情報を含んでいる。このようにして解剖学的構造体が抽出され、解剖学的構造体ごとに透過率や色相が設定されたボリュームデータセットにレンダリング処理を行うことによって、三次元画像が作成される。レンダリング処理としては、ボリュームレンダリング（ＶＲ）、最大値投影法（ＭＩＰ）などが挙げられる。解剖学的構造体の抽出のための処理、各ボクセルに対する透過率や色相の設定、およびレンダリング処理など、ボリュームデータセットから三次元画像を作成するための各処理は公知の処理であってよいので、ここではそれらの詳細な説明は省略する。また、ボリュームデータセットにおける解剖学的構造体の抽出、および透過率・色相の設定は、この画像表示制御部１１で行ってもよいし、予め、解剖学的構造体が抽出され透過率および色相が設定されたボリュームデータセットがデータ格納部１２等に格納されていてもよい。

【0021】

解剖学的構造体ごとに透過率および色相が設定されたボリュームデータセットは、解剖学的構造体ごとに複数のレイヤーに分けられており、各ボクセルがレイヤー情報を含んでいてもよい。この場合、ボリュームデータセットは、解剖学的構造体ごとの複数のレイヤー情報をもつ１つのデータファイルとしてデータ格納部１２等に格納されていてもよいし、それぞれレイヤー情報ごとに分けられた複数のデータファイルとしてデータ格納部１２等に格納されていてもよい。ボリュームデータセットがいずれの形態で格納されるかは、ボリュームデータセットの格納時に操作者が任意に選択できるようにしてもよい。

【0022】

なお、ボリュームデータセットを任意の平面で切り出して再構成することによって、二次元画像を作成することが可能である。このような処理を、任意断面再構成（ＭＰＲ）という。医療分野で用いられる二次元画像としては、基本的に、被検者の体軸方向に垂直なアキシャル断面、被検者の左右方向に垂直なサジタル断面および被検者の前後方向に垂直なコロナル断面がある。これらの二次元画像は、ボリュームデータセットから作成された、所望の断面位置における二次元画像データを用いて作成可能である。二次元画像データの作成は、データ格納部１２等に格納されたボリュームデータセットを用い、この画像表示制御部１１で行なわれてもよい。あるいは、ボリュームデータセットを用いて予め作成された複数の二次元画像データ（二次元画像データセット）が、その元となるボリュームデータセットとともにデータ格納部１２等に格納されてもよい。いずれの場合でも、ボリュームデータから二次元画像データが作成された段階で、ボリュームデータの各ボクセルの座標情報が二次元画像データに引き継がれ、したがって、共通のボリュームデータに基づく三次元画像および二次元画像は共通の座標データをもっている。また、二次元画像の表示に際しては、二次元画像データの補間処理がなされてもよい。例えば上記のアキシャル断面、サジタル断面およびコロナル断面といった複数の断面における二次元画像データセットがデータ格納部１２等に格納される場合、二次元画像データセットは、全ての断面についての複数の二次元画像データを有する１つのデータファイルとしてデータ格納部１２に格納されていてもよいし、それぞれ各断面についての複数の二次元画像データを有する複数のデータファイルとしてデータ格納部１２等に格納されていてもよい。

【0023】

図１の構成に関し、符号１０で示す医用画像処理装置が、画像表示制御部１１、データ格納部１２、表示デバイス１３、入力デバイス１４およびデータ入出力インターフェース１５を単一の筐体内に収めたものとして構成されていてもよい。医用画像処理装置１０としては、タブレット端末や、タッチパネルディスプレイを有するノート型パーソナルコンピュータなど、可搬型の端末であってもよい。もっとも、本発明はこれに限らず、医用画像処理端末１０が、表示デバイス１３および入力デバイス１４が画像表示制御部１１と別体のユニットで構成されたワークステーションとして構成されていてもよい。

【0024】

画像表示制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備えたコンピュータユニットで構成することができ、入力デバイス１４によって受け付けられた入力に従って表示デバイス１３への画像の表示を制御する種々の処理を実行する。画像表示制御部１１で行われる処理は、コンピュータプログラムで実現してもよいし、論理回路によるハードウェアで実現してもよい。画像表示制御部１１で行われる処理をコンピュータプログラムで実現する場合、コンピュータプログラムは、前述したように、データ格納部１２等に格納されてもよい。データ格納部１２に格納されたコンピュータプログラムは、画像表示制御部１１のＲＡＭにロードされることによって実行され、ＣＰＵなどのハードウェアと協働することによって各種処理が実行される。

【0025】

コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記憶させてもよい。コンピュータプログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は特に限定されず、例えば、メモリーカード、ＣＤ－ＲＯＭ等の記録媒体であってもよい。記録媒体に記憶されたコンピュータプログラムは、適宜のリーダーを介してコンピュータユニットに格納されてもよい。適宜のリーダーとは、例えば、記録媒体がメモリーカードである場合はカードリーダ、記録媒体がＣＤ－ＲＯＭである場合はＣＤドライブ、などが挙げられる。または、コンピュータプログラムは、外部のサーバから通信ネットワークを介してコンピュータユニットにダウンロードされたものであってもよい。

【0026】

画像表示制御部１１（図１参照）は、画像の表示を制御する種々の処理を実行するため、入力判定部、表示処理部、およびユーザインターフェース部を、概念的な構成として有するものであってもよい。

【0027】

入力判定部は、入力デバイス１４が受け付けた入力を、入力を受け付けた入力デバイス１４の種類、入力された信号の変化などから、表示デバイス１３に表示されている画像に対してどのような処理を行うかを判定する。表示処理部は、主に、表示デバイス１３の表示領域についての処理および表示領域内での画像表示についての処理を行う。

【0028】

これらの処理について、データ格納部１２等にボリュームデータセットが格納されている場合を例として簡単に説明すると、表示領域の処理に関し、表示処理部は、図２等に示す具体的な医用画像を生成して表示デバイスに表示させる。ユーザインターフェース部は、操作者からの入力操作のための画像ボタン（アイコン）をはじめとする種々のユーザインターフェース等の画像を生成および／または表示させる役割を果たす。

【0029】

表示領域内での画像表示についての処理では、詳細は後述するように、データ格納部１２等に格納されているボリュームデータセットから作成された三次元画像を表示させると同時に、三次元画像で特定された位置に対応する二次元画像をデータ格納部１２等に格納されているボリュームデータセットから作成し、表示させる処理を行う。

【0030】

［表示画像の具体例］
本実施形態の一形態の表示画面は図２に示すようなものであってもよい。この例では、表示画像１００は、三次元画像表示領域１０１Ａと二次元画像表示領域１０１Ｂとの２つの領域を含んでいる（以下では、これらを区別せず単に「画像表示領域（１０１Ａ、１０１Ｂ）」などとも表現する）。なお、以下では、タッチパネルを通じて各種アイコン等が操作される例について説明するが当然ながらこれに限定されるものではない。また、説明の都合上、符号を省略して説明を行う場合もある。

【0031】

画像表示領域１０１Ａ、１０１Ｂは、例えば横方向に並んで表示されてもよく、また、図２に示すように分割ライン１０２によって区切られていてもよい。この分割ライン１０２は、一例として、左右方向に移動可能に設けられており、これを左右に動かすことでそれぞれの画像表示領域１０１Ａ、１０１Ｂのサイズを変更できるようになっている。分割ライン１０２が移動可能であることが操作者に直感的に理解されやすいように、分割ライン１０２の一部に操作対象部１０２ａが設けられていてもよい。この操作対象部１０２ａ付近に指を触れてそれを左右に動かすことで、分割ライン１０２が左右に移動する。

【0032】

図２の例では、三次元画像３００として、肝臓のオブジェクト３０５および血管のオブジェクト３０３を含むモデルが画像表示領域１０１Ａに表示されている。

【0033】

画像表示領域１０１Ａには、また、三次元画像３００の表示等を操作するため種々のアイコン１１１～１１６が表示されている。アイコン１１１は各種の機能を呼び出すためのメニューアイコンであり、アイコン１１２は三次元画像の表示を予めセットされた所定の姿勢に変更するためのものである。アイコン１１３は表示されている画像をスクリーンショットして保存するためのものであり、アイコン１１４はそれにより保存された画像を表示するためのものである。アイコン１１５は、三次元画像の表示範囲を変更調整するためのフラットカットアイコンである（詳細後述）。アイコン１１６は、三次元画像の表示解像度を変更するためのものであり、この例では５１２×５１２×５１２画素と１０２４×１０２４×１０２４画素とが切替可能となっている。画像表示領域１０１Ｂについても、同様のアイコンが表示されていてもよく、本実施形態では、同一機能のアイコンには同一の符号を付して表している（図２参照）。なお、アイコン１１５、１１６についてはここでは三次元画像のみを対象とした機能であるため、画像表示領域１０１Ｂには表示されていない。

【0034】

［医用画像処理装置における種々の機能］
医用画像処理装置１０は医用画像の表示等に関して種々の機能を有している。以下、それら機能のうちの幾つかについて説明する。なお、以下の説明において画像処理は、一例として、図１に示した画像表示制御部１１の機能により実現される。

【0035】

（ａ）画像の回転、拡大・縮小、表示の変更等
医用画像処理装置１０において、三次元画像３００は、操作者による所定の入力操作によって、任意の方向への回転、拡大・縮小等、表示の変更が可能である。これらの表示の変更には、例えばタッチパネルに対する入力操作を利用してもよい。具体的には、表示の変更としては、スワイプ操作によりスワイプ方向に応じて三次元画像３００を回転させること、ピンチイン・ピンチアウト操作による三次元画像３００の縮小・拡大などが挙げられる。同様に、二次元画像２００も、三次元画像３００と同様、断面位置の変更、拡大・縮小等、表示の変更が可能である。なお、二次元画像を操作するための機能と、三次元画像を操作するための機能とは共通していてもよい。

【0036】

（ｂ）二次元画像の断面位置を三次元画像へ表示
二次元画像２００および三次元画像３００はそれぞれ被検者の体軸方向、左右方向および前後方向について互いに対応する座標情報をもっている。よって、これらの座標情報を利用して、三次元画像３００上で、二次元画像２００の現在の表示に対応する断面位置を、三次元画像３００上で表示することも可能である。二次元画像２００は、その体軸方向の位置を変更可能であり、そのための入力方式は特に限定されるものではないが例えば、表示領域１００Ｂ内に表示されるスクロール用インジケータ（不図示）を移動させることにより、その位置に応じた体軸方向位置の断層画像が表示される。

【0037】

本実施形態におけるより具体的な表示態様として、次のようなものであってもよい。すなわち、図３に示すように、二次元画像２００における現在の断層画像の位置に対応した切断面３１０が三次元画像３００と一緒に表示されるようになっていてもよい。このような切断面３１０が表示されることで、現在の断層画像が三次元画像のどの位置に対応しているかを視覚的に容易に把握することが可能となる。具体的には、二次元画像２００における所定位置ｐ（ｘ、ｙ、ｚ）と、それに対応する三次元画像３００中の所定位置Ｐ（ｘ、ｙ、ｚ）とが表示される構成としてもよい。なお、こうした位置ｐ、位置Ｐの表示に関し、その位置を分かり易く示すための補助線（不図示）等が必要に応じて表示されるようになっていてもよい。

【0038】

（ｃ）画像表示に関する他の機能
メニューボタンアイコン１１１（図２参照）から呼び出すことができる機能に関し、メニューボタンアイコン１１１を選択すると、機能呼び出しアイコン群（図示省略）が表示され、操作者がその中から所望の１つのアイコンを選択することによって、対応する機能が選択されるように構成されていてもよい。こうした機能に含まれるものとしては例えば次のようなものであってもよい。

【0039】

医用画像処理装置１０は、リバート機能を有するものであってもよい。三次元画像３００は、表示される向きおよびサイズ等を任意に変更でき、また、二次元画像は、表示される断面位置およびサイズ等を任意に変更できる。リバート機能とは、三次元画像および／または二次元画像の表示を初期化する機能である。表示を初期化するとは、画像表示領域１０１Ａ、１０１Ｂに初期画像を表示させることを意味する。

【0040】

医用画像処理装置１０は、クリッピング機能を有するものであってもよい。クリッピング機能とは、ここでは一例として、三次元画像の任意の一部を切り抜いて表示する機能である。詳細な図示は省略するが、具体的な例として、「ＢＢｏｘ」と表示されたアイコンが選択されるとクリッピング処理が実行される構成であってもよい。具体的には、クリッピング機能では、三次元画像の一部が六面体で包囲された状態で選択が行われる。六面体は、その内側に位置する解剖学的構造体を操作者が視認できるよう、半透明で表示される。このような状態でクリッピングは次のように行われる。すなわち、六面体のうちクリッピングしたい１つの面を選択すると、選択した面がアクティブとなり、アクティブとされたこの面をスライドさせると、六面体の形状が変更され、三次元画像における対象範囲が変更される。クリッピングされた面に解剖学的構造体が存在する場合、クリッピングされた面では解剖学的構造体は断面で表示されるようになっていてもよい。なお、他の面がタップされると、タップされた他の面がアクティブとされ、上記と同様、三次元画像をさらに他の面でクリッピングすることもできる構成としてもよい。

【0041】

医用画像処理装置１０は、パースペクティブ表示機能を有するものであってもよい。パースペクティブ表示は、三次元画像を透視投影で表した遠近感を出す表現方法の一つである。操作者が、例えば、画角調整用ボタン（不図示）を所定方向にスライドさせると、スライド量またはスライダ位置に応じて、三次元画像の画角の広狭が調整され、例えば画角が広がった場合には、近い位置にある部分はより大きく、遠い位置にある部分はより小さく表示される。三次元画像を透視投影で表すことで、内視鏡で見た画像に近い画像を表示できる。よって、パースペクティブ表示機能は、内視鏡手術などにおいて、撮像装置から取得した画像を内視鏡によって得られた実際の臓器の画像と対比しながら処置を進めるなど、内視鏡手術などにおいて有効に利用できる。

【0042】

続いて、医用画像処理装置１０の操作性をより好ましいものとするグラフィカルユーザインターフェースの幾つかの例、および、機能についてさらに説明する。

【0043】

（フラットカット機能）
医用画像処理装置１０は、フラットカット機能を有するものであってもよい。「フラットカット機能」とは、三次元画像を１つまたは複数の基準面で切断して表示を行う機能である。図４～図６を参照しつつ、この機能について説明する。

【0044】

フラットカット機能を発揮させるための操作は特に限定されるものではないが、例えば、図４に示すように画面上に表示されたフラットカットアイコン１１５を選択することでこの機能が発揮されるようになっていてもよい。このアイコン１１５は、画像表示領域１０１Ａ内に表示されるものであってもよい。

【0045】

アイコン１１５を選択すると、グラフィカルユーザインターフェース１４０が表示される。このグラフィカルユーザインターフェース１４０は、それぞれ独立してスライド移動可能な第１のスライダ１４５ａおよび第２のスライダ１４５ｂを含んでいる。各スライダは、ガイドライン１４５ｃに沿って移動するようになっている。スライダ１４５ａ、１４５ｂの移動方向は任意の方向であってもよいが、この例では、図示上下方向に移動する態様となっている。各スライダ１４５ａ、１４５ｂがその可動範囲の端部に位置しているとき（具体的には、一例として、スライダどうしが最も離れた状態）、三次元画像は切除されることなく、その全体が表示される。

【0046】

一方、図５に示すように、スライダ１４５ａ、１４５ｂの位置を変更することで、表示される三次元画像も部分的に切除された状態で表示されるようになっている。具体的には、第１のスライダ１４５ａを可動範囲端部から少し下方にスライドさせると、その位置に対応して、三次元画像の所定基準軸（ここでは一例で「ｘ軸」）に沿った一方側の切断基準面（不図示）が設定される。三次元画像は、その切断基準面によって切断された状態で表示される。この例では、肝臓のオブジェクト３０５が、端面３０５ａで切断された状態となっている。同様に、第２のスライダ１４５ｂに関しても、それを可動範囲端部から少しスライドさせると、その位置に対応して反対側の切断基準面（不図示）が設定される。具体的には、肝臓のオブジェクト３０５がこの切断基準面によって切断されて端面３０５ｂが表示された状態となっている。本実施形態では、つまり、スライダ１４５ａ、１４５ｂ間の距離Ｌ１に対応する領域（図５における距離Ｌ２に対応する領域）内の三次元医用画像のみが表示され、それより外側については表示されないようになっている。

【0047】

このようなグラフィカルユーザインターフェース１４０によれば、必要に応じて、スライダ１４５ａ、１４５ｂを動かして三次元画像の表示領域を狭めたり、あるいは、その端面を表示させたりすることが可能であるため、三次元画像の解剖学的構造をより仔細に確認することができるという利点がある。

【0048】

図５の状態の三次元画像を、多方面から観察したり、拡大縮小して確認を行ったりできるように、同図の状態のまま、三次元画像を移動、回転、拡大縮小させることができるようになっていることが一形態において好ましい。このような構成によれば、例えば、図５では図示奥側を向いている端面３０５ａが手前側となるように、三次元画像を回転させて表示することができる。また、端面３０５ａを拡大して表示すること等も可能である。

【0049】

グラフィカルユーザインターフェース１４０としては、例えば、スライダ１４５ａ、１４５ｂどうしの距離Ｌ１を保ったまま、２つのスライダ１４５ａ、１４５ｂを同時に動かすことができるようになっていることも一形態において好ましい。２つのスライダ１４５ａ、１４５ｂを同時に動かすことができるようにするためには、特別なアイコンを選択してそのようなモードにしてからスライダを動かすという手法も想定される。しかしながら、一例として、図６（ａ）のようにスライダ１４５ａ、１４５ｂが所定位置にある状態で、図６（ｂ）のようにスライダ１４５ａ、１４５ｂどうしに挟まれた領域の任意の位置（例えばガイドライン１４５ｃ付近）に触れて、上下に移動させることで、Ｌ１の距離を保ったまま２つのスライダ１４５ａ、１４５ｂを一緒に移動させることができるインターフェースとしてもよい。スライド１４５ａ、１４５ｂの移動に連動して三次元画像の表示領域もリアルタイムに変更される。このような構成によれば、個々のスライダ１４５ａ、１４５ｂを動かして一旦決定した距離Ｌ１を保ったまま、三次元画像の表示領域の変更が可能であるため、非常に簡単な操作で表示範囲の微調整を行うことができる。

【0050】

（３Ｄポインタ機能）
医用画像処理装置１０は、３Ｄポインタ機能を有するものであってもよい。「３Ｄポインタ機能」とは、三次元画像のうちの所定のオブジェクトに三次元的なポインタを表示させる機能をいい、特には、そのポインタは移動させる際に当該オブジェクトの表面を沿うように移動するようになっているものをいう。図７、図８を参照しつつ、この機能について説明する。

【0051】

図７に模式的に示す表示画面では、図２と同様、二次元画像２００とそれに対応する三次元画像３００とが表示されている。説明の都合上、三次元画像３００は、血管のオブジェクト３０３′のみが表示された状態となっている。３Ｄポインタを表示するためのモードが選択された状態で、操作者が一例として二次元画像２００における任意の点ｐを指定すると、それに対応する三次元画像３００内の点Ｐに３Ｄポインタ１６１が表示される。３Ｄポインタ１６１の形状やサイズについては特に限定されるものではなく、立体的に表示された三次元画像の所定の位置を分かりやすく指し示すことができるものであれば、どのようなものであっても構わない。ポインタ１６１を表示させるための他の方式については、他の図面も参照しつつ後述するものとする。

【0052】

三次元画像３００内に表示された３Ｄポインタ１６１は、この時点で、複数のうちの１つのオブジェクト（ここでは血管のオブジェクト３０３′）に紐付けられており、同オブジェクト３０３′に接するように表示されている。このような３Ｄポインタ１６１においては、ポインタの移動に際して次のような課題が考えられる。すなわち、三次元空間内で３Ｄポインタ１６１を移動させる場合、通常、そのポインタは任意の方向に移動可能であるため、操作者がポインタを動かした際に、ポインタが対象のオブジェクトから離れていってしまうことも想定される。そこで、本実施形態では、３Ｄポインタ１６１を移動させる場合に、３Ｄポインタ１６１が対象のオブジェクト３０３′から離れることなく、そのオブジェクト３０３′の表面に沿って移動するように構成されている。

【0053】

３Ｄポインタ１６１をどのように動かすかに関しても、種々の手法を採用し得るが、例えば、次のようなものであってもよい。以下では、タッチパネルを介して操作者が指でポインタを操作する例を想定して説明するが、当然ながら、入力の形式はそれ以外のものであってもよい。図８に示すように、３Ｄポインタ１６１の第１の領域１６１ａに触れて指を動かすと、３Ｄポインタ１６１は回動中心１６１ｐを基準として回動し、その向きが変わるようになっている。第１の領域１６１ａとしては、ポインタ１６１の基端側の一部を含む領域であってもよい。一方、３Ｄポインタ１６１の第２の領域１６１ｂに触れて指を動かすと、ポインタ１６１全体を任意の方向に移動させることができるようになっている（ポインタの向きを保ったまま）。第２の領域１６１ｂとしては、ポインタの先端側の一部を含む領域であってもよい。こうした操作によって、３Ｄポインタ１６１の向きや位置を自由に変更することができる。

【0054】

なお、３Ｄポインタ１６１は三次元空間内（画像表示領域１０１Ａ）に表示されるものである。したがって、上下左右方向に加え、奥行き方向（一例）にも操作性よく移動させることができるようになっていることが好ましい。特に限定されるものではないが、一例として、複数本の指（三本指または四本指）の同時移動（例えば、上方もしくは下方、または、右もしくは左）によって３Ｄポインタ１６１を移動できるようになっていてもよい。また、他の観点として、３Ｄポインタ１６１それ自体を視差のある複数画像で表示し、表示画面内において立体視できるようにしてもよい。

【0055】

（バーチャルプローブ機能）
医用画像処理装置１０は、バーチャルプローブ機能を有するものであってもよい。「バーチャルプローブ機能」とは、三次元画像に対して仮想的なプローブを配置し、その仮想プローブで撮像される仮想的な撮像画像を画面上に表示するというものである。図９を参照しつつ、この機能について説明する。

【0056】

図９では、画像表示領域１０１Ａに所定の三次元画像（一例で肝臓のオブジェクト３０５）が表示されている。このオブジェクト３０５に対して、仮想的なプローブ１７１が当接または近接した状態で表示されている。このプローブ１７１は、一例で、超音波診断装置の超音波プローブを表したものである。プローブ１７１の形状は、リニア型、コンベックス型、セクタ型、シングル型などのいずれであってもよく、また、二次元画像用プローブもしくは三次元画像用プローブのいずれであってもよい。

【0057】

プローブ１７１を含む撮像装置によって撮像されるであろう撮像画像が表示領域１０１Ｂに表示されている。ここでは超音波診断画像２２０が表示領域１０１Ｂに表示されている。このように、所定の三次元画像を対象とした仮想的な超音波診断画像２２０が表示される構成によれば、実際に被検者に対して撮像を行うことなく、対象のオブジェクト内の解剖学的構造体の形状や配置について確認することができるという利点がある。

【0058】

なお、図９の仮想的なプローブ１７１に関しても、その操作性が良好であることが望ましい。例えば、プローブ１７１の柄側の第１の領域１７１ａに触れて動かすと、プローブ１７１は所定の回動中心を基準としてその向き（傾き）が変わるようになっていてもよい。また、プローブ１７１の先端側の第２の領域１７１ｂに触れて動かした場合には、プローブ１７１全体を移動させることができるようになっていてもよい。

【0059】

仮想的なプローブ１７１の移動に関し、上述した３Ｄポインタ１６１と同様に、プローブ１７１が対象の三次元画像の表面に沿って動くように、移動が行われてもよい。

【0060】

（マージン球調整ユーザインターフェース）
医用画像処理装置１０は、マージン球を調整するユーザインターフェースを有するものであってもよい。「マージン球」とは、三次元画像のうちの所定のオブジェクト（一例で、腫瘍のオブジェクト）を包囲する球体もしくは多面体のことをいい、このマージン球は、例えば、腫瘍切除の際に対象の腫瘍に対してどれくらいのマージンをもたせた領域を切除するかを確認するために利用されるものである。「マージン球調整ユーザインターフェース」とは、そのマージン球のサイズ等の変更を容易に行うためのユーザインターフェースである。図１０、図１１を参照しつつ、この機能について説明する。

【0061】

まず、マージン球について説明する。本実施形態の医療画像処理装置１０は、一例として操作者からの所定の入力があった場合に、図１０（ａ）に示すように、三次元画像内の腫瘍３６５を取り囲む最小の外接球３７７を表示する。「所定の入力」としては、特に限定されるものではないが、画面上に表示されたアイコンの選択や音声入力等であってもよいし、画面から離れた位置でのジェスチャ入力等であってもよい。そして、図１０（ｂ）に示すように、外接球３７７に対して所定のマージン（例えば１ｍｍ、２ｍｍ、３ｍｍ、４ｍｍ、５ｍｍ、１０ｍｍ、１５ｍｍなど）を加えた一回り大きいマージン球３７８が表示される。このマージン球３７８は、一例として、外接球３７７と同心の球である。マージン球３７８に関しては、その内部が視認できるように、透過性をもたせた着色で表示されてもよい。なお、マージン球３７８のみを表示し外接球３７７は非表示としてもよい。

【0062】

マージンの値については、腫瘍除去のための手技や対象となる臓器等によって適切な値が異なるため、操作者が所望の値を設定できる構成となっていることが好ましく、例えば数値の入力および／または画面上のユーザインターフェースの操作でこの値を入力・変更できる構成としてもよい。具体的なユーザインターフェースの例については図１１を参照しながら後述する。

【0063】

なお、図１０（ｂ）に示すように、マージン球３７８が、例えば近接する主要な血管３５３ｂに接していた場合、医療画像処理装置１０は、その旨の警告表示を表示する、および／または、その血管部分を強調表示するように構成されていてもよい。血管３５３ｂは、マージン球３７８が接する部分（その近傍をも含んでよい）を強調表示するものであってもよいし、または、血管３５３ｂの起始部から先端部までのすべてを強調表示するものであってもよい。このような構成によれば、腫瘍３６５の除去に際してどの血管の切除が必要となるのかを事前に確認することができるため有利である（血管３５３のうち符号３５３ａで示す部分等は切除の必要はない）。

【0064】

また、図１０（ｂ）の例のように、マージン球３７８が何らかの解剖学的構造体に接している場合、マージン球３７８の内部に含まれる解剖学的構造体（限定されるものではないが、例えば肝臓などの実質臓器であってもよい）のマスクの自動分離が行われるようになっていてもよいし、内部に含まれる容積が計算され必要に応じて容積量が表示されるようになっていてもよい。容積量に関しては、１つのマージン球はなく、複数のマージン球のそれぞれに包含される容積の総和が求められるようになっていてもよい。

【0065】

マージン球３７８のサイズを変更するために図１１のようなユーザインターフェース１５０を採用してもよい。このユーザインターフェース１５０は、マージンの長さを設定するためのスライダ１５６を含んでいる。スライダ１５６は、この例では、０ｍｍ～２０ｍｍ（一例）程度の範囲でスライド移動可能となっており、横軸に沿って移動できるように構成されている。なお、横軸の数値はマージンの長さを示しているが、このような表示は必須ではない。

【0066】

スライダ１５６が「０」の位置にあるとき、マージンの長さは０ということになり、上記の例で言えば外接球３７７のみが表示されることとなる。スライダ１５６を移動させることで、スライダ位置に応じた数値がマージンの長さとして設定される。三次元画像内のマージン球３７８の大きさがリアルタイムに変更されてもよい。このようなグラフィカルユーザインターフェース１５０によれば、マージン球３７８のサイズを非常に直感的かつ即座に変更することができ、また、三次元画像において腫瘍３６５とマージン球３７８の関係を確認することもできるので、精度の高い手術の実施に寄与することができる。

【0067】

ユーザインターフェース１５０は、マージンの長さを表す情報が表示領域１５１内に大きく数字として表示されてもよい。具体的には、図示の例では表示領域１５１内に「１０」の数字が表示されるようなものであってもよい。このような構成によれば、操作者に具体的な設定数値の情報を視認性良く提供することができる。

【0068】

また、ユーザインターフェース１５０は、縦軸の数値と横軸の数値とを接続するように同心円弧状の複数のサイズインジケータ１５９を含むものであってもよい。また、現在の設定数値を視覚的に把握しやすいように、複数のサイズインジケータ１５９のうち、スライダ１５６の位置に対応した、現在のマージン長さを表すインジケータ１５９のみが強調表示されるようになっていてもよい。例えばこの例では、「０」から「１０」までの範囲に存在するインジケータ１５９が他よりも太く表示されている。

【0069】

ユーザインターフェース１５０は、スライダ１５６を介した数値入力ではなく、プリセットされた値を選択することで所定の数値が入力されるものであってもよい。図１１の例では、縦軸にプリセット値として、「０」ｍｍ、「１０」ｍｍ、「２０」ｍｍ（一例）のプリセット値表示部１５７が表示されている。これらのいずれかを選択すると、それに応じたマージンの長さが設定されるようになっていてもよい。なお、当然ながら、上記の数値やプリセット数はあくまで一例であり、適宜変更可能である。

【0070】

ユーザインターフェース１５０の態様として、スライダ１５６は横軸に沿って無段階的に移動するものであってもよいし、「１」、「２」、「３」、「４」、「５」ｍｍのように離散値に対応して段階的に移動するものであってもよい。図１１のユーザインターフェース１５０は、表示画面上の任意の位置に表示可能であるが、一例として表示領域１０１Ａ内に表示されるものであってもよい。

【0071】

（透過度変更用ユーザインターフェース）
医用画像処理装置１０は、オブジェクトの透過度を変更するための透過度変更用ユーザインターフェースを有するものであってもよい。「オブジェクトの透過度」とは、三次元画像に含まれる解剖学的構造体の個々のオブジェクトの透過度をいい、オブジェクトの透過度が調整可能となっていることで、例えば操作者から見て手前側に表示されるオブジェクトを半透明表示としつつ、奥側の他のオブジェクトを観察するといったことが可能となる。図１２を参照しつつユーザインターフェースについて説明する。

【0072】

図１２に示すように、このユーザインターフェース１７０は、円軌道１７３に沿ってスライド移動するスライダ１７７を含んでおり、操作者がこのスライダ１７７を動かすことにより、オブジェクトの透過度が変更されるようになっている。透過度の範囲は、０％～１００％であってもよいが、これに限らず任意の数値範囲としてもよい。円軌道１７３の始点１７３ａが０％に対応し、終点１７３ｂが１００％に対応するものであってもよい。円軌道１７３は、閉じた円ではなく、扇形の中心角が１８０°以上３６０°未満、より具体的には２７０°以上３６０°未満（一例）となるような範囲にわたるものであってもよい。もっとも、完全に閉じた円軌道とし、スライダ１７７を３６０°以上回転させることができる態様としてもよい。現在の透過度を識別しやすいように、始点１７３ａからスライダ１７７の位置までが強調表示１７４されるようになっていてもよい。

【0073】

図１２のようなユーザインターフェース１６０によれば、次の理由から、画面上のコンパクトなスペースであっても高精度に透過度を変更できるものとなる。すなわち、透過度変更のためのユーザインターフェースとしては、例えばスライダを直線的に往復移動させる構成（不図示）も採用可能である。しかしながら、タッチパネル操作においては、直線的なスライダ移動のためには操作者は手を上下または左右（一例）に動かす必要があり比較的大きなモーションが必要なる。一方、図１２のような構成の場合、例えば、手は大きく動かさず人指し指でスライダ１７７に触れて回すだけで、スライダ１７７を十分な距離動かすことができる。つまり、手を大きく動かす必要がなく、また、直線的な移動と比較して指の動きによる細かい入力も可能となり得るので、透過度の微調整が行い易いという技術的な利点も奏される。

【0074】

図１２のユーザインターフェース１７０は、表示画面上の任意の位置に表示可能であるが、一例として表示領域１０１Ａ内に表示されるものであってもよい。

【0075】

（焼灼法または凍結法における凝固範囲シミュレーション機能）
医用画像処理装置１０は、被検者の対象部位において凝固範囲をシミュレーションする機能を有するものであってもよい。「凝固範囲シミュレーション機能」とは、例えば、電極針を用いた焼灼法で被検者の対象部位を焼灼切除する際に、どの程度の範囲が凝固することとなるかをシミュレーションする機能である（焼灼に限らず凍結法の場合にも適用か可能である）。図１３を参照しつつ、焼灼の場合を例として説明する。

【0076】

腫瘍およびその周辺部を壊死させるための経皮的局所療法として、例えば、電極針やプローブから被検者の対象部位にエネルギーを印加し、それにより細胞組織を焼灼して凝固壊死させる手法がある。電極針等のからのエネルギーの印加により、どれくらいの領域が焼灼対象となるかは、電極針の形状やデバイスの性能等に依存する。

【0077】

図１３は電極針の違いによる凝固範囲の相違を模式的に示したものである。図１３（ａ）は、ある電極針を仮想的に表したプローブ１９０ａを示しており、このプローブを被検者の対象領域に穿刺して使用した場合に、領域１９５ａが凝固壊死することを示している。図１３（ｂ）は、他の電極針を表したプローブ１９０ｂを示しており、使用時には領域１９５ｂが凝固壊死することを示している。図１３（ｃ）は、さらに他の電極針を表したプローブ１９０ｃを示しており、領域１９５ｃが凝固壊死することを示している。

【0078】

なお、凝固範囲は、時間の関数として捉えることもできる。したがって、プローブの焼灼時間をシミュレーションしたり、時間に対応させて領域球体を徐々に大きくしていくような表示態様としたりしてもよい。焼灼に限らず凍結の場合にも当該手法を応用してもよい。本実施形態においては、このように、医用画像処理装置１０が各プローブの凝固特性の情報を有しており、例えば三次元医用画像の所定の解剖学的構造体に対して仮想的にプローブを穿刺し、エネルギーを印加した際に、凝固範囲をシミュレーションすることができるように構成されていてもよい。

【0079】

プローブの穿刺に関し、一例として、プローブを穿刺する際のルート（すなわち、プローブをどのようなルートで穿刺すべきか、もしくは、どのようなルートで穿刺しないべきか）のシミュレーション機能が備わっていてもよい。例えば、プローブが穿刺されるルート上に血管のような回避対象となる所定の解剖学的構造体が存在している場合に、装置がそれを判定しアラートを発する（メッセージの表示、警告音を出す等）、および／または、ルートの自動回避がなされる構成としてもよい。限定されるものではないが、アラートとしては、所定の対象物（例えば画面上の表示）の着色や点滅といった強調表示であってもよい。

【0080】

所定の対象部位を複数のプローブを用いて（あるいは複数回のプローブ穿刺により）凝固壊死させる場合も想定されることから、複数回の場合に対応した範囲のシミュレーションを行えるようになっていることも好ましい。また、例えば腫瘍が複数箇所に存在していたり広範だったりする場合には、数回に分けて（別日で）処置が行われることもある。また、後日追加で処置が必要になることもある。このように、焼灼法や凍結法においては必ずしも一度の処置ではなく異なる日に複数回の処置が必要になることも想定されるため、凝固範囲のシミュレーション結果を保存する、および／または、外部機器に出力できるようになっていることも好ましい（時間情報、被験者情報、手術情報、装置使用者情報などが含まれていてもよい）。そのようなデータを必要に応じて呼び出し、シミュレーションの継続（例えば追加プローブのシミュレーションを実施）を行うことができる構成としてもよい。

【0081】

また、医用画像としては、ＣＴ装置の画像データに基づいて生成されたものや、ＭＲ装置の画像データに基づいて生成されたものなどがある。同じ被検者であっても、施術の目的や検査内容によって、異なるモダリティのデータが使用されることがある（例えば、最初はＣＴ装置のデータに基づく画像を用い、必要に応じＭＲ装置のデータに基づく画像を用いる等）。こうした場合においても、一貫的にシミュレーションを行えるように、例えば第１のモダリティ（一例でＣＴ装置）のデータに基づく医用画像と、第２のモダリティ（一例でＭＲ装置）のデータに基づく医用画像とが入れ替え可能および／または重畳表示（オーバーレイ）可能であることも一形態において好ましい。１回のシミュレーション作業の中での入替えに限らず、事後的に画像の入替え等ができるようになっていてもよい（例えば、後日画像を入れ替える等）。異なるモダリティの画像どうしを、自動でまたは手動で、位置合わせできるようになっていてもよい。上述のような画像データの入替えは、種々のシミュレーションを可能にするという点で有用であるが、必ずしも異なるモダリティの画像を入れ替えるのではなく、例えば同じ撮像装置（例えばＣＴ装置）の画像データに基づく医用画像であっても、比較的低精細なデータのもの（本番の撮像前に確認用として厚めのスライス厚で撮像されたデータ等）と、精細なデータのものとを入替え可能となっていてもよい。

【0082】

（装置使用状況のキャプチャ機能）
医用画像処理装置１０は、装置の使用状況をキャプチャして保存する機能を有するものであってもよい。この機能は、主として、被検者に対する施術を行っている最中に実際に医用画像処理装置１０が使用されたこと、および／または、その内容に関する情報を保存しておくためのものである。このように、装置の使用状況に関する情報が保存される構成によれば、当該情報を診療報酬等の決定に利用することが可能となる。

【0083】

使用状況に関する情報は、医用画像処理装置１０の内部（データ格納部１２等）に記憶されてもよいし、外部に送信されて例えば医用情報管理装置２１（図１参照）に記憶されてもよい。

【0084】

使用状況に関する情報としては、例えば、被検者の識別情報、手術を行った日時情報（時刻）、手術の時間情報、装置の使用時間情報、表示された三次元画像のスクリーンショット画像、表示された二次元画像のスクリーンショット画像、医師その他の医療従事者情報、造影剤注入器情報、造影剤情報、造影プロトコル情報等のうち少なくとも１つまたは組合せであってもよい。時刻や時間に関わる情報は、スクリーンショット画像に埋め込まれた態様でキャプチャされる構成としてもよい。限定されるものではないがスクリーンショット画像については、二次元画像のみ、三次元画像のみ、またはそれらの組合せを任意に選択できるようにしてもよい。

【0085】

使用状況に関する情報を取得するタイミングとしては、所定の時間間隔ごとに取得したり、所定の時刻に取得したりするようなものであってもよいが、次のようなタイミングとしてもよい。すなわち、医用画像処理装置１０を使用している状態（例えば手術中に三次元画像を観察する場合等）で、一定時間以上、操作者からの入力がなされなかった場合に、装置が自動的に使用状況に関する所定の情報を取得し、保存もしくは外部送信するように構成されていてもよい。この際、情報取得タイミングに関連付けられたタイムスタンプ情報が付与されるようになっていてもよい。具体的には、対象の電子情報（一例で画像データ）のハッシュ値と、タイムスタンプ局が発行した正確な時刻情報とに、タイムスタンプ局の電子署名を付与したものであってもよい。こうしたタイムスタンプの付与により、その時刻に当該電子情報が存在したこと（存在証明）が確認でき、また、事後的な非改ざん証明も可能となる。

【0086】

（タイマー機能）
医用画像処理装置１０は、手術時間を計測するためのタイマー機能を有するものであってもよい。例えば肝臓癌の手術などでは、出血を抑えるために鉗子等を用いて肝臓に流入する血行を一時的に遮断するプリングル法と呼ばれる手法が用いられることもある。この場合、血行を遮断している時間（あるいは遮断されていない時間）を正確に計測、管理することが重要となる。そこで、医用画像処理装置１０は、例えば、血行が遮断されている時間をタイマー表示し、所定の規定時間が経過した場合にアラーム音および／またはアラート表示をするように構成されていてもよい。同様に、血行が遮断されていない時間についてタイマー表示され、アラーム音および／またはアラート表示をするように構成されていてもよい。このように弛緩時および／または遮断時の時間をタイマーによって確認可能な構成によればより安全な施術が可能となる。限定されるものではないが、弛緩時のタイマー機能に関しては安全状態であること認識できるように第１の表示色（例えばグリーン）での表示および／または第１の音を発するようにし、他方、遮断時は第２の表示色（例えばレッド）での表示および／または第２の音（遮断状態を知らせるためのもの）を発するようにしてもよい。遮断時のタイマー機能については、さらに、延長機能が備わっていてもよく、例えば、１分、２分、３分のようにプリセットされた値から選択できる構成としてもよいし、任意の延長時間を数値入力できる構成としてもよい。医用画像処置装置１０は、血行が遮断されている時間については、操作禁止の状態または操作がリジェクトされる状態になるように構成されていてもよい。血行遮断時のタイマーが機能している状態で操作が禁止される構成によれば、タイマーの時間を意図せず変えてしまったりリセットしてしまったりすることが防止され、正確な時間計測が行われるものとなる。

【0087】

（種々の入力方式）
タブレット端末のようにタッチパネルを介した入力が主となる装置においては、操作性がよく直感的な入力ができるようになっていることが望ましい。本実施形態の医用画像処理装置１０では、例えば三次元画像の所定位置にポインタ（カーソル、矢印）を表示する機能が備わっていてもよい。この場合、カーソルを表示するために、図１４に示すような入力方式が利用可能であってもよい。

【0088】

まず、図１４に示すように、画面上の２点（Ｐ１、Ｐ２）を選択する。例えば、親指と人差し指で２点をタッチするといった選択であってもよい。医用画像処理装置１０は、操作者によるこの２点（Ｐ１、Ｐ２）の入力を受け付け、各点の座標を特定する。続いて、一例で、操作者は、親指は最初にタッチした位置のまま、人差し指を点Ｐ２から点Ｐ２′へとスライド移動させる。医用画像処理装置１０は、このように、（ｉ）２点Ｐ１、Ｐ２が選択され、続いて、（ｉｉ）２点間の距離が長くなるような向きで、一方の点は固定のまま、他方の点を移動させる入力があった場合に、それをトリガとしてポインタ１６１（図１５参照）を表示するように構成されていてもよい。ポインタ１６１では、固定側の点Ｐ１が矢印の先端側となり、反対側の点Ｐ２′が矢印の後端側となっている。例えば、画像表示領域１０１Ａおよび／または画像表示領域１０１Ｂにおいてこのような入力が行なわれた場合に、矢印１６１が表示されるようになっていてもよく、当該入力方式によれば、矢印を表示するためのモードを予め選択する（一例で専用のアイコンにタッチする等）といった操作を要することなく、表示画面上でダイレクトに上記入力を行うことでポインタの表示を容易に行うことができる。

【0089】

医用画像処理装置１０においては、例えば三次元画像の一部を円形領域として選択できるようになっていることも好ましい。この場合、円形領域の指定のために、図１６に示すような入力方式が利用可能であってもよい。

【0090】

まず、図１６（ａ）に示すように、画面上の２点（Ｐ１１、Ｐ１２）を選択する。例えば、親指と人差し指で２点をタッチする選択であってもよい。医用画像処理装置１０は、操作者によるこの２点Ｐ１１、Ｐ１２の入力を受け付け、各点の座標を特定する。続いて、操作者は、親指と人差し指とを、点ｏまわりにコンパスのように円弧状に同時にスライド移動させる。医用画像処理装置１０は、このような入力を検出した場合に、図１６（ｂ）に示すように、点ｏを中心とし、Ｐ１１、Ｐ１２の距離を直径とする円１９８を表示するように構成されていてもよい。このような入力方式によれば、２点の選択と、それらを回転させる動作との２ステップのみで円形領域の選択を行うことができる。

【0091】

以上、本発明の実施の形態について具体的な図面を参照しながら説明したが、本発明は上記の具体的な構成に限定されるものではなく、発明の趣旨を逸脱しない範囲で適宜変更可能である。また、異なる技術的特徴どうしを適宜組み合せることも可能である。例えば物の発明として開示された内容は、方法、プログラムまたはプログラム媒体の発明として理解され得る。

【0092】

（付記）
本出願は、以下の内容を開示する。括弧内の符号は参考として付したものであり、本発明を所定の実施形態に限定することを意図したものではない。
Ａ１．被検者の解剖学的構造体を表す三次元画像（３００）の表示を制御する表示制御部（１１）を備える医用画像処理装置（１０）であって、
上記表示制御部（１１）は、
ａ１：上記三次元画像（３００）の表示範囲を規定するためのグラフィカルユーザインターフェース（１４０）を含む画像を生成する処理であって、当該グラフィカルユーザインターフェース（１４０）は、
三次元空間内における所定の基準軸（例えばｘ軸）に沿った上記三次元画像の一方の側の切断基準面（例えば３０５ａ）を規定するための第１のスライダ（１４５ａ）と、
上記所定の基準軸（例えばｘ軸）に沿った上記三次元画像の他方の側の切断基準面（例えば３００ｂ）を規定するための第２のスライダ（１４５ｂ）と、
を含むものである、画像生成処理と、
ａ２：上記切断基準面どうしの間に存在する上記三次元画像（３００）を表示する処理と、
を行うように構成されている、医用画像処理装置。

【0093】

被検者の解剖学的構造体を表す三次元画像を表示する医用画像処理装置の制御方法であって、
ａ１：前記三次元画像の表示範囲を規定するためのグラフィカルユーザインターフェースを含む画像を生成するステップであって、当該グラフィカルユーザインターフェースは、
三次元空間内における所定の基準軸に沿った前記三次元画像の一方の側の切断基準面を規定するための第１のスライダと、
前記所定の基準軸に沿った前記三次元画像の他方の側の切断基準面を特定するための第２のスライダと、
を含むものである、生成ステップと、
ａ２：前記切断基準面どうしの間に存在する前記三次元画像を表示させるステップと、
を含む、医用画像処理装置の制御方法。

【0094】

被検者の解剖学的構造体を表す三次元画像を表示する医用画像処理プログラムであって、１つまたは複数のコンピュータに、
ａ１：前記三次元画像の表示範囲を規定するためのグラフィカルユーザインターフェースを含む画像を生成するステップであって、当該グラフィカルユーザインターフェースは、
三次元空間内における所定の基準軸に沿った前記三次元画像の一方の側の切断基準面を規定するための第１のスライダと、
前記所定の基準軸に沿った前記三次元画像の他方の側の切断基準面を特定するための第２のスライダと、
を含むものである、生成ステップと、
ａ２：前記切断基準面どうしの間に存在する前記三次元画像を表示させるステップと、
を行わせる、医用画像処理プログラム。

【0095】

Ｂ１．被検者の解剖学的構造体を表す三次元画像（３００）の表示を制御する表示制御部（１１）を備える医用画像処理装置（１０）であって、
上記表示制御部（１１）は、
ｂ１：被検者を撮像して得られた断層画像である二次元画像（２００）と、上記三次元画像（３００）とを含む画像を生成する処理と、
ｂ２：操作者によって指定された上記二次元画像における所定の位置（ｐ）を検出する処理と、
ｂ３：上記三次元画像における、上記所定の位置（ｐ）に対応する位置（Ｐ）に３Ｄポインタを表示する処理であって、当該３Ｄポインタは三次元画像のうちの所定のオブジェクトに紐付けて表示される、処理と、
ｂ４：操作者によって上記３Ｄポインタを移動させる入力があった場合、上記３Ｄポインタを、上記所定のオブジェクトに沿うように移動させる処理と、
を行うように構成された、医用画像処理装置。

【0096】

Ｃ１．被検者の解剖学的構造体を表す三次元画像（３００）の表示を制御する表示制御部（１１）を備える医用画像処理装置（１０）であって、
上記表示制御部（１１）は、
ｃ１：上記三次元画像のうちの所定のオブジェクト（例えば腫瘍）が選択されたことを特定する処理と、
ｃ２：選択されたそのオブジェクトを囲む立体的なマージン球（３７８）を表示する処理と、を行うものであって、さらに、
ｃ３：上記マージン球（３７８）のサイズを設定するためのグラフィカルユーザインターフェース（１５０）を表示する処理であって、当該グラフィカルユーザインターフェースは、その位置が上記マージン球（３７８）のサイズに対応しているスライダ（１５６）と、当該スライダの位置に基づいて決定される上記マージン体のサイズを示すサイズインジケータ（１５９）とを含むものである、処理と、
を行うように構成された、医用画像処理装置。

【0097】

Ｄ１．被検者の解剖学的構造体を表す医用画像（２００、３００）の表示を制御する制御部（１１）を備える医用画像処理装置（１０）であって、
上記制御部（１１）は、
ｄ１：手術中に装置が使用されていると想定される前記医用画像が表示されている状態において、一定時間のあいだ操作者による入力が無かったか否かを判定する処理と、
ｄ２：一定時間のあいだ前記入力が無かった場合に、その時点で表示されている医用画像の画面をキャプチャしてその画像データを取得する処理と、
ｄ３：前記画像データを所定のデータ格納部に保存する、または、装置外部に送信する処理と、
を行うように構成された、医用画像処理装置。

【符号の説明】

【0098】

１ 医用画像処理システム
１０ 医用画像処理装置
１１ 画像表示制御部
１２ データ格納部
１３ 表示デバイス
１４ 入力デバイス
１５ データ入出力インターフェース
２１ 医用情報管理装置
２２ 薬液注入装置
２３ 撮像装置
１００ 表示画面
１０１Ａ、１０１Ｂ 画像表示領域
１０２ 分割ライン
１１１～１１６ アイコン
１４０ グラフィカルユーザインターフェース
１４５ａ、１４５ｂ スライダ
１５０ グラフィカルユーザインターフェース
１５６ スライダ
１５７ プリセット値表示部
１５９ サイズインジケータ
１６１ ３Ｄポインタ
１７０ グラフィカルユーザインターフェース
１７１ バーチャルプローブ
１７３ 円軌道
１７４ 強調表示
１７７ スライダ
１９０ａ～１９０ｃ プローブ
１９５ａ～１９５ｃ 予想壊死領域
１９８ 円（円形領域）
２００ 二次元画像
２２０ 超音波診断画像
３００ 三次元画像
３０３、３０３′、３０５ オブジェクト
３０５ａ、３０５ｂ 端面
３１０ 切断面
３６５ 腫瘍
３７７ 外接球
３７８ マージン球
ｐ、Ｐ 位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】