特許 7444569 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240228BHJP

   A61B 5/00 20060101ALI20240228BHJP

   G06T 19/00 20110101ALI20240228BHJP

   A61B 1/00 20060101ALI20240228BHJP

【ＦＩ】

A61B1/045 610

A61B5/00 G

G06T19/00 A

A61B1/00 V

【請求項の数】 9

(21)【出願番号】P 2019169671

(22)【出願日】2019-09-18

(65)【公開番号】P2021045340

(43)【公開日】2021-03-25

【審査請求日】2022-09-01

(73)【特許権者】

【識別番号】500109320

【氏名又は名称】ザイオソフト株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】長田 剛

【審査官】山口 裕之

(56)【参考文献】

【文献】特開２００２－１０２２４９（ＪＰ，Ａ）

【文献】特開２０１６－１６８１８９（ＪＰ，Ａ）

【文献】国際公開第２０１９／０１６２４４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／０４５

Ａ６１Ｂ ５／００

Ｇ０６Ｔ １９／００

Ａ６１Ｂ １／００

(57)【特許請求の範囲】

【請求項1】

鏡視下手術を支援する鏡視下手術支援装置であって、
取得部及び処理部を備え、
前記取得部は、被検体のボリュームデータを取得する機能を有し、
前記処理部は、
前記ボリュームデータに含まれる組織を表現するモデルを設定し、
前記ボリュームデータを可視化するための第１の視野と、前記モデルにおけるターゲットの位置と、を設定し、
前記モデルを変形させるための第１の操作情報を取得し、
前記第１の操作情報に基づいて、前記モデルの変形前後における前記ターゲットの位置と向きの変化を算出し、
算出された前記ターゲットの位置及び向きの変化を用いて、前記第１の視野に対する前記変化の後の前記ターゲットの位置及び向きと第２の視野に対する前記変化の前の前記ターゲットの位置及び向きとが同等になるように、前記第２の視野を算出し、
前記第２の視野に基づいて、前記ボリュームデータを可視化する、機能を有する、
鏡視下手術支援装置。

【請求項2】

前記処理部は、前記被検体における前記ターゲットを含む組織を区分し、区分された前記組織に基づいて前記モデルを設定する
請求項１に記載の鏡視下手術支援装置。

【請求項3】

前記処理部は、
前記組織の輪郭を示す情報を表示部に表示させ、
前記モデルの変形に応じて、前記輪郭を変形させて前記輪郭を示す情報を表示させる、
請求項２に記載の鏡視下手術支援装置。

【請求項4】

前記処理部は、前記ボリュームデータの可視化において、前記被検体の骨を非表示にさせる、
請求項１～３のいずれか１項に記載の鏡視下手術支援装置。

【請求項5】

前記処理部は、前記ボリュームデータの可視化において、前記第１の視野に基づいて前記ボリュームデータを可視化する場合に可視化される画像に含まれる前記被検体の骨を、表示させる、
請求項１～３のいずれか１項に記載の鏡視下手術支援装置。

【請求項6】

前記処理部は、前記ボリュームデータとともに、前記被検体の内部において前記ターゲットに向かって挿入された鉗子を表示させる、
請求項１～５のいずれか１項に記載の鏡視下手術支援装置。

【請求項7】

前記処理部は、
前記モデルの変形前における前記ターゲットの位置と前記第２の視野に対応する視点との距離を操作するための第２の操作情報を取得し、
前記第２の操作情報に基づいて、前記ボリュームデータを可視化する、
請求項１～６のいずれか１項に記載の鏡視下手術支援装置。

【請求項8】

被検体のボリュームデータを取得するステップと、
前記ボリュームデータに含まれる組織を表現するモデルを設定するステップと、
前記ボリュームデータを可視化するための第１の視野と、前記モデルにおけるターゲットの位置と、を設定するステップと、
前記モデルを変形させるための第１の操作情報を取得するステップと、
前記第１の操作情報に基づいて、前記モデルの変形前後における前記ターゲットの位置と向きの変化を算出するステップと、
算出された前記ターゲットの位置及び向きの変化を用いて、前記第１の視野に対する前記変化の後の前記ターゲットの位置及び向きと第２の視野に対する前記変化の前の前記ターゲットの位置及び向きとが同等になるように、前記第２の視野を算出するステップと、
前記第２の視野に基づいて、前記ボリュームデータを可視化するステップと、
を有する鏡視下手術支援方法。

【請求項9】

請求項８に記載の鏡視下手術支援方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、鏡視下手術を支援する鏡視下手術支援装置、鏡視下手術支援方法、及びプログラムに関する。

【背景技術】

【0002】

従来、手術シミュレーションにおいて、表示画面への操作入力に応じて被検体の３次元医用画像に対する処理を施し、処理を施された３次元医用画像を表示画面に表示させる医用画像表示装置が知られている（特許文献１参照）。ここでの３次元医用画像に対する処理は、変形処理を含む。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－５４３５８公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の医用画像表示装置は、手術中ナビゲーションや術前シミュレーションにおいて被検体における観察対象（ターゲット）の可視化について、改善の余地がある。

【0005】

本開示は、上記事情に鑑みてされたものであって、被検体における観察対象の可視化を改善できる鏡視下手術支援装置、鏡視下手術支援方法、及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の一態様は、鏡視下手術を支援する鏡視下手術支援装置であって、取得部及び処理部を備え、前記取得部は、被検体のボリュームデータを取得する機能を有し、前記処理部は、前記ボリュームデータに含まれる組織を表現するモデルを設定し、前記ボリュームデータを可視化するための第１の視野と、前記モデルにおけるターゲットの位置と、を設定し、前記モデルを変形させるための第１の操作情報を取得し、前記第１の操作情報に基づいて、前記モデルの変形前後における前記ターゲットの位置と向きの変化を算出し、算出された前記ターゲットの位置及び向きを用いて、前記第１の視野に対する前記変化の後の前記ターゲットの位置及び向きと第２の視野に対する前記変化の前の前記ターゲットの位置及び向きとが同等になるように、前記第２の視野を算出し、前記第２の視野に基づいて、前記ボリュームデータを可視化する、機能を有する、鏡視下手術支援装置である。

【発明の効果】

【0007】

本開示によれば、被検体におけるターゲットの観察環境のし易さを改善できる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態における医用画像処理装置のハードウェア構成例を示すブロック図

【図2】医用画像処理装置の機能構成例を示すブロック図

【図3】医用画像処理装置による処理概要を説明する図

【図4】モデルの生成例を示す図

【図5】モデルの変形例を示す図

【図6】ターゲットと実カメラ位置との位置関係の一例を示す模式図

【図7】実カメラ位置と臓器の変形例とを示す模式図

【図8】仮想カメラ位置の一例を示す模式図

【図9】ターゲットを含まない臓器やターゲットを含む臓器の体表をレンダリング対象外とした画像の表示例を示す図

【図10】ターゲットを含む臓器と、ターゲットを含まない移動された臓器をレンダリング対象とした画像の表示例を示す図

【図11】医用画像処理装置の動作例を示すフローチャート

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面を用いて説明する。

【0010】

（本開示の一態様を得るに至った経緯）
術前シミュレーションや術中ナビゲーションでは、被検体の一部である観察対象（ターゲット）に注目して、詳細に観察することがある。例えば、鏡視下手術において、カメラ位置から見ると臓器の裏側にターゲットが位置する場合、カメラ位置からターゲットを確認できるように、臓器を変形することが想定される。このケースにおいて特許文献１の医用画像表示装置を用いる場合、ボリュームデータにおける臓器の部分を変形して、３次元医用画像をボリュームレンダリング等によりディスプレイに表示することになる。したがって、ボリュームデータに対して変形処理することとなり、演算量が膨大となる。さらに、ボリュームデータの各ボクセルに適切に剛性を設定し、臓器の境界における滑り、体液の流れ、空気を考慮する必要がある。さらに、手術過程を想定して臓器を少しずつ繰り返し変形させる場合、変形処理に係るボリュームデータの整合性を維持する必要がある。したがって、ボリュームデータと関心領域に対する微調整を手動で行う必要が出てくる。したがって、例えば、鏡視下手術において術者が鉗子を用いて臓器を操作するようなシミュレーションをリアルタイムに行うことは困難である。

【0011】

また、ボリュームデータの非剛体変形処理により変形処理されレンダリングされた画像は、術前シミュレーションや術中ナビゲーションにおいてそのまま確認されるので、変形処理の精度が高精度であることが要求される。特に、臓器境界が破綻していないことが要求される。

【0012】

また、臓器を変形する場合に、ターゲットを含む臓器を観察し易くするために、この臓器の周辺の他の臓器（例えば腹部領域における小腸）を細かく除去した区分（セグメンテーション）処理を行った上でターゲットを可視化することも考えられるが、迂遠である。また、ターゲットを含む臓器のみ変形させるシミュレーションをすることも考えられるが、この場合には複数の臓器間が仮想空間上で重なる可能性があり、被検体の可視化精度が低下し得る。

【0013】

また、ボリュームデータではなくサーフィスデータを変形させると、変形に係る処理速度を改善できるが、サーフィスレンダリングの精度が不十分となり得る。サーフィスデータを生成するために各臓器のセグメンテーションが不正確である場合、例えば細かい血管が大量にあると、細かい血管や入り組んだ臓器のサーフィスを正確に生成することが困難であるためである。例えば、肝臓に接続している血管と部分と接続していない血管が、更に不明瞭に可視化され得る。

【0014】

以下の実施形態では、被検体における観察対象の可視化を改善できる鏡視下手術支援装置、鏡視下手術支援方法、及びプログラムについて説明する。

【0015】

（第１の実施形態）
図１は、第１の実施形態における医用画像処理装置１００の構成例を示すブロック図である。医用画像処理装置１００は、取得部１１０、ＵＩ１２０、ディスプレイ１３０、プロセッサ１４０、及びメモリ１５０を備える。医用画像処理装置１００は、鏡視下手術（ロボット手術を含む）を画像処理によって支援する。医用画像処理装置１００は、例えば、術者による手術中のサポートを行うための術中ナビゲーション、又は術者による手術前の手術計画を策定するための術前シミュレーションを行う。

【0016】

医用画像処理装置１００には、ＣＴ装置２００が接続される。医用画像処理装置１００は、ＣＴ装置２００からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置１００は、ＰＣとＰＣに搭載されたソフトウェアにより構成されてもよい。

【0017】

ＣＴ装置２００は、被検体へＸ線を照射し、体内の組織によるＸ線の吸収の違いを利用して、画像（ＣＴ画像）を撮像する。被検体は、生体、人体、動物、等を含んでよい。ＣＴ装置２００は、被検体内部の任意の箇所の情報を含むボリュームデータを生成する。ＣＴ装置２００は、ＣＴ画像としてのボリュームデータを医用画像処理装置１００へ、有線回線又は無線回線を介して送信する。ＣＴ画像の撮像には、ＣＴ撮像に関する撮像条件や造影剤の投与に関する造影条件が考慮されてよい。

【0018】

医用画像処理装置１００内の取得部１１０は、例えば、通信ポートや外部装置接続ポート、組み込みデバイスへの接続ポートを含み、ＣＴ装置２００で得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ１４０に送られて各種処理されてもよいし、メモリ１５０において保管された後、必要時にプロセッサ１４０へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。また、ボリュームデータは中間データ、圧縮データやシノグラムの形で取得されてもよい。また、ボリュームデータは医用画像処理装置１００に取り付けられたセンサデバイスからの情報から取得されてもよい。このように、取得部１１０は、ボリュームデータ等の各種データを取得する機能を有する。

【0019】

ＵＩ１２０は、例えば、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。ＵＩ１２０は、医用画像処理装置１００のユーザから、任意の入力操作を受け付ける。ユーザは、術者、医師、看護師、放射線技師、学生、等を含んでよい。

【0020】

ＵＩ１２０は、各種操作を受け付ける。例えば、ボリュームデータやボリュームデータに基づく画像（例えば後述する３次元画像、２次元画像）における、関心領域（ＲＯＩ）の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織（例えば、血管、気管支、臓器、器官、骨、脳）の領域を含んでよい。組織は、病変組織、正常組織、腫瘍組織、等を含んでよい。また、ＵＩ１２０は、ボリュームデータを基に生成されたモデルに対する各種操作（例えば変形操作）を受け付けてよい。

【0021】

ディスプレイ１３０は、例えばＬＣＤを含んでよく、各種情報を表示する。各種情報は、ボリュームデータから得られる３次元画像や２次元画像を含んでよい。３次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像、仮想超音波画像、ＣＰＲ画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム（RaySum）画像、ＭＩＰ画像、ＭｉｎＩＰ画像、平均値画像、レイキャスト画像、等を含んでもよい。２次元画像は、アキシャル画像、サジタル画像、コロナル画像、ＭＰＲ画像、等を含んでよい。

【0022】

メモリ１５０は、各種ＲＯＭやＲＡＭの一次記憶装置を含む。メモリ１５０は、ＨＤＤやＳＳＤの二次記憶装置を含んでもよい。メモリ１５０は、ＵＳＢメモリやＳＤカードの三次記憶装置を含んでもよい。メモリ１５０は、各種情報やプログラムを記憶する。各種情報は、取得部１１０により取得されたボリュームデータ、プロセッサ１４０により生成された画像、プロセッサ１４０により設定された設定情報、各種プログラムを含んでもよい。メモリ１５０は、プログラムが記録される非一過性の記録媒体の一例である。

【0023】

プロセッサ１４０は、ＣＰＵ、ＤＳＰ、又はＧＰＵを含んでよい。プロセッサ１４０は、メモリ１５０に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部１６０として機能する。

【0024】

図２は、処理部１６０の機能構成例を示すブロック図である。処理部１６０は、領域処理部１６１、変形処理部１６２、モデル設定部１６３、情報設定部１６４、画像生成部１６５、及び表示制御部１６６を備える。なお、処理部１６０に含まれる各部は、１つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部１６０に含まれる各部は、専用のハードウェア部品により実現されてもよい。

【0025】

領域処理部１６１は、例えば取得部１１０を介して、被検体のボリュームデータを取得する。領域処理部１６１は、ボリュームデータに含まれる任意の領域を抽出する。領域処理部１６１は、例えばボリュームデータの画素値に基づいて、自動で関心領域を指定し、関心領域を抽出してよい。領域処理部１６１は、例えばＵＩ１２０を介して、手動で関心領域を指定し、関心領域を設定してよい。関心領域は、臓器、骨、血管、患部（例えば病変組織や腫瘍組織）、等の領域を含んでよい。

【0026】

また、関心領域は、単一の組織だけでなく、その組織の周囲の組織を含んでセグメンテーション（区分）されて抽出されてもよい。例えば、関心領域としての臓器が肝臓の場合、肝臓本体だけでなく、肝臓に接続する又は肝臓内若しくは肝臓周辺を走行する血管（例えば肝動脈、肝静脈、門脈）や、肝臓周辺の骨（例えば背骨、肋骨）を含んでもよい。また、上記の肝臓本体と肝臓内又は肝臓周辺の血管と肝臓周辺の骨とは、別々の組織としてセグメンテーションされて得られてもよい。

【0027】

モデル設定部１６３は、組織のモデルを設定する。モデルは関心領域とボリュームデータに基づいて設定されてよい。モデルは、ボリュームデータに表現されている組織を、ボリュームデータよりも簡素化して表現するものである。したがって、モデルのデータ量は、モデルに対応するボリュームデータのデータ量よりも小さい。モデルは、変形処理や変形操作の対象となる。モデルは、例えばボーン変形モデルでよい。この場合、モデルは、簡易な有限要素において骨組みを仮定して、有限要素の頂点を移動させることで、ボーンが変形する。組織の変形は、ボーンの変形を追従することによって表現できる。モデルは、臓器（例えば肝臓）を模した臓器モデルを含んでよい。モデルは、単純な形状の多角形（例えば三角形）に類似する形状を有してもよいし、その他の形状を有してもよい。モデルは、例えば、臓器を示すボリュームデータの輪郭線であってもよい。モデルは、３次元モデルであっても２次元モデルであってもよい。なお、骨についてはモデルの変形ではなく、ボリュームデータの変形で表現されてもよい。骨は変形の自由度が小さいため、ボリュームデータのアフィン変換で表現できるためである。

【0028】

モデル設定部１６３は、ボリュームデータに基づいて、モデルを生成することで、モデルを取得してよい。また、モデルのテンプレートが複数予め決まっており、メモリ１５０や外部サーバに保持されていてもよい。モデル設定部１６３は、ボリュームデータに合わせて、予め用意された複数のモデルのテンプレートから１つのモデルのテンプレートをメモリ１５０や外部サーバから取得することで、モデルを取得してもよい。

【0029】

情報設定部１６４は、各種情報を入力し又は取得し、設定する。例えば、情報設定部１６４は、鏡視下手術に用いられる内視鏡（カメラ）に関する情報（カメラ情報）を設定してよい。カメラは、カメラポートから挿入されて被検体内を撮像する。カメラ情報は、被検体に対するカメラ位置、カメラ向き、カメラ画角、等の情報を含んでよい。カメラ向きは、カメラが撮像する向きであり、カメラの光軸の方向と一致してよい。カメラ位置とカメラ向きとカメラ画角に応じて、カメラによる撮像範囲が決定されてよい。言い換えると、カメラ位置は、被検体を観察するための術者の視点とも言える。カメラ向きは、視点を起点とした術者の視線の向きとも言える。カメラ画角は、視点を基点とした術者の視野角とも言える。撮像範囲は、術者の視野とも言える。視点と視線の向きと視野角に応じて、視野が決定されてよい。視野は、ボリュームデータを可視化するための基準となる。なお、ここでのカメラ位置、カメラ向き、カメラ画角、及び撮像範囲は、実際に配置されるカメラを想定した情報であるので、実カメラ位置（実視点）、実カメラ向き（実視線向き）、実カメラ画角（実視野角）、及び実撮像範囲（実視野）とも称する。ここでの実際のカメラ情報を実カメラ情報とも称する。なお、情報設定部１６４は、術中ナビゲーションでは、任意のセンサにより検出されたカメラ情報を取得し、設定してもよい。

【0030】

情報設定部１６４は、術者が操作する鉗子（実鉗子）に関する鉗子情報を設定する。鉗子情報は、鉗子の位置や向きの情報を含んでよい。

【0031】

情報設定部１６４は、被検体に穿孔される各種ポートの位置の情報を設定してよい。各種ポートには、例えば、鉗子が挿入される鉗子ポート、カメラが挿入されるカメラポートが含まれる。なお、カメラは、カメラポートから挿入されるので、動きの自由度は小さい。また、鉗子は、鉗子ポートから挿入されるので、動きの自由度は小さい。

【0032】

情報設定部１６４は、組織におけるターゲットを模して、組織に対応するモデルにおけるターゲットに関するターゲット情報を設定する。ターゲット情報は、ターゲットの位置や向きの情報を含んでよい。ターゲットは、任意の組織（例えば臓器）内もしくは組織近傍に設定される。ターゲット位置が定まると、ターゲットの向き（ターゲット向き）が定まる。ターゲット向きとは、変形におけるターゲットの向きの変化を求めるのに利用するパラメータであり、初期値は任意に設定できる。ターゲット位置は、組織内のターゲットの位置又は組織内のターゲット位置から最短距離にある組織の輪郭上の点における接線方向にできる。情報設定部１６４は、Ｕ１２０を介してターゲット位置を指定してよい。また、過去に被検体に対して処置されたターゲット（例えば患部）の位置がメモリ１５０に保持されていてもよい。情報設定部１６４は、メモリ１５０からターゲット位置を取得して設定してもよい。情報設定部１６４は、組織におけるターゲット位置に基づいてターゲット向きを算出して設定してよい。

【0033】

変形処理部１６２は、手術対象の被検体における変形に関する処理を行う。被検体内の臓器等の組織は、手術における術者の各種処置を模してユーザによって各種の変形操作がされ得る。変形操作は、臓器を持ち上げる操作、ひっくり返す操作、切る操作、等を含んでよい。これに対応して、変形処理部１６２は、変形に関する処理として、被検体内の臓器等の組織に対応するモデルを変形させてよい。例えば、臓器が鉗子（例えば把持鉗子、剥離鉗子、電気メス）により引っ張られたり押されたり、切断されたりし得るが、この様子をモデルの変形によりシミュレートしてよい。これらの変形は、例えば、臓器の内部や裏側に位置することで術者により視認不能又は視認困難であるターゲットを、術者の視点（カメラ位置に相当）から視認可能（撮像可能）にさせるために実施され得る。つまり、モデルの内部や裏側に位置することで術者により視認不能又は視認困難であるターゲットを、術者の視点から視認可能にさせるために実施され得る。例えば、変形により、術者の視点とターゲットとの間に障害物（例えば骨）が不在の状況にする。モデルが変形すると、モデルにおけるターゲットも変形し得る。

【0034】

変形操作による変形は、モデルに対して行われ、有限要素法を用いた大変形シミュレーションでよい。例えば、体位変換による臓器の移動をシミュレートしてよい。この場合、臓器や病変の接点に加わる弾性力や臓器や病変の剛性、その他の物理的な特性が加味されてよい。モデルに対する変形処理は、ボリュームデータに対する変形処理と比較すると、演算量が低減される。変形シミュレーションにおける要素数が低減されるためである。

【0035】

モデルの設定では、モデル化される臓器におけるどの部分が被検体における他の部分とつながっているか、臓器に接続される血管の根本部分（臓器への接続部分）は動き難い、血管の先端部分は動き易い、骨は動き難い、骨を避けて他の組織が移動する、等の情報が設定され得る。組織のどのあたりが動き易く動き難いかの情報は、例えば、個別に細かく設定されてもよいし、均一の動きやすさとして設定されてもよい。また、変形によって組織が曲がる方向は、１つであっても複数存在してもよい。変形処理部１６２は、例えば、カメラ位置から見て静脈の裏側にターゲットが存在する場合、ターゲットを視認可能にモデルを変形することが困難であり、鏡視下手術は困難であるという情報を提供できる。

【0036】

モデルは、ディスプレイ１３０に表示されてよい。変形処理部１６２は、ＵＩ１２０を介してモデルに対して変形操作の情報を取得することで、モデルを変形してもよい。この場合、モデルに対する変形操作量に応じて、モデルにおける各部の変形量が決定されてよい。変形操作の情報は、例えば鉗子によって臓器を押す情報を含んでよい。臓器を押す情報は、臓器を押す位置、臓器を押す力、臓器を押す方向、等の情報を含んでよい。臓器を押す力は、臓器の可動点を、臓器を押す方向に変形させる要因として作用する。

【0037】

変形処理部１６２は、ターゲットを含む臓器とターゲットを含まない臓器との位置関係に応じて、ターゲットを含む臓器のモデルの変形を制限してよい。例えば、臓器の周囲の一部において変形し難い骨が存在する場合、骨は変形しないものとして、骨が存在する方向にはこの臓器が変形しないように制限してもよい。モデルの変形の制限に関する制限情報（例えばモデルにおける変形が制限される位置の情報）は、モデルに関する情報として設定され、メモリ１５０に保持されていてもよい。

【0038】

なお、モデルの形状は、実際の組織と比較して不正確でよい。例えば、臓器の輪郭は不正確であってよい。また、モデルの変形具合は、実際の組織の変形と比較して不正確でよく、例えば、臓器の変形前後の輪郭や形状は不正確であってよい。例えば、肝臓の端部の輪郭が不正確であることで、胃の一部が肝臓に入り込んでもよい。モデルの変形が実際の変形と比較して多少誤差があっても、モデルに対応するボリュームデータの可視化においてターゲットを視認しやすくなれば足りるためである。

【0039】

変形処理部１６２は、モデルの変形前後におけるターゲット位置及びターゲット向きの変化を算出する。この場合、モデルの変形を加味して、変形前のターゲット位置及びターゲット向きに基づいて、変形後のターゲット位置及びターゲット向きを算出してよい。

【0040】

変形処理部１６２は、ボリュームデータを可視化するための仮想的なカメラ位置、カメラ向き、カメラ画角、及び撮像範囲を算出する。ここでのカメラ位置、カメラ向き、カメラ画角、及び撮像範囲は、実際に配置されるカメラを想定した情報ではなく、仮想的に導出された情報であるので、仮想カメラ位置（仮想視点）、仮想カメラ向き（仮想視線向き）、仮想カメラ画角（仮想視野角）、及び仮想撮像範囲（仮想視野）とも称する。ここでの仮想的なカメラ情報を仮想カメラ情報とも称する。

【0041】

変形処理部１６２は、例えば、実カメラ位置と、実カメラ向きと、変形された（変形後の）臓器におけるターゲット位置やターゲット向きに基づいて、ターゲットを可視化するための仮想カメラ位置と仮想カメラ向きとを算出する。この場合、ターゲットを含む変形後の臓器のターゲット向きと実カメラ向きとの成す角度Ａ１（図３参照）を算出する。そして、変形されていない（変形前の）臓器のターゲット向きと仮想カメラ向きとの成す角度Ａ２（図３参照）が、算出された角度Ａ１と同じになるように、仮想カメラ位置を決定する。

【0042】

変形処理部１６２は、モデルの変形に応じて、鉗子の位置及び向きを変更してよい。この場合、実カメラ位置及び実カメラ向きから仮想カメラ位置及び仮想カメラ向きへの変更と同様の方法で、実鉗子位置及び実鉗子向きから仮想鉗子位置及び仮想鉗子向きへ変更してよい。例えば、実鉗子位置と、実鉗子向きと、変形後の臓器におけるターゲット位置やターゲット向きに基づいて、仮想鉗子位置と仮想鉗子向きとを算出してよい。この場合、ターゲットを含む変形後の臓器のターゲット向きと実鉗子向きとの成す角度を算出し、変形前の臓器のターゲット向きと仮想鉗子向きとの成す角度が、算出された角度と同じになるように、仮想鉗子位置を決定してよい。なお、実鉗子は、実際の手術の際の鉗子を想定したものでよい。仮想鉗子は、演算により仮想的に導出された鉗子でよい。

【0043】

また、変形処理部１６２は、変形に関する処理として、仮想的に被検体に対して気腹する気腹シミュレーションを行ってよい。気腹シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献１に記載された方法でよい。つまり、変形処理部１６２は、非気腹状態のボリュームデータを基に、気腹シミュレーションを行い、仮想気腹状態のボリュームデータを生成してよい。気腹シミュレーションにより、ユーザは、被検体に対して実際に気腹しなくても、被検体が気腹された状態を仮定し、仮想的に気腹された状態を観察できる。なお、気腹状態のうち、気腹シミュレーションにより推定される気腹の状態を仮想気腹状態と称し、実際の気腹された状態を実気腹状態と称してよい。

【0044】

（参考非特許文献１）Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI （Medical Image Computing and Computer-Assisted Intervention）, 2004, P559-P567

【0045】

気腹シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形処理部１６２は、被検体の皮下脂肪を含む体表と、被検体の腹部内臓と、をセグメンテーションしてよい。そして、変形処理部１６２は、体表を皮膚と体脂肪との２層の有限要素にモデル化し、腹部内臓を有限要素にモデル化してよい。変形処理部１６２は、任意に、例えば肺と骨とをセグメンテーションし、モデルに追加してよい。また、体表と腹部内臓との間にガス領域を設け、仮想的なガス注入に応じてガス領域（気腹空間）が拡張（膨張）してよい。

【0046】

画像生成部１６５は、各種画像を生成する。画像生成部１６５は、取得されたボリュームデータの少なくとも一部（例えばボリュームデータにおいて抽出された領域）に基づいて、３次元画像や２次元画像を生成する。画像生成部１６５は、変形処理部１６２により変形されたボリュームデータ（例えば仮想気腹状態のボリュームデータ）に基づいて、３次元画像や２次元画像を生成してよい。この場合、画像生成部１６５は、仮想カメラ位置から仮想カメラ向きを見た状態を表現するよう、ボリュームデータを可視化（例えばレンダリング）して３次元画像や２次元画像を生成してよい。

【0047】

表示制御部１６６は、各種データ、情報、画像をディスプレイ１３０に表示させる。画像は、画像生成部１６５で生成された画像（例えばレンダリング画像）を含む。また、表示制御部１６６は、レンダリング画像の輝度調整を行ってよい。輝度調整は、例えばウインドウ幅（ＷＷ：Window Width）及びウインドウレベル（ＷＬ：Window Level）の少なくとも一方の調整を含んでよい。

【0048】

図３は、医用画像処理装置１００による処理概要を説明する図である。

【0049】

まず、取得部１１０は、被検体のボリュームデータを取得する。領域処理部１６１は、必要に応じて被検体に含まれる臓器ＴＬの領域を抽出する。モデル設定部１６３は、臓器ＴＬの領域に基づいて、モデルＭＬを生成する。臓器ＴＬには、ターゲットＴＧが含まれる（過程Ａ参照、臓器ＴＬはモデルＭＬと区別せず説明する）。このモデルＭＬは、変形前のモデルＭＬＡである。モデルＭＬの変形前の状態では、モデルＭＬＡに対応する臓器ＴＬを実カメラ位置２１Ａから実カメラ向き２２Ａを見た様子として可視化した場合、ターゲットＴＧを視認することはできない。

【0050】

変形処理部１６２は、モデルＭＬＡに対して変形シミュレーションを施し、変形後のモデルＭＬＢを得る（過程Ｂ参照）。変形シミュレーションでは、変形情報が得られる。変形情報は、例えば、変形前後のモデルＭＬのボーンの変形を示すものでよい。そして、変形処理部１６２は、変形後のターゲット位置４１Ｂ及びターゲット向き４２Ｂを算出する。ターゲット向き４２（４２Ａ，４２Ｂ）とは、臓器のターゲット位置４１（４１Ａ，４１Ｂ）等における接線方向である。モデルＭＬの変形後の状態では、モデルＭＬＢに対応する臓器を実カメラ位置２１Ａから実カメラ向き２２Ａを見た様子として可視化した場合、臓器ＴＬ下部のターゲットＴＧを視認可能である。

【0051】

情報設定部１６４は、実カメラ位置２１Ａ及び実カメラ向き２２Ａを含む実カメラ情報を取得する。変形処理部１６２は、変形後のターゲット位置４１Ｂ及びターゲット向き４２Ｂ並びに実カメラ位置２１Ａ及び実カメラ向き２２Ａに基づいて、変形後のターゲットと実カメラとの位置関係を導出する。変形処理部１６２は、変形後のターゲットと実カメラとの位置関係に基づいて、つまり変形後のターゲット位置４１Ｂ及びターゲット向き４２Ｂ並びに実カメラ位置２１Ａ及び実カメラ向き２２Ａに基づいて、仮想カメラ位置２１Ｂ及び仮想カメラ向き２２Ｂを算出する（過程Ｃ参照））。つまり、変形処理部１６２は、変形前のモデルＭＬＡにおいて、変形後のモデルＭＬＢであればターゲットＴＧを視認可能であったはずの角度と距離になるように、仮想カメラ位置２１Ｂ及び仮想カメラ向き２２Ｂを算出する。この角度とは、実カメラ向き２２Ａと変形後のターゲット向き４２Ｂとの成す角度Ａ１と、仮想カメラ向き２２Ｂと変形前のターゲット向き４２Ａとの成す角度Ａ２であり、同じ角度となる。画像生成部１６５は、変形前のボリュームデータに基づいて、仮想カメラ位置２１Ｂ及び仮想カメラ向き２２Ｂを用いて可視化した画像を生成する。表示制御部１６６は、生成された画像をディスプレイ１３０に表示させる。つまり、変形前である元のボリュームデータを、仮想カメラ情報に基づいて可視化する。

【0052】

これにより、医用画像処理装置１００は、実カメラと変形後のターゲットＴＧとの角度関係と、仮想カメラと変形前のターゲットＴＧとの角度関係とが維持された状態で、仮想カメラ位置２１ＢからターゲットＴＧを含む臓器を視認可能である。よって、ユーザは、ターゲットＴＧを十分に観察可能である。よって、例えば臓器のボリュームデータを変形させてターゲットＴＧを視認可能にして可視化して観察する場合と比較すると、プロセッサ１４０の演算量やユーザの手間を低減できる。このようなターゲットＴＧへのアプローチを示す可視化でも、術中ナビゲーション及び術前シミュレーションでは十分である。

【0053】

図４は、モデルＭＬの生成例を示す図である。

【0054】

図４で示すモデルＭＬは、肝臓のボーン変形モデルである。肝臓１０には、門脈１２及び静脈１４が含まれる。領域処理部１６１は、肝臓１０の領域として、被検体から、肝臓１０本体と門脈１２と静脈１４とを含む領域を区分して抽出する。肝臓１０本体と門脈１２及び静脈１４とは繋がっている。門脈１２及び静脈１４は、肝臓１０の外部において固定点として扱ってよい。この情報は例えば有限要素法を用いてボーンの変形を計算するときにおいて用いられる。なお、肝臓１０本体と門脈１２と静脈１４とは、それぞれ別々の領域として抽出され、この３つの領域を合わせて肝臓１０の領域とされてもよい。

【0055】

図５は、モデルＭＬの変形例を示す図である。変形処理部１６２は、例えばＵＩ１２０を介して変形操作を受け、モデルＭＬを変形する。例えば、ＵＩ１２０を介して変形前のモデルＭＬＡの部分を矢印αの方向（図５では左上方向）へ移動させる操作を受け、この移動の検出に応じて矢印αの方向へ変形し、変形後のモデルＭＬＢを生成する。肝臓１０Ａは、変形前のモデルＭＬＡに対応する変形前の肝臓を示す。肝臓１０Ｂは、変形後のモデルＭＬＢに対応する肝臓を示す。よって、変形前後において肝臓１０の輪郭が変化している。なお、ここでは肝臓１０のモデルＭＬの変形が行われ、肝臓１０のボリュームデータの変形は行われないことで、変形に係る演算量を低減可能である。

【0056】

図６は、ターゲットＴＧと実カメラ位置２１Ａの位置関係の一例を示す模式図である。ここでは、鏡視下手術の一例として腹腔鏡手術を挙げるが、他の鏡視下手術であってもよい。なお、図６～図１０では、モデルＭＬの輪郭が、肝臓１０の輪郭と一致していることを例示する。また、モデルＭＬは、ディスプレイ１３０に表示されても表示されなくてもよい。図６～図１０では、モデルＭＬは、肝臓１０の臓器モデルであることを例示する。

【0057】

図６では、変形前のカメラ位置（実カメラ位置２１Ａ）及びカメラ向き（実カメラ向き２２Ａ）並びに鉗子３０の位置及び向きが示されている。図６では、実カメラ位置２１Ａから見ると、変形前の肝臓１０に対応するモデルＭＬＡにおけるターゲットＴＧは、肝臓１０における他箇所の裏側に隠れている。そのため、実カメラ位置２１Ａから実カメラ向き２２Ａを見ても、ターゲットＴＧを確認できない状態である。なお、実カメラ位置２１Ａ及び鉗子３０の位置とは一致しておらず、異なっている。

【0058】

図７は、実カメラ位置２１Ａと臓器の変形例を示す模式図である。

【0059】

変形前のモデルＭＬＡは、ターゲット位置４１がカメラ位置２１から視認可能となるように、つまりカメラ位置２１とターゲット位置４１との間に障害物が不在となるように、変形される。モデルＭＬの変形は、ＵＩ１２０を介した変形操作に応じて行われてよい。変形後のモデルＭＬＢでは、ターゲット位置４１Ｂが実カメラ位置２１Ａから視認可能となっており、つまり実カメラ位置２１Ａとターゲット位置４１Ｂとの間に障害物が不在となっている。ここでの障害物とは、ターゲットＴＧを含む肝臓１０における他の箇所であったり、他の組織（例えば骨）であったりしてよい。

【0060】

また、図７では、肝臓１０に対応するモデルＭＬの変形に伴って、モデルＭＬに含まれるターゲットＴＧが変形され、つまりターゲット位置４１やターゲット向き４２が変化する。変形処理部１６２は、モデルＭＬの変形に係る変形情報に基づいて、ターゲットＴＧの変形前後における移動情報及び回転情報を算出してよい。例えば、ユーザによる手術の操作（例えば、臓器を引っ張る、臓器をひっくり返す、臓器をめくる、臓器の切除）が、演算における変形によるターゲットＴＧの移動や回転で示されてよい。つまり、手術操作による臓器の変形を、演算によって移動や回転の組み合わせによって疑似的に表現されてよい。モデルＭＬの変形情報やターゲットＴＧの移動情報や回転情報は、メモリ１５０に保持されてよい。

【0061】

図８は、仮想カメラ位置２１Ｂの一例を示す模式図である。

【0062】

変形処理部１６２は、ターゲットＴＧの移動情報及び回転情報を取得する。そして、変形前のモデルＭＬに対してターゲットＴＧの移動情報及び回転情報の逆算結果を適用し、仮想カメラ位置２１Ｂ及び仮想カメラ向き２２Ｂを算出する。つまり、変形処理部１６２は、実カメラ位置２１Ａ及び実カメラ向き２２Ａに対する変形後のターゲット位置４１Ｂ及びターゲット向き４２Ｂの角度と距離に関する関係と、仮想カメラ位置２１Ｂ及び仮想カメラ向き２２Ｂに対する変形前のターゲット位置４１Ａ及びターゲット向き４２Ａの角度と距離に関する関係とが等しくなるように、即ち角度Ａ１とＡ２とが等しくなるように、実カメラ位置２１Ａの位置及び実カメラ向き２２Ａを、仮想カメラ位置２１Ｂ及び仮想カメラ向き２３Ｂへ変更する。この場合、変形処理部１６２は、カメラ位置及びカメラ向きの変更と同様に、鉗子３０の位置及び向きを変更してよい。つまり、実際の鉗子３０（実鉗子３０Ａ）の位置及び向きを、仮想的な鉗子３０（仮想鉗子３０Ｂ）の位置及び向きに変更してよい。

【0063】

次に、医用画像処理装置１００による画像の表示例について説明する。

【0064】

表示制御部１６６は、図９に示すように、例えば、ターゲットＴＧを含まない臓器（例えば骨）やターゲットＴＧを含む臓器の表面等を非表示とし、内部の血管を表示して、レンダリング画像を表示させてよい。これにより、医用画像処理装置１００は、視点移動した仮想カメラ位置２１Ｂから見た画像（例えば仮想内視鏡画像）の手前に障害物が存在することを抑制でき、観察対象であるターゲットＴＧやターゲットＴＧ周辺の臓器を良好に観察し易くできる。

【0065】

また、画像生成部１６５は、ターゲットＴＧを含まない臓器（例えば骨や手術の障害になり得る別の臓器）を、ターゲットＴＧを含む臓器とは別途レンダリングしてよい。表示制御部１６６は、図１０に示すように、別途レンダリングされたターゲットＴＧを含まない臓器の画像とターゲットＴＧを含む臓器の画像とを合成して表示させてよい。

【0066】

この場合、変形処理部１６２は、実カメラ位置２１Ａから仮想カメラ位置２１Ｂの移動に伴って、別途レンダリングされたターゲットＴＧを含まない臓器を移動させてよい。例えば、仮想カメラ位置２１Ｂ及び仮想カメラ向き２２Ｂを導出する際と同様に、モデルＭＬの変形前後におけるターゲットＴＧの移動情報及び回転情報を逆算して、ターゲットＴＧを含まない臓器の位置及び向きを算出してよい。この場合、移動前のターゲットＴＧを含まない臓器の位置及び向きに対する変形後のターゲット位置４１Ｂ及びターゲット向き４２Ｂの角度及び距離の関係と、移動後のターゲットＴＧを含まない臓器の位置及び向きに対する変形前のターゲット位置４１Ａ及びターゲット向き４２Ａの角度及び距離の関係と、が等しくなるように、移動前のターゲットＴＧを含まない臓器の位置及び向きを、移動後のターゲットＴＧを含まない臓器の位置及び向きへ変更してよい。図１０では、骨１５を骨１５Ｂとなるように移動させて、肝臓１０とは別にレンダリングした画像例を示している。

【0067】

図１１は、医用画像処理装置１００の動作例を示すフローチャートである。

【0068】

まず、被検体（例えば患者）のボリュームデータを取得する（Ｓ１１）。気腹シミュレーションを実行する（Ｓ１２）。臓器を抽出する臓器セグメンテーション及び骨を抽出する骨セグメンテーションを実行する（Ｓ１３）。ボリュームデータに基づいて、モデルＭＬを取得する（Ｓ１４）。鉗子ポート、カメラポート、及びターゲット情報（例えばターゲット位置４１及びターゲット向き４２）を取得する（Ｓ１５）。実鉗子の位置（実鉗子位置）及び向き（実鉗子向き）と実カメラの位置（実カメラ位置２１Ａ）及び向き（実カメラ向き２２Ａ）の情報を取得する（Ｓ１６）。なお、Ｓ１６では、実カメラ位置２１Ａ及び実カメラ向き２２Ａの情報の取得は、実撮像範囲（実視野）の取得であってもよい。

【0069】

鉗子３０によってターゲットＴＧを含む臓器を押す情報を取得する（Ｓ１７）。臓器を押す情報に基づいて、モデルＭＬを変形し、モデルＭＬの変形前後におけるターゲット位置４１及びターゲット向き４２の変化を算出する（Ｓ１８）。ここでは、変形後のターゲット位置４１Ｂ及びターゲット向き４２Ｂが算出されてよい。ターゲット位置４１及びターゲット向き４２の変化、実鉗子位置及び実鉗子向き、並びに実カメラ位置２１Ａ及び実カメラ向き２２Ａに基づいて、移動後の仮想鉗子３０Ｂの位置（仮想鉗子位置）及び向き（仮想鉗子向き）と仮想カメラの位置（仮想カメラ位置２１Ｂ）及び向き（仮想カメラ向き２２Ｂ）を算出する（Ｓ１９）。仮想カメラ位置２１Ｂ及び仮想カメラ向き２２Ｂに基づいて、ボリュームデータを仮想カメラ位置２１Ｂから仮想カメラ向き２２Ｂを見てレンダリングした画像を生成する（Ｓ２０）。なお、Ｓ１９及びＳ２０では、仮想カメラ位置２１Ｂ及び仮想カメラ向き２２Ｂの算出は、仮想撮像範囲（仮想視野）の算出であってもよく、仮想撮像範囲に基づいて、画像生成が行われてもよい。

【0070】

なお、処理部１６０は、Ｓ２０におけるレンダリング後に、Ｓ１６における実鉗子位置、実鉗子向き、実カメラ位置、及び実カメラ向きを、ＵＩ１２０を介して入力し、Ｓ１７以降の処理を行ってもよい。つまり、Ｓ１６～Ｓ２０の処理を反復してもよい。これにより、医用画像処理装置１００は、ユーザが鉗子３０やカメラを自由に動かして操作しても、操作された鉗子３０やカメラの位置や向きを反映しながら、ターゲットＴＧを見やすい状態でレンダリングして可視化できる。

【0071】

なお、処理部１６０は、Ｓ２０におけるレンダリング後に、Ｓ１７における臓器を押す情報を、ＵＩ１２０を介して入力し、Ｓ１８以降の処理を行ってもよい。つまり、Ｓ１７～Ｓ２０の処理を反復してもよい。これにより、医用画像処理装置１００は、例えばユーザが鉗子３０を動かして臓器の押し方（例えば臓器を押す位置、押す力、押す方向）を変更しても、操作された鉗子３０やカメラの位置や向きを反映しながら、ターゲットＴＧを見やすい状態でレンダリングして可視化できる。

【0072】

なお、Ｓ１３における臓器セグメンテーション及び骨セグメンテーションの精度は、高精度でなくてもよい。例えば臓器や骨の輪郭に多少の誤差があっても、臓器におけるターゲットＴＧの様子を視認し易くなれば足りるためである。

【0073】

図１１の処理によれば、医用画像処理装置１００は、画素数の大きなボリュームデータの変形を行わずに、モデルＭＬの変形を行うことで、変形に係る演算量を低減できる。また、モデルＭＬの変形により臓器を変形してターゲットＴＧを視認可能な状態を、可視化対象のボリュームデータを変形せずに手軽に再現できる。よって、ユーザは、実カメラ位置からターゲットＴＧに対してアプローチ可能か否か、アプローチの途中に障害物があるか否か、鉗子３０によるアプローチが可能な角度であるか否かを、等を確認できる。また、医用画像処理装置１００は、モデルＭＬを変形してもターゲットＴＧを視認できない場合には、鏡視下手術ではなく開腹手術を行うことを推奨できる。つまり、鏡視下手術可能か開腹手術が必要かの判断材料を提供できる。

【0074】

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

【0075】

例えば、術前シミュレーション及び術中ナビゲーションが行われる鏡視下手術は、腹腔鏡手術、関節鏡手術、気管支鏡手術、大腸鏡手術、又はその他の鏡視下手術であってもよい。また、鏡視下手術は、術者が鉗子を直接操作して行う手術であっても、手術ロボットを用いたロボット手術であってもよい。

【0076】

また、組織の変形は、組織の切除を含んでよい。ここでの切除による変形は、モデルＭＬに対して実施されるが、ボリュームデータに対しても適用されてよい。切除に係る演算量は、ボリュームデータを用いても膨大ではないためである。具体的には、変形処理部１６２は、例えばＵＩ１２０を介して切除操作を取得すると、切除操作に応じて、ボリュームデータを切除することで変形してよい。また、領域処理部１６１が、ボリュームデータにおいて切除される箇所を表示対象外となる非マスク領域に設定し、表示制御部１６６が、非マスク領域に含まれるボリュームデータの一部を非表示にさせてもよい。

【0077】

また、組織の変形は、ボリュームデータに対して等間隔に配置された格子点を動かすことによって表現しても良い。この場合、ターゲットの向きの変化は、格子点間に張られる線分の向きの変化によって表現できる。例えば参考特許文献１にこの実施方法が記載されている。
（参考特許文献１：米国特許第８３１１３００号明細書）

【0078】

また、視点の移動に関して、変形前後において、ターゲットＴＧに対してカメラ位置（視点）を移動可能にする一方、ターゲットＴＧとカメラ位置との距離を一定に保たずに距離が変化してもよい。例えば、ターゲットＴＧを含む臓器を仮想内視鏡画像（透視投影画像）によって可視化する場合、仮想内視鏡画像において視点とターゲットＴＧとの距離が維持されても維持されなくてもよい。なお、平行投影の場合、ターゲットＴＧと視点との距離を観念困難である。距離を維持しない場合、例えば、実カメラ位置とターゲットＴＧとの距離とは異なるズームインやズームアウトを表現できる。

【0079】

また、変形処理部１６２は、ターゲットＴＧに対する実カメラ位置及び実カメラ向きの仮想カメラ位置及び仮想カメラ向きへの移動後に、ＵＩ１２０を介して仮想カメラ位置及び仮想カメラ向きの少なくとも一方を更に変更してもよい。これにより、医用画像処理装置１００は、実カメラ位置と変形後のモデルＭＬにおけるターゲットＴＧとの位置関係に基づく自動の視点移動に加えて、手動による視点移動も追加実施できる。よって、例えば、自動の視点移動の結果を手動の視点移動で微調整して、手動で移動された視点を基準として生成された画像を確認することで、ターゲットＴＧの様子を更に見易くすることができる。

【0080】

また、処理部１６０は、ターゲットＴＧが実カメラ位置から視認困難又は視認不可能である場合に実カメラ位置から仮想カメラ位置へ移動させてターゲットＴＧ周辺を可視化することを例示したが、これに限らない。例えば、処理部１６０は、ターゲットＴＧが実カメラ位置から視認可能であるが、ターゲットＴＧの様子をより見やすい仮想カメラ位置へ移動させ、仮想カメラ位置から見たターゲットＴＧ周辺の様子を可視化してもよい。これにより、医用画像処理装置１００は、ターゲットＴＧを視認可能な場合でも、ターゲットＴＧの様子を一層観察し易くできる。

【0081】

上記実施形態の適用対象の臓器として肝臓を主に例示したが、他の臓器であってもよい。例えば、肺、胃、腸、膵臓、その他の臓器であってもよい。

【0082】

また、医用画像処理装置１００は、少なくともプロセッサ１４０及びメモリ１５０を備えていればよい。取得部１１０、ＵＩ１２０、及びディスプレイ１３０は、医用画像処理装置１００に対して外付けであってもよい。

【0083】

また、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ（例えば画像データサーバ（ＰＡＣＳ）（不図示））等へ送信され、保管されてもよい。この場合、必要時に医用画像処理装置１００の取得部１１０が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体（不図示）を介して取得してもよい。

【0084】

また、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００へ取得部１１０を経由して送信されることを例示した。これは、実質的にＣＴ装置２００と医用画像処理装置１００とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置１００がＣＴ装置２００のコンソールとして扱われている場合も含む。

【0085】

また、ＣＴ装置２００により画像を撮像し、被検体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、血管造影装置（Angiography装置）、又はその他のモダリティ装置を含む。また、ＰＥＴ装置は、他のモダリティ装置と組み合わせて用いられてもよい。

【0086】

また、医用画像処理装置１００における動作が規定された医用画像処理方法として表現可能である。また、コンピュータに医用画像処理方法の各ステップを実行させるためのプログラムとして表現可能である。

【0087】

（上記実施形態の概要）
上記実施形態の一態様は、鏡視下手術を支援する医用画像処理装置１００（鏡視下手術支援装置の一例）であって、取得部１１０と、処理部１６０と、を備える。取得部１１０は、被検体のボリュームデータを取得する機能を有する。処理部１６０は、ボリュームデータに含まれる組織を表現するモデルＭＬを設定する。処理部１６０は、ボリュームデータを可視化するための実視野（第１の視野の一例）と、モデルＭＬにおけるターゲットＴＧの位置と、を設定する。処理部１６０は、モデルＭＬを変形させるための変形操作の情報（第１の操作情報の一例）を取得する。処理部１６０は、変形操作の情報に基づいて、モデルＭＬの変形前後におけるターゲットＴＧの位置と向きの変化を算出してよい。処理部１６０は、算出されたターゲットＴＧの位置及び向きの変化を用いて、実視野に対する変化後のターゲットＴＧの位置及び向きと仮想視野（第２の視野の一例）に対する変化前のターゲットＴＧの位置及び向きとが同等になるように、仮想視野を算出してよい。処理部１６０は、仮想視野に基づいて、ボリュームデータを可視化してよい。

【0088】

これにより、医用画像処理装置１００は、組織の変形を行わずに、変形後のターゲットＴＧと実カメラとの位置関係が、変形前のターゲットＴＧと仮想カメラとの位置関係と同様になるように、仮想視野を求め、仮想視野を基準としたボリュームデータの可視化を提供できる。よって、例えば、実視野から実視線向きを見ると臓器の裏側にターゲットが位置する場合でも、臓器の変形をして可視化するのではなく、視野を変更して変形していない臓器を可視化することで、臓器を変形して可視化することと同様の状態を表現できる。また、ボリュームデータの変形を行わないので、演算量を低減できる。さらに、ボリュームデータの各ボクセルに適切に剛性を設定し、臓器の境界における滑り、体液の流れ、空気を考慮する必要が無くなる。さらに、手術過程を想定して臓器を少しずつ繰り返し変形させる場合、変形処理に係るボリュームデータの整合性を維持する必要も無くなる。したがって、ボリュームデータと関心領域に対する手動による微調整も不要となる。したがって、例えば、鏡視下手術において術者が鉗子３０を用いて臓器を操作するようなシミュレーションをリアルタイムに行うことができる。特に、臓器境界が破綻していないことが保証される。

【0089】

また、可視化される臓器は変形されないので、臓器の変形により複数の臓器間が仮想空間上で重なることはない。また、可視化される臓器は変形されないので、例えば各臓器のセグメンテーションが正しくない場合でも、肝臓の輪郭に接続している血管と接続していない血管とを明瞭に可視化でき、サーフィスレンダリングの精度が低下することを抑制できる。このように、被検体における観察対象の可視化を改善できる。

【0090】

また、処理部１６０は、被検体におけるターゲットＴＧを含む組織を区分し、区分された組織に基づいてモデルＭＬに設定してよい。これにより、医用画像処理装置１００は、ターゲットＴＧを含む組織のみ、モデルＭＬを用いて、仮想視野から見たボリュームデータを可視化でき、ターゲットＴＧを含む組織を観察しやすくできる。この場合でも、医用画像処理装置１００は、可視化される臓器が変形されないので、変形する臓器と変形しない臓器とが混在することはなく、臓器の変形により複数の臓器間が仮想空間上で重なることを防止できる。また、ターゲットＴＧとの関連の深い臓器に対応するモデルに対する変形操作がし易くなる。

【0091】

また、処理部１６０は、組織の輪郭を示す情報をディスプレイ１３０（表示部の一例）に表示させてよい。そして、モデルＭＬの変形に応じて、輪郭を変形させて輪郭を示す情報を表示させてよい。輪郭のはっきりしない臓器も存在するが、医用画像処理装置１００は、輪郭を示す情報を表示することで、組織がどのような形状を有するかを明確にできる。なお、変形操作のためのモデルＭＬもディスプレイ１３０に表示されてもよい。輪郭は、ポリゴンによって生成されてよい。

【0092】

また、処理部１６０は、仮想視野に基づくボリュームデータの可視化において、被検体の骨を非表示にさせてよい。これにより、医用画像処理装置１００は、ターゲットを含む臓器と直接の関係ない情報を表示対象から除外し、ターゲットを見易くできる。

【0093】

また、処理部１６０は、仮想視野に基づくボリュームデータの可視化において、実視野に基づいてボリュームデータを可視化する場合に可視化される画像に含まれる被検体の骨を、表示させてよい。これにより、医用画像処理装置１００は、ターゲットＴＧ及びその周辺の骨を可視化でき、術者による鏡視下手術をサポートできる。なお、処理部１６０は、骨の抽出を行わずに骨を可視化してもよい。例えば、骨のＣＴ値は他の組織と比較して大きいので、ＣＴ値が閾値以上のボクセルを可視化することで、骨を可視化できる。

【0094】

また、処理部１６０は、ボリュームデータとともに、被検体の内部においてターゲットＴＧに向かって挿入された鉗子３０を表示させてよい。これにより、医用画像処理装置１００は、ターゲットＴＧとターゲットＴＧに対する各種措置を行うための鉗子３０との位置関係を可視化でき、術者による鏡視下手術をサポートできる。

【0095】

また、処理部１６０は、モデルの変形前におけるターゲット位置４１Ａと仮想視野に対応する仮想視点との距離を操作するための変形操作の情報（第２の操作情報の一例）を取得してよい。そして、この変形操作の情報に基づいて、ボリュームデータを可視化してよい。これにより、医用画像処理装置１００は、手動で視点の移動を行うことで、仮想視点を調整でき、術者の所望する仮想視点からの距離や角度でターゲットＴＧを可視化できる。よって、従者の所望するターゲットＴＧを含む画像を得やすくできる。

【0096】

上記実施形態の一態様は、被検体のボリュームデータを取得するステップと、ボリュームデータに含まれる組織を表現するモデルを設定するステップと、ボリュームデータを可視化するための第１の視野と、モデルにおけるターゲットの位置と、を設定するステップと、モデルを変形させるための第１の操作情報を取得するステップと、第１の操作情報に基づいて、モデルの変形前後におけるターゲットの位置と向きの変化を算出するステップと、算出されたターゲットの位置及び向きの変化を用いて、第１の視野に対する変化後のターゲットの位置及び向きと第２の視野に対する変化前のターゲットの位置及び向きとが同等になるように、第２の視野を算出するステップと、第２の視野に基づいて、ボリュームデータを可視化するステップと、を有する鏡視下手術支援方法、である。

【0097】

本実施形態の一態様は、上記の鏡視下手術支援方法をコンピュータに実行させるためのプログラムである。

【産業上の利用可能性】

【0098】

本開示は、被検体における観察対象の可視化を改善できる鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム等に有用である。

【符号の説明】

【0099】

１０，１０Ａ，１０Ｂ 肝臓
１２ 門脈
１４ 静脈
１５，１５Ｂ 骨
２１ カメラ位置
２１Ａ 実カメラ位置
２１Ｂ 仮想カメラ位置
２２ カメラ向き
２２Ａ 実カメラ向き
２２Ｂ 仮想カメラ向き
３０ 鉗子
３０Ａ 実鉗子
３０Ｂ 仮想鉗子
４１，４１Ａ，４１Ｂ ターゲット位置
４２，４２Ａ，４２Ｂ ターゲット向き
１００ 医用画像処理装置
１１０ 取得部
１２０ ＵＩ
１３０ ディスプレイ
１４０ プロセッサ
１５０ メモリ
１６０ 処理部
１６１ 領域処理部
１６２ 変形処理部
１６３ モデル設定部
１６４ 情報設定部
１６５ 画像生成部
１６６ 表示制御部
２００ ＣＴ装置
ＭＬ，ＭＬＡ，ＭＬＢ モデル
ＴＧ ターゲット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】