特許 7495216 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240528BHJP

   A61B 1/00 20060101ALI20240528BHJP

   A61B 1/045 20060101ALI20240528BHJP

【ＦＩ】

A61B34/20

A61B1/00 552

A61B1/00 V

A61B1/045 623

【請求項の数】 11

(21)【出願番号】P 2019169672

(22)【出願日】2019-09-18

(65)【公開番号】P2021045341

(43)【公開日】2021-03-25

【審査請求日】2022-09-01

(73)【特許権者】

【識別番号】500109320

【氏名又は名称】ザイオソフト株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】茅野 秀介

【審査官】豊田 直希

(56)【参考文献】

【文献】特開２０１１－２０６２５１（ＪＰ，Ａ）

【文献】特表２０１４－５２５７６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１９９１４７（ＵＳ，Ａ１）

【文献】特開２０１５－０８３０４０（ＪＰ，Ａ）

【文献】国際公開第２０１３／１４５７３０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／００

Ａ６１Ｂ １／００

(57)【特許請求の範囲】

【請求項1】

鏡視下手術を支援する鏡視下手術支援装置であって、
処理部を備え、
前記処理部は、
被検体の３Ｄデータと手術器具の形状の情報とを取得し、
前記３Ｄデータにおける前記被検体の体表に仮想ポートを設定し、
前記仮想ポートに対応した実ポートから前記被検体の内部に挿入された前記手術器具の挿入距離が検出された情報を取得し、
少なくとも前記仮想ポートの位置と検出された前記手術器具の挿入距離と前記手術器具の形状とに基づいて、前記３Ｄデータを可視化した第１の画像に、前記手術器具を示す情報と前記手術器具の先端位置及び先端向きとを重畳して表示部に表示させる、機能を有する、
鏡視下手術支援装置。

【請求項2】

前記３Ｄデータは、気腹シミュレーションが施された仮想気腹状態の３Ｄデータを含む、
請求項１に記載の鏡視下手術支援装置。

【請求項3】

前記処理部は、
前記被検体の内部における前記手術器具の挿入方向が検出された情報を取得し、
検出された前記手術器具の挿入方向に基づいて、前記手術器具を示す情報を表示させる、
請求項１又は２に記載の鏡視下手術支援装置。

【請求項4】

前記処理部は、
前記被検体の内部における前記手術器具の挿入方向を算出し、
前記手術器具の挿入方向に基づいて、前記手術器具を示す情報を表示させる、
請求項１又は２に記載の鏡視下手術支援装置。

【請求項5】

前記手術器具は、２以上あり、少なくともそのうちの一つは内視鏡を含み、
前記仮想ポートは、２以上あり、少なくともそのうちの一つは前記被検体の体表において前記内視鏡が挿入される仮想カメラポートを含み、
前記処理部は、
前記仮想カメラポートに対応した実カメラポートから前記被検体の内部に挿入された前記内視鏡の挿入距離を取得し、
少なくとも前記仮想カメラポートの位置と前記内視鏡の挿入距離とに基づいて、前記内視鏡の先端位置を算出し、
前記第１の画像は、前記内視鏡の先端位置を視点とする仮想内視鏡画像である、
請求項１～４のいずれか１項に記載の鏡視下手術支援装置。

【請求項6】

前記処理部は、
前記内視鏡で撮像された画像である実内視鏡画像を取得し、
前記実内視鏡画像に含まれる前記手術器具の映像に基づいて、算出された前記内視鏡の先端位置又は前記仮想内視鏡画像における前記手術器具の位置を調整する、
請求項５に記載の鏡視下手術支援装置。

【請求項7】

前記処理部は、
前記３Ｄデータにおけるターゲットを設定し、
前記第１の画像に、前記手術器具と前記ターゲットとの間の距離に基づく情報を重畳して表示させる、
請求項１～６のいずれか１項に記載の鏡視下手術支援装置。

【請求項8】

前記処理部は、
前記３Ｄデータにおける危険部位を設定し、
前記第１の画像に、前記手術器具と前記危険部位との間の距離を示す情報を重畳して表示させる、
請求項１～７のいずれか１項に記載の鏡視下手術支援装置。

【請求項9】

前記処理部は、
前記実ポートが計測された計測情報を取得し、
前記実ポートの計測情報と、前記実ポートに対応する前記仮想ポートの位置と、に基づいて、前記第１の画像に前記手術器具を示す情報を重畳して表示させる、
請求項１～８のいずれか１項に記載の鏡視下手術支援装置。

【請求項10】

プロセッサが、被検体の３Ｄデータと手術器具の形状の情報とを取得するステップと、
前記プロセッサが、前記３Ｄデータにおける前記被検体の体表に仮想ポートを設定するステップと、
前記プロセッサが、前記仮想ポートに対応した実ポートから前記被検体の内部に挿入された前記手術器具の挿入距離が検出された情報を取得するステップと、
前記プロセッサが、少なくとも前記仮想ポートの位置と検出された前記手術器具の挿入距離と前記手術器具の形状とに基づいて、前記３Ｄデータを可視化した第１の画像に、前記手術器具を示す情報と前記手術器具の先端位置及び先端向きとを重畳して表示部に表示させるステップと、
を有する鏡視下手術支援方法。

【請求項11】

請求項１０に記載の鏡視下手術支援方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、鏡視下手術支援装置、鏡視下手術支援方法、及びプログラムに関する。

【背景技術】

【0002】

従来、腹腔鏡下手術ナビゲーションシステムにおけるカメラの位置姿勢の制御手法が検討されている（非特許文献１参照）。非特許文献１のシステムでは、腹腔鏡カメラとして、鉗子の先端にＣＣＤカメラを取り付けた擬似カメラを利用する。この擬似カメラに取り付けた正六角形の台座の各面のマーカを外部カメラで測定することで、ＰＣ上で疑似カメラの先端の位置姿勢を算出する。

【先行技術文献】

【非特許文献】

【0003】

【文献】文山 誠友、外５名、“腹腔鏡下手術ナビゲーションシステムにおけるカメラの位置姿勢制御手法の検討”、［online］、情報・システムソサイエティ特別企画 学生ポスターセッション予稿集、２０１８年、ＩＥＩＣＥ（電子情報通信学会）、ＩＳＳ－Ｐ－０３４、［令和１年８月９日検索］、インターネット＜ＵＲＬ：https://www.ieice.org/~iss/jpn/Publications/issposter_2018/data/pdf/ISS-P-034.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１のシステムを手術ナビゲーションに用いると、疑似カメラに対応する腹腔鏡カメラの位置を導出するために、腹腔鏡カメラの他に、手術時の様子を撮像するために例えば天井に設置される外部カメラを必要とする。そのため、手術ナビゲーションを行うためのシステムが大がかりとなる。また、外部カメラは、例えば手術室の天井に設置されるので、手術室を基準とした座標系（手術室座標系ともいう）を用いることとなる。一方、腹腔鏡カメラは、患者に設置されるポートを基準に患者の体内において操作されるので、患者を基準とした座標系（患者座標系）を用いることとなる。そのため、術中ナビゲーションにおいて手術室座標系を用いた画像と患者座標系を用いた画像とを参照する場合、相互に位置合わせが必要となる。そのため、手術ナビゲーションにおいて、事前に座標をレジストレーションする工程が必要になる。また、術中に患者の動きに応じて再レジストレーションが必要になる。

【0005】

本開示は、上記事情に鑑みてされたものであって、システム構成を単純化して簡便に手術ナビゲーションを実施できる鏡視下手術支援装置、鏡視下手術支援方法、及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の一態様は、鏡視下手術を支援する鏡視下手術支援装置であって、処理部を備え、前記処理部は、被検体の３Ｄデータと手術器具の形状の情報とを取得し、前記３Ｄデータにおける前記被検体の体表に仮想ポートを設定し、前記仮想ポートに対応した実ポートから前記被検体の内部に挿入された前記手術器具の挿入距離が検出された情報を取得し、少なくとも前記仮想ポートの位置と検出された前記手術器具の挿入距離と前記手術器具の形状とに基づいて、前記３Ｄデータを可視化した第１の画像に、前記手術器具を示す情報と前記手術器具の先端位置及び先端向きとを重畳して表示部に表示させる、機能を有する、鏡視下手術支援装置である。

【発明の効果】

【0007】

本開示によれば、システム構成を単純化して簡便に手術ナビゲーションを実施できる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態における医用画像処理装置のハードウェア構成例を示すブロック図

【図2】医用画像処理装置の機能構成例を示すブロック図

【図3】ターゲットを含む臓器、ターゲットに対する処置に用いる手術器具、及び手術器具が挿入されるポートの位置関係と、被検体座標系と、の一例を示す図

【図4】ポートを基準としたポート座標系の一例を示す図

【図5】内視鏡の先端位置と先端向きと撮像範囲と鉗子との位置関係の一例を示す図

【図6】ボリュームレンダリング画像と各種情報とを重畳表示した表示例を示す図

【図7】仮想内視鏡画像と各種情報とを重畳表示した表示例を示す図

【図8】医用画像処理装置の動作例を示すフローチャート

【図9】ポート位置シミュレーションの手順の一例を示すフローチャート

【図10】医用画像処理装置によるポート位置スコアを算出する場合の動作例を示すフローチャート

【図11】仮想ポート位置を基に定められるワーキングエリアの一例を示す図

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面を用いて説明する。

【0010】

（第１の実施形態）
図１は、第１の実施形態における医用画像処理装置１００の構成例を示すブロック図である。医用画像処理装置１００は、取得部１１０、ＵＩ１２０、ディスプレイ１３０、プロセッサ１４０、及びメモリ１５０を備える。医用画像処理装置１００は、鏡視下手術（ロボット手術を含む）を画像処理によって支援する。医用画像処理装置１００は、手術ナビゲーションを行う。手術ナビゲーションは、例えば、手術前の計画（術前計画）を行うための術前シミュレーションや手術中のサポートを行うための術中ナビゲーションを含む。

【0011】

医用画像処理装置１００には、ＣＴ装置２００が接続される。医用画像処理装置１００は、ＣＴ装置２００からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置１００は、ＰＣとＰＣに搭載されたソフトウェアにより構成されてもよい。

【0012】

ＣＴ装置２００は、被検体へＸ線を照射し、体内の組織によるＸ線の吸収の違いを利用して、画像（ＣＴ画像）を撮像する。被検体は、生体、人体、動物、等を含んでよい。ＣＴ装置２００は、被検体内部の任意の箇所の情報を含むボリュームデータを生成する。ＣＴ装置２００は、ＣＴ画像としてのボリュームデータを医用画像処理装置１００へ、有線回線又は無線回線を介して送信する。ＣＴ画像の撮像には、ＣＴ撮像に関する撮像条件や造影剤の投与に関する造影条件が考慮されてよい。

【0013】

医用画像処理装置１００には、手術器具３００からの情報が入力される。手術器具３００は、手術において用いられる器具であり、内視鏡（カメラ）、鉗子、等を含む。医用画像処理装置１００は、手術器具３００から、例えば、後述する手術器具３００の挿入距離情報、向き情報、位置情報、手術器具３００により撮像されたカメラ画像を取得し、処理を行う。

【0014】

医用画像処理装置１００内の取得部１１０は、例えば、通信ポートや外部装置接続ポート、組み込みデバイスへの接続ポートを含む。取得部１１０は、ＣＴ装置２００で得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ１４０に送られて各種処理されてもよいし、メモリ１５０において保管された後、必要時にプロセッサ１４０へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。また、ボリュームデータは中間データ、圧縮データやシノグラムの形で取得されてもよい。また、ボリュームデータは医用画像処理装置１００に取り付けられたセンサデバイスからの情報から取得されてもよい。このように、取得部１１０は、ボリュームデータ等の各種データを取得する機能を有する。

【0015】

ＵＩ１２０は、例えば、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。ＵＩ１２０は、医用画像処理装置１００のユーザから、任意の入力操作を受け付ける。ユーザは、術者、医師、看護師、放射線技師、学生、等を含んでよい。

【0016】

ＵＩ１２０は、各種操作を受け付ける。例えば、ボリュームデータやボリュームデータに基づく画像（例えば後述する３次元画像、２次元画像）における、関心領域（ＲＯＩ）の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織（例えば、血管、気管支、臓器、器官、骨、脳）の領域を含んでよい。組織は、病変組織、正常組織、腫瘍組織、等を含んでよい。

【0017】

ディスプレイ１３０は、例えばＬＣＤを含んでよく、各種情報を表示する。各種情報は、ボリュームデータから得られる３次元画像や２次元画像を含んでよい。３次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像、仮想超音波画像、ＣＰＲ画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム（RaySum）画像、ＭＩＰ画像、ＭｉｎＩＰ画像、平均値画像、レイキャスト画像、等を含んでもよい。２次元画像は、アキシャル画像、サジタル画像、コロナル画像、ＭＰＲ画像、等を含んでよい。

【0018】

メモリ１５０は、各種ＲＯＭやＲＡＭの一次記憶装置を含む。メモリ１５０は、ＨＤＤやＳＳＤの二次記憶装置を含んでもよい。メモリ１５０は、ＵＳＢメモリやＳＤカードの三次記憶装置を含んでもよい。メモリ１５０は、各種情報やプログラムを記憶する。各種情報は、取得部１１０により取得されたボリュームデータ、プロセッサ１４０により生成された画像、プロセッサ１４０により設定された設定情報、各種プログラムを含んでもよい。メモリ１５０は、プログラムが記録される非一過性の記録媒体の一例である。

【0019】

プロセッサ１４０は、ＣＰＵ、ＤＳＰ、又はＧＰＵを含んでよい。プロセッサ１４０は、メモリ１５０に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部１６０として機能する。

【0020】

図２は、処理部１６０の機能構成例を示すブロック図である。処理部１６０は、領域処理部１６１、変形処理部１６２、モデル設定部１６３、ポート情報処理部１６４、手術器具情報処理部１６５、画像生成部１６６、及び表示制御部１６７を備える。なお、処理部１６０に含まれる各部は、１つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部１６０に含まれる各部は、専用のハードウェア部品により実現されてもよい。

【0021】

領域処理部１６１は、例えば取得部１１０を介して、被検体のボリュームデータを取得する。領域処理部１６１は、ボリュームデータに含まれる任意の領域を抽出する。領域処理部１６１は、例えばボリュームデータの画素値に基づいて、自動で関心領域を指定し、関心領域を抽出してよい。領域処理部１６１は、例えばＵＩ１２０を介して、手動で関心領域を指定し、関心領域を抽出してよい。関心領域は、臓器、骨、血管、患部（例えば病変組織や腫瘍組織）、等の領域を含んでよい。

【0022】

また、関心領域は、単一の組織だけでなく、その組織の周囲の組織を含んでセグメンテーション（区分）されて抽出されてもよい。例えば、関心領域としての臓器が肝臓の場合、肝臓本体だけでなく、肝臓に接続する又は肝臓内若しくは肝臓周辺を走行する血管（例えば肝動脈、肝静脈、門脈）や、肝臓周辺の骨（例えば背骨、肋骨）を含んでもよい。また、上記の肝臓本体と肝臓内又は肝臓周辺の血管と肝臓周辺の骨とは、別々の組織としてセグメンテーションされて得られてもよい。

【0023】

モデル設定部１６３は、組織のモデルを設定する。モデルは関心領域とボリュームデータに基づいて設定されてよい。モデルは、ボリュームデータが表現する組織を、ボリュームデータよりも簡素化して表現するものである。したがって、モデルのデータ量は、モデルに対応するボリュームデータのデータ量よりも小さい。モデルは、例えば手術における各種処置を模した変形処理や変形操作の対象となる。モデルは、例えばボーン変形モデルでよい。この場合、モデルは簡易な有限要素において骨組みを仮定して、有限要素の頂点を移動させることで、ボーンが変形する。組織の変形は、ボーンの変形を追従することによって表現できる。モデルは、臓器（例えば肝臓）を模した臓器モデルを含んでよい。モデルは、単純な形状の多角形（例えば三角形）に類似する形状を有してもよいし、その他の形状を有してもよい。モデルは、例えば、臓器を示すボリュームデータの輪郭線であってもよい。モデルは、３次元モデルであっても２次元モデルであってもよい。なお、骨についてはモデルの変形ではなく、ボリュームデータの変形で表現されてもよい。骨は変形の自由度が小さいため、ボリュームデータのアフィン変換で表現できるためである。

【0024】

モデル設定部１６３は、ボリュームデータに基づいて、モデルを生成することで、モデルを取得してよい。また、モデルのテンプレートが複数予め決まっており、メモリ１５０や外部サーバに保持されていてもよい。モデル設定部１６３は、ボリュームデータに合わせて、予め用意された複数のモデルのテンプレートから１つのモデルのテンプレートをメモリ１５０や外部サーバから取得することで、モデルを取得してもよい。

【0025】

モデル設定部１６３は、ボリュームデータに含まれる被検体の組織におけるターゲットの位置を設定する。または、モデル設定部１６３は、組織を模したモデルにおけるターゲットの位置を設定する。ターゲットは、任意の組織（例えば臓器）内に設定される。モデル設定部１６３は、Ｕ１２０を介してターゲット位置を指定してよい。また、過去に被検体に対して処置されたターゲット（例えば患部）の位置がメモリ１５０に保持されていてもよい。モデル設定部１６３は、メモリ１５０からターゲット位置を取得して設定してもよい。モデル設定部１６３は、術式に応じてターゲット位置を設定してもよい。術式は、被検体に対する外科手術の方式を示す。ターゲット位置は、ターゲットの領域の位置を含んでよい。

【0026】

ポート情報処理部１６４は、手術器具３００を被検体の内部に挿入するために被検体の体表に設けられるポートの位置を設定する。

【0027】

なお、手術計画において被検体の体表に設けられる（計画される）ポートを、仮想ポートとも称する。仮想ポートに対応して実際に被検体の体表上に設置される（穿孔される）ポートを、実ポートとも称する。仮想ポートの位置と、この仮想ポートに対して実際に穿孔される実ポートの位置とでは、多少の誤差が生じることがある。また、ポートには、内視鏡が挿入されるカメラポート、鉗子が挿入される鉗子ポート、等が含まれる。例えば、カメラポートとしての仮想ポートとし、仮想カメラポート、鉗子ポートとしての実ポートを実鉗子ポートとするように、ポートの種類を組み合わせて記載することもある。

【0028】

ポート情報処理部１６４は、ボリュームデータに基づく３Ｄデータにおける被検体の体表において仮想ポートの位置を決定し、設定する。ポート情報処理部１６４は、後述するポート位置シミュレーション、ポート位置スコア算出、ポート位置調整、等に基づいて仮想ポートの位置を決定してよい。この仮想ポートの決定例の詳細について後述する。また、仮想ポートの位置は、術式に従って定まる標準的なポート位置でよい。ポート情報処理部１６４は、メモリ１５０から標準的なポート位置の情報を取得してもよいし、取得部１１０を介して外部装置から取得してもよい。

【0029】

なお、３Ｄデータは、例えば被検体の後述する未気腹状態のボリュームデータでもよいし、気腹シミュレーションが施された被検体の後述する仮想気腹状態のボリュームデータでもよい。また、３Ｄデータは、ボリュームデータから生成されたサーフィスデータであってよい。また、３Ｄデータは、前述のモデルを含んでよい。また、３Ｄデータは、手術に関わる臓器のセグメンテーション情報を含んでよい。

【0030】

変形処理部１６２は、手術対象の被検体における変形に関する処理を行う。例えば、変形に関する処理として、仮想的に被検体に対して気腹する気腹シミュレーションを行ってよい。気腹シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献１に記載された方法でよい。つまり、変形処理部１６２は、非気腹状態のボリュームデータを基に、気腹シミュレーションを行い、仮想気腹状態のボリュームデータを生成してよい。気腹シミュレーションにより、ユーザは、被検体に対して実際に気腹しなくても、被検体が気腹された状態を仮定し、仮想的に気腹された状態を観察できる。なお、気腹状態のうち、気腹シミュレーションにより推定される気腹の状態を仮想気腹状態と称し、実際の気腹された状態を実気腹状態と称してよい。

【0031】

（参考非特許文献１）Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer-Assisted Intervention), 2004, P559-P567

【0032】

気腹シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形処理部１６２は、領域処理部１６１を介して、被検体の皮下脂肪を含む体表と、被検体の腹部内臓と、をセグメンテーションしてよい。そして、変形処理部１６２は、モデル設定部１６３を介して、体表を皮膚と体脂肪との２層の有限要素にモデル化し、腹部内臓を有限要素にモデル化してよい。変形処理部１６２は、任意に、例えば肺と骨とをセグメンテーションし、モデルに追加してよい。また、体表と腹部内臓との間にガス領域を設け、仮想的なガス注入に応じてガス領域（気腹空間）が拡張（膨張）してよい。なお、気腹シミュレーションが行われなくてもよい。

【0033】

また、被検体内の臓器等の組織は、手術における術者の各種処置を模してユーザによって各種の変形操作がされ得る。変形操作は、臓器を持ち上げる操作、ひっくり返す操作、切る操作、等を含んでよい。これに対応して、変形処理部１６２は、変形に関する処理として、被検体内の臓器等の組織に対応するモデルを変形させてよい。例えば、臓器が鉗子（例えば把持鉗子、剥離鉗子、電気メス）により引っ張られたり押されたり、切断されたりし得るが、この様子をモデルの変形によりシミュレートしてよい。モデルが変形すると、モデルにおけるターゲットも変形し得る。

【0034】

変形操作による変形は、モデルに対して行われ、有限要素法を用いた大変形シミュレーションでよい。例えば、体位変換による臓器の移動をシミュレートしてよい。この場合、臓器や病変の接点に加わる弾性力や臓器や病変の剛性、その他の物理的な特性が加味されてよい。モデルに対する変形処理は、ボリュームデータに対する変形処理と比較すると、演算量が低減される。変形シミュレーションにおける要素数が低減されるためである。なお、モデルに対しての変形処理が行われず、ボリュームデータに対して直接、変形処理が行われてもよい。

【0035】

手術器具情報処理部１６５は、ＵＩ１２０を介して入力された手術器具３００の操作情報を取得する。手術器具３００の操作情報は、操作の種類（例えば移動、回転）、操作位置、操作速度、等の情報を含んでよい。なお、手術器具情報処理部１６５は、手術器具３００からの情報（例えば操作情報、その他の情報）を手術器具３００又は他の装置（例えば各種センサ）から直接取得してもよいし、取得部１１０を介して取得してもよい。

【0036】

手術器具情報処理部１６５は、手術器具３００に関する情報（手術器具情報）の少なくとも一部を取得する。手術器具情報は、内視鏡２０に関する情報や鉗子３０に関する情報を含んでよい。内視鏡２０に関する情報は、例えば取得部１１０を介して内視鏡２０を含む内視鏡装置から取得されてよい。鉗子３０に関する情報は、例えばメモリ１５０又は外部装置から取得されてよい。内視鏡２０は、実カメラポートから挿入されて被検体内を撮像する。鉗子３０は、実鉗子ポートから挿入されて被検体内において各種処置に使用される。

【0037】

手術器具情報は、手術器具３００の向き（つまり手術器具３００の延在方向、手術器具３００の挿入方向）及び手術器具３００の挿入距離を含んでよい。ここでの手術器具３００の向きは、手術器具３００全体の主要な向きでよい。手術器具３００の向きは、重力方向に対する手術器具３００の傾きの方向を含み、手術器具３００の延在方向を回転中心とした時計回り又は半時計回りの傾き、つまりねじりの向きを含んでよい。挿入距離は、例えば、手術器具３００が挿入される実ポートとこの手術器具３００の先端位置との間の距離に相当する。例えば、手術器具３００に、手術器具３００の挿入距離を示す目盛りが付されていてよい。手術器具情報処理部１６５は、この目盛りを電子的に読み取り、手術器具３００の挿入距離を取得してよい。この場合、例えばリアルエンコーダ（読取装置）がトロッカーに取り付けられ、手術器具３００にはエンコード用のマーカが付されてよい。また、手術器具情報処理部１６５は、この目盛りをユーザが読んでＵＩ１２０を介して挿入距離を入力することで、手術器具３００の挿入距離を取得してもよい。

【0038】

また、手術器具情報処理部１６５は、角度センサから手術器具３００の角度（つまり向き）の情報を取得してよい。角度センサは、例えば手術器具３００又はトロッカーに取り付けられてよい。トロッカーの角度は、手術器具３００の角度に対応した角度となる。角度センサによる検出値については後述する。手術器具情報処理部１６５は、角度センサの検出値に基づいて、手術器具３００の向きを導出する。

【0039】

また、手術器具情報処理部１６５は、手術器具３００の向きを算出してよい。例えば、手術器具３００の向きを、予め定められた向きとして算出してよい。予め定められた向きは、例えば、術式に応じて標準的に考えられるポートから患部にアプローチする方向でよい。また、予め定められた向きは、ユーザが設定した方向であってよい。また、手術器具３００の向きを、ポート情報処理部１６４から取得される仮想ポートから、モデル設定部１６３から取得されるターゲットへと向かう方向として算出してよい。また、手術器具３００の向きを、モデル設定部１６３から取得されるターゲットの位置の変化に追従して算出してよい。また、手術器具３００の向きを、モデル設定部１６３から取得されるターゲットへと向かう方向に対して、予め定められた角度を変化させたものとして算出してもよい。

【0040】

手術器具情報は、内視鏡２０の向き（延在方向）及び内視鏡２０の挿入距離を含んでよい。手術器具情報は、鉗子３０の向き及び鉗子３０の挿入距離を含んでよい。

【0041】

手術器具情報処理部１６５は、手術器具３００の先端位置（先端部の位置）と先端向き（先端部の向き）とを導出する。例えば、手術器具情報処理部１６５は、少なくとも仮想カメラポートの位置と内視鏡２０の挿入距離とに基づいて、内視鏡２０の先端位置を算出してよい。また、例えば内視鏡２０が直線的に延びる形状である場合、仮想カメラポートの位置と内視鏡２０の挿入距離と内視鏡２０の向きとに基づいて、内視鏡２０の先端位置を算出してよい。また、例えば内視鏡２０が非直線的な形状（例えば折れ曲がる形状、湾曲した形状）を有する場合、仮想カメラポートの位置と内視鏡２０の挿入距離と内視鏡２０の形状とに基づいて、内視鏡２０の先端位置を算出してよい。内視鏡２０の形状の情報は、例えばメモリ１５０に保持されていてもよいし、取得部１１０を介して外部装置から取得されてもよい。例えば内視鏡２０が直線的に延びる形状（例えば硬性内視鏡）である場合、内視鏡２０全体の向きを内視鏡２０の先端向きとして算出してよい。例えば内視鏡２０が非直線的な形状である場合、内視鏡２０全体の向きと内視鏡２０の形状とに基づいて、内視鏡２０の先端向きを算出してよい。

【0042】

また、手術器具情報処理部１６５は、少なくとも仮想鉗子ポートの位置と鉗子３０の挿入距離とに基づいて、鉗子３０の先端位置を算出してよい。また、例えば鉗子３０が直線的に延びる形状である場合、仮想鉗子ポートの位置と鉗子３０の挿入距離と鉗子３０の向きとに基づいて、鉗子３０の先端位置を算出してよい。また、例えば鉗子３０が非直線的な形状（例えば折れ曲がる形状や湾曲した形状）を有する場合、仮想鉗子ポートの位置と鉗子３０の挿入距離と鉗子３０の形状とに基づいて、鉗子３０の先端位置を算出してよい。鉗子３０の形状の情報は、例えばメモリ１５０に保持されていてもよいし、取得部１１０を介して外部装置から取得されてもよい。例えば鉗子３０が直線的に延びる形状である場合、鉗子３０全体の向きを鉗子３０の先端向きとして算出してよい。例えば鉗子３０が非直線的な形状である場合、鉗子３０全体の向きと鉗子３０の形状とに基づいて、鉗子３０の先端向きを算出してよい。例えば鉗子３０が非直線的な形状である場合、鉗子３０全体の向きと鉗子３０の形状とに基づいて、鉗子３０の先端向きを算出してよい。

【0043】

画像生成部１６６は、各種画像を生成する。画像生成部１６６は、取得されたボリュームデータの少なくとも一部（例えばボリュームデータにおいて抽出された領域）に基づいて、３次元画像や２次元画像を生成する。画像生成部１６６は、変形処理部１６２により変形されたボリュームデータ（例えば仮想気腹状態のボリュームデータ）に基づいて、３次元画像や２次元画像を生成してよい。例えば、ボリュームレンダリング画像や、内視鏡２０の位置から内視鏡２０の向きを見た状態を表現する仮想内視鏡画像を生成してよい。

【0044】

表示制御部１６７は、各種データ、情報、画像をディスプレイ１３０に表示させる。表示制御部１６７は、画像生成部１６６で生成された画像（例えばレンダリング画像）を表示させる。また、表示制御部１６７は、この画像とともに各種情報を重畳して表示させる。重畳表示される情報は、手術器具３００の先端からターゲットまでの距離の情報、手術器具３００の挿入距離、等の情報を含んでよい。また、表示制御部１６７は、レンダリング画像の輝度調整を行ってよい。輝度調整は、例えばウインドウ幅（ＷＷ：Window Width）及びウインドウレベル（ＷＬ：Window Level）の少なくとも一方の調整を含んでよい。

【0045】

図３は、ターゲット４０を含む臓器と、ターゲット４０に対する処置に用いる手術器具３００と、手術器具３００が挿入されるポートＰＴと、の位置関係の一例を示す図である。図３では、手術器具３００は、内視鏡２０及び鉗子３０を含む。ポートＰＴとして、仮想ポートと実ポートが想定される。ポートＰＴの実ポートは、ポートＰＴの仮想ポートに対して穿孔されたポートである。ポートＰＴ、カメラポートＰＴ１及び鉗子ポートＰＴ２を含む。図３では、被検体は気腹されている。図３では、臓器は肝臓１０である。肝臓１０には、手術対象となるターゲット４０が含まれる。図３では、肝臓１０周辺の骨１５（例えば背骨、肋骨）も示されている。

【0046】

仮想気腹状態の被検体の体表７０には、カメラポートＰＴ１の仮想ポートが設定される。気腹された体表７０には、カメラポートＰＴ１の仮想ポートに対応する実ポートが設置される。カメラポートＰＴ１の実ポートには、トロッカー６０が配置され、被検体の内部が気密に維持される。このトロッカー６０には、被検体の内部に向かって内視鏡２０が挿通される。内視鏡２０は、カメラポートＰＴ１の実ポートの位置を基点として操作可能である。内視鏡２０の先端部にはイメージセンサが配置され、イメージセンサにより撮像可能である。カメラポートＰＴ１の実ポートから内視鏡２０の先端部までの距離が、内視鏡２０の挿入距離ＩＤ１となる。

【0047】

また、仮想気腹状態の被検体の体表７０には、鉗子ポートＰＴ２の仮想ポートが設定される。気腹された体表７０には、鉗子ポートＰＴ２の仮想ポートに対応する実ポートが設置される。鉗子ポートＰＴ２の実ポートには、トロッカー６０が配置され、被検体の内部が気密に維持される。このトロッカー６０には、被検体の内部に向かって鉗子３０が挿通される。鉗子３０は、鉗子ポートＰＴ２の実ポートの位置を基点として操作可能である。鉗子ポートＰＴ２の実ポートから鉗子３０の先端部までの距離が、鉗子３０の挿入距離ＩＤ２となる。

【0048】

鉗子３０は、例えばターゲット４０に向かって被検体の内部に進行し、ターゲット４０に対する各種処置（例えば、把持、切除、剥離、縫合）に用いられる。内視鏡２０は、例えばターゲット４０や鉗子３０が撮像範囲２３に含まれるように操作される。よって、医用画像処理装置１００は、内視鏡２０による内視鏡画像に対応する画像を可視化することで、鉗子３０によるターゲット４０の処置を視認可能とし、例えば術者が鉗子３０とターゲット４０との位置関係を確認しながら鏡視下手術を行うことを支援できる。

【0049】

また、図３では、被検体を基準とした被検体座標系（患者座標系）のｘ方向、ｙ方向、及びｚ方向も示されている。被検体座標系は、直交座標系である。ｘ方向は、被検体を基準とした左右方向に沿ってよい。ｙ方向は、被検体を基準とした前後方向（被検体の厚み方向）でよい。ｚ方向は、被検体を基準とした上下方向（被検体の体軸方向）でよい。ｘ方向、ｙ方向、ｚ方向は、ＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）で規定された３方向でよい。例えば、被検体の３Ｄデータや被検体の内部の領域や仮想ポートの位置等には、被検体座標系の値が用いられる。

【0050】

図４は、ポートＰＴを基準としたポート座標系の一例を示す図である。ポート座標系は、球面座標系（極座標系）で示され、動径ｒ、第１角度θ、及び第２角度φが示されている。ポート座標系の原点は、ポートＰＴの位置となる。動径ｒは、内視鏡２０の延在方向に平行である。第１角度θは、所定の軸（例えば被検体座標系のｙ軸）と動径ｒとの成す角度である。第２角度φは、所定の軸に垂直な平面にある別の軸（例えば被検体座標系のｚ軸）とこの平面への動径ｒの射影とが成す角度である。内視鏡２０の延在方向は、内視鏡画像（実内視鏡画像）及び仮想内視鏡画像の奥行方向となる。

【0051】

例えば、ポート位置を基準とした手術器具３００の挿入距離や向きは、ポート座標系の値が用いられる。手術器具３００の挿入距離は、動径ｒの座標として示されてよい。手術器具３００の向きは、例えば第１角度θ及び第２角度φの値として検出されてよい。第１角度θ及び第２角度φの値は、角度センサによる検出値であってもよい。また、手術器具情報処理部１６５は、角度センサによる検出値を基に、第１角度θ及び第２角度φを算出して得てもよい。この場合、例えば、角度センサは、加速度センサであり、重力方向に対して直交する２方向の傾斜角度を検出してもよい。また、角度センサは、３軸角度センサでもよい。

【0052】

ポート座標系を用いる手術器具３００の挿入距離や向きは、被検体の３Ｄデータに対する処理に利用される場合、ポート座標系の値から被検体座標系の値に変換する必要がある。ここで、ポート座標系（球面座標系）から被検体座標系（直交座標系）への変換は、被検体座標系から手術室座標系への変換（異なる直交座標系での変換）と比較すると、演算量が少なく、比較的容易に実施できる。なお、手術器具３００の向きは、被検体の動き（例えば検査時の患者の身動き、心臓の拍動）が多少存在しても、位置の検出値と比較すると変化が小さく、位置合わせと比較すると角度合わせが容易である。

【0053】

図５は、内視鏡２０の先端位置２１と先端向き２２と撮像範囲２３と鉗子３０との位置関係の一例を示す図である。内視鏡２０の先端位置２１と先端向き２２と撮像範囲２３は、内視鏡２０に関する情報に含まれる。鉗子３０の位置は、鉗子３０に関する情報に含まれる。内視鏡２０の先端向き２２は、動径ｒの方向と一致し、内視鏡２０（カメラ）の光軸の方向と一致してよい。内視鏡２０の撮像範囲２３は、例えば、内視鏡２０の先端位置２１、内視鏡２０の先端向き２２、及び内視鏡２０の画角に基づいて定まってよい。内視鏡２０の撮像範囲２３は、仮想内視鏡画像の画像範囲と一致する。

【0054】

なお、内視鏡２０の先端位置２１は、被検体を観察するための術者の視点とも言える。内視鏡２０の先端向き２２は、視点を起点とした術者の視線の向きとも言える。内視鏡２０の画角は、視点を基点とした術者の視野角とも言える。内視鏡２０の撮像範囲２３は、術者の視野とも言える。

【0055】

図６は、ボリュームレンダリング画像Ｇ１と各種情報とを重畳表示した表示例を示す図である。なお、図６に表示される表示対象は、仮想的な情報であり、例えば、ポートＰＴとして仮想ポート、鉗子３０として仮想鉗子、内視鏡２０として仮想内視鏡、が表示される。

【0056】

ボリュームレンダリング画像Ｇ１では、被検体の一部が可視化されている。図６では、ボリュームレンダリング画像Ｇ１ともに各種情報が表示される。この各種情報は、内視鏡２０に関する情報、鉗子３０に関する情報、カメラポートＰＴ１の仮想ポートの情報、鉗子ポートＰＴ２の仮想ポートの情報、ターゲット４０の情報、各種距離情報、等を含んでよい。なお、各種情報の一部の表示が省略されてもよい。

【0057】

内視鏡２０に関する情報は、内視鏡２０の位置、向き、撮像範囲、大きさ、形状、等の情報を含んでよい。鉗子３０に関する情報は、鉗子３０の位置、向き、大きさ、形状、等の情報を含んでよい。図６では、内視鏡２０及び鉗子３０は、単純化して直線で示されているが、これに限られず、内視鏡２０及び鉗子３０の向き、大きさ、形状、等に基づいて示されてもよい。

【0058】

カメラポートＰＴ１の仮想ポートの情報は、カメラポートＰＴ１の仮想ポートの位置、大きさ、形状、等の情報を含んでよい。鉗子ポートＰＴ２の仮想ポートの情報は、カメラポートＰＴ１の仮想ポートの位置、大きさ、形状、等の情報を含んでよい。ターゲット４０の情報は、ターゲット４０の位置、大きさ、形状、等の情報を含んでよい。図６では、ターゲットは単純化して〇で示されているが、これに限られず、ターゲット４０の向き、大きさ、形状、等に基づいて示されてもよい。

【0059】

各種距離情報は、内視鏡２０の挿入距離ＩＤ１の情報、鉗子３０の挿入距離ＩＤ２の情報、鉗子３０の先端部からターゲット４０までの距離ｄ１の情報、等を含んでよい。距離ｄ１は、例えば、鉗子３０の向きに基づいて、鉗子３０の先端位置とターゲット４０の位置との差により算出可能である。

【0060】

図７は、仮想内視鏡画像Ｇ２と各種情報とを重畳表示した表示例を示す図である。図７の説明では、図６で説明した事項と同様の事項については、その説明を省略又は簡略化する。

【0061】

図７の仮想内視鏡画像Ｇ２では、被検体の一部が可視化されている。図７では、仮想内視鏡画像Ｇ２ともに各種情報が表示される。この各種情報は、この各種情報は、１つ以上の鉗子３０（例えば鉗子３１及び鉗子３２）に関する情報、ターゲット４０の情報、各種距離情報、等を含んでよい。なお、各種情報の一部の表示が省略されてもよい。

【0062】

各種距離情報は、内視鏡２０の挿入距離ＩＤ１、鉗子３１の挿入距離ＩＤ２１の情報、鉗子３２の挿入距離ＩＤ２２の情報、鉗子３１の先端部（先端位置）からターゲット４０までの距離ｄ１１の情報、鉗子３２の先端部からターゲット４０までの距離ｄ１の情報、等を含んでよい。なお、距離情報として、鉗子３０の先端部からターゲット４０までの距離の情報の代わりに、ポートＰＴの仮想ポートからターゲット４０までの距離の情報や、ポートＰＴの仮想ポートからターゲット４０までの距離から鉗子３０の挿入距離ＩＤ２を減算した距離の情報が含まれ、表示されてもよい。

【0063】

図６及び図７の表示例によれば、術者は、２次元の画像の確認では認識し難い画像の奥行方向を加味した距離を容易に確認できる。例えば、術者は、ターゲット４０までの距離があと何ｍである等の情報を確認できる。

【0064】

図８は、医用画像処理装置１００の動作例を示すフローチャートである。なお、Ｓ１１～Ｓ１５は、例えば術前に実施され、Ｓ１６～Ｓ２０は、例えば術中に実施される。

【0065】

まず、被検体（例えば患者）のボリュームデータを取得する（Ｓ１１）。気腹シミュレーションを実行する（Ｓ１２）。臓器、骨、及び血管の領域を抽出するセグメンテーションを実行する（Ｓ１３）。ボリュームデータに基づいて、モデル（例えば肝臓の臓器モデル）を生成する（Ｓ１４）。ポート位置シミュレーション、ポート位置スコア算出、ポート位置調整、等を行い、仮想ポートとしての鉗子ポートＰＴ２、仮想ポートとしてのカメラポートＰＴ１、及びターゲット４０の情報（例えば位置情報）を取得する（Ｓ１５）。

【0066】

ＵＩ１２０を介して、鉗子３０の操作情報及び内視鏡２０の操作情報を取得する（Ｓ１６）。内視鏡２０の向き及び挿入距離ＩＤ１を取得する（Ｓ１７）。鉗子３０の向き及び挿入距離ＩＤ２を取得する（Ｓ１７）。内視鏡２０の先端位置及び先端向きを取得する（Ｓ１８）。鉗子３０の先端位置及び先端向きを取得する（Ｓ１８）。Ｓ１２の処理により得られた仮想気腹状態のボリュームデータをレンダリングし、ボリュームレンダリング画像Ｇ１を生成する（Ｓ１９）。ボリュームレンダリング画像Ｇ１とともに、各種情報を表示させる（Ｓ１９）。この各種情報は、図６に示した各種情報、内視鏡２０を示す情報、鉗子３０を示す情報、内視鏡２０の先端位置及び先端向き、鉗子３０の先端位置及び先端向き、等を含んでよい。また、Ｓ１２の処理により仮想気腹状態のボリュームデータを基に、仮想内視鏡画像Ｇ２を生成する（Ｓ２０）。仮想内視鏡画像Ｇ２とともに、各種情報を表示させる（Ｓ２０）。この各種情報は、図７に示した各種情報、鉗子３０を示す情報、鉗子３０の先端位置及び先端向き、等を含んでよい。

【0067】

なお、処理部１６０は、Ｓ２０における表示後に、Ｓ１６に進み、Ｓ１６～Ｓ２０を反復して実行してよい。これにより、術者は、術中における内視鏡２０及び鉗子３０を処置に応じて適宜操作して動かしながら、この動きに合わせた画像（例えばボリュームレンダリング画像Ｇ１、仮想内視鏡画像Ｇ２）を確認できる。

【0068】

なお、Ｓ１３における臓器セグメンテーション、骨セグメンテーション、及び血管セグメンテーションの精度は、高精度でなくてもよい。例えば臓器や骨や血管の輪郭に多少の誤差があっても、術中シミュレーションへの支障が少なければ足りるためである。

【0069】

このように、医用画像処理装置１００は、３次元位置センサを用いなくても、設定された仮想ポートの位置や手術器具３００の挿入距離ＩＤ、等の情報に基づいて、手術器具３００の先端位置とターゲット４０との距離を導出できる。よって、術者は、２次元の内視鏡画像では奥行き感が把握し難いが、手術器具３００の先端位置とターゲット４０との位置関係を把握し易くなる。よって、例えば、ターゲット４０にどの程度近づいているかを把握できる。また、術者は、このような画像による手術支援により、術者の処置が正しいことを確信できる。

【0070】

したがって、医用画像処理装置１００は、手術ナビゲーションにおいて、外部カメラによる手術室座標系や３次元位置センサによるセンサ座標系と、被検体を基準とした被検体座標系との位置合わせが不要となり、演算量を低減できる。

【0071】

また、実ポートの３次元位置の計測を省略しても、例えば、臓器の変形の大きい腹部や肺部では３次元位置が取得されても移動するため、厳密な３次元座標の重要性が低く、手術ナビゲーションへの影響は小さい。また、３次元位置センサによる３次元座標を基にした情報よりも、３Ｄデータを可視化した画像における２次元位置の方が、術者が、直感的に手術器具３００とターゲット４０等との位置関係を把握し易い。仮想内視鏡画像Ｇ２は、内視鏡２０の位置を基準とした画像であり、術者が参照する内視鏡画像に近い画像であるためである。

【0072】

このように、医用画像処理装置１００は、簡易な仕組みで手術ナビゲーションを実施でき、手術の安全性を向上でき、手術時間を短縮できる。

【0073】

次に、仮想ポートの位置の決定例の詳細について説明する。

【0074】

ポート情報処理部１６４は、ポート位置シミュレーションを実行する。ポート位置シミュレーションは、ユーザがＵＩ１２０を操作することで、被検体における所望の手術が可能か否かを判定するためのシミュレーションである。ポート位置シミュレーションでは、ユーザが手術を想定しながら、仮想空間において、各仮想ポートの位置（仮想ポート位置）から挿入された手術器具３００を動作させ、鉗子３０が手術対象となるターゲット４０へアクセス可能か否かを判定してよい。つまり、ポート位置シミュレーションでは、手術器具３００を手動で操作しながら、手術器具３００がターゲット４０へ問題なくアクセス可能か否かが判定されてよい。ポート情報処理部１６４は、ポート位置シミュレーションにより仮想ポート位置の計画情報を得てよい。

【0075】

ポート位置シミュレーションでは、被検体のボリュームデータ、取得された複数の仮想ポート位置の組み合わせ、手術器具３００が可能な動作に関する可動情報（例えば動作可能な位置や範囲）、術式、仮想気腹状態のボリュームデータ、等に基づいて、上記のアクセスが可能か否かが判定されてよい。手術器具３００の可動情報は、手術器具３００の形状に関する形状情報や動作に関する動作情報を含んでよい。この形状情報は、手術器具３００の長さ、重さ、形状等の少なくとも一部の情報を含んでよい。この動作情報は、手術器具３００の被検体の内部への挿入可能距離、被検体に対する挿入可能角度、等の少なくとも一部の情報を含んでよい。ロボット手術の場合、手術器具３００の可動情報は、エンドエフェクタのキネマティクスに相当してよい。ポート情報処理部１６４は、手術器具３００の可動情報を、メモリ１５０から取得してもよいし、取得部１１０を介して外部装置から取得してもよい。ポート情報処理部１６４は、術式の情報を、メモリ１５０から取得してもよいし、取得部１１０を介して外部装置から取得してもよい。

【0076】

ポート情報処理部１６４は、被検体の体表における複数の仮想ポート位置を変えながら、各仮想ポート位置においてターゲット４０にアクセス可能か否かを判定してよく、順次ポート位置シミュレーションを行ってよい。ポート情報処理部１６４は、最終的に好ましい（例えば最適な）ポート位置の組み合わせの情報を、ＵＩ１２０を介してユーザ入力に応じて指定してよい。これにより、ポート情報処理部１６４が、複数の仮想ポート位置を計画してよい。

【0077】

ポート情報処理部１６４は、被検体の体表上に設けられる複数の仮想ポート位置を用いて手術する場合の適切度を示すポート位置スコアを算出してよい。つまり、複数の仮想ポート位置の組み合わせに基づくポート位置スコアは、手術を行うための複数の仮想ポート位置の組み合わせの価値を示している。ポート位置スコアは、複数の仮想ポート位置の組み合わせ、手術器具３００の可動情報、術式、仮想気腹状態のボリュームデータ、等に基づいて算出されてよい。ポート位置スコアは、仮想ポート位置毎に算出される。

【0078】

ポート情報処理部１６４は、ポート位置スコアに基づいて、ポート位置を調整してよい。この場合、ポート情報処理部１６４は、ポート位置の移動に伴うポート位置スコアの変動量に基づいて、ポート位置を調整してよい。

【0079】

このように、ポート情報処理部１６４は、ポート位置シミュレーションに従って、複数の仮想ポート位置を算出してよい。また、ポート情報処理部１６４は、ポート位置スコアに基づいて、複数の仮想ポート位置を算出してよい。

【0080】

図９は、ポート位置シミュレーションの手順の一例を示すフローチャートである。

【0081】

まず、ポート情報処理部１６４は、例えば取得部１１０を介して、被検体を含むボリュームデータを取得する（Ｓ１１１）。ポート情報処理部１６４は、例えば取得部１１０を介して、手術器具３００の可動情報を取得する（Ｓ１１２）。変形処理部１６２は、気腹シミュレーションを実行し（Ｓ１１３）、被検体の仮想気腹状態のボリュームデータを生成する。

【0082】

ポート情報処理部１６４は、術式の情報を取得する（Ｓ１１４）。ポート情報処理部１６４は、取得された術式に応じた複数の仮想ポート位置（初期位置）を取得し、設定する（Ｓ１１４）。この場合、ポート情報処理部１６４は、３次元座標で複数の仮想ポート位置を設定してよい。

【0083】

ポート情報処理部１６４は、ターゲット４０（ターゲット領域）の位置を設定する（Ｓ１１５）。

【0084】

ポート情報処理部１６４は、Ｓ１１４で取得された複数の仮想ポート位置とターゲット領域の位置とに基づいて、各仮想ポートから挿入された各鉗子３０がターゲット４０にアクセス可能か否かを判定する（Ｓ１１６）。各鉗子３０がターゲット４０にアクセス可能か否かは、ターゲット領域における全ての位置に、各鉗子３０が到達可能であるか否かに相当してよい。つまり、鉗子３０（必要に応じて複数の鉗子３０）によって、取得された術式に従った手術が可能であるか否かを示しており、アクセス可能な場合には、手術が可能であることを示している。

【0085】

各鉗子３０の少なくも１つがターゲット領域の少なくとも一部にアクセス不可能である場合、ポート情報処理部１６４は、複数の仮想ポートに含まれる少なくとも１つの仮想ポートの位置を、被検体の体表に沿って、移動する（Ｓ１１７）。この場合、ポート情報処理部１６４は、ＵＩ１２０を介したユーザ入力を基に、仮想ポート位置を移動してよい。移動させる仮想ポートは、少なくとも、ターゲット領域の少なくとも一部にアクセス不能であった鉗子３０が挿入された仮想鉗子ポートを含む。仮想ポートの移動後、Ｓ１１６の処理に進む。

【0086】

各鉗子３０がターゲット領域にアクセス可能である場合、処理部１６０は、図９のポート位置シミュレーションの処理を終了する。

【0087】

このように、医用画像処理装置１００は、ポート位置シミュレーションを実施することで、取得された複数の仮想ポート位置を用いてターゲット領域にアクセス可能であるか否かによって、取得された複数の仮想ポート位置を用いた手術が可能であるか否かを判定できる。複数の仮想ポート位置を用いてターゲット領域にアクセス不能である場合、ＵＩ１２０を介して仮想ポート位置の少なくとも一部を変更して、変更された複数の仮想ポート位置を用いてターゲット領域にアクセス可能であるか否かを再度判定してよい。ポート情報処理部１６４は、ターゲット領域にアクセス可能である複数の仮想ポート位置の組み合わせを、複数の仮想ポートの位置に設定してよい。このように、医用画像処理装置１００は、ユーザ手動で仮想ポート位置を調整し、仮想ポート位置を計画できる。

【0088】

なお、ポート位置シミュレーションは、図８のＳ１５の一部の処理として実施されてよい。この場合、図８の処理と重複する処理（例えばＳ１１１、Ｓ１１３）を省略可能である。

【0089】

次に、ポート位置スコアの算出例について説明する。

【0090】

複数の仮想ポート位置は、例えば術式に従って定められ、被検体の体表上の任意の位置にそれぞれ配置されることが仮定されてよい。よって、複数の仮想ポート位置の組み合わせも、様々な仮想ポート位置の組み合わせが仮定されてよい。１つの仮想ポートから、１つの手術器具３００が被検体内に挿入可能である。よって、複数の仮想ポートから、複数の手術器具３００が被検体内に挿入可能である。

【0091】

１つの鉗子３０が仮想ポートを介して被検体内において到達可能な範囲が、１つの鉗子３０によって作業（処置）が可能なワーキングエリア（個別ワーキングエリアＷＡ１（図１１参照））となる。よって、複数の鉗子３０による個別ワーキングエリアＷＡ１が重複するエリアが、複数の鉗子３０が複数の仮想ポートを介して被検体内において同時に到達可能なワーキングエリア（全体ワーキングエリアＷＡ２（図１１参照））となる。術式に従った処置では、所定数（例えば３つ）の鉗子３０が同時動作することが必要であるので、所定数の鉗子３０が同時に到達可能な全体ワーキングエリアＷＡ２が考慮される。

【0092】

また、鉗子３０の可動情報によって鉗子３０が到達可能な被検体における位置が異なるので、鉗子３０が被検体内に挿入される位置である仮想ポート位置の導出にこの可動情報が加味される。また、術式によって確保すべき全体ワーキングエリアＷＡ２の被検体内における位置が異なるので、全体ワーキングエリアＷＡ２の位置に対応する仮想ポート位置の導出にこの位置が加味される。

【0093】

ポート情報処理部１６４は、複数の仮想ポート位置の組み合わせ毎に、ポート位置スコアを算出してよい。ポート情報処理部１６４は、複数の仮想ポート位置の組み合わせのうち、所定条件を満たすポート位置スコア（例えば最大となるポートスコア）となる仮想ポート位置の組み合わせを計画してよい。つまり、計画された仮想ポート位置の組み合わせに含まれる複数の仮想ポート位置を、穿孔対象の複数のポート位置に計画してよい。

【0094】

なお、ロボット手術の場合、仮想ポート位置と手術支援ロボットの可動部の動作との関係性は、例えば参考非特許文献２，３に記載された関係性を満たしてよい。
（参考非特許文献２）：Mitsuhiro Hayashibe, Naoki Suzuki, Makoto Hashizume, Kozo Konishi, Asaki Hattori, “Robotic surgery setup simulation with the integration of inverse-kinematics computation and medical imaging”, computer methods and programs in biomedicine, 2006, P63-P72
（参考非特許文献３）Pal Johan From, “On the Kinematics of Robotic-assisted Minimally Invasive Surgery”, Modeling Identication and Control, Vol.34, No.2, 2013, P69-P82

【0095】

図１０は、医用画像処理装置１００によるポート位置スコアを算出する場合の動作例を示すフローチャートである。

【0096】

図１０の処理前には、図９に示したポート位置シミュレーションのＳ１１１～Ｓ１１４と同様に、被検体のボリュームデータの取得、手術器具３００の可動情報の取得、気腹シミュレーションの実行、及び術式の情報の取得が事前に行われる。なお、ポート位置スコアの初期値は値０である。ポート位置スコアは、ポート位置の組み合わせの価値を示す評価関数（評価値）である。なお、変数ｉは、作業の識別情報の一例であり、変数ｊは、ポートの識別情報の一例である。

【0097】

ポート情報処理部１６４は、術式に応じて、各手術器具３００を用いた作業ｗｏｒｋ＿ｉのリストである作業リストｗｏｒｋｓを生成する（Ｓ１２１）。作業ｗｏｒｋ＿ｉには、術式に従った手術手順で各鉗子３０を用いて作業するための情報が含まれる。作業ｗｏｒｋ＿ｉには、例えば把持、切除、縫合等が含まれてよい。なお、作業には、単一の鉗子３０による単独作業、複数の鉗子３０による協調作業、が含まれてよい。

【0098】

ポート情報処理部１６４は、術式及び仮想気腹状態のボリュームデータに基づいて、作業リストｗｏｒｋｓに含まれる作業ｗｏｒｋ＿ｉを行うために最低限必要な領域である最小領域ｌｅａｓｔ＿ｒｅｇｉｏｎ＿ｉを計画する（Ｓ１２２）。最小領域は、被検体における３次元領域で定められてよい。ポート情報処理部１６４は、最小領域ｌｅａｓｔ＿ｒｅｇｉｏｎ＿ｉのリストである最小領域リストＬｅａｓｔ＿ｒｅｇｉｏｎｓを生成する（Ｓ１２２）。

【0099】

ポート情報処理部１６４は、術式、手術器具３００の可動情報、及び仮想気腹状態のボリュームデータに基づいて、作業リストｗｏｒｋｓに含まれる作業ｗｏｒｋ＿ｉを行うために推奨される領域である推奨領域ｅｆｆｅｃｔｉｖｅ＿ｒｅｇｉｏｎ＿ｉを計画する（Ｓ１２３）。ポート情報処理部１６４は、推奨領域ｅｆｆｅｃｔｉｖｅ＿ｒｅｇｉｏｎ＿ｉのリストである推奨領域リストｅｆｆｅｃｔｉｖｅ＿ｒｅｇｉｏｎｓを生成する（Ｓ１２３）。推奨領域には、作業を行うための最低限の空間（最小領域）とともに、例えば鉗子３０が動作するために推奨される空間が含まれてよい。

【0100】

ポート情報処理部１６４は、複数の仮想ポート位置ｐｏｒｔ＿ｊのリストであるポート位置リストｐｏｒｔｓの情報を取得する（Ｓ１２４）。仮想ポート位置は、被検体を基準とした３次元座標（ｘ，ｙ，ｚ）で定められる。ポート情報処理部１６４は、例えば、ＵＩ１２０を介してユーザ入力を受け付け、ユーザにより指定された１つ以上の仮想ポート位置を含むポート位置リストｐｏｒｔｓを取得してよい。ポート情報処理部１６４は、メモリ１５０にテンプレートとして保持されたポート位置リストｐｏｒｔｓを取得してもよい。

【0101】

ポート情報処理部１６４は、術式、鉗子３０の可動情報、仮想気腹状態のボリュームデータ、及び複数の仮想ポート位置に基づいて、各作業ｗｏｒｋ＿ｉについて、各仮想ポート位置ｐｏｒｔ＿ｊを介して各鉗子３０が作業可能な領域であるポート作業領域ｒｅｇｉｏｎ＿ｉを計画する（Ｓ１２５）。ポート作業領域は、３次元領域で定められてよい。ポート情報処理部１６４は、ポート作業領域ｒｅｇｉｏｎ＿ｉのリストであるポート作業領域リストｒｅｇｉｏｎｓを生成する（Ｓ１２５）。

【0102】

ポート情報処理部１６４は、作業ｗｏｒｋ＿ｉ毎に、最小領域ｌｅａｓｔ＿ｒｅｇｉｏｎ＿ｉからポート作業領域ｒｅｇｉｏｎ＿ｉを引いて、減算領域（減算値）を算出する（Ｓ１２６）。ポート情報処理部１６４は、減算領域が空領域（減算値が負の値）でないか否かを判定する（Ｓ１２６）減算領域が空領域でないか否かは、最小領域ｌｅａｓｔ＿ｒｅｇｉｏｎ＿ｉ内の少なくとも一部に、ポート作業領域ｒｅｇｉｏｎ＿ｉに覆われていない領域（仮想ポートを介して鉗子３０が到達しない領域）が存在する否かを示している。

【0103】

減算領域が空領域である場合、ポート情報処理部１６４は、推奨領域ｅｆｆｅｃｔｉｖｅ＿ｒｅｇｉｏｎ＿ｉとポート作業領域ｒｅｇｉｏｎ＿ｉとの積である体積値Ｖｏｌｕｍｅ＿ｉを算出する（Ｓ１２７）。そして、ポート情報処理部１６４は、作業ｗｏｒｋ＿ｉ毎に算出された体積値Ｖｏｌｕｍｅ＿ｉを合計し、合計値Ｖｏｌｕｍｅ＿ｓｕｍを算出する。ポート情報処理部１６４は、合計値Ｖｏｌｕｍｅ＿ｓｕｍをポート位置スコアに設定する（Ｓ１２７）。

【0104】

つまり、減算領域が空領域である場合、最小領域内にポート作業領域に覆われていない領域が存在せず、このポート位置リストｐｏｒｔｓ（仮想ポート位置ｐｏｒｔ＿ｊの組み合わせ）が選択されることが好ましいので、このポート位置リストが選択され易くように、ポート位置スコアに作業ｗｏｒｋ＿ｉ毎の値が加算される。また、体積値Ｖｏｌｕｍｅ＿ｉを基準にポート位置スコアが計画されることで、最小領域やポート作業領域が大きい程、ポート位置スコアが大きくなり、このポート位置リストｐｏｒｔｓが選択され易くなる。よって、ポート情報処理部１６４は、最小領域やポート作業領域が大きく、手術における各処置が容易になる仮想ポート位置の組み合わせを選択し易くできる。

【0105】

一方、減算領域が空領域でない場合、ポート情報処理部１６４は、ポート位置リストｐｏｒｔｓについてのポート位置スコアを、値０に設定する（Ｓ１２８）。つまり、最小領域内の少なくとも一部にポート作業領域に覆われていない領域が存在し、対象の作業ｗｏｒｋ＿ｉの作業を完結できない可能性があるので、このポート位置リストＰｏｓｔｓが選択されることが好ましくない。そのため、ポート情報処理部１６４は、このポート位置リストＰｏｓｔｓが選択されにくくなるように、ポート位置スコアを値０とし、選択候補から除外する。この場合、ポート情報処理部１６４は、同じポート位置リストｐｏｒｔｓを用いて他の作業ｗｏｒｋ＿ｉを行う場合に空領域となっても、全体でのポート位置スコアを値０に設定する。

【0106】

なお、ポート情報処理部１６４は、全ての作業ｗｏｒｋ＿ｉについて図１０の各ステップを繰り返し、全作業ｗｏｒｋ＿ｉを加味したポート位置スコアを算出してよい。

【0107】

このように、医用画像処理装置１００は、ポート位置スコアを導出することで、被検体の体表上に設けられる複数の仮想ポート位置を用いて手術する場合に、仮想ポート位置の組み合わせが、どの程度適切であるかを把握できる。個別ワーキングエリアＷＡ１や全体ワーキングエリアＷＡ２は、複数の仮想ポートの配置位置によって左右される。この場合でも、医用画像処理装置１００は、複数の仮想ポート位置の組み合わせ毎のスコア（ポート位置スコア）を加味することで、例えばポート位置スコアが閾値ｔｈ１以上（例えば最大）となる複数の仮想ポート位置の組み合わせを導出でき、手術を実施し易い仮想ポート位置を設定できる。

【0108】

また、ポート位置スコアに基づいてワーキングエリアが適切に確保されることで、ユーザは、手術において直接目視できない被検体内での視野を広く確保でき、ポート作業領域を広く確保でき、不測の事態に対処し易くなる。

【0109】

また、鏡視下手術では、仮想ポートに対応して穿孔される実ポートの位置は不変であるが、実ポートに挿入される鉗子３０は所定範囲で移動可能である。そのため、鏡視下手術では、計画される仮想ポート位置によって手術における各処置の難易度が変化するので、仮想ポート位置の計画は重要である。

【0110】

図１１は、仮想ポート位置を基に定められるワーキングエリアの一例を示す図である。個別ワーキングエリアＷＡ１は、各仮想ポート位置ｐｏｒｔ＿ｊに対応する個別のワーキングエリアである。個別ワーキングエリアＷＡ１は、個別のエンドエフェクタが到達可能な被検体ＰＳ内の領域でよい。各個別ワーキングエリアＷＡ１が重複するエリアが、全体ワーキングエリアＷＡ２である。全体ワーキングエリアＷＡ２は、ポート作業領域ｒｅｇｉｏｎ＿ｉに相当してよい。医用画像処理装置１００は、ポート位置スコアを用いることで、各仮想ポート位置を最適化でき、好適な個別ワーキングエリアＷＡ１及び全体ワーキングエリアＷＡ２を導出できる。

【0111】

次に、ポート位置調整の詳細について説明する。

【0112】

ポート情報処理部１６４は、例えばメモリ１５０に保持されたテンプレートやＵＩ１２０を介したユーザ指示を基に、複数の仮想ポート位置（候補位置）の情報を取得する。ポート情報処理部１６４は、取得された複数の仮想ポート位置の組み合わせに基づいて、この複数の仮想ポート位置を用いた場合のポート位置スコアを算出する。

【0113】

ポート情報処理部１６４は、ポート位置スコアに基づいて、仮想ポートの位置を調整してよい。この場合、ポート情報処理部１６４は、取得された複数の仮想ポート位置の場合のポート位置スコアと、この複数の仮想ポート位置のうちの少なくとも１つの仮想ポート位置を変更した場合のポート位置スコアと、に基づいて、仮想ポート位置を調整してよい。この場合、ポート情報処理部１６４は、３次元空間での各方向（ｘ方向、ｙ方向、ｚ方向）に沿ったポート位置の微小移動や微分を加味してよい。

【0114】

例えば、ポート情報処理部１６４は、（式１）に従って、複数の仮想ポート位置に対して、ポート位置スコアＦ（ｐｏｒｔｓ）を算出し、Ｆの微分値Ｆ’を算出してよい。

【0115】

F(port_j(x+Δx, y, z)) - F(port_j(x, y, z))
F(port_j(x, y+Δy, z)) - F(port_j(x, y, z)) ・・・（式１）
F(port_j(x, y, z+Δz)) - F((port_j(x, y, z))

【0116】

つまり、ポート情報処理部１６４は、仮想ポート位置F(port_j(x+Δx, y, z))の場合のポート位置スコアＦを算出し、仮想ポート位置F(port_j(x, y, z))の場合のポート位置スコアＦを算出し、その差分を算出する。この差分値は、仮想ポート位置F(port_j(x, y, z))におけるｘ方向の微小変化に対するポート位置スコアＦの変化を示し、つまり、ｘ方向のＦの微分値Ｆ’を示す。

【0117】

また、ポート情報処理部１６４は、仮想ポート位置F(port_j(x, y+Δy, z))の場合のポート位置スコアＦを算出し、仮想ポート位置F(port_j(x, y, z))の場合のポート位置スコアＦを算出し、その差分を算出する。この差分値は、仮想ポート位置F(port_j(x, y, z))におけるｙ方向の微小変化に対するポート位置スコアＦの変化を示し、つまり、ｙ方向のＦの微分値Ｆ’を示す。

【0118】

また、ポート情報処理部１６４は、仮想ポート位置F(port_j(x, y, z+Δz))の場合のポート位置スコアＦを算出し、仮想ポート位置F(port_j(x, y, z))の場合のポート位置スコアＦを算出し、その差分を算出する。この差分値は、仮想ポート位置F(port_j(x, y, z))におけるｚ方向の微小変化に対するポート位置スコアＦの変化を示し、つまり、ｚ方向のＦの微分値Ｆ’を示す。

【0119】

ポート情報処理部１６４は、各方向の微分値Ｆ’に基づいて、ポート位置スコアの最大値を算出する。この場合、ポート情報処理部１６４は、微分値Ｆ’に基づいて、最急降下法に従ってポート位置スコアが最大となる仮想ポート位置を算出してよい。ポート情報処理部１６４は、算出された仮想ポート位置を穿孔対象のポート位置とするように、仮想ポート位置を調整し、仮想ポート位置を最適化してよい。なお、ポート位置スコアが最大となる仮想ポート位置でなくても、例えばポート位置スコアが閾値ｔｈ２以上となる位置でもよく、ポート位置スコアが改善されれば（高くなれば）よい。

【0120】

ポート情報処理部１６４は、このような仮想ポート位置の調整を、複数の仮想ポート位置の組み合わせに含まれる他の仮想ポート位置の調整に適用したり、複数の仮想ポート位置の他の組み合わせにおける仮想ポート位置の調整に適用したりしてよい。これにより、ポート情報処理部１６４は、各仮想ポート位置が調整された（例えば最適化された）複数の仮想ポートを、穿孔対象のポート位置に計画できる。このように、医用画像処理装置１００は、自動で仮想ポート位置を調整し、仮想ポートの位置を設定できる。

【0121】

なお、複数のポート位置では、仮想ポートの位置（穿孔予定位置）と実ポートの位置（実際の穿孔位置）とで所定長（例えば２５ｍｍ）程度の誤差が生じ得、また仮想ポート位置の計画精度は精々３ｍｍあれば十分であると考えられる。そのため、ポート情報処理部１６４は、被検体の体表において所定長毎に仮想ポート位置の候補を設定し、仮想ポート位置の候補を総当たりで複数の仮想ポート位置の組み合わせを決定し、この複数の仮想ポート位置の組み合わせについてのポート位置スコアをそれぞれ算出してよい。つまり、被検体の体表における所定長（例えば３ｍｍ）の格子状（グリッド）に、仮想ポート位置の候補が配置されてよい。また、体表上に仮定されるポート数（例えば格子状の交点の数）がｎ個であり、仮想ポート位置の組み合わせに含まれるポート数がｍ個である場合、ポート情報処理部１６４は、ｎ個の仮想ポート位置の候補からｍ個の仮想ポート位置を順番に選択して組み合わせ、それぞれの組み合わせでのポート位置スコアを算出してよい。このように、３ｍｍ間隔の格子状のようにグリッドが過度に細かくない場合には、ポート情報処理部１６４の計算負荷が過大となることを抑制でき、全組み合わせのポート位置スコアを算出可能である。

【0122】

なお、ポート情報処理部１６４は、公知の方法に従って、複数の仮想ポート位置の調整を行ってよい。ポート情報処理部１６４は、穿孔対象のポート位置を、調整後の仮想ポート位置の組み合わせに含まれる複数の仮想ポート位置に計画してよい。ポート位置調整の公知の方法は、以下の参考非特許文献４，５及び参考特許文献１に記載された技術を含んでよい。

【0123】

（参考非特許文献４）Shaun Selha、Pierre Dupont, Robert Howe, David Torchiana, “Dexterity optimization by port placement in robot-assisted minimally invasive surgery”, SPIE International Symposium on Intelligent Systems and Advanced Manufacturing, Newton, MA, 28-31, 2001
（参考非特許文献５）Zhi Li, Dejan Milutinovic, Jacob Rosen, “Design of a Multi-Arm Surgical Robotic System for Dexterous Manipulation”, Journal of Mechanisms and Robotics, 2016
（参考特許文献１）米国特許出願公開第２００７／０２４９９１１号明細書

【0124】

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

【0125】

例えば、術前シミュレーション及び術中ナビゲーションが行われる鏡視下手術は、腹腔鏡手術、関節鏡手術、気管支鏡手術、大腸鏡手術、又はその他の鏡視下手術であってもよい。また、鏡視下手術は、術者が鉗子を直接操作して手術する手術であっても、手術ロボットを用いたロボット手術であってもよい。

【0126】

また、気腹シミュレーションは省略されてもよい。例えば、関節鏡手術及び気管支鏡手術では、気腹シミュレーションが省略されてもよい。

【0127】

また、手術器具情報処理部１６５は、取得部１１０を介して、内視鏡２０を含む内視鏡装置から内視鏡画像を取得してよい。そして、画像認識等により、この内視鏡画像に映り込んだ手術器具３００の位置、つまり内視鏡画像に対する手術器具３００の相対位置を認識してよい。手術器具情報処理部１６５は、この内視鏡画像に映り込んだ手術器具３００の位置に基づいて、取得された手術器具３００の位置を補正（調整）してもよい。また、手術器具情報処理部１６５は、内視鏡画像に映り込んだ手術器具３００の位置に基づいて、内視鏡２０の先端位置を補正（調整）してもよい。したがって、内視鏡画像を用いて、イメージセンサが配置される内視鏡２０の先端位置を視点とした仮想内視鏡画像Ｇ２の画像範囲を調整可能である。これにより、手術器具３００の位置や向き（角度）の導出精度が不十分である場合でも、内視鏡２０の内視鏡画像を用いて、ボリュームレンダリング画像Ｇ１における手術器具３００の位置の精度や仮想内視鏡画像Ｇ２の生成精度が向上する。

【0128】

手術器具情報処理部１６５は、例えば、以下の参考特許文献２や参考非特許文献６，７の手法に従って、内視鏡２０の内視鏡画像における手術器具３００の位置を基に、ボリュームレンダリング画像Ｇ１における手術器具３００の位置や仮想内視鏡画像Ｇ２の視点となる内視鏡２０の先端位置を補正してよい。
（参考特許文献２：特許第４８６９１８９号公報）
（参考非特許文献６：中口 俊哉、外５名、“腹腔鏡下手術における自動拡大追尾システムの実装”、［online］、日本生体医工学会、２００５年４３巻４号、Ｐ６８５－Ｐ６９３、［令和１年８月９日検索］、インターネット＜ＵＲＬ：https://www.jstage.jst.go.jp/article/jsmbe/43/4/43_4_685/_pdf/-char/en＞）
（参考非特許文献７：南部 恭二郎、外３名、“内視鏡などによる低侵襲高度手術支援システム”、［online］、東芝レビュー、Ｖｏｌ．５６、Ｎｏ．９、２００１年、［令和１年８月９日検索］、インターネット＜ＵＲＬ：https://www.toshiba.co.jp/tech/review/2001/09/56_09pdf/a09.pdf#search=%27%E3%80%8C%E5%86%85%E8%A6%96%E9%8F%A1%E3%81%AA%E3%81%A9%E3%81%AB%E3%82%88%E3%82%8B%E4%BD%8E%E4%BE%B5%E8%A5%B2%E9%AB%98%E5%BA%A6%E6%89%8B%E8%A1%93%E6%94%AF%E6%8F%B4%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%80%8D%E5%8D%97%E9%83%A8+%E6%9D%B1%E8%8A%9D%E3%83%AC%E3%83%93%E3%83%A5%E3%83%BC2001%27＞）

【0129】

また、各種センサが、実際の手術中に、ポートの位置や手術器具３００の位置や手術器具３００の角度を計測（実計測）してもよい。例えば、手術器具３００やトロッカー６０に３次元位置センサや角度センサを取り付けて、３次元位置センサや角度センサの実計測値が取得されてよい。手術器具情報処理部１６５は、各種センサにより取得された実計測値を取得してよい。表示制御部１６７は、実計測値の情報を表示させてよい。術者は、表示された実計測値の情報を確認して、ＵＩ１２０を介して仮想的な手術器具３００の位置や向きや仮想ポート位置を手動で調整してもよい。または、処理部１６０は、上記の実計測値に基づいて、例えば実計測された手術器具３００の位置や向きや実ポート位置に一致するように、仮想的な手術器具３００の位置や向きや仮想ポート位置を自動で調整してもよい。この場合、調整された仮想ポート位置に基づいて、ボリュームレンダリング画像Ｇ１や仮想内視鏡画像Ｇ２が生成され、表示されてよい。これにより、医用画像処理装置１００は、仮想的な演算結果による手術器具３００の位置や向きやポートを、実際の手術中の状態に合わせることができ、術中ナビゲーションの精度を一層向上できる。また、高精度な情報が要求される場合（例えば手術器具３００が重要なターゲットの近くに存在する場合）に限り、３次元位置センサにより実ポート位置を実計測してもよい。これにより、実計測の計測頻度を小さくして処理負荷を軽減したり、実計測のタイミングを遅くしたりすることができる。また、３次元位置センサや角度センサの精度は低くてもよい。手術器具情報処理部１６５は、計測された実計測値の精度に応じて、仮想的な手術器具３００の位置や向きや仮想ポート位置を調整してもよい。

【0130】

また、実ポート位置の位置を部分的に計測してもよい。部分的に計測して得られる情報は、例えば、３次元位置のうちのＸ座標のみ、手術室のカメラから取得される情報、巻き尺で計測される特定ランドポートからの距離、がある。また、部分的に計測された実測情報の精度は低くてもよい。手術器具情報処理部１６５は、計測された実計測値の精度及び自由度に応じて、仮想的な手術器具３００の位置や向きや仮想ポート位置を調整してもよい。

【0131】

また、ターゲット４０と同様に、術者が術中に留意すべき危険部位（例えば切断してはいけない血管、ターゲット４０が含まれない他の臓器）の領域や位置を設定してもよい。処理部１６０は、ターゲット４０に対する処理と同様の処理を、危険部位に対して行ってよい。例えば、処理部１６０が、ボリュームデータにおける危険部位を設定し、被検体の３Ｄデータが可視化された画像に、手術器具３００と危険部位との間の距離に基づく情報等を重畳して表示させてよい。この場合、術者は、例えば、２次元の内視鏡画像では奥行き感が把握し難いが、手術器具３００の位置や手術器具３００の先端位置と危険部位との位置関係を把握し易くなる。よって、例えば、危険部位にどの程度近づいているかを把握できる。

【0132】

また、手術器具３００やポートの位置を特定するための３次元位置センサやマーカを備えないことを示したが、３次元位置センサやマーカが補助的に設けられてもよい。例えば、トロッカー６０に３次元位置検出センサ又はマーカを取り付け、手術器具３００情報処理部１６５は、３次元位置検出センサ又はマーカを用いて、ポート位置や手術器具３００の位置や方向を取得してよい。マーカを用いたポート位置や手術器具３００の方向の取得方法は、非特許文献１に示された方法と同じでよい。これにより、医用画像処理装置１００は、手術器具３００の位置及び向きや手術器具３００の先端位置及び先端向きの導出精度が低い場合に、３次元位置検出センサ又はマーカを用いたポート位置や手術器具３００の位置や方向の情報を補助的に取得できる。また、３次元位置センサやマーカがトロッカー６０に配置されることで、例えば鉗子３０の根本部分が見やすくなり、術者が手術しやすくなる。

【0133】

また、角度センサの検出値に基づくポート座標系の値を被検体座標系の値に変換することを例示したが、これに限られない。例えば、手術器具情報処理部１６５は、角度センサの検出値に基づくポート座標系の値を、被検体が載置されるベッドを基準とした座標系（直交座標系）の値に変換してもよい。また、処理部１６０は、重力方向に対する手術器具３００の傾斜角度を用いて画像生成や距離情報の導出を行ってもよいし、手術器具３００の傾斜角度を基に被検体座標系での手術器具３００の向きを算出し、被検体座標系での手術器具３００の向きを基に、画像生成や距離情報の導出を行ってもよい。

【0134】

また、内視鏡２０及び鉗子３０の双方について角度情報を導出することを例示したが、鉗子３０の角度情報の導出が省略されてもよい。術者は、鉗子３０がどの方向に向いているかは、内視鏡２０による内視鏡画像又は仮想内視鏡画像Ｇ２における鉗子３０の位置や向きによって把握できるためである。つまり、鉗子３０の角度は、内視鏡２０による内視鏡画像又は仮想内視鏡画像Ｇ２に対する鉗子３０の相対位置や相対向きによって擬制できる。したがって、鉗子３０の向きの情報が不在でも、術者は、鉗子３０の先端位置とターゲット４０の位置との位置関係を把握可能である。

【0135】

また、医用画像処理装置１００は、少なくともプロセッサ１４０及びメモリ１５０を備えていればよい。取得部１１０、ＵＩ１２０、及びディスプレイ１３０は、医用画像処理装置１００に対して外付けであってもよい。

【0136】

また、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ（例えば画像データサーバ（ＰＡＣＳ）（不図示））等へ送信され、保管されてもよい。この場合、必要時に医用画像処理装置１００の取得部１１０が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体（不図示）を介して取得してもよい。

【0137】

また、撮像されたＣＴ画像としてのボリュームデータは、ＣＴ装置２００から医用画像処理装置１００へ取得部１１０を経由して送信されることを例示した。これは、実質的にＣＴ装置２００と医用画像処理装置１００とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置１００がＣＴ装置２００のコンソールとして扱われている場合も含む。

【0138】

また、ＣＴ装置２００により画像を撮像し、被検体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、血管造影装置（Angiography装置）、又はその他のモダリティ装置を含む。また、ＰＥＴ装置は、他のモダリティ装置と組み合わせて用いられてもよい。

【0139】

また、医用画像処理装置１００における動作が規定された医用画像処理方法として表現可能である。また、コンピュータに医用画像処理方法の各ステップを実行させるためのプログラムとして表現可能である。

【0140】

（上記実施形態の概要）
上記実施形態の一態様は、鏡視下手術を支援する医用画像処理装置１００（鏡視下手術支援装置の一例）であって、処理部１６０と、を備える。処理部１６０は、被検体の３Ｄデータ（例えば、未気腹状態のボリュームデータ、仮想気腹状態のボリュームデータ、３次元モデル）を取得する。処理部１６０は、３Ｄデータにおける被検体の体表７０に仮想ポートを設定する。処理部１６０は、仮想ポートに対応した実ポートから被検体の内部に挿入された手術器具３００の挿入距離ＩＤを取得する。処理部１６０は、少なくとも仮想ポートの位置と手術器具３００の挿入距離ＩＤとに基づいて、３Ｄデータを可視化した第１の画像に、手術器具３００を示す情報を重畳してディスプレイ１３０（表示部の一例）に表示させる。仮想ポートに対応した実ポートは、例えば、仮想ポートに対して計画通りに設置された実ポートでもよいし、計画された仮想ポートの位置からずれて設置された実ポートでもよい。

【0141】

これにより、医用画像処理装置１００は、手術器具３００の位置を導出するための高精度な３次元位置センサを手術室に設置することが不要となり、手術ナビゲーションにおけるシステム構成を簡素化できる。この３次元位置センサは、例えば非特許文献１における手術室の天井に設置される外部カメラに相当する。また、３次元位置センサが不要となることで、３次元位置センサが設置される手術室座標系が不在となる。これにより、術前にり、手間のかかる被検体座標系と手術室座標系との位置関係の計測が不要となり、被検体座標系と手術室座標系をレジストレーションする工程が不要となる。また、術中に患者の動きに応じて再レジストレーションする工程が不要となる。

【0142】

また、３Ｄデータは、気腹シミュレーションが施された仮想気腹状態の３Ｄデータを含んでよい。これにより、医用画像処理装置１００は、実際の手術において気腹が必要な被検体についても、術前に被検体座標系と手術室座標系座標をレジストレーションする工程が不要となる。また、術中に患者の動きに応じて再レジストレーションする工程が不要となる。

【0143】

また、処理部１６０は、被検体の内部における手術器具３００の挿入方向を取得し、手術器具３００の挿入方向に基づいて、手術器具３００を示す情報を表示させてよい。これにより、医用画像処理装置１００は、第１の画像中に、手術器具３００の方向（向き）を反映して表示させることができる。よって、術者は、例えば、内視鏡２０の視野に対する手術器具３００の向きを直感的に把握できる。また、手術ナビゲーションの精度を向上させることが出来る。

【0144】

また、処理部１６０は、被検体の内部における手術器具３００の挿入方向を算出し、手術器具３００の挿入方向に基づいて、手術器具３００を示す情報を表示させてよい。これにより、医用画像処理装置１００は、第１の画像中に、算出されて推測される手術器具３００の方向（向き）を反映して表示させることができる。よって、術者は、例えば、内視鏡２０の視野に対する手術器具３００の向きを直感的に把握できる。また、手術ナビゲーションの精度を向上させることが出来る。また、角度センサが不要となり、手術ナビゲーションにおけるシステム構成を簡素化できる。また、角度センサが不要となることで、術前に被検体座標系と手術室座標系における角度をレジストレーションする工程が不要となる。また、術中に患者の動きに応じて再レジストレーションする工程が不要となる。

【0145】

また、手術器具３００は、２以上あり、少なくともそのうちの一つは内視鏡２０を含んでよい。仮想ポートは、２以上あり、少なくともそのうちの一つは被検体の体表７０において内視鏡２０が挿入される仮想カメラポートを含んでよい。処理部１６０は、仮想カメラポートに対応した実カメラポートから被検体の内部に挿入された内視鏡２０の挿入距離ＩＤ１を取得してよい。処理部１６０は、少なくとも仮想カメラポートの位置と内視鏡２０の挿入距離ＩＤ１とに基づいて、内視鏡２０の先端位置２１を算出してよい。第１の画像は、内視鏡２０の先端位置２１を視点とする仮想内視鏡画像Ｇ２でよい。これにより、医用画像処理装置１００は、簡単なシステム構成と少ない演算量で内視鏡２０の先端位置を導出でき、この位置に基づく仮想内視鏡画像Ｇ２を可視化できる。これによって、手術ナビゲーションの精度を向上させることが出来る。

【0146】

また、処理部１６０は、内視鏡２０で撮像された画像である実内視鏡画像を取得してよい。処理部１６０は、実内視鏡画像に含まれる手術器具３００の映像に基づいて、算出された内視鏡２０の先端位置又は前記仮想内視鏡画像Ｇ２における前記手術器具３００の位置を調整してよい。手術器具３００の映像は、実内視鏡画像における手術器具３００の相対情報（例えば実内視鏡画像における位置）を示してよい。これにより、医用画像処理装置１００は、例えば、実内視鏡画像と仮想内視鏡画像Ｇ２との内容が近づくように（例えば一致するように）、仮想内視鏡の視野を変更すべく内視鏡２０の先端位置２１を調整したり、仮想内視鏡画像Ｇ２に示される手術器具３００の位置を調整したりできる。よって、術者は、より実空間に近い手術器具３００の位置を把握できる。

【0147】

また、処理部１６０は、３Ｄデータにおけるターゲット４０を設定し、第１の画像に、手術器具３００とターゲット４０との間の距離（例えば距離ｄ１）に基づく情報を重畳して表示させてよい。これにより、術者は、術中に術者が操作可能な手術器具３００からターゲット４０までの距離を把握しながら、ターゲット４０に対する各種処置を実施できる。

【0148】

また、処理部１６０は、３Ｄデータにおける危険部位を設定し、第１の画像に、手術器具３００と危険部位との間の距離に基づく情報を重畳して表示させてよい。これにより、術者は、術中に術者が操作可能な手術器具３００から危険部位までの距離を把握できる。よって、術者は、例えば危険部位を避けながら、ターゲット４０に対する各種処置を実施できる。

【0149】

また、処理部１６０は、実ポートが計測された計測情報（例えば計測位置）を取得し、実ポートの計測情報と実ポートに対応する仮想ポートの位置とに基づいて、第１の画像に手術器具３００を示す情報を重畳して表示させてよい。これにより、実ポートの計測位置と仮想ポートの設定位置とにずれが存在しても、医用画像処理装置１００は、例えば、このずれが小さくなるように仮想ポートの位置を調整して、実際の実ポートの位置を基準とした第１の画像を提供できる。

【0150】

上記実施形態の一態様は、被検体の３Ｄデータを取得するステップと、３Ｄデータにおける被検体の体表に仮想ポートを設定するステップと、仮想ポートに対応した実ポートから被検体の内部に挿入された手術器具３００の挿入距離を取得するステップと、少なくとも仮想ポートの位置と手術器具３００の挿入距離とに基づいて、３Ｄデータを可視化した第１の画像に、手術器具３００を示す情報を重畳して表示部に表示させるステップと、を有する鏡視下手術支援方法、である。

【0151】

本実施形態の一態様は、上記の鏡視下手術支援方法をコンピュータに実行させるためのプログラムである。

【産業上の利用可能性】

【0152】

本開示は、システム構成を単純化して簡便に手術ナビゲーションを実施できる鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム等に有用である。

【符号の説明】

【0153】

１０ 肝臓
１５ 骨
２１ 内視鏡の先端位置
２２ 内視鏡の先端向き
２３ 撮像範囲
３０，３１，３２ 鉗子
４０ ターゲット
６０ トロッカー
７０ 体表
１００ 医用画像処理装置
１１０ 取得部
１２０ ＵＩ
１３０ ディスプレイ
１４０ プロセッサ
１５０ メモリ
１６０ 処理部
１６１ 領域処理部
１６２ 変形処理部
１６３ モデル設定部
１６４ ポート情報処理部
１６５ 手術器具情報処理部
１６６ 画像生成部
１６７ 表示制御部
２００ ＣＴ装置
３００ 手術器具
ＰＴ ポート
ＰＴ１ カメラポート
ＰＴ２ 鉗子ポート
ＩＤ，ＩＤ１，ＩＤ２，ＩＤ２１，ＩＤ２２ 挿入距離

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】