特許 7530543 医用画像３Ｄイメージング処理方法及び医用画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-31

(45)【発行日】2024-08-08

(54)【発明の名称】医用画像３Ｄイメージング処理方法及び医用画像処理装置

(51)【国際特許分類】

   A61B 6/46 20240101AFI20240801BHJP

   A61B 6/03 20060101ALI20240801BHJP

   A61B 6/50 20240101ALI20240801BHJP

【ＦＩ】

A61B6/46 536Q

A61B6/03 560B

A61B6/50 500B

【請求項の数】 9

(21)【出願番号】P 2020145814

(22)【出願日】2020-08-31

(65)【公開番号】P2022040886

(43)【公開日】2022-03-11

【審査請求日】2023-07-04

(73)【特許権者】

【識別番号】502094572

【氏名又は名称】株式会社アールテック

(73)【特許権者】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】100117857

【弁理士】

【氏名又は名称】南林 薫

(72)【発明者】

【氏名】小杉 隆司

(72)【発明者】

【氏名】小杉 崇文

(72)【発明者】

【氏名】太田 信

(72)【発明者】

【氏名】安西 眸

【審査官】松岡 智也

(56)【参考文献】

【文献】特開２０１５－１６４５９５（ＪＰ，Ａ）

【文献】国際公開第２００５／０１１４９９（ＷＯ，Ａ１）

【文献】特開２０１９－１９３８３７（ＪＰ，Ａ）

【文献】特開２０１４－０００３３２（ＪＰ，Ａ）

【文献】特開平１１－１９７１４２（ＪＰ，Ａ）

【文献】特開２０１６－１７８９８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／００３７７６１（ＵＳ，Ａ１）

【文献】Nicholas J. Swerdlow et al.，"Three-dimensional image fusion is associated with lower radiation exposure and shorter time to carotid cannulation during carotid artery stenting"，Journal of Vascular Surgery,，2019年，vol.69, (2019)，pp.1111-1120

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／５８

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

術者が医療デバイスを用いて血管の手術を行う際に視認する術者用表示部を有する医用画像処理装置であって、
前記手術を行う前の術前の前記血管の３次元形状を含む術前３次元血管画像と、前記手術の最中のＸ線透視画像である術中Ｘ線透視画像とを取得する取得部と、
前記術前３次元血管画像および前記術中Ｘ線透視画像を用いて生成された画像であって、前記血管の３次元形状および前記医療デバイスの３次元形状を含む医用画像を、前記術者用表示部に表示する制御を行う表示制御部と、
を有し、
前記取得部は、前記術中Ｘ線透視画像として、異なる複数方向から撮影されたＸ線透視画像であって血管像の強調処理を行う前の画像である第１の術中Ｘ線透視画像と、前記複数方向から撮影された前記Ｘ線透視画像であって前記血管像の強調処理を行った後の画像である第２の術中Ｘ線透視画像とを取得するものであり、
前記医用画像は、前記術前３次元血管画像、前記第１の術中Ｘ線透視画像および前記第２の術中Ｘ線透視画像を用いて生成された画像であることを特徴とする医用画像処理装置。

【請求項2】

前記術前３次元血管画像を前記複数方向から擬似撮影処理して、前記複数方向の術前擬似２次元血管画像を生成する擬似撮影処理部と、
前記第２の術中Ｘ線透視画像と前記術前擬似２次元血管画像とにおいて前記血管の位置合わせを行った後、前記第２の術中Ｘ線透視画像を３次元化して、術中擬似３次元血管画像を生成する血管３次元化処理部と、
前記第１の術中Ｘ線透視画像と前記術前擬似２次元血管画像とにおいて前記血管の位置合わせを行った後、前記第１の術中Ｘ線透視画像に含まれている前記医療デバイスを抽出して３次元化し、３次元医療デバイス画像を生成するデバイス３次元化処理部と、
前記術中擬似３次元血管画像に前記３次元医療デバイス画像を合成して、前記医用画像を生成する合成部と、
を更に有することを特徴とする請求項１に記載の医用画像処理装置。

【請求項3】

前記術者とは異なる補助者が視認する表示部であって、前記医用画像を表示する画像表示領域を含む補助者用表示部を更に有し、
前記表示制御部は、前記術者用表示部に表示する前記医用画像と、前記補助者用表示部の前記画像表示領域に表示する前記医用画像とを、連動させて表示する制御を更に行うことを特徴とする請求項１または２に記載の医用画像処理装置。

【請求項4】

前記表示制御部は、前記術者用表示部および前記補助者用表示部の前記画像表示領域に、前記医用画像とともに、前記手術を行う前の術前指標に関する術前指標情報および前記手術の最中の術中指標に関する術中指標情報のうちの少なくとも一方の指標情報を表示する制御を更に行うことを特徴とする請求項３に記載の医用画像処理装置。

【請求項5】

前記術者の手を含む領域を撮影する手領域撮影部と、
前記術者が発した音声を認識する音声認識部と、
を更に有し、
前記表示制御部は、前記手領域撮影部で撮影された前記手の動きまたは前記音声認識部で認識された前記音声に基づいて、前記術者用表示部に対する前記医用画像の表示を変更する制御を更に行うことを特徴とする請求項１乃至４のいずれか１項に記載の医用画像処理装置。

【請求項6】

前記表示制御部は、前記手領域撮影部で撮影された前記手の動きに基づく前記手の形状が第１の手形状から第２の手形状になった場合、または、前記音声認識部で認識された前記音声が所定の音声であった場合に、前記術者用表示部に対する前記医用画像の表示を変更することが可能な表示設定変更可能状態とすることを特徴とする請求項５に記載の医用画像処理装置。

【請求項7】

前記表示制御部は、前記表示設定変更可能状態となった後に、前記手領域撮影部で撮影された前記手の動きまたは前記音声認識部で認識された前記音声に基づいて、前記医用画像の回転表示、前記医用画像の移動表示および前記医用画像の倍率変更表示のうちの少なくとも１つの表示制御を行うことを特徴とする請求項６に記載の医用画像処理装置。

【請求項8】

前記表示制御部は、前記表示設定変更可能状態となった後に、前記手領域撮影部で撮影された前記手の動きまたは前記音声認識部で認識された前記音声に基づいて、前記医用画像の表示設定を初期化する制御を行うことを特徴とする請求項６または７に記載の医用画像処理装置。

【請求項9】

術者が医療デバイスを用いて血管の手術を行う際に視認する術者用表示部を有する医用画像処理装置による医用画像３Ｄイメージング処理方法であって、
前記手術を行う前の術前の前記血管の３次元形状を含む術前３次元血管画像と、前記手術の最中のＸ線透視画像である術中Ｘ線透視画像とを取得する取得ステップと、
前記術前３次元血管画像および前記術中Ｘ線透視画像を用いて生成された画像であって、前記血管の３次元形状および前記医療デバイスの３次元形状を含む医用画像を、前記術者用表示部に表示する制御を行う表示制御ステップと、
を有し、
前記取得ステップは、前記術中Ｘ線透視画像として、異なる複数方向から撮影されたＸ線透視画像であって血管像の強調処理を行う前の画像である第１の術中Ｘ線透視画像と、前記複数方向から撮影された前記Ｘ線透視画像であって前記血管像の強調処理を行った後の画像である第２の術中Ｘ線透視画像とを取得するものであり、
前記医用画像は、前記術前３次元血管画像、前記第１の術中Ｘ線透視画像および前記第２の術中Ｘ線透視画像を用いて生成された画像であることを特徴とする医用画像３Ｄイメージング処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像の処理を行う医用画像処理装置及び当該医用画像処理装置による医用画像３Ｄイメージング処理方法に関するものである。

【背景技術】

【0002】

術者が医療デバイスを用いて血管の手術を行う際に、当該血管及び当該医療デバイスを含む被検体の領域をＸ線透視撮影することによって得られる医用画像の一種であるＸ線透視画像を表示部に動画表示して、術者が表示部に表示されたＸ線透視画像を視認しながら当該手術を進めることが行われている。例えば、特許文献１には、血管内に医療デバイスの一種であるステントを設置する手術を行う際に、当該血管及び当該ステントを含む被検体の領域をＸ線透視撮影して、Ｘ線透視画像を表示部に動画表示する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１１４２０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般的に、Ｘ線透視画像は２次元画像であるため、特許文献１に記載の技術では、術者は、この２次元画像から血管や医療デバイスにおける３次元の位置関係を認識しながら手術を進めることになる。この際、２次元の情報は、３次元の情報と比べて情報の欠落があるため、特許文献１に記載の技術では、術者が安全に血管の手術を進めるという観点においては不十分である。

【0005】

また、術者が医療デバイスを用いて血管の手術を行っている最中（術中）において、血流にさらされる血管の内腔面の形状は、医療デバイス（カテーテルや他のデバイス）の留置により変化するが、医療デバイスの存在により変化した内腔面の形状を３次元的に再抽出するには、再度画像を取得する必要がある。しかしながら、再度画像を取得するためには、患者に造影剤投与の負担がかかるため、頻繁に行うことは難しい。

【0006】

本発明は、このような問題点に鑑みてなされたものであり、術者が医用画像を視認しながら医療デバイスを用いて血管の手術を行う際に、血管や医療デバイスにおける３次元の位置関係をより容易に認識させることで、安全に手術を行える仕組みを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の医用画像処理装置は、術者が医療デバイスを用いて血管の手術を行う際に視認する術者用表示部を有する医用画像処理装置であって、前記手術を行う前の術前の前記血管の３次元形状を含む術前３次元血管画像と、前記手術の最中のＸ線透視画像である術中Ｘ線透視画像とを取得する取得部と、前記術前３次元血管画像および前記術中Ｘ線透視画像を用いて生成された画像であって、前記血管の３次元形状および前記医療デバイスの３次元形状を含む医用画像を、前記術者用表示部に表示する制御を行う表示制御部と、を有し、前記取得部は、前記術中Ｘ線透視画像として、異なる複数方向から撮影されたＸ線透視画像であって血管像の強調処理を行う前の画像である第１の術中Ｘ線透視画像と、前記複数方向から撮影された前記Ｘ線透視画像であって前記血管像の強調処理を行った後の画像である第２の術中Ｘ線透視画像とを取得するものであり、前記医用画像は、前記術前３次元血管画像、前記第１の術中Ｘ線透視画像および前記第２の術中Ｘ線透視画像を用いて生成された画像である。
また、本発明は、上述した医用画像処理装置による医用画像３Ｄイメージング処理方法を含む。

【発明の効果】

【0008】

本発明によれば、術者が医用画像を視認しながら医療デバイスを用いて血管の手術を行う際に、安全に手術を行うことができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係る医用画像処理装置の機能構成の一例を示すブロック図である。

【図2】図１に示す術前３次元血管画像の一例を示す図である。

【図3】図１に示す第１の術中Ｘ線透視画像の一例を示す図である。

【図4】図１に示す第２の術中Ｘ線透視画像の一例を示す図である。

【図5】図１に示す術前擬似２次元血管画像の一例を示す図である。

【図6】図４に示す２方向から撮影された第２の術中Ｘ線透視画像と、図５に示す当該２方向から擬似撮影処理した結果得られた術前擬似２次元血管画像との血管の位置合わせ処理を説明するための図である。

【図7】図１に示す術中擬似３次元血管画像の一例を示す図である。

【図8】図３に示す第１の術中Ｘ線透視画像から抽出した、医療デバイスを含む医療デバイス包含画像領域を示す図である。

【図9】図１に示す医用画像を含む医用画像群の一例を示す図である。

【図10】図１に示す術者用表示部及び補助者用表示部の表示例を示す図である。

【図11】図１に示す表示制御部の記憶部に記憶されているハンドサイン管理テーブル情報及び音声認識管理テーブル情報の一例を示す図である。

【図12A】本発明の実施形態に係る医用画像処理装置による医用画像３Ｄイメージング処理方法（医用画像処理方法）における処理手順の一例を示すフローチャートである。

【図12B】本発明の実施形態に係る医用画像処理装置による医用画像３Ｄイメージング処理方法（医用画像処理方法）における処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

【0011】

図１は、本発明の実施形態に係る医用画像処理装置１００の機能構成の一例を示すブロック図である。医用画像処理装置１００は、図１に示すように、入力部１１０、入力部１２０、画像処理部１３０、表示制御部１４０、術者用表示部１５０、補助者用表示部１６０、手領域撮影部１７０、音声認識部１８０、及び、ＸＲ表示部１９０を有して構成されている。また、図１では、医療デバイスを用いて血管の手術を行う術者３１０、及び、術者３１０とは異なる者であって術者３１０を補助する補助者３２０を上から見た際の挿絵を図示している。

【0012】

入力部１１０は、術者３１０が手術を行う対象の血管であって手術を行う前（術前）の血管の３次元形状を含む術前３次元血管画像２１０を、画像処理部１３０に対して入力する構成部である。図２は、図１に示す術前３次元血管画像２１０の一例を示す図である。この図２には、例えば術前に撮影したＣＴ画像などをもとに作成した術前の血管２１１における３次元形状の一例が示されている。また、本実施形態においては、入力部１１０は、術前３次元血管画像２１０とともに、術前３次元血管画像２１０の術前指標に関する術前指標情報（動脈瘤の体積や幅、高さなど）やその撮影情報（撮影方向やＸ線源の位置など）を含む情報を、画像処理部１３０に対して入力する。

【0013】

入力部１２０は、術者３１０が医療デバイスを用いて血管の手術を行っている最中（術中）の当該血管の領域を含むＸ線透視画像である術中Ｘ線透視画像２２０を、画像処理部１３０に対して入力する構成部である。ここで、本実施形態においては、術中Ｘ線透視画像２２０は、２次元画像であってリアルタイムの動画として画像処理部１３０に入力されるものである。具体的に、入力部１２０は、術中Ｘ線透視画像２２０として、異なる複数方向（本実施形態では、２方向）から撮影されたＸ線透視画像であって所定の画像処理（具体的には、差分処理）を行う前の画像である第１の術中Ｘ線透視画像２２１と、当該異なる複数方向（本実施形態では、２方向）から撮影されたＸ線透視画像であって所定の画像処理（具体的には、差分処理）を行った後の画像である第２の術中Ｘ線透視画像２２２とを、画像処理部１３０に対して入力する。図３は、図１に示す第１の術中Ｘ線透視画像２２１の一例を示す図である。この図３では、例えば、異なる２方向から撮影されたＸ線透視画像のうちの一方の方向から撮影されたＸ線透視画像に基づく第１の術中Ｘ線透視画像２２１のみを図示しているが、実際には、他方の方向から撮影されたＸ線透視画像に基づく第１の術中Ｘ線透視画像２２１も取得されているものとする。この図３に示す第１の術中Ｘ線透視画像２２１では、医療デバイス２２１１として、血管の動脈瘤に対するコイル塞栓術で用いるコイルが映し出されており、また、医療デバイス２２１１を含む領域を医療デバイス包含画像領域２２１０として矩形で図示している。この図３に示す第１の術中Ｘ線透視画像２２１は、医療デバイス２２１１の抽出に利用するための画像である。図４は、図１に示す第２の術中Ｘ線透視画像２２２の一例を示す図である。この図４では、異なる２方向から撮影されたＸ線透視画像のうちの一方の方向から撮影されたＸ線透視画像を差分処理（造影剤注入前後の画像を組み合わせ、血管像を強調する）することによって得られた第２の術中Ｘ線透視画像２２２－１と、他方の方向から撮影されたＸ線透視画像を差分処理することによって得られた第２の術中Ｘ線透視画像２２２－２を図示している。この図４に示す第２の術中Ｘ線透視画像２２２－１及び２２２－２は、血管の抽出に利用するための画像である。また、本実施形態においては、入力部１２０は、第１の術中Ｘ線透視画像２２１及び第２の術中Ｘ線透視画像２２２とともに、術中Ｘ線透視画像２２０の術中指標に関する術中指標情報やその撮影情報を含む情報を、画像処理部１３０に対して入力する。

【0014】

画像処理部１３０は、入力部１１０から入力された術前３次元血管画像２１０と、入力部１２０から入力された第１の術中Ｘ線透視画像２２１及び第２の術中Ｘ線透視画像２２２を画像処理して、医用画像２６０を生成する構成部である。この画像処理部１３０は、図１に示すように、取得部１３１、擬似撮影処理部１３２、血管３次元化処理部１３３、デバイス３次元化処理部１３４、及び、合成部１３５を有して構成されている。

【0015】

取得部１３１は、入力部１１０から術前３次元血管画像２１０を取得するとともに、入力部１２０から術中Ｘ線透視画像２２０（より具体的には、第１の術中Ｘ線透視画像２２１及び第２の術中Ｘ線透視画像２２２）を取得する構成部である。さらに、取得部１３１は、入力部１１０から術前３次元血管画像２１０を取得する際に、入力部１１０から術前３次元血管画像２１０の術前指標に関する術前指標情報やその撮影情報を含む情報も取得し、また、入力部１２０から術中Ｘ線透視画像２２０（より具体的には、第１の術中Ｘ線透視画像２２１及び第２の術中Ｘ線透視画像２２２）を取得する際に、入力部１２０から術中Ｘ線透視画像２２０の術中指標に関する術中指標情報やその撮影情報を含む情報も取得する。

【0016】

擬似撮影処理部１３２は、取得部１３１で取得した術前３次元血管画像２１０及び術中Ｘ線透視画像２２０の撮影情報等を用いて、術前３次元血管画像２１０を、術中Ｘ線透視画像２２０を撮影した複数方向（本実施形態では、２方向）から擬似撮影処理の画像処理を行って、当該複数方向の術前擬似２次元血管画像２３０を生成する構成部である。図５は、図１に示す術前擬似２次元血管画像２３０の一例を示す図である。具体的に、図５では、中央領域に術前３次元血管画像２１０（血管２１１）を図示しており、この術前３次元血管画像２１０を、術中Ｘ線透視画像２２０（例えば、第２の術中Ｘ線透視画像２２２－１及び２２２－２）を撮影した２方向のうちの一方の方向から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０－１と、他方の方向から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０－２を示している。

【0017】

血管３次元化処理部１３３は、まず、取得部１３１で取得した複数方向（本実施形態では、２方向）から撮影された第２の術中Ｘ線透視画像２２２と、擬似撮影処理部１３２で複数方向（本実施形態では、２方向）から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０とにおいて、血管の位置合わせを行う。この血管の位置合わせを行う際には、例えば、血管部の抽出や中心線の作成、血管枝の抽出、第２の術中Ｘ線透視画像２２２と術前擬似２次元血管画像２３０の血管枝の対応付け等が行われる。図６は、図４に示す２方向から撮影された第２の術中Ｘ線透視画像２２２－１及び２２２－２と、図５に示す当該２方向から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０－１及び２３０－２との血管の位置合わせ処理を説明するための図である。ここで、図６（ａ）には、図４に示す２方向から撮影された第２の術中Ｘ線透視画像２２２－１及び２２２－２を図示し、図６（ｂ）には、図５に示す当該２方向から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０－１及び２３０－２を図示している。この図６において、血管３次元化処理部１３３は、第２の術中Ｘ線透視画像２２２－１及び２２２－２の血管の部位が、術前擬似２次元血管画像２３０－１及び２３０－２のどこに該当するかを確認して、両種画像の血管の位置合わせを行う。この図６に示す例では、各画像において、血管の部位Ｂ１は同じ血管の部位を示しており、同様に血管の部位Ｂ２は同じ血管の部位を示している。その後、血管３次元化処理部１３３は、血管の位置合わせを行った、２方向から撮影された第２の術中Ｘ線透視画像２２２と当該２方向から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０をもとに、第２の術中Ｘ線透視画像２２２を３次元化して、術中擬似３次元血管画像２４０を生成する。図７は、図１に示す術中擬似３次元血管画像２４０の一例を示す図である。この図７の術中擬似３次元血管画像２４０には、術中の血管２４１における３次元形状の一例が示されている。

【0018】

デバイス３次元化処理部１３４は、まず、取得部１３１で取得した複数方向（本実施形態では、２方向）から撮影された第１の術中Ｘ線透視画像２２１と、擬似撮影処理部１３２で複数方向（本実施形態では、２方向）から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０とにおいて、血管の位置合わせを行う。このデバイス３次元化処理部１３４による血管の位置合わせ方法は、上述した血管３次元化処理部１３３による血管の位置合わせ方法と同様の方法を採用することができるため、その説明は省略する。血管の位置合わせを行った後、デバイス３次元化処理部１３４は、２方向から撮影された第１の術中Ｘ線透視画像２２１のそれぞれから、医療デバイス２２１１を含む医療デバイス包含画像領域２２１０を抽出する。図８は、図３に示す第１の術中Ｘ線透視画像２２１から抽出した、医療デバイス２２１１を含む医療デバイス包含画像領域２２１０を示す図である。医療デバイス包含画像領域２２１０を抽出した後、デバイス３次元化処理部１３４は、血管の位置合わせを行った、２方向から撮影された第１の術中Ｘ線透視画像２２１と当該２方向から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０をもとに、医療デバイス２２１１の３次元座標を算出して、第１の術中Ｘ線透視画像２２１（医療デバイス包含画像領域２２１０）を３次元化し、３次元医療デバイス画像２５０を生成する。

【0019】

合成部１３５は、血管３次元化処理部１３３で生成された術中擬似３次元血管画像２４０に、デバイス３次元化処理部１３４で生成された３次元医療デバイス画像２５０を重ね合わせて合成し、医用画像２６０を生成する。図９は、図１に示す医用画像２６０を含む医用画像群９００の一例を示す図である。図９に示すように、医用画像２６０は、術中の血管２４１の３次元形状及び３次元医療デバイス画像２５０で示される医療デバイスの３次元形状を含む３次元画像である。また、図９に示す医用画像群９００には、医用画像２６０に加えて、例えば異なる２方向から撮影されたＸ線透視画像に基づく第２の術中Ｘ線透視画像２２２－１及び２２２－２に対応する第２の術中Ｘ線透視画像９０１及び９０２が含まれている。

【0020】

術者用表示部１５０は、術者３１０が医療デバイスを用いて血管の手術を行う際に視認する表示部であって、表示制御部１４０の制御に基づいて、当該血管の３次元形状及び当該医療デバイスの３次元形状を含む医用画像２６０を含む各種の画像や各種の情報を表示する構成部である。

【0021】

補助者用表示部１６０は、術者３１０とは異なる補助者３２０が視認する表示部であって、例えば表示制御部１４０の制御に基づいて、医用画像２６０を含む各種の画像や各種の情報を表示する構成部である。また、補助者用表示部１６０は、補助者３２０等が各種の情報を入力する際に操作する操作入力部１６１を含み構成されている。

【0022】

ここで、術者用表示部１５０及び補助者用表示部１６０について具体的に説明する。
図１０は、図１に示す術者用表示部１５０及び補助者用表示部１６０の表示例を示す図である。具体的に、図１０（ａ）は術者用表示部１５０の表示例を示し、図１０（ｂ）は補助者用表示部１６０の表示例を示している。

【0023】

図１０（ａ）に示す例では、術者用表示部１５０の画像表示領域１５１０には、図９に示す医用画像２６０が表示されている。また、術者用表示部１５０の画像表示領域１５１０には、医用画像２６０に加えて、手術を行う前の術前指標に関する術前指標情報及び手術の最中の術中指標に関する術中指標情報のうちの少なくとも一方の指標情報１５１１が表示されている。なお、本実施形態においては、術者用表示部１５０の画像表示領域１５１０には、医用画像２６０に加えて、図９に示す第２の術中Ｘ線透視画像９０１及び９０２を表示する形態（即ち、図９に示す医用画像群９００を表示する形態）であってもよい。

【0024】

図１０（ｂ）に示す例では、補助者用表示部１６０の画像表示領域１６１０には、術者用表示部１５０の画像表示領域１５１０と同様に、図９に示す医用画像２６０が表示されている。また、補助者用表示部１６０の画像表示領域１６１０には、術者用表示部１５０の画像表示領域１５１０と同様に、医用画像２６０に加えて、手術を行う前の術前指標に関する術前指標情報及び手術の最中の術中指標に関する術中指標情報のうちの少なくとも一方の指標情報１６１１が表示されている。なお、本実施形態においては、補助者用表示部１６０の画像表示領域１６１０には、術者用表示部１５０の画像表示領域１５１０と同様に、医用画像２６０に加えて、図９に示す第２の術中Ｘ線透視画像９０１及び９０２を表示する形態（即ち、図９に示す医用画像群９００を表示する形態）であってもよい。ここで、本実施形態においては、術者用表示部１５０の画像表示領域１５１０に表示される画像及び情報は、表示制御部１４０の制御によって、補助者用表示部１６０の画像表示領域１６１０に表示される画像及び情報と連動して表示される（同じものが表示される）ものとする。この点、例えば、補助者用表示部１６０の画像表示領域１６１０は、術者用表示部１５０の画像表示領域１５１０に表示される画像及び情報を、補助者３２０が管理するための表示領域である。このように、術者用表示部１５０の画像表示領域１５１０に表示される画像及び情報と補助者用表示部１６０の画像表示領域１６１０に表示される画像及び情報とを連動させて表示することにより、術者３１０が行っている手術の状況について術者３１０と補助者３２０とで認識を共有させることができる。また、補助者用表示部１６０の画像表示領域１６２０は、補助者３２０が、操作ダイヤログ表示領域１６３０に表示・設定された操作ダイヤログを操作することによって、各種の画像や指標情報１６２１を含む各種の情報を選択・編集・加工等する作業領域である。

【0025】

また、図１０に示す指標情報１５１１、指標情報１６１１及び指標情報１６２１は、術前指標情報としては、例えば、血管の動脈瘤の容積や高さ、ネック径、直径に関する情報、医療デバイスとしてのコイルの充填率に関する情報、医療デバイスとしてのステントの配置に関する情報等を表示することが可能であり、また、術中指標情報としては、例えば、コイルの充填率に関する情報、ステントの配置に関する情報、カテーテルの歪分布に関する情報、マーカーの相対位置に関する情報、指定点と血管の動脈瘤との２点間距離に関する情報等を表示することが可能である。

【0026】

また、本実施形態においては、図１０（ａ）に示す術者用表示部１５０の画像表示領域１５１０、図１０（ｂ）に示す画像表示領域１６１０及び画像表示領域１６２０には、医用画像２６０等の３次元画像に替えて術中Ｘ線透視画像２２０等の２次元画像を切り替えて表示することができるようになっている。

【0027】

ここで、再び図１の説明に戻る。
手領域撮影部１７０は、例えば表示制御部１４０の制御に基づいて、術者３１０の手３１１を含む領域（手領域）を動画で撮影する構成部である。

【0028】

音声認識部１８０は、例えば表示制御部１４０の制御に基づいて、術者３１０が発した音声を認識する構成部である。

【0029】

ＸＲ表示部１９０は、表示制御部１４０の制御に基づいて、医用画像２６０に含まれる血管の３次元形状及び医療デバイスの３次元形状をＸＲ（ＥＸＴＥＮＤＥＤ ＲＥＡＬＩＴＹ）で表示可能なデータ形式に変換して、医用画像２６０に含まれる血管の３次元形状及び医療デバイスの３次元形状をＸＲ表示する構成部である。このＸＲ表示部１９０は、例えば、術者３１０が、術者用表示部１５０に替えて、術者用表示部として装着可能に構成されている。

【0030】

表示制御部１４０は、補助者用表示部１６０の操作入力部１６１から入力された情報（例えば表示指示情報）、及び、手領域撮影部１７０で撮影された術者３１０の手３１１の動き（ハンドサイン）または音声認識部１８０で認識された術者３１０の音声に基づいて、術者用表示部１５０や補助者用表示部１６０、ＸＲ表示部１９０に対して、各種の画像や各種の情報を表示する制御を行う構成部である。具体的に、表示制御部１４０は、手領域撮影部１７０で撮影された術者３１０の手３１１の動きまたは音声認識部１８０で認識された術者３１０の音声に基づいて、術者用表示部１５０の画像表示領域１５１０に対する医用画像２６０の表示を変更する制御を行う。さらに、本実施形態においては、表示制御部１４０は、図１０に示すように、術者用表示部１５０の画像表示領域１５１０に表示する医用画像２６０と、補助者用表示部１６０の画像表示領域１６１０に表示する医用画像２６０とを連動させて表示する制御を更に行う。この表示制御部１４０は、図１に示すように、記憶部１４１及び処理部１４２を含み構成されている。記憶部１４１は、画像処理部１３０で得られた各種の画像（術前３次元血管画像２１０、第１の術中Ｘ線透視画像２２１、第２の術中Ｘ線透視画像２２２、術前擬似２次元血管画像２３０、術中擬似３次元血管画像２４０、３次元医療デバイス画像２５０、医用画像２６０、医用画像群９００等）や、画像処理部１３０で得られた各種の情報（術前３次元血管画像２１０の術前指標に関する術前指標情報やその撮影情報を含む情報、術中Ｘ線透視画像２２０の術中指標に関する術中指標情報やその撮影情報を含む情報等）を、画像処理部１３０から取得して記憶するとともに、表示制御部１４０が表示制御を行う際に必要な各種の情報（術者３１０の手３１１の動き（ハンドサイン）に基づき、医用画像２６０の表示を変更する制御を行う際に必要なハンドサイン管理テーブル情報や、術者３１０が発した音声に基づき、医用画像２６０の表示を変更する制御を行う際に必要な音声認識管理テーブル情報を含む）を予め記憶している。処理部１４２は、表示制御部１４０が、術者用表示部１５０や補助者用表示部１６０、ＸＲ表示部１９０に対して、各種の画像や各種の情報を表示する制御を行う際の各種の処理を行う構成部である。

【0031】

ここで、表示制御部１４０の記憶部１４１に記憶されているハンドサイン管理テーブル情報及び音声認識管理テーブル情報について説明する。
図１１は、図１に示す表示制御部１４０の記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０及び音声認識管理テーブル情報１１２０の一例を示す図である。具体的に、図１１では、図１１（ａ）にハンドサイン管理テーブル情報１１１０の一例を示し、図１１（ｂ）に音声認識管理テーブル情報１１２０の一例を示している。

【0032】

まず、図１１（ａ）に示すハンドサイン管理テーブル情報１１１０の説明を行う。
ハンドサイン管理テーブル情報１１１０は、図１１（ａ）に示すように、表示設定変更規定情報１１１１、回転操作規定情報１１１２、移動操作規定情報１１１３、及び、ズーム操作規定情報１１１４を有して構成されている。

【0033】

図１１（ａ）に示す表示設定変更規定情報１１１１には、上から１番目の規定情報として、手領域撮影部１７０で撮影された術者３１０の手３１１の形状が、「グー」の形状から「パー」の形状となった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の表示を変更することが可能な表示設定変更可能状態とすることが規定されている。ここで、本実施形態においては、術者３１０の手３１１において「グー」の形状は、「第１の手形状」と定義し、また、術者３１０の手３１１において「パー」の形状は、「第２の手形状」と定義する。

【0034】

図１１（ａ）に示す表示設定変更規定情報１１１１には、上から２番目の規定情報として、上述した表示設定変更可能状態となった後に、手領域撮影部１７０で撮影された術者３１０の手３１１の形状が、「指１本」を立てる手形状となった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対して医用画像２６０を所定方向に回転させる操作を開始することが規定されている。ここで、本実施形態においては、術者３１０の手３１１において「指１本」を立てる手形状は、「第３の手形状」と定義する。

【0035】

図１１（ａ）に示す表示設定変更規定情報１１１１には、上から３番目の規定情報として、上述した表示設定変更可能状態となった後に、手領域撮影部１７０で撮影された術者３１０の手３１１の形状が、「指２本」を立てる手形状となった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対して医用画像２６０を所定方向に移動させる操作を開始することが規定されている。ここで、本実施形態においては、術者３１０の手３１１において「指２本」を立てる手形状は、「第４の手形状」と定義する。

【0036】

図１１（ａ）に示す表示設定変更規定情報１１１１には、上から４番目の規定情報として、上述した表示設定変更可能状態となった後に、手領域撮影部１７０で撮影された術者３１０の手３１１の形状が、「指３本」を立てる手形状となった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対して医用画像２６０の表示倍率を変更するズーム操作（拡大・縮小操作）を開始することが規定されている。ここで、本実施形態においては、術者３１０の手３１１において「指３本」を立てる手形状は、「第５の手形状」と定義する。

【0037】

図１１（ａ）に示す表示設定変更規定情報１１１１には、上から５番目の規定情報として、上述した表示設定変更可能状態となった後に、手領域撮影部１７０で撮影された術者３１０の手３１１の形状が、「指４本」を立てる手形状となった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の表示設定を初期化することが規定されている。ここで、本実施形態においては、術者３１０の手３１１において「指４本」を立てる手形状は、「第６の手形状」と定義する。

【0038】

図１１（ａ）に示す回転操作規定情報１１１２には、上述した表示設定変更可能状態となった後に、手領域撮影部１７０で撮影された術者３１０の手３１１の形状が「指１本」を立てる手形状となって医用画像２６０の回転操作が開始された際に、表示制御部１４０は、その後、手領域撮影部１７０で撮影された術者３１０の手３１１の指による上下左右のいずれかの方向のスワイプ動作が行われた場合に、スワイプ動作が行われた方向に医用画像２６０を回転表示させることが規定されている。なお、本実施形態においては、図１０（ａ）に示す術者用表示部１５０の画像表示領域１５１０に表示されている医用画像２６０を術者３１０が視認している場合に、術者３１０の手３１１の指による上方向は図１０（ａ）に示す＋Ｙ方向と定義し、術者３１０の手３１１の指による下方向は図１０（ａ）に示す－Ｙ方向と定義し、術者３１０の手３１１の指による左方向は図１０（ａ）に示す－Ｘ方向と定義し、術者３１０の手３１１の指による右方向は図１０（ａ）に示す＋Ｘ方向と定義する。

【0039】

図１１（ａ）に示す移動操作規定情報１１１３には、上述した表示設定変更可能状態となった後に、手領域撮影部１７０で撮影された術者３１０の手３１１の形状が「指２本」を立てる手形状となって医用画像２６０の移動操作が開始された際に、表示制御部１４０は、その後、手領域撮影部１７０で撮影された術者３１０の手３１１の指による上下左右のいずれかの方向のスワイプ動作が行われた場合に、スワイプ動作が行われた方向に医用画像２６０を移動表示させることが規定されている。

【0040】

図１１（ａ）に示すズーム操作規定情報１１１４には、上述した表示設定変更可能状態となった後に、手領域撮影部１７０で撮影された術者３１０の手３１１の形状が「指３本」を立てる手形状となって医用画像２６０のズーム操作（拡大・縮小操作）が開始された際に、表示制御部１４０は、その後、手領域撮影部１７０で撮影された術者３１０の手３１１の指による上方向（図１０（ａ）の＋Ｙ方向（第１方向））のスワイプ動作が行われた場合に医用画像２６０を拡大表示させ、また、手領域撮影部１７０で撮影された術者３１０の手３１１の指による下方向（図１０（ａ）の－Ｙ方向（第２方向））のスワイプ動作が行われた場合に医用画像２６０を縮小表示させることが規定されている。

【0041】

なお、本実施形態においては、表示制御部１４０は、手領域撮影部１７０で撮影された術者３１０の手３１１の指による或る方向へのスワイプ動作を検知した後の数秒間は、逆方向へのスワイプ動作を検知不可とするものとする。

【0042】

続いて、図１１（ｂ）に示す音声認識管理テーブル情報１１２０の説明を行う。
音声認識管理テーブル情報１１２０は、図１１（ｂ）に示すように、表示設定変更規定情報１１２１、回転操作規定情報１１２２、移動操作規定情報１１２３、及び、ズーム操作規定情報１１２４を有して構成されている。

【0043】

図１１（ｂ）に示す表示設定変更規定情報１１２１には、上から１番目の規定情報として、音声認識部１８０で認識された術者３１０の音声が「回転」であった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対して医用画像２６０を所定方向に回転させる操作を開始することが規定されている。

【0044】

図１１（ｂ）に示す表示設定変更規定情報１１２１には、上から２番目の規定情報として、音声認識部１８０で認識された術者３１０の音声が「移動」であった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対して医用画像２６０を所定方向に移動させる操作を開始することが規定されている。

【0045】

図１１（ｂ）に示す表示設定変更規定情報１１２１には、上から３番目の規定情報として、音声認識部１８０で認識された術者３１０の音声が「ズーム」であった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対して医用画像２６０の表示倍率を変更するズーム操作（拡大・縮小操作）を開始することが規定されている。

【0046】

図１１（ｂ）に示す表示設定変更規定情報１１２１には、上から４番目の規定情報として、音声認識部１８０で認識された術者３１０の音声が「全体」または「初期化」であった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の表示設定を初期化することが規定されている。

【0047】

図１１（ｂ）に示す表示設定変更規定情報１１２１には、上から５番目の規定情報として、音声認識部１８０で認識された術者３１０の音声が「連続」であった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する現在の医用画像２６０の表示変更を連続して実行することが規定されている。

【0048】

図１１（ｂ）に示す表示設定変更規定情報１１２１には、上から６番目の規定情報として、音声認識部１８０で認識された術者３１０の音声が「一定」であった場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する現在の医用画像２６０の表示変更を一定量で実行することが規定されている。

【0049】

本実施形態においては、図１１（ｂ）に示す表示設定変更規定情報１１２１で規定されている、術者３１０の所定の音声（「回転」、「移動」、「ズーム」、「全体」、「初期化」、「連続」、「一定」）が音声認識部１８０において認識された場合に、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の表示を変更することが可能な表示設定変更可能状態となる。

【0050】

図１１（ｂ）に示す回転操作規定情報１１２２には、上から１番目の規定情報として、音声認識部１８０において「回転」の音声が認識された後に、音声認識部１８０で「上」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定角度または連続で上方向に回転表示させることが規定されている。また、図１１（ｂ）に示す回転操作規定情報１１２２には、上から２番目の規定情報として、音声認識部１８０において「回転」の音声が認識された後に、音声認識部１８０で「上」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定角度または連続で下方向に回転表示させることが規定されている。また、図１１（ｂ）に示す回転操作規定情報１１２２には、上から３番目の規定情報として、音声認識部１８０において「回転」の音声が認識された後に、音声認識部１８０で「左」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定角度または連続で左方向に回転表示させることが規定されている。また、図１１（ｂ）に示す回転操作規定情報１１２２には、上から４番目の規定情報として、音声認識部１８０において「回転」の音声が認識された後に、音声認識部１８０で「右」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定角度または連続で右方向に回転表示させることが規定されている。また、図１１（ｂ）に示す回転操作規定情報１１２２には、上から５番目の規定情報として、音声認識部１８０において「回転」の音声が認識された後に、音声認識部１８０で「ストップ」の音声が認識された場合には、表示制御部１４０は、医用画像２６０の回転表示を停止させることが規定されている。

【0051】

図１１（ｂ）に示す移動操作規定情報１１２３には、上から１番目の規定情報として、音声認識部１８０において「移動」の音声が認識された後に、音声認識部１８０で「上」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定角度または連続で上方向に移動表示させることが規定されている。また、図１１（ｂ）に示す移動操作規定情報１１２３には、上から２番目の規定情報として、音声認識部１８０において「移動」の音声が認識された後に、音声認識部１８０で「下」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定角度または連続で下方向に移動表示させることが規定されている。また、図１１（ｂ）に示す移動操作規定情報１１２３には、上から３番目の規定情報として、音声認識部１８０において「移動」の音声が認識された後に、音声認識部１８０で「左」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定角度または連続で左方向に移動表示させることが規定されている。また、図１１（ｂ）に示す移動操作規定情報１１２３には、上から４番目の規定情報として、音声認識部１８０において「移動」の音声が認識された後に、音声認識部１８０で「右」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定角度または連続で右方向に移動表示させることが規定されている。また、図１１（ｂ）に示す移動操作規定情報１１２３には、上から５番目の規定情報として、音声認識部１８０において「移動」かつ「連続」の状態で、「上」「下」「左」「右」の音声が認識された後に、音声認識部１８０で「ストップ」の音声が認識された場合には、表示制御部１４０は、医用画像２６０の移動表示を停止させることが規定されている。

【0052】

図１１（ｂ）に示すズーム操作規定情報１１２４には、上から１番目の規定情報として、音声認識部１８０において「ズーム」の音声が認識された後に、音声認識部１８０で「拡大」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定量または連続で拡大表示させることが規定されている。また、図１１（ｂ）に示すズーム操作規定情報１１２４には、上から２番目の規定情報として、音声認識部１８０において「ズーム」の音声が認識された後に、音声認識部１８０で「縮小」の音声が認識された場合には、表示制御部１４０は、医用画像２６０を一定量または連続で縮小表示させることが規定されている。また、図１１（ｂ）に示すズーム操作規定情報１１２４には、上から３番目の規定情報として、音声認識部１８０において「ズーム」かつ「連続」の状態で、「拡大」「縮小」の音声が認識された後に、音声認識部１８０で「ストップ」の音声が認識された場合には、表示制御部１４０は、医用画像２６０の拡大表示・縮小表示を停止させることが規定されている。

【0053】

次に、図１に示す医用画像処理装置１００による医用画像３Ｄイメージング処理方法（医用画像処理方法）における処理手順について、図１２Ａ及び図１２Ｂを用いて以下に説明する。
図１２Ａ及び図１２Ｂは、本発明の実施形態に係る医用画像処理装置１００による医用画像３Ｄイメージング処理方法（医用画像処理方法）における処理手順の一例を示すフローチャートである。

【0054】

まず、図１２ＡのステップＳ１０１において、取得部１３１は、入力部１１０から術前３次元血管画像２１０を取得するとともに、入力部１２０から第１の術中Ｘ線透視画像２２１及び第２の術中Ｘ線透視画像２２２を取得する。具体的に、ステップＳ１０１では、例えば、図２に示す術前３次元血管画像２１０、図３に示す第１の術中Ｘ線透視画像２２１、及び、図４に示す第２の術中Ｘ線透視画像２２２を取得する。さらに、取得部１３１は、入力部１１０から術前３次元血管画像２１０を取得する際に、入力部１１０から術前３次元血管画像２１０の術前指標に関する術前指標情報やその撮影情報を含む情報も取得し、また、入力部１２０から第１の術中Ｘ線透視画像２２１及び第２の術中Ｘ線透視画像２２２を取得する際に、入力部１２０から術中Ｘ線透視画像２２０の術中指標に関する術中指標情報やその撮影情報を含む情報も取得する。

【0055】

続いて、図１２ＡのステップＳ１０２において、擬似撮影処理部１３２は、取得部１３１で取得した術前３次元血管画像２１０及び術中Ｘ線透視画像２２０の撮影情報等を用いて、術前３次元血管画像２１０を、術中Ｘ線透視画像２２０を撮影した複数方向（本実施形態では、２方向）から擬似撮影処理の画像処理を行って、当該複数方向の術前擬似２次元血管画像２３０を生成する。具体的に、ステップＳ１０２では、例えば、図５に示す術前擬似２次元血管画像２３０－１及び術前擬似２次元血管画像２３０－２を生成する。

【0056】

続いて、図１２ＡのステップＳ１０３において、血管３次元化処理部１３３は、まず、取得部１３１で取得した複数方向（本実施形態では、２方向）から撮影された第２の術中Ｘ線透視画像２２２と、擬似撮影処理部１３２で複数方向（本実施形態では、２方向）から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０とにおいて、血管の位置合わせを行う。その後、血管３次元化処理部１３３は、血管の位置合わせを行った、２方向から撮影された第２の術中Ｘ線透視画像２２２と当該２方向から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０をもとに、第２の術中Ｘ線透視画像２２２を３次元化して、術中擬似３次元血管画像２４０を生成する。具体的に、ステップＳ１０３では、例えば、図７に示す術中擬似３次元血管画像２４０を生成する。

【0057】

続いて、図１２ＡのステップＳ１０４において、デバイス３次元化処理部１３４は、まず、取得部１３１で取得した複数方向（本実施形態では、２方向）から撮影された第１の術中Ｘ線透視画像２２１と、擬似撮影処理部１３２で複数方向（本実施形態では、２方向）から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０とにおいて、血管の位置合わせを行う。そして、血管の位置合わせを行った後、デバイス３次元化処理部１３４は、２方向から撮影された第１の術中Ｘ線透視画像２２１のそれぞれから、医療デバイス２２１１を含む医療デバイス包含画像領域２２１０を抽出する。ここでは、具体的に、例えば、図８に示す医療デバイス包含画像領域２２１０を抽出する。そして、医療デバイス包含画像領域２２１０を抽出した後、デバイス３次元化処理部１３４は、血管の位置合わせを行った、２方向から撮影された第１の術中Ｘ線透視画像２２１と当該２方向から擬似撮影処理した結果得られた術前擬似２次元血管画像２３０をもとに、医療デバイス２２１１の３次元座標を算出して、第１の術中Ｘ線透視画像２２１（医療デバイス包含画像領域２２１０）を３次元化し、３次元医療デバイス画像２５０を生成する。

【0058】

続いて、図１２ＡのステップＳ１０５において、合成部１３５は、血管３次元化処理部１３３で生成された術中擬似３次元血管画像２４０に、デバイス３次元化処理部１３４で生成された３次元医療デバイス画像を重ね合わせて合成し、医用画像２６０を生成する。具体的に、ステップＳ１０５では、例えば、図９に示す医用画像２６０を生成する。

【0059】

続いて、図１２ＡのステップＳ１０６において、表示制御部１４０は、例えば補助者用表示部１６０の操作入力部１６１から入力された情報（例えば表示指示情報）に基づいて、術者用表示部１５０の画像表示領域１５１０及び補助者用表示部１６０の画像表示領域１６１０に、医用画像２６０を連動させて表示する制御を行う。具体的に、ステップＳ１０６では、例えば、図１０に示すように、術者用表示部１５０の画像表示領域１５１０及び補助者用表示部１６０の画像表示領域１６１０に、医用画像２６０を連動させて表示する制御を行う。なお、図１０に示す例では、術者用表示部１５０の画像表示領域１５１０及び補助者用表示部１６０の画像表示領域１６１０には、医用画像２６０のみが表示されているが、本実施形態においてはこの態様に限定されるものではなく、例えば、医用画像２６０の他に図９に示す第２の術中Ｘ線透視画像９０１及び９０２が表示されていてもよい。

【0060】

続いて、図１２ＡのステップＳ１０７において、手領域撮影部１７０は、例えば表示制御部１４０の制御に基づいて、術者３１０の手３１１を含む領域（手領域）の動画での撮影を開始し、また、音声認識部１８０は、例えば表示制御部１４０の制御に基づいて、術者３１０が発した音声の認識を開始する。そして、表示制御部１４０は、手領域撮影部１７０で撮影された術者３１０の手３１１を含む手領域の動画像を逐次取得するとともに、音声認識部１８０で認識された術者３１０の音声を順次取得する。

【0061】

続いて、図１２ＢのステップＳ１０８において、表示制御部１４０は、手領域撮影部１７０から取得した術者３１０の手３１１を含む手領域の動画像に基づいて術者３１０の手３１１の形状が第１の手形状（本実施形態では、図１１（ａ）に記載の「グー」の形状）から第２の手形状（本実施形態では、図１１（ａ）に記載の「パー」の形状）になったか否か、または、音声認識部１８０において所定の音声（本実施形態では、図１１（ｂ）に示す表示設定変更規定情報１１２１で規定されている「回転」や「移動」等の音声）が認識されたか否かを判断する。

【0062】

図１２ＢのステップＳ１０８の判断の結果、術者３１０の手３１１の形状が第１の手形状から第２の手形状になっていない場合や音声認識部１８０において所定の音声が認識されていない場合には（Ｓ１０８／ＮＯ）、図１２ＢのステップＳ１０９に進む。
図１２ＢのステップＳ１０９に進むと、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０及び補助者用表示部１６０の画像表示領域１６１０に連動して表示されている医用画像２６０について、現在の表示設定を維持する制御を行う。その後、所定時間が経過した後、図１２ＢのステップＳ１０８に戻る。

【0063】

一方、図１２ＢのステップＳ１０８の判断の結果、術者３１０の手３１１の形状が第１の手形状から第２の手形状になった場合または音声認識部１８０において所定の音声が認識された場合には（Ｓ１０８／ＹＥＳ）、図１２ＢのステップＳ１１０に進む。
図１２ＢのステップＳ１１０に進むと、表示制御部１４０は、記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０の表示設定変更規定情報１１１１または音声認識管理テーブル情報１１２０の表示設定変更規定情報１１２１に基づいて、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の表示を変更することが可能な表示設定変更可能状態とする。

【0064】

続いて、図１２ＢのステップＳ１１１において、表示制御部１４０は、表示設定変更可能状態となった後に、手領域撮影部１７０から取得した術者３１０の手３１１を含む手領域の動画像に基づいて術者３１０の手３１１の形状が第３の手形状（本実施形態では、図１１（ａ）に記載の「指１本」を立てる手形状）になったか否か、または、音声認識部１８０において「回転」の音声が認識されたか否かを判断する。

【0065】

図１２ＢのステップＳ１１１の判断の結果、術者３１０の手３１１の形状が第３の手形状になった場合または音声認識部１８０において「回転」の音声が認識された場合には（Ｓ１１１／ＹＥＳ）、図１２ＢのステップＳ１１２に進む。
図１２ＢのステップＳ１１２に進むと、表示制御部１４０は、記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０の表示設定変更規定情報１１１１または音声認識管理テーブル情報１１２０の表示設定変更規定情報１１２１に基づいて、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の回転操作を開始する。その後、表示制御部１４０は、記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０の回転操作規定情報１１１２または音声認識管理テーブル情報１１２０の回転操作規定情報１１２２に基づいて、手領域撮影部１７０で撮影された術者３１０の手３１１の指による上下左右のいずれかの方向のスワイプ動作が行われた場合または音声認識部１８０において「上」「下」「左」「右」のいずれかの音声が認識された場合に、指示された当該方向に医用画像２６０を回転表示する制御を行う。その後、図１２ＢのステップＳ１０８に戻る。

【0066】

一方、図１２ＢのステップＳ１１１の判断の結果、術者３１０の手３１１の形状が第３の手形状になっていない場合や音声認識部１８０において「回転」の音声が認識されていない場合には（Ｓ１１１／ＮＯ）、図１２ＢのステップＳ１１３に進む。
図１２ＢのステップＳ１１３に進むと、表示制御部１４０は、表示設定変更可能状態となった後に、手領域撮影部１７０から取得した術者３１０の手３１１を含む手領域の動画像に基づいて術者３１０の手３１１の形状が第４の手形状（本実施形態では、図１１（ａ）に記載の「指２本」を立てる手形状）になったか否か、または、音声認識部１８０において「移動」の音声が認識されたか否かを判断する。

【0067】

図１２ＢのステップＳ１１３の判断の結果、術者３１０の手３１１の形状が第４の手形状になった場合または音声認識部１８０において「移動」の音声が認識された場合には（Ｓ１１３／ＹＥＳ）、図１２ＢのステップＳ１１４に進む。
図１２ＢのステップＳ１１４に進むと、表示制御部１４０は、記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０の表示設定変更規定情報１１１１または音声認識管理テーブル情報１１２０の表示設定変更規定情報１１２１に基づいて、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の移動操作を開始する。その後、表示制御部１４０は、記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０の移動操作規定情報１１１３または音声認識管理テーブル情報１１２０の移動操作規定情報１１２３に基づいて、手領域撮影部１７０で撮影された術者３１０の手３１１の指による上下左右のいずれかの方向のスワイプ動作が行われた場合または音声認識部１８０において「上」「下」「左」「右」のいずれかの音声が認識された場合に、指示された当該方向に医用画像２６０を移動表示する制御を行う。その後、図１２ＢのステップＳ１０８に戻る。

【0068】

一方、図１２ＢのステップＳ１１３の判断の結果、術者３１０の手３１１の形状が第４の手形状になっていない場合や音声認識部１８０において「移動」の音声が認識されていない場合には（Ｓ１１３／ＮＯ）、図１２ＢのステップＳ１１５に進む。
図１２ＢのステップＳ１１５に進むと、表示制御部１４０は、表示設定変更可能状態となった後に、手領域撮影部１７０から取得した術者３１０の手３１１を含む手領域の動画像に基づいて術者３１０の手３１１の形状が第５の手形状（本実施形態では、図１１（ａ）に記載の「指３本」を立てる手形状）になったか否か、または、音声認識部１８０において「ズーム」の音声が認識されたか否かを判断する。

【0069】

図１２ＢのステップＳ１１５の判断の結果、術者３１０の手３１１の形状が第５の手形状になった場合または音声認識部１８０において「ズーム」の音声が認識された場合には（Ｓ１１５／ＹＥＳ）、図１２ＢのステップＳ１１６に進む。
図１２ＢのステップＳ１１６に進むと、表示制御部１４０は、記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０の表示設定変更規定情報１１１１または音声認識管理テーブル情報１１２０の表示設定変更規定情報１１２１に基づいて、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対して医用画像２６０の表示倍率を変更（倍率変更表示）するズーム操作（拡大・縮小操作）を開始する。その後、表示制御部１４０は、記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０のズーム操作規定情報１１１４または音声認識管理テーブル情報１１２０のズーム操作規定情報１１２４に基づいて、手領域撮影部１７０で撮影された術者３１０の手３１１の指による上方向のスワイプ動作が行われた場合または音声認識部１８０において「拡大」の音声が認識された場合には医用画像２６０を拡大表示し、また、手領域撮影部１７０で撮影された術者３１０の手３１１の指による下方向のスワイプ動作が行われた場合または音声認識部１８０において「縮小」の音声が認識された場合には医用画像２６０を縮小表示する制御を行う。その後、図１２ＢのステップＳ１０８に戻る。

【0070】

一方、図１２ＢのステップＳ１１５の判断の結果、術者３１０の手３１１の形状が第５の手形状になっていない場合や音声認識部１８０において「ズーム」の音声が認識されていない場合には（Ｓ１１５／ＮＯ）、図１２ＢのステップＳ１１７に進む。
図１２ＢのステップＳ１１７に進むと、表示制御部１４０は、表示設定変更可能状態となった後に、手領域撮影部１７０から取得した術者３１０の手３１１を含む手領域の動画像に基づいて術者３１０の手３１１の形状が第６の手形状（本実施形態では、図１１（ａ）に記載の「指４本」を立てる手形状）になったか否か、または、音声認識部１８０において「全体／初期化」の音声が認識されたか否かを判断する。

【0071】

図１２ＢのステップＳ１１７の判断の結果、術者３１０の手３１１の形状が第６の手形状になった場合または音声認識部１８０において「全体／初期化」の音声が認識された場合には（Ｓ１１７／ＹＥＳ）、図１２ＢのステップＳ１１８に進む。
図１２ＢのステップＳ１１８に進むと、表示制御部１４０は、記憶部１４１に記憶されているハンドサイン管理テーブル情報１１１０の表示設定変更規定情報１１１１または音声認識管理テーブル情報１１２０の表示設定変更規定情報１１２１に基づいて、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の表示設定を初期化する制御を行う。その後、図１２ＢのステップＳ１０８に戻る。

【0072】

一方、図１２ＢのステップＳ１１７の判断の結果、術者３１０の手３１１の形状が第６の手形状になっていない場合や音声認識部１８０において「全体／初期化」の音声が認識されていない場合には（Ｓ１１７／ＮＯ）、図１２ＢのステップＳ１１９に進む。
図１２ＢのステップＳ１１９に進むと、表示制御部１４０は、音声認識部１８０において「連続／一定」の音声が認識されたか否かを判断する。

【0073】

図１２ＢのステップＳ１１９の判断の結果、音声認識部１８０において「連続／一定」の音声が認識された場合には（Ｓ１１９／ＹＥＳ）、図１２ＢのステップＳ１２０に進む。
図１２ＢのステップＳ１２０に進むと、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対する医用画像２６０の表示を、指示された連続または一定で変更する制御を行う。その後、図１２ＢのステップＳ１０８に戻る。

【0074】

一方、図１２ＢのステップＳ１１９の判断の結果、音声認識部１８０において「連続／一定」の音声が認識されていない場合には（Ｓ１１９／ＮＯ）、図１２ＢのステップＳ１２１に進む。
図１２ＢのステップＳ１２１に進むと、表示制御部１４０は、音声認識部１８０において「ストップ」の音声が認識されたか否かを判断する。

【0075】

図１２ＢのステップＳ１２１の判断の結果、音声認識部１８０において「ストップ」の音声が認識された場合には（Ｓ１２１／ＹＥＳ）、図１２ＢのステップＳ１２２に進む。
図１２ＢのステップＳ１２２に進むと、表示制御部１４０は、術者用表示部１５０の画像表示領域１５１０（連動表示される補助者用表示部１６０の画像表示領域１６１０も同様）に対して医用画像２６０を停止表示する制御を行う。その後、図１２ＢのステップＳ１０８に戻る。

【0076】

一方、図１２ＢのステップＳ１２１の判断の結果、音声認識部１８０において「ストップ」の音声が認識されていない場合には（Ｓ１２１／ＮＯ）、図１２ＢのステップＳ１２３に進む。
図１２ＢのステップＳ１２３に進むと、表示制御部１４０は、例えば補助者用表示部１６０の操作入力部１６１から入力された情報に基づいて、医療デバイスを用いた血管の手術を終了するか否かを判断する。

【0077】

図１２ＢのステップＳ１２３の判断の結果、医療デバイスを用いた血管の手術を終了しない場合には（Ｓ１２３／ＮＯ）、図１２ＢのステップＳ１０８に戻る。

【0078】

一方、図１２ＢのステップＳ１２３の判断の結果、医療デバイスを用いた血管の手術を終了する場合には（Ｓ１２３／ＹＥＳ）、例えば表示制御部１４０は、画像処理部１３０の処理を終了するとともに手領域撮影部１７０による撮影及び音声認識部１８０による音声認識を終了して、図１２Ａ及び図１２Ｂに示すフローチャートの処理を終了する。

【0079】

以上説明した本発明の実施形態に係る医用画像処理装置１００では、取得部１３１は、手術を行う前の術前の血管の３次元形状を含む術前３次元血管画像２１０と、手術の最中のＸ線透視画像である術中Ｘ線透視画像２２０を取得するようにしている。そして、表示制御部１４０は、取得部１３１で取得した術前３次元血管画像２１０及び術中Ｘ線透視画像２２０を用いて生成された画像であって、血管の３次元形状及び医療デバイスの３次元形状を含む医用画像２６０を、術者用表示部１５０に表示する制御を行うようにしている。
かかる構成によれば、術者用表示部１５０に３次元画像である医用画像２６０を表示するようにしたため、例えば術者用表示部１５０に２次元画像を表示する場合と比較して、より精密な情報を術者３１０に提供することができ、その結果、術者３１０が医療デバイスを用いた血管の手術を行う際に、より安全に手術を行うことができる。

【0080】

さらに、本発明の実施形態に係る医用画像処理装置１００では、表示制御部１４０は、手領域撮影部１７０で撮影された術者３１０の手３１１の動きまたは音声認識部１８０で認識された術者３１０の音声に基づいて、術者用表示部１５０に対する医用画像２６０の表示を変更する制御を行うようにしている。
かかる構成によれば、術者３１０の手３１１の動きまたは音声認識部１８０で認識された術者３１０の音声に基づいて術者用表示部１５０に対する医用画像２６０の表示を変更するようにしたため、例えば術者３１０が口頭で補助者３２０に表示変更を指示して補助者３２０が術者用表示部１５０に表示されている医用画像２６０の表示を変更する場合と比較して、術者３１０が意図した通りに医用画像２６０の表示を変更することができ、その結果、効率的な手術を行うことができる。

【0081】

（その他の実施形態）
上述した本発明の実施形態では、術者３１０が血管の手術を行う際に用いる医療デバイス２２１１として、血管の動脈瘤に対するコイル塞栓術で用いるコイルを適用した例を示したが、本発明においてはこれに限定されるものではなく、例えばステント等の他の医療デバイスを適用することも、本発明に含まれる。

【0082】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

【0083】

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0084】

１００：医用画像処理装置、１１０：入力部、１２０：入力部、１３０：画像処理部、１３１：取得部、１３２：擬似撮影処理部、１３３：血管３次元化処理部、１３４：デバイス３次元化処理部、１３５：合成部、１４０：表示制御部、１４１：記憶部、１４２：処理部、１５０：術者用表示部、１６０：補助者用表示部、１６１：操作入力部、１７０：手領域撮影部、１８０：音声認識部、１９０：ＸＲ表示部、２１０：術前３次元血管画像、２２０：術中Ｘ線透視画像、２２１：第１の術中Ｘ線透視画像、２２２：第２の術中Ｘ線透視画像、２３０：術前擬似２次元血管画像、２４０：術中擬似３次元血管画像、２５０：３次元医療デバイス画像、２６０：医用画像、３１０：術者、３１１：術者の手、３２０：補助者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】