特許 7545135 手術工程同定システム、手術工程同定方法および手術工程同定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-27

(45)【発行日】2024-09-04

(54)【発明の名称】手術工程同定システム、手術工程同定方法および手術工程同定プログラム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20240828BHJP

【ＦＩ】

A61B34/10

【請求項の数】 16

(21)【出願番号】P 2020002947

(22)【出願日】2020-01-10

(65)【公開番号】P2021108966

(43)【公開日】2021-08-02

【審査請求日】2022-12-12

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度総務省「合併症予測型脳神経外科手術用ナビゲーションシステムと術中情報共有システムに関する研究開発」委託研究 産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】508236240

【氏名又は名称】公立大学法人公立はこだて未来大学

(73)【特許権者】

【識別番号】591173198

【氏名又は名称】学校法人東京女子医科大学

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】佐藤 生馬

(72)【発明者】

【氏名】藤野 雄一

(72)【発明者】

【氏名】南部 優太

(72)【発明者】

【氏名】村垣 善浩

(72)【発明者】

【氏名】正宗 賢

(72)【発明者】

【氏名】田村 学

【審査官】和田 将彦

(56)【参考文献】

【文献】特開２００４－１４１２６９（ＪＰ，Ａ）

【文献】特開２０１０－０５１６１５（ＪＰ，Ａ）

【文献】特許第６６２６５４９（ＪＰ，Ｂ１）

【文献】特表２０１６－５１７２８８（ＪＰ，Ａ）

【文献】永井 智大，外６名，覚醒下脳腫瘍摘出術における機械学習を用いた手術工程同定手法の提案，日本コンピュータ外科学会誌，2018年10月26日，第２０巻，第４号，第２４５－２４６ページ

【文献】永井 智大，術前・術中情報を用いた覚醒下脳腫瘍摘出術における手術工程同定手法の提案，ライフサポート，2017年，第２９巻，第１号，第２４ページ

【文献】永井 智大，覚醒下脳腫瘍摘出術におけるリアルタイム手術工程同定システム，ライフサポート，2019年，第３１巻、第１号，第２１ページ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／００ － ３４／１０

医中誌ＷＥＢ

(57)【特許請求の範囲】

【請求項1】

脳腫瘍摘出手術の手術工程を同定する手術工程同定システムであって、
術中ＭＲＩ画像取得部と、
術具ログ取得部と、
手術顕微鏡画像取得部と、
手術工程同定部と、
ＤＴＩ情報・脳溝情報生成部と、
表示部と、を備え、
前記手術工程同定部は、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行い、前記術中ＭＲＩ画像取得部が取得した術中ＭＲＩ画像、前記術具ログ取得部が取得した術具ログおよび前記手術顕微鏡画像取得部が取得した手術顕微鏡画像が入力されると、手術工程を出力し、
前記ＤＴＩ情報・脳溝情報生成部は、術前に取得したＤＴＩおよび脳溝に関する情報を術中ＭＲＩに非線形に変形して患者のＤＴＩ情報と脳溝情報を生成し、
前記表示部は、前記手術工程同定部が同定した手術工程と、前記ＤＴＩ情報・脳溝情報生成部が生成したＤＴＩ情報と脳溝情報を表示し、
前記術中ＭＲＩ画像により、脳の開頭後によるブレインシフト後の脳の構造情報を取得することを特徴とする手術工程同定システム。

【請求項2】

前記術具ログ取得部は、外部の手術ナビゲーションシステムから術具ログを取得し、
前記手術ナビゲーションシステムは、前記術中ＭＲＩ画像のボリュームデータを用いて、術具の先端が位置する３断面を表示し、医師に術具の正確な位置を呈示することを特徴とする請求項１に記載の手術工程同定システム。

【請求項3】

前記手術顕微鏡画像は、脳の開頭部が映った画像であって、術具、腫瘍の位置または血管の情報を含み、開頭後から腫瘍切除までの手術の流れが記録されたものであることを特徴とする請求項１に記載の手術工程同定システム。

【請求項4】

前記機械学習は、
ステップ１：術中ＭＲＩ画像と術具ログを用いた術具の種類および術中処置箇所の取得、
ステップ２：手術顕微鏡画像を用いた術具の種類の取得、および
ステップ３：取得した情報による手術工程同定
の少なくとも３つのステップから構成されることを特徴とする請求項１に記載の手術工程同定システム。

【請求項5】

前記脳腫瘍摘出手術は覚醒下脳腫瘍摘出手術であることを特徴とする請求項１に記載の手術工程同定システム。

【請求項6】

音声情報取得部をさらに備え、
前記手術工程同定部は、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像、音声情報および手術工程を教師データとして機械学習を行い、前記術中ＭＲＩ画像取得部が取得した術中ＭＲＩ画像、前記術具ログ取得部が取得した術具ログ、前記手術顕微鏡画像取得部が取得した手術顕微鏡画像および前記音声情報取得部が取得した音声情報が入力されると、手術工程を出力することを特徴とする請求項５に記載の手術工程同定システム。

【請求項7】

前記機械学習はＨＭＭに基づくことを特徴とする請求項１から６のいずれかに記載の手術工程同定システム。

【請求項8】

脳機能位置推定部をさらに備えることを特徴とする請求項１から７のいずれかに記載の手術工程同定システム。

【請求項9】

入力部と出力部とを備えたコンピュータによって実行される、脳腫瘍摘出手術の手術工程を同定する手術工程同定方法であって、
術中ＭＲＩ画像により、脳の開頭後によるブレインシフト後の脳の構造情報を取得するステップと、
術中ＭＲＩ画像を入力するステップと、
術具ログ入力するステップと、
手術顕微鏡画像を入力するステップと、
術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行い、入力された術中ＭＲＩ画像、入力された術具ログおよび入力された手術顕微鏡画像から手術工程を出力する手術工程同定ステップと、
ＤＴＩ情報・脳溝情報を生成するステップと、
表示ステップと、
を備え、
前記ＤＴＩ情報・脳溝情報を生成するステップは、術前に取得したＤＴＩおよび脳溝に関する情報を術中ＭＲＩに非線形に変形して患者のＤＴＩ情報と脳溝情報を生成し、
前記表示ステップは、手術工程と、前記ＤＴＩ情報・脳溝情報を生成するステップで生成したＤＴＩ情報および脳溝情報と、を表示することを特徴とする手術工程同定方法。

【請求項10】

前記術具ログ入力するステップは、外部の手術ナビゲーションシステムから取得した術具ログを入力し、
前記手術ナビゲーションシステムは、前記術中ＭＲＩ画像のボリュームデータを用いて、術具の先端が位置する３断面を表示し、医師に術具の正確な位置を呈示することを特徴とする請求項９に記載の手術工程同定方法。

【請求項11】

前記手術顕微鏡画像は、脳の開頭部が映った画像であって、術具、腫瘍の位置または血管の情報を含み、開頭後から腫瘍切除までの手術の流れが記録されたものであることを特徴とする請求項９に記載の手術工程同定方法。

【請求項12】

前記機械学習は、
ステップ１：術中ＭＲＩ画像と術具ログを用いた術具の種類および術中処置箇所の取得、
ステップ２：手術顕微鏡画像を用いた術具の種類の取得、および
ステップ３：取得した情報による手術工程同定
の少なくとも３つのステップから構成されることを特徴とする請求項９に記載の手術工程同定方法。

【請求項13】

入力部と出力部とを備えたコンピュータに処理を実行させる、脳腫瘍摘出手術の手術工程を同定する手術工程同定プログラムであって、
術中ＭＲＩ画像により、脳の開頭後によるブレインシフト後の脳の構造情報を取得するステップと、
術中ＭＲＩ画像を入力するステップと、
術具ログ入力するステップと、
手術顕微鏡画像を入力するステップと、
術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行い、入力された術中ＭＲＩ画像、入力された術具ログおよび入力された手術顕微鏡画像から手術工程を出力する手術工程同定ステップと、
ＤＴＩ情報・脳溝情報を生成するステップと、
表示ステップと、
をコンピュータに実行させ、
前記ＤＴＩ情報・脳溝情報を生成するステップは、術前に取得したＤＴＩおよび脳溝に関する情報を術中ＭＲＩに非線形に変形して患者のＤＴＩ情報と脳溝情報を生成し、
前記表示ステップは、手術工程と、前記ＤＴＩ情報・脳溝情報を生成するステップで生成したＤＴＩ情報および脳溝情報と、を表示することを特徴とする手術工程同定プログラム。

【請求項14】

前記術具ログ入力するステップは、外部の手術ナビゲーションシステムから取得した術具ログを入力し、
前記手術ナビゲーションシステムは、前記術中ＭＲＩ画像のボリュームデータを用いて、術具の先端が位置する３断面を表示し、医師に術具の正確な位置を呈示することを特徴とする請求項１３に記載の手術工程同定プログラム。

【請求項15】

前記手術顕微鏡画像は、脳の開頭部が映った画像であって、術具、腫瘍の位置または血管の情報を含み、開頭後から腫瘍切除までの手術の流れが記録されたものであることを特徴とする請求項１３に記載の手術工程同定プログラム。

【請求項16】

前記機械学習は、
ステップ１：術中ＭＲＩ画像と術具ログを用いた術具の種類および術中処置箇所の取得、
ステップ２：手術顕微鏡画像を用いた術具の種類の取得、および
ステップ３：取得した情報による手術工程同定
の少なくとも３つのステップから構成されることを特徴とする請求項１３に記載の手術工程同定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術工程同定システム、手術工程同定方法および手術工程同定プログラムに関する。

【背景技術】

【0002】

脳腫瘍摘出手術の術後生存率向上を目的として、術中ＭＲＩ、手術ナビゲーションシステム、手術顕微鏡などの高度医療機器を導入したインテリジェント手術室が構築されている（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Iseki, H., et al., Advanced computer-aided intraoperative technologies for information-guided surgical management of gliomas: Tokyo Women's Medical University experience. Minim Invasive Neurosurg, 2008. 51（5）: p. 285-91.

【文献】Nakamura R, Aizawa T, Muragaki Y, Maruyama T, Iseki H. Automatic Surgical Workflow Estimation Method for Brain Tumor Resection Using Surgical Navigation Information. J. Robot. Mechatron. 2012: 24（5） 791-801.

【文献】Panzner M, Cimiano P. Comparing Hidden Markov Models and Long Short Term Memory Neural Networks for Learning Action Representations. International Workshop on Machine Learning, Optimization, and Big Data. 2016:10122 99-105.

【文献】Y. Liu, A. Kot, F. Drakopoulos, C. Yao, A. Fedorov, A. Enquobahrie, O. Clatz and N. P. Chrisochoides, "An ITK implementation of a physics-based non-rigid registration method for brain deformation in image-guided neurosurgery," Fontiers Neurinfomation. (2014).

【発明の概要】

【発明が解決しようとする課題】

【0004】

脳腫瘍摘出手術では、最大限の腫瘍摘出と最小限の術後合併症が望まれる。特に覚醒下脳腫瘍摘出術は最大限の腫瘍摘出と最小限の術後合併症に資する一方、腫瘍摘出工程中に脳機能を同定しながら手術を行わなければならないという特徴がある。このため、手術工程の遷移先が複数存在するとともに、これらの工程を何度も繰り返すことになる。執刀医は、これらの工程とその流れをすべて把握している必要がある。従来、こうした高度な手術工程の把握は、熟練医の手技や暗黙知に依存するものであった。このため、若手医師や経験の浅い手術スタッフが手術工程を把握し、手術の流れを予測することは困難であった。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、脳腫瘍摘出手術の手術工程を自動的に同定し、その情報を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の手術工程同定システムは、脳腫瘍摘出手術の手術工程を同定する手術工程同定システムであって、術中ＭＲＩ画像取得部と、術具ログ取得部と、手術顕微鏡画像取得部と、手術工程同定部と、を備える。手術工程同定部は、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行い、術中ＭＲＩ画像取得部が取得した術中ＭＲＩ画像、術具ログ取得部が取得した術具ログおよび手術顕微鏡画像取得部が取得した手術顕微鏡画像が入力されると、手術工程を出力する。

【0007】

本発明の別の態様は、手術工程同定方法である。この方法は、入力部と出力部とを備えたコンピュータによって実行される、脳腫瘍摘出手術の手術工程を同定する手術工程同定方法であって、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行うステップと、術中ＭＲＩ画像を入力するステップと、術具ログ入力するステップと、手術顕微鏡画像を入力するステップと、手術工程を同定して出力する手術工程同定ステップと、を備える。

【0008】

本発明のさらに別の態様は、手術工程同定プログラムである。このプログラムは、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行うステップと、術中ＭＲＩ画像を入力するステップと、術具ログ入力するステップと、手術顕微鏡画像を入力するステップと、手術工程を同定して出力するステップと、をコンピュータに実行させる。

【0009】

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によれば、脳腫瘍摘出手術の手術工程を自動的に同定することができる。

【図面の簡単な説明】

【0011】

【図1】階層化した手術工程を示す図である。

【図2】図１の手術工程の遷移モデルを示す図である。

【図3】第１の実施の形態に係る手術工程同定システムの機能ブロック図である。

【図4】第２の実施の形態に係る手術工程同定方法の処理を示すフローチャートである。

【図5】第４の実施の形態に係る手術工程同定システムの機能ブロック図である。

【図6】第５の実施の形態に係る手術工程同定システムの機能ブロック図である。

【図7】第６の実施の形態に係る手術工程同定システムの機能ブロック図を示す

【発明を実施するための形態】

【0012】

以下、本発明を好適な実施の形態をもとに各図面を参照しながら説明する。実施の形態および変形例では、同一または同等の構成要素、部品には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部品の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない要素の一部は省略して表示する。また、第１、第２などの序数を含む用語は多様な構成要素を説明するために用いられるが、この用語は１つの構成要素を他の構成要素から区別する目的でのみ用いられ、この用語によって構成要素が限定されるものではない。

【0013】

具体的な実施の形態を説明する前に、基礎的な知見を説明する。脳腫瘍摘出手術では、摘出率と生存期間との間に正の相関関係があることから、最大摘出が理想とされる。一方、言語や運動機能に関わるＥｌｏｑｕｅｎｔ領域に隣接する腫瘍摘出では、過度に積極的な摘出を行うと、マヒや失語症といった術後合併症を発症するおそれがある。従って患者の予後を考慮するにあたっては、最大限の腫瘍摘出と最小限の術後合併症とすることが望ましい。このためには、患者ごとに異なる腫瘍の位置や大きさ、脳の構造や機能の位置を正確に確認する必要がある。これを実現するための設備として、インテリジェント手術室が構築されている。インテリジェント手術室は、「オープンＭＲＩ」「手術ナビゲーションシステム」「手術顕微鏡」などの高度医療機器を導入した手術室である。これらの医療機器が取得したデータが手術室内ＬＡＮ経由でサーバに送信されることにより、術中の情報を記録することができる。すなわち、過去の手術における術具の動きや動画を蓄積することが可能である。以下、インテリジェント手術室に設置される高度医療機器について説明する。

【0014】

［オープンＭＲＩ］
オープンＭＲＩは、開放型・低磁場のＭＲＩ撮像器である。従来の脳腫瘍摘出手術では、手術前に撮像したＭＲＩ画像をもとに開頭部位を確認し、腫瘍摘出後、再度ＭＲＩを撮像することで残存腫瘍を確認する、といった手順が取られていた。しかしながら腫瘍摘出のために脳を開頭すると、髄液の漏洩や圧力の変化に伴い脳の形状が変化するブレインシフトと呼ばれる現象が発生する。ブレインシフトが起こると、術前に撮像されたＭＲＩにおける脳の形状と、処置を行う脳の形状とが異なるという問題が発生する。これに対し、開放型のＭＲＩ撮像器であるオープンＭＲＩは、開頭後の変形した脳を術中に撮像することを可能とする。これにより、変形後の脳の形状と腫瘍摘出後の残存腫瘍の確認が可能となる。

【0015】

［手術ナビゲーションシステム］
手術ナビゲーションシステムは、術中ＭＲＩ上に術具の３次元位置を表示することで、術具と脳との相対位置関係を呈示することのできるシステムである。現在主流となっている手術ナビゲーションシステムは、赤外線ステレオカメラと反射球を用いて術具の３次元位置を取得する。ここで得られた３次元位置をオープンＭＲＩで撮像された術中ＭＲＩ上に表示することで、術中の脳と術具の相対位置関係を可視化することができる。

【0016】

［手術顕微鏡］
手術顕微鏡は、術野を細部まで鮮明に映しだす手術専用の顕微鏡である。脳神経外科では、繊細な処置が要求されるため術野を拡大観察して手術することが多く、手術顕微鏡は多くの脳腫瘍摘出術で用いられる。手術顕微鏡には精密さが要求されるため、高解像度であり、かつ視野を明瞭にする補助システムが搭載されている。また手術顕微鏡で撮影した画像は動画として記録される。手術顕微鏡には光線力学的療法に用いられるレーザー照射機能を持つものもある。

【0017】

［覚醒下脳腫瘍摘出手術］
次に、脳腫瘍摘出手術において実行される覚醒下脳腫瘍摘出手術について説明する。覚醒下脳腫瘍摘出術は、開頭後に患者を麻酔状態から覚まし、脳に電気刺激を与えて脳機能位置を確認しながら脳腫瘍の摘出を行う手術である。前述のように、Ｅｌｏｑｕｅｎｔ領域に隣接する腫瘍摘出の場合、正常組織が損傷されることにより術後合併症が発症する恐れがある。術後合併症の発生を低下させるため、執刀医は術中に患者の脳機能局在を得る必要がある。このため、インテリジェント手術では、覚醒下開頭術と呼ばれる術式が導入されている。これは、脳の開頭後、術中に患者を麻酔から覚まし、患者にタスクを与えたり、手足を動かしてもらいながら手術を行う。一例として、言語野に腫瘍がある手術において、熟練医との会話や患者に見えるモニタにイラスト（馬や鉛筆、漢字文字、ひらがな文字、動詞生成）を表示し、何が映っているかを答えてもらう言語タスクがある。これらのタスク中に電気刺激を行うことにより、患者の脳機能の局在を調査することができる。すなわち、言語タスク中に電気刺激を与えることで、患者が間違った回答や失語を発生する陰性反応が起こった場所を脳機能局在として記録する。このように、術中に患者を覚醒させて電気刺激を与えることで、患者ごとの脳機能を調査することができる。これにより、脳機能を考慮した腫瘍摘出を実現できる。

【0018】

前述のように覚醒下脳腫瘍摘出手術は、非常に有用である一方、高度で複雑である。特にこの手術は、手術工程の遷移先が複数存在するとともに、これらの工程が何回も繰り返すという特徴を持つ。執刀医は、これらの工程とその流れをすべて把握している必要がある。しかしながらこうした手術工程は、症例ごとにその流れや時間が異なり、体系的な予測は困難である。従来こうした手術工程や流れは、熟練医の頭の中で最適化され、その知識や経験により判断されるものであった。

【0019】

一般に執刀医は、複雑な手術を最適化するために、症例ごとに手術工程の順序や、工程における手技を変化させる。しかし手術の複雑さに起因して、ときに必要な手術工程のステップを飛ばしてしまうといったリスクがある。このため執刀医に対して、複雑な手術のを最適化するための支援が必要となる。執刀医の手術を支援するために、例えば手術室外にいる他の熟練医が、手術室内に設置されたビデオカメラや術野の画像から遠隔で術中の状況を把握し支援する環境が構築されている。しかし、このような遠隔地からの手術支援は、多くの人手と労力を必要とする。また、若手医師や経験の浅い手術スタッフは、現在の手術工程や、これから行われる執刀医の手技を把握し予測することは困難である。ベテランの手術スタッフであれば、術中の状況をおおむね予測しながら、術野などが写されたモニタを確認し、必要とされる器具を準備し執刀医に手渡すことができる。ベテランスタッフは、術中の状況を画像等で理解し、スムーズな手術運用が行えるからである。これに対し、若手医師や経験の浅い手術スタッフの場合、モニタに映る術野の画像などを閲覧するだけで術中の状況を予測し理解することは難しい。彼らが術中の状況を把握するために、逐次コミュニケーションをとったり、画像を見続けたりすることは効率的ではない。

【0020】

以上のことから、脳腫瘍摘出手術、特に覚醒下脳腫瘍摘出手術のような高度手術においては、術中の状況をリアルタイムに把握し、手術工程を自動的に同定することが強く求められる。

【0021】

［手術工程の定義］
手術工程を自動的に同定するためには、予め手術工程を定義しておく必要がある。ここでは一例として、覚醒下脳腫瘍摘出術において熟練執刀医が行う、ＭＲＩ撮像後の摘出前処置を開始時点とし、腫瘍摘出後に再度ＭＲＩを撮像する前までを終了時点とする時間範囲の手術工程について説明する。手術工程の定義は、過去に取得されたＧｒａｄｅＩＩとＧｒａｄｅＩＩＩの臨床データ（術前・術中ＭＲＩ画像，手術ナビゲーションシステムログ、手術顕微鏡画像）を用いて、臨床医とともに行う。はじめに、手術工程の定義として、執刀医が、「何の」術具を用いて、「どの」部分の外科的処置を、「いつ」行ったのかを要素とする。次に、手術工程の要素の具体的な情報を決定する。臨床データ（例えば１０症例）を用いて、術中に使用する術具の種類（バイポーラ、電気刺激プローブ、剪刀）と、その処置位置（脳表面、腫瘍内部、正常組織、術野外）とを時間軸に沿って１秒ごとに記録する。記録方法としては、術中ＭＲＩ画像と手術ナビゲーションシステムログを３Ｄ Ｓｌｉｃｅｒに読み込ませることで、術中ＭＲＩ画像上の術具先端位置から処置位置を決定する。同時に、手術顕微鏡画像から使用する術具の種類（バイポーラ、電気刺激プローブ、剪刀）を目視にて確認し記録する。最後に、記録した情報をもとに、ＭＲＩ撮像後から腫瘍摘出が終了するまでの手術工程を臨床医とともに定義する。

【0022】

このようにして定義した１２種類の手術工程は、以下のようになる。
Ｐ１：機器セッティング
Ｐ２：ナビによる腫瘍位置確認
Ｐ３：皮質マッピング
Ｐ４：痙攣波への対処および機能野のマーキング（皮質）
Ｐ５：皮質凝固
Ｐ６：くも膜切開および病理切片の採取
Ｐ７：静脈剥離，脳溝剥離
Ｐ８：皮質切開および動脈クリッピング
Ｐ９：白質切開および腫瘍吸引、摘出
Ｐ１０：白質マッピング時の脳機能位置確認と切除ライン判断（白質時の脳機能確認）
Ｐ１１：痙攣波への対処および機能野のマーキング（白質）
Ｐ１２：病理切片の採取
以下、これらの手術工程の内容を説明する。ただしＰ１１、Ｐ１２については、皮質時と同様であるため、説明を省略する。

【0023】

（Ｐ１：機器セッティング）
脳腫瘍摘出術をはじめとする顕微鏡手術を行う上で，快適に手術操作を行える環境を整える工程である。ここで執刀医は、自身が最も快適に手術操作を行える術野の範囲や倍率および角度といったパラメータのセッティングを行う。また、手術中に用いるナビゲーションシステムの座標系と実空間の座標系の較正もこの工程で行う。

【0024】

（Ｐ２：ナビによる腫瘍位置確認）
機器セッティングにて較正されたナビゲーションシステムにより、詳細な腫瘍位置を確認する工程である。これにより、腫瘍、錐体路、血管、脳溝の解剖学的な位置関係が把握可能となり、摘出範囲や体位、頭位と腫瘍へのアプローチが定められる。

【0025】

（Ｐ３：皮質マッピング）
皮質マッピングでは、術具先端位置確認後に、電気刺激装置（電極）によって脳表面上に電気刺激が与えられ、患者の詳細な脳機能が特定される。皮質マッピングは、脳腫瘍が言語野や運動野にあり、患者が覚醒下状態である覚醒下脳腫瘍摘出時である場合に実施される。皮質マッピングの実施内容として、詳細な脳機能の部分を特定するために、患者に言語活動をさせながら脳表面上に電気刺激を行うものがある。電気刺激に用いる電極は、フォーク型の先端が２つある（先端と先端の間は１０ｍｍ程度）器具を用いる。一方の先端から電流が流れ出し、他方の先端から電流を吸収する。電流を流した脳表面の近くにある脳機能の信号には阻害が発生する。もし電極を流した部分に詳細な脳機能が存在した場合、言語活動に障害が発生する。この処理を脳表面の複数の箇所にて実施することで、詳細な脳機能の位置が特定される。皮質マッピングの流れは、はじめに脳表面全体に弱い電気刺激（２Ｖ）を与える。その後、言語活動に障害があった場所に再度電気刺激を行う。このときの電気刺激の大きさは、熟練の熟練医の知識や経験によって異なる。以上の工程を実施した後、腫瘍摘出のアプローチを確定させ腫瘍摘出に移る。

【0026】

（Ｐ４：痙攣波への対処および機能野のマーキング（皮質））
皮質マッピング時の脳機能確認では、いったん電極を脳表から外し、脳機能があるとされる部分へのマーキングや、脳表面に食塩水をかけるなどの処理を行う。皮質時の脳機能確認では、皮質マッピング時に言語活動に障害が発生した場合や電気刺激を複数回与えた場合に行われる。皮質マッピングによって、脳表面が熱くなったり、電気刺激によって脳の活動に影響が与えられる可能性がある。そのため、皮質マッピングの間に複数回、脳機能があるとされる部分の確認や、食塩水を脳表に与え冷却する処置が反復して行われる。

【0027】

（Ｐ５：皮質凝固）
凝固は、脳表面の薄い膜に存在する細い血管を凝固処置するために実施する。凝固処置は、術具であるバイポーラを使用して、電気により血管を他と切断し焼く止血処置を行う。この処置は、脳表面からの出血を防ぐことを目的とし、腫瘍切除のアプローチ箇所に対して行う。脳表面上の太い血管の場合、血管の切断を行うことで術後合併症のリスクが高まるため、凝固処置の多くは太い血管から伸びる細い血管に対して行われる。

【0028】

（Ｐ６：くも膜切開および病理切片の採取）
くも膜とは、脳脊髄を覆う３層の髄膜のうち、２層目にあたるものである。３層目の軟膜と小柱とよばれる繊維の束でつながっているため、腫瘍へアプローチするために剪刀を用いて切開する。この際、血管を傷つけないよう鉗子を用いてくも膜をつかみ、適度にテンションを与えることで隣接する血管から剥離し、くも膜のみを切開する。また、鉗子を用いて腫瘍の病理切片の採取することで、組成を分析することが可能となり適切な処置の選択につながる。切開は、脳表面の薄い膜を開け、脳と腫瘍を露出させるために実施する。脳膜切開の処置内容は、術具である剪刃を使用して、凝固により止血された脳表面の薄い膜を切開する。切開は、太い血管を傷つけないように避けながら行われ、腫瘍と正常組織の間に近い部分にて行われる。

【0029】

（Ｐ７：静脈剥離，脳溝剥離）
腫瘍剥離は、脳膜切開後の部分を拠点に、腫瘍を切り取る処置である。術者は、予め術前にプランニングされた摘出ラインや、患者ごとに詳細に特定した脳機能位置から、切除するラインを決定する。決定後、腫瘍の状態から脳の溝である脳溝から腫瘍を摘出するアプローチをとる。また、腫瘍が大きく膨れ上がっている場合には、腫瘍の中心からアプローチをかけ、腫瘍内部の減圧を行った後腫瘍切除を行う。腫瘍切除には、術具であるバイポーラや綿片、吸引管を用いる。術者は、バイポーラに取り付けられた３次元位置計測装置により手術ナビゲーションシステムに表示される先端位置を確認しながら、太い血管を避けた腫瘍と正常組織の切除を行う。また、手術中での出血には、出血箇所の確認として綿片を用いたり、腫瘍の切れ端と出血を外に出すだめの吸引管を用いたりすることで対処する。腫瘍切除の際は、助手や看護師は患者の状態を確認しながら摘出を行うモニタリングを行う場合もある。モニタリングは、覚醒している患者と助手が対話しながら腫瘍の摘出を続ける。これにより、腫瘍摘出時患者との対話が続かないことや、言語障害が発生したことを検知できる。

【0030】

（Ｐ８：皮質切開および動脈クリッピング）
腫瘍を摘出する上で、脳溝、脳裂を分けて皮質を切開する。また、腫瘍近くにある動脈や腫瘍に栄養を与える動脈をクリッピングして切断する。皮質マッピングでは、バイポーラを用いながら、腫瘍の脳溝に沿って腫瘍へ侵入する。また、腫瘍に栄養を与える血管が存在するため、動脈を切断する必要がある。一般的に脳溝、脳裂に動脈血管が走行していることから、脳溝を剥離すると同時に血管が空中に浮遊し、動脈を切除する。

【0031】

（Ｐ９：白質切開および腫瘍吸引、摘出）
白質マッピングは、腫瘍切除の際に、脳機能確認を再度脳の中から行う処置である。腫瘍切除時に皮質マッピング工程において脳機能位置がある場所近くに差し掛かった場合、腫瘍の切除ラインを決定するため、電気刺激による脳機能の確認を行う。脳機能の確認後、最小限の術後合併症と最大限の腫瘍摘出を目指し、術者の知識と経験にもとづいた判断により腫瘍の摘出を行う。

【0032】

（Ｐ１０：白質マッピング時の脳機能位置確認と切除ライン判断（白質時の脳機能確認））
白質時の脳機能確認では、皮質マッピング時と同様の工程を脳の中に対して実施する。白質時の脳機能位置確認では、出血している可能性があるため、吸引管を用いて血を取り除く処置や流水を行う。

【0033】

［手術工程モデル］
次に、上記で定義した手術工程をもとに、手術工程モデルを構築する。手術工程モデルは、例えば臨床的な工程遷移先を考慮した階層型モデルである。以下、３階層からなる手術工程モデルの構築の具体例を説明する。はじめに、臨床面で手術工程が戻ることのない分類を行うことで、複雑な工程を抽象化する。そのため、第１階層として、腫瘍摘出前に行う処置か、腫瘍摘出中に行う処置かに応じて２クラスに分類する。次に、第２階層として、術中での処置の目的を４クラス（摘出前準備、術中迅速診断、腫瘍摘出、摘出時での脳機能検査）で構成する。この４クラスは、第１階層のいずれかの階層の下に構築する。その後、第３階層として、１２工程を４クラスのいずれかの階層の下に構築する。例えば手術工程の１つである「くも膜の切開および病理切片の採取」は、「腫瘍摘出前」に行う「術中迅速診断」を目的とした工程である。最後に、それぞれのクラスと１２工程の遷移可能な工程を手動で記録した情報をもとに紐づけた工程遷移先を決定する。

【0034】

図１に、前述のようにして階層化した手術工程の例を示す。ここで、記号Ｐ^ｎ _ｉｊは、第１階層がｎ、第２階層がｉ、第３階層がｊの工程であることを表す。図２に、手術工程の遷移モデルの例を示す。ここで、実線の矢印は同一階層内での工程遷移を表す。点線の矢印は１段下の階層への工程遷移を表す。

【0035】

［第１の実施の形態］
図３に、第１の実施の形態に係る手術工程同定システム１００の機能ブロック図を示す。手術工程同定システム１００は、術中ＭＲＩ画像取得部１２、術具ログ取得部１３、手術顕微鏡画像取得部１４、手術工程同定部１５を備える。

【0036】

術中ＭＲＩ画像取得部１２は、外部のオープンＭＲＩ２０が撮像した術中ＭＲＩ画像を取得する。術中ＭＲＩ画像取得部１２は、取得した術中ＭＲＩ画像を手術工程同定部１５に出力する。

【0037】

術中ＭＲＩ画像により、脳の開頭後によるブレインシフト後の脳の構造情報を取得することができる。術中に取得可能な情報として、腫瘍摘出前と摘出後の２つの画像がある。脳開頭後のＭＲＩ画像から得られたブレインシフト後の脳構造情報は、手術ナビゲーションシステムなどに送られ、術具位置と合わせることにより、より精密な手術手技に必要な情報を得ることができる。また、腫瘍摘出後に撮像されたＭＲＩ画像から、腫瘍の残存がないかといった再摘出の判断に必要な情報が得られる。一方、ＭＲＩ撮像器は磁力を発生するため、同じ手術室内にある金属製品をひきつける可能性がある。このため、術前で使用する撮像器に比べて、磁場が小さいこともある。従って、脳溝といった情報を取得することが難しい画像も存在する。このように、術中ＭＲＩ画像取得部１２で得られる術中ＭＲＩ画像の情報だけでは、手術工程を同定するのに不十分な面もある。

【0038】

術具ログ取得部１３は、外部の手術ナビゲーションシステム３０から術具ログを取得する。術具ログ取得部１３は、取得した術具ログを手術工程同定部１５に出力する。

【0039】

手術ナビゲーションシステム３０は、患者の術中ＭＲＩ画像のボリュームデータを用いて、術具の先端が位置する３断面を表示することができ、熟練医に術具の正確な位置を呈示する。現状では、赤外線ステレオカメラと術具に取り付けた反射球とを用いてトラッキングされた術具の情報が、有線にて手術ナビゲーションシステム３０に送られ、術中ＭＲＩ画像上における術具位置が呈示される。トラッキングされる術具は、血管の凝固や腫瘍切除などの幅広い場面で使用されるバイポーラと、電気刺激による脳機能の判断に使用される電気刺激プローブとがある。例えば手術ナビゲーションシステム３０の使用時、人がカメラと術具の間に立ったり、術具に取り付けた反射球がナビゲーションと反対方向を向いたしたときは遮蔽問題が発生し、その時間の術具のログは欠損する。また、手術ナビゲーションシステム３０で情報が取得される術具は、前述のバイポーラや電気刺激プローブに限られる。このように、手術ナビゲーションシステム３０で得られる術具ログの情報だけでは、手術工程を同定するのに不十分な面もある。

【0040】

手術顕微鏡画像取得部１４は、外部の手術顕微鏡４０から手術顕微鏡画像を取得する。手術顕微鏡画像取得部１４は、取得した手術顕微鏡画像を手術工程同定部１５に出力する。

【0041】

手術鏡画像には施術する脳の開頭部が映っており、術者が手術顕微鏡を通して見る情報を取得することができる。手術顕微鏡は脳の開頭後から使用されるため、開頭後から腫瘍切除までの手術の流れを記録する。手術顕微鏡画像から、使用する術具（手術ナビゲーションシステム３０では情報取得できない術具を含む）や、肉眼で直接見ることのできる腫瘍の位置や血管の情報を得ることが可能である。一方で、手術顕微鏡画像は、術中ＭＲＩ画像に比べて情報量に劣るため、脳の構造などを把握することは難しい。このように、手術顕微鏡４０で得られる手術顕微鏡画像の情報だけでは、手術工程を同定するのに不十分な面もある。

【0042】

手術工程同定部１５には、術中ＭＲＩ画像取得部１２からの術中ＭＲＩ画像、術具ログ取得部１３からの術具ログ、手術顕微鏡画像取得部１４からの手術顕微鏡画像がそれぞれ入力される。これらの情報が入力されると、手術工程同定部１５は手術工程を出力する。

【0043】

手術工程同定部１５は、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行い、術中ＭＲＩ画像取得部１２が取得した術中ＭＲＩ画像、術具ログ取得部１３が取得した術具ログおよび手術顕微鏡画像取得部１４が取得した手術顕微鏡画像が入力されると、手術工程を出力する。以下、この機械学習のプロセスを具体的に説明する。

【0044】

手術工程を同定するための機械学習は、ステップ１～ステップ３の３ステップから構成される。
ステップ１：術中ＭＲＩ画像と術具ログを用いた術具の種類および術中処置箇所の取得
ステップ２：手術顕微鏡画像を用いた術具の種類の取得
ステップ３：取得した情報による手術工程同定
腫瘍摘出中に手術ナビゲーションシステム３０と手術顕微鏡４０から取得した情報は、手術工程同定システム１００の内部にデータとしてスタックされる。同定処理は例えば１秒ごとに行われ、はじめにスタックされたデータを用いてマルチスレッドでステップ１およびステップ２の処理が行われる。なお、術具ログが欠損した場合は、欠損する１秒前にストックしたデータを使用する。ステップ１およびステップ２の両方が完了するまで、ステップ３は実行されない。ステップ１およびステップ２が完了後、ステップ３が実行され、すべてのステップが終了後、同定された手術工程が出力される。以下、各ステップの処理を具体的に説明する。

【0045】

（ステップ１：術中ＭＲＩ画像と術具ログを用いた術具の種類および術中処置箇所の取得）
このステップでは、執刀医が手術中の処置で使用した術具の種類と、当該処置箇所を画像処理によって取得する。本実施の形態で取得可能な術具の種類は、バイポーラと電気刺激プローブである。また、処置箇所として、脳領域である「脳表、腫瘍内部、正常組織部位近辺」と「術野外」の４つを定義する。取得前の処理として、脳領域を明確化させるために、術中ＭＲＩ画像から脳領域をＳＰＭ（Ｓｔａｔｉｓｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｍａｐｐｉｎｇ）によって半自動セグメンテーションを行い、各領域にラベル付けを行う。はじめに、術中ＭＲＩ画像をＳＰＭで処理することにより、脳内部の白質および灰白質の脳領域を自動でセグメンテーションする。その際のＳＰＭパラメータとして、例えば、Ｂｉａｓ ｒｅｇｕｌａｒｉｚａｔｉｏｎ：０．００１；Ａｆｆｉｎｅ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ：ＩＣＢＭ ｓｐａｃｅ ｔｅｍｐｌａｔｅ－Ｅａｓｔ Ａｓｉａｎ Ｂｒａｉｎｓを用いる。処理結果としてセグメンテーションされた白質および灰白質を正常組織としてラベル付けを行う。次に、セグメンテーションした正常脳領域の外側表面１ｍｍを脳表面とし、ラベル付けを行う。最後に、腫瘍部分とされる領域に対して手動にてセグメンテーションを行い、ラベル付けを行う。なお、これら以外の領域は術野外とする。このように、前処理では脳領域を３つに分割し、各領域を明確にするためにラベル付けしたセグメンテーション画像データを作成する。

【0046】

術中は、前処理にて生成したデータと手術ナビゲーションシステムログを用いて、３次元画像処理により時間ごとの術具の種類と処置箇所を取得する。はじめに、手術ナビゲーションシステムから術具先端位置座標データのログを取得する。次に、術中の脳領域をセグメンテーションした画像上における術具の先端座標のラベル値を探索することで、術具の処置箇所を取得する。なお、術具ログが脳領域外を指した場合は術野外とし、ログが欠損した場合はログ欠損として記録する。

【0047】

（ステップ２：手術顕微鏡画像を用いた術具の種類の取得）
このステップでは、執刀医が手術中に使用した術具の種類を深層学習によって取得する。これは、手術ナビゲーションシステムのログ情報が欠損した場合や、ログ情報に記載されていない術具が使用された場合の補間としての役割を持つ。このため本実施の形態では、主に術者が利き手で使用する３つの術具（バイポーラ、電気刺激プローブ、剪刀）の自動取得を行う。画像情報から使用する術具の種類の取得するために、物体検出手法にて高精度かつ高速である教師あり深層学習手法のＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｅｓ）を使用する。このＹＯＬＯは、画像を与えることで、予め学習した物体が映っていた場合に、この領域と物体名とが得られる。このため本システムでは、予め作成した学習データセットを用いて、３つの術具を取得可能とするＹＯＬＯニューラルネットワークを生成する。術中は、手術顕微鏡から画像を１フレームごとに取得し、ＹＯＬＯニューラルネットワークを用いて術具の種類を取得する。なお、術具が映っていないと判定した場合は何もなしとし、複数の術具が映っていた場合は同時に記録する．

【0048】

（ステップ３：取得した情報による手術工程同定）
ステップ３では、機械学習により手術工程を同定する。この手術工程同定は、時系列データから現在の工程を推定するものである。このための機械学習手法として、ＳＶＭ、ベイズ推定、ＬＳＴＭ、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）などがある。本実施の形態では、時系列推移にもとづく工程同定とリアルタイム性の２つを考慮することから、マルコフ性を持ち高速で結果の算出が可能であるＨＭＭを利用する。先行研究には、脳腫瘍摘出術を対象に手術ナビゲーションシステムログの情報を用いて摘出工程をベイズ推定による同定する手法がある（例えば、非特許文献２参照）。この先行研究の手法では、各時間の特徴量は独立であり、過去の時系列には影響されない。しかしながら、本実施の形態の対象である覚醒下脳腫瘍摘出術では、各時間の特徴量は過去の手術工程に依存して決まると仮定した。このため、ＳＶＭやベイズ推定など、時系列に関する特徴量を使用しない同定は好適ではない。よってここでは、マルコフ性を持った推定が可能なＨＭＭを採用する。なお先行研究には、ＬＳＴＭとＨＭＭとを比較した場合、ＬＳＴＭは学習データやコストにより高精度な結果を算出できる一方、高速な結果の算出にはＨＭＭが有用であるとの報告もある（例えば、非特許文献３参照）。本実施の形態では、マルコフ性を持ちかつリアルタイム性を考慮するため、ＨＭＭの手法であり、階層型のモデルに合わせてＨＨＭＭ（Ｈｉｅｒａｒｃｈｉｃａｌ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を用いる。はじめにステップ１およびステップ２で取得された情報を統合して１つの特徴量とし、１秒ごとの時系列特徴データとして値を保存する。次に、時系列ごとに並んだ特徴データを入力情報として、ＨＨＭＭにより手術工程を同定する。同定処理は、手術工程モデルで定義した第１階層から順に行い、第３階層まで実行する。同定にあたっては、計算量の低減のため、Ｖｉｔｅｒｂｉアルゴリズムを採用し、最も確率の高い手術工程を結果として算出する。

【0049】

（評価実験：手術工程同定精度）
本実施の形態で提案したシステムによる手術工程同定手法の有用性（特に使用する機械学習の性能）および術中でのリアルタイム呈示の有用性を評価することを目的として、手術工程同定精度評価と処理時間の計測を行った。

【0050】

教師あり機械学習による手術顕微鏡画像を用いて術具検出を行うための学習データセットを構築し、学習を行った。使用するデータはインテリジェント手術室から得た手術顕微鏡画像である。この画像には術中ＭＲＩ撮像後の腫瘍摘出開始から腫瘍摘出完了までが記録されている。記録されている手術顕微鏡画像は、２９．９７ｆｐｓで１９２０*１０８０ピクセルのものを用いた．

【0051】

学習データセットには、１人の術者による５症例の覚醒下脳腫瘍摘出術の術具が映った画像をフレームごとに切り出した画像を用いる。学習画像は、主に術者が使用する３つの術具（バイポーラ、電気刺激プローブ、剪刀）を対象とする。手術顕微鏡画像より、３つの術具が映る画像を１フレームごとに切り出す。学習には、学習画像に映る術具の種類と、この術具が映るエリア（座標系）とが必要である。このため、教師データとして、この画像に映る術具に対してＲＯＩ（ｘ，ｙ，ｗｉｄｔｈ，ｈｅｉｇｈｔ）を手動で指定し、ラベル付けを行った。本評価実験では、学習データセットの画像を２１６００枚（１種類７２００枚）と評価テスト用に１２０９６枚用意した。

【0052】

本評価実験では、構築したデータセットとあらかじめ定義されたＹｏｌｏアーキテクチャを用いて教師あり学習を行う。アーキテクチャはＹｏｌｏｖ ３を使用する。バッチサイズは６４とし、使用する学習画像枚数は２１６００枚を使用した。本評価実験にて、評価テスト用画像を使用してＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）とｍＡＰ（ｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ）を算出し、最も学習精度が良好であったものを学習済ネットワークとして本システムに使用した。

【0053】

（対象症例・方法）
本評価実験では、インテリジェント手術室にて覚醒下脳腫瘍摘出術が行われた３症例（ＰａｔｉｅｎｔＡ、ＰａｔｉｅｎｔＢ、ＰａｔｉｅｎｔＣ）を対象とした。この症例は、同じ熟練執刀医１名により行われた、手術工程モデルの構築および機械学習時の学習データセットの対象外の症例である。各症例で取得された術中ＭＲＩ画像（Ｔ１ ｗｅｉｇｈｔ ３Ｄ ｇｒａｄｉｅｎｔ ｅｃｈｏ； ２３０*２３０［ｍｍ］；Ｍａｔｒｉｘ ２５６*２５６；Ｔｈｉｃｋｎｅｓｓ，１．５［ｍｍ］； Ｏｒｉｅｎｔａｔｉｏｎ，Ａｘｉａｌ；Ｎｕｍｂｅｒ ｏｆ Ｓｌｉｃｅ １００）手術ナビゲーションシステムログ（Ｂｒａｉｎｌａｂシステム、２０～２５ｆｐｓ）、手術顕微鏡動画（１９２０*１０８０ｐｘ，２９．９７ｆｐｓ）を用いる。症例ごとに摘出処理時間が異なっており、出現する工程の時間や工程の発生割合は異なる。

【0054】

精度評価方法として、各症例で取得された情報（術中ＭＲＩおよび手術ナビゲーションログ＋手術顕微鏡画像）を用いた手術工程同定結果を保存したものを自動同定結果とし、人の目視による手動同定結果を用いて評価を行った。また、複数の情報を用いたことによる精度の向上を明らかとするため、術中ＭＲＩおよび手術ナビゲーションログによる自動同定を行った。人による目視では、各種情報が時間同期されたＭＲＩ画像、手術ナビゲーションシステムログおよび手術顕微鏡画像を用いて、使用する術具の位置と種類を記録した。術具の位置情報の記録には、ＭＲＩ画像と手術ナビゲーションシステムシステムログを３Ｄ Ｓｌｉｃｅｒにインプットすることで術具の先端位置を判断した。使用する術具の種類は、手術顕微鏡画像を目視にて確認した。これら記録した情報をもとに手術の時間軸に沿って１秒ごとに定義した工程のタグ付けを行った。

【0055】

処理時間の計測では、１秒ごとの同定に要する処理時間を３つの同定処理機能（ステップ１：術中ＭＲＩ画像と術具ログを用いた術具の種類および術中処置箇所の取得、ステップ２：手術顕微鏡画像を用いた術具の種類の取得、ステップ３：取得した情報による手術工程同定）ごとに計測した。処理ＰＣは、ＣＰＵ：ＩｎｔｅｌＣｏｒｅ（登録商標）ｉ７-６７００Ｋ、ＲＡＭ ３２ＧＢ（８ＧＢ*４）、ＯＳ Ｗｉｎｄｏｗｓ（登録商標） １０ Ｐｒｏ、ＧＰ：ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ（登録商標）ＧＴＸ１０８０Ｔｉを用いた。

【0056】

（手術工程同定結果）
３症例ごとの１階層目の各工程の出現時間と手術工程同定精度結果を表１、２階層目の結果を表２、３階層目の結果を表３に示す。

【表1】

【表2】

【表3】

【0057】

ＰａｔｉｅｎｔＣは、術中の白質マッピング時に患者がけいれんする問題が発生したため、手術１５分以降の１５分間に待機時間があったが、これらの状況も可視化が可能であった。症例ごとの手術ナビゲーションシステムログと手術顕微鏡動画からの術具検出ミスを互いに補完した秒数は、ＰａｔｉｅｎｔＡにおいて１１８０秒（手術全体時間の約１７％）、ＰａｔｉｅｎｔＢでは２０９０秒 （手術全体時間の約２４％）、ＰａｔｉｅｎｔＣでは５８５秒（手術全体時間の約１３％）であった。

【0058】

表１より、２工程に分類した１階層目の提案手法による同定精度は、全体で３～５分程度の同定誤差が発生し、同定精度の平均は９６．３±０．４７％の結果が得られた。これらの症例ごとの結果にばらつきは見られなかった。ＰａｔｉｅｎｔＡとＰａｔｉｅｎｔＢにおける各工程の出現総時間は、腫瘍摘出時間の方が長く。ＰａｔｉｅｎｔＣにおいては、摘出前処理と腫瘍摘出の時間が同程度だった。さらにＰａｔｉｅｎｔＣでは、皮質マッピング時に患者がけいれんするといった変化により、一時手術の進捗が止まったが、それらについてもアイドリング工程として可視化されるとともに、同定精度に影響を与えなかった。また、術中ＭＲＩおよび手術ナビゲーションログのみの同定結果では、全体で１６～２６分程度の同定誤差が発生し、平均８１．４±３．４７％の結果が得られた。これらの結果より、アイドリング工程で０．６～３．２％ほど精度が高かったが、それ以外では提案手法のほうが高精度であった。

【0059】

表２より、４工程に分類した２階層目の同定精度は、１階層目の同定結果に影響されるため、第１階層よりも誤差は大きい結果となった。提案手法による同定精度は、全体で３～６分程度の同定誤差が発生し、同定精度の平均は９５．４±０．７３％の結果が得られた。第２階層においてもＰａｔｉｅｎｔＣにおける灰白質の脳機能検査時の一時的な手術の進捗停止による影響は受けなかった。また、術中ＭＲＩおよび手術ナビゲーションログのみの同定結果では、全体で１６～２６分程度の同定誤差が発生し、平均８０．５±４．７８％の結果が得られた。これらの結果より、第１階層同様にアイドリング工程で０．７～４％ほど精度が高かったが、それ以外では提案手法のほうが高精度であった。

【0060】

最も階層が深い１２工程に分類された３階層目の同定精度は，全体で７～１０分程度の同定誤差が発生し、同定精度の平均は９２．２±１．６２％となり、症例ごとに精度のばらつきが見られた。各工程の出現時間割合は異なっており、症例によっては出現しない工程もあった、工程ごとの同定誤差においては、剪刀を用いる「くも膜切開」や「病理切片の採取」の工程の同定精度が各症例共通に低下していた。また、術中ＭＲＩおよび手術ナビゲーションログのみの同定結果では、全体で３１～４０分程度の同定誤差が発生し、平均６８．２±６．３１％の結果が得られた。これらの結果より、アイドリング工程で０．７～３．９％、ＰａｔｉｅｎｔＣのＰ^２ _１３が５．５％と精度が高かったが、それ以外では提案手法のほうが高精度であった。

【0061】

工程同定に関する深層学習を用いた術具の検出精度を表４に示す。

【表4】

【0062】

結果として、バイポーラの検出精度が最も高く、平均精度は９４．７±０．０３％となった。電気刺激プローブは６１．６±０．１２％、剪刀は６７．３±０．１２％という結果となった。なお、手術ナビゲーションシステムログのログの欠損と手術顕微鏡画像を用いた術具の検出ミスが同時に発生した秒数は、ＰａｔｉｅｎｔＡにおいて８２秒（手術全体時間の約１％）、ＰａｔｉｅｎｔＢにおいて３０３秒（手術全体時間の約３％）、ＰａｔｉｅｎｔＣにおいて４９秒（手術全体時間の約１％）となった。このことから、手術ナビゲーションシステムログと手術顕微鏡画像を同時に用いることで、手術全体の検出ミスを８%未満に防ぐことが可能となった．

【0063】

（処理計測結果）
本システムによる手術工程同処理時間算出結果は、１秒ごとの同定にあたり、３９．６±８．４３ｍｓの処理時間を要した。本手法の各プロセスの処理に要した時間は以下の通りである。
１）術中ＭＲＩ画像と手術ナビゲーションシステムログによる術具の処置箇所の抽出では、１４．９±８．７４ｍｓ
２）手術顕微鏡動画を用いた処置箇所の抽出では、２４．５９±０．９３ｍｓ
３）手術工程の同定には、０．０５±０．０１ｍｓ
このように、１秒以内に同定結果を算出することができた。

【0064】

以上の実験結果から分かるように、本手術工程同定システムの機械過学習により、手術工程を９０％以上の精度で同定することできる。従って、本機械学習において、教師データである、術中ＭＲＩ画像、術具ログおよび手術顕微鏡画像と、手術工程との間には十分な相関関係が存在すること、および本機械学習モデルが高い性能で手術工程を同定することが分かる。

【0065】

前述のように、術中ＭＲＩ画像の情報、術具ログの情報、手術顕微鏡画像の情報などは、それぞれ単体では、手術工程を同定するのに不十分な面もある。これに対し本手術工程同定システムは、これらの情報を組み合わせて教師データとすることにより、各情報の不十分な面を補い合い、高い精度での工程同定を実現している。

【0066】

以上で説明した第１の実施の形態によれば、脳腫瘍摘出手術の手術工程を自動的に同定することができる。同定した手術工程は、例えば各工程が実行された時間や手術全体の進捗率などともにモニタに表示することができる。これにより執刀医は、手術の進行状況を把握し、自分が行うべき作業の流れを確認することができる。例えば執刀医が判断に迷ったときに熟練医の助言を仰ぎたいような場合、本システムを遠隔で用いることにより、常時にモニタリングせずとも、熟練医は手術の状況と注意すべき点を簡易に確認してコメントすることができる。一方若手医師は、モニタを見ることで執刀医が行う手術の工程を把握し、例えばある手技がなぜそこで使われたかを理解することができる。また経験の浅い手術スタッフは、どの術具をいつ用意し、どのタイミングで出すかを的確に判断することができる。さらに、術後に手術内容を見直したり、手術データをまとめたりする場合などにも、本システムで同定された手術工程の記録は有用なものとなる。

【0067】

［第２の実施の形態］
図４は、第２の実施の形態に係る手術工程同定方法の処理を示すフローチャートである。この方法は、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行うステップＳ１０と、術中ＭＲＩ画像を入力するステップとＳ２０と、術具ログ入力するステップＳ３０と、手術顕微鏡画像を入力するステップＳ４０と、手術工程を同定して出力するステップＳ５０とを備える。ステップＳ１０で実行される機械学習は、第１の実施の形態で説明したものと同様であるので、説明を省略する。
本実施の形態によれば、脳腫瘍摘出手術の手術工程を同定することができる。

【0068】

［第３の実施の形態］
第３の実施の形態に係るコンピュータプログラムは、図４に示されるフローをコンピュータに実行させる。すなわち本プログラムは、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像および手術工程を教師データとして機械学習を行うステップＳ１０と、術中ＭＲＩ画像を入力するステップとＳ２０と、術具ログ入力するステップＳ３０と、手術顕微鏡画像を入力するステップＳ４０と、手術工程を同定して出力するステップＳ５０とをコンピュータに実行させる。本実施形態によれば、手術工程を同定するプログラムをソフトウェアに実装できるので、コンピュータを用いて精度の高い同定を実現することができる。

【0069】

［第４の実施の形態］
図５に、第４の実施の形態に係る手術工程同定システム１１０の機能ブロック図を示す。手術工程同定システム１１０は、術中ＭＲＩ画像取得部１２、術具ログ取得部１３、手術顕微鏡画像取得部１４、手術工程同定部１５、音声情報取得部１６を備える。すなわち手術工程同定システム１１０は、図３の手術工程同定システム１００の構成に加えて、音声情報取得部１６を備える。

【0070】

音声情報取得部１６は、手術室内のマイクロフォン５０から音声情報を取得する。音声情報は、例えば医師と患者との間に交わされた会話や、言語タスクにおいて患者が発した回答である。音声情報取得部１６は、取得した音声情報を手術工程同定部１５に出力する。

【0071】

手術工程同定部１５は、術中ＭＲＩ画像、術具ログ、手術顕微鏡画像、音声情報取得部１６が取得した音声情報および手術工程を教師データとして機械学習を行う。手術工程同定部１５には、術中ＭＲＩ画像取得部１２が所得した術中ＭＲＩ画像、術具ログ取得部１３が取得した術具ログ、手術顕微鏡画像取得部１４が取得した顕微鏡画像および音声情報取得部１６が取得した音声情報がそれぞれ入力される。これらの情報が入力されると、手術工程同定部１５は手術工程を出力する。手術工程同定システム１１０のその他の構成は、手術工程同定システム１００の構成と共通であるので、説明を省略する。

【0072】

前述のように覚醒下脳腫瘍摘出手術では、開頭後に患者を麻酔状態から覚まし、脳に電気刺激を与えて脳機能位置を確認しながら脳腫瘍の摘出を行う。このとき、どのようなタスクが実行されているか、あるいは当該タスクにおいて患者がどのように回答したかといった情報は、当該時点の手術工程やその遷移と密接に関係する。従って、手術室内の音声情報を取得し、これを機械学習における教師データに追加することにより、手術工程同定の精度を向上させることができる。

【0073】

［第５の実施の形態］
図６に、第５の実施の形態に係る手術工程同定システム１２０の機能ブロック図を示す。手術工程同定システム１２０は、術中ＭＲＩ画像取得部１２、術具ログ取得部１３、手術顕微鏡画像取得部１４、手術工程同定部１５、脳機能位置推定部１７、表示部１８を備える。すなわち手術工程同定システム１２０は、図３の手術工程同定システム１００の構成に加えて、脳機能位置推定部１７、表示部１８を備える。前述のように、上記の実施の形態では、同定した手術工程をモニタ等に表示することができる。このとき、患者の脳機能位置を推定し、工程に応じてその情報を表示することにより、手術支援の有効性を高めることができる。

【0074】

脳機能位置推定部１７は、患者の脳機能の位置を推定する。脳機能位置とは、例えば発話や身体の特定部位（手、足等）の運動といった、身体の個々の機能・運動を司る機能を持つ脳内の位置である。執刀医は、患者の脳構造や機能を把握し、的確な判断に基づいて腫瘍を切除する必要がある。特に脳機能位置に関する情報は、患者の術後合併症を最小限に抑えるうえで重要である。しかしながら脳機能位置は患者によって異なるため、術中に脳機能位置を把握し、手術の状況に合わせて必要な情報を取捨選択することは難しい。従って、手術の状況に合わせて必要な脳機能位置情報が執刀医に呈示されると極めて有用である。

【0075】

脳機能位置推定部１７は、以下のように患者ごとの脳機能位置を推定する。まずインテリジェント手術室における覚醒化脳腫瘍摘出術では、脳に電気刺激を与える際の術具の３次元位置が記録されている。すなわち、執刀医が電気刺激を与え患者に異常があった場合、その瞬間の術具の３次元位置を脳機能位置と考えることができる。このようにして、電気刺激の際の術具の３次元位置を脳機能位置として蓄積する。ただし、脳の形は人によって異なるため、得られた３次元位置も患者ごとに微妙に異なるものとなる。そこで、脳を平均化してこれを標準脳とし、この標準脳に３次元位置を蓄積することで、異なる患者から得られた脳機能位置を一意の座標空間上で蓄積することができる。

【0076】

こうして得られた標準脳における脳機能位置は、過去症例において脳機能が存在した位置である。この標準脳における脳機能位置を患者個人の脳に非剛体変換することにより、当該患者の脳機能位置を推定することができる。標準脳から患者の個人脳への非剛体変換は、好適な既知の手法を用いることができる。例えば、ＬｉｕらによるＰＢＮＲＲ（Ｐｈｙｓｉｃｓ－Ｂａｓｅｄ Ｎｏｎ－Ｒｉｇｉｄ Ｒｅｇｉｓｔｒａｔｉｏｎ）は、一定の精度で非剛体変換を実現することができることが確認されており、本実施の形態に用いることができる（例えば、非特許文献４参照）。

【0077】

表示部１８は、手術工程同定部１５が同定した手術工程と、脳機能位置推定部が推定した脳機能位置を表示する。このとき執刀医へ呈示される情報が多すぎると、情報過多となり執刀医への負担となる。例えば、情報を複数のモニタなどで呈示すると執刀医の視線移動が多くなるとか、一度に大量の情報を呈示しすぎると情報が散乱し取捨選択が困難となる、などといった問題が生じる。従って推定脳機能位置情報は、必要となる手術工程にのみ表示することが望ましい。推定脳機能位置情報が必要となるのは、主に脳機能マッピング工程である。従って推定脳機能位置は、脳機能マッピング工程で呈示され、それ以外の工程では他の情報が呈示できることが望ましい。脳機能マッピング工程では、電気刺激を与えるために必ず電気刺激プローブが用いられる。従って、脳機能マッピング工程を同定するには、術具検出を行って電気刺激プローブが手術顕微鏡に映っているかを確認すればよい。手術工程同定システム１２０のその他の構成は、手術工程同定システム１００の構成と共通であるので、説明を省略する。

【0078】

本実施の形態によれば、脳腫瘍摘出手術の手術工程を表示するとともに、患者の脳機能位置に関する情報を工程に応じて表示することができる。

【0079】

［第６の実施の形態］
図７に、第６の実施の形態に係る手術工程同定システム１３０の機能ブロック図を示す。手術工程同定システム１２０は、術中ＭＲＩ画像取得部１２、術具ログ取得部１３、手術顕微鏡画像取得部１４、手術工程同定部１５、表示部１８、ＤＴＩ情報・脳溝情報生成部１９を備える。すなわち手術工程同定システム１２０は、図３の手術工程同定システム１００の構成に加えて、表示部１８、ＤＴＩ情報・脳溝情報生成部１９を備える。ＤＴＩ情報・脳溝情報生成部１９は、患者のＤＴＩ情報と脳溝情報を生成する。

【0080】

「ＤＴＩ」（Ｄｉｆｆｕｓｉｏｎ Ｔｅｎｓｏｒ Ｉｍａｇｅ：拡散テンソル画像）は、一定の方向に向かって連続する脳の神経線維を画像化したものである。特に脳の神経線維を方向ごとにカラー化することにより、脳機能領域間の接続を可視化したものは「ＤＴＩ ＦＡ ｃｏｌｏｒ ｍａｐ」と呼ばれる。さらにここから任意の神経線維をトラッキングしたものは「拡散テンソルトラクトグラフィー」と呼ばれる。手術中にＤＴＩを提示することは、執刀医の脳の機能的理解にとって有用である。

【0081】

「脳溝」は脳の表面にある溝、いわゆる「脳のしわ」にあたる部分である。脳溝は脳回を取り囲むように存在し、ヒトや他の哺乳類の脳の特徴的な外見を形作っている。一般に手術中の脳表は特徴に乏しいため、脳溝はランドマークとして有用である。特に脳溝を用いることにより、術前の画像診断と術中の脳表を対応付けることができる。

【0082】

従来の技術では、ＤＴＩや脳溝の画像は術前に取得されたものであった。しかしながら術前ＤＴＩは、ブレインシフトの影響により位置ずれが発生するという問題がある。また、ノイズや画質の影響があるため、術中の脳溝同定は困難である。従って、腫瘍摘出において重要な血管や脳組織の確認も困難となる。これらの課題を解決するため、本実施の形態のＤＴＩ情報・脳溝情報生成部１９は、術前に取得したＤＴＩや脳溝に関する情報を術中ＭＲＩに非線形に変形する。

【0083】

表示部１８は、手術工程同定部１５が同定した手術工程と、ＤＴＩ情報・脳溝情報生成部１９が生成したＤＴＩ情報と脳溝情報を表示する。第５の実施の形態の脳機能位置に関する情報と同様に、ＤＴＩ情報と脳溝情報は、必要となる手術工程にのみ表示することが望ましい。例えばＤＴＩ情報と脳溝情報は脳機能マッピングの工程で重要であるため、表示部１８は、ＤＴＩ情報と脳溝情報を脳機能マッピングの工程に表示する。

【0084】

本実施の形態によれば、脳腫瘍摘出手術の手術工程を表示するとともに、患者のＤＴＩおよび脳溝に関する情報を工程に応じて表示することができる。

【0085】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0086】

１００…手術工程同定システム、１１０…手術工程同定システム、１２０…手術工程同定システム、１３０…手術工程同定システム、１２…術中ＭＲ画像取得部、１３…術具ログ取得部、１４…手術顕微鏡画像取得部、１５…手術工程同定部、１６…音声情報取得部、１７…脳機能位置推定部、１８…表示部、１９…ＤＴＩ情報・脳溝情報生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】