特開 2024-75119 脳神経外科手術支援装置、脳神経外科手術支援方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024075119

(43)【公開日】2024-06-03

(54)【発明の名称】脳神経外科手術支援装置、脳神経外科手術支援方法、プログラム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20240527BHJP

   A61B 1/045 20060101ALI20240527BHJP

   G06T 7/00 20170101ALI20240527BHJP

【ＦＩ】

A61B34/10

A61B1/045 614

G06T7/00 350C

G06T7/00 614

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022186326

(22)【出願日】2022-11-22

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(71)【出願人】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】布施 佑太郎

(72)【発明者】

【氏名】齋藤 竜太

(72)【発明者】

【氏名】永田 雄一

(72)【発明者】

【氏名】竹内 和人

(72)【発明者】

【氏名】竹内 一郎

(72)【発明者】

【氏名】橋本 典明

【テーマコード（参考）】

4C161

5L096

【Ｆターム（参考）】

4C161AA23

5L096BA06

5L096BA13

5L096DA01

5L096DA02

5L096HA11

5L096KA04

5L096KA15

5L096MA03

(57)【要約】

【課題】腫瘍の部分の判定精度を向上する技術を提供する。
【解決手段】脳神経外科手術支援装置１００は、内視鏡等による脳神経外科手術を支援する装置である。第３受付部１１０は、術中の手術対象の患者の患部とその周辺を内視鏡等により撮像した判定対象画像を受けつける。判定部１５０は、受けつけた判定対象画像を、腫瘍と正常部分とが示された教師データとをもとに学習させた学習済みモデルに入力し、腫瘍と正常部分とを判定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

内視鏡等による脳神経外科手術を支援する脳神経外科手術支援装置であって、
術中の手術対象の患者の患部とその周辺を内視鏡等により撮像した判定対象画像を受けつける受付部と、受けつけた前記判定対象画像を、腫瘍と正常部分とが示された教師データとをもとに学習させた学習済みモデルに入力し、前記腫瘍と前記正常部分とを判定する判定部とを備える脳神経外科手術支援装置。

【請求項2】

前記判定対象画像において血液の濃い部分を特定し、特定した前記血液の濃い部分を前記判定対象画像から除去し、前記血液の濃い部分を除去した前記判定対象画像を前記判定部に出力する前処理部をさらに備える請求項１に記載の脳神経外科手術支援装置。

【請求項3】

前記判定部は、前記患部とその周辺の少なくとも一部に血液がかぶっている状態から前記血液を洗浄した後の状態の洗浄後画像を用いて、前記判定対象画像に対して血液の影響を低減する処理を行う請求項１に記載の脳神経外科手術支援装置。

【請求項4】

前記判定部は、手術対象の患者以外の過去に手術を受けた複数の患者の患部とその周辺を撮像された画像であって、該患者１人あたり手術の進行に応じて患部とその周辺を複数回撮像した複数画像を含む学習用画像と、前記学習用画像における腫瘍と正常部分とが示された教師データとをもとに学習させたモデルに対して、前記手術対象の患者が手術を受けるときに患部とその周辺を撮像した判定対象画像を入力することによって、前記判定対象画像における前記腫瘍と前記正常部分とを判定する請求項１に記載の脳神経外科手術支援装置。

【請求項5】

前記学習済みモデルに対して、前記手術対象の患者が手術を受けるときの初期段階において患部とその周辺を撮像した更新用画像と、前記更新用画像に対する教師データを入力することによって、前記モデルの学習を更新する更新部をさらに備え、
前記判定部は、前記更新部において学習を更新させた前記モデルに対して、前記判定対象画像を入力することによって、前記判定対象画像における前記腫瘍と前記正常部分とを判定する請求項１に記載の脳神経外科手術支援装置。

【請求項6】

前記更新部に入力される前記更新用画像は、前記患部とその周辺の少なくとも一部に血液がかぶっている状態の洗浄前画像と、前記血液を洗浄した後の状態の洗浄後画像とを含む請求項５に記載の脳神経外科手術支援装置。

【請求項7】

前記判定部において正常部分に手術用器具が一定期間以上重複して示される場合、警告を出力し、または術野内に前記腫瘍と判定される部分がなくなった場合にアラームを鳴らす警告部をさらに備える請求項１に記載の脳神経外科手術支援装置。

【請求項8】

前記判定対象画像を第１画像として表示させるとともに、前記腫瘍と前記正常部分との判定結果が前記判定対象画像上に示された第２画像を表示させる表示制御部をさらに備える請求項１から７のいずれか１項に記載の脳神経外科手術支援装置。

【請求項9】

内視鏡等による脳神経外科手術を支援する脳神経外科手術支援方法であって、
術中の手術対象の患者の患部とその周辺を内視鏡等により撮像した判定対象画像を受けつけるステップと、
受けつけた前記判定対象画像を、腫瘍と正常部分とが示された教師データとをもとに学習させた学習済みモデルに入力し、前記腫瘍と前記正常部分とを判定するステップと、
を備える脳神経外科手術支援方法。

【請求項10】

手術対象の患者以外の患者が過去に手術を受けたときに患部とその周辺を撮像した学習用画像と、前記学習用画像における腫瘍と正常部分とが示された教師データとをもとに学習させたモデルに対して、前記手術対象の患者が手術を受けるときの初期段階において患部とその周辺を撮像した更新用画像と、前記更新用画像に対する教師データを入力することによって、前記モデルの学習を更新するステップと、
学習を更新させた前記モデルに対して、前記手術対象の患者が手術を受けるときに患部とその周辺を撮像した判定対象画像を入力することによって、前記判定対象画像における前記腫瘍と前記正常部分とを判定するステップと、
を備える脳神経外科手術支援方法。

【請求項11】

内視鏡等による脳神経外科手術を支援する脳神経外科手術支援装置において実行されるプログラムであって、
術中の手術対象の患者の患部とその周辺を内視鏡等により撮像した判定対象画像を受けつけるステップと、
受けつけた前記判定対象画像を、腫瘍と正常部分とが示された教師データとをもとに学習させた学習済みモデルに入力し、前記腫瘍と前記正常部分とを判定するステップとをコンピュータに実行させるためのプログラム。

【請求項12】

手術対象の患者以外の患者が過去に手術を受けたときに患部とその周辺を撮像した学習用画像と、前記学習用画像における腫瘍と正常部分とが示された教師データとをもとに学習させたモデルに対して、前記手術対象の患者が手術を受けるときの初期段階において患部とその周辺を撮像した更新用画像と、前記更新用画像に対する教師データを入力することによって、前記モデルの学習を更新するステップと、
学習を更新させた前記モデルに対して、前記手術対象の患者が手術を受けるときに患部とその周辺を撮像した判定対象画像を入力することによって、前記判定対象画像における前記腫瘍と前記正常部分とを判定するステップとをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データ処理技術に関し、特に腫瘍の部分を判定する脳神経外科手術支援装置、脳神経外科手術支援方法、プログラムに関する。

【背景技術】

【0002】

腹腔鏡手術では、患者の体内に形成された悪性腫瘍などを取り除く手術がなされる。その際、疎性結合組織を構成する線維の周囲には、血管、神経、多種の細胞が存在するので、手術者にとって、術野画像から疎性結合組織を見つけ出すことは容易ではない。そのため、鏡視下手術の術野を撮像して得られる術野画像を、疎性結合組織に関する情報を出力するよう学習された学習モデルに入力して該術野画像に含まれる疎性結合組織部分を認識し、認識した部分の表示がなされる。手術者は、表示内容を確認しながら手術を実行する（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第７０３１９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般的な腫瘍の手術では、正常組織にマージン（余裕）を設けて腫瘍が外から切り取られる。一方、脳腫瘍または下垂体腫瘍といった脳神経外科領域の腫瘍の手術では、腫瘍の内部に切り込んでいき、腫瘍組織の摘出を行って正常組織との境界を見つける作業がなされる。そのため、手術中に腫瘍や正常組織の位置や形、見え方、領域が変化していく。また、脳腫瘍はその摘出率が患者の予後に直結するので、可能な限り脳腫瘍を摘出したいが、正常の脳組織は温存したいという実情がある。このように、脳神経外科領域の手術に深層学習・機械学習を適用する場合、腫瘍の部分の判定精度を高めることが求められる。

【0005】

本開示はこうした状況に鑑みてなされたものであり、１つの目的は、腫瘍の部分の判定精度を向上する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本開示のある態様の脳神経外科手術支援装置は、内視鏡等による脳神経外科手術を支援する脳神経外科手術支援装置であって、術中の手術対象の患者の患部とその周辺を内視鏡等により撮像した判定対象画像を受けつける受付部と、受けつけた判定対象画像を、腫瘍と正常部分とが示された教師データとをもとに学習させた学習済みモデルに入力し、腫瘍と正常部分とを判定する判定部とを備える。内視鏡等とは、例えば、内視鏡、手術顕微鏡、外視鏡等の撮像装置である。

【0007】

本開示の別の態様は、脳神経外科手術支援方法である。この方法は、内視鏡等による脳神経外科手術を支援する脳神経外科手術支援方法であって、術中の手術対象の患者の患部とその周辺を内視鏡等により撮像した判定対象画像を受けつけるステップと、受けつけた判定対象画像を、腫瘍と正常部分とが示された教師データとをもとに学習させた学習済みモデルに入力し、腫瘍と正常部分とを判定するステップと、を備える。

【0008】

本開示のさらに別の態様もまた、脳神経外科手術支援方法である。この方法は、手術対象の患者以外の患者が過去に手術を受けたときに患部とその周辺を撮像した学習用画像と、学習用画像における腫瘍と正常部分とが示された教師データとをもとに学習させたモデルに対して、手術対象の患者が手術を受けるときの初期段階において患部とその周辺を撮像した更新用画像と、更新用画像に対する教師データを入力することによって、モデルの学習を更新するステップと、学習を更新させたモデルに対して、手術対象の患者が手術を受けるときに患部とその周辺を撮像した判定対象画像を入力することによって、判定対象画像における腫瘍と正常部分とを判定するステップと、を備える。

【0009】

なお、以上の構成要素の任意の組合せ、本開示の表現を、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

【発明の効果】

【0010】

本開示によれば、腫瘍の部分の判定精度を向上できる。

【図面の簡単な説明】

【0011】

【図1】術前の脳神経外科領域の腫瘍の一例を示す図である。

【図2】術後の脳神経外科領域の腫瘍の一例を示す図である。

【図3】本実施例に係る判定システムの外観を示す図である。

【図4】本実施例に係る判定システムの構成を示す図である。

【図5】図４の判定システムによる処理手順を示すフローチャートである。

【図6】図６（ａ）－（ｆ）は、手術の進行にしたがって変化する患部と内視鏡画像を示す図である。

【図7】図４の判定システムにおいて使用される学習用画像を示す図である。

【図8】図４の学習部と更新部におけるモデルの構成を示す図である。

【図9】図９（ａ）－（ｆ）は、第１症例と第２症例のそれぞれにおける内視鏡画像、医師によるラベル、判定結果を示す図である。

【発明を実施するための形態】

【0012】

本開示を具体的に説明する前に、概要を述べる。本実施例は、脳腫瘍または下垂体腫瘍といった脳神経外科領域の腫瘍の手術において、腫瘍組織と正常組織を深層学習により判定する判定システムに関する。以下では、下垂体腫瘍を主として説明するが、それは一例にすぎず、他の脳神経外科領域の腫瘍にも応用可能である。脳神経外科領域の腫瘍は、悪性脳腫瘍、良性腫瘍に分類され、例えば、神経膠腫、転移性脳腫瘍、髄膜腫、神経鞘腫、血管芽腫、頭蓋咽頭腫、悪性リンパ腫等を含む。さらに具体的には、本実施例における手術は、内視鏡下経鼻的下垂体腫瘍摘出術（eTSS）である。前述のごとく、脳神経外科領域の腫瘍の手術における腫瘍組織と正常組織との判定には、精度の向上が求められる。本実施例に係る判定システムは、判定精度の向上のために、学習処理、更新処理、判定処理の３段階の処理を実行する。学習処理では、手術対象の患者（以下、「新規患者」という）以外の患者（以下、「過去患者」という）が過去に手術を受けたときに患部とその周辺を内視鏡で撮像した画像（以下、「学習用画像」という）を取得するとともに、学習用画像に対してラベル付けを行った教師データを生成する。このような学習用画像と教師データの組合せは、多数の過去患者に対して生成される。また、学習処理では、学習用画像と教師データを使用してモデルを学習させる。

【0013】

更新処理では、新規患者が手術を受けるときの初期段階において患部とその周辺を撮像した画像（以下、「更新用画像」という）を取得するとともに、更新用画像に対する教師データを生成する。また、更新処理では、更新用画像と教師データを使用して、学習処理において学習させたモデルを更新させる。これは、過去患者のデータにより学習させたモデルを新規患者向けにカスタマイズすることに相当する。判定処理では、新規患者が手術を受けるときの患部とその周辺を撮像した画像（以下、「判定用画像」という）を取得し、更新処理において学習を更新させたモデルに判定用画像を入力することによって、判定用画像中の腫瘍組織と正常組織を判定する。以下では、本実施例を（１）脳神経外科領域の腫瘍の手術、（２）構成、（３）学習処理、（４）更新処理、（５）判定処理の順番に説明する。

【0014】

（１）脳神経外科領域の腫瘍の手術
ホルモン分泌を行う器官である下垂体から発生する下垂体腫瘍（脳腫瘍の１型）は生命予後不良な難治性疾患である。図１は、術前の脳神経外科領域の腫瘍（下垂体腫瘍）の一例を示す。視床下部１０から指示をうける下垂体１２が腫瘍２０（下垂体腫瘍）によって圧迫されている状態である。下垂体１２の内部には抗利尿ホルモン３０が存在する。腫瘍２０を摘出する際の問題点は、頭の中で深い部位を操作するので、手術者の視野が限られることによって、腫瘍２０と下垂体１２の識別が困難なことである。そのため、病変を近くから観察可能な神経内視鏡が使用され、手術者は、手術中に内視鏡画像に基づいて腫瘍２０と正常な下垂体１２の境界を定めながら腫瘍２０を摘出する。しかしながら、熟達した手術者でも腫瘍２０の範囲を完全に特定できないことがある。

【0015】

図２は、術後の脳神経外科領域の腫瘍（下垂体腫瘍）の一例を示す。腫瘍２０の摘出が不十分であることによって腫瘍残部２２が生じる。その結果、ホルモン過剰症状の改良不全や術後の早期腫瘍再発が発生して治癒率が低下する。また、下垂体１２の損傷によって抗利尿ホルモン３０の分泌不全が生じる。その結果、正常下垂体機能低下が発生して治癒率が低下する。手術成績は手術者の主観や習熟度に左右され、施設間で最大６０％の治癒率の差があるともいわれる。下垂体手術中の内視鏡画像で腫瘍２０と正常な下垂体１２を客観的に識別することができれば、より正確で安全な手術を行うことが可能であり、腫瘍２０の完全な摘出と術後の下垂体機能の温存が期待される。そのため手術機器の光学的な改良が行われてきたが、高精細・広い色再現性が実現した最新の４Ｋ神経内視鏡でも解決には至っていない。また、腫瘍と正常組織の識別をする技術として消化管内視鏡での特定の波長の光を使う方法、あるいは他の脳腫瘍では蛍光色素を用いる方法がある。しかし、これらの技術でも下垂体腫瘍と正常下垂体組織の客観的で正確な識別は現時点で困難である。

【0016】

一方、脳神経外科領域以外の他の分野では、正常組織にマージン（余裕）を設けて腫瘍を外から切り取ることが手術の基本である。そのため、脳神経外科領域の腫瘍の手術のように、腫瘍の内部に切り込んでいき、腫瘍組織の摘出を行って正常組織との境界を見つけて行く作業を行うことが不要である。これに対し、脳神経外科領域においては、腫瘍の内部に切り込んでいき、腫瘍組織の摘出を行って正常組織との境界を見つけて行く作業が必要であり、術中の内視鏡画像で腫瘍と正常な組織とを客観的に識別することが望まれる。

【0017】

（２）構成
図３は、判定システム１０００の外観を示す。脳神経外科手術支援装置１００は、患部とその周辺を撮像する内視鏡（図示せず）に接続され、内視鏡から内視鏡画像を受けつける。脳神経外科手術支援装置１００は、内視鏡画像に対して深層学習を実行することによって、腫瘍２０と正常な下垂体１２を識別する。脳神経外科手術支援装置１００には第１モニタ２００と第２モニタ２０２が接続される。第１モニタ２００は内視鏡画像をそのまま表示する。第２モニタ２０２は、腫瘍２０と下垂体１２の識別結果が示された内視鏡画像を表示する。

【0018】

図４は、判定システム１０００の構成を示す。判定システム１０００は、脳神経外科手術支援装置１００、第１モニタ２００、第２モニタ２０２、生成装置３００を含む。脳神経外科手術支援装置１００、第１モニタ２００、第２モニタ２０２は、図３に対応し、生成装置３００は、脳神経外科手術支援装置１００と一体的に構成されてもよく、脳神経外科手術支援装置１００とは別に構成されてもよい。脳神経外科手術支援装置１００は、第３受付部１１０、第４受付部１１２、更新部１２０、記憶部１３０、前処理部１４０、判定部１５０、表示制御部１６０、警告部１７０を含む。生成装置３００は、第１受付部３１０、第２受付部３１２、学習部３２０、出力部３３０を含む。

【0019】

図５は、判定システム１０００による処理手順を示すフローチャートである。生成装置３００は、過去患者の内視鏡画像をもとに、深層学習において使用されるモデルの学習処理を実行する（Ｓ１０）。脳神経外科手術支援装置１００は、新規患者が手術を受けるときの初期の内視鏡画像をもとに、学習処理において既に学習させたモデルの更新処理（ｆｅｗ－ｓｈｏｔ ｌｅａｒｎｉｎｇ）を実行する（Ｓ１２）。これは、前述のごとく、過去患者のデータにより学習させたモデルを新規患者向けにカスタマイズすることに相当する。脳神経外科手術支援装置１００は、手術中において、更新処理において更新させたモデルに新規患者の内視鏡画像を入力することによって、内視鏡画像上において腫瘍２０と下垂体１２とを識別する。

【0020】

（３）学習処理
図６（ａ）－（ｆ）は、手術の進行にしたがって変化する患部と内視鏡画像６０を示す。図６（ａ）は、手術前の状態であり、図１と同様に、視床下部１０、下垂体１２、腫瘍２０が示される。図６（ｂ）は、図６（ａ）の状態における内視鏡画像６０を示す。トルコ鞍４０の内部に腫瘍２０が存在する。図６（ｃ）は、手術中の状態であり、図６（ａ）における腫瘍２０の一部が摘出され、腫瘍残部２２として存在する。図６（ｄ）は、図６（ｃ）の状態における内視鏡画像６０を示す。トルコ鞍４０の内部に腫瘍２０と下垂体１２が存在する。図６（ｅ）は、図６（ｃ）からさらに手術が進行した状態であり、図６（ｃ）における腫瘍残部２２が摘出される。図６（ｆ）は、図６（ｅ）の状態における内視鏡画像６０を示す。トルコ鞍４０の内部に下垂体１２が存在する。

【0021】

以上のような手術の進行にしたがって変化する患部の周辺において腫瘍２０と下垂体１２とを識別するための深層学習モデルを構築するために、症例数の蓄積が必要になる。例えば、４Ｋ神経内視鏡を使用した１００症例の過去患者の下垂体腫瘍の術中動画から静止画切り出しソフトを用いて静止画が採取される。静止画は、図６（ｂ）、（ｄ）、（ｆ）のような手術の進行に応じて切り出しが必要であり、１人の過去患者あたり５－２０枚採取する、そのため、１人の過去患者あたり約１０枚、合計１０００枚が採取される。

【0022】

図７は、判定システムにおいて使用される学習用画像を示す。前述のごとく、学習用画像は、学習処理において使用される内視鏡画像６０である。内視鏡画像６０に対して、手作業でラベル付けがなされる。ラベル付けによって、学習用画像に対する教師データが生成される。このような教師データには、内視鏡画像６０全体を使用する方法と、内視鏡画像６０を細かく分割した正方形のパッチ６２を使用する方法の２種類がある。パッチ６２の大きさは、６４×６４、１２８×１２８、２５６×２５６ピクセルのように設定される。パッチ６２については面積の半分以上を占める分類を教師データとする。ラベルは腫瘍２０、正常な下垂体１２、それらを包むトルコ鞍４０の３クラスである。トルコ鞍外は解析対象外とされる。

【0023】

図４の生成装置３００の第１受付部３１０は、学習用画像を受けつけ、第２受付部３１２は、第１受付部３１０において受けつけられた学習用画像に対応する教師データを受けつける。学習部３２０は、第１受付部３１０において受けつけた学習用画像と、第２受付部３１２において受けつけた教師データとをもとに、モデル（深層学習モデル）を学習する。つまり、学習部３２０は、手術対象の新規患者以外の過去患者が過去に手術を受けたときに患部とその周辺を撮像した学習用画像と、学習用画像における腫瘍と正常部分とが示された教師データとをもとにモデルを学習する。

【0024】

前述の内視鏡画像６０全体を用いた教師データによる学習には、内視鏡画像６０内の物体の特徴情報を抽出してラベリングを行うＳｅｇＮｅｔという深層学習技術が使用される。一方、パッチ６２を教師データとする学習には、画像認識で汎用されるＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ(ＲｅｓＮｅｔ)という深層学習技術が使用される。図８は、学習部３２０と更新部１２０におけるモデルの構成を示す。これは、ＲｅｓＮｅｔに相当する。入力Ｘ４１０がＲｅｓＮｅｔ４００に接続され、ＲｅｓＮｅｔ４００が出力４３０に接続される。ＲｅｓＮｅｔ４００は、畳み込み層４２０、ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ４２２、加算部４２４を含む。図４に戻る。

【0025】

さらに、精度を各段に向上させる手法として知られている以下の２つがなされてもよい。
（ｉ）入力画像に回転やノイズの付与などの処理を実行し、人為的に教師データを増幅するデータ拡張がなされてもよい。
（ｉｉ）入力画像の赤緑青の３種類の色情報から、特徴を際立たせる目的で色が抽出されてもよい。
また、ＳｅｇＮｅｔ、ＲｅｓＮｅｔ４００ではなく、Ｕ－Ｎｅｔ、ＤｅｎｓｅＮｅｔなど他の深層学習モデルが使用されてもよい。出力部３３０は、学習部３２０において学習されたモデルを脳神経外科手術支援装置１００に出力する。

【0026】

（４）更新処理
手術対象の新規患者が手術を受けるときの初期段階において患部とその周辺を撮像した内視鏡画像６０が取得される。更新処理に使用される内視鏡画像６０が更新用画像と定義される。また、内視鏡画像６０に対して、学習処理と同様の処理に教師データが取得される。脳神経外科手術支援装置１００の第３受付部１１０は、更新用画像を受けつけ、第４受付部１１２は、第３受付部１１０において受けつけられた更新用画像に対応した教師データを受けつける。

【0027】

更新部１２０は、学習部３２０において学習させたモデルに対して、第３受付部１１０に受けつけた更新用画像と、第４受付部１１２に受けつけられた教師データをもとに、モデルの学習を更新する。更新部１２０における学習は、学習部３２０における学習と同様であるので、ここでは説明を省略する。このような更新は、過去患者のデータから学習したモデルを新規患者の初期段階の画像から適応させる転移学習ともいえる。

【0028】

既存の技術では、大量の過去患者のデータを使用してモデルを学習してから、当該モデルを新規患者に使用することを想定している。一方、本実施例では、新規患者のデータを適用して個々の新規患者の特徴にあったモデルを手術の場で使用する。これに必要な技術はｆｅｗ－ｓｈｏｔ ｌｅａｒｎｉｎｇである。すなわち、手術開始後、初期の段階で腫瘍または正常組織を含む内視鏡画像６０の入手が可能である。その時点で数枚の静止画像を抽出し、それをモデルに入力することによってモデルのオーダーメイド化が図られる。

【0029】

また、モデルの使用状況としては術者が術野を水で洗い流すことで血液を物理的に除去した場面でのシステムの使用を想定している。そのため、更新部１２０に入力される更新用画像は、患部とその周辺の少なくとも一部に血液がかぶっている状態の洗浄前画像と、血液を洗浄した後の状態の洗浄後画像とを含んでもよい。これにより、更新部１２０は、手術の一場面で血液が術野にかぶっている状態と、その後水で洗浄してきれいになった術野の状態を対応させてモデルに学習させる。更新部１２０において更新されたモデルは記憶部１３０に記憶される。

【0030】

（５）判定処理
第３受付部１１０は、判定対象画像を受けつける。判定対象画像は、手術対象の新規患者が手術を受けるときに患部とその周辺を撮像した内視鏡画像６０である。前処理部１４０は、判定対象画像において血液の濃い部分を特定し、特定した血液の濃い部分を判定対象画像から除去する。血液の濃い部分の特定は、赤色の画素値がしきい値よりも大きい部分を特定することによってなされる。前処理部１４０の処理は省略されてもよい。

【0031】

判定部１５０は、記憶部１３０に記憶された学習の更新済みのモデルに、判定対象画像を入力することによって、判定対象画像における腫瘍２０と下垂体１２とを判定する。表示制御部１６０は、判定対象画像を第１画像として第１モニタ２００に表示させるとともに、腫瘍２０と下垂体１２との判定結果が判定対象画像上に示された第２画像を第２モニタ２０２に表示させる。

【0032】

図９（ａ）－（ｆ）は、第１症例と第２症例のそれぞれにおける内視鏡画像６０、医師によるラベル、判定結果を示す。図９（ａ）は、第１症例における内視鏡画像６０を示す。これは、第１モニタ２００に表示される第１画像に相当する。図９（ｂ）は、図９（ａ）の内視鏡画像６０に対して医師によるラベル付けがなされた結果を示す。ラベルは下垂体１２、腫瘍２０と示される。図９（ｃ）は、図９（ａ）の内視鏡画像６０に対する判定結果を示す。判定結果が下垂体１２、腫瘍２０と示される。これは、第２モニタ２０２に表示される第２画像に相当する。図９（ｄ）－（ｆ）は、第２症例に対応し、図９（ａ）－（ｃ）とそれぞれ同様に示されるので、ここでは説明を省略する。

【0033】

警告部１７０は、前処理部１４０における判定結果が対応付けられた判定対象画像を前処理部１４０を受けつける。警告部１７０は、判定対象画像に対して画像認識処理を実行することによって、鉗子等の手術用器具の位置を検出する。画像認識処理については公知の技術が使用されればよいので、ここでは説明を省略する。警告部１７０は、判定部１５０において下垂体１２（正常部分）と判定した部分に手術用器具が一定期間以上重複して示される場合、警告を出力する。警告部１７０は、判定対象画像に対して画像認識処理を実行することによって、術野に出血が出てきたときに、その前の画像と比較して赤い部分が最初に出現した部位を特定し、出血点を第２モニタ２０２に表示してもよい。また、警告部１７０は、術野内に腫瘍２０と判定される部分がなくなった場合にアラームを鳴らしてもよい。術野内に腫瘍２０と判定される部分がなくなった場合は、これまでと同様に検知されればよいので、ここでは説明を省略する。

【0034】

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、その他のＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

【0035】

本実施例によれば、過去患者のデータによりモデルを学習させるとともに、新規患者のデータによりモデルを更新するので、新規患者向けにカスタマイズさせたモデルを構築できる。また、新規患者向けにカスタマイズさせたモデルを使用するので、腫瘍の部分の判定精度を向上できる。また、洗浄前画像と洗浄後画像によりモデルを更新するので、血液による影響を低減できる。また、血液による影響が低減されるので、腫瘍の部分の判定精度を向上できる。また、血液の濃い部分を判定対象画像から除去するので、血液による影響を低減できる。

【0036】

また、腫瘍と判定した部分に手術用器具が一定期間以上重複して示される場合に警告が出力されるので、危険を通知できる。また、危険が通知されるので、手術の安全性を確保できる。また、判定対象画像と、腫瘍と正常部分との判定結果が示された判定対象画像とを表示させるので、手術者による手術の正確性を向上できる。また、術中モニタ上で人の目で見たときの腫瘍と正常組織の確実な識別が困難である場合であっても、それを補助し識別を可能にすることで最大限の腫瘍摘出と正常脳組織の最大限の温存を実現できる。

【0037】

本開示の一態様の概要は、次の通りである。本開示のある態様の脳神経外科手術支援装置は、内視鏡等による脳神経外科手術を支援する脳神経外科手術支援装置であって、術中の手術対象の患者の患部とその周辺を内視鏡等により撮像した判定対象画像を受けつける受付部と、受けつけた判定対象画像を、腫瘍と正常部分とが示された教師データとをもとに学習させた学習済みモデルに入力し、腫瘍と正常部分とを判定する判定部とを備える。

【0038】

この態様によると、腫瘍の内部に切り込んでいき、腫瘍組織の摘出を行って正常組織との境界を見つける作業がなされ、手術中に腫瘍や正常組織の位置や形、見え方、領域が変化していくという脳神経外科手術において、腫瘍と正常部分とを区別ができるため、熟練度の低い術者であってもこの脳神経外科手術支援装置の支援を受けながら手術を進めることが可能となる。

【0039】

判定対象画像において血液の濃い部分を特定し、特定した血液の濃い部分を判定対象画像から除去し、血液の濃い部分を除去した判定対象画像を判定部に出力する前処理部をさらに備えてもよい。この場合、血液の濃い部分を判定対象画像から除去するので、血液による影響を低減できる。

【0040】

判定部は、患部とその周辺の少なくとも一部に血液がかぶっている状態から血液を洗浄した後の状態の洗浄後画像を用いて、判定対象画像に対して血液の影響を低減する処理を行う。

【0041】

判定部は、手術対象の患者以外の過去に手術を受けた複数の患者の患部とその周辺を撮像された画像であって、該患者１人あたり手術の進行に応じて患部とその周辺を複数回撮像した複数画像を含む学習用画像と、学習用画像における腫瘍と正常部分とが示された教師データとをもとに学習させたモデルに対して、手術対象の患者が手術を受けるときに患部とその周辺を撮像した判定対象画像を入力することによって、判定対象画像における腫瘍と正常部分とを判定してもよい。すなわち、実施例において、更新部１２０、第４受付部１１２を有さない態様であって、判定部により手術の進行に応じて学習させた学習モデルを用いて手術の進行に応じてリアルタイムで判定を行なってもよい。これによれば、患者の手術の進行に応じて、どこまで取り除いてよいか連続的に判定できる。

【0042】

学習済みモデルに対して、手術対象の患者が手術を受けるときの初期段階において患部とその周辺を撮像した更新用画像と、更新用画像に対する教師データを入力することによって、モデルの学習を更新する更新部をさらに備える。判定部は、更新部において学習を更新させたモデルに対して、判定対象画像を入力することによって、判定対象画像における腫瘍と正常部分とを判定してもよい。この場合、手術対象の患者以外の患者のデータによりモデルを学習させるとともに、手術対象の患者のデータによりモデルを更新するので、腫瘍の部分の判定精度を向上できる。

【0043】

更新部に入力される更新用画像は、患部とその周辺の少なくとも一部に血液がかぶっている状態の洗浄前画像と、血液を洗浄した後の状態の洗浄後画像とを含んでもよい。この場合、洗浄前画像と洗浄後画像によりモデルを更新するので、血液による影響を低減できる。これは、前述の血液の影響を低減する処理の一態様である。

【0044】

判定部において正常部分に手術用器具が一定期間以上重複して示される場合、警告を出力し、または術野内に腫瘍と判定される部分がなくなった場合にアラームを鳴らす警告部をさらに備えてもよい。この場合、正常部分に手術用器具が一定期間以上重複して示される場合に警告が出力されるので、危険を通知できる。

【0045】

判定対象画像を第１画像として表示させるとともに、腫瘍と正常部分との判定結果が判定対象画像上に示された第２画像を表示させる表示制御部をさらに備えてもよい。この場合、判定対象画像と、腫瘍と正常部分との判定結果が示された判定対象画像とを表示させるので、手術者による手術の正確性を向上できる。

【0046】

本開示の別の態様は、脳神経外科手術支援方法である。この方法は、内視鏡等による脳神経外科手術を支援する脳神経外科手術支援方法であって、術中の手術対象の患者の患部とその周辺を内視鏡等により撮像した判定対象画像を受けつけるステップと、受けつけた判定対象画像を、腫瘍と正常部分とが示された教師データとをもとに学習させた学習済みモデルに入力し、腫瘍と正常部分とを判定するステップと、を備える。

【0047】

本開示のさらに別の態様もまた、脳神経外科手術支援方法である。この方法は、手術対象の患者以外の患者が過去に手術を受けたときに患部とその周辺を撮像した学習用画像と、学習用画像における腫瘍と正常部分とが示された教師データとをもとに学習させたモデルに対して、手術対象の患者が手術を受けるときの初期段階において患部とその周辺を撮像した更新用画像と、更新用画像に対する教師データを入力することによって、モデルの学習を更新するステップと、学習を更新させたモデルに対して、手術対象の患者が手術を受けるときに患部とその周辺を撮像した判定対象画像を入力することによって、判定対象画像における腫瘍と正常部分とを判定するステップと、を備える。

【0048】

以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

【0049】

本実施例において、内視鏡を使用した下垂体腫瘍の手術を説明の対象にしている。しかしながらこれに限らず例えば、脳腫瘍全般の内視鏡・外視鏡・顕微鏡を用いた手術に本実施例を適用してもよい。本変形例によれば、本実施例の適用範囲を拡大できる。

【符号の説明】

【0050】

１００ 脳神経外科手術支援装置、 １１０ 第３受付部、 １１２ 第４受付部、 １２０ 更新部、 １３０ 記憶部、 １４０ 前処理部、 １５０ 判定部、 １６０ 表示制御部、 １７０ 警告部、 ２００ 第１モニタ、 ２０２ 第２モニタ、 ３００ 生成装置、 ３１０ 第１受付部、 ３１２ 第２受付部、 ３２０ 学習部、 ３３０ 出力部、 １０００ 判定システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】