特開 2024-141601 胸腔鏡下肺がん手術の胸膜浸潤プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024141601

(43)【公開日】2024-10-10

(54)【発明の名称】胸腔鏡下肺がん手術の胸膜浸潤プログラム

(51)【国際特許分類】

   G16H 50/20 20180101AFI20241003BHJP

   G16H 30/20 20180101ALI20241003BHJP

   A61B 1/313 20060101ALI20241003BHJP

   A61B 1/045 20060101ALI20241003BHJP

   A61B 1/00 20060101ALI20241003BHJP

【ＦＩ】

G16H50/20

G16H30/20

A61B1/313

A61B1/045 614

A61B1/045 618

A61B1/045 622

A61B1/00 655

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023053340

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】000173588

【氏名又は名称】公益財団法人がん研究会

(71)【出願人】

【識別番号】519451049

【氏名又は名称】株式会社ヒューマノーム研究所

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】橋本 浩平

(72)【発明者】

【氏名】文 敏景

(72)【発明者】

【氏名】瀬々 潤

(72)【発明者】

【氏名】デービー・カルビン・ウィリアム

【テーマコード（参考）】

4C161

5L099

【Ｆターム（参考）】

4C161AA26

4C161CC06

4C161GG13

4C161HH51

4C161LL01

4C161SS21

4C161WW02

4C161WW04

4C161WW18

5L099AA04

5L099AA26

(57)【要約】

【課題】機械学習モデルを利用した肺表面の腫瘍の臓側胸膜への浸潤の有無を判定するための技術を提供することである。
【解決手段】本開示の一態様は、胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得する取得部と、前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する判定部と、を有し、前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、画像診断装置に関する。
【選択図】図１

【特許請求の範囲】

【請求項1】

胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得する取得部と、
前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する判定部と、
を有し、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、画像診断装置。

【請求項2】

前記判定モデルは、
臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の有無を示す第１のラベルとから構成される第１の訓練データによって訓練された腫瘍判定モデルと、
臓側胸膜における腫瘍の訓練画像データと前記腫瘍の臓側胸膜表面への浸潤の有無を示す第２のラベルとから構成される第２の訓練データによって訓練された浸潤判定モデルと、
を含む、請求項１に記載の画像診断装置。

【請求項3】

前記判定部は、
前記画像データを前記腫瘍判定モデルに入力し、前記画像データにおける腫瘍の有無を示す腫瘍判定結果を取得する腫瘍判定部と、
前記腫瘍があると判定された前記画像データを前記浸潤判定モデルに入力し、前記臓側胸膜における腫瘍の臓側胸膜表面への浸潤の有無を示す浸潤判定結果を取得する浸潤判定部と、
を含む、請求項２に記載の画像診断装置。

【請求項4】

前記判定結果は、ヒートマップ表示形式、領域表示形式、アラート表示形式、又は／及び、確率数値形式により前記腫瘍の位置及び浸潤予測部位を示す、請求項３に記載の画像診断装置。

【請求項5】

前記判定部は、胸腔鏡による前記臓側胸膜の撮影中に前記判定結果をリアルタイムに出力する、請求項１に記載の画像診断装置。

【請求項6】

前記画像データは、前記胸腔鏡に備えられた撮像装置によって撮像された肺の臓側胸膜表面の内視鏡画像データである、請求項５に記載の画像診断装置。

【請求項7】

前記画像データは、前記臓側胸膜を撮像した動画データから抽出された静止画フレームである、請求項１に記載の画像診断装置。

【請求項8】

前記腫瘍の浸潤の有無は、所定の病理学的胸膜浸潤分類に依拠する、請求項１に記載の画像診断装置。

【請求項9】

前記判定モデルは、Ｆ値に関して訓練される、請求項１に記載の画像診断装置。

【請求項10】

前記判定部は、前記画像データから前記臓側胸膜の非撮像領域を削除し、前記非撮像領域が削除された画像データを前記判定モデルに入力する、請求項１に記載の画像診断装置。

【請求項11】

手術支援ロボットに接続又は実装される画像診断装置を有し、
前記画像診断装置は、
前記手術支援ロボットによって撮像された胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得する取得部と、
前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する判定部と、
を有し、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、手術システム。

【請求項12】

胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得することと、
前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力することと、
を画像診断装置が実行し、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、画像診断方法。

【請求項13】

胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得することと、
前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力することと、
をコンピュータに実行させ、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、コンピュータプログラム。

【請求項14】

胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得し、
前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する、
判定モデルであって、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、判定モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、胸腔鏡下肺がん手術において胸膜表面画像から病理学的胸膜浸潤を予測する画像診断装置、手術システム、画像診断方法、コンピュータプログラム及び判定モデルに関する。

【背景技術】

【0002】

近年の情報通信技術の進展によって、情報通信技術が広範な技術分野に適用されてきている。例えば、医療分野においても情報通信技術の利用が増大している。特に、ディープラーニング技術の進展によって、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）技術が、医療分野においても導入されてきている。

【0003】

エックス線診断装置、ＣＴ（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｎｓｔｒｕｍｅｎｔ）装置などの画像診断装置を用いた画像診断において、非侵襲的に取得された画像を読影医が診断するのを支援するための画像診断モデルが検討されている。あるいは、患者から採取され、病理医に持ち込まれた組織を病理診断する際、病理医による病理診断を支援するためのＡＩモデルが検討されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１４９０９４号公報

【特許文献2】特表２０２２－５１６１５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

臨床現場では、腹腔鏡、胸腔鏡などの内視鏡によって直接撮影された患部の撮像画像に対する画像診断モデルの利用もまた検討されている。このような内視鏡を利用した画像診断では、介入の有無や選択する手技の決定のため、内視鏡の挿入中にリアルタイムに診断結果が取得できることが望まれる。

【0006】

現在早期肺がんの手術では、胸腔鏡が広く利用されている。肺表面の腫瘍が臓側胸膜表面に浸潤しているか否かの診断は、切除された腫瘍組織を病理医が永久標本化する作業と病理判定する作業が必要なため、手術中に正確には判断がつかないのが現状である。しかしながら腫瘍の大きさや胸膜浸潤に関係なく、肺葉切除術が肺がんの標準的な外科治療であったため、胸膜浸潤の情報が術中に入手出来なくとも、手術術式の選択に影響を与えなかった。

【0007】

ところが、２０２２年以降に発表された末梢小型（２ｃｍ以下）非小細胞肺がんの外科治療に関する２つの大規模な前向き無作為化比較試験によると、縮小手術（区域切除あるいは部分切除）が肺葉切除に劣らない長期の腫瘍学的成績と肺機能改善効果が得られることが示された。これを受けて縮小手術は末梢性小型（２ｃｍ以下）非小細胞肺がんの標準治療となりつつある。一方で、胸膜浸潤は縮小手術の際の局所再発のリスクファクターとして知られている。術中のリアルタイム浸潤評価が可能となれば、縮小手術せずに、従来の標準手術である葉切除に術中に術式を変更することで局所再発のリスクを適切に低減することが実現できる。

【0008】

本開示の課題は、胸腔鏡下肺がん手術において胸膜表面画像から病理学的胸膜浸潤を予測するために、機械学習モデルを利用した肺表面の腫瘍の臓側胸膜への浸潤の有無を判定するための技術を提供することである。

【課題を解決するための手段】

【0009】

本開示の一態様は、胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得する取得部と、前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する判定部と、を有し、前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、画像診断装置に関するものである。

【発明の効果】

【0010】

本開示によると、胸腔鏡下肺がん手術において、機械学習モデルを利用した肺表面の腫瘍の臓側胸膜への浸潤の有無を判定するための技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示の一実施例による画像診断装置を示す概略図である。

【図2】図２は、本開示の一実施例による作業と情報の流れを示す概略図である。

【図3】図３は、本開示の一実施例による画像診断装置のハードウェア構成を示すブロック図である。

【図4】図４は、本開示の一実施例による画像診断装置の機能構成を示すブロック図である。

【図5】図５は、本開示の一実施例による判定モデルを示す図である。

【図6】図６Ａ及び６Ｂは、本開示の一実施例による前処理を示す図である。

【図7】図７は、本開示の一実施例による画像診断処理を示すフローチャートである。

【図8】図８は、本開示の一実施例による腫瘍判定処理及び浸潤判定処理を示す概略図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施の形態を説明する。

【0013】

以下の実施例では、術中に患者に挿入された胸腔鏡によって肺表面の臓側胸膜の画像データを表示すると共に、臓側胸膜への腫瘍の浸潤の有無を判定する画像診断装置が開示される。

【0014】

より詳細には、図１に示されるように、画像診断装置１００は、訓練済み判定モデル２０を利用して、胸腔鏡によって取得された被検者の肺表面の画像データに基づいて、当該画像データにおける腫瘍の浸潤の有無を示す判定結果を出力する。ここで、訓練済み判定モデル２０は、訓練データデータベース（ＤＢ）５０に格納されている訓練データを利用して、訓練対象の判定モデル３０を訓練することによって取得されうる。

【0015】

図示された実施例では、訓練済み判定モデル２０は、画像診断装置１００に搭載されているが、本開示による画像診断装置１００は、これに限定されるものでない。例えば、訓練済み判定モデル２０は、画像診断装置１００と通信接続されたサーバ（図示せず）に搭載され、画像診断装置１００からサーバに被検者の画像データが送信され、サーバから判定結果が受信されるようにしてもよい。

【0016】

［手術システム］
次に、図２を参照して、本開示の一実施例による手術システムとして、作業と情報の流れを説明する。図２は、本開示の一実施例による手術システムの一例を示す概略図である。図２に示されるように、手術システム１０は、手術支援ロボット４０及び画像診断装置１００を有し、手術支援ロボット４０は、コンソール４１及びペイシェントカート４２を有する。この場合、手術支援ロボット４０は、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ社によるダビンチ（ｄａ Ｖｉｎｃｉ）など、何れかの鏡視下手術用の医療ロボットであってもよい。また、図示された手術システム１０では、画像診断装置１００は、手術支援ロボット４０と通信接続された外部装置として実現されている。

【0017】

図２に示される実施例では、ペイシェントカート４２に備えられたカメラによって術中の被検者の体内組織が撮像され、撮像データはコンソール４１に送信される。本実施例では、胸腔内に挿入されたカメラによって被検者の肺表面の動画データが取得され、取得された動画データは、データ信号としてコンソール４１に送信される。

【0018】

コンソール４１は、医師などのオペレータからの操作指示を受け付けると、受け付けた操作指示に従って制御信号をペイシェントカート４２に送信し、ペイシェントカート４２のアームなどを制御する。例えば、医師は、ペイシェントカート４２から受信した動画データを表示したコンソール４１上のディスプレイを確認しながら、アームコントローラ（図示せず）を操作してペイシェントカート４２のアームを操作する。

【0019】

コンソール４１はまた、取得した動画データを画像診断装置１００に提供する。画像診断装置１００は、コンソール４１から取得した動画データに対して、以下で詳細に説明される画像診断処理を実行し、撮像されている被検者の肺表面の腫瘍が臓側胸膜に浸潤しているか否かの判定結果を出力する。例えば、判定結果は、コンソール４１に表示されているカメラによって撮像されている動画データとともに、コンソール４１に表示されてもよい。具体的には、ペイシェントカート４２のアームの操作によって肺表面の腫瘍が撮像されてコンソール４１のディスプレイ上に表示されているとき、表示されている腫瘍が臓側胸膜表面に浸潤しているか否かの判定結果が、ディスプレイ上に同時に表示されてもよい。ただし、本開示による手術システム１０は、これに限定されず、手術ロボットを介さない場合には、コンソール４１とペイシェントカート４２は、胸腔鏡デバイスシステムとなり、当該デバイスシステムから直接、画像診断装置１００に撮像画像が送信される。胸腔鏡デバイスシステムとしては、たとえば、オリンパス社・カールストルツ社などの胸腔鏡システムが挙げられるが、これに限定されず、同様な機能をもつデバイスシステムであれば何れでもよい。

【0020】

ここで、画像診断装置１００は、サーバ、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット等の計算装置によって実現されてもよく、例えば、図３に示されるようなハードウェア構成を有してもよい。すなわち、画像診断装置１００は、バスＢを介し相互接続されるドライブ装置１０１、ストレージ装置１０２、メモリ装置１０３、プロセッサ１０４、ユーザインタフェース（ＵＩ）装置１０５及び通信装置１０６を有する。

【0021】

画像診断装置１００における各種機能及び処理を実現するプログラム又は指示は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体に格納されてもよい。当該記憶媒体がドライブ装置１０１にセットされると、プログラム又は指示が記憶媒体からドライブ装置１０１を介しストレージ装置１０２又はメモリ装置１０３にインストールされる。ただし、プログラム又は指示は、必ずしも記憶媒体からインストールされる必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードされてもよい。

【0022】

ストレージ装置１０２は、ハードディスクドライブなどによって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。

【0023】

メモリ装置１０３は、ランダムアクセスメモリ、スタティックメモリ等によって実現され、プログラム又は指示が起動されると、ストレージ装置１０２からプログラム又は指示、データ等を読み出して格納する。ストレージ装置１０２、メモリ装置１０３及び着脱可能な記憶媒体は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）として総称されてもよい。

【0024】

プロセッサ１０４は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、メモリ装置１０３に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータ等に従って、画像診断装置１００の各種機能及び処理を実行する。

【0025】

ユーザインタフェース（ＵＩ）装置１０５は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと画像診断装置１００との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、画像診断装置１００を操作する。

【0026】

通信装置１０６は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、セルラーネットワーク等の通信ネットワークとの有線及び／又は無線通信処理を実行する各種通信回路により実現される。

【0027】

しかしながら、上述したハードウェア構成は単なる一例であり、本開示による画像診断装置１００は、他の何れか適切なハードウェア構成により実現されてもよい。

【0028】

［画像診断装置］
次に、図４を参照して、本開示の一実施例による画像診断装置１００を説明する。図４は、本開示の一実施例による画像診断装置１００の機能構成を示すブロック図である。

【0029】

図４に示されるように、画像診断装置１００は、取得部１１０及び判定部１２０を有し、判定部１２０は、腫瘍判定部１２１及び浸潤判定部１２２を有する。取得部１１０、判定部１２０、腫瘍判定部１２１及び浸潤判定部１２２の各機能部は、画像診断装置１００のメモリ装置１０３に格納されているコンピュータプログラムがプロセッサ１０４によって実行されることによって実現されてもよい。

【0030】

取得部１１０は、胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得する。ここで、「直接観察」とは、エックス線装置、ＣＴ装置、ＭＲＩ装置などの画像診断装置を利用した非侵襲的な観察でなく、被検者の胸部の開胸手術又は胸腔鏡による胸腔鏡下手術におけるカメラによる胸腔内組織の観察を意味しうる。具体的には、取得部１１０は、医師によって患者の胸腔内に挿入された胸腔鏡又はロボットアームに備えられたカメラによって撮像された肺表面の臓側胸膜の動画データを取得する。取得された動画データは、胸腔鏡に備えられたカメラなどの撮像装置によって撮像された肺表面の内視鏡画像データであってもよい。取得部１１０は、取得した動画データから画像フレームをサンプリングし、サンプリングされた画像フレームを判定部１２０に順次提供する。すなわち、画像データは、肺表面を撮像した動画データから抽出された静止画フレームでありうる。

【0031】

判定部１２０は、画像データを判定モデル２０に入力し、画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する。具体的には、取得部１１０によって動画データからサンプリングされた被検者の肺表面の臓側胸膜の画像データを順次取得すると、判定部１２０は、取得した各画像データを判定モデル２０に入力する。肺表面の腫瘍の臓側胸膜への浸潤は、カメラによって直接観察された臓側胸膜の腫瘍の撮像画像から視覚的に観察できうることが知られている。

【0032】

判定モデル２０は、何れか適切な機械学習モデルによって実現されてもよく、例えば、畳み込みニューラルネットワークなどのニューラルネットワークとして実現されてもよい。判定モデル２０は、画像データを受け付けると、当該画像データにおける腫瘍が臓側胸膜に浸潤しているか否かの判定結果を出力する。判定モデル２０から判定結果を取得すると、判定部１２０は、取得された判定結果を出力する。具体的には、判定部１２０は、胸腔鏡による臓側胸膜の撮影と同時に判定結果をリアルタイムに出力してもよい。例えば、判定部１２０は、カメラによって撮像されている肺表面の腫瘍の動画データと同時に、当該腫瘍が臓側胸膜に浸潤しているか否かの判定結果をディスプレイ上に表示してもよい。また、腫瘍の浸潤の有無は、所定の病理学的胸膜浸潤分類（例えば、ｐ０、ｐ１及びｐ２などの胸膜浸潤レベル）に依拠したものであってもよい。ここで、判定モデル２０は、浸潤の有無の代わりに、胸膜浸潤レベル（例えば、ｐ０、ｐ１及びｐ２）を判定してもよい。

【0033】

判定モデル２０は、臓側胸膜の訓練画像データと、当該訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練済みである。例えば、図１に示されるように、臓側胸膜の訓練画像データと、当該訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データが訓練データＤＢ５０に格納され、訓練対象の判定モデル３０が、訓練データＤＢ５０における訓練データを利用して訓練装置（図示せず）などによって訓練されうる。例えば、訓練対象の判定モデル３０がニューラルネットワークとして実現されている場合、訓練データＤＢ５０の臓側胸膜の訓練画像データが訓練対象の判定モデル３０の入力層に入力され、訓練対象の判定モデル３０の出力層からの出力結果（例えば、浸潤の有無の確信度を示すベクトル値など）が取得される。取得された出力結果と訓練データＤＢ５０の対応するラベルとが比較され、比較結果に応じて訓練対象の判定モデル３０のパラメータが、誤差逆伝播法などに従って更新される。所定の終了条件（例えば、準備された全ての訓練データが処理されたこと、誤差が所定の閾値以下に収束したことなど）が充足されると、訓練対象の判定モデル３０の訓練が終了される。当該訓練が終了すると、更新されたパラメータを有する訓練対象の判定モデル３０が、訓練済み判定モデル２０として画像診断装置１００に提供される。

【0034】

一実施例では、判定モデル２０は、図５に示されるように、腫瘍判定モデル２１と浸潤判定モデル２２とから構成されてもよい。腫瘍判定モデル２１は、取得した肺表面の臓側胸膜の画像データを受け付け、受け付けた画像データにおける腫瘍の有無を示す判定結果を出力する。腫瘍判定モデル２１は、臓側胸膜の訓練画像データと、当該訓練画像データにおける腫瘍の有無を示すラベルとから構成される訓練データによって訓練されうる。

【0035】

他方、浸潤判定モデル２２は、腫瘍判定モデル２１によって腫瘍があると判定された画像データを受け付け、受け付けた画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する。浸潤判定モデル２２は、臓側胸膜における腫瘍の訓練画像データと、当該腫瘍の臓側胸膜表面への浸潤の有無を示すラベルとから構成される訓練データによって訓練されうる。

【0036】

図５に示される実施例では、判定部１２０は、画像データを腫瘍判定モデル２１に入力し、画像データにおける腫瘍の有無を示す腫瘍判定結果を取得する腫瘍判定部１２１と、腫瘍があると判定された画像データを浸潤判定モデル２２に入力し、臓側胸膜における腫瘍の臓側胸膜表面への浸潤の有無を示す浸潤判定結果を取得する浸潤判定部１２２と、を含んでもよい。すなわち、取得部１１０から肺表面の臓側胸膜を示す画像データを取得すると、腫瘍判定部１２１は、取得した画像データを腫瘍判定モデル２１に入力し、入力した画像データにおける腫瘍の有無を示す判定結果を腫瘍判定モデル２１から取得する。腫瘍があると判定された画像データを検出すると、浸潤判定部１２２は、検出した画像データを浸潤判定モデル２２に入力し、入力した画像データにおいて腫瘍が臓側胸膜表面に浸潤しているか否かを示す判定結果を浸潤判定モデル２２から取得する。浸潤判定部１２２は、取得した浸潤の有無を示す判定結果を出力する。このようにして、判定モデル２０を腫瘍判定モデル２１と浸潤判定モデル２２とに分けることによって、腫瘍判定モデル２１によって腫瘍が検出された画像データに対してのみ、浸潤判定モデル２２に浸潤判定を実行させることが可能であり、計算リソースを効率的に利用することができる。また、腫瘍判定モデル２１によって腫瘍が検出された場合、腫瘍判定部１２１は、腫瘍の検出を医師などのユーザに通知することができる。当該通知を受けたユーザが検出された腫瘍に対する浸潤判定を所望する場合、ユーザは浸潤判定部１２２に浸潤判定の実行を指示するようにしてもよい。

【0037】

一実施例では、判定結果は、ヒートマップ表示形式、領域表示形式、アラート表示形式、又は／及び、確率数値形式により腫瘍の位置及び浸潤予測部位を示してもよい。例えば、判定結果がヒートマップ表示形式によって示される場合、画像データにおいて腫瘍が存在すると予測された位置及び浸潤予測部位が、ヒートマップ形式によって表示される確信度とともに、画像データに表示されてもよい。また、判定結果が領域表示形式によって示される場合、画像データにおいて腫瘍が存在すると予測された位置及び浸潤予測部位を示す領域（例えば、矩形領域）が、画像データに重畳されてもよい。また、判定結果がアラート表示形式によって示される場合、画像データにおいて腫瘍が存在すると予測された位置及び浸潤予測部位が、アラートにより示されてもよい。また、判定結果が確率数値形式によって示される場合、画像データにおいて腫瘍が存在すると予測された位置及び浸潤予測部位が、確率値によって示される確信度とともに表示されてもよい。

【0038】

また、一実施例では、判定モデル２０は、Ｆ値に関して訓練されてもよい。ここで、Ｆ値は、適合率（Ｐｒｅｃｉｓｉｏｎ）と再現率との調和平均によって計算される指標である。なお、適合率とは、Ｔｒｕｅと予測した事象のうち実際にＴｒｕｅであった事象の割合を示す指標であり、再現率（Ｒｅｃａｌｌ）とは、実際にＴｒｕｅである事象のうちＴｒｕｅと予測した事象の割合を示す指標である。また、判定モデル２０は、適合率、再現率又は正解率（Ａｃｃｕｒａｃｙ）の何れに関して訓練されてもよい。ここで、正解率とは、全ての予測事象のうち正しく予測した事象の割合を示す指標である。

【0039】

また、一実施例では、判定部１２０は、画像データから臓側胸膜の非撮像領域を削除し、非撮像領域が削除された画像データを判定モデル２０に入力してもよい。判定モデル２０は、このように前処理された画像データを入力として受け付け、前処理された画像データに対して腫瘍判定及び浸潤判定を実行してもよい。例えば、図６Ａに示されるような画像データを取得すると、判定部２０は、取得した画像データの黒枠部分を削除し、図６Ｂに示されるような前処理された画像データを生成してもよい。このような前処理によって、判定精度が向上しうるとともに、判定モデル２０に対する計算負荷を低減することができる。

【0040】

［画像診断処理］
次に、図７を参照して、本開示の一実施例による画像診断処理を説明する。本実施例では、判定モデル２０は、画像データにおける腫瘍の有無を検出する腫瘍判定モデル２１と、画像データにおいて検出された腫瘍の臓側胸膜表面への浸潤の有無を判定する浸潤判定モデル２２とから構成される。

【0041】

図７は、本開示の一実施例による画像診断処理を示すフローチャートである。当該画像診断処理は、例えば、手術中に被検者の胸腔内に挿入された胸腔鏡又はロボットアームに備えられたカメラから動画データを取得することによって開始されうる。画像診断処理は、画像診断装置１００によって実行され、より詳細には、画像診断装置１００のプロセッサ１０４がメモリ装置１０３に格納されたコンピュータプログラム又は指示を実行することによって実現されてもよい。

【0042】

ステップＳ１０１において、画像診断装置１００は、胸腔鏡による画像データを取得する。具体的には、画像診断装置１００は、胸腔鏡による肺表面の臓側胸膜の直接観察による動画データを取得すると、画像診断装置１００は、図８に示されるように、取得した動画データを静止画データに分解し、分解された静止画データを画像データとして取得する。

【0043】

ステップＳ１０２において、画像診断装置１００は、取得した画像データを腫瘍判定モデル２１に入力する。例えば、画像診断装置１００は、各静止画データを腫瘍判定モデル２１に入力する。

【0044】

ステップＳ１０３において、画像診断装置１００は、入力された画像データにおける腫瘍の有無を示す判定結果を腫瘍判定モデル２１から取得する。腫瘍があるという判定結果を取得した場合（Ｓ１０３：ＹＥＳ）、画像診断装置１００は、ステップＳ１０４において、腫瘍があると判定された画像データを浸潤判定モデル２２に入力する。このとき、画像診断装置１００は、腫瘍があるという判定に応答して、自動的に画像データに対して浸潤判定を実行してもよい。あるいは、画像診断装置１００は、腫瘍の検出を医師などのユーザに通知し、ユーザからの浸潤判定の実行指示に応答して、浸潤判定を実行するようにしてもよい。他方、腫瘍がないという判定結果を取得した場合（Ｓ１０３：ＮＯ）、画像診断装置１００は、ステップＳ１０１に戻って、次の画像データを取得する。

【0045】

ステップＳ１０５において、画像診断装置１００は、腫瘍が臓側胸膜表面に浸潤しているか否かを示す判定結果を出力する。すなわち、画像診断装置１００は、入力された画像データにおける腫瘍の臓側胸膜表面への浸潤の有無を示す判定結果を浸潤判定モデル２２から取得すると、取得した判定結果に基づいて、図８に示されるような「浸潤なし」又は「浸潤あり」のラベルと関連付けて、動画データ及び／又は画像データを表示してもよい。例えば、医師が手術支援ロボット４０を操作して患者を手術している場合、ロボットアームを備えたペイシェントカート４２に備えられているカメラによって撮像された肺表面の腫瘍の動画データが、臓側胸膜表面への当該腫瘍の浸潤の有無を示す判定結果とともに、コンソール４１のディスプレイ上に表示されうる。

【0046】

ステップＳ１０６において、画像診断装置１００は、被検者の肺表面の直接観察が終了するまで上述したステップＳ１０１～Ｓ１０５を繰り返す。直接観察が終了すると、画像診断装置１００は、当該画像診断処理を終了する。

【0047】

上述した実施例によると、画像診断装置１００は、手術中に被検者に挿入された胸腔鏡及び／又はロボットアームに備えられたカメラから取得された肺表面の臓側胸膜の画像データを、臓側胸膜表面への腫瘍の浸潤の有無を示す判定結果と同時にディスプレイ上に表示することができる。これにより、医師は、手術中に肺表面の腫瘍の組織を採取して、採取した腫瘍の組織に対する病理医による病理診断に依拠することなく、手術中に腫瘍の臓側胸膜表面への浸潤の有無を迅速に判断することができる。

【0048】

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）
胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得する取得部と、
前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する判定部と、
を有し、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、画像診断装置。
（付記２）
前記判定モデルは、
臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の有無を示す第１のラベルとから構成される第１の訓練データによって訓練された腫瘍判定モデルと、
臓側胸膜における腫瘍の訓練画像データと前記腫瘍の臓側胸膜表面への浸潤の有無を示す第２のラベルとから構成される第２の訓練データによって訓練された浸潤判定モデルと、
を含む、付記１に記載の画像診断装置。
（付記３）
前記判定部は、
前記画像データを前記腫瘍判定モデルに入力し、前記画像データにおける腫瘍の有無を示す腫瘍判定結果を取得する腫瘍判定部と、
前記腫瘍があると判定された前記画像データを前記浸潤判定モデルに入力し、前記臓側胸膜における腫瘍の臓側胸膜表面への浸潤の有無を示す浸潤判定結果を取得する浸潤判定部と、
を含む、付記２に記載の画像診断装置。
（付記４）
前記判定結果は、ヒートマップ表示形式、領域表示形式、アラート表示形式、又は／及び、確率数値形式により前記腫瘍の位置及び浸潤予測部位を示す、付記３に記載の画像診断装置。
（付記５）
前記判定部は、胸腔鏡による前記臓側胸膜の撮影中に前記判定結果をリアルタイムに出力する、付記１から４の何れか１つに記載の画像診断装置。
（付記６）
前記画像データは、前記胸腔鏡に備えられた撮像装置によって撮像された肺の臓側胸膜表面の内視鏡画像データである、付記５に記載の画像診断装置。
（付記７）
前記画像データは、前記臓側胸膜を撮像した動画データから抽出された静止画フレームである、付記１から６の何れか１つに記載の画像診断装置。
（付記８）
前記腫瘍の浸潤の有無は、所定の病理学的胸膜浸潤分類に依拠する、付記１から７の何れか１つに記載の画像診断装置。
（付記９）
前記判定モデルは、Ｆ値に関して訓練される、付記１から８の何れか１つに記載の画像診断装置。
（付記１０）
前記判定部は、前記画像データから前記臓側胸膜の非撮像領域を削除し、前記非撮像領域が削除された画像データを前記判定モデルに入力する、付記１から９の何れか１つに記載の画像診断装置。
（付記１１）
手術支援ロボットに接続又は実装される画像診断装置を有し、
前記画像診断装置は、
前記手術支援ロボットによって撮像された胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得する取得部と、
前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する判定部と、
を有し、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、手術システム。
（付記１２）
胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得することと、
前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力することと、
を画像診断装置が実行し、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、画像診断方法。
（付記１３）
胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得することと、
前記画像データを判定モデルに入力し、前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力することと、
をコンピュータに実行させ、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、コンピュータプログラム。
（付記１４）
胸腔鏡による肺表面の臓側胸膜の直接観察による画像データを取得し、
前記画像データにおける腫瘍の臓側胸膜への浸潤の有無を示す判定結果を出力する、
判定モデルであって、
前記判定モデルは、臓側胸膜の訓練画像データと前記訓練画像データにおける腫瘍の臓側胸膜への浸潤の有無を示すラベルとから構成される訓練データによって訓練されている、判定モデル。

【0049】

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0050】

１０ 手術システム
２０ 訓練済み判定モデル
３０ 訓練対象判定モデル
４０ 手術支援ロボット
５０ 訓練データＤＢ
１００ 画像診断装置
１１０ 取得部
１２０ 判定部
１２１ 腫瘍判定部
１２２ 浸潤判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】