特開 2023-157286 プログラム、モデルの生成方法、情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023157286

(43)【公開日】2023-10-26

(54)【発明の名称】プログラム、モデルの生成方法、情報処理装置及び情報処理方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231019BHJP

   A61B 1/00 20060101ALI20231019BHJP

   H04N 7/18 20060101ALI20231019BHJP

   G02B 23/24 20060101ALN20231019BHJP

   G02B 23/26 20060101ALN20231019BHJP

【ＦＩ】

A61B1/045 622

A61B1/00 513

A61B1/045 614

A61B1/045 618

H04N7/18 M

G02B23/24

G02B23/26

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022067094

(22)【出願日】2022-04-14

(11)【特許番号】

(45)【特許公報発行日】2022-08-29

(71)【出願人】

【識別番号】593099702

【氏名又は名称】株式会社両備システムズ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】冨谷 昌弘

(72)【発明者】

【氏名】張 展

【テーマコード（参考）】

2H040

4C161

5C054

【Ｆターム（参考）】

2H040CA06

2H040CA11

2H040DA11

2H040DA21

2H040GA02

2H040GA06

2H040GA11

2H040GA12

4C161AA00

4C161BB01

4C161BB08

4C161CC06

4C161DD03

4C161NN01

4C161NN05

4C161QQ02

4C161QQ04

4C161WW02

4C161WW08

4C161WW17

5C054CA04

5C054CC02

5C054FC07

5C054FE14

5C054FE17

5C054HA12

(57)【要約】

【課題】被検体内を染色することなく染色後の被検体内を示す画像を取得することができるプログラム等を提供する。
【解決手段】プログラムは、内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第１内視鏡画像を入力して第２内視鏡画像を出力する処理をコンピュータに実行させる。
【選択図】図５

【特許請求の範囲】

【請求項1】

内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第１内視鏡画像を入力して第２内視鏡画像を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記モデルは、未染色の被検体内を示す第１内視鏡画像を入力した場合にインジゴカルミン又はクリスタルバイオレットを含む染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されている
請求項１に記載のプログラム。

【請求項3】

前記モデルは、狭帯域光観察により得られた第１内視鏡画像を入力した場合に染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されている
請求項１又は請求項２に記載のプログラム。

【請求項4】

前記モデルは染色液の種類に応じて複数設けられており、
染色液の種類を受け付け、
受け付けた染色液に対応するモデルを選択し、
選択した染色液に対応するモデルに、取得した前記第１内視鏡画像を入力して、受け付けた染色液による染色後の被検体内を示す前記第２内視鏡画像を出力する
請求項１又は請求項２に記載のプログラム。

【請求項5】

前記モデルは入力される前記第１内視鏡画像の種類に応じて複数設けられており、
取得した前記第１内視鏡画像の種類を判定し、
取得した前記第１内視鏡画像が狭帯域光観察により得られた第１内視鏡画像であると判定した場合、狭帯域光観察により得られた第１内視鏡画像用のモデルを選択し、
選択した狭帯域光観察により得られた第１内視鏡画像用のモデルに、取得した狭帯域光観察により得られた前記第１内視鏡画像を入力して前記第２内視鏡画像を出力する
請求項１又は請求項２に記載のプログラム。

【請求項6】

狭帯域光観察により得られた第１内視鏡画像用の前記モデルは染色液の種類に応じて複数設けられており、
染色液の種類を受け付け、
受け付けた染色液に対応するモデルを選択し、
選択した染色液に対応するモデルに、取得した狭帯域光観察により得られた前記第１内視鏡画像を入力して、受け付けた染色液による染色後の被検体内を示す前記第２内視鏡画像を出力する
請求項５に記載のプログラム。

【請求項7】

前記第１内視鏡画像と、生成した前記第２内視鏡画像とを対比可能に表示する
請求項１又は請求項２に記載のプログラム。

【請求項8】

複数種類の染色液の選択を受け付け、
前記モデルを用いて、選択された複数種類の染色液にそれぞれによる染色後の被検体内を示す複数の前記第２内視鏡画像を出力する
請求項１又は請求項２に記載のプログラム。

【請求項9】

内視鏡画像を入力した場合に内視鏡画像における腫瘍に関する情報を出力するよう学習された第２モデルに、前記モデルから出力された前記第２内視鏡画像を入力して腫瘍に関する情報を出力する
請求項１又は請求項２に記載のプログラム。

【請求項10】

内視鏡画像を入力した場合に内視鏡画像における腫瘍に関する情報を出力するよう学習された第２モデルに、前記第１内視鏡画像を入力して前記第１内視鏡画像における腫瘍に関する情報を出力し、
出力された前記第１内視鏡画像における腫瘍に関する情報が所定条件を満たす場合、前記モデルにより前記第２内視鏡画像を生成し、
生成した前記第２内視鏡画像を前記第２モデルに入力して前記第２内視鏡画像における腫瘍に関する情報を出力する
請求項９に記載のプログラム。

【請求項11】

被検体内における第１部位に係る第１内視鏡画像及び前記第１部位に係る第２内視鏡画像を含む訓練データを用いて学習された前記モデルに、被検体内における第２部位に係る前記第１内視鏡画像を入力して前記第２部位に係る前記第２内視鏡画像を生成する
請求項１又は請求項２に記載のプログラム。

【請求項12】

未染色の被検体内を示す第１内視鏡画像と、染色液による染色後の被検体内を示す第２内視鏡画像とを取得し、
未染色の被検体内を示す第１内視鏡画像を入力した場合に染色液による染色後の被検体内を示す第２内視鏡画像を生成する第１生成モデルと、染色液による染色後の被検体内を示す第２内視鏡画像を入力した場合に未染色の被検体内を示す第１内視鏡画像を生成する第２生成モデルと、前記第１生成モデルが生成した第２内視鏡画像または取得した第２内視鏡画像が入力された場合に前記第１生成モデルが生成した画像か否かを識別する第１識別モデルと、前記第２生成モデルが生成した第１内視鏡画像または取得した第１内視鏡画像が入力された場合に第２生成モデルが生成した画像か否かを識別する第２識別モデルと、を共同でトレーニングすることにより前記第１生成モデルを生成する
モデルの生成方法。

【請求項13】

内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第１内視鏡画像を入力して第２内視鏡画像を出力する
処理を実行する制御部を備える
情報処理装置。

【請求項14】

内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第１内視鏡画像を入力して第２内視鏡画像を出力する
処理をコンピュータが実行する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、モデルの生成方法、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来、消化管等の生体内部を診断するために内視鏡が広く使用されている。医師は、内視鏡により撮像された画像を用いて検査の対象となる組織の観察を行う。内視鏡を用いた検査は、一般的に、染色液を用いることなく可視光内視鏡により観察を行う内視鏡法により行なわれている。

【0003】

また、通常の内視鏡法では診断困難な微細な粘膜表面の観察などを可能にする方法として、組織表面に色素を含む染色液を撒布した状態で、色素内視鏡により観察を行う色素内視鏡法（色素法）に関する技術が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６４３８３２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、色素内視鏡法は被検体を染色する必要があるという問題がある。被検体内への染色液の撒布には時間やコストを要し、また、観察対象となる部位によっては染色液を容易に撒布することができない。

【0006】

本開示の目的は、被検体内を染色することなく染色後の被検体内を示す画像を取得することができるプログラム等を提供することである。

【課題を解決するための手段】

【0007】

本開示の一態様に係るプログラムは、内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第１内視鏡画像を入力して第２内視鏡画像を出力する処理をコンピュータに実行させる。

【0008】

本開示の一態様に係るモデルの生成方法は、未染色の被検体内を示す第１内視鏡画像と、染色液による染色後の被検体内を示す第２内視鏡画像とを取得し、未染色の被検体内を示す第１内視鏡画像を入力した場合に染色液による染色後の被検体内を示す第２内視鏡画像を生成する第１生成モデルと、染色液による染色後の被検体内を示す第２内視鏡画像を入力した場合に未染色の被検体内を示す第１内視鏡画像を生成する第２生成モデルと、前記第１生成モデルが生成した第２内視鏡画像または取得した第２内視鏡画像が入力された場合に前記第１生成モデルが生成した画像か否かを識別する第１識別モデルと、前記第２生成モデルが生成した第１内視鏡画像または取得した第１内視鏡画像が入力された場合に第２生成モデルが生成した画像か否かを識別する第２識別モデルと、を共同でトレーニングすることにより前記第１生成モデルを生成する。

【発明の効果】

【0009】

本開示によれば、被検体内を染色することなく染色後の被検体内を示す画像を取得することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態の情報処理システムの概要図である。

【図2】情報処理システムの構成例を示すブロック図である。

【図3】第１学習モデルの概要図である。

【図4】第１生成器を含む第１学習モデルの生成処理手順の一例を示すフローチャートである。

【図5】情報処理システムが実行する処理手順の一例を示すフローチャートである。

【図6】表示装置に表示される画面の一例を示す模式図である。

【図7】第２実施形態の情報処理システムの概要図である。

【図8】第２実施形態の情報処理システムが実行する処理手順の一例を示すフローチャートである。

【図9】表示装置に表示される画面の一例を示す模式図である。

【図10】第３実施形態の情報処理システムの概要図である。

【図11】第２学習モデルの概要図である。

【図12】第３実施形態の情報処理システムが実行する処理手順の一例を示すフローチャートである。

【図13】表示装置に表示される画面の一例を示す模式図である。

【発明を実施するための形態】

【0011】

本開示をその実施の形態を示す図面を参照して具体的に説明する。

【0012】

（第１実施形態）
図１は、第１実施形態の情報処理システム１００の概要図である。情報処理システム１００は、内視鏡装置１及び情報処理装置２を備える。内視鏡装置１及び情報処理装置２は、例えばインターネット又はＬＡＮ（Local Area Network）等のネットワークＮを介して通信可能に接続されている。情報処理システム１００に含まれる内視鏡装置１は１つに限らず複数であってもよい。

【0013】

内視鏡装置１は、被検者の生体内（被検体内）を撮像する内視鏡１１、及び内視鏡１１により得られた信号に基づいて生体内部の内視鏡画像を生成するプロセッサ装置１２を備える。

【0014】

内視鏡１１は、生体内に挿入される長尺の挿入部と、操作部とを備え、プロセッサ装置１２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置１２に接続されている。プロセッサ装置１２に設けられた光源１２５（図２参照）から光ファイバーで導かれた光が内視鏡１１の挿入部の先端から照射され、内視鏡１１の撮像光学系により生体内の画像が取得される。

【0015】

プロセッサ装置１２は、内視鏡１１で撮像された撮像信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等の各種画像処理を行い、ユーザが目視しやすい状態にした画像（内視鏡画像）を生成する。生成される内視鏡画像は、例えば所定のサンプリングレートにより取得される複数の静止画像を含む動画像である。プロセッサ装置１２は、生成した内視鏡画像を情報処理装置２へ送信する。

【0016】

プロセッサ装置１２には、表示装置１３及び入力装置１４が接続されている。表示装置１３は、例えば液晶又は有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイ装置を備える。表示装置１３は、プロセッサ装置１２が生成した内視鏡画像及び情報処理装置から取得した各種情報等を表示する。入力装置１４は、例えばキーボード、ディスプレイ内蔵のタッチパネルデバイス、スピーカ及びマイクロフォン等を備える。入力装置１４は、ユーザからの操作入力を受け付け、操作内容に応じた制御信号をプロセッサ装置１２へ送出する。

【0017】

光源１２５は、被検体内を照明する照明光を内視鏡１１に供給する。光源１２５は、例えば、レーザーダイオード、ＬＥＤ(Light Emitting Diode)、キセノンランプ等の光源装置を備える。光源１２５は、通常光観察用の白色光と、狭帯域光観察（ＮＢＩ：Narrow Band Imaging（登録商標））用の特定の波長帯域光である励起光とを発生可能に構成されている。プロセッサ装置１２は、例えば通常光観察モードに対応する照明モードと狭帯域光観察モードに対応する照明モードとの切り換えを指示する不図示の切り替えスイッチを備え、切り替えスイッチを切り替えることにより、通常光観察モードと狭帯域光観察モードとの切り替えが可能である。

【0018】

通常光観察とは、生体内に染色液を撒布することなく生体内を観察するものである。狭帯域光観察とは、通常光観察と同様に、染色液を撒布することなく生体内を観察するものである。狭帯域光観察（特殊光観察）では、血液中のヘモグロビンに吸収されやすい狭帯域化された２つの波長（３９０～４４５ｎｍ及び５３０～５５０ｎｍ）の光を生体組織に対して照射することにより、粘膜表層の毛細血管や粘膜微細模様の強調表示を実現する。なおプロセッサ装置１２は、通常光観察用及び狭帯域光観察用の少なくとも一方に対応した光源１２５を備えるのものであってもよい。以下の説明では必要に応じて、内視鏡画像のうち、通常光観察用の白色光により生成される内視鏡画像を通常内視鏡画像、狭帯域光観察用の励起光により生成される内視鏡画像をＮＢＩ内視鏡画像とも称する。

【0019】

情報処理装置２は、種々の情報処理、情報の送受信が可能な装置であり、例えばサーバコンピュータ、パーソナルコンピュータ、又は量子コンピュータ等である。情報処理装置２は内視鏡装置１と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して内視鏡装置１に通信接続されたクラウドサーバであってもよい。情報処理装置２は、内視鏡装置１により生成された染色液を未撒布の生体内の状態を示す内視鏡画像（未染色内視鏡画像）を取得する。情報処理装置２は、取得した内視鏡画像に基づき、後述する第１学習モデルを用いて、染色液を撒布した後の生体内の状態を示す内視鏡画像（染色後内視鏡画像）を生成する。

【0020】

染色後内視鏡画像とは、色素法により得られる内視鏡画像に対応する。色素法とは、内視鏡検査中に各種の色素を含む染色液を生体内に撒布することにより、組織表面における凹凸の強調や、特定の組織を反応させる手法である。

【0021】

染色後内視鏡画像の対象となる色素法は限定されるものではない。一例として、コントラスト法は、例えばインジゴカルミンを用いて、組織表面（病変）の凹凸を強調し観察する。染色法は、例えばトルイジンブルー、メチレンブルー等を用いて、色素液の浸潤又は吸収による生検組織の染色を観察する。色素反応法は、例えばクリスタルバイオレット、ルゴール等を用いて、色素がある特定の環境下で特異的に反応する現象を観察する。

【0022】

上述のような色素法による染色後内視鏡画像を用いることで、例えば病変、病変の位置、又は深達度等を精度よく認識することができる。しかしながら、染色液を生体内に撒布するには時間やコストを要し、被検者への負担が大きく、医療従事者側においても負担が増加する。また、例えば気管支、膀胱、子宮等の生体部位については、染色液を撒布することが困難であり、色素法を適用することができない場合がある。情報処理システム１００では、実際に生体内に染色液を撒布することなく、未染色の生体内を撮像した未染色内視鏡画像から疑似的な染色後内視鏡画像を生成する。情報処理システム１００は、生成した染色後内視鏡画像を医師等の医療従事者へ提供することで、医療従事者の診断、検査又は鏡視下手術などを好適に支援する。

【0023】

図２は、情報処理システム１００の構成例を示すブロック図である。
内視鏡装置１のプロセッサ装置１２は、上述の光源１２５に加えて、制御部１２１、記憶部１２２、通信部１２３及び入出力部１２４等を備える。

【0024】

制御部１２１は、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を用いたプロセッサを備える。制御部１２１は、内蔵するＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等のメモリ、クロック、カウンタ等を用い、各構成部を制御して処理を実行する。

【0025】

記憶部１２２は、例えばハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを備える。記憶部１２２は、制御部１２１が参照するプログラム１Ｐを含む各種プログラム及びデータを記憶する。

【0026】

通信部１２３は、通信に関する処理を行うための通信モジュールである。制御部１２１は、通信部１２３を介して情報処理装置２との間でデータを送受信する。

【0027】

入出力部１２４は、外部装置を接続するための入出力Ｉ／Ｆ（Interface）を備える。入出力部１２４には、表示装置１３及び入力装置１４等が接続されている。制御部１２１は、入力装置１４に対する外部からの操作に応じて発生した入力信号に基づき行った情報処理の結果を表示装置１３に出力する。

【0028】

情報処理装置２は、制御部２１、記憶部２２及び通信部２３を備える。情報処理装置２は、複数台のコンピュータで構成し分散処理する構成でもよく、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよく、クラウドサーバを用いて実現されていてもよい。

【0029】

制御部２１は、一又は複数のＣＰＵ、ＧＰＵ等を用いたプロセッサを備える。制御部２１は、内蔵するＲＯＭ又はＲＡＭ等のメモリ、クロック、カウンタ等を用い、各構成部を制御して処理を実行する。

【0030】

記憶部２２は、例えばハードディスク、フラッシュメモリ、ＳＳＤ等の不揮発性メモリを備える。記憶部２２は、情報処理装置２に接続された外部記憶装置であってもよい。記憶部２２は、制御部２１が参照するプログラム及びデータを記憶する。記憶部２２に記憶されるプログラムには、染色後内視鏡画像の生成に関する処理をコンピュータに実行させるためのプログラム２Ｐが含まれる。

【0031】

記憶部２２に記憶されるプログラム（プログラム製品）は、記録媒体にコンピュータ読み取り可能に記録されている態様でもよい。記憶部２２は、読出装置によって記録媒体２Ａから読み出されたプログラムを記憶する。記録媒体２Ａは、磁気ディスク、光ディスク、半導体メモリ等である。また、通信ネットワークに接続されている外部サーバからプログラムをダウンロードし、記憶部２２に記憶させてもよい。プログラム２Ｐは、単一のコンピュータプログラムでも複数のコンピュータプログラムにより構成されるものでもよく、また、単一のコンピュータ上で実行されても通信ネットワークによって相互接続された複数のコンピュータ上で実行されてもよい。

【0032】

記憶部２２にはまた、第１学習モデル２２２が記憶されている。第１学習モデル２２２は、所定の訓練データを学習済みの機械学習モデルである。第１学習モデル２２２は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

【0033】

通信部２３は、ネットワークＮを介して外部装置と通信するための通信モジュールを備える。制御部２１は、通信部２３を介して内視鏡装置１との間でデータを送受信する。

【0034】

情報処理装置２の構成は上述の例に限定されず、例えばユーザの操作を受け付けるための操作部、各種情報を表示するための表示部等を備えてもよい。

【0035】

なお情報処理装置２は、プロセッサ装置１２とは別個の装置に限られず、例えば情報処理装置２とプロセッサ装置１２とが共通する１台の処理装置であってもよい。

【0036】

図３は、第１学習モデル２２２の概要図である。本実施形態では、情報処理装置２は、ＣｙｃｌｅＧＡＮ（Cycle Generative Adversarial Networks）の手法を用いて未染色内視鏡画像及び染色後内視鏡画像を学習し、第１学習モデル２２２を生成する。

【0037】

ＣｙｃｌｅＧＡＮは、敵対的生成ネットワークである２つのＧＡＮを含み、２つのＧＡＮにサイクル性を持たせたモデルである。図３に示すように、第１学習モデル２２２は、第１のＧＡＮを構成する第１生成器２２２ａ及び第１識別器２２２ｂと、第２のＧＡＮを構成する第２生成器２２２ｃ及び第２識別器２２２ｄとを含む。

【0038】

第１生成器２２２ａは、入力データから出力データを生成する生成器（ Generator）であり、第１生成モデルに対応する。第１生成器２２２ａは、入力される未染色内視鏡画像ｘに基づき、偽の染色後内視鏡画像（生成染色後内視鏡画像）Ｇ（ｘ）を生成する。第１生成器２２２ａに入力される未染色内視鏡画像ｘは、未染色の状態を示す通常内視鏡画像及びＮＢＩ内視鏡画像のいずれであってもよい。第１生成器２２２ａから出力される生成染色後内視鏡画像Ｇ（ｘ）は、例えば、色素としてインジコカルミンを含む染色液を撒布した後の状態を示す内視鏡画像である。生成染色後内視鏡画像Ｇ（ｘ）は、インジコカルミン以外を含む染色液を撒布した後の状態を示す内視鏡画像であってもよい。

【0039】

第１識別器２２２ｂは、入力データの真偽を識別する識別器（ Discriminator）であり、第１識別モデルに対応する。第１識別器２２２ｂは、第１生成器２２２ａから入力された画像が、染色後内視鏡画像群Ｙに含まれる染色後内視鏡画像ｙ（すなわち本物）であるか、第１生成器２２２ａにより生成された生成染色後内視鏡画像Ｇ（ｘ）（すなわち偽物）であるかを識別する。

【0040】

第２生成器２２２ｃは、入力データから出力データを生成する生成器であり、第２生成モデルに対応する。第２生成器２２２ｃは、入力される染色後内視鏡画像ｙに基づき、偽の未染色内視鏡画像（生成未染色内視鏡画像）Ｇ（ｙ）を生成する。第２生成器２２２ｃに入力される染色後内視鏡画像ｙは、通常内視鏡画像及びＮＢＩ内視鏡画像のいずれであってもよい。染色後内視鏡画像ｙは、例えば、色素としてインジコカルミンを含む染色液を撒布した後の状態を示す内視鏡画像である。染色後内視鏡画像ｙは、インジコカルミン以外を含む染色液を撒布した後の状態を示す内視鏡画像であってもよい。

【0041】

第２識別器２２２ｄは、入力データの真偽を識別する識別器であり、第２識別モデルに対応する。第２識別器２２２ｄは、第２生成器２２２ｃから入力された画像が、未染色内視鏡画像群Ｘに含まれる未染色内視鏡画像ｘ（すなわち本物）であるか、第２生成器２２２ｃにより生成された生成未染色内視鏡画像Ｇ（ｙ）（すなわち偽物）であるかを識別する。

【0042】

第１学習モデル２２２は、予め情報処理装置２において生成され、学習される。情報処理装置２は、例えば病院のカルテデータベース等を通じて、過去の内視鏡検査において取得された内視鏡画像を大量に収集する。収集される内視鏡画像には、内視鏡装置１により撮像された本物の未染色内視鏡画像ｘと、内視鏡装置１により撮像された本物の染色後内視鏡画像ｙとが含まれている。

【0043】

情報処理装置２は、複数の未染色内視鏡画像ｘを含む未染色内視鏡画像群Ｘと、複数の染色後内視鏡画像ｙを含む染色後内視鏡画像群Ｙとを訓練データとして用いて、第１学習モデル２２２を機械学習する。なお、ドメインの異なる未染色内視鏡画像ｘと、染色後内視鏡画像ｙのペア付け（データのラベリング）は不要である。

【0044】

未染色内視鏡画像ｘと、染色後内視鏡画像ｙとは、同一の生体部位に係る内視鏡画像であってもよく、異なる生体部位に係る内視鏡画像であってもよい。一例として、未染色内視鏡画像群Ｘは、上部消化管用の内視鏡装置１により未染色の被検者の胃を撮像した内視鏡画像群であり、染色後内視鏡画像群Ｙは、下部消化管用の内視鏡装置１により染色後の被検者の大腸を撮像した内視鏡画像群であってもよい。

【0045】

上述のようなアンペアな画像群を訓練データとして使用することで、訓練データの収集を容易にすることができる。また、アンペアな画像群を訓練データとすることができるため、染色が困難な部位の染色後内視鏡画像を不要とすることができる。従って、例えば気管支、膀胱又は子宮等、染色液を撒布することが困難な生体部位についても、染色後画像を精度よく生成することができる。

【0046】

情報処理装置２は、第１生成器２２２ａにて、第１識別器２２２ｂをだませるほどに本物の染色後内視鏡画像ｙに近い生成染色後内視鏡画像Ｇ（ｘ）を生成するように、例えば誤差逆伝播法を用いて第１学習モデル２２２の各種パラメータを最適化する。同様に情報処理装置２は、第２生成器２２２ｃにて、第２識別器２２２ｄをだませるほどに本物の未染色内視鏡画像ｘに近い生成未染色内視鏡画像Ｇ（ｙ）を生成するように、第１学習モデル２２２の各種パラメータを最適化する。

【0047】

情報処理装置２はまた、第１識別器２２２ｂにて、第１生成器２２２ａにより生成された生成染色後内視鏡画像Ｇ（ｘ）を「偽物」であると正しく識別し、染色後内視鏡画像ｙを「本物」であると正しく識別できるように、第１学習モデル２２２の各種パラメータを最適化する。同様に情報処理装置２は、第２識別器２２２ｄにて、第２生成器２２２ｃにより生成された生成未染色内視鏡画像Ｇ（ｙ）を「偽物」であると正しく識別し、未染色内視鏡画像ｘを「本物」であると正しく識別できるように、第１学習モデル２２２の各種パラメータを最適化する。上述の処理は敵対性損失の最適化に対応する。

【0048】

さらに情報処理装置２は、未染色内視鏡画像群Ｘの未染色内視鏡画像ｘを第１生成器２２２ａで変換した生成染色後内視鏡画像Ｇ（ｘ）を、さらに第２生成器２２２ｃで変換した生成未染色内視鏡画像Ｇ（ｙ）が、元の未染色内視鏡画像ｘに戻るように、第１学習モデル２２２の各種パラメータを最適化する。同様に情報処理装置２は、染色後内視鏡画像群Ｙの染色後内視鏡画像ｙを第２生成器２２２ｃで変換した生成未染色内視鏡画像Ｇ（ｙ）を、さらに第１生成器２２２ａで変換した生成染色後内視鏡画像Ｇ（ｘ）が、元の染色後内視鏡画像ｙに戻るように、第１学習モデル２２２の各種パラメータを最適化する。上述の処理はサイクル一貫性損失の最適化に対応する。

【0049】

第１学習モデル２２２は、各生成器及び各識別器が競合して学習を行い、最終的に生成器の損失関数が最小化し、かつ、識別器の損失関数が最大化するよう学習される。情報処理装置２は、学習が完了すると、学習済みの第１学習モデル２２２を記憶部２２に記憶する。

【0050】

情報処理装置２は、得られた第１学習モデル２２２の第１生成器２２２ａを画像生成モデルとして利用する。情報処理装置２は、第１生成器２２２ａへ未染色内視鏡画像を入力して、染色後内視鏡画像を生成することができる。

【0051】

第１生成器２２２ａへ入力する未染色内視鏡画像の生体部位と、訓練データに使用した内視鏡画像の生体部位とは、同一であってもよく、異なるものであってもよい。すなわち、所定の部位に係る内視鏡画像を含む訓練データを用いて第１学習モデル２２２を構築し、当該第１学習モデル２２２を用いて、前記所定の部位以外の部位に係る染色後内視鏡画像を生成することができる。情報処理装置２は、例えば、被検者の胃又は大腸を撮像した画像を含む未染色内視鏡画像群Ｘと、被検者の胃を撮像した画像を含む染色後内視鏡画像群Ｙとを訓練データとして使用して、第１学習モデル２２２を構築する。情報処理装置２は、第１学習モデル２２２へ被検者の胃及び大腸以外の部位（例えば気管支）に係る未染色内視鏡画像を入力データとして与え、当該胃及び大腸以外の部位に係る染色後内視鏡画像を生成することができる。

【0052】

なお本実施形態においては、第１学習モデル２２２はＣｙｃｌｅＧＡＮであるものとするが、第１学習モデル２２２の構成は限定されるものではない。第１学習モデル２２２は、未染色内視鏡画像に応じた染色後内視鏡画像を生成可能であればよい。第１学習モデル２２２は、例えばＣＵＴ（Contrastive Unpaired Translation）、Ｕ－ｎｅｔ、深層学習、回帰木等の他の学習アルゴリズムに基づくモデルであってもよい。

【0053】

図４は、第１生成器２２２ａを含む第１学習モデル２２２の生成処理手順の一例を示すフローチャートである。

【0054】

情報処理装置２の制御部２１は、複数の未染色内視鏡画像及び染色後内視鏡画像を含む画像データ群である訓練データを取得する（ステップＳ１０１）。

【0055】

制御部２１は、取得した訓練データを用いて、未染色内視鏡画像を入力した場合に、染色後内視鏡画像を出力する第１生成器２２２ａを含む第１学習モデル２２２を生成する（ステップＳ１０２）。具体的には制御部２１は、上述の如くＣｙｃｌｅＧＡＮの手法を用いて、第１生成器２２２ａ、第１識別器２２２ｂ、第２生成器２２２ｃ及び第２識別器２２２ｄを共同でトレーニングすることにより、敵対性損失及びサイクル一貫性損失を最適化するよう第１学習モデル２２２を学習する。制御部２１は、第１生成器２２２ａ及び第２生成器２２２ｃそれぞれの損失関数が最小化し、かつ、第１識別器２２２ｂ及び第２識別器２２２ｄの損失関数が最大化するよう、例えば誤差逆伝播法を用いて第１学習モデル２２２のパラメータを調整する。

【0056】

学習が開始される前の段階では、第１学習モデル２２２を記述する定義情報には、初期設定値が与えられているものとする。誤差、学習回数が所定基準を満たすことによって学習が完了すると、最適化されたパラメータが得られる。学習が終了すると、制御部２１は、学習済みの第１学習モデル２２２として、学習済みの第１学習モデル２２２に関する定義情報を記憶部２２に記憶し、一連の処理を終了する。

【0057】

第１学習モデル２２２は、情報処理装置２において構築されるものに限らず、情報処理装置２と通信接続された外部装置において構築され、情報処理装置２へ送信されてもよい。情報処理装置２の記憶部２２には、外部装置から受信した第１学習モデル２２２が記憶される。なお第１学習モデル２２２は、情報処理装置２に記憶されるものに限らずプロセッサ装置１２側に記憶されていてもよい。

【0058】

図５は、情報処理システム１００が実行する処理手順の一例を示すフローチャートである。以下の各フローチャートにおける処理は、プロセッサ装置１２の記憶部１２２に記憶するプログラム１Ｐに従って制御部１２１により実行されるとともに情報処理装置２の記憶部２２に記憶するプログラム２Ｐに従って制御部２１により実行されてもよく、制御部１２１及び制御部２１それぞれに備えられた専用のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）により実現されてもよく、それらの組合せによって実現されてもよい。

【0059】

プロセッサ装置１２の制御部１２１は、内視鏡１１から撮像画像を取得し、取得した撮像画像に所定の画像処理を施した未染色内視鏡画像を取得する（ステップＳ１１）。制御部１２１は、取得した未染色内視鏡画像を情報処理装置２へ送信する（ステップＳ１２）。

【0060】

情報処理装置２の制御部２１は、プロセッサ装置１２から未染色内視鏡画像を受信する（ステップＳ１３）。制御部２１は、受信した未染色内視鏡画像を第１学習モデル２２２の第１生成器２２２ａへ入力する（ステップＳ１４）。制御部２１は、第１学習モデル２２２の第１生成器２２２ａから出力される染色後内視鏡画像を取得する（ステップＳ１５）。

【0061】

制御部２１は、取得した染色後内視鏡画像を含む画面を生成する（ステップＳ１６）。制御部２１は、生成した画面をプロセッサ装置１２へ送信する（ステップＳ１７）。

【0062】

プロセッサ装置１２の制御部１２１は、情報処理装置２から画面を受信し（ステップＳ１８）、受信した画面を表示装置１３へ表示する（ステップＳ１９）。

【0063】

制御部１２１は、処理を終了するか否かを判定する（ステップＳ２０）。終了しないと判定した場合（ステップＳ２０：ＮＯ）、制御部１２１は処理をステップＳ１１へ戻す。終了すると判定した場合（ステップＳ２０：ＹＥＳ）、制御部１２１は一連の処理を終了する。

【0064】

医療従事者は、表示装置１３を介して表示される染色後内視鏡画像に基づき、実際の染色工程を経ることなく染色後の状態を把握することができる。なお、上述の染色後内視鏡画像の生成は、検査時のリアルタイムで行ってもよく、あるいは検査後に録画された内視鏡画像をまとめて取得し、染色後内視鏡画像の生成を行ってもよい。

【0065】

上述のフローチャートにおける各処理の処理主体は限定されるものではない。図５における処理の一部又は全部は、プロセッサ装置１２で実行されてもよい。プロセッサ装置１２は、予め第１学習モデル２２２を記憶部１２２に記憶しておき、当該第１学習モデル２２２を用いて画像生成処理を実行してもよい。また染色後内視鏡画像は、プロセッサ装置１２を介して表示装置１３へ表示されるものに限られず、制御部２１は、プロセッサ装置１２以外の装置に染色後内視鏡画像を出力し、表示させてもよい。

【0066】

情報処理装置２とプロセッサ装置１２との間におけるデータの授受はネットワークＮを介した通信によるものに限らず、例えば記録媒体を用いたオフラインによる手法にてデータを授受するものであってもよい。

【0067】

図６は、表示装置１３に表示される画面の一例を示す模式図である。画面には、例えば未染色内視鏡画像表示部１３１と、染色後内視鏡画像表示部１３２とが含まれている。未染色内視鏡画像表示部１３１及び染色後内視鏡画像表示部１３２は並べて表示されている。

【0068】

未染色内視鏡画像表示部１３１には、プロセッサ装置１２から取得した未染色の生体内を示す内視鏡画像が表示されている。

【0069】

染色後内視鏡画像表示部１３２には、未染色内視鏡画像を変換した染色後内視鏡画像が表示されている。染色後内視鏡画像表示部１３２には、例えばインジコカルミンを用いたコントラスト法による染色後の生体内を示す画像が表示されている。染色後内視鏡画像表示部１３２に表示される内視鏡画像は、未染色内視鏡画像表示部１３１の未染色内視鏡画像に含まれる生体内部の領域に対し、染色液を撒布した後の状態を仮想的に示す画像である。

【0070】

情報処理装置２は、プロセッサ装置１２から未染色内視鏡を取得した場合、第１学習モデル２２２を用いて取得した未染色内視鏡を染色後内視鏡画像へ変換する。情報処理装置２は、元の未染色内視鏡を未染色内視鏡画像表示部１３１に表示させるとともに、変換後の染色後内視鏡画像を染色後内視鏡画像表示部１３２に表示させる。

【0071】

なお、図６に示す画面構成は一例である。未染色内視鏡画像及び染色後内視鏡画像は並列表示されるものに限らず、未染色内視鏡画像及び染色後内視鏡画像を対比可能に表示するものであればよい。

【0072】

本実施形態によれば、検査時における染色液の撒布を行うことなく、第１学習モデル２２２を用いて、未染色内視鏡画像から染色後内視鏡画像を容易且つ精度よく生成することができる。

【0073】

（第２実施形態）
第２実施形態では、複数の第１学習モデル２２２を備える構成について説明する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

【0074】

図７は、第２実施形態の情報処理システム１００の概要図である。第２実施形態の情報処理システム１００では、情報処理装置２の記憶部２２に複数の第１学習モデル２２２が記憶されている。

【0075】

第２実施形態の情報処理装置２は、染色後内視鏡画像の生成対象とする染色液の種類と、内視鏡画像の種類とに応じて複数の第１学習モデル２２２を構築し、記憶部２２に記憶しておく。各第１学習モデル２２２の構成は第１実施形態と同様である。

【0076】

上述したように、色素法には各種の手法があり、色素法の手法により使用可能な染色液の色素が異なる。また同一の手法であっても複数の色素が使用可能である。使用する色素に応じて染色後の生体内の状態は異なるため、生体内の状態を示す染色後内視鏡画像も異なることが予想される。第２実施形態では、染色液の種類毎に第１学習モデル２２２を用意することで、所望の染色液を適用した場合の染色後内視鏡画像を提供する。本実施形態における染色液の種類は、一例として、インジコカルミン、トルイジンブルー及びクリスタルバイオレットを含む。

【0077】

また、プロセッサ装置１２から取得する未染色内視鏡画像には、通常内視鏡画像とＮＢＩ内視鏡画像とが含まれている。第２実施形態では内視鏡画像の種類毎に第１学習モデル２２２を用意することで、プロセッサ装置１２から取得する未染色内視鏡画像の種類に応じた染色後内視鏡画像を提供する。

【0078】

記憶部２２には、上記３種類の染色液と、２種類の内視鏡画像との組み合わせに応じた６つの第１学習モデル２２２が記憶されている。

【0079】

情報処理装置２は、第１学習モデル２２２の学習にあたり、訓練データに用いる未染色内視鏡画像ｘとして、異なる種類の内視鏡画像を複数取得する。この場合において、情報処理装置２は、未染色内視鏡画像と、未染色内視鏡画像に係る内視鏡画像の種類とを対応付けて取得する。また情報処理装置２は、訓練データに用いる染色後内視鏡画像ｙとして、異なる種類の染色液により染色した複数の染色後内視鏡画像を取得する。この場合において、情報処理装置２は、染色後内視鏡画像と、染色後内視鏡画像に係る染色液の種類とを対応付けて取得する。

【0080】

情報処理装置２は、同一種類の内視鏡画像が対応付けられた未染色内視鏡画像ｘを含む未染色内視鏡画像群Ｘと、同一種類の染色液が対応付けられた染色後内視鏡画像ｙを含む染色後内視鏡画像群Ｙと、を訓練データとして使用することにより、内視鏡画像及び染色液の種類に応じた第１学習モデル２２２を構築することができる。各第１学習モデル２２２の第１生成器２２２ａは、特定種の未染色内視鏡画像を入力として、特定種の染色液による染色後の生体内を示す特定種の染色後内視鏡画像を出力する。

【0081】

なお、第１学習モデル２２２は、内視鏡画像及び染色液の種類毎に設けられるものに限らず、内視鏡画像の種類毎に設けられてもよく、染色液の種類毎に設けられてもよい。第１学習モデル２２２は、色素法の種類（例えばコントラスト法、染色法及び反応法）の種類毎に設けられてもよい。

【0082】

図８は、第２実施形態の情報処理システム１００が実行する処理手順の一例を示すフローチャートである。

【0083】

プロセッサ装置１２の制御部１２１は、医療従事者が入力装置１４を通じて行う選択操作又は入力操作を受け付けることにより、操作に基づき選択又は入力された染色液の種類を受け付ける（ステップＳ３１）。制御部１２１は、情報処理装置２から送信される染色液の種類を受け付けるための受付画面を表示装置１３に表示し、受付画面を利用して医療従事者から染色液の種類を受け付けてもよい。

【0084】

制御部１２１は、受け付けた染色液の種類を特定する情報を情報処理装置２へ送信する（ステップＳ３２）。

【0085】

情報処理装置２の制御部２１は、プロセッサ装置１２から染色液の種類を受信する（ステップＳ３３）。

【0086】

プロセッサ装置１２の制御部１２１は、図５に示したステップＳ１１～ステップＳ１２と同様の処理を実行し、未染色内視鏡画像を取得し（ステップＳ３４）、取得した未染色内視鏡画像を情報処理装置２へ送信する（ステップＳ３５）。

【0087】

情報処理装置２の制御部２１は、プロセッサ装置１２から未染色内視鏡画像を受信する（ステップＳ３６）。制御部２１は、取得した未染色内視鏡画像に対する画像種類の判定処理を行い、取得した未染色内視鏡画像の種類を特定する（ステップＳ３７）。ステップＳ３７では、制御部２１は、例えば、プロセッサ装置１２から未染色内視鏡画像に対応付けて、内視鏡１１に適用されている観察モード（通常光観察モード又は狭帯域光観察モード）を取得することにより未染色内視鏡画像の種類を特定してもよい。あるいは制御部２１は、例えばパターンマッチング又は機械学習の手法を用いて未染色内視鏡画像の種類を特定してもよい。

【0088】

制御部２１は、受け付けた染色液の種類と、特定した未染色内視鏡画像の種類とに応じた第１学習モデル２２２を特定することにより、記憶部２２に記憶する複数の第１学習モデル２２２の中から、染色後内視鏡画像の生成に用いる第１学習モデル２２２を選択する（ステップＳ３８）。例えば、染色液の種類がインジコカルミン及びクリスタルバイオレットであり、未染色内視鏡画像の種類がＮＢＩ内視鏡画像であった場合、インジコカルミン且つＮＢＩ内視鏡画像用の第１学習モデル２２２と、クリスタルバイオレット且つＮＢＩ内視鏡画像用の第１学習モデル２２２とが選択される。

【0089】

制御部２１は、選択した第１学習モデル２２２の第１生成器２２２ａへ、受信した未染色内視鏡画像を入力する（ステップＳ３９）。制御部２１は、第１学習モデル２２２の第１生成器２２２ａから出力される染色後内視鏡画像を取得する（ステップＳ４０）。これにより、取得した未染色内視鏡画像と同じ種類の内視鏡画像であって、受け付けた染色液による染色後の染色後内視鏡画像が生成される。

【0090】

以降、情報処理システム１００は、図５に示したステップＳ１６～ステップＳ２０の処理を実行することにより、染色後内視鏡画像を表示装置１３へ表示させる。

【0091】

図９は、表示装置１３に表示される画面の一例を示す模式図である。画面には、例えば未染色内視鏡画像表示部１３１、染色後内視鏡画像表示部１３２ａ，１３２ｂ、及び変換情報表示部１３３が含まれている。

【0092】

未染色内視鏡画像表示部１３１には、プロセッサ装置１２から取得した内視鏡画像が表示されている。図９に示す例にて、未染色内視鏡画像表示部１３１には、未染色のＮＢＩ内視鏡画像が表示されている。

【0093】

染色後内視鏡画像表示部１３２ａ，１３２ｂにはそれぞれ、複数の第１学習モデル２２２により生成された染色後内視鏡画像が表示されている。図９に示す例にて、染色後内視鏡画像表示部１３２ａにはインジコカルミンによる染色後のＮＢＩ内視鏡画像が表示され、染色後内視鏡画像表示部１３２ｂにはクリスタルバイオレットによる染色後のＮＢＩ内視鏡画像が表示されている。染色後内視鏡画像表示部１３２に表示される染色後内視鏡画像の枚数は、染色液の種類の選択数に応じて適宜変更される。なお図９では、各内視鏡画像を模式的に示している。

【0094】

変換情報表示部１３３には、染色後内視鏡画像への変換条件が表示されている。染色後内視鏡画像への変換条件とは、適用した第１学習モデル２２２の内容に対応し、例えば内視鏡画像の種類と、染色液の種類とを含む。

【0095】

情報処理装置２は、プロセッサ装置１２から未染色内視鏡を取得した場合、取得した変換条件に応じた各第１学習モデル２２２を用いて染色後内視鏡画像を生成し、生成した各染色後内視鏡画像をそれぞれ染色後内視鏡画像表示部１３２ａ，１３２ｂへ表示させる。また情報処理装置２は、受け付けた染色液の種類及び特定した内視鏡画像の種類を示すテキスト、オブジェクト等を変換情報表示部１３３に表示させる。

【0096】

変換情報表示部１３３は、リアルタイムで染色液の種類に対する変更を受け付け可能に構成されていてもよい。例えば図９に示す変換情報表示部１３３において、各染色液の種類に対応付けられるチェックボックスの選択を追加又は削除することにより、染色液の種類に対する選択の変更を受け付ける。情報処理装置２は、プロセッサ装置１２を通じて染色液の種類に対する変更を受け付けた場合、変更後の染色液の種類に応じて、使用する第１学習モデル２２２を再度特定する。以降、情報処理装置２は、再特定した第１学習モデル２２２を使用して染色後内視鏡画像の生成処理を実行する。

【0097】

さらに画面には、図９に示すように保存ボタン１３５が含まれていてもよい。情報処理装置２は、プロセッサ装置１２を通じて保存ボタン１３５の押下操作を受け付けた場合、画面に表示されているデータを対応付けて履歴情報として記憶部２２に記憶する。情報処理装置２は、例えば画面の表示対象となる患者名等の患者情報、検査日時又は画像生成日時、未染色内視鏡画像、染色後内視鏡画像、染色後内視鏡画像に対する染色液の種類、及び内視鏡画像の種類等を対応付けて記憶する。記憶された履歴情報は、記憶後の任意のタイミングにて読み出すことが可能である。

【0098】

本実施形態によれば、複数の第１学習モデル２２２を設けることにより、所望の内視鏡画像の種類又は染色液の種類に応じた染色後内視鏡画像を容易に生成することができるため、情報処理システム１００の利便性を向上することができる。医療従事者は、複数の染色液による染色後内視鏡画像を同時に比較することができ、より多くの情報を把握することができる。内視鏡画像の種類及び染色液の種類毎に第１学習モデル２２２を設け、入力データ及び変換条件に応じて使用する第１学習モデル２２２を適宜切り替えることで、各特性に応じた精度のよい染色後内視鏡画像を生成することができる。

【0099】

（第３実施形態）
第３実施形態では、病変を認識する第２学習モデル２２３をさらに備える構成について説明する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

【0100】

図１０は、第３実施形態の情報処理システム１００の概要図である。第３実施形態の情報処理システム１００では、情報処理装置２の記憶部２２は、第１学習モデル２２２に加えて、第２学習モデル２２３を記憶している。第２学習モデル２２３は、所定の訓練データを学習済みの機械学習モデルである。第２学習モデル２２３は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

【0101】

図１１は、第２学習モデル２２３の概要図である。第２学習モデル２２３は、内視鏡画像を入力として、内視鏡画像における病変に関する情報を出力するよう構成されている。以下では、病変に関する情報として腫瘍の有無を識別する例を説明する。

【0102】

第２学習モデル２２３は、例えば深層学習によって生成されるニューラルネットワークモデルであり、ＣＮＮ（Convolutional neural network）である。第２学習モデル２２３は、内視鏡画像が入力される入力層と、画像の特徴量を抽出する中間層と、内視鏡画像における腫瘍の有無を示す情報を出力する出力層とを有する。

【0103】

第２学習モデル２２３の入力層は、内視鏡画像に含まれる各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層に受け渡す。中間層は、入力データの特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。出力層は、腫瘍の有無の識別結果を出力する。

【0104】

情報処理装置２は、過去の内視鏡検査において取得された大量の内視鏡画像と、各内視鏡画像における腫瘍の有無とが対応付けられた訓練データを用いて、例えば誤差逆伝播法を用いて各種パラメータの最適化を行うことにより、第２学習モデル２２３を学習する。これにより、内視鏡画像が入力された場合、腫瘍の識別結果を示す情報を適切に出力可能に学習された第２学習モデル２２３が構築される。

【0105】

本実施形態の情報処理装置２は、入力となる内視鏡画像の種類に応じた２つの第２学習モデル２２３を記憶部２２に記憶している。第１の第２学習モデル２２３は、未染色内視鏡画像を入力として、未染色内視鏡画像における腫瘍の識別結果を出力するよう構成されている。第２の第２学習モデル２２３は、染色後内視鏡画像を入力として、染色後内視鏡画像における腫瘍の識別結果を出力するよう構成されている。なお第２学習モデル２２３は、内視鏡画像の種類毎に設けられるものに限らず、１つの第２学習モデル２２３を用いて、内視鏡画像の種類を区別することなく入力可能に構成されてもよい。

【0106】

第２学習モデル２２３は、病変に関する情報として腫瘍の存在する確率を出力するよう構成されてもよい。第２学習モデル２２３は、腫瘍以外の病変を識別するものであってもよい。第２学習モデル２２３は、病変の種類、病変の位置（範囲）を出力するよう構成されてもよい。

【0107】

本実施形態においては、第２学習モデル２２３はＣＮＮであるものとするが、第２学習モデル２２３の構成は限定されるものではない。第２学習モデル２２３は、内視鏡画像における病変に関する情報を識別可能であればよい。第２学習モデル２２３は、例えばＲＮＮ（Recurrent Neural Network）、ＳＶＭ（Support Vector Machine）、回帰木等、その他の学習アルゴリズムに基づくモデルであってもよい。第２学習モデル２２３は、Ｕ－ｎｅｔ、ＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）等の物体検出アルゴリズムに基づくモデルであってもよい。

【0108】

図１２は、第３実施形態の情報処理システム１００が実行する処理手順の一例を示すフローチャートである。

【0109】

プロセッサ装置１２の制御部１２１は、図５に示したステップＳ１１～ステップＳ１２と同様の処理を実行し、未染色内視鏡画像を取得し（ステップＳ５１）、取得した未染色内視鏡画像を情報処理装置２へ送信する（ステップＳ５２）。

【0110】

情報処理装置２の制御部２１は、プロセッサ装置１２から未染色内視鏡画像を受信する（ステップＳ５３）。

【0111】

制御部２１は、記憶部２２に記憶する複数の第２学習モデル２２３の中から未染色内視鏡画像用の第２学習モデル２２３を選択し、選択した未染色内視鏡画像用の第２学習モデル２２３へ、受信した未染色内視鏡画像を入力する（ステップＳ５４）。制御部２１は、第２学習モデル２２３から出力される腫瘍の識別結果を取得する（ステップＳ５５）。

【0112】

制御部２１は、取得した腫瘍の識別結果に基づき、未染色内視鏡画像における腫瘍の有無を判定する（ステップＳ５６）。腫瘍が無いと判定した場合（ステップＳ５６：ＮＯ）、制御部２１は染色後内視鏡画像の生成処理をスキップし、処理をステップＳ６１へ進める。

【0113】

腫瘍があると判定した場合（ステップＳ５６：ＹＥＳ）、制御部２１は、未染色内視鏡画像を第１学習モデル２２２の第１生成器２２２ａへ入力する（ステップＳ５７）。制御部２１は、第１学習モデル２２２の第１生成器２２２ａから出力される染色後内視鏡画像を取得する（ステップＳ５８）。

【0114】

制御部２１は、記憶部２２に記憶する複数の第２学習モデル２２３の中から染色後内視鏡画像用の第２学習モデル２２３を選択し、選択した染色後内視鏡画像用の第２学習モデル２２３へ、取得した染色後内視鏡画像を入力する（ステップＳ５９）。制御部２１は、第２学習モデル２２３から出力される腫瘍の識別結果を取得する（ステップＳ６０）。

【0115】

制御部２１は、取得した腫瘍の識別結果を含む画面を生成する（ステップＳ６１）。制御部２１は、生成した画面をプロセッサ装置１２へ送信する（ステップＳ６２）。

【0116】

プロセッサ装置１２の制御部１２１は、情報処理装置２から画面を受信し（ステップＳ６３）、受信した画面を表示装置１３へ表示する（ステップＳ６４）。

【0117】

制御部１２１は、処理を終了するか否かを判定する（ステップＳ６５）。終了しないと判定した場合（ステップＳ６５：ＮＯ）、制御部１２１は処理をステップＳ５１へ戻す。終了すると判定した場合（ステップＳ６５：ＹＥＳ）、制御部１２１は一連の処理を終了する。

【0118】

上述のステップＳ５６において、制御部２１は、病変に関する情報が所定条件を満たすと判定した場合に、染色後内視鏡画像の生成処理を行うものであってもよい。制御部２１は、例えば腫瘍の存在する確率が所定値以上であると判定した場合に、染色後内視鏡画像を生成してもよい。あるいは制御部２１は、腫瘍の存在する確率が第１閾値（例えば４０％）以上第２閾値未満（例えば８０％）であると判定した場合に、染色後内視鏡画像を生成してもよい。この場合制御部２１は、腫瘍の存在する確率が前記第２閾値以上の場合、染色後内視鏡画像を生成しない構成であってよい。すなわち制御部２１は、腫瘍の存在する確率が第１範囲の場合に染色後内視鏡画像を生成せず、腫瘍の存在する確率が前記第１範囲よりも低い第２範囲の場合に染色後内視鏡画像を生成するものであってよい。これにより、情報処理装置２の処理負荷を軽減しつつ、染色後内視鏡画像を好適に生成し得る。

【0119】

上述のステップＳ５６において、制御部２１は、腫瘍の有無に関わらず、すなわち腫瘍が無いと判定した場合にも染色後内視鏡画像の生成処理を実行するものであってもよい。未染色内視鏡画像及び染色後内視鏡画像の両方に対し腫瘍の識別結果を提供することで、病変をより好適に検出し得る。

【0120】

図１３は、表示装置１３に表示される画面の一例を示す模式図である。図１３は、未染色内視鏡画像に対する腫瘍の識別結果が「腫瘍あり」の場合に表示される画面の例である。画面には、例えば図６と同様の未染色内視鏡画像表示部１３１及び染色後内視鏡画像表示部１３２に加えて、病変情報表示部１３４ａ，１３４ｂが含まれている。

【0121】

病変情報表示部１３４ａは、未染色内視鏡画像表示部１３１の近傍に配置されており、例えばテキストやオブジェクトなどにより、未染色内視鏡画像に対する腫瘍の識別結果を表示する。病変情報表示部１３４ｂは、染色後内視鏡画像表示部１３２の近傍に配置されており、例えばテキストやオブジェクトなどにより、染色後内視鏡画像に対する腫瘍の識別結果を表示する。

【0122】

情報処理装置２は、未染色内視鏡画像用の第２学習モデル２２３から腫瘍の識別結果を取得した場合、未染色内視鏡画像を未染色内視鏡画像表示部１３１に表示させるとともに、腫瘍の識別結果を示す情報を病変情報表示部１３４ａに表示させる。

【0123】

同様に情報処理装置２は、染色後内視鏡画像用の第２学習モデル２２３から腫瘍の識別結果を取得した場合、染色後内視鏡画像を染色後内視鏡画像表示部１３２に表示させるとともに、腫瘍の識別結果を示す情報を病変情報表示部１３４ｂに表示させる。

【0124】

なお、未染色内視鏡画像に対する腫瘍の識別結果が「腫瘍なし」であった場合、情報処理装置２は、染色後内視鏡画像表示部１３２及び病変情報表示部１３４ｂを含まない画面を生成するものであってもよい。

【0125】

本実施形態によれば、第１学習モデル２２２と第２学習モデル２２３とを組み合わせることで、より多くの情報を提供することができる。第２学習モデル２２３により病変が検出された場合に、第１学習モデル２２２を用いて生成された染色後内視鏡画像が出力されるため、病変である可能性のある部位の確実な観察につながる。さらに、染色後内視鏡画像に対しても第２学習モデル２２３を適用することで、病変に関する情報の識別精度をより向上することができる。

【0126】

今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。
各実施形態に示すシーケンスは限定されるものではなく、矛盾の無い範囲で、各処理手順はその順序を変更して実行されてもよく、また並行して複数の処理が実行されてもよい。各処理の処理主体は限定されるものではなく、矛盾の無い範囲で、各装置の処理を他の装置が実行してもよい。

【0127】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0128】

１００ 情報処理システム
１ 内視鏡装置
１１内視鏡
１２ プロセッサ装置
１３ 表示装置
１４ 入力装置
１２１ 制御部
１２２ 記憶部
１Ｐ プログラム
１２３ 通信部
１２４ 入出力部
１２５ 光源
２ 情報処理装置
２１ 制御部
２２ 記憶部
２３ 通信部
２Ｐ プログラム
２２２ 第１学習モデル
２２３ 第２学習モデル
２Ａ 記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2022-07-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像と、内視鏡により撮像された染色液による染色後の被検体内を示す第２内視鏡画像と、染色液による染色後の被検体内を示す第２内視鏡画像を入力した場合に未染色の被検体内を示す第１内視鏡画像を生成する生成モデルを用いて生成した未染色の被検体内を示す第１内視鏡画像とを用いて、未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第１内視鏡画像を入力して第２内視鏡画像を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

被検体内における第１部位に係る第１内視鏡画像及び前記第１部位に係る第２内視鏡画像を含む訓練データを用いて学習された前記モデルに、被検体内における第２部位に係る前記第１内視鏡画像を入力して前記第２部位に係る前記第２内視鏡画像を生成する
請求項１に記載のプログラム。

【請求項3】

被検体内における第２部位に係る内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
被検体内における前記第２部位とは異なる第１部位に係る第１内視鏡画像及び前記第１部位に係る染色液による染色後の被検体内を示す第２内視鏡画像を含む訓練データを用いて、未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第２部位に係る前記第１内視鏡画像を入力して前記第２部位に係る第２内視鏡画像を出力する
処理をコンピュータに実行させるプログラム。

【請求項4】

前記モデルは、未染色の被検体内を示す第１内視鏡画像を入力した場合にインジゴカルミン又はクリスタルバイオレットを含む染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されている
請求項１又は請求項３に記載のプログラム。

【請求項5】

前記モデルは、狭帯域光観察により得られた第１内視鏡画像を入力した場合に染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されている
請求項１又は請求項３に記載のプログラム。

【請求項6】

前記モデルは染色液の種類に応じて複数設けられており、
染色液の種類を受け付け、
受け付けた染色液に対応するモデルを選択し、
選択した染色液に対応するモデルに、取得した前記第１内視鏡画像を入力して、受け付けた染色液による染色後の被検体内を示す前記第２内視鏡画像を出力する
請求項１又は請求項３に記載のプログラム。

【請求項7】

前記モデルは入力される前記第１内視鏡画像の種類に応じて複数設けられており、
取得した前記第１内視鏡画像の種類を判定し、
取得した前記第１内視鏡画像が狭帯域光観察により得られた第１内視鏡画像であると判定した場合、狭帯域光観察により得られた第１内視鏡画像用のモデルを選択し、
選択した狭帯域光観察により得られた第１内視鏡画像用のモデルに、取得した狭帯域光観察により得られた前記第１内視鏡画像を入力して前記第２内視鏡画像を出力する
請求項１又は請求項３に記載のプログラム。

【請求項8】

狭帯域光観察により得られた第１内視鏡画像用の前記モデルは染色液の種類に応じて複数設けられており、
染色液の種類を受け付け、
受け付けた染色液に対応するモデルを選択し、
選択した染色液に対応するモデルに、取得した狭帯域光観察により得られた前記第１内視鏡画像を入力して、受け付けた染色液による染色後の被検体内を示す前記第２内視鏡画像を出力する
請求項７に記載のプログラム。

【請求項9】

前記第１内視鏡画像と、生成した前記第２内視鏡画像とを対比可能に表示する
請求項１又は請求項３に記載のプログラム。

【請求項10】

複数種類の染色液の選択を受け付け、
前記モデルを用いて、選択された複数種類の染色液にそれぞれによる染色後の被検体内を示す複数の前記第２内視鏡画像を出力する
請求項１又は請求項３に記載のプログラム。

【請求項11】

内視鏡画像を入力した場合に内視鏡画像における腫瘍に関する情報を出力するよう学習された第２モデルに、前記モデルから出力された前記第２内視鏡画像を入力して腫瘍に関する情報を出力する
請求項１又は請求項３に記載のプログラム。

【請求項12】

内視鏡画像を入力した場合に内視鏡画像における腫瘍に関する情報を出力するよう学習された第２モデルに、前記第１内視鏡画像を入力して前記第１内視鏡画像における腫瘍に関する情報を出力し、
出力された前記第１内視鏡画像における腫瘍に関する情報が所定条件を満たす場合、前記モデルにより前記第２内視鏡画像を生成し、
生成した前記第２内視鏡画像を前記第２モデルに入力して前記第２内視鏡画像における腫瘍に関する情報を出力する
請求項１１に記載のプログラム。

【請求項13】

内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像と、内視鏡により撮像された染色液による染色後の被検体内を示す第２内視鏡画像と、染色液による染色後の被検体内を示す第２内視鏡画像を入力した場合に未染色の被検体内を示す第１内視鏡画像を生成する生成モデルを用いて生成した未染色の被検体内を示す第１内視鏡画像とを用いて、未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第１内視鏡画像を入力して第２内視鏡画像を出力する
処理を実行する制御部を備える
情報処理装置。

【請求項14】

内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像と、内視鏡により撮像された染色液による染色後の被検体内を示す第２内視鏡画像と、染色液による染色後の被検体内を示す第２内視鏡画像を入力した場合に未染色の被検体内を示す第１内視鏡画像を生成する生成モデルを用いて生成した未染色の被検体内を示す第１内視鏡画像とを用いて、未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第１内視鏡画像を入力して第２内視鏡画像を出力する
処理をコンピュータが実行する情報処理方法。

【請求項15】

被検体内における第２部位に係る内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
被検体内における前記第２部位とは異なる第１部位に係る第１内視鏡画像及び前記第１部位に係る染色液による染色後の被検体内を示す第２内視鏡画像を含む訓練データを用いて、未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第２部位に係る前記第１内視鏡画像を入力して前記第２部位に係る第２内視鏡画像を出力する
処理を実行する制御部を備える
情報処理装置。

【請求項16】

被検体内における第２部位に係る内視鏡により撮像された未染色の被検体内を示す第１内視鏡画像を取得し、
被検体内における前記第２部位とは異なる第１部位に係る第１内視鏡画像及び前記第１部位に係る染色液による染色後の被検体内を示す第２内視鏡画像を含む訓練データを用いて、未染色の被検体内を示す第１内視鏡画像を入力した場合に、染色液による染色後の被検体内を示す第２内視鏡画像を生成するよう学習されたモデルに、取得した前記第２部位に係る前記第１内視鏡画像を入力して前記第２部位に係る第２内視鏡画像を出力する
処理をコンピュータが実行する情報処理方法。