特許 7603560 コンピュータプログラム、情報処理方法及び内視鏡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】コンピュータプログラム、情報処理方法及び内視鏡

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241213BHJP

   A61B 1/06 20060101ALI20241213BHJP

   G02B 23/24 20060101ALI20241213BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

A61B1/06 612

G02B23/24 B

【請求項の数】 16

(21)【出願番号】P 2021152269

(22)【出願日】2021-09-17

(65)【公開番号】P2023044308

(43)【公開日】2023-03-30

【審査請求日】2023-11-13

(73)【特許権者】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】松村 京助

【審査官】門田 宏

(56)【参考文献】

【文献】国際公開第２０１９／０８８１２１（ＷＯ，Ａ１）

【文献】国際公開第２０２１／０１０２２５（ＷＯ，Ａ１）

【文献】特開平１１－２２５９５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３１７

Ｇ０２Ｂ ２３／２４ －２３／２６

(57)【特許請求の範囲】

【請求項1】

内視鏡により撮像した画像を取得し、
前記内視鏡により撮像した画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに前記画像を入力して、認識結果を出力し、
前記認識結果に基づき、前記内視鏡の先端に設けられたＬＥＤが関心領域に照射する光量を調節する
処理をコンピュータに実行させるコンピュータプログラムであって、
前記学習モデルは前記画像に含まれる前記関心領域が病変である確度を出力し、
前記確度が所定値未満の場合に前記光量を調節する
コンピュータプログラム。

【請求項2】

内視鏡により撮像した画像を取得し、
前記内視鏡により撮像した画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに前記画像を入力して、前記関心領域が病変である確度を含む認識結果を出力し、
前記認識結果に基づき、前記内視鏡の先端に設けられたＬＥＤが関心領域に照射する光量を調節し、
前記関心領域が病変である確度が所定値未満の場合、前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する
処理をコンピュータに実行させるコンピュータプログラム。

【請求項3】

内視鏡により撮像した画像を取得し、
前記内視鏡により撮像した画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに前記画像を入力して、前記関心領域が病変である確度を含む認識結果を出力し、
前記認識結果に基づき、前記内視鏡の先端に設けられたＬＥＤが関心領域に照射する光量を調節し、
前記関心領域が病変である確度が所定値以上の場合、前記取得した画像が表示される画面にて、該画像から前記関心領域を拡大した拡大画像に切り替える、又は前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する
処理をコンピュータに実行させるコンピュータプログラム。

【請求項4】

前記学習モデルは前記画像に含まれる前記関心領域が病変である確度を出力し、
前記確度が所定値未満の場合に前記光量を調節する
請求項２または３に記載のコンピュータプログラム。

【請求項5】

前記関心領域が病変である確度が所定値未満の場合、前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する
請求項１または３に記載のコンピュータプログラム。

【請求項6】

前記関心領域が病変である確度が所定値以上の場合、前記取得した画像が表示される画面にて、該画像から前記関心領域を拡大した拡大画像に切り替える、又は前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する
請求項１または２に記載のコンピュータプログラム。

【請求項7】

前記内視鏡は複数のＬＥＤを備え、
前記関心領域の位置に対応するＬＥＤが照射する光量を調節する
請求項１から６のいずれか一つに記載のコンピュータプログラム。

【請求項8】

前記ＬＥＤが前記関心領域に照射する光量の下限値または上限値の変更を受け付ける
請求項１から７のいずれか一つに記載のコンピュータプログラム。

【請求項9】

前記画像の白色度を取得し、
前記白色度が基準値以上の場合、前記光量を減少させ、
前記白色度が前記基準値未満の場合、前記光量を増加させる
請求項１から８のいずれか一つに記載のコンピュータプログラム。

【請求項10】

前記光量を調節した以降に取得した画像に前記関心領域が含まれなくなった場合、前記光量を、調節前の光量に変更する
請求項１から９のいずれか一つに記載のコンピュータプログラム。

【請求項11】

制御部によって、内視鏡により撮像した画像を取得し、
制御部によって、内視鏡により撮像された画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに前記画像を入力して、認識結果を出力し、
制御部によって、前記学習モデルから前記画像に含まれる関心領域の認識結果を取得し、
制御部によって、前記認識結果に基づき、前記内視鏡の先端に設けられたＬＥＤが前記関心領域に照射する光量を調節する
情報処理方法であって、
前記学習モデルは前記画像に含まれる前記関心領域が病変である確度を出力し、
制御部によって、前記確度が所定値未満の場合に前記光量を調節する
情報処理方法。

【請求項12】

制御部によって、内視鏡により撮像した画像を取得し、
制御部によって、内視鏡により撮像された画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに前記画像を入力して、認識結果を出力し、
制御部によって、前記学習モデルから前記画像に含まれる関心領域の認識結果を取得し、
制御部によって、前記認識結果に基づき、前記内視鏡の先端に設けられたＬＥＤが前記関心領域に照射する光量を調節する
情報処理方法であって、
制御部によって、前記関心領域が病変である確度が所定値未満の場合、前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する
情報処理方法。

【請求項13】

制御部によって、内視鏡により撮像した画像を取得し、
制御部によって、内視鏡により撮像された画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに前記画像を入力して、認識結果を出力し、
制御部によって、前記学習モデルから前記画像に含まれる関心領域の認識結果を取得し、
制御部によって、前記認識結果に基づき、前記内視鏡の先端に設けられたＬＥＤが前記関心領域に照射する光量を調節する
情報処理方法であって、
制御部によって、前記関心領域が病変である確度が所定値以上の場合、前記取得した画像が表示される画面にて、該画像から前記関心領域を拡大した拡大画像に切り替える、又は前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する
情報処理方法。

【請求項14】

先端に設けられたＬＥＤと、
内視鏡により撮像した画像を取得する取得部と、
内視鏡により撮像された画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに取得した前記画像を入力して、認識結果を出力する出力部と、
前記認識結果に基づき、前記ＬＥＤが前記関心領域に照射する光量を調節する光量調節部と
を備える内視鏡であって、
前記学習モデルは前記画像に含まれる前記関心領域が病変である確度を出力し、
前記光量調節部は前記確度が所定値未満の場合に前記光量を調節する
内視鏡。

【請求項15】

先端に設けられたＬＥＤと、
内視鏡により撮像した画像を取得する取得部と、
内視鏡により撮像された画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに取得した前記画像を入力して、認識結果を出力する出力部と、
前記認識結果に基づき、前記ＬＥＤが前記関心領域に照射する光量を調節する光量調節部と
を備える内視鏡であって、
前記出力部は、前記関心領域が病変である確度が所定値未満の場合、前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する
内視鏡。

【請求項16】

先端に設けられたＬＥＤと、
内視鏡により撮像した画像を取得する取得部と、
内視鏡により撮像された画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに取得した前記画像を入力して、認識結果を出力する出力部と、
前記認識結果に基づき、前記ＬＥＤが前記関心領域に照射する光量を調節する光量調節部と
を備える内視鏡であって、
前記出力部は、前記関心領域が病変である確度が所定値以上の場合、前記取得した画像が表示される画面にて、該画像から前記関心領域を拡大した拡大画像に切り替える、又は前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する
内視鏡。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、コンピュータプログラム、情報処理方法及び内視鏡に関する。

【背景技術】

【0002】

従来、内視鏡などによって病変調査中に、自動調光を行う装置が提案されている。例えば、特許文献１に記載の装置は、観察対象が撮像された医療用撮像画像における所定の領域の輝度を、自動調光によって変更する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９―４２４１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載の装置は、学習モデルによって病変の疑いがある関心領域を特定した際に、該関心領域に照射する光量を調節して判定精度を上げることが出来ないという問題がある。

【0005】

本開示は斯かる事情に鑑みてなされたものであり、学習モデルが特定した病変の疑いがある関心領域に照射する光量を自動で調節するコンピュータプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係るコンピュータプログラムは、内視鏡により撮像した画像を取得し、前記内視鏡により撮像した画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに前記画像を入力して、認識結果を出力し、前記認識結果に基づき、前記内視鏡の先端に設けられたＬＥＤが関心領域に照射する光量を調節する処理をコンピュータに実行させる。

【0007】

本開示の一実施形態に係るコンピュータプログラムは、前記学習モデルは前記画像に含まれる前記関心領域が病変である確度を出力し、前記確度が所定値未満の場合に前記光量を調節する。

【0008】

本開示の一実施形態に係るコンピュータプログラムは、前記関心領域が病変である確度が所定値未満の場合、前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する。

【0009】

本開示の一実施形態に係るコンピュータプログラムは、前記関心領域が病変である確度が所定値以上の場合、前記取得した画像が表示される画面にて、該画像から前記関心領域を拡大した拡大画像に切り替える、又は前記画像が表示される画面とは別個の画面に前記関心領域を含む画像を出力する。

【0010】

本開示の一実施形態に係るコンピュータプログラムは、前記内視鏡は複数のＬＥＤを備え、前記関心領域の位置に対応するＬＥＤが照射する光量を調節する。

【0011】

本開示の一実施形態に係るコンピュータプログラムは、前記ＬＥＤが前記関心領域に照射する光量の下限値または上限値の変更を受け付ける。

【0012】

本開示の一実施形態に係るコンピュータプログラムは、前記画像の白色度を取得し、前記白色度が基準値以上の場合、前記光量を減少させ、前記白色度が前記基準値未満の場合、前記光量を増加させる。

【0013】

本開示の一実施形態に係るコンピュータプログラムは、前記光量を調節した以降に取得した画像に前記関心領域が含まれなくなった場合、前記光量を、調節前の光量に変更する。

【0014】

本開示の一実施形態に係る情報処理方法は、内視鏡により撮像した画像を取得し、内視鏡により撮像された画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに前記画像を入力して、認識結果を出力し、学習モデルから前記画像に含まれる関心領域の認識結果を取得し、前記認識結果に基づき、前記内視鏡の先端に設けられたＬＥＤが前記関心領域に照射する光量を調節する。

【0015】

本開示の一実施形態に係る内視鏡は、先端に設けられたＬＥＤと、内視鏡により撮像した画像を取得する取得部と、内視鏡により撮像された画像が入力された場合、前記画像に含まれる関心領域の認識結果を出力するように学習された学習モデルに取得した前記画像を入力して、認識結果を出力する出力部と、前記認識結果に基づき、前記ＬＥＤが前記関心領域に照射する光量を調節する光量調節部とを備える。

【発明の効果】

【0016】

本開示の一実施形態に係るにあっては、病変確度が低い関心領域に照射する光量を自動で調節するので、病変を判定する精度を向上することが可能である。

【図面の簡単な説明】

【0017】

【図1】実施形態１に係る内視鏡の外観図である。

【図2】挿入管の先端部の平面図である。

【図3】内視鏡装置のブロック図である。

【図4】学習モデル（関心領域学習モデル）に関する説明図である。

【図5】制御部が学習モデルから取得する画像（制御部取得画像）の一例を示す説明図である。

【図6】画面領域と白色ＬＥＤの対応を示すＬＥＤ対応テーブルの一例を示す説明図である。

【図7】モニタに表示される画像（モニタ画像）の一例を示す説明図である。

【図8】光量増加後にモニタに表示される画像（光量調節後モニタ画像）の一例を示す説明図である。

【図9】プロセッサ装置の制御部による処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0018】

（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る内視鏡１の外観図である。内視鏡１は、挿入管２、操作部３、ユニバーサルチューブ４及びコネクタ部５を備えている。挿入管２は、体腔内に挿入される部分であり、長尺の軟性部２０と、該軟性部２０の一端に湾曲部２１を介して連結された先端部２２とを備える。軟性部２０の他端は、円筒形の連結部２３を介して操作部３に連結されている。ユニバーサルチューブ４は、操作部３に一端を連結され挿入管２と異なる向きに延びており、コネクタ部５は、ユニバーサルチューブ４の他端に連設されている。

【0019】

操作部３は、医師等の内視鏡１の使用者（操作者）により把持されて各種の操作を行うために設けてあり、湾曲操作ノブ３０、複数の操作ボタン３１等を備えている。湾曲操作ノブ３０は、連結部２３及び軟性部２０の内部に通したワイヤ（図示せず）により湾曲部２１に連結されている。湾曲部２１は、湾曲操作ノブ３０の操作により軸断面内で互いに直交する２方向に湾曲し、体腔内に挿入された先端部２２の向きが変化する。

【0020】

図２は挿入管の先端部の平面図である。先端部２２は、撮像部６と、対物レンズ２５と、照明部７を備える。撮像部６は、先端部２２の内部に、対物レンズ２５の内側に面して組み込まれている。すなわち、撮像部６は、対物レンズ２５を介して体腔等の体内部位である観察物（被写体）を撮像する。対物レンズ２５は、挿入管２の先端部２２に設けられた孔部の内枠に嵌め込まれており、観察窓として機能する。図２中には、撮像部６及び対物レンズ２５の位置が２点鎖線により示してある。また、照明部７は配光レンズ（図示略）の内側に面して組み込まれている。

【0021】

撮像部６は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）等の撮像素子と、該撮像素子の撮像面上に結像させるための光学系とを備え、対物レンズ２５を通して体腔内を撮像する。対物レンズ２５は例えば広角レンズであり、撮像部６は、対物レンズ２５を含む光学系の設定により、１８０°以上の視野角での撮像が可能となるように構成されている。撮像部６は、撮像した観察物（被写体）の撮像データ（画像信号）を、受信回路６１（図３参照）に出力する。撮像部６が出力した撮像データ（画像信号）は、受信回路６１及びゲイン回路６２（図３参照）にてＡＤ変換又はホワイトバランス補正等の前処理が行われ、プロセッサ装置１０の信号処理回路１２（図３参照）に出力される。

【0022】

照明部７は、撮像部６の周囲を囲う環状の基板７０と、配光レンズ２６に対向する基板７０の一面上に実装された複数の白色ＬＥＤ７１～７８を備える。白色ＬＥＤ７１～７８は、環状をなす基板７０の一面上に略等間隔で配置されている。白色ＬＥＤ７１～７８は、例えば、青色光を発光する青色ＬＥＤチップの発光面を黄色蛍光体により覆って構成される。なお、白色ＬＥＤ７１はＬＤや光ファイバーなどの他の発光素子であってもよい。また、内視鏡が備える白色ＬＥＤの数は８個に限定されない。

【0023】

図３は内視鏡装置のブロック図である。内視鏡１は、コネクタ部５を介してプロセッサ装置１０に接続される。プロセッサ装置１０は、制御部１１、信号処理回路１２、入出力Ｉ／Ｆ１３及び記憶部１６等を備えている。これら制御部１１、信号処理回路１２、入出力Ｉ／Ｆ１３及び記憶部１６は、内部バスにより通信可能に接続されている。制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の計時機能を備えた演算処理装置を有し、記憶部１６に記憶されたプログラムを読み出して実行することにより、プロセッサ装置１０に係る種々の情報処理、制御処理等を行う。

【0024】

内視鏡１は、撮像部６を駆動する撮像駆動部６０及び照明部７を駆動する照明駆動部７９を備えている。撮像駆動部６０は、プロセッサ装置１０の制御部１１から与えられる制御指令に従ってローリングシャッタ方式で撮像部６を駆動する。撮像駆動部６０は、受信回路６１を介して１フレーム単位でゲイン回路６２に画像信号を出力する。ゲイン回路６２は該画像信号にホワイトバランス処理等の所定の前処理を行い、プロセッサ装置１０の信号処理回路１２に、前処理した該画像信号を撮像データとして出力する。

【0025】

照明駆動部７９は、制御部１１から与えられる制御指令に従って照明部７を駆動させ、白色ＬＥＤ７１～７８を発光させる。撮像部６の撮像動作は、照明部７の駆動に同期して実行され、信号処理回路１２には、白色ＬＥＤ７１～７８による照射下で得られる画像出力が連続的に入力される。照明部７は、操作部３に設けられた操作ボタン３１の操作により駆動状態と非駆動状態に切り替えられる。

【0026】

信号処理回路１２は、入力された撮像データ（画像信号）に対し、ガンマ補正、補間処理等の画像処理を行い、画像処理後の撮像データを制御部１１に出力する。

【0027】

入出力Ｉ／Ｆ１３は、例えば、ＵＳＢ又はＤＳＵＢ等の通信規格に準拠したものであり、入出力Ｉ／Ｆ１３に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力Ｉ／Ｆ１３には、モニタ１４及びマウスやキーボードなどの入力部１５が接続されている。制御部１１は、入力部１５から入力された実行コマンド又はイベントに基づき情報処理を行う。また制御部１１は、後述する学習モデル１６１が出力した画像をさらに画像処理し、外部のモニタ１４に出力する。モニタ１４は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示機器であり、プロセッサ装置１０から出力される画像信号に基づいて撮像部６による撮像画像を表示する。内視鏡１の使用者は、モニタ１４の表示により体腔内の所望箇所を観察することができる。

【0028】

内視鏡１は、更に、光量調節部８を備える。光量調節部８は、白色ＬＥＤ７１～７８と同様に基板７０に実装されるものであってもよい。
光量調節部８は、プロセッサ装置１０の制御部１１と内部バスにより通信可能に接続されている。光量調節部８は、プロセッサ装置１０の制御部１１から送信される情報に基づき、白色ＬＥＤ７１～７８のうち、光量を調節する白色ＬＥＤを決定し、該白色ＬＥＤが照射する光量を増加又は減少させる。白色ＬＥＤ７１～７８は、例えばＰＷＭ（Pulse Width Modulation）制御によって照射する光量が調節され、光量を減少させるときはデューティ比を低くし、光量を増加させるときはデューティ比を高くする。白色ＬＥＤ７１～７８が照射する光量は、デューティ比の許容幅が設定されることによって下限値及び上限値が決定される。デューティ比の許容幅は例えば０．２～０．８であるが、入力部１７において入力を受け付けることによって変更が可能である。また、光量調節されていないときの白色ＬＥＤの光量は通常時光量であり、このときのデューティ比は例えば０．５である。

【0029】

記憶部１６は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部１６には、プログラム及び処理時に参照するデータが予め記憶してある。記憶部１６に記憶されたプログラムは、制御部１１が読み取り可能な記録媒体１６ａから読み出されたプログラムを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムをダウンロードし、記憶部１６に記憶させたものであってもよい。

【0030】

記憶部１６には、後述する学習モデル１６１（関心領域学習モデル）等を構成する実体ファイル（ニューラルネットワーク（ＮＮ）のインスタンスファイル）が保存されている。これら実体ファイルは、プログラムの一部位として構成されるものであってもよい。なお、プロセッサ装置１０に接続する情報処理装置を別途設け、学習モデル１６１を該情報処理装置に格納し、学習モデル１６１による演算を該情報処理装置によって行ってもよい。また、内視鏡１を使用する病院内に設けられたサーバあるいは病院外に設けられたクラウドサーバに学習モデル１６１を格納し、学習モデル１６１による演算を該サーバあるいは該クラウドサーバによって行ってもよい。
記憶部１６には、更に、画像を生成及び出力（表示）するにあたって、予め定められた各種の設定値（プリセットデータ）が記憶されている。該プリセットデータは、例えば、通常時光量、白色ＬＥＤ７１～７８が照射する光量の上限値または下限値、関心領域が病変である確度（確率）を示す病変確度を区分するための一定値及び所定値または画面の白色度の基準値を含むものであってもよい。プリセットデータの詳細は、後述する。各種プリセットデータは、入力部１７において入力を受け付けることによって変更が可能である。
また、記憶部１６はＬＥＤ対応テーブル１６２を格納している。

【0031】

図４は、学習モデル１６１（関心領域学習モデル）に関する説明図である。学習モデル１６１は、例えば、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ又はＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）、又はセグメンテーションネットワークの機能を有するニューラルネットワーク（ＮＮ）等、物体検出を行うモデルである。学習モデル１６１が、例えばＲＣＮＮ等、画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）を含むニューラルネットワークで構成される場合、学習モデル１６１に含まれる入力層は、内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、関心領域の位置等を含む関心領域に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、関心領域の位置及び病変確度を出力する。又は、学習モデル１６１は、中間層から出力された画像特徴量をＳＶＭ（support vector machine） に入力して病変認識を行うものであってもよい。なお、関心領域の位置は、画像座標値で定義される。訓練データを用いて学習されたニューラルネットワーク（学習モデル１６１）は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。学習モデル１６１は、上述のごとく制御部１１（ＣＰＵ等）にて用いられるものであり、このように演算処理能力を有する制御部１１にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、制御部１１が、記憶部１６に記憶された学習モデル１６１からの指令に従って入力層に入力された内視鏡画像の特徴量を抽出する演算を行い、出力層から関心領域の位置及び病変確度を画像に含めて出力する。
図４の病変検出結果の画像に示すように、制御部１１は学習モデル１６１の出力に基づき、関心領域を破線のバウンディングボックスで囲み、関心領域の病変確度をバウンディングボックスの上部に表示する。図４において、病変確度は０．６である。

【0032】

学習モデル１６１は、関心領域の位置及び病変確度を、関心領域に関する情報として画像に含ませて制御部１１に出力する。なお、関心領域の病変確度が一定値、例えば０．２未満の場合、学習モデル１６１は関心領域に関する情報を制御部１１に出力しない。該一定値は、入力部１７において入力を受け付けることによって変更が可能である。

【0033】

図５は制御部が学習モデルから取得する画像（制御部取得画像）の一例を示す説明図である。制御部１１が学習モデル１６１から取得した画像は、関心領域が破線のバウンディングボックスで囲まれ、関心領域の病変確度がバウンディングボックスの上部に表示される。制御部１１は、該病変確度が所定値未満の場合、関心領域の位置に対応する白色ＬＥＤの光量を調節する。該所定値は例えば０．７であるが、入力部１７において入力を受け付けることによって変更が可能である。光量を調節する白色ＬＥＤを特定する方法は後述する。

【0034】

図６は、画面領域と白色ＬＥＤの対応を示すＬＥＤ対応テーブルの一例を示す説明図である。制御部１１が取得した画像は、図５に示すように、画面の中心から放射状に、４５度ずつ、８分割（１～８）に区分化される。図６に示すように、ＬＥＤ対応テーブル１６２では、画面領域１～８と白色ＬＥＤ７１～７８がそれぞれ対応しており、制御部１１は、学習モデル６３１が出力した関心領域が含まれる画面領域に対応する白色ＬＥＤが照射する光量を調節する。画面領域を特定するための領域情報は、例えば、記憶部１６に含まれるＲＡＭ等のメモリに記憶されおり、学習モデル１６１が出力した画像における画像座標系の範囲により定義される。
例えば、図５に示すように関心領域が画面領域４に含まれている場合、制御部１１は、白色ＬＥＤ７４が照射する光量を調節する。また、例えば、制御部１１が図５に示す画像を取得後に、内視鏡１が体腔内で挿入管２が延びる方向を軸として１８０度回転し、関心領域が画面領域８に含まれるようになった場合、制御部１１は白色ＬＥＤ７４が照射する光量の調節を終了し、白色ＬＥＤ７８が照射する光量を調節する。なお、一の関心領域が複数の画面領域に跨って含まれている場合、該複数の画面領域に対応する全てのＬＥＤが照射する光量を調節してもよく、関心領域の最多部分を含む画面領域に対応する白色ＬＥＤが照射する光量を調節してもよい。

【0035】

図７はモニタに表示される画像（モニタ画像）の一例を示す説明図である。制御部１１は、学習モデル１６１から取得した画像に関心領域に関する情報（関心領域の位置及び病変確度）が含まれている場合、図７に示すようにモニタ１４に、子画面で病変確度と共に関心領域を含む画像を別途表示する。このとき、関心領域を拡大した画像を子画面において表示してもよく、その場合は図７に示すように、子画面中に拡大倍率を表示してもよい。図７に示すモニタ画像の子画面おいて、拡大倍率は１．４倍である。また、モニタ１４とは別個のモニタを備え、該モニタに関心領域を含む画像を表示してもよい。
制御部１１が学習モデル１６１から取得した画像に複数の関心領域が含まれている場合、例えば、複数の子画面において各関心領域を含む画像を表示し、関心領域を囲む破線の色と、子画面の枠線の色を夫々同色にして対応させる。

【0036】

図８は光量増加後にモニタに表示される画像（光量調節後モニタ画像）の一例を示す説明図である。制御部１１は、学習モデル１６１から取得した画像に含まれる関心領域の病変確度が所定値未満である場合、画像の白色度を取得し、該白色度に基づいて、関心領域の位置に対応する白色ＬＥＤの光量を減少させるか、または増加させるかを決定する。該白色度は、例えば、内視鏡画面の白色部分の割合を百分率で表した値であり、白色ＬＥＤが照射する光量が多い場合にハレーションなどが起こることによって高くなる。
例えば、図７に示すように画像全体が暗く、画像の白色度が基準値より低い場合、制御部１１は関心領域の位置に対応する白色ＬＥＤの光量を増加させ、図８に示すような白色度の高い光量調節後モニタ画像をモニタ１４に表示する。該基準値は例えば５０であるが、入力部１７において入力を受け付けることによって変更が可能である。なお、光量調節後モニタ画像については、図８に示すように光量調節後マーク１４ａを表示してもよい。
制御部１１は、関心領域の病変確度が所定値よりも高い場合も、モニタ１４に、子画面で病変確度と共に該関心領域を別途表示する。図８に示す光量調節後モニタ画像において関心領域の病変確度は０．９５である。
制御部１１が学習モデル１６１から取得した画像の白色度が基準値以上であった場合、制御部１１は関心領域の位置に対応する白色ＬＥＤの光量を減少させる。白色ＬＥＤの光量を減少させる場合も、モニタ１４における画像の表示方法は、白色ＬＥＤの光量を増加させる場合と同様である。

【0037】

内視鏡１が体腔内を移動し、内視鏡１が撮像する画像の中に関心領域が含まれなくなった場合、制御部１１は、光量調節を行った白色ＬＥＤの光量を徐々に通常時光量に変更する。

【0038】

図９はプロセッサ装置の制御部による処理手順の一例を示すフローチャートである。
プロセッサ装置１０の制御部１１は、例えば、自装置に接続されている入力部１７からの入力内容に基づき、該フローチャートの処理を開始する。該処理の開始時に白色ＬＥＤ７１～７８が照射する光量は、通常時光量である。

【0039】

プロセッサ装置１０の制御部１１は、内視鏡１から出力された内視鏡画像を取得する（Ｓ１）。内視鏡１による体腔内の撮像の開始と同期して、制御部１１は、内視鏡１から該内視鏡画像を取得するものであってもよい。また、該内視鏡画像は静止画又は動画であってもよい。

【0040】

プロセッサ装置１０の制御部１１は、内視鏡画像を学習モデル１６１に入力する（Ｓ２）。内視鏡画像が入力された学習モデル１６１は、入力された内視鏡画像に関心領域が含まれており、該関心領域の病変確度が一定値以上の場合、関心領域に関する情報として関心領域の位置及び病変確度を出力する。入力された内視鏡画像に関心領域が含まれていない場合または関心領域の病変確度が一定値未満の場合、学習モデル１６１は関心領域に関する情報を制御部１１に出力しない。

【0041】

プロセッサ装置１０の制御部１１は、学習モデル１６１から関心領域に関する情報を取得したか否かを判定する（Ｓ３）。学習モデル１６１から関心領域に関する情報を取得しなかった場合（Ｓ３：ＮＯ）、制御部１１は白色ＬＥＤの光量を通常時光量に変更する（Ｓ３１）。なお、Ｓ３１の処理を実行する以前から通常時光量であった場合は、通常時光量を維持する。制御部１１は、再度Ｓ１の処理を実行すべく、ループ処理を行う。

【0042】

学習モデル１６１から関心領域に関する情報を取得した場合（Ｓ３：ＹＥＳ）、プロセッサ装置１０の制御部１１は、関心領域に関する情報に含まれる病変確度が所定値以上であるか判定する（Ｓ４）。病変確度が所定値以上であった場合（Ｓ４：ＹＥＳ）、プロセッサ装置１０の制御部１１は関心領域を子画面で表示し（Ｓ５）、処理を終了する。

【0043】

病変確度が所定値未満であった場合（Ｓ４：ＮＯ）、プロセッサ装置１０の制御部１１は関心領域を子画面で表示する（Ｓ４１）。制御部１１は、関心領域に関する情報に含まれる関心領域の位置と、ＬＥＤ対応テーブルをもとに、関心領域の位置に対応する白色ＬＥＤを特定する（Ｓ４２）。このとき特定した白色ＬＥＤは、光量調節を行う白色ＬＥＤである。

【0044】

プロセッサ装置１０の制御部１１は、取得した内視鏡画面の白色度が基準値以上か否かを判定する（Ｓ４３）。プロセッサ装置１０の制御部１１は、内視鏡画面の白色度が基準値以上の場合（Ｓ４３：ＹＥＳ）、Ｓ４２において特定した白色ＬＥＤが照射する光量を減少させ（Ｓ４３１）、基準値未満の場合（Ｓ４３：ＮＯ）、Ｓ４２において特定した白色ＬＥＤが照射する光量を増加させる（Ｓ４３２）。制御部１１は、例えば、白色ＬＥＤが照射する光量を減少させる場合は該白色ＬＥＤに出力するデューティ比を０．５から０．２まで徐々に下げ、増加させる場合は該白色ＬＥＤに出力するデューティ比を０．５から０．８まで徐々に上げる。

【0045】

プロセッサ装置１０の制御部１１は、白色ＬＥＤに出力するデューティ比を基に、白色ＬＥＤが照射する光量が上限値あるいは下限値であるか否かを判定する（Ｓ４４）。光量が上限値あるいは下限値である場合（Ｓ４４：ＹＥＳ）、制御部１１は、白色ＬＥＤが照射する光量を通常光量に変更し（Ｓ４５）、処理を終了する。光量が上限値あるいは下限値でない場合（Ｓ４４：ＮＯ）、制御部１１は、再度Ｓ１の処理を実行すべく、ループ処理を行う。

【0046】

本実施形態によれば、病変確度が低い関心領域に照射する光量を自動で調節するので、病変を判定する精度を向上することが可能である。

【0047】

（変形例）
前述の実施形態では、関心領域の位置を画像座標値によって定義していたが、ピクセル番号によって関心領域の位置を定義してもよい。この場合、画面領域はピクセル番号の範囲によって定義される。
また、学習モデル１６１が出力した画像配列形式のデータである場合、関心領域の位置を配列番号で定義してもよく、この場合、画面領域は配列番号の範囲によって定義される。

【0048】

前述の実施形態では、取得した内視鏡画像に含まれる関心領域の病変確度が所定値以上であった場合に子画面でするが、子画面で表示するする代替として、病変確度が所定値以上の関心領域を拡大して表示してもよい。また、該関心領域を子画面で拡大表示してもよい。

【0049】

前述の実施形態では、画面の白色度が基準値以上か否か判定し、白色ＬＥＤが照射する光量を減少させるかまたは増加させるかを決定していたが、内視鏡内に測光回路を設け、測光回路が測定した体腔内の反射光量に基づいて、白色ＬＥＤが照射する光量を減少させるかまたは増加させるかを決定してもよい。

【0050】

今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。

【符号の説明】

【0051】

１ 内視鏡
２ 挿入管
２０ 軟性部
２１ 湾曲部
２２ 先端部
２３ 連結部
２５ 対物レンズ
２６ 配光レンズ
３ 操作部
３１ 操作ボタン
４ ユニバーサルチューブ
５ コネクタ部
６ 撮像部
６０ 撮像駆動部
６１ 受信回路
６２ ゲイン回路
７ 照明部
７０ 基板
７１～７８ 白色ＬＥＤ
７９ 照明駆動部
８ 光量調節部
１０ プロセッサ装置
１１ 制御部
１２ 信号処理回路
１３ 入出力Ｉ／Ｆ
１４ モニタ
１５ 入力部
１６ 記憶部
１６１ 学習モデル
１６ａ 記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】