再表 2021-10225 コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ

(19)【発行国】日本国特許庁(JP)

【公報種別】再公表特許(A1)

(11)【国際公開番号】WO/0

(43)【国際公開日】2021年1月21日

【発行日】2021年12月2日

(54)【発明の名称】コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ

(51)【国際特許分類】

   A61B 1/045 20060101AFI20211105BHJP

   A61B 1/06 20060101ALI20211105BHJP

【ＦＩ】

   A61B1/045 614

   A61B1/06 612

【審査請求】有

【予備審査請求】未請求

【全頁数】28

【出願番号】特願2021-532990(P2021-532990)

(21)【国際出願番号】PCT/0/0

(22)【国際出願日】2020年7月7日

(31)【優先権主張番号】特願2019-133163(P2019-133163)

(32)【優先日】2019年7月18日

(33)【優先権主張国】JP

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,IT,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】池谷 浩平

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161CC06

4C161DD03

4C161LL02

4C161NN01

4C161QQ02

4C161QQ09

4C161RR02

4C161SS21

4C161WW02

4C161WW08

4C161WW13

4C161WW18

(57)【要約】

病変を検出する能力が高いコンピュータプログラム等を提供する。
コンピュータプログラムは、内視鏡により撮影された画像を取得し、画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力し、前記第１認識器で認識された認識結果を含む暫定情報を取得し、取得した前記暫定情報を含む画像を出力し、前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、取得した前記確定情報を含む画像を出力する処理をコンピュータに実行させる。

【特許請求の範囲】

【請求項1】

内視鏡により撮影された画像を取得し、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力し、
前記第１認識器で認識された認識結果を含む暫定情報を取得し、
取得した前記暫定情報を含む画像を出力し、
前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、
取得した前記確定情報を含む画像を出力する
処理をコンピュータに実行させるコンピュータプログラム。

【請求項2】

前記確定情報に基づき、前記暫定情報を含む画像から前記暫定情報を消去する
請求項１に記載のコンピュータプログラム。

【請求項3】

前記第１認識器に、前記内視鏡の撮像素子から得られた電気信号をＲＡＷデータに変換する変換器にて変換された画像を入力する
請求項１又は請求項２に記載のコンピュータプログラム。

【請求項4】

前記第２認識器に、前記内視鏡の撮像素子から得られた電気信号をＲＡＷデータに変換する変換器、信号処理部、及びノイズ除去部にて処理が施された画像を入力する
請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。

【請求項5】

前記第１認識器で認識された前記病変部を含む画像の前記病変部の撮像領域の明暗度に関する光量情報を取得し、
取得した前記光量情報に応じて所定の処理が施された画像を前記第２認識器に入力する
請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。

【請求項6】

前記所定の処理は、前記光量情報に応じた前記内視鏡の光源から照射される光量の制御を含む
請求項５に記載のコンピュータプログラム。

【請求項7】

前記所定の処理は、信号処理回路のパラメータ制御、γ補正、輪郭強調、及びノイズ除去の少なくともいずれか１つを含む
請求項５に記載のコンピュータプログラム。

【請求項8】

請求項１から請求項７のいずれか１項に記載のコンピュータプログラムが記憶されている記憶部と、
前記記憶部から前記コンピュータプログラムを読み出し実行する制御部と
を備える内視鏡用プロセッサ。

【請求項9】

内視鏡により撮影された画像を取得し、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力し、
前記第１認識器で認識された認識結果を含む暫定情報を取得し、
取得した前記暫定情報を含む画像を出力し、
前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、
取得した前記確定情報を含む画像を出力する
処理を含む情報処理方法。

【請求項10】

内視鏡により撮影された画像を取得する第１取得部と、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力する入力部と、
前記第１認識器で認識された認識結果を含む暫定情報を取得する第２取得部と
取得した前記暫定情報を含む画像を出力する第１出力部と、
前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得する第３取得部と、
取得した前記確定情報を含む画像を出力する第２出力部と
を備える内視鏡用プロセッサ。

【請求項11】

内視鏡により撮影された画像を取得し、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力し、
前記第１認識器で認識された認識結果を含む暫定情報を報知し、
前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を、前記暫定情報の報知態様とは異なる態様にて報知する
処理を含む情報処理方法。

【請求項12】

内視鏡により撮影された画像を取得する取得部と、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力する入力部と、
前記第１認識器で認識された認識結果を含む暫定情報を報知する第１報知部と、
前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を、前記暫定情報の報知態様とは異なる態様にて報知する第２報知部と
を備える内視鏡用プロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサに関する。

【背景技術】

【0002】

内視鏡画像等の医用画像から、学習モデルを使用して病変部位を自動的に検出するコンピュータ支援診断技術が開発されている。正解ラベルが付与された教師データを用いた教師あり機械学習により、学習モデルを生成する手法が知られている。

【0003】

通常の内視鏡で撮影された画像群を教師データに用いた第１の学習と、カプセル内視鏡で撮影された画像群を教師データに用いた第２の学習とを組み合わせる学習方法が提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１７／１７５２８２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の手法では、病変を検出する能力は十分ではないという問題がある。

【0006】

本開示の目的は、病変を検出する能力が高いコンピュータプログラム等を提供することである。

【課題を解決するための手段】

【0007】

本開示の一態様におけるコンピュータプログラムは、内視鏡により撮影された画像を取得し、画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力し、前記第１認識器で認識された認識結果を含む暫定情報を取得し、取得した前記暫定情報を含む画像を出力し、前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、取得した前記確定情報を含む画像を出力する処理をコンピュータに実行させる。

【発明の効果】

【0008】

本開示によれば、病変を検出する能力が高いコンピュータプログラム等を提供することができる。

【図面の簡単な説明】

【0009】

【図1】診断支援システムの外観を示す説明図である。

【図2】診断支援システムの構成を説明する説明図である。

【図3】実施形態１における第１学習済みモデルの生成処理に関する説明図である。

【図4】第２学習済みモデルの生成処理に関する説明図である。

【図5】制御装置の構成を示す機能ブロック図である。

【図6】光量情報の調整に関して説明する説明図である。

【図7】診断支援システムの動作を模式的に説明するタイムチャートである。

【図8】表示装置に表示される画面例を示す図である。

【図9】診断支援システムで実行される処理手順の一例を示すフローチャートである。

【図10】実施形態２における制御装置の構成を示す機能ブロック図である。

【図11】実施形態２の診断支援システムで実行される処理手順の一例を示すフローチャートである。

【図12】実施形態３における第２学習済みモデルに関する説明図である。

【図13】実施形態４における制御装置の構成を示す機能ブロック図である。

【図14】実施形態５における制御装置の構成を示す機能ブロック図である。

【発明を実施するための形態】

【0010】

本発明をその実施の形態を示す図面を参照して具体的に説明する。
（実施の形態１）

【0011】

図１は、診断支援システム１０の外観を示す説明図である。診断支援システム１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。表示装置５０は、例えば液晶表示装置、または、有機ＥＬ（Electro Luminescence）表示装置である。

【0012】

表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。

【0013】

内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、たとえばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、またはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。

【0014】

内視鏡４０は、挿入部４４、操作部４３、ライトガイド可撓管４９およびスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２および先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。

【0015】

ライトガイド可撓管４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。ライトガイド可撓管４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図２参照）が設けられている。

【0016】

図２は、診断支援システム１０の構成を説明する説明図である。前述のとおり診断支援システム１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。内視鏡用プロセッサ２０は、タッチパネル２５および読取部２８に加えて、制御装置２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ（Interface）２６、入力装置Ｉ／Ｆ２７、内視鏡用コネクタ３１、光源３３、ポンプ３４およびバスを備える。内視鏡用コネクタ３１は、電気コネクタ３１１および光コネクタ３１２を含む。

【0017】

制御装置２１は、制御部２１１を含み、回路基板等で構成される。当該基板上には、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、及び本実施の形態のプログラム６３を実行する演算制御装置であるＣＰＵ（Central Processing Unit）等の回路が実装されている。制御装置２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。

【0018】

主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１１が行なう処理の途中で必要な情報および制御部２１１で実行中のプログラムが一時的に保存される。

【0019】

通信部２４は、内視鏡用プロセッサ２０とネットワークとの間のデータ通信を行なうインターフェイスである。タッチパネル２５は、液晶表示パネル等の表示部２５１と、表示部２５１に積層された入力部２５２とを備える。

【0020】

表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。

【0021】

光源３３は、たとえば白色ＬＥＤ等の高輝度の白色光源である。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯および明るさの変更は、制御部２１１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、内視鏡４０に照明光を供給する。

【0022】

ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフおよび圧力の変更は、制御部２１１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。

【0023】

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置２３には、第１認識器である第１学習済みモデル６１、第２認識器である第２学習済みモデル６２、制御部２１１に実行させるプログラム６３、及びプログラム６３の実行に必要な各種データが保存される。第１学習済みモデル６１、第２学習済みモデル６２、及びプログラム６３は、制御部２１１が、通信部２４を介して所謂インターネット等のネットワーク経由で外部装置からダウンロードして補助記憶装置２３に記憶したものであってもよい。第１学習済みモデル６１、第２学習済みモデル６２、及びプログラム６３は、制御部２１１が読取部２８を介して可搬型記憶媒体６３ａから読み取って補助記憶装置２３に記憶したものであってもよい。第１学習済みモデル６１、第２学習済みモデル６２、及びプログラム６３は、制御部２１１が半導体メモリ６３ｂから読み出したものであってもよい。

【0024】

図３は、実施形態１における第１学習済みモデル６１の生成処理に関する説明図である。制御部２１１は、内視鏡の画像情報を入力とし、当該画像内に病変が含まれるか否かを示す情報を出力とする深層学習を含む機械学習の学習済みモデルを生成する。制御部２１１は、内視鏡による検査部を撮影した画像（元画像５２）内における当該検査部の病変に関する画像特徴量を学習する機械学習を行う。第１学習済みモデル６１は、例えばニューラルネットワークであり、ＣＮＮ（Convolution Neural Network）である。第１学習済みモデル６１は、内視鏡の画像の入力を受け付ける入力層と、病変の有無を示す情報（識別結果）を出力する出力層と、内視鏡の画像の画像特徴量を抽出する中間層とを備える。

【0025】

入力層は、内視鏡の画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡の画像の画像特徴量を抽出する複数のニューロンを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。例えば第１学習済みモデル６１がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層は、病変の有無を示す識別結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変が含まれるか否かを示す識別情報を出力する。

【0026】

制御部２１１は、内視鏡による検査部を撮影した複数の画像と、各画像における検査部の病変に関する情報とが対応付けられた教師データを用いて、中間層における各種パラメータの学習を行う。例えば図３に示すように、教師データは、内視鏡の画像に対し、病変の有無と、病変部に該当する画像領域の座標範囲とがラベル付けされたデータセットとして構築される。なお、病変とは、病変であると診断される可能性のある部位、すなわち病変候補を含むものであってよい。制御部２１１は、過去に実施された大量の検査の画像及び診断結果を収集したデータを用いて学習を行う。データには、病変が無いと診断された状態の画像も含まれる。なお、図３ではラベル付けされた画像領域を破線の矩形枠で図示している。病変部に該当する画像領域は、例えばＧｒａｄ−ＣＡＭ（Gradient-weighted Class Activation Mapping）等のモデル可視化手法を用いて抽出されてもよい。制御部２１１は、出力層からの出力に強く影響した領域を病変部として抽出する。

【0027】

制御部２１１は、教師データに含まれる内視鏡の画像を入力層に入力し、中間層での演算処理を経て、出力層から病変の有無を示す識別結果を取得する。例えば制御部２１１は、出力層から出力される識別結果として、内視鏡の画像における病変の有無のほかに、病変部に該当する画像領域を識別した識別結果を取得する。制御部２１１は、出力層から出力された識別結果を、教師データにおいて画像に対しラベル付けされた病変に関する情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いる各種パラメータを最適化する。当該パラメータは、例えばニューロン間の重み、バイアス等である。各種パラメータの最適化の方法は特に限定されないが、例えば制御部２１１は誤差逆伝播法を用いて各種パラメータの最適化を行う。制御部２１１は、教師データに含まれる各画像について上記の処理を行い、第１学習済みモデル６１を生成する。

【0028】

図４は、第２学習済みモデル６２の生成処理に関する説明図である。第２学習済みモデル６２は、第１学習済みモデル６１に入力される内視鏡の画像（元画像５２）に、後述する所定の前処理が行われ高精度の識別が可能な内視鏡の画像（処理画像５４）を入力とする。第２学習済みモデル６２は、内視鏡の画像における病変の有無と共に、当該病変の内容（腫瘍・良性、腫瘍・悪性等）を示す推定結果を出力とする。制御部２１１は、内視鏡の画像情報を入力とし、当該画像内の病変の有無及び内容を示す情報を出力とする深層学習を含む機械学習の学習済みモデルを生成する。制御部２１１は、内視鏡による検査部を撮影した画像（処理画像５４）内における当該検査部の病変に関する画像特徴量を学習する機械学習を行う。第２学習済みモデル６２は、例えばニューラルネットワークであり、ＣＮＮである。第２学習済みモデル６２は、内視鏡の画像の入力を受け付ける入力層と、病変に関する情報（識別結果）を出力する出力層と、内視鏡の画像の画像特徴量を抽出する中間層とを備える。

【0029】

入力層は、内視鏡の画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡の画像の画像特徴量を抽出する複数のニューロンを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。例えば第２学習済みモデル６２がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層は、病変に関する情報を示す識別結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変の有無及び内容を示す識別情報を出力する。

【0030】

制御部２１１は、内視鏡による検査部を撮影した複数の画像と、各画像における検査部の病変に関する情報とが対応付けられた教師データを用いて、中間層における各種パラメータの学習を行う。例えば図３に示すように、教師データは、内視鏡の画像に対し、病変の有無、病変部に該当する画像領域の座標範囲、及び病変の内容がラベル付けされたデータセットとして構築される。制御部２１１は、過去に実施された大量の検査の画像及び診断結果を収集したデータを用いて学習を行う。データには、病変が無いと診断された状態の画像も含まれる。なお、図４ではラベル付けされた画像領域を太線の矩形枠で図示している。

【0031】

制御部２１１は、教師データに含まれる内視鏡の画像を入力層に入力し、中間層での演算処理を経て、出力層から病変の有無及び内容を示す識別結果を取得する。例えば制御部２１１は、出力層から出力される識別結果として、内視鏡の画像における病変の有無のほかに、病変部に該当する画像領域、及び病変の内容を識別した識別結果を取得する。制御部２１１は、出力層から出力された識別結果を、教師データにおいて画像に対しラベル付けされた病変に関する情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いる各種パラメータを最適化する。当該パラメータは、例えばニューロン間の重み、バイアス等である。各種パラメータの最適化の方法は特に限定されないが、例えば制御部２１１は誤差逆伝播法を用いて各種パラメータの最適化を行う。制御部２１１は、教師データに含まれる各画像について上記の処理を行い、第２学習済みモデル６２を生成する。

【0032】

第２学習済みモデル６２は、第１学習済みモデル６１と同じ構成を有する学習済みモデルであってもよく、また第２学習済みモデル６２は、第１学習済みモデル６１よりも層数が多い中間層を備え画像の認識精度を高めた学習済みモデルであってもよい。第２学習済みモデル６２は、第１学習済みモデル６１よりも長い処理時間を有するものであってもよい。例えば第１学習済みモデル６１では、グレースケールの画像情報を入力情報に与えられ、第２学習済みモデル６２では、ＲＧＢ（Red Green Blue）値を含む画像情報が入力情報に与えられる。

【0033】

なお、本実施の形態では第１学習済みモデル６１及び第２学習済みモデル６２がＣＮＮであるものとして説明したが、第１学習済みモデル６１及び第２学習済みモデル６２はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワークを用いてもよい。またニューラルネットワークを用いない強化学習モデル、サポートベクタマシン、回帰木等、他の学習アルゴリズムで構築された学習済みモデルであってよい。第１学習済みモデル６１及び第２学習済みモデル６２は、Ｒ−ＣＮＮ、Ｆａｓｔｅｒ Ｒ−ＣＮＮ、Ｍａｓｋ Ｒ−ＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、または、ＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムで構築された学習済みモデルであってよい。入力画像中に複数の病変部が検出された場合においては、夫々の病変部が第１学習済みモデル６１及び第２学習済みモデル６２に入力され、認識結果が出力される構成であってよい。なお、第１学習済みモデル６１及び第２学習済みモデル６２は、外部装置により生成され内視鏡用プロセッサ２０にインストールしたものであってよい。

【0034】

また、本実施の形態では、第１認識器及び第２認識器に学習済みモデルを適用する例を説明したが、内視鏡の画像による病変の認識方法は限定されるものではない。例えば、第１認識器及び第２認識器は、内視鏡の画像の画像特徴量を算出し、予め記憶される病変画像とのパターンマッチング等により、内視鏡の画像に含まれる病変の有無又は内容の認識を行ってもよい。

【0035】

図５は、制御装置２１の構成を示す機能ブロック図である。制御装置２１は、制御部２１１、Ａ／Ｄ変換部２１２、信号処理部２１３、ノイズ除去部２１４を含む。制御部２１１は、本実施の形態のプログラム６３を実行する演算制御装置であり、一または複数のＣＰＵ又はマルチコアＣＰＵ等が使用される。また制御部２１１は、補助記憶装置２３に記憶してあるプログラム６３を実行することにより、表示制御部２１５及びシステム制御部２１６の各機能を実現する。図５においては、これら部位を機能部として示している。

【0036】

Ａ／Ｄ変換部２１２は、例えばＡ／Ｄ変換器を用いる。Ａ／Ｄ変換部２１２は、内視鏡４０の先端部４４３に設けられた撮像素子により撮影されて、内視鏡用プロセッサ２０に伝送された撮像画像５１の電気信号をデジタルデータ（ＲＡＷデータ）に変換する。撮像画像５１は、動画像で得られ、例えば１秒間に６０フレーム等の複数のフレームの静止画像から構成される。ここでＲＡＷデータとは、撮像素子から得られたアナログ信号をＡ／Ｄ変換したデータをいい、他の補正を行っていないデータである。Ａ／Ｄ変換部２１２は、撮像画像５１をＲＡＷデータである元画像５２に変換する。なお、Ａ／Ｄ変換部２１２は、ＲＡＷデータである元画像５２に、時間遅れを生じさせることのない信号処理のみを施してもよい。Ａ／Ｄ変換部２１２で変換された元画像５２は、第１学習済みモデル６１及び信号処理部２１３に夫々入力される。

【0037】

信号処理部２１３は、ＡＳＩＣ等を用いて、元画像５２のガンマ補正、輪郭強調、拡大／縮小等の各種画像処理を行う信号処理回路である。信号処理部２１３は、必要に応じて元画像５２のビット数の変更処理を行い、例えばＡ／Ｄ変換部２１２で変換された１０ビット階調の元画像５２を８ビット階調に変換し、以降の画像処理に適したビット数へ変更する画像処理を行う。信号処理部２１３は、ユーザが目視しやすい状態にするための画像処理を行った画像（内視鏡画像５３）を生成し、表示制御部２１５へ入力する。また信号処理部２１３は、病変の認識精度を高めるための画像処理を行った画像をノイズ除去部２１４へ入力する。

【0038】

ノイズ除去部２１４は、所謂ビデオメモリであり、ノイズ除去前の直前及び直々前フレームの画像を保持するメモリを含む。ノイズ除去部２１４は、直前及び直々前フレームの画像との差分に基づき対象フレームの画像のノイズを除去する画像処理を行う。信号処理部２１３及びノイズ除去部２１４にて画像処理が行われた画像（処理画像５４）は、第２学習済みモデル６２へ入力される。

【0039】

制御部２１１は、補助記憶装置２３に記憶してあるプログラム６３を実行、又は第１学習済みモデル６１を構成する実体ファイルを読み出すことにより、第１学習済みモデル６１として機能する。第１学習済みモデル６１は、元画像５２に応じて、病変の有無に関する情報を、表示制御部２１５へ出力する。

【0040】

制御部２１１は、補助記憶装置２３に記憶してあるプログラム６３を実行、又は第２学習済みモデル６２を構成する実体ファイルを読み出すことにより、第２学習済みモデル６２として機能する。第２学習済みモデル６２は、処理画像５４に応じて、病変の有無及び内容に関する情報を、表示制御部２１５へ出力する。

【0041】

表示制御部２１５は、第１学習済みモデル６１からの出力情報に基づく暫定情報及び第２学習済みモデル６２からの出力情報に基づく確定情報を取得し、暫定情報を含む暫定情報画像５５及び確定情報を含む確定情報画像５６の表示装置５０への表示を制御する。さらに表示制御部２１５は、第１学習済みモデル６１からの出力情報を基に、元画像５２の病変部を含む撮像領域の明暗度に関する光量情報を取得する。病変部を含む領域の撮像画像が明る過ぎたり、又は暗すぎる場合には、学習済みモデルでの画像に対する認識精度が下がるおそれがある。表示制御部２１５は、第１学習済みモデル６１からの出力情報を基に、元画像５２の病変部の明暗度を判定した光量情報を導出する。導出した光量情報は、システム制御部２１６へ入力される。

【0042】

システム制御部２１６は、予め記憶する光量制御情報データベース（図示せず）を読み出し、取得した光量情報に基づく適切な光量制御情報を特定し、特定した光量制御情報を内視鏡用プロセッサ２０の光源３３に出力して光源３３の光量を制御する。システム制御部２１６の制御により、必要に応じて光源３３の光量が低減又は増加されるため、病変部の明暗度が適切に調整された撮像画像５１が得られ、病変部の明暗度及び色彩が調整された処理画像５４が第２学習済みモデル６２へと入力される。

【0043】

図６は、光量情報の調整に関して説明する説明図である。図６Ａは、病変部が右奥に含まれた状態である画像の一例を示している。一般に、画像は、画像の手前側の領域が明るく、奥側の領域ほど暗く表示される。従って、病変部が右奥にある状態で撮影された場合には、図６Ａで示す如く、病変部を含む領域が暗く表示され、第１認識器では識別が可能であるが第２認識器で精度の高い認識結果が得られないおそれがある。このような場合には、制御部２１１は、画像情報に基づき明度が低いことを示す光量情報を取得し、取得した光量情報に基づく光量制御情報を特定する。制御部２１１は、特定した光量制御情報に基づき、例えば所定値に光量を増加させる制御情報を光源３３に出力する。

【0044】

図６Ｂは、光量情報に基づく調整が行われた後の、病変部が右奥に含まれた状態である画像の一例を示している。上記のようにして光源３３の光量が増加された場合、図６Ｂに示す如く病変部を含む領域が明るい状態の画像が得られる。認識器は、病変部の明暗度及び色彩が調整された画像に基づく判断が可能となる。

【0045】

図６Ｃは、病変部が手前に含まれた状態である画像の一例を示している。図６Ｃに示す例では、病変部が手前に含まれ、病変内部の一部に光量過多によるハレーションが生じている。図６Ｃの様に、画像にハレーションが生じている場合には、第１認識器では識別が可能であるが第２認識器で精度の高い認識結果が得られないおそれがある。このような場合には、制御部２１１は、画像情報に基づき明度が高いことを示す光量情報を取得し、取得した光量情報に基づく光量制御情報を特定する。制御部２１１は、特定した光量制御情報に基づき、例えば所定値に光量を低減させる制御情報を光源３３に出力する。このように光量が適切に調整され画像全体の明るさが下がり、病変部が手前にある場合においても注目領域にハレーションの生じていない画像が得られる。

【0046】

図７は、診断支援システム１０の動作を模式的に説明するタイムチャートである。横軸は時間を示す。図７Ａは、撮像素子１４１による撮像画像５１を出力するタイミングを示す。図７Ｂは、Ａ／Ｄ変換部２１２の画像処理により、元画像５２を出力するタイミングを示す。図７Ｃは、元画像５２に基づいて第１認識器（第１学習済みモデル６１）が暫定情報を出力するタイミングを示す。図７Ｄは、信号処理部２１３の画像処理により、処理が行われた画像を出力するタイミングを示す。図７Ｅは、ノイズ除去部２１４の画像処理により、処理画像５４を出力するタイミングを示す。図７Ｆは、処理画像５４に基づいて第２認識器（第２学習済みモデル６２）が確定情報を出力するタイミングを示す。

【0047】

時刻ｔ１に、撮像素子１４１により撮像画像５１の「ａ」のフレームが出力される。Ａ／Ｄ変換部２１２がＡ／Ｄ変換処理を行ない、時刻ｔ１に「ａ」の元画像５２を出力する。時刻ｔ2に、制御部２１１は、元画像５２を第１学習済みモデル６１に入力し認識結果を含む暫定情報を出力する。制御部２１１は、暫定情報画像５５を表示装置５０に表示させ、光量情報を出力する。また時刻ｔ2に、信号処理部２１３が画像処理を行ない、「ａ」の画像処理が施された画像を出力する。時刻ｔ3に、ノイズ除去部２１４が画像処理を行ない、「ａ」の処理画像５４を出力する。時刻ｔ４に、制御部２１１は、処理画像５４を第２学習済みモデル６２に入力し認識結果を含む確定情報を出力する。制御部２１１は、確定情報画像５６を表示装置５０に表示させる。以上で、撮像素子１４１が撮影した１フレーム分の画像の処理が終了する。同様に、時刻ｔ２に撮像素子１４１により「ｂ」のフレームが出力される。以降の動作も同様であるため、説明を省略する。

【0048】

図７に示した例では、撮像素子１４１の出力から１フレーム遅れて暫定情報が出力され、暫定情報の出力からさらに２フレーム遅れて確定情報が出力される。第１認識器からの出力は、信号処理部２１３の出力と同時に得られるので、ユーザは殆ど遅延を感じることなく暫定情報を得ることができる。第２認識器からの出力は、撮像素子の出力から３フレーム遅延するので、１フレーム期間を例えば３３ｍｓとすると、約０．１秒遅延するため、ユーザは多少の遅れを感じる可能性がある。

【0049】

なお、時刻ｔ2の光量情報の出力を受けて光量の調整が行われた場合には、確定情報の出力はさらに遅れて得られる。例えば「ａ」の第１学習済みモデル６１の出力情報を受けて時刻ｔ3に、光量情報が出力され光源の制御が行われた場合、時刻ｔ４に出力される「ｄ」のフレームが「ａ」に基づき適切な光量に制御されたフレームに該当する。従って、光量調整を受けた後の確定情報は、時刻ｔ７に、撮像素子の出力から６フレーム遅れて出力される。

【0050】

内視鏡用プロセッサ２０に接続された内視鏡４０の機能の概略を説明する。スコープコネクタ４８、ライトガイド可撓管４９、操作部４３および挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２およびファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。

【0051】

照明光により照らされた範囲を、先端部４４３に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮像画像５１が伝送される。

【0052】

制御部２１１は、撮像画像５１に画像処理を施して、ユーザが目視して病変を発見しやすい内視鏡画像５３を生成する。制御部２１１は、第１学習済みモデル６１の認識結果による暫定情報を含む暫定情報画像５５を生成する。制御部２１１は、第２学習済みモデル６２の認識結果による確定情報を含む確定情報画像５６を生成する。制御部２１１は、内視鏡画像５３、暫定情報画像５５、及び確定情報画像５６を表示装置５０に出力する。

【0053】

図８は、表示装置５０に表示される画面例を示す図である。図８Ａは、内視鏡画像５３の表示画面の一例を示している。内視鏡検査中は、内視鏡画像５３はリアルタイムで更新される。内視鏡４０を操作するユーザは、内視鏡画像５３を観察しながら内視鏡４０を操作する。

【0054】

図８Ｂは、暫定情報画像５５の表示画面の一例を示している。図８Ｂの例では、暫定情報画像５５は、内視鏡画像５３に暫定情報が重畳表示された画像である。暫定情報とは、第１学習済みモデル６１の認識結果に基づく情報であり、画像領域内の病変の有無及び位置の認識結果を含む。暫定情報は、ユーザに認識可能な形態で表示装置５０に表示される。図８Ｂの例では、暫定情報は、第１学習済みモデル６１にて病変と認識された領域を含む、破線のバウンディングボックスで示される暫定マーカー５５１にて表示されている。

【0055】

図８Ｃは、確定情報画像５６の第１例の表示画面の一例を示している。図８Ｃの例では、確定情報画像５６は、内視鏡画像５３に確定情報が重畳表示された画像である。確定情報とは、第２学習済みモデル６２の認識結果に基づく情報であり、画像領域内の病変の内容及び位置の認識結果を含む。確定情報は、ユーザに認識可能な形態で表示装置５０に表示される。図８Ｃの例では、確定情報は、第２学習済みモデル６２にて病変と認識された領域を含む、太線のバウンディングボックスで示される確定マーカー５６１にて表示されている。確定情報は、病変の内容を示すテキスト等を含んで表示されてもよい。

【0056】

図８Ｄは、確定情報画像５６の第２例の表示画面の一例を示している。図８Ｄの例では、確定情報画像５６は、内視鏡画像５３に確定情報が重畳表示された画像である。確定情報は、第２学習済みモデル６２にて病変（良性）と認識された領域を含む、実線のバウンディングボックスで示される確定マーカー５６２、及び認識結果の内容を示すテキスト（「Ｎｅｏｐｌａｓｓｔｉｃ」等）を用いて表示されている。バウンディングボックスは、二重の矩形枠で示されている。図８Ｄに示す様に、第１認識器にて暫定的に病変と認識された領域において、第２認識器にて病変無し、又は病変が良性である等の認識結果を含む確定情報が得られた場合には、制御部２１１は、暫定マーカー５５１を消去する情報、又は、病変部が良性であることを示す確定マーカー５６２及びテキスト等を表示させる情報を含む確定情報画像５６を表示させる。

【0057】

確定マーカー５６１，５６２は、病変の内容（良性又は悪性）に応じて、異なる色や形状にて表示されることが望ましい。例えば病変部が良性である場合は緑色、病変部が悪性である場合は赤色で示されるマーカーで確定情報を表示してもよく、病変部が良性である場合は円形、病変部が悪性である場合は四角形の形状で示されるマーカーで確定情報を表示してもよい。確定情報は、確定マーカーを用いて表示される以外に、合成音声によるテキストの読み上げにより出力されてもよく、又は病変の内容に応じた異なる音楽等を用いて出力されてもよい。また、確定情報画像５６中に複数の病変部を示す確定マーカー５６１，５６２が含まれる場合においては、例えば病変部の数に応じて周波数、テンポ、又は出力頻度等を変化させたビープ音、音楽等を出力してもよい。また、病変部を示す確定マーカーの数を示す数値を含んで表示させてもよい。

【0058】

図９は、診断支援システム１０で実行される処理手順の一例を示すフローチャートである。図９に示すフローチャートは、内視鏡用プロセッサ２０の制御部２１１、Ａ／Ｄ変換部２１２、信号処理部２１３、及びノイズ除去部２１４により実行される処理を記載する。制御部２１１等は、内視鏡画像５３の生成、光源３３および内視鏡４０の先端部４４３に配置された撮像素子の制御等の処理と並行して、図９に示す処理を実行する。

【0059】

Ａ／Ｄ変換部２１２は、内視鏡４０から撮像画像５１を取得する（ステップＳ１１）。Ａ／Ｄ変換部２１２は、取得した撮像画像５１をＡ／Ｄ変換し（ステップＳ１２）、元画像５２を生成する。制御部２１１は、元画像５２を第１学習済みモデル６１に与え（ステップＳ２１）、出力される出力情報を特定する（ステップＳ２２）。制御部２１１は、特定した出力情報に基づく暫定情報を補助記憶装置２３に一時的に記憶する。制御部２１１は、内視鏡画像５３に暫定情報が重畳表示された暫定情報画像５５を生成し、暫定情報を含む暫定情報画像５５を、表示装置５０に表示する（ステップＳ２３）。例えば、病変部に暫定マーカーが示された確定情報画像が表示される。

【0060】

制御部２１１等は、サブプロセスを発生させ、ステップＳ２１以下の処理に並行してステップＳ４１の処理を行う。信号処理部２１３は、元画像５２に各種の画像処理を行う（ステップＳ４１）。ノイズ除去部２１４は、画像処理が行われた画像のノイズ除去を行い（ステップＳ４２）、処理画像５４を生成する。

【0061】

制御部２１１は、処理画像５４を第２学習済みモデル６２に与え（ステップＳ４３）、出力される出力情報を特定する（ステップＳ４４）。制御部２１１は、特定した出力情報に基づく確定情報を補助記憶装置２３に一時的に記憶する。制御部２１１は、内視鏡画像５３に確定情報が重畳表示された確定情報画像５６を生成し、確定情報を含む確定情報画像５６を、表示装置５０に表示する（ステップＳ４５）。例えば、第１学習済みモデル６１の暫定情報と第２学習済みモデル６２の確定情報とが病変に対する同じ認識結果を含んでいる場合においては、制御部２１１は、暫定マーカー５５１が示される病変部を含む暫定情報画像５５に変えて、確定マーカー５６１が示される確定情報画像５６を表示させる。また、第１学習済みモデル６１の暫定情報と第２学習済みモデル６２の確定情報が異なる内容を含んでいる場合においては、制御部２１１は、暫定マーカー５５１が示される病変部を含む暫定情報画像５５に変えて、病変部に表示されていた暫定マーカー５５１を消去した確定情報画像５６を表示させる。

【0062】

制御部２１１は、ステップＳ２３の処理後、元画像５２の病変部を含む撮像領域の画像の明暗度に関する光量情報を取得する（ステップＳ２４）。制御部２１１は、光量情報に基づき、光源３３の光量を制御するか否かを判断する（ステップＳ２５）。例えば、元画像５２の病変部を含む撮像領域の明暗度が予め設定されている閾値の範囲内である場合には、病変部の明るさが適切であるため光量制御は不要であると判断する。光量制御が不要であると判断した場合（ステップＳ２５：ＮＯ）、制御部２１１は、光量制御の処理をスキップしてステップＳ１３へ処理を進める。

【0063】

一方、元画像５２の病変部を含む撮像領域の明暗度が予め設定されている閾値以上又は閾値以下である場合には、病変部が明るすぎる、又は暗すぎるため光量制御が必要であると判断する。光量制御が必要であると判断した場合（ステップＳ２５：ＹＥＳ）、制御部２１１は、予め記憶する光量制御情報データベースを参照して、光量情報に応じた光量制御情報を取得する（ステップＳ２６）。制御部２１１は、取得した光量制御情報を内視鏡用プロセッサ２０の光源３３に出力し（ステップＳ２７）。光源３３の光量を制御する。

【0064】

制御部２１１は、撮影が終了したか否かを判断する（ステップＳ１３）。撮影が終了していないと判定した場合（ステップＳ１３：ＮＯ）、制御部２１１は処理をステップＳ１１に戻し、新たな撮像画像を取得する。撮影が終了したと判断した場合（ステップＳ１３：ＹＥＳ）、制御部２１１等は一連の処理を終了する。なお、制御部２１１等は、ステップＳ１３の処理の後にステップＳ１１を行うループ処理を行ってもよい。

【0065】

このようにして、診断支援システム１０においては、まず第１認識器（第１学習済みモデル６１）にて暫定情報が出力される。第１認識器に、撮像素子１４１からのアナログ信号をＡ／Ｄ変換したＲＡＷデータ（元画像５２）を直接入力することで、検出時間遅れを短縮し、検査のリアルタイム性を向上させる。ついで、第２認識器（第２学習済みモデル６２）にて確定情報が出力される。認識精度が高い第２認識器に、前処理を施した画像を入力することで、認識精度を高め信頼度を向上させることができる。

【0066】

（実施形態２）
実施形態２では、光量情報に基づく光量制御情報が、内視鏡用プロセッサ２０の光源３３に代替して第１信号処理部に出力される。図１０は、実施形態２における制御装置２１の構成を示す機能ブロック図である。実施形態２における診断支援システム１０の構成は、制御装置２１に第１信号処理部２１８及び第２信号処理部２１９が備えられる点、及び診断支援システム１０が実行する処理の詳細が異なる点以外は実施形態１における構成と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

【0067】

実施形態２では、システム制御部２１６は、表示制御部２１５から出力される光量情報を取得し、予め記憶する光量制御情報データベース（図示せず）を読み出し、元画像５２の画像処理に適したパラメータの情報を含む光量制御情報を取得する。システム制御部２１６は、光量制御情報を第１信号処理部２１８へ出力する。実施形態２では、元画像５２の明暗度に基づき、実施形態１の光源３３の光量制御に代替して元画像５２に画像処理を施すことで、第２学習済みモデル６２に入力される処理画像５４に含まれる病変部の明るさを調整し画像の認識精度を高める。すなわち、実施形態２における光量制御情報には、画像の明暗度に応じた信号処理回路のパラメータ制御に関する情報が含まれる。

【0068】

第１信号処理部２１８は、ＡＳＩＣ等を用いて、元画像５２の拡大／縮小、ビット数の変更等の各種の画像処理を行う信号処理回路である。さらに第１信号処理部２１８は、システム制御部２１６から出力される光量制御情報に基づき、各種信号処理のパラメータを変更し、元画像５２の明暗度を適切に調整する画像処理を行う。第１信号処理部２１８は、病変の認識精度を高めるための画像処理を行った画像をノイズ除去部２１４へ入力する。

【0069】

第２信号処理部２１９は、ＡＳＩＣ等を用いて、元画像５２のガンマ補正、輪郭強調等の各種の画像処理を行う信号処理回路である。第２信号処理部２１９は、ユーザが目視しやすい状態にするための画像処理を行った画像（内視鏡画像５３）を生成し、表示制御部２１５へ入力する。

【0070】

図１１は、実施形態２の診断支援システム１０で実行される処理手順の一例を示すフローチャートである。図１１に示すフローチャートは、内視鏡用プロセッサ２０の制御部２１１、Ａ／Ｄ変換部２１２、第１信号処理部２１８、第２信号処理部２１９、及びノイズ除去部２１４により実行される処理を記載する。実施形態１の図９と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。

【0071】

Ａ／Ｄ変換部２１２は、内視鏡４０から撮像画像５１を取得し（ステップＳ１１）、取得した撮像画像５１をＡ／Ｄ変換し（ステップＳ１２）、元画像５２を生成する。制御部２１１は、元画像５２を第１学習済みモデル６１に与え（ステップＳ２１）、出力される出力情報を特定する（ステップＳ２２）。制御部２１１は、特定した出力情報に基づく暫定情報を補助記憶装置２３に一時的に記憶する。制御部２１１は、内視鏡画像５３に暫定情報が重畳表示された暫定情報画像５５を生成し、暫定情報を含む暫定情報画像５５を、表示装置５０に表示する（ステップＳ２３）。

【0072】

制御部２１１は、元画像５２の病変部を含む撮像領域の画像の明暗度に関する光量情報を取得する（ステップＳ２４）。制御部２１１は、光量情報に基づき、元画像５２の光量を制御するか否かを判断する（ステップＳ２５）。例えば、元画像５２の病変部を含む撮像領域の明暗度が予め設定されている閾値の範囲内である場合には、病変部の明るさが適切であるため光量制御は不要であると判断する。光量制御が不要であると判断した場合（ステップＳ２５：ＮＯ）、制御部２１１は、光量制御の処理をスキップしてステップＳ１３へ処理を進める。

【0073】

一方、元画像５２の病変部を含む撮像領域の明暗度が予め設定されている閾値以上又は閾値以下である場合には、病変部が明るすぎる、又は暗すぎるため光量制御が必要であると判断する。光量制御が必要であると判断した場合（ステップＳ２５：ＹＥＳ）、制御部２１１は、予め記憶する光量制御情報データベースを参照して、光量情報に応じた光量制御情報を取得する（ステップＳ２６１）。制御部２１１は、取得した光量制御情報を第１信号処理部２１８に出力する（ステップＳ２７１）。

【0074】

制御部２１１等は、サブプロセスを発生させ、ステップＳ２１以下の処理に並行してステップＳ４１１の処理を行う。制御部２１１等は、これら２つのプロセスにおいてプロセス間通信を行うことにより、処理の同期を図るものであってもよい。第１信号処理部２１８は、制御部２１１から出力される光量制御情報を取得し、信号処理回路のパラメータを変更するか否かを判断する（ステップＳ４１１）。パラメータの変更が不要であると判断した場合（ステップＳ４１１：ＹＥＳ）、第１信号処理部２１８は、パラメータ変更の処理をスキップして次のステップＳ４１へ処理を進める。

【0075】

一方、パラメータの変更が必要であると判断した場合（ステップＳ４１１：ＮＯ）、第１信号処理部２１８は、光量制御情報に基づき信号処理回路のパラメータを変更し（ステップＳ４１２）、変更したパラメータにより元画像５２に各種の画像処理を行う（ステップＳ４１）。ノイズ除去部２１４は、画像処理が行われた画像のノイズ除去を行い（ステップＳ４２）、処理画像５４を生成する。処理画像５４の病変部を含む撮像領域は、適切な明るさに調整されている。

【0076】

制御部２１１は、処理画像５４を第２学習済みモデル６２に与え（ステップＳ４３）、出力される出力情報を特定する（ステップＳ４４）。制御部２１１は、特定した出力情報に基づく確定情報を補助記憶装置２３に一時的に記憶する。制御部２１１は、内視鏡画像５３に確定情報が重畳表示された確定情報画像５６を生成し、確定情報を含む確定情報画像５６を、表示装置５０に表示する（ステップＳ４５）。

【0077】

制御部２１１は、撮影が終了したか否かを判断する（ステップＳ１３）。撮影が終了していないと判定した場合（ステップＳ１３：ＮＯ）、制御部２１１は処理をステップＳ１１に戻し、新たな撮像画像を取得する。撮影が終了したと判断した場合（ステップＳ１３：ＹＥＳ）、制御部２１１等は一連の処理を終了する。

【0078】

本実施形態によれば、第１認識器の出力信号を利用し、信号処理回路のパラメータ制御を行うことで、より適切な前処理が行われた画像が第２認識器に入力される。光源３３の制御を行うことなく、第２認識器での認識精度を高めることが可能となる。

【0079】

（実施形態３）
実施形態３では、ノイズ除去部２１４及び第２学習済みモデル６２の内容が異なり、第２学習済みモデル６２でノイズ除去が行われる。実施形態２における診断支援システム１０の構成は、ノイズ除去部２１４及び第２学習済みモデル６２の内容が異なる点以外は実施形態１及び実施形態２における構成と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

【0080】

実施形態３におけるノイズ除去部２１４は、ノイズ除去前の直前及び直々前フレームの画像を保持する。ノイズ除去部２１４は、ノイズ除去に関する画像処理を行うことなく、保存する当該フレーム画像、直前フレーム画像、及び直々前フレーム画像を、第２学習済みモデル６２へ入力する。

【0081】

図１２は、実施形態３における第２学習済みモデル６２に関する説明図である。制御部２１１は、時系列の複数個のノイズ除去を行っていない内視鏡画像と、ノイズが除去された時系列での最後の内視鏡画像における病変の有無及び内容の識別結果とが対応付けられた教師データに基づき学習することで、時系列の複数個の内視鏡画像を入力とし、ノイズを除去した時系列での最後の内視鏡画像における病変の有無及び内容の識別結果を出力とするニューラルネットワークを構築（生成）する。

【0082】

入力層は、時系列による複数個の内視鏡画像を受け付ける単数又は複数のニューロンを有し、入力された複数個の内視鏡画像を中間層に受け渡す。中間層は、ＣＮＮのコンボリューション層及びプーリング層の以降に自己回帰層が連結された多層構造を成す。自己回帰層は、例えばＬＳＴＭ（Long Short Term Memory／長期短期記憶)モデルとして実装されるものであり、このような自己回帰層を含むニューラルネットワークは、ＲＮＮ（再帰型ニューラルネットワーク）と称される。コンボリューション層及びプーリング層により、時系列で入力された内視鏡画像夫々の特徴量が抽出される。自己回帰層は、抽出された特徴量夫々における変化量を出力する。出力層は、一又は複数のニューロンを有し、中間層から出力された内視鏡画像夫々の特徴量における変化量に基づき、ノイズ除去を施した時系列での最後の内視鏡画像における病変の有無及び内容の識別結果を生成し出力する。ＣＮＮ及びＲＮＮとの連結構造をなすニューラルネットワークに対する学習は、例えば、誤差逆伝播法（Backpropagation）及びＢＰＴＴ（Backpropagation Through Time）を組み合わせることにより行われる。なお、図１２に示す第２学習済みモデル６２の構成は一例であって、本実施の形態はこれに限定されるものではない。

【0083】

学習済みモデル２３７で除去されるノイズには、様々なノイズが含まれる。ノイズの第１例は、撮像素子から得られる撮像画像５１に含まれる、所謂雑音等のノイズである。ノイズの第２例は、処理画像５４中に含まれる泡等の異物である。例えば泡が処理画像５４に含まれている場合、病変部と形状が近似していることにより誤って病変部と識別されるおそれがある。これらの異物は、病変部と異なり移動、消滅等の変化を生じる。

【0084】

本実施形態によれば、第２認識器でノイズに関する情報を含んで病変部に関する情報が認識される。ノイズ除去をも学習済みモデル２３７が行うことで、より認識精度を高めることが可能となる。

【0085】

（実施形態４）
実施形態４では、第１学習済みモデル６１及び第２学習済みモデル６２には、同じ画像処理を施した画像が入力される。図１３は、実施形態４における制御装置２１の構成を示す機能ブロック図である。実施形態４における診断支援システム１０の構成は、診断支援システム１０が実行する処理の詳細が異なる点以外は実施形態１における構成と同様であるので、共通する構成については、同一の符号を付してその詳細な説明を省略する。

【0086】

図１３に示す様に、実施形態３では、撮像画像５１は、Ａ／Ｄ変換部２１２にてＡ／Ｄ変換され、信号処理部２１３にてガンマ補正、輪郭強調、拡大／縮小等の各種の画像処理が行われる。各種の画像処理が行われた画像は、第１学習済みモデル６１及び第２学習済みモデル６２に夫々入力される。なお、第１学習済みモデル６１及び第２学習済みモデル６２に夫々入力される画像には、信号処理部２１３での画像処理の後、図示しないノイズ除去部にてノイズ除去等の画像処理がさらに行なわれてもよい。

【0087】

第１学習済みモデル６１及び第２学習済みモデル６２は、異なる層数を有する学習済みモデルである。第１学習済みモデル６１及び第２学習済みモデル６２は、同じ前処理が施された画像情報を入力とする。第２学習済みモデル６２は、第１学習済みモデル６１よりも中間層の層数が多く認識精度が高い構成を有する。実施形態１及び実施形態２と同様、第１学習済みモデル６１からは、病変部の有無を認識した暫定情報が出力される。第２学習済みモデル６２からは病変部の有無及び内容を認識した確定情報が出力される。

【0088】

実施形態４では、内視鏡用プロセッサ２０の制御部２１１は、実施形態１と同様に、第１学習済みモデル６１から出力される画像の光量情報に基づき光源３３に光量制御情報を出力する。光量制御情報により、光源３３の光量が制御される。第１学習済みモデル６１及び第２学習済みモデル６２には、病変部を含む撮像領域が適切な明るさになるよう調整され撮影された画像が入力される。なお、制御部２１１は、実施形態２と同様に、信号処理部２１３に光量制御情報を出力して、画像の明暗度を調整してもよい。

【0089】

（実施形態５）
実施形態５では、暫定情報及び確定情報の報知態様が実施形態１と異なる。実施形態１における診断支援システム１０のハードウェア構成は実施形態１と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

【0090】

図１４は、実施形態５における制御装置２１の構成を示す機能ブロック図である。実施形態５における診断支援システム１０の制御部２１１は、補助記憶装置２３に記憶してあるプログラム６３を実行することにより、報知情報制御部２１５１の機能を実現する。

【0091】

暫定情報及び確定情報は、マーカー等を用いて画像と共に出力されるものに限定されず、例えば合成音声、ビープ音、音楽、振動等により出力されてよい。報知情報制御部２１５１は、表示制御部２１５が取得した第１学習済みモデル６１からの出力情報に基づく暫定情報及び第２学習済みモデル６２からの出力情報に基づく確定情報に応じて、暫定情報を含む暫定報知情報及び確定情報を含む確定報知情報を生成する。

【0092】

この場合において、報知情報制御部２１５１は、異なるビープ音、音楽、合成音声、振動パターン等を用いることにより、報知対象者において暫定情報と確定情報とを区別できるよう、異なる報知態様により暫定報知情報及び確定報知情報を生成する。例えば、報知情報制御部２１５１は、第１ビープ音を用いて暫定報知情報を報知し、第１ビープ音とは異なる第２ビープ音を用いて確定報知情報をユーザに報知する。報知情報制御部２１５１は、音パターン及び振動パターンの組み合わせを変化させることにより、暫定報知情報及び確定報知情報を判別可能に報知してもよい。報知情報制御部２１５１は、例えば暫定情報で病変無しが出力された後、確定情報で病変有りが出力された場合のように、暫定情報と確定情報とが一致しない場合には、第３ビープ音等のさらに異なる報知態様を用いて、ユーザに判別可能に報知してもよい。報知情報制御部２１５１は、暫定情報で病変有りが出力された後、確定情報で病変無しが出力された場合には、確定報知情報として病変有りが取り消されたことを示す第４ビープ音等の報知態様を用いて、ユーザに判別可能に報知してもよい。報知情報制御部２１５１は、暫定情報及び確定情報と報知パターンとを関連付けて記憶するテーブルを参照して、暫定報知情報及び確定報知情報を生成する。

【0093】

報知情報制御部２１５１は、生成した暫定報知情報及び確定報知情報を、外部装置５０１を介して出力することによりユーザに報知する。外部装置５０１は、例えば内視鏡用プロセッサ２０に設けられたスピーカ、内視鏡４０に設けられた振動発生装置等を含む。外部装置５０１は、例えば内視鏡４０のユーザに装着されるスマートフォンに備えられるスピーカ、振動発生装置等を含むものであってもよい。報知情報制御部２１５１は、表示制御部２１５の制御に基づき、病変が確認された内視鏡画像５３のフレームを表示させる時点に対応付けて、当該内視鏡画像５３のフレームに関する暫定報知情報及び確定報知情報を外部装置５０１から出力する。すなわち、ユーザは、表示装置５０に表示される内視鏡画像５３における病変部と、当該病変部に対する暫定報知情報及び確定報知情報とを対応付けて確認することができる。なお、暫定報知情報及び確定報知情報を出力するタイミングは表示制御部２１５が制御するものに限定されず、報知情報制御部２１５１が制御するものであってもよい。

【0094】

本実施形態によれば、報知情報を内視鏡画像５３に重畳させることなく、他の報知手段であるスピーカ、振動発生器等を用いて医師などのユーザに報知することにより、内視鏡画像５３に対する視認性を向上させることができる。

【0095】

なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。

【符号の説明】

【0096】

１０ 診断支援システム
２０ 内視鏡用プロセッサ
２１ 制御装置
２１１ 制御部
２１２ Ａ／Ｄ変換部
２１３ 信号処理部
２１４ ノイズ除去部
２１５ 表示制御部
２１５１ 報知情報制御部
２１８ 第１信号処理部
２１９ 第２信号処理部
２２ 主記憶装置
２３ 補助記憶装置
３３ 光源
４０ 内視鏡
５０ 表示装置
５０１ 外部装置
５１ 撮像画像
５２ 元画像
５３ 内視鏡画像
５４ 処理画像
５５ 暫定情報画像
５６ 確定情報画像
６１ 第１学習済みモデル
６２ 第２学習済みモデル
６３ プログラム
１４１ 撮像素子

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2021年6月16日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

内視鏡により撮影された画像を取得し、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力し、
前記第１認識器で認識された認識結果を含む暫定情報を取得し、
取得した前記暫定情報を含む画像を出力し、
前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、
前記暫定情報を含む画像の出力後、取得した前記確定情報を含む画像を出力する
処理をコンピュータに実行させるコンピュータプログラム。

【請求項2】

前記確定情報に基づき、前記暫定情報を含む画像から前記暫定情報を消去する
請求項１に記載のコンピュータプログラム。

【請求項3】

前記第１認識器に、前記内視鏡の撮像素子から得られた電気信号をＲＡＷデータに変換する変換器にて変換された画像を入力する
請求項１又は請求項２に記載のコンピュータプログラム。

【請求項4】

前記第２認識器に、前記内視鏡の撮像素子から得られた電気信号をＲＡＷデータに変換する変換器、信号処理部、及びノイズ除去部にて処理が施された画像を入力する
請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。

【請求項5】

前記第１認識器で認識された前記病変部を含む画像の前記病変部の撮像領域の明暗度に関する光量情報を取得し、
取得した前記光量情報に応じて所定の処理が施された画像を前記第２認識器に入力する
請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。

【請求項6】

前記所定の処理は、前記光量情報に応じた前記内視鏡の光源から照射される光量の制御を含む
請求項５に記載のコンピュータプログラム。

【請求項7】

前記所定の処理は、信号処理回路のパラメータ制御、γ補正、輪郭強調、及びノイズ除去の少なくともいずれか１つを含む
請求項５に記載のコンピュータプログラム。

【請求項8】

請求項１から請求項７のいずれか１項に記載のコンピュータプログラムが記憶されている記憶部と、
前記記憶部から前記コンピュータプログラムを読み出し実行する制御部と
を備える内視鏡用プロセッサ。

【請求項9】

内視鏡により撮影された画像を取得し、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力し、
前記第１認識器で認識された認識結果を含む暫定情報を取得し、
取得した前記暫定情報を含む画像を出力し、
前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、
前記暫定情報を含む画像の出力後、取得した前記確定情報を含む画像を出力する
処理を含む情報処理方法。

【請求項10】

内視鏡により撮影された画像を取得する第１取得部と、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力する入力部と、
前記第１認識器で認識された認識結果を含む暫定情報を取得する第２取得部と、
取得した前記暫定情報を含む画像を出力する第１出力部と、
前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得する第３取得部と、
前記暫定情報を含む画像の出力後、取得した前記確定情報を含む画像を出力する第２出力部と
を備える内視鏡用プロセッサ。

【請求項11】

内視鏡により撮影された画像を取得し、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力し、
前記第１認識器で認識された認識結果を含む暫定情報を報知し、
前記暫定情報を含む画像の出力後、前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を、前記暫定情報の報知態様とは異なる態様にて報知する
処理を含む情報処理方法。

【請求項12】

内視鏡により撮影された画像を取得する取得部と、
画像に基づいて病変部を認識する第１認識器、及び画像に基づいて前記第１認識器より高い認識精度にて病変部を認識する第２認識器に、前記内視鏡により撮影された画像を入力する入力部と、
前記第１認識器で認識された認識結果を含む暫定情報を報知する第１報知部と、
前記暫定情報を含む画像の出力後、前記第２認識器で認識された認識結果を含む前記暫定情報に対する確定情報を、前記暫定情報の報知態様とは異なる態様にて報知する第２報知部と
を備える内視鏡用プロセッサ。

【国際調査報告】