(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023003728
(43)【公開日】2023-01-17
(54)【発明の名称】プログラム、情報処理方法及び内視鏡システム
(51)【国際特許分類】
A61B 1/018 20060101AFI20230110BHJP
【ＦＩ】
A61B1/018 515
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021104980
(22)【出願日】2021-06-24
(71)【出願人】
【識別番号】000113263
【氏名又は名称】ＨＯＹＡ株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】西出 明彦
(72)【発明者】
【氏名】管井 淳子
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161CC06
4C161DD03
4C161FF43
4C161LL02
4C161LL08
4C161NN01
4C161SS09
4C161TT03
(57)【要約】
【課題】親内視鏡及び子内視鏡を備える内視鏡装置において、親内視鏡によって撮像された親内視鏡画像と、子内視鏡によって撮像された子内視鏡画像とにおける色調補正を行うプログラム等を提供する。
【解決手段】プログラムは、親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、前記親内視鏡から被検者の親内視鏡画像を取得し、前記子内視鏡から被検者の子内視鏡画像を取得し、取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する処理を実行させる。
【選択図】図１
【解決手段】プログラムは、親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、前記親内視鏡から被検者の親内視鏡画像を取得し、前記子内視鏡から被検者の子内視鏡画像を取得し、取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する処理を実行させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、
前記親内視鏡から被検者の親内視鏡画像を取得し、
前記子内視鏡から被検者の子内視鏡画像を取得し、
取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
処理を実行させるプログラム。
前記親内視鏡から被検者の親内視鏡画像を取得し、
前記子内視鏡から被検者の子内視鏡画像を取得し、
取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
処理を実行させるプログラム。
【請求項2】
前記子内視鏡は、前記親内視鏡の先端部から突出するように構成されており、
前記親内視鏡の先端部に設けられた検知部から、前記子内視鏡が前記親内視鏡の先端部から突出したことを示す検出結果が出力された際に取得した前記親内視鏡画像及び前記子内視鏡画像に基づき、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項１に記載のプログラム。
前記親内視鏡の先端部に設けられた検知部から、前記子内視鏡が前記親内視鏡の先端部から突出したことを示す検出結果が出力された際に取得した前記親内視鏡画像及び前記子内視鏡画像に基づき、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項１に記載のプログラム。
【請求項3】
前記親内視鏡画像の中心部の色調と、前記子内視鏡画像との色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項4】
親内視鏡画像及び子内視鏡画像が入力された場合、該親内視鏡画像及び子内視鏡画像に含まれるそれぞれの体内部位において、色調補正の基準となるそれぞれの領域を出力するように学習済みの第１学習モデルに、取得した前記親内視鏡画像及び前記子内視鏡画像を入力し、
前記第１学習モデルから、前記親内視鏡画像に含まれる体内部位の領域と、前記子内視鏡画像に含まれる体内部位の領域を取得し、
前記親内視鏡画像に含まれる体内部位の領域の色調と、前記子内視鏡画像に含まれる体内部位の領域との色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項１から請求項３のいずれか１項に記載のプログラム。
前記第１学習モデルから、前記親内視鏡画像に含まれる体内部位の領域と、前記子内視鏡画像に含まれる体内部位の領域を取得し、
前記親内視鏡画像に含まれる体内部位の領域の色調と、前記子内視鏡画像に含まれる体内部位の領域との色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項１から請求項３のいずれか１項に記載のプログラム。
【請求項5】
取得した前記親内視鏡画像及び前記子内視鏡画像において、対応する画素間の差分値に基づき補正量を導出し、
導出した前記補正量を用いて、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項１から請求項４のいずれか１項に記載のプログラム。
導出した前記補正量を用いて、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項１から請求項４のいずれか１項に記載のプログラム。
【請求項6】
親内視鏡画像及び子内視鏡画像が入力された場合、入力された該親内視鏡画像及び子内視鏡画像における色調の差異よりも、少ない差異となる親内視鏡画像又は子内視鏡画像を出力するように学習済みの第２学習モデルに、取得した前記親内視鏡画像及び前記子内視鏡画像を入力することにより、色調の補正を行う
請求項１から請求項５のいずれか１項に記載のプログラム。
請求項１から請求項５のいずれか１項に記載のプログラム。
【請求項7】
前記色調の補正により、色調の差異が減少した前記親内視鏡画像及び前記子内視鏡画像を出力する
請求項１から請求項６のいずれか１項に記載のプログラム。
請求項１から請求項６のいずれか１項に記載のプログラム。
【請求項8】
親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、
前記親内視鏡から被検者の親内視鏡画像を取得し、
前記子内視鏡から被検者の子内視鏡画像を取得し、
取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
処理を実行させる情報処理方法。
前記親内視鏡から被検者の親内視鏡画像を取得し、
前記子内視鏡から被検者の子内視鏡画像を取得し、
取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
処理を実行させる情報処理方法。
【請求項9】
内視鏡装置と、撮像された被検者の内視鏡画像の処理を行う制御部とを含む内視鏡システムであって、
前記内視鏡装置は、
親内視鏡と、
前記親内視鏡の先端部から突出する子内視鏡とを備え、
前記親内視鏡から前記被検者の親内視鏡画像を取得し、
前記子内視鏡から前記被検者の子内視鏡画像を取得し、
取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
内視鏡システム。
前記内視鏡装置は、
親内視鏡と、
前記親内視鏡の先端部から突出する子内視鏡とを備え、
前記親内視鏡から前記被検者の親内視鏡画像を取得し、
前記子内視鏡から前記被検者の子内視鏡画像を取得し、
取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
内視鏡システム。
【請求項10】
前記親内視鏡の先端側に設けられ、前記子内視鏡を検知する検知部を備え、
前記制御部は、前記検知部が前記子内視鏡を検知した際に取得した前記親内視鏡画像及び前記子内視鏡画像に基づき、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項９に記載の内視鏡システム。
前記制御部は、前記検知部が前記子内視鏡を検知した際に取得した前記親内視鏡画像及び前記子内視鏡画像に基づき、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項９に記載の内視鏡システム。
【請求項11】
前記制御部は、前記子内視鏡画像の処理を行う子制御部と、前記親内視鏡画像の処理を行う親制御部とを含み、
前記親制御部は、
前記子制御部から前記子内視鏡画像を取得し、
取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項９又は請求項１０に記載の内視鏡システム。
前記親制御部は、
前記子制御部から前記子内視鏡画像を取得し、
取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する
請求項９又は請求項１０に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、プログラム、情報処理方法及び内視鏡システムに関する。
【背景技術】
【0002】
内視鏡は、被検者の体腔内に挿入することで所望の箇所の観察、処置を可能とする医療用機器であり、体腔内に挿入される挿入管の先端部に組み込まれた撮像部と、該撮像部の撮像視野を照明する照明装置とを備えている。特許文献１には、胆管、膵管内等を観察する内視鏡装置として、十二指腸まで挿入可能な挿入部を有する親スコープと、この親スコープの鉗子チャンネルに子スコープを挿入して胆管、膵管まで観察及び処置できる親子スコープ方式の内視鏡装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平４－３５４９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、文献１に記載の内視鏡装置においては、親スコープによって撮像された内視鏡画像（親内視鏡画像）と、子スコープによって撮像された内視鏡画像（子内視鏡画像）とにおける色調補正に関する点が考慮されていないという問題点がある。
【0005】
一つの側面では、親内視鏡及び子内視鏡を備える内視鏡装置において、親内視鏡によって撮像された親内視鏡画像と、子内視鏡によって撮像された子内視鏡画像とにおける色調補正を行うことができるプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様におけるプログラムは、親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、前記親内視鏡から被検者の親内視鏡画像を取得し、前記子内視鏡から被検者の子内視鏡画像を取得し、取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する処理を実行させる。
【0007】
本開示の一態様における情報処理方法は、親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、前記親内視鏡から被検者の親内視鏡画像を取得し、前記子内視鏡から被検者の子内視鏡画像を取得し、取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する処理を実行させる。
【0008】
本開示の一態様における内視鏡システムは、内視鏡装置と、撮像された被検者の内視鏡画像の処理を行う制御部とを含む内視鏡システムであって、前記内視鏡装置は、親内視鏡と、前記親内視鏡の先端部から突出する子内視鏡と前記親内視鏡の先端側に設けられ、前記子内視鏡を検知する検知部とを備え、前記制御部は、前記検知部が前記子内視鏡を検知した際、前記親内視鏡から前記被検者の親内視鏡画像を取得し、前記子内視鏡から前記被検者の子内視鏡画像を取得し、取得した前記親内視鏡画像及び前記子内視鏡画像における色調の差異を減少させるように、前記親内視鏡画像及び前記子内視鏡画像の少なくともいずれかの内視鏡画像の色調を補正する。
【発明の効果】
【0009】
本開示によれば、親内視鏡及び子内視鏡を備える内視鏡装置において、親内視鏡によって撮像された親内視鏡画像と、子内視鏡によって撮像された子内視鏡画像とにおける色調補正を行うプログラム等を提供することができる。
【図面の簡単な説明】
【0010】
【図1】実施形態１に係る内視鏡システムの概要を示す模式図である。
【図2】内視鏡システムに含まれる内視鏡装置の構成例を示すブロック図である。
【図3】内視鏡システムに含まれる情報処理装置の構成例を示すブロック図である。
【図4】子内視鏡等を模式的に示す側断面図である。
【図5】内視鏡用プロセッサの制御部による処理手順の一例を示すフローチャートである。
【図6】実施形態２（基準領域モデル）に係る情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。
【図7】基準領域モデルを用いて、色調補正の基準となるそれぞれの領域を出力する処理を説明する説明図である。
【図8】情報処理装置の制御部による処理手順の一例を示すフローチャートである。
【図9】実施形態３（色調補正モデル）に係る情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。
【図10】色調補正モデルを用いて、色調補正がされた親内視鏡画像及び子内視鏡画像を出力する処理を説明する説明図である。
【図11】情報処理装置の制御部による処理手順の一例を示すフローチャートである。
【図12】実施形態４（親内視鏡用プロセッサ、子内視鏡用プロセッサ）に係る内視鏡システムの構成例を示すブロック図である。
【発明を実施するための形態】
【0011】
（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る内視鏡システムＳの概要を示す模式図である。内視鏡システムＳは、内視鏡装置１０を含み、更に内視鏡装置１０と通信可能に接続される情報処理装置６を含むものであってもよい。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る内視鏡システムＳの概要を示す模式図である。内視鏡システムＳは、内視鏡装置１０を含み、更に内視鏡装置１０と通信可能に接続される情報処理装置６を含むものであってもよい。
【0012】
内視鏡装置１０は、内視鏡（親内視鏡４０及び子内視鏡４０１）の撮像素子４４５によって撮影した画像（撮影画像）を内視鏡用プロセッサ２０に伝送し、内視鏡用プロセッサ２０によってガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行うことにより、操作者が目視し易い状態にした内視鏡画像（親内視鏡画像及び子内視鏡画像）を生成する。内視鏡装置１０は、生成した内視鏡画像を情報処理装置６に出力（送信）するものであってもよい。内視鏡装置１０から送信された内視鏡画像を取得した情報処理装置６は、例えば、これら内視鏡画像に基づき、種々の情報処理を行い診断支援に関する情報を出力する。
【0013】
内視鏡装置１０は、内視鏡用プロセッサ２０と、親内視鏡４０と、子内視鏡４０１と、表示装置５０とを含む親子式の内視鏡装置１０である。表示装置５０は、例えば液晶表示装置、又は、有機ＥＬ（Electro Luminescence）表示装置である。親内視鏡４０によって親内視鏡画像が撮像され、子内視鏡４０１によって子内視鏡画像が撮像される。
【0014】
表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。
【0015】
内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、例えばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、又はＣＤ－ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行う接続用インターフェイスである。
【0016】
親内視鏡４０は、挿入部４４、操作部４３、親内視鏡用ユニバーサルコード４９及びスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２及び先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。挿入部４４には、３軸加速度センサ、ジャイロセンサ、地磁気センサ、磁気コイルセンサ又は内視鏡挿入形状観測装置（コロナビ）等の物理検出装置が実装され、親内視鏡４０が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。
【0017】
親内視鏡４０の操作部４３には鉗子口４３５が設けられており、子内視鏡４０１は、当該鉗子口４３５から親内視鏡４０の内部に挿入される。すなわち子内視鏡４０１は、親内視鏡４０の内部に設けられた鉗子口チャネル（ワーキングチャネル）に挿通され、親内視鏡４０の先端部４４３から突出する。
【0018】
親内視鏡用ユニバーサルコード４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。親内視鏡用ユニバーサルコード４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図２参照）が設けられている。子内視鏡用ユニバーサルコード４９１も、親内視鏡用ユニバーサルコード４９と同様にスコープコネクタ４８に接続されている。親内視鏡用ユニバーサルコード４９と子内視鏡用ユニバーサルコード４９１とは、親内視鏡４０及び子内視鏡４０１の共用として一体化されているものであってもよい。
【0019】
図２は、内視鏡システムに含まれる内視鏡装置の構成例を示すブロック図である。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）又はマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。
【0020】
主記憶装置２２は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行う処理の途中で必要な情報及び制御部２１で実行中のプログラムが一時的に保存される。補助記憶装置２３は、例えば、ＳＲＡＭ、フラッシュメモリ又はハードディスク等の記憶装置であり、主記憶装置２２よりも大容量の記憶装置である。補助記憶装置２３には、例えば、親内視鏡画像及び子内視鏡画像から取得した撮影画像（親撮影画像及び子撮影画像）、生成した内視鏡画像（親内視鏡画像、子内視鏡画像）が、中間データとして保存されるものであってもよい。
【0021】
通信部２４は、有線又は無線によりネットワークを介して情報処理装置６と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、 Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、５Ｇ等の広域無線通信モジュールである。タッチパネル２５は、液晶表示パネル等の表示部と、表示部に積層された入力部を含む。通信部２４は、ＣＴ装置、ＭＲＩ装置（図８参照）、超音波診断装置又は、これら装置から出力されたデータを保存するストレージ装置（図示せず）と通信するものであってもよい。
【0022】
表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。
【0023】
光源３３は、例えば白色ＬＥＤ、キセノンランプ等の高輝度の白色光源である。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯及び明るさの変更は、制御部２１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、親内視鏡４０及び子内視鏡４０１に照明光を供給する。当該光源３３は、親内視鏡４０及び子内視鏡４０１にて共用されるものであってもよく、又は光源３３は、親内視鏡４０用と子内視鏡４０１用とを別個の光源３３として備えるものであってもよい。又は光源３３（内視鏡用光源）は、先端部分に光源用ＬＥＤが付いた構造の親内視鏡４０、子内視鏡４０１であってもよい。
【0024】
ポンプ３４は、親内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフ及び圧力の変更は、制御部２１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。
【0025】
内視鏡用プロセッサ２０に接続された内視鏡（親内視鏡４０及び子内視鏡４０１）の機能の概略を説明する。スコープコネクタ４８、親内視鏡用ユニバーサルコード４９、子内視鏡用ユニバーサルコード４９１、操作部４３及び挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブ及び送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２及びファイバーバンドルを介して、親内視鏡４０及び子内視鏡４０１の先端に設けられた照明窓から放射される。照明光により照らされた範囲を、親内視鏡４０及び子内視鏡４０１の先端それぞれに設けられた撮像素子それぞれで撮影する。親内視鏡４０及び子内視鏡４０１の撮像素子それぞれからケーブル束及び電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮影画像（親撮影画像及び子撮影画像）が伝送される。
【0026】
内視鏡用プロセッサ２０の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。画像処理部２１１は、内視鏡（親内視鏡４０及び子内視鏡４０１）から出力された撮影画像（親撮影画像及び子撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像（親内視鏡画像、子内視鏡画像）として出力する。
【0027】
図３は、内視鏡システムに含まれる情報処理装置の構成例を示すブロック図である。情報処理装置６は、制御部６２、通信部６１、記憶部６３及び入出力Ｉ／Ｆ６４を含む。情報処理装置６は、例えばサーバ装置、パーソナルコンピュータ等である。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。情報処理装置６は、内視鏡用プロセッサ２０からアクセス可能な外部ネットワーク上に位置するクラウドサーバとして設けられているものであってもよい。
【0028】
制御部６２は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の計時機能を備えた演算処理装置を有し、記憶部６３に記憶されたプログラムＰを読み出して実行することにより、情報処理装置６に係る種々の情報処理、制御処理等を行う。
【0029】
記憶部６３は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部６３には、プログラムＰ（プログラム製品）及び処理時に参照するデータがあらかじめ記憶してある。記憶部６３に記憶されたプログラムＰ（プログラム製品）は、情報処理装置６が読み取り可能な記録媒体６３２から読み出されたプログラムＰ（プログラム製品）を記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムＰ（プログラム製品）をダウンロードし、記憶部６３に記憶させたものであってもよい。記憶部６３には、後述する実施形態２等での複数の学習モデル（９１，９２）を構成する実体ファイル（ニューラルネットワーク（ＮＮ）のインスタンスファイル）が保存されている。これら実体ファイルは、プログラムＰ（プログラム製品）の一部位として構成されるものであってもよい。
【0030】
通信部６１は、有線又は無線により、内視鏡装置１０と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、 Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、ＬＴＥ等の広域無線通信モジュールである。通信部６１は、ＣＴ装置、ＭＲＩ装置（図８参照）、超音波診断装置又は、これら装置から出力されたデータを保存するストレージ装置（図示せず）と通信するものであってもよい。
【0031】
入出力Ｉ／Ｆ６４は、例えば、ＵＳＢ又はＤＳＵＢ等の通信規格に準拠したものであり、入出力Ｉ／Ｆ６４に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力Ｉ／Ｆ６４には、例えばディプレイ等の表示部７、キーボード等の入力部８が接続されており、制御部６２は、入力部８から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部７に出力する。
【0032】
図４は、子内視鏡４０１等を模式的に示す側断面図である。上述のとおり、子内視鏡４０１は、親内視鏡４０に設けられた鉗子口４３５から挿入され、鉗子口チャネル（ワーキングチャネル）を挿通（通過）して親内視鏡４０の先端部４４３から突出する。親内視鏡４０は、例えば十二指腸内視鏡であり親スコープに相当し、子内視鏡４０１は、例えば胆道内視鏡であり子スコープに相当する。親内視鏡４０の挿入部４４（可撓管）には、例えばマウスピース等にローラエンコーダにて構成される親内視鏡測定部４００が設けられており、親内視鏡４０が体内に挿入された距離であるＳ座標を測定する。
【0033】
親内視鏡測定部４００は、例えば温度センサ、光センサ、圧力センサ、濡れセンサ（電極）、湿度センサを含む。例えば、当該センサが光センサである場合、光センサは挿入部４４（可撓管）の内部に配置されているが、挿入部４４（可撓管）が体内に挿入されているときでも光を受光することができる。そのため、光センサが光をより多く受光している部分が体外、少ない部分を体内として判別することが可能である。そして内視鏡用プロセッサ２０の制御部２１は、光センサで得られた信号に基づき、体腔挿入部位である境界位置にある光センサを特定することにより、体内に挿入されている挿入部４４（可撓管）の距離（長さ）であるＳ座標（親内視鏡４０のＳ座標）を導出することができる。
【0034】
親内視鏡４０が上部内視鏡の場合は、挿入部４４（可撓管）に接する親内視鏡測定部４００を付け、挿入部４４（可撓管）が体内に挿入されている距離分だけ親内視鏡測定部４００のローラエンコーダが回転することを用いて、親内視鏡４０が体内に挿入された距離であるＳ座標を取得することができる。親内視鏡測定部４００を構成するマウスピース等（ローラエンコーダ）は、挿入部４４（可撓管）の進退に伴って回転し、体内に挿入された親内視鏡４０の先端部４４３と、例えば口又は鼻等の管腔に連通する開口部との間の長さ、すなわち挿入部４４（可撓管）の挿入距離を測定できる。ローラエンコーダは、内視鏡用プロセッサ２０と電気的に接続しており、測定した距離を内視鏡用プロセッサ２０に送る。またローラエンコーダの代わりに光学式、磁気式エンコーダを用いても良い。
【0035】
親内視鏡４０が下部内視鏡の場合は、肛門部にマウスピース相当の親内視鏡測定部４００を付けることで内視鏡挿入距離が測定できる。親内視鏡４０の挿入距離を測定する親内視鏡測定部４００（補助装置）が被検体の入り口である体腔挿入部位に装着された場合、親内視鏡４０の通過距離を測定することにより、親内視鏡４０が体内に挿入された距離であるＳ座標を取得することができる。補助装置は、例えば挿入部（可撓管）４４に付けたリニアスケールのような磁場のスケールとマウスピースに付けたリニアヘッドで距離を測定することであっても良く、又はローラーを付けた親内視鏡４０のマウスピースであっても良い。なお、鼻又は肛門等に親内視鏡４０が挿入される場合、マウスピースと類似のローラーを付けた親内視鏡測定部４００（補助装置）を利用しても良い。親内視鏡４０の挿入部（可撓管）４４に一定間隔で挿入距離を記録したチップを内蔵しても良い。マウスピース等が得た該チップで記録されたＳ座標情報から、内視鏡用プロセッサ２０は、親内視鏡４０が体内に挿入された距離であるＳ座標を取得することができる。
【0036】
子内視鏡４０１が挿入される鉗子口４３５の近傍には、親内視鏡測定部４００と同様に、例えばローラエンコーダ、磁気式又は光学式のリニアエンコーダ等にて構成される子内視鏡測定部４０２が設けられている。親内視鏡４０の先端部４４３、すなわち子内視鏡４０１が挿通される鉗子口チャネル（ワーキングチャネル）の端部には、子内視鏡４０１を検出する検知部４０３（子内視鏡検知部）が設けられている。当該検知部４０３は、例えば光センサ等の比接触センサ、接触センサ、接触スイッチ等にて構成され、当該光センサのセンシング範囲における子内視鏡４０１の有無を検出結果として出力する。検知部４０３は、子内視鏡４０１が鉗子口チャネル（ワーキングチャネル）の端部から体内への挿入が開始されたことを検出する挿入開始検出手段に相当する。
【0037】
子内視鏡４０１の先端が、親内視鏡４０の先端部４４３から突出した場合、検知部４０３は、子内視鏡４０１が有ることを示す検出結果を出力する。子内視鏡４０１の先端が、親内視鏡４０の先端部４４３から突出していない場合、検知部４０３は、子内視鏡４０１が無いことを示す検出結果を出力する。子内視鏡４０１の先端が、親内視鏡４０の先端部４４３から突出していない場合、検知部４０３は何ら信号等を出力しないものであってもよい。
【0038】
上述のとおり、親内視鏡４０が体内に挿入された距離であるＳ座標（SP）は、親内視鏡測定部４００による測定結果として出力される。子内視鏡測定部４０２は、検知部４０３が、子内視鏡４０１が有ることを示す検出結果を出力した場合、当該検出結果が出力された時点から子内視鏡４０１が挿入された距離を突出距離（SC）として出力する。すなわち、当該突出距離（SC）は、親内視鏡４０の先端部４４３から突出している子内視鏡４０１の長さを示す。
【0039】
子内視鏡４０１が体内に挿入された距離であるＳ座標（S）は、親内視鏡４０が体内に挿入された距離であるＳ座標（SP）に、検知部４０３による検出結果（子内視鏡４０１が有）が出力された時点から子内視鏡４０１が体内に挿入された突出距離（SC）を加算することにより算出される（子内視鏡４０１のＳ座標＝親内視鏡４０のＳ座標[SP]＋子内視鏡４０１の突出距離[SC]）。親内視鏡４０のＳ座標及び子内視鏡４０１の突出距離に基づく、子内視鏡４０１のＳ座標の算出は、情報処理装置６の制御部６２、又は内視鏡用プロセッサ２０の制御部２１によって行われる。
【0040】
図５は、内視鏡用プロセッサ２０の制御部２１による処理手順の一例を示すフローチャートである。内視鏡用プロセッサ２０の制御部２１は、例えば、自装置に接続されているキーボード１５からの入力内容に基づき、当該フローチャートの処理を開始する。
【0041】
内視鏡用プロセッサ２０の制御部２１は、検知部４０３から検出結果が出力された否かを判定する（Ｓ１０１）。内視鏡用プロセッサ２０の制御部２１は、検知部４０３から、子内視鏡４０１が親内視鏡４０の先端部４４３から突出されたことを示す検出結果が出力された否かを判定する。すなわち、内視鏡用プロセッサ２０の制御部２１は、検知部４０３から当該検出結果を取得した場合、子内視鏡４０１は親内視鏡４０の先端部４４３から突出されたと判定し、検知部４０３から当該検出結果を取得していない場合、子内視鏡４０１は親内視鏡４０の先端部４４３から突出されていないと判定する。検知部４０３から検出結果が出力されていない場合（Ｓ１０１：ＮＯ）、内視鏡用プロセッサ２０の制御部２１は、再度Ｓ１０１の処理を実行すべく、ループ処理を行う。
【0042】
検知部４０３から検出結果が出力された場合（Ｓ１０１：ＹＥＳ）、内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び子内視鏡画像を取得する（Ｓ１０２）。検知部４０３から検出結果が出力された場合、当該検出結果の出力時点において、子内視鏡４０１の先端は、親内視鏡４０の先端部４４３に位置しており、親内視鏡４０の視野と、子内視鏡４０１の視野とは、一致している。すなわち、親内視鏡４０及び子内視鏡４０１の視点位置は、共に親内視鏡４０の先端部４４３となり、親内視鏡４０及び子内視鏡４０１の視線方向も一致している。視野角、すなわち撮像範囲の観点からは、親内視鏡４０の視野角は、子内視鏡４０１の視野角もよりも大きい（広い）ものとなっている。従って、検出結果の出力時点、すなわち子内視鏡４０１の先端が親内視鏡４０の先端部４４３に位置している時点（状態）において、子内視鏡４０１による子内視鏡画像は、親内視鏡４０による親子内視鏡画像の中央部の領域と同一の体内部位を示すものとなる。
【0043】
内視鏡用プロセッサ２０の制御部２１は、取得した親内視鏡画像の中央部と子内視鏡画像とに基づき色調を補正するための補正量を導出する（Ｓ１０３）。検出結果の出力時点にて取得した親内視鏡画像の中央部と子内視鏡画像とは、同一の体内部位を示すため、本来的には同一の色調、すなわち同一の色相、明度、及び彩度となるものである。しかしながら、親内視鏡４０及び子内視鏡４０１におけるカメラ特性又はＡＤ変換特性の差異により、同一の体内部位（被撮像体）であるにもかかわらず、それぞれが撮像した内視鏡画像（親内視鏡画像、子内視鏡画像）において、色調に差異が発生する。
【0044】
内視鏡用プロセッサ２０の制御部２１は、例えば、親内視鏡画像の中央部の領域におけるそれぞれの画素と、子内視鏡画像のそれぞれ画素とを比較し、各画素におけるＲＧＢ成分（強度）の差分値を導出する。親内視鏡画像の色調を基準として、子内視鏡画像の色調のみを補正（親側への片寄せ補正）する場合、内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像の中央部の領域の画素のＲＧＢそれぞれの値（強度）から、当該画素に対応する子内視鏡画像のＲＧＢそれぞれの値（強度）を減算する。内視鏡用プロセッサ２０の制御部２１は、当該減算により算出された各画素のＲＧＢそれぞれの値（強度）における差分値を、色調補正のための補正量として導出する。当該補正量は、ＲＧＢそれぞれの補正値（差分値）から成るデータセット又はベクトルとして定義されるものであってもよい。ＲＧＢそれぞれの値（強度）は、例えば０から２５５までの２５６段階にて示されるものであり、この場合当該補正量は、最大、±２５５の範囲にて定義されるものとなる。
【0045】
内視鏡用プロセッサ２０の制御部２１は、対応する親内視鏡画像（中央部）及び子内視鏡画像のそれぞれの画素を特定するにあたり、子内視鏡画像の画像座標系にて複数の画素を選定し、当該複数の画素の座標（子内視鏡画像の画像座標系）を、親内視鏡画像の画像座標系に変換することにより、親内視鏡画像の画像座標系における複数の画素を特定するものであってもよい。内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像の中央部及び子内視鏡画像において、一致する体内部位の領域を例えばエッジ検出等により抽出し、当該領域の外周線によって特定される親内視鏡画像及び子内視鏡画像それぞれの画像座標系の座標値に基づき、座標系変換のための変換係数を導出するものであってもよい。補正量は、子内視鏡画像における各画素単位にて導出し、個々の画素に対し導出された補正量それぞれを適用（加算）することにより、子内視鏡画像の色調を補正するものであってもよい。これにより、子内視鏡画像及び親内視鏡画像における画素のＲＧＢ成分（強度）及びＲＧＢ比率を同等に合わせることができ、親内視鏡画像及び子内視鏡画像の色調の差異を減少させ、色合いを近似させることができる。
【0046】
内視鏡用プロセッサ２０の制御部２１は、子内視鏡画像及び親内視鏡画像において対応する複数の画素間の差分値それぞれを、例えば平均化した平均差分値に基づき補正量を導出し、当該補正量によって一律に子内視鏡画像の全ての画素を補正（画素値を変換）することにより、子内視鏡画像の色調を補正するものであってもよい。又は、親内視鏡画像の中央部、及び子内視鏡画像において、画像全体における色相、明度又は彩度の成分量を算出し、これら成分量の差分値に基づき補正量を導出するものであってもよい。
【0047】
内視鏡用プロセッサ２０の制御部２１は、導出した補正量を主記憶装置２２等に記憶する。主記憶装置２２等に記憶された補正量は、本処理の以降、取得された子内視鏡画像に対する色調補正の補正量（補正パラメータ）として用いられる。すなわち、本処理のおける補正量の導出は、子内視鏡画像の色調補正を行うためのキャリブレーションに相当する。内視鏡用プロセッサ２０の制御部２１は、接続された親内視鏡４０及び子内視鏡４０１の型式、モデル又は仕様に関する情報を取得し、当該情報に基づき、例えば主記憶装置２２に予め記憶されているキャリブレーションデータ（補正量）を取得及び適用するものであってもよい。すなわち、内視鏡用プロセッサ２０の主記憶装置２２には、複数種類（型式等）の子内視鏡４０１それぞれに応じたキャリブレーションデータ（補正量）が、例えば製造時にて予め記憶（登録）されており、内視鏡用プロセッサ２０の制御部２１は、接続された子内視鏡４０１に応じて、又は接続された子内視鏡４０１及び親内視鏡４０の組み合わせに応じて、対応するキャリブレーションデータ（補正量）を取得及び適用するものであってもよい。
【0048】
内視鏡用プロセッサ２０の制御部２１は、導出した補正量に基づき子内視鏡画像等の色調を補正する（Ｓ１０４）。内視鏡用プロセッサ２０の制御部２１は、例えば、子内視鏡画像の各画素に対し補正量を加算することにより、各画素の画素値（ＲＧＢ強度）を変換することにより、子内視鏡画像の色調を補正する。内視鏡用プロセッサ２０の制御部２１は、色調補正を行うにあたり、撮像画像（生画像）から内視鏡画像を生成（変換）する際のガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理に用いる補正パラメータを、導出した補正量に基づき変更し、当該ガンマ補正等の処理工程に併せて色調補正を行うものであってもよい。
【0049】
本実施形態において、導出した補正量に基づき子内視鏡画像の色調を補正するとしたが、これに限定されない。内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像の色調補正するための補正量を導出し、子内視鏡画像の色調を基準として、親内視鏡画像の色調のみを補正（子側への片寄せ補正）するものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び子内視鏡画像の色調補正するためのそれぞれの補正量を導出し、親内視鏡画像及び子内視鏡画像の双方の色調を補正（両寄せ補正）するものであってもよい。
【0050】
内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び色調補正された子内視鏡画像を出力する（Ｓ１０５）。内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び、色調補正されたことにより当該親内視鏡画像との色調の差異が減少した子内視鏡画像を、例えば表示装置５０又は、情報処理装置６を介して表示部７に出力し、これら色調補正に関する処理が行われた親内視鏡画像及び子内視鏡画像を表示装置５０等に表示させる。上述のとおり親内視鏡画像が色調補正された場合、内視鏡用プロセッサ２０の制御部２１は、当該色調補正された親内視鏡画像を出力することは、言うまでもない。このように色調補正に関する処理が行われ、色調の差異が減少した親内視鏡画像及び子内視鏡画像を出力、及び表示部７に表示することにより、医師等に有用な医用情報を提供することができる。内視鏡用プロセッサ２０の制御部２１は、色調の差異が減少した親内視鏡画像及び子内視鏡画像を表示装置５０又は表示部７に表示させるにあたり、色調補正された子内視鏡画像と、色調補正される前の子内視鏡画像とを、切替可能に表示させるものであってもよい。
【0051】
内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び子内視鏡画像を取得する（Ｓ１０６）。内視鏡用プロセッサ２０の制御部２１は、Ｓ１０６の実行後、再度Ｓ１０４からの処理を行うべく、ループ処理を行う。これにより、補正量を導出した以降に取得した子内視鏡画像等に対しても、当該補正量を用いて色調補正を継続し、親内視鏡画像と子内視鏡画像との色調の差異を減少させて、これら親内視鏡画像及び子内視鏡画像を出力（表示）することができる。
【0052】
本実施形態において、内視鏡用プロセッサ２０の制御部２１が一連の処理を行うとしたが、これに限定されない。内視鏡用プロセッサ２０の制御部２１は、情報処理装置６の制御部６２と例えばプロセス間通信を行い、協働又は分担して一連の処理を行うものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１は、親内視鏡４０が撮像した親撮影画像（生画像）及び親内視鏡４０が撮像した親撮影画像（生画像）のそれぞれに対し、シェーディング補正等の各種画像処理のみを施した内視鏡画像（親内視鏡画像及び子内視鏡画像）を生成するものであってもよい。その上で、情報処理装置６の制御部６２が、内視鏡用プロセッサ２０の制御部２１によって生成された親内視鏡画像及び子内視鏡画像に対する色調補正に関する一連の処理を行うものであってもよい。
【0053】
本実施形態等によれば、親内視鏡画像と子内視鏡画像との間における色調の差異を減少させ、両画像の色合いを近づけることにより、医師等の内視鏡装置の操作者に対し、視認性が向上された内視鏡画像（親内視鏡画像及び子内視鏡画像）を提供することができる。このように色調の差異が減少するように補正された親内視鏡画像及び子内視鏡画像を医師等に提供することにより、当該医師等による違和感又は診断のやりづらさを緩和させることが期待される。
【0054】
本実施形態等によれば、子内視鏡４０１が親内視鏡４０の先端部４４３から突出した時点、すなわち子内視鏡４０１の先端が、親内視鏡４０の先端部４４３に位置している時点においては、親内視鏡４０と子内視鏡４０１とは、同一の視野方向となる。視野角、すなわち撮像範囲に関しては、親内視鏡４０の撮像範囲は、子内視鏡４０１の撮像範囲よりも広いものとなる。この場合、子内視鏡画像に含まれる体内部位は、親内視鏡画像における中央部の領域に位置する体内部位に相当（一致）する。従って、子内視鏡４０１の先端が親内視鏡４０の先端部４４３に位置している時点（検出結果が出力された時点）にて取得（撮像）した親内視鏡画像及び子内視鏡画像において、当該親内視鏡画像の中心部の色調と、子内視鏡画像との色調の差異を減少させるように色調を補正することにより、効率的に親内視鏡画像及び子内視鏡画像の色調（色合い）を合わせる（近似させる）ことができる。
【0055】
（実施形態２）
図６は、実施形態２（基準領域モデル９１）に係る情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムＰ（プログラム製品）を実行することにより、取得部６２１、補正量導出部６２２、色調補正部６２３、出力部６２４として機能する。また、制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、又は基準領域モデル９１を構成する実体ファイルを読み出すことにより、基準領域モデル９１（第１学習モデル）として機能する。
図６は、実施形態２（基準領域モデル９１）に係る情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムＰ（プログラム製品）を実行することにより、取得部６２１、補正量導出部６２２、色調補正部６２３、出力部６２４として機能する。また、制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、又は基準領域モデル９１を構成する実体ファイルを読み出すことにより、基準領域モデル９１（第１学習モデル）として機能する。
【0056】
取得部６２１は、内視鏡用プロセッサ２０が出力した親内視鏡画像、子内視鏡画像及び、検出部が出力する検出結果を取得する。取得部６２１は、取得した親内視鏡画像及び子内視鏡画像を、基準領域モデル９１に入力する。
【0057】
図７は、基準領域モデル９１を用いて、色調補正の基準となるそれぞれの領域を出力する処理を説明する説明図である。情報処理装置６は、親内視鏡画像及び子内視鏡画像を問題データとし、これら両画像における色調補正の基準となる領域を回答データとする訓練データに基づき学習することで、親内視鏡画像及び子内視鏡画像を入力とし、色調補正の基準となる領域の情報を出力とするニューラルネットワーク（基準領域モデル９１）を構築（生成）する。当該回答データに含まれる、色調補正の基準となる領域が示された親内視鏡画像及び子内視鏡画像は、例えば、医療機関において大量に保存されている親内視鏡画像及び子内視鏡画像において、医師等の所見に基づき同一の色調となる領域をマーキング（アノテーションを付与）することにより取得（用意）することができる。訓練データを用いて学習された基準領域モデル９１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。
【0058】
基準領域モデル９１は、例えば、領域検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うＹＯＬＯ又はＲ－ＣＮＮ等のニューラルネットワーク（セグメンテーションＮＮ）により構成される。入力層は、親内視鏡画像及び子内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、親内視鏡画像及び子内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した両画像夫々の画像特徴量を出力層に受け渡す。出力層は、抽出した両画像夫々の画像特徴量において、色調の差異が所定値以下となるそれぞれ領域を出力する一又は複数のニューロンを有し、中間層から出力された両画像夫々の画像特徴量に基づいて、色調の差異が所定値以下となる領域に関する情報を出力する。基準領域モデル９１は、セグメンテーションＮＮであるとしたがこれに限定されず、Ｕ－ｎｅｔ等のＦＣＮ（fully convolution network）、ＳｅｇＮｅｔ、ＳＳＤ、ＳＰＰｎｅｔ、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。
【0059】
基準領域モデル９１は、親内視鏡画像及び子内視鏡画像が入力された場合、当該親内視鏡画像及び子内視鏡画像に含まれるそれぞれの体内部位において、色調補正の基準となるそれぞれの領域を出力するように学習されている。基準領域モデル９１が出力する色調補正の基準となるそれぞれの領域は、親内視鏡画像及び子内視鏡画像において、これら体内部位における実際の色調が同じ（色合いが同じ）であることが推定される体内部位の領域である。なお、当該実際の色調が同じ（色合いが同じ）とは、完全同一である場合に限定されず、親内視鏡画像及び子内視鏡画像における色調補正を行うにあたり許容される程度の差分量があるものであってもよい。基準領域モデル９１は、入力された親内視鏡画像及び子内視鏡画像において、実際の色調が同じとなる体内部位の領域（基準領域）が存在する（含まれる）場合、当該領域を示したラベル画像を、親内視鏡画像及び子内視鏡画像それぞれにおいて出力する。本実施形態において、単一の基準領域モデル９１が、親内視鏡画像及び子内視鏡画像それぞれにおいて基準領域示したラベル画像を出力するとしたがこれに限定されない。基準領域モデル９１は、親内視鏡画像及び子内視鏡画像が入力された場合、親内視鏡画像にて基準領域示したラベル画像を出力する親内視鏡画像用の基準領域モデル９１と、子内視鏡画像にて基準領域示したラベル画像を出力する子内視鏡画像用の基準領域モデル９１との２つの基準領域モデル９１を含むものであってもよい。
【0060】
補正量導出部６２２は、基準領域モデル９１から、基準領域のラベル付けがされた親内視鏡画像及び子内視鏡画像を取得する。補正量導出部６２２は、親内視鏡画像及び子内視鏡画像にて、ラベル付けされた基準領域に含まれる各画素を特定し、特定された親内視鏡画像の画素と、子内視鏡画像の画素とのＲＧＢ成分（強度）の差分値を導出し、実施形態１と同様に当該差分値に基づき、補正量を導出する。
【0061】
色調補正部６２３は、補正量導出部６２２が導出した補正量を用いて、実施形態１と同様に子内視鏡画像の各画素の画素値（ＲＧＢ強度）を変換することにより、子内視鏡画像の色調を補正する。補正量導出部６２２及び色調補正部６２３による補正量の導出、当該補正量による色調補正は、実施形態１と同様に子内視鏡画像のみへの適用（親側への片寄せ補正）に限定されず、親内視鏡画像（子側への片寄せ補正）又は、親内視鏡画像及び内視鏡画像への適用（両寄せ補正）がされるものであってもよい。
【0062】
出力部６２４は、実施形態１と同様に、これら色調補正に関する処理が行われた親内視鏡画像及び子内視鏡画像を、例えば表示部７に出力する。
【0063】
図８は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６の制御部６２は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。
【0064】
内視鏡用プロセッサ２０の制御部２１は、検知部４０３から検出結果が出力された否かを判定する（Ｓ２０１）。内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び子内視鏡画像を取得する（Ｓ２０２）。内視鏡用プロセッサ２０の制御部２１は、取得した親内視鏡画像の中央部と子内視鏡画像とに基づき色調を補正するための補正量を導出する（Ｓ２０３）。内視鏡用プロセッサ２０の制御部２１は、導出した補正量に基づき子内視鏡画像等の色調を補正する（Ｓ２０４）。内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び色調補正された子内視鏡画像を出力する（Ｓ２０５）。内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び子内視鏡画像を取得する（Ｓ２０６）。内視鏡用プロセッサ２０の制御部２１は、実施形態１のＳ１０１からＳ１０６と同様に、Ｓ２０１からＳ２０６の処理を行う。
【0065】
内視鏡用プロセッサ２０の制御部２１は、取得した親内視鏡画像及び子内視鏡画像を基準領域モデル９１に入力する（Ｓ２０７）。基準領域モデル９１は、入力された親内視鏡画像及び子内視鏡画像において、実際の色調が同じとなる体内部位の領域（基準領域）が存在する（含まれる）場合、例えば、当該基準領域を示したラベル画像又は、当該基準領域に含まれる画素に関する情報を、親内視鏡画像及び子内視鏡画像それぞれにおいて出力する。入力された親内視鏡画像及び子内視鏡画像において、実際の色調が同じとなる体内部位の領域（基準領域）が存在しない（含まれない）場合、基準領域モデル９１は、基準領域に関する情報を出力しない。
【0066】
内視鏡用プロセッサ２０の制御部２１は、取得した親内視鏡画像及び子内視鏡画像において、基準領域が存在するか否かを判定する（Ｓ２０８）。内視鏡用プロセッサ２０の制御部２１は、基準領域モデル９１からの出力結果に基づき、基準領域が存在するか否かを判定する。基準領域モデル９１から基準領域に関する情報を取得した場合、内視鏡用プロセッサ２０の制御部２１は、基準領域が存在すると判定する。基準領域モデル９１から基準領域に関する情報を取得しなかった場合、内視鏡用プロセッサ２０の制御部２１は、基準領域が存在しないと判定する。基準領域が存在しない場合（Ｓ２０８：ＮＯ）、内視鏡用プロセッサ２０の制御部２１は、再度Ｓ２０４からの処理を実行すべく、ループ処理を行う。この場合、子内視鏡画像等に対する色調補正は、現時点において記憶部６３に記憶されている補正量を用いて行われる。
【0067】
基準領域が存在する場合（Ｓ２０８：ＹＥＳ）、内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び子内視鏡画像それぞれに含まれるそれぞれの基準領域に基づき、色調を補正するための補正量を導出する（Ｓ２０９）。内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び子内視鏡画像それぞれの基準領域に含まれる画素を対比することにより、当該基準領域に基づく補正量を、実施形態１と同様に導出する。内視鏡用プロセッサ２０の制御部２１は、導出した補正量を記憶部６３に記憶することにより、前回までの色調補正にて用いられていた補正量を、今回導出した補正量によって更新する。内視鏡用プロセッサ２０の制御部２１は、Ｓ２０９の処理の実行後、再度Ｓ２０４からの処理を実行すべく、ループ処理を行う。これにより、以降の色調補正は、今回導出した（更新された）補正量によって行われる。
【0068】
本実施形態等において、一連の処理を、内視鏡用プロセッサ２０の制御部２１による処理と、情報処理装置６の制御部６２による処理とに分けて説明したが、これら処理の分担は一例であり、これに限定されない。実施形態１と同様に、内視鏡用プロセッサ２０の制御部２１は、基準領域モデル９１を含め、情報処理装置６の制御部６２によって行われる全ての機能部として、機能するものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１と、情報処理装置６の制御部６２とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。
【0069】
本実施形態等によれば、親内視鏡画像の視野（親内視鏡画像に含まれる体内部位）と、子内視鏡画像の視野（子内視鏡画像に含まれる体内部位）とが異なる場合であっても、基準領域モデル９１によって出力された色調補正の基準となるそれぞれの領域に応じて、親内視鏡画像及び子内視鏡画像の色調を補正することができる。
【0070】
（実施形態３）
図９は、実施形態３（色調補正モデル９２）に係る情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムＰ（プログラム製品）を実行することにより、取得部６２１、出力部６２４として機能する。また、制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、又は色調補正モデル９２（第２学習モデル）を構成する実体ファイルを読み出すことにより、色調補正モデル９２として機能する。
図９は、実施形態３（色調補正モデル９２）に係る情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムＰ（プログラム製品）を実行することにより、取得部６２１、出力部６２４として機能する。また、制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、又は色調補正モデル９２（第２学習モデル）を構成する実体ファイルを読み出すことにより、色調補正モデル９２として機能する。
【0071】
取得部６２１は、実施形態２と同様に、内視鏡用プロセッサ２０が出力した親内視鏡画像、子内視鏡画像及び、検出部が出力する検出結果を取得する。取得部６２１は、取得した親内視鏡画像及び子内視鏡画像を、色調補正モデル９２に入力する。
【0072】
図１０は、色調補正モデル９２を用いて、色調補正がされた親内視鏡画像及び子内視鏡画像を出力する処理を説明する説明図である。情報処理装置６は、親内視鏡画像及び子内視鏡画像を問題データとし、色調補正された子内視鏡画像を回答データとする訓練データに基づき学習することで、親内視鏡画像及び子内視鏡画像を入力とし、親内視鏡画像との色調の差異が減少された子内視鏡画像を出力とするニューラルネットワーク（色調補正モデル９２）を構築（生成）する。回答データに含まれる色調補正された子内視鏡画像は、例えば実施形態１により色調補正された子内視鏡画像を用いることにより取得（準備）することができる。訓練データを用いて学習された色調補正モデル９２は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。
【0073】
色調補正モデル９２は、例えば、スタイル変換機能を有するＣＮＮ－ａｕｔｏｅｎｃｏｄｅｒにより構成される。親内視鏡画像及び子内視鏡画像が入力され、子内視鏡画像の色調を補正する場合、親内視鏡画像は、リファレンス画像に相当し、子内視鏡画像は、ターゲット画像に相当する。色調補正モデル９２は、実施形態１の基準領域モデル９１と同様に入力層、中間層及び出力層を備える。入力層は、親内視鏡画像及び子内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、ターゲット画像である子内視鏡画像の画像特徴量の抽出及び次元圧縮（エンコード）し、リファレンス画像である親内視鏡画像の画像特徴量と共に出力層に受け渡す。出力層は、親内視鏡画像の画像特徴量を加味し、次元圧縮（エンコード）された子内視鏡画像の特徴量をデコードすることにより、親内視鏡画像との色調の差異が減少された子内視鏡画像を出力する。色調補正モデル９２は、ＣＮＮ－ａｕｔｏｅｎｃｏｄｅｒであるとしたがこれに限定されず、ＧＡＮ、ＬＳＴＭ又はＲＮＮ等の構成の学習済モデルであってよい。
【0074】
色調補正モデル９２は、親内視鏡画像及び子内視鏡画像が入力された場合、親内視鏡画像との色調の差異が減少された子内視鏡画像を出力するように学習されている。従って、色調補正モデル９２を用いることにより、親内視鏡画像との色調の差異が減少するように色調補正された子内視鏡画像を取得することができる。本実施形態において、色調補正モデル９２は、親内視鏡画像との色調の差異が減少された子内視鏡画像を出力するとしたがこれに限定されず、子内視鏡画像との色調の差異が減少された親内視鏡画像を出力するものであってもよい。又は、色調補正モデル９２は、親内視鏡画像及び子内視鏡画像が入力された場合、両画像の色調の差異が減少された親内視鏡画像及び子内視鏡画像を出力するものであってもよい。
【0075】
出力部６２４は、色調補正モデル９２を用いて色調補正に関する処理が行われた親内視鏡画像及び子内視鏡画像を、実施形態１又は２等と同様に例えば表示部７に出力する。
【0076】
図１１は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６の制御部６２は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。
【0077】
内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び子内視鏡画像を取得する（Ｓ３０１）。内視鏡用プロセッサ２０の制御部２１は、実施形態２のＳ２０２と同様にＳ３０１の処理を行う。
【0078】
内視鏡用プロセッサ２０の制御部２１は、取得した親内視鏡画像及び子内視鏡画像を色調補正モデル９２に入力する（Ｓ３０２）。色調補正モデル９２は、親内視鏡画像及び子内視鏡画像が入力された場合、親内視鏡画像との色調の差異が減少された子内視鏡画像を出力する。当該色調補正モデル９２を用いることにより、内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像との色調の差異が減少するように色調補正された子内視鏡画像を取得することができる。
【0079】
内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び色調補正された子内視鏡画像を出力する（Ｓ３０３）。内視鏡用プロセッサ２０の制御部２１は、親内視鏡画像及び、親内視鏡画像との色調の差異が減少するように色調補正された子内視鏡画像を表示部７に出力する。上述のように色調補正モデル９２が、子内視鏡画像との色調の差異が減少するように色調補正された親内視鏡画像を出力するように学習されている場合、内視鏡用プロセッサ２０の制御部２１は、当該色調補正された親内視鏡画像、又は色調補正された親内視鏡画像及び子内視鏡画像を表示部７に出力するものであってもよい。このように内視鏡用プロセッサ２０の制御部２１は、色調補正モデル９２に関する処理が行われ、色調の差異が減少された親内視鏡画像及び子内視鏡画像を表示部７に出力する。
【0080】
本実施形態等において、一連の処理を、内視鏡用プロセッサ２０の制御部２１による処理と、情報処理装置６の制御部６２による処理とに分けて説明したが、これら処理の分担は一例であり、これに限定されない。実施形態１と同様に、内視鏡用プロセッサ２０の制御部２１は、色調補正モデル９２を含め、情報処理装置６の制御部６２によって行われる全ての機能部として、機能するものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１と、情報処理装置６の制御部６２とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。
【0081】
本実施形態等によれば、色調補正モデル９２を用いることにより、当該色調補正モデル９２に入力された親内視鏡画像及び子内視鏡画像における色調の差異よりも、少ない差異となる親内視鏡画像及び子内視鏡画像を取得することができる。これにより、親内視鏡画像及び子内視鏡画像に対する色調の補正を効率的に行うことができる。
【0082】
（実施形態４）
図１２は、実施形態４（親内視鏡用プロセッサ２０１、子内視鏡用プロセッサ２０２）に係る内視鏡システムの構成例を示すブロック図である。実施形態４の内視鏡用プロセッサ２０は、親内視鏡４０に接続される親内視鏡用プロセッサ２０１と、子内視鏡４０１に接続される子内視鏡用プロセッサ２０２とを含む。
図１２は、実施形態４（親内視鏡用プロセッサ２０１、子内視鏡用プロセッサ２０２）に係る内視鏡システムの構成例を示すブロック図である。実施形態４の内視鏡用プロセッサ２０は、親内視鏡４０に接続される親内視鏡用プロセッサ２０１と、子内視鏡４０１に接続される子内視鏡用プロセッサ２０２とを含む。
【0083】
親内視鏡用プロセッサ２０１及び子内視鏡用プロセッサ２０２は、実施形態１と同様に制御部２１（親制御部、子制御部）及び主記憶装置２２等、撮影画像（親撮影画像及び子撮影画像）を内視鏡画像（親内視鏡画像、子内視鏡画像）に変換するためのハードウェア機能部を備える。
【0084】
子内視鏡用プロセッサ２０２は、子内視鏡用ユニバーサルコード４９１を介して子内視鏡４０１から伝送された子撮影画像を子内視鏡画像に変換し、当該子内視鏡画像を親内視鏡用プロセッサ２０１に出力する。
【0085】
親内視鏡用プロセッサ２０１は、親内視鏡用ユニバーサルコード４９を介して親内視鏡４０から伝送された親撮影画像を親内視鏡画像に変換する。更に、親内視鏡用プロセッサ２０１は、子内視鏡用プロセッサ２０２から出力された子内視鏡画像の色調補正を実施形態１等と同様に行い、親内視鏡画像及び子内視鏡画像の色調における差異を減少させる。親内視鏡用プロセッサ２０１は、色調補正によって色調の差異が減少した親内視鏡画像及び子内視鏡画像を、例えば表示装置に出力する。
【0086】
本実施形態によれば、親内視鏡用プロセッサ２０１によって色調補正に関する処理を行うため、子内視鏡用プロセッサ２０２に対し、比較的に処理能力の高い親内視鏡用プロセッサ２０１に演算処理量を偏重させ、親内視鏡用プロセッサ２０１及び子内視鏡用プロセッサ２０２の負荷バランスの均衡を図ることができる。
【0087】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。
【符号の説明】
【0088】
Ｓ 内視鏡システム
１０ 内視鏡装置
１５ キーボード
１６ 収容棚
２０ 内視鏡用プロセッサ
２０１ 親内視鏡用プロセッサ
２０２ 子内視鏡用プロセッサ
２１ 制御部
２１１ 画像処理部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ タッチパネル
２６ 表示装置Ｉ／Ｆ
２７ 入力装置Ｉ／Ｆ
２８ 読取部
３１ 内視鏡用コネクタ
３１１ 電気コネクタ
３１２ 光コネクタ
３３ 光源
３４ ポンプ
３５ 送水タンク
３６ 送気送水口金
４０ 親内視鏡
４００ 親内視鏡測定部
４０１ 子内視鏡
４０２ 子内視鏡測定部
４０３ 検知部
４３ 操作部
４３１ 制御ボタン
４３３ 湾曲ノブ
４３４ 自動操作機構
４３５ 鉗子口
４４ 挿入部（可撓管）
４４１ 軟性部
４４２ 湾曲部
４４３ 先端部
４４４ 撮像部
４４５ 撮像素子
４４６ 撮影用光源
４５ 折止部
４８ スコープコネクタ
４９ 親内視鏡用ユニバーサルコード
４９１ 子内視鏡用ユニバーサルコード
５０ 表示装置
６ 情報処理装置
６１ 通信部
６２ 制御部
６２１ 取得部
６２２ 補正量導出部
６２３ 色調補正部
６２４ 出力部
６３ 記憶部
６３２ 記録媒体
Ｐ プログラム
６４ 入出力Ｉ／Ｆ
７ 表示部
８ 入力部
９１ 基準領域モデル（第１学習モデル）
９２ 色調補正モデル（第２学習モデル）
１０ 内視鏡装置
１５ キーボード
１６ 収容棚
２０ 内視鏡用プロセッサ
２０１ 親内視鏡用プロセッサ
２０２ 子内視鏡用プロセッサ
２１ 制御部
２１１ 画像処理部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ タッチパネル
２６ 表示装置Ｉ／Ｆ
２７ 入力装置Ｉ／Ｆ
２８ 読取部
３１ 内視鏡用コネクタ
３１１ 電気コネクタ
３１２ 光コネクタ
３３ 光源
３４ ポンプ
３５ 送水タンク
３６ 送気送水口金
４０ 親内視鏡
４００ 親内視鏡測定部
４０１ 子内視鏡
４０２ 子内視鏡測定部
４０３ 検知部
４３ 操作部
４３１ 制御ボタン
４３３ 湾曲ノブ
４３４ 自動操作機構
４３５ 鉗子口
４４ 挿入部（可撓管）
４４１ 軟性部
４４２ 湾曲部
４４３ 先端部
４４４ 撮像部
４４５ 撮像素子
４４６ 撮影用光源
４５ 折止部
４８ スコープコネクタ
４９ 親内視鏡用ユニバーサルコード
４９１ 子内視鏡用ユニバーサルコード
５０ 表示装置
６ 情報処理装置
６１ 通信部
６２ 制御部
６２１ 取得部
６２２ 補正量導出部
６２３ 色調補正部
６２４ 出力部
６３ 記憶部
６３２ 記録媒体
Ｐ プログラム
６４ 入出力Ｉ／Ｆ
７ 表示部
８ 入力部
９１ 基準領域モデル（第１学習モデル）
９２ 色調補正モデル（第２学習モデル）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】