特開 2024-85075 画像処理装置、画像処理方法、及び、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024085075

(43)【公開日】2024-06-26

(54)【発明の名称】画像処理装置、画像処理方法、及び、画像処理プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240619BHJP

   G02B 23/24 20060101ALN20240619BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

A61B1/045 610

G02B23/24 B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022199411

(22)【出願日】2022-12-14

(71)【出願人】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】田中 懐

(72)【発明者】

【氏名】古川 英治

(72)【発明者】

【氏名】谷本 徹心

(72)【発明者】

【氏名】兵庫 雄介

(72)【発明者】

【氏名】土田 啓一

(72)【発明者】

【氏名】野中 修

【テーマコード（参考）】

2H040

4C161

【Ｆターム（参考）】

2H040AA00

2H040BA00

2H040CA04

2H040CA06

2H040CA11

2H040CA12

2H040CA22

2H040DA03

2H040DA15

2H040DA21

2H040GA02

2H040GA06

2H040GA07

2H040GA11

4C161CC06

4C161DD03

4C161HH51

4C161LL02

4C161SS21

4C161TT02

4C161WW08

(57)【要約】

【課題】フレームレートを低下させることなく、特定領域の画質を向上させることができる画像処理装置を提供する。
【解決手段】画像処理装置は、入力画像から注目する特定領域を検出する第一特定領域検出部４２と、第一特定領域検出部４２により検出された特定領域の画質改善の必要性を判断する画質改善判断部４３と、特定領域と同一位置を含む近辺領域を画質改善する画質改善処理部４４と、画質改善処理部４４により画質改善した領域と画質改善していない領域が混合した画像から注目する特定領域を検出する第二特定領域検出部４５と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

特定被写体を検出する画像処理装置において、
入力画像から注目する特定領域を検出する第一特定領域検出部と、
前記第一特定領域検出部により検出された前記特定領域の画質改善の必要性を判断する画質改善判断部と、
前記特定領域と同一位置を含む近辺領域を画質改善する画質改善処理部と、
前記画質改善処理部により前記画質改善した領域と、前記画質改善した領域以外の領域とが混合した画像から注目する前記特定領域を検出する第二特定領域検出部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記第一特定領域検出部は、前記画像内における予め定められたパターン特徴をなす領域の一部と同様の特徴を有する部分を検出する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記近辺領域は、前記予め定められたパターン特徴に相当する部分の内、前記予め定められたパターン特徴をなす領域の一部と同様の特徴を有する部分以外の部分を含む領域である、ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記第二特定領域検出部は、前記画像内における予め定められたパターン特徴をなす領域と同様の特徴を有する部分を検出する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記第一特定領域検出部は、前記画像内で特定の特徴を示す領域の一部を指定してアノテーションした画像を学習して得られた推論モデルの推論結果に従って検出する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記近辺領域は、前記予め定められたパターン特徴に相当する部分のうち、前記予め定められたパターン特徴をなす領域の一部と同様の特徴を有する部分以外の部分を画面の明暗分布を用いて推測される、ことを特徴とする請求項２に記載の画像処理装置。

【請求項7】

前記第二特定領域検出部は、前記画像内で特定の特徴を示す領域を指定してアノテーションした画像を学習して得られた推論モデルの推論結果に従って検出する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記第二特定領域検出部は、前記画像内で特定の特徴を示す領域を指定してアノテーションした画像に対して、その他の画像領域を補正して得た画像を学習して得られた推論モデルの推論結果に従って検出する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項9】

特定被写体を検出する画像処理方法において、
入力画像から注目する特定領域を検出し、
検出された前記特定領域の画質改善の必要性を判断し、
前記特定領域と同一位置を含む近辺領域を画質改善し、
前記画質改善した領域と、前記画質改善した領域以外の領域とが混合した画像から注目する前記特定領域を検出する、
ことを特徴とする画像処理方法。

【請求項10】

特定被写体を検出する画像処理方法において、
入力画像から注目する特定片鱗領域を検出し、
検出された前記特定片鱗領域に隣接する隣接領域の画質改善の必要性を判断し、
前記隣接領域の画質を改善し、
前記画質を改善した領域と、前記画質を改善した領域以外の領域とが混合した画像から注目する注目領域を検出する、
ことを特徴とする画像処理方法。

【請求項11】

特定被写体を検出する画像処理プログラムにおいて、
入力画像から注目する特定領域を検出する処理と、
検出された前記特定領域の画質改善の必要性を判断する処理と、
前記特定領域と同一位置を含む近辺領域を画質改善する処理と、
前記画質改善した領域と前記画質改善していない領域が混合した画像から注目する前記特定領域を検出する処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の特定領域を検出する画像処理装置、画像処理方法、及び、画像処理プログラムに関する。

【背景技術】

【0002】

露光量が小さい低輝度画像と、低輝度画像よりも露光量が大きい高輝度画像とを取得して、低輝度画像と高輝度画像とを合成することで、ノイズ低減を実現しつつ、１枚の撮像画像よりもダイナミックレンジが広いハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）画像を生成するＨＤＲ技術が提案されている（例えば、特許文献１参照）。

【0003】

例えば観察部位等の特定領域の検出精度を低下させる要因の１つとして、明暗差が大きい被写体を撮影した際に生じる白飛びや黒つぶれが存在する。白飛びや黒つぶれを低減する技術として、上述したＨＤＲ技術を適用することが考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５６４９９２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示されているＨＤＲ技術を動画撮影に適用した場合、位置ずれ検出及び位置ずれ補償や合成処理に多大な計算を必要とするため、通常の撮影時と比べて処理負荷が増大し、多大な電力を消費してしまう。

【0006】

本発明は、上記事情に鑑みてなされたもので、処理負荷の低減および特定領域の検出精度を向上させることができる画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様の画像処理装置は、特定被写体を検出する画像処理装置において、入力画像から注目する特定領域を検出する第一特定領域検出部と、前記第一特定領域検出部により検出された前記特定領域の画質改善の必要性を判断する画質改善判断部と、前記特定領域と同一位置を含む近辺領域を画質改善する画質改善処理部と、前記画質改善処理部により前記画質改善した領域と前記画質改善していない領域が混合した画像から注目する前記特定領域を検出する第二特定領域検出部と、を備える。

【0008】

また、本発明の一態様の画像処理方法は、特定被写体を検出する画像処理方法において、入力画像から注目する特定領域を検出し、検出された前記特定領域の画質改善の必要性を判断し、前記特定領域と同一位置を含む近辺領域を画質改善し、前記画質改善した領域と前記画質改善していない領域が混合した画像から注目する前記特定領域を検出する。

【0009】

また、本発明の他の態様の画像処理方法は、特定被写体を検出する画像処理方法において、入力画像から注目する特定片鱗領域を検出し、検出された前記特定片鱗領域に隣接する隣接領域の画質改善の必要性を判断し、前記隣接領域の画質を改善し、前記画質を改善した領域と、前記画質を改善した領域以外の領域とが混合した画像から注目する注目領域を検出する。

【0010】

また、本発明の一態様の画像処理プログラムは、特定被写体を検出する画像処理プログラムにおいて、入力画像から注目する特定領域を検出する処理と、検出された前記特定領域の画質改善の必要性を判断する処理と、前記特定領域と同一位置を含む近辺領域を画質改善する処理と、前記画質改善した領域と前記画質改善していない領域が混合した画像から注目する前記特定領域を検出する処理と、をコンピュータに実行させる。

【発明の効果】

【0011】

本発明の画像処理装置、画像処理方法、及び、画像処理プログラムによれは、処理負荷の低減および特定領域の検出精度向上させることができる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係る内視鏡システムの全体構成の一例を示す全体構成図である。

【図2】第１の実施形態に係る内視鏡システムの詳細な構成の一例を示すブロック図である。

【図3】第一特定領域検出部４２の構成の一例を示すブロック図である。

【図4】第一特定領域検出部４２の構成の他の例を示すブロック図である。

【図5】第二特定領域検出部４５の構成の一例を示すブロック図である。

【図6】ビデオプロセッサ４における画像処理の流れの一例を説明するための図である。

【図7】通常動作モードと画質改善処理モードにおいて取得される画像及び表示される画像の一例を説明するための図である。

【図8】ビデオプロセッサ４における画像処理の流れの一例を説明するためのフローチャートである。

【図9】第２の実施形態に係る内視鏡システムの詳細な構成の一例を示すブロック図である。

【図10】ビデオプロセッサ４Ａにおける画像処理の流れの一例を説明するための図である。

【図11】第３の実施形態に係る内視鏡システムの詳細な構成の一例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は、第１の実施形態に係る内視鏡システムの全体構成の一例を示す全体構成図である。
図１に示すように、内視鏡システム１は、内視鏡２と、光源装置３と、画像処理装置を構成するビデオプロセッサ４と、表示装置５と、を有して主要部が構成されている。

【0014】

内視鏡２は、被検体の観察対象部位へ挿入する細長の挿入部１１と、挿入部１１の基端部に連設された操作部１２と、操作部１２の側面より延設されたユニバーサルケーブル１３と、ユニバーサルケーブル１３の延出端部に設けられたコネクタ部１４と、を有して構成されている。

【0015】

コネクタ部１４は、光源コネクタと、光源コネクタの側部から延出する電気ケーブルと、電気ケーブルの延出端に配設された電気コネクタと、を有して構成されている。なお、コネクタ部１４の光源コネクタは、光源装置３に着脱自在に接続される。そして、コネクタ部１４の電気コネクタは、ビデオプロセッサ４に着脱自在に接続される。

【0016】

挿入部１１は、先端側に先端部２１を有し、先端部２１の基端部に湾曲自在な湾曲部２２が連設されている。さらに、湾曲部２２の基端部に軟性の管状の部材より形成される長尺で可撓性を有する可撓管部２３が連設されている。先端部２１には、被検体の画像情報を取得するための画像取得部２４（図２参照）が設けられている。

【0017】

操作部１２は、操作把持部を構成する操作部本体２０を有して構成されている。操作部本体２０には、挿入部１１の湾曲部２２を湾曲操作するためのアングルノブが回動自在に配設されるとともに、吸引ボタン、送気送水ボタン、各種内視鏡機能のスイッチ類などが設けられている。

【0018】

光源装置３は、内視鏡２内に設けられたライトガイド２５（図２参照）に、照明光を供給するものである。即ち、本実施形態の内視鏡２のユニバーサルケーブル１３、操作部１２、及び、挿入部１１内には、ライトガイド２５が配設されており、このライトガイド２５を介して、光源装置３は、先端部２１の照明窓を構成する照明光学系２６（図２参照）まで照明光を供給する。この照明光は、照明光学系２６によって発散されて被検部位を照射する。

【0019】

ビデオプロセッサ４は、内視鏡２が撮像した画像データに画像処理を施して画像信号を生成し、生成した画像信号を表示装置５に出力する。表示装置５は、ビデオプロセッサ４が生成した画像信号に対応する画像を表示する。

【0020】

また、ビデオプロセッサ４は、内視鏡システム１の全体の制御を行う。例えば、ビデオプロセッサ４は、光源装置３が出射する照明光を制御する。また、ビデオプロセッサ４は、内視鏡２が画像を取得する際の撮影条件を制御する。

【0021】

光源装置３からの補助光、照明光で、対象物が照明された状況を撮像する場合、対象物の表面の状態や距離に応じて明るさにむらのある画像が撮像されることがあるが、こうした問題も本願では対処が可能となる。この光源は白色光以外に特殊光と言われる特定の波長を強調した光でもよく、対象物に施した蛍光物質を発光させる照明でもよい。

【0022】

さらに、ビデオプロセッサ４は、撮像された画像から検出された観察部位等の特定領域に画質改善処理が必要かを判断し、特定領域に画質改善処理が必要と判断した場合、特定領域に対してのみ画質改善処理を行う。なお、以下の説明では、画質改善処理の一例としてＨＤＲ処理を適用する構成について説明する。

【0023】

図２は、第１の実施形態に係る内視鏡システムの詳細な構成の一例を示すブロック図である。
図２に示すように、内視鏡２は、画像取得部２４と、ライトガイド２５と、照明光学系２６とを有する。画像取得部２４は、対物光学系２７と、撮像素子２８と、撮影条件切替部２９とを有する。

【0024】

対物光学系２７は、被検体内の被写体の光学像を撮像素子２８に結像する。
撮像素子２８は、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサなどの固体撮像素子である。撮像素子２８は、入射した光を電気信号に変換する画素が２次元状に配列されている。撮像素子２８は、対物光学系２７により結像された光学像を撮像して画像を取得し、例えばアナログの撮像信号として出力する。撮像素子２８は、例えばフレーム単位で撮像を行い、複数フレームの画像に係る撮像信号を時系列的に順次出力する。

【0025】

撮影条件切替部２９は、後述する画質改善判断部４３からの制御により撮影条件を切り替える。具体的には、撮影条件切替部２９は、撮像素子２８の露光時間を制御する。撮像条件切替部２９は、通常動作モード時には、通常露光時間で通常露光画像を取得するように撮像素子２８を制御する。また、撮像条件切替部２９は、後述する画質改善処理動作モード時には、長露光画像と短露光画像とを交互に取得するように撮像素子２８を制御する。長露光画像は、撮像素子２８の露光時間を通常露光時間よりも長い長露光時間で取得した画像である。一方、短露光画像は、撮像素子２８の露光時間を通常露光時間よりも短い短露光時間で取得した画像である。

【0026】

光源装置３は、光源制御部３１と、光源３２とを有する。
光源制御部３１は、ビデオプロセッサ４の制御に従って、光源３２の光量を制御する。光源制御部３１による光源３２の光量の制御は、例えば、発光輝度の制御、またはＰＷＭ（Pulse Width Modulation：パルス幅変調）におけるデューティー比の制御などの制御方法を適宜用いて構わない。

【0027】

光源３２は、例えば、ＬＥＤ（Light Emitting Diode）光源、レーザ光源、又は、キセノン光源などの発光デバイスである。光源３２は、光源制御部３１の制御に基づき、発光デバイスにより照明光を発光する。光源３２はＬＥＤ光源、レーザ光源、又は、キセノン光源などの発光デバイスの内の、１種類以上を組み合わせて構成される。ただし、発光デバイスは、ここで挙げた例に限定されるものではなく、適宜公知技術を使用可能である。

【0028】

光源３２から発光された照明光は、ライトガイド２５の入射端に入射する。ライトガイド２５は、入射端から入射した照明光を出射端へ伝送する。伝送された照明光は、ライトガイド２５の出射端から出射され、照明光学系２６により被写体へ照射される。

【0029】

ビデオプロセッサ４は、フレームメモリ４１と、第一特定領域検出部４２と、画質改善判断部４３と、画質改善処理部４４と、第二特定領域検出部４５とを有する。

【0030】

画像取得部２４の撮像素子２８により撮像された撮像信号は、フレームメモリ４１に送信される。フレームメモリ４１は、画像取得部２４の撮像素子２８によって取得された複数枚の画像を格納する。

【0031】

第一特定領域検出部４２は、フレームメモリ４１に格納された通常露光画像から特定領域を検出する。第一特定領域検出部４２により特定領域が検出されなかった場合、撮像素子２８は通常露光画像の取得を継続する。

【0032】

画質改善判断部４３は、第一特定領域検出部４２により検出された特定領域に対して画質改善が必要か否かを判断する。画質改善判断部４３は、第一特定領域検出部４２により検出された特定領域に例えば白飛びや黒つぶれが存在するかに基づき、画質改善が必要か否かを判断する。つまり、検出対象の候補部位の一部（注目する特定片鱗領域）が確認されても、その候補部位の輪郭や連続した質感（画像特徴）などが画質変化で中断している場合は、その画像特徴中断部位の画質が中断の手前（視認性が良い部分が手前にあるとして）部分（候補部位の一部、または注目する特定片鱗領域）の画質と比較して差異（露出の適正度、ピントずれによるコントラスト（先鋭度）の低下や解像度の低下などのボケ具合、特定色や白黒の点として現れるノイズの増加、色再現性の劣化など視認性が悪くなる方向の変化）がある場合、画質改善が必要であると判断する。コントラストや解像度の低下、色再現性の劣化の判断は上述の画像特徴を表す数値を特定の閾値と比較して決めてもよく、差異を表す数値を特定の閾値と比較して決めてもよい。画質が悪いと、情報量が減少したりして判別が困難になっているので、情報量の減少を調べ、それが許容量以上減少していたり、残っている情報量が許容量以下になっている場合に画質改善が必要であると判断してもよい。

【0033】

画質改善判断部４３は、特定領域に対して画質改善が必要でないと判断した場合、通常露光画像の取得を継続させるための制御信号を撮影条件切替部２９に出力する。撮像素子２８は、撮影条件切替部２９の制御により、通常露光画像の取得を継続する。

【0034】

また、画質改善判断部４３は、特定領域に対して画質改善が必要でないと判断した場合、第１特定領域検出部４２により検出された特定領域に対して、例えばマーカーを付加する強調表示を行い、強調表示を行った通常露光画像をフレームメモリ４１に出力する。強調表示を行った通常露光画像は、フレームメモリ４１から表示装置５に出力され、表示装置５によって表示される。

【0035】

ここでの「強調表示」は、表示時に画面全体や画面の一部を確認しやすくなるように画像処理や音声や振動などの補助等で表示に工夫を凝らすことで、用途や目的や状況によって様々な応用が可能である。例えば、何かを見逃しそうな時にそれを見逃さないようにしたり（例えば枠表示とか、動画を止めて静止画にするとか）、それが何かをわかりやすく視認性を向上させたり、注釈を入れるとかも強調表示になる（光源を変えた時の取得画像を参照表示する等の応用も可能）。また、対象物の範囲を表示して、その後の処置の参考にするなどの応用もある。必要に応じて光源の変更のみならず、画像の拡大や変形、色変換などの情報処理によって、より特徴が把握しやすいように補助してもよい。推定された病状や患部の大きさを測定して（参考の補助情報として）表示してもよい。画像全体のうち、どこからどこまでが病変かを範囲指定したり、色分けしたり、また、輪郭を囲むような線を表示したりして補助情報を参考表示してもよい。

【0036】

これらは、統合した応用も可能で、このように画像内で検出された対象領域を強調表示することによって、その部分の見逃しをなくし、その部分の注視を促し、病変であれば、その疾病の種別、進行の程度、大きさ、これら総じて特徴の確認の精度を向上させる。

【0037】

また、この内容をレポート化できるように、位置や特徴を文字列に変換して記録できるようにしてもよい。重要な画像コマは静止画でエビデンスを残すようにしてもよいが、動画の一部分を切り出してもよい。

【0038】

また、参考表示された補助情報が間違っていると判定される場合や、強調表示した時の推論時の信頼性が高くない場合もあり得る。これは、この時用いていた推論モデルの性能の限界を示す重要な情報（画像データ、その他操作データなど）なので、これを記録して推論モデルのバージョンアップなどに利用できるようにする。この場合、日付や術者や使用機器のＩＤなども併せて記録できるようにしてもよい。記録は、図示しない通信部で外部に送信してもよい。

【0039】

つまり、本願には強調表示時の推論の信頼性（推論の確からしさ）が低い場合には、その画像は推論モデルを改良する時に必要な画像として記録しておくと言った発明も含まれている。

【0040】

また、本願の特徴である、視認性向上（改善）のための合成処理等をした部分は、その旨が分かるように、異なる態様で表示をしてもよい。

【0041】

また、特定領域を検出するために、画質改善処理部４４により画質改善した領域とそれ以外の領域が混合した画像（検出用の画像）を用いるが、強調表示の時は画質改善しなくてもよいし、画質改善を強調した画像としてもよい。つまり、画質改善した画像と画質改善する前の画像のどちらで強調表示してもよいし、これらを比較可能なように並べて表示してもよい。改善する前の画像に枠等を表示し、操作者が操作すると、画質改善した画像に枠を出した画像が表示されるような仕様でもよい。

【0042】

一方、画質改善判断部４３は、特定領域に対して画質改善が必要であると判断した場合、画質改善を行うための制御信号を撮影条件切替部２９に出力する。撮像素子２８は、撮影条件切替部２９の制御により、短露光画像と長露光画像とを交互に取得し、フレームメモリ４１に出力する。

【0043】

また、画質改善判断部４３は、特定領域に対して画質改善が必要であると判断した場合、特定領域に対して画質改善処理を開始するための制御信号を画質改善処理部４４に出力する。

【0044】

画質改善処理部４４は、第一特定領域検出部４２により検出された特定領域と同一位置を含む近辺領域を画質改善する。より具体的には、画質改善処理部４４は、画質改善判断部４３から制御信号が入力されると、フレームメモリ４１から露光時間の異なる２つの画像、すなわち、短露光画像と長露光画像とを読み出し、短露光画像の特定領域と、長露光画像の特定領域とを合成する。

【0045】

具体的には、画質改善処理部４４は、短露光画像の特定領域と、長露光画像の特定領域との位置ずれ量を検出する。そして、画質改善処理部４４は、露光時間の異なる２つの画像を用いて、画像間におけるグローバルな動き量、又は、領域毎のローカルな動き量を算出することで、位置ずれ量を検出する。画質改善処理部４４は、検出された位置ずれ量に基づいて、短露光画像の特定領域と、長露光画像の特定領域とを合成する。

【0046】

合成した特定領域以外の背景領域は、短露光画像および長露光画像のうち、後から取得されたフレームの画像を用いる。この場合、特定領域以外の背景領域は、暗い画像と明るい画像が交互に表示装置５に表示される。そのため、特定領域以外の背景領域については、ゲインを調整して明るさを変更し、特定領域の明るさに合わせる簡易的な処理をしてもよい。

【0047】

このように、画質改善処理部４４により、短露光画像の特定領域および長露光画像の特定領域のみに対して合成処理（ＨＤＲ処理）が施された部分合成画像（部分ＨＤＲ画像）が生成され、第二特定領域検出部４５に出力される。

【0048】

第二特定領域検出部４５は、特定領域がＨＤＲ処理により検出しやすくなった部分合成画像から特定領域を検出し、検出した特定領域にマーカーを付加してフレームメモリ４１に出力する。強調表示を行った部分合成画像は、フレームメモリ４１から表示装置５に出力され、表示装置５によって表示される。

【0049】

図３は、第一特定領域検出部４２の構成の一例を示すブロック図である。
図３に示すように、第一特定領域検出部４２は、推論モデル５０を備える。推論モデル５０は、入力層５１と、中間層５２と、出力層５３とを備える。図３の推論モデル５０は、入力及び出力に対応する大量の画像データ５４のデータセットを教師データとして所定のネットワークに与えて例えば深層学習することにより得られる。

【0050】

複数の画像データ５４は、画像内で特定の特徴を示す領域（特定領域５５）と特定領域５５と同一位置を含む近辺領域とを指定してアノテーションした画像である。なお、図３の例では、特定領域５５と特定領域５５と同一位置を含む近辺領域とをアノテーションしているが、これに限定されることなく、例えば、特定領域５５のみをアノテーションしてもよい。

【0051】

この実施例の教師データの特徴は、均一な視認性、画像品質で、対象物領域（病変部）が撮像、取得されている画像を一部（特定領域５５と特定領域５５と同一位置を含む近辺領域）のみを限定してアノテーションしている点である。対象物領域全体の視認性が均一でない状況でも対象物の存在検出が可能となる。また、対象物の存在の有無のみならず、対象物の一部を指定して、対象物全体の範囲を判定できるようなアノテーションを施す（これは、対象物の一部を入力に指定し、画像内の対象物の全範囲を出力として指定して学習すれば良い）といった工夫も可能である。

【0052】

よって、本願には、以下のような発明が含まれることになる。つまり、画像データの特定領域５５を占める対象物内の一部領域を入力として指定し、当該画像データの対象物領域、ここでは、特定領域５５と特定領域５５と同一位置を含む近辺領域を出力として推論可能なように用意した。

【0053】

なお、深層学習（ディープ・ラーニング）は、ニューラル・ネットワークを用いた機械学習の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。

【0054】

これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。

【0055】

そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。

【0056】

簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。

【0057】

また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い「畳み込み型ニューラル・ネットワーク」や、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

【0058】

その他、教師あり学習を用いるパターン認識モデルとして、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。

【0059】

こうしたパターン認識モデルに画像データなどを入力した時、その認識、判定結果が正しく分類される確率、確からしさを信頼性と呼ぶことがあり、様々な教師データを入力して、パターン認識が正しくできるように学習する時にも、この信頼性のデータは利用される。検出したい画像データのパターン判定の信頼性が高くなるように教師データなどを変えながら学習を行う。

【0060】

これらの技術の実現のためには、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）といったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やＴＰＵ（Tensor Processing Unit）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある」。

【0061】

例えば、偏りのない理想的な画像品質、均一な視認性の画像だけを用いて学習して生成された推論モデルによって推論を行う場合、画質劣化や露出やピントの差異がある画像に対しては、正しい推論が出来ない可能性がある。ここでは、特に、検出対象物の一部の視認性が様々な要因で劣化している場合に対して注目し、こうした視認性の不均一性の問題を対処している。対象物の視認性劣化の要因を取り除くような補正画像に対して、推論を行うことにより、正しい対象物位置判定、対象物範囲の判定、あるいは対象物の特徴判定が可能となる。推論モデルを用いた推論を行う前にこうした劣化部位補正を入れて画像を判定させるような工夫は有効であり、画像を補正するための工夫を有するようにすることが好ましい。

【0062】

また、劣化部があっても劣化していない部分を手掛かりに、対象物の有無を判断する推論モデルを得ることもアノテーション等の工夫によって可能となる。また、対象物の一部に視認性劣化部があっても、それがどの部分に位置するかを判定するような推論モデルを得ることもアノテーション等の工夫によって可能となる。

【0063】

例えば、敵対的学習と呼ばれるような手法が有効であることも知られている。これは本来、敵対的攻撃に対して、あらかじめ敵対例を学習データセットに含めて学習することを指す言葉だが、視認性劣化も撮像時の状況が引き起こす攻撃のようなものと考えられる。これにより推論モデルは敵対例が入力された場合にも正しく判定できるよう（ロバスト性を向上させる）になる。

【0064】

なお、ここでは、主に教師データを使って学習する「教師あり学習」の例で説明しているが、これはアノテーションによって出力を定められた教師データを使って「入力と出力の関係」を学習するもので、特定の条件下での信頼性の高い推論を行うものである。必ずしも教師データを必要としない、いわば「データの構造」を学習する「教師なし学習」の手法もあり、こうした技術も必要に応じて利用ことによって、より複雑な状況に対応できる推論モデルも取得可能となる。

【0065】

また、「強化学習」と呼ばれる、「価値や効果を最大化するような行動」を学習する手法を用いてもよい。これは、状態行動価値が増大化するような法則を見つけるように学習させるもので、現在ではなく次の状態の価値を見積もって高めたり、特定の報酬が得られたりするまで試行錯誤した結果を学習に反映させる。学習結果の検証には、教師データを使ってもよい。アノテーションによって得られた正解の出力をそのまま学習するのではなく、さらに良い回答が得られるよう学習させるもので、未知の状況に対応できるようにしたものである。

【0066】

これらは教師あり学習と併用してもよく、教師なし学習による推論のあと、教師あり学習による推論を行ってもよい。アノテーション用データは、こうした「教師なし学習」、「強化学習」の検証用データとしても利用が可能である。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、ここでは画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

【0067】

第一特定領域検出部４２は、フレームメモリ４１から通常露光画像６０を読み出すと、推論モデル５０の推論結果に従って、通常露光画像６０から特定領域７０を検出する。推論モデル５０は、特定領域７０の一部の領域７０ａと同様の特徴を有する部分を検出することで、特定領域７０を検出する。

【0068】

図４は、第一特定領域検出部４２の構成の他の例を示すブロック図である。
後述するように、図４は、図３とは異なり、特定領域５５の一部の領域５６だけをアノテーションした教師データを用いて学習した推論モデル５０Ａを備えている。そして、推論モデル５０Ａにより一部の領域７０Ａを検出した後、明暗考慮修復部５６により画質改善を行い、さらに精度よく特定領域７０を確定する。

【0069】

図４に示すように、第一特定領域検出部４２は、推論モデル５０Ａと、明暗考慮修復部５６とを備える。推論モデル５０Ａは、入力及び出力に対応する大量の画像データ５４Ａのデータセットを教師データとして所定のネットワークに与えて例えば深層学習することにより得られる。

【0070】

複数の画像データ５４Ａは、画像内で特定の特徴を示す領域（特定領域５５）の一部の領域５６を指定してアノテーションした画像である。

【0071】

推論モデル５０Ａは、フレームメモリ４１から通常露光画像６０が入力されると、特定領域７０の一部の領域７０ａを検出する。

【0072】

明暗考慮修復部５６は、推論モデル５０Ａにより特定領域７０の一部の領域７０Ａが検出された推論結果から画像の明暗を考慮し、特定領域７０の一部の領域７０ａと同様の特徴を有する部分以外の領域７０ｂを推定することで、特定領域７０を検出する。

【0073】

推論モデル５０Ａは、入力画像である通常露光画像６０から注目する特定片鱗領域である特定領域７０の一部の領域７０ａを検出する。そこで、画質改善判断部４３は、一部の領域７０ａに隣接する隣接領域の画質改善の必要性を判断してもよい。画質改善処理部４４は、画質改善判断部４３により画質改善が必要と判断されて場合、隣接領域に対してのみ画質を改善し、画質を改善した隣接領域と、画質を改善した隣接領域以外の領域とを合成した画像を生成する。これにより、合成処理（ＨＤＲ処理）を施す領域が更に小さくなるため、処理に必要な負荷を低減させることができる。

【0074】

図５は、第二特定領域検出部４５の構成の一例を示すブロック図である。
後述するように、図５は、図３及び図４とは異なり、特定領域５５をアノテーションした教師データを用いて学習した推論モデル５０Ｂを備えている。そして、推論モデル５０Ｂは、画質改善処理部４４により良く見えるように画質改善された画像から特定領域７０を精度良く検出する。

【0075】

図５に示すように、第二特定領域検出部４５は、背景明暗補正部５７と、推論モデル５０Bとを有する。

【0076】

図５の推論モデル５０Bは、入力及び出力に対応する大量の画像データ５４Ｂのデータセットを教師データとして所定のネットワークに与えて例えば深層学習することにより得られる。

【0077】

複数の画像データ５４Bは、画像内で特定の特徴を示す領域（特定領域５５）を指定してアノテーションした画像である。なお、複数の画像データ５４Bは、背景領域の濃淡を考慮し、画像内で特定の特徴を示す領域（特定領域５５）以外の画像領域を補正、例えば、ゲインをかけて特定領域５５の明るさに合わせる簡易的な処理をして得られた画像であってもよい。

【0078】

背景明暗補正部５７には、画質改善処理部４４により特定領域７０の画質が改善された部分合成画像８０が入力される。背景明暗補正部５７は、部分合成画像６３の特定領域７０以外の背景領域を補正する。背景明暗補正部５７は、例えば、特定領域７０以外の背景領域にゲインをかけて、背景領域の明るさを特定領域７０の明るさに合わせる簡易的に処理を行う。なお、背景領域の明るさを考慮しなくてよい場合、背景明暗補正部５７はなくてもよい。この場合、部分合成画像６３が推論モデル５０Bに直接入力される。

【0079】

推論モデル５０Bは、背景明暗補正部５７から部分合成画像６３が入力されると、画像内で特定の特徴を示す領域（特定領域５５）を指定してアノテーションした画像を学習して得られた推論結果に従って、特定領域７０を検出する。

【0080】

次に、このように構成されたビデオプロセッサ４の動作について、図６から図８を用いて説明する。
図６は、ビデオプロセッサ４における画像処理の流れの一例を説明するための図である。図７は、通常動作モードと画質改善処理モードにおいて取得される画像及び表示される画像の一例を説明するための図である。

【0081】

通常動作モードでは、通常露光時間で通常露光画像６０が取得される。図６及び図７の例では、通常露光画像６０Ａ、６０Ｂの順番で取得されている。

【0082】

第一特定領域検出部４２は、通常露光画像６０Ａの画像全体を用いて特定領域の検出を行う。第一特定領域検出部４２は、通常露光画像６０Ａに特定領域が検出されない期間は、フレームメモリ４１から次のフレームの通常露光画像６０Ｂを取得する。図６及び図７の例では、通常露光画像６０Ａには、特定領域が検出されていないが、通常露光画像６０Ｂには、特定領域７０が検出されている。

【0083】

画質改善判断部４３は、通常露光画像６０Ｂに特定領域７０が検出された場合、特定領域７０に対して画質改善が必要かを判断する。画質改善判断部４３は、通常露光画像６０Ｂに特定領域７０が検出されたが、画質改善の必要がないと判断すると、特定領域７０にマーカー７１を付加して強調表示する。

【0084】

一方、画質改善判断部４３は、通常露光画像６０Ｂの特定領域７０に画質改善の必要があると判断すると、撮影条件切替部２９および画質改善処理部４４に制御信号を出力し、通常動作モードから画質改善処理動作モードに移行する。

【0085】

画質改善処理動作モードでは、撮影条件切替部２９の制御により、通常露光時間よりも長い長露光時間で撮像された長露光画像６１と、通常露光時間よりも短い短露光時間で撮像された短露光画像６２とが交互に取得される。図６及び図７の例では、長露光画像６１Ａ、短露光画像６２Ａ、長露光画像６１Ｂ、短露光画像６２Ｂ、・・・、の順番で取得されている。

【0086】

画質改善処理動作モードでは、まず、画質改善処理部４４により、長露光画像６１Ａの特定領域７０と、短露光画像６２Ａの特定領域７０とが合成（ＨＤＲ処理）された部分合成画像６３Ａが生成される。特定領域７０以外の背景領域は、後から取得された短露光画像６２Ａの背景領域を用いる。

【0087】

次に、画質改善処理部４４により、短露光画像６２Ａの特定領域７０と、長露光画像６１Ｂの特定領域７０とが合成された部分合成画像６３Ｂが生成される。特定領域７０以外の背景領域は、後から取得された長露光画像６１Ｂの背景領域を用いる。このように生成された部分合成画像６３Ａ、６３Ｂ、・・・は、第二特定領域検出部４５に入力される。

【0088】

第二特定領域検出部４５は、部分合成画像６３Ａ、６３Ｂ、・・・、の画像全体を用いて特定領域７０の詳細な検出を行い、部分合成画像６３Ａ、６３Ｂ、・・・、の特定領域７０にマーカー７１を付加して強調表示する。

【0089】

第一特定領域検出部４２により特定領域７０が検出されなくなった時点で、画質改善処理動作モードから通常動作モードに移行し、通常露光画像６０Ｃが取得される。第一特定領域検出部４２により特定領域７０が検出されるまで、通常動作モードが継続する。そして、第一特定領域検出部４２により特定領域７０が検出された場合、通常動作モードから画質改善処理動作モードに移行する。

【0090】

図８は、ビデオプロセッサ４における画像処理の流れの一例を説明するためのフローチャートである。

【0091】

まず、通常露光画像６０を取得する（Ｓ１）。通常露光画像６０は、画像取得部２４により取得され、フレームメモリ４１に格納される。

【0092】

次に、第一特定領域検出部４２は、通常露光画像６０を用いて特定領域７０が検出できたか否かを判定する（Ｓ２）。第一特定領域検出部４２によって、特定領域７０が検出できないと判定された場合（Ｓ１：ＮＯ）、ステップＳ１の処理に戻り、通常露光画像６０の取得が継続される。

【0093】

一方、第一特定領域検出部４２によって、特定領域７０が検出できたと判定された場合（Ｓ１：ＹＥＳ）、画質改善判断部４３は、特定領域７０の画質改善の必要性を判断する（Ｓ３）。

【0094】

画質改善判断部４３が特定領域７０の画質改善の必要性がないと判断した場合（Ｓ３：ＮＯ）、画質改善判断部４３は、通常露光画像６０において、特定領域７０を強調表示する（Ｓ４）。その後、ステップＳ１の処理に戻り、通常露光画像６０を取得が継続される。

【0095】

一方、画質改善判断部４３が特定領域７０の画質改善の必要があると判断した場合（Ｓ３：ＹＥＳ）、特定領域７０のみにＨＤＲを適用するＨＤＲ処理（画質改善処理動作）を開始する。

【0096】

ＨＤＲ処理が開始されると、画質改善判断部４３から撮影条件切替部２９に制御信号が送信され、撮影条件切替部２９の制御により、撮像素子２８が長露光画像６１と短露光画像６２を交互に取得する。撮像素子２８により取得された長露光画像６１と短露光画像６２はフレームメモリ４１に格納される。

【0097】

画質改善処理部４４は、ＨＤＲ用の長露光画像６１を取得する（Ｓ５）。次に、画質改善処理部４４は、ＨＤＲ用の短露光画像６２を取得する（Ｓ６）。画質改善処理部４４は、長露光画像６１の特定領域７０と、短露光画像６２の特定領域７０の位置合わせ及び合成を行い、部分合成画像６３を生成する（Ｓ７）。

【0098】

次に、第二特定領域検出部４５は、部分合成画像６３を用いて特定領域７０が検出できたか否かを判定する（Ｓ８）。第二特定領域検出部４５は、部分合成画像６３において特定領域７０が検出できたと判定した場合（Ｓ８：ＹＥＳ）、部分合成画像６３において特定領域７０を強調表示する（Ｓ９）。その後、ステップＳ５の処理に戻る。

【0099】

一方、第二特定領域検出部４５は、部分合成画像６３において特定領域７０が検出できないと判定した場合（Ｓ８：ＮＯ）、ＨＤＲ処理（画質改善処理動作）を終了し、通常動作モードに移行する。その後、ステップＳ１の処理に戻り、通常露光画像６０の取得を継続する。

【0100】

以上のように、画質改善判断部４３は、第一特定領域検出部４２により検出された特定領域７０に対して画質改善が必要か否かを判断する。そして、画質改善処理部４４は、画質改善判断部４３により画質改善が必要と判断された場合、特定領域７０のみに画質改善処理（ＨＤＲ処理）を行う。ビデオプロセッサ４は、特定領域７０のみに画質改善処理を行うことで処理に必要な負荷を低減させている。

【0101】

さらに、第二特定領域検出部４５は、特定領域７０のみに画質改善処理が施された部分合成画像６３を用いて特定領域７０の検出を行う。これにより、ビデオプロセッサ４は、特定領域７０についての検出精度を向上させている。

【0102】

よって、本実施形態の画像処理装置によれば、処理負荷の低減および特定領域の検出精度を向上させることができる。

【0103】

また、ＨＤＲ技術を動画撮影に適用した場合、位置ずれ検出及び位置ずれ補償や合成処理に多大な計算を必要とするため、位置ずれ検出及び位置ずれ補償や合成処理がフレームレート内に完了しない場合がある。この場合、コマ落ちや途切れなどにより画像が破綻することがある。この結果、画質が悪化することにより、特定領域の検出が困難になるため、フレームレートを低下させなければならない。

【0104】

これに対し、本実施形態では、画質改善処理部４４は、画質改善判断部４３により画質改善が必要と判断された場合、特定領域７０のみに画質改善処理（ＨＤＲ処理）を行う。これにより、ビデオプロセッサ４は、処理負荷を低減させ、フレームレートの低下を防ぐことができる。

【0105】

（第２の実施形態）
次に、第２の実施形態について説明する。
図９は、第２の実施形態に係る内視鏡システムの詳細な構成の一例を示すブロック図である。図１０は、ビデオプロセッサ４Ａにおける画像処理の流れの一例を説明するための図である。

【0106】

図９に示すように、内視鏡システム１Ａは、図２のビデオプロセッサ４に代わり、ビデオプロセッサ４Ａを備える。画像処理装置を構成するビデオプロセッサ４Ａは、図２の第二特定領域検出部４５に代わり、第二特定領域検出部４５Ａを備える。

【0107】

図２に示す第二特定領域検出部４５は、部分合成画像６３Ａ、６３Ｂ、・・・、の画像全体を用いて特定領域７０の詳細な検出を行っていた。

【0108】

これに対し、本実施形態の第二特定領域検出部４５Ａは、図１０に示すように、部分合成画像６３Ａ、６３Ｂ、・・・、の特定領域７０の近辺領域７２を用いて特定領域７０の詳細な検出を行う。その他の構成及び動作は、第１の実施形態と同様である。

【0109】

第２の実施形態の画像処理装置によれば、第１の実施形態と同様に、フレームレートを低下させることなく、特定領域の画質を向上させることができる。また、特定領域７０の近辺領域７２も合成処理（ＨＤＲ処理）することで、特定領域７０の周辺画像に違和感が生じることがない画像を得ることができる。

【0110】

（第３の実施形態）
次に、第３の実施形態について説明する。
図１１は、第３の実施形態に係る内視鏡システムの詳細な構成の一例を示すブロック図である。

【0111】

内視鏡システム１Ｂは、図２の内視鏡２及びビデオプロセッサ４に代わり、それぞれ内視鏡２Ａ及びビデオプロセッサ４Ｂを備える。

【0112】

内視鏡２Ａは、図２の対物光学系２７に代わり、対物光学系２７Ａを備える。ビデオプロセッサ４Ｂは、図２の画質改善処理部４４に代わり、画質改善処理部４４Ａを備える。

【0113】

対物光学系２７Ａは、撮影条件切替部２９の制御により、対物光学系２７Ａの光軸に沿って位置を移動可能である。対物光学系２７Ａの位置が移動されると、撮像素子２８に結像される光学像における被写体の合焦部分（ピントが合っている被写体部分）が変化する。

【0114】

撮像素子２８により撮像された画像から検出された特定領域７０に画質改善処理が必要か必要と画質改善判断部４３によって判断された場合、撮影条件切替部２９は、対物光学系２７Ａの位置を移動させながら、ピント位置が異なる複数枚の画像を撮像素子２８に取得させる。

【0115】

画質改善処理部４４Ａは、ピント位置が異なる複数枚の画像の特定領域７０にのみを合成（深度合成）した部分合成画像を生成し、生成した部分合成画像を第二特定領域検出部４５に出力する。第二特定領域検出部４５は、特定領域７０のみが深度合成された部分合成画像から特定領域７０を検出する。その他の構成及び動作は、第１の実施形態と同様である。

【0116】

以上のように、本実施形態のビデオプロセッサ４Ｂは、特定領域７０にのみに画質改善処理、ここでは、深度合成を行うことで、処理に必要な負荷を低減させつつ、特定領域７０の画質改善を行っている。

【0117】

よって、本実施形態の画像処理装置によれば、第１の実施形態と同様に、フレームレートを低下させることなく、特定領域の画質を向上させることができる。

【0118】

なお、第１の実施形態では、画質改善処理としてＨＤＲ処理について説明し、第３の実施形態では、画質改善処理として深度合成処理について説明したが、画質改善処理は、これらの処理に限定されるものではない。

【0119】

例えば、画質改善処理は、特定領域７０にのみノイズ除去を行うノイズリダクション処理、特定領域７０にのみ解像度を上げる超解像処理、あるいは、特定領域７０にのみ明るさを変更する露出補正処理等であってもよい。すなわち、画質改善処理部４４及び４４Ａが行う画質改善処理は、撮像素子２８により撮像された画像の特定領域７０に対してのみに画質改善を行う適応型処理であれば、どのような処理であってもよい。検出対象の候補部位の一部（注目する特定片鱗領域）が確認されても、その候補部位の輪郭や連続した質感（画像特徴）などが画質変化で中断している場合は、その画像特徴中断部位（画像特徴劣化部位）の画質が中断の手前（視認性が良い部分が手前にあるとして）部分（候補部位の一部、または注目する特定片鱗領域、画像劣化のない部分）の画質と比較して劣化の原因を調べ、劣化原因を取り除く措置や、劣化原因に従った修復を画像特徴中断部位に施せるようにする。

【0120】

例えば数値化して差異（露出の適正度、ピントずれによるコントラスト（先鋭度）の低下や解像度の低下などのボケ具合、特定色や白黒の点として現れるノイズの増加、色再現性の劣化など視認性が悪くなる方向の変化）があって、画質改善が必要であると判断した場合、その画質劣化の種類も判定できるので画像劣化がない部分の画像特徴と同様になるような処理を行う。画像処理でコントラストや色を補正することで、これが可能になることもあれば、再度撮影した結果などを補ってピントや露出を揃えることが可能となる。情報量の減少を調べ、それが許容量以上減少していたり、残っている情報量が許容量以下になっていたりする場合には、画質改善が必要であると判断してゲインをかけて情報量を増幅してもよい。この時、画質劣化が起こっていない部分（注目する特定片鱗領域）の画像特徴を参考にして、画像劣化がある部分（画像特徴中断部位、あるいは画像特徴劣化部位）の画像の質、あるいは視認性、情報量などを改善する。ここでは、画質劣化が起こっていない部分（注目する特定片鱗領域）と、画像劣化がある部分（画像特徴中断部位、あるいは画像特徴劣化部位）が連続した部位であるという状況であることから、劣化部を劣化なし部に対応するように適応させるので、適応型処理と表現してもよい。また、一続きであるかどうかは、その部位の画像特徴中断の仕方を判別すれば判断可能で、いわゆる推論モデルで推論してもよいし、特定の患部や解剖構造を参考にしてロジックベースで判断してもよい。簡単な例を挙げると、特定部位に補助光、照明光を照射して影が出来る場合などは、光源に近い部分が白くなり、遠くになるほど暗くなり、届かないところは黒くなる、等は、撮像する時の照明の配置、レイアウト等によって特定のパターンとなるので、照明、または、露出の問題として、それに応じた対処が出来るが、これは、推論でもロジックでも判定が可能であり、こうした原因に応じた処理を行えばよい。

【0121】

なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

【0122】

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。例えば、本発明は、視認性の悪い対象物を検出するような画像を使ったＡＩ（例えば、車載カメラで視認性の悪い歩行者等）に適用することができる。

【符号の説明】

【0123】

１，１Ａ，１Ｂ…内視鏡システム、２，２Ａ…内視鏡、３…光源装置、４，４Ａ，４Ｂ…ビデオプロセッサ、５…表示装置、１１…挿入部、１２…操作部、１３…ユニバーサルケーブル、１４…コネクタ部、２０…操作部本体、２１…先端部、２２…湾曲部、２３…可撓管部、２４…画像取得部、２５…ライトガイド、２６…照明光学系、２７，２７Ａ…対物光学系、２８…素子、２９…撮像条件切替部、３１…光源制御部、３２…光源、４１…フレームメモリ、４２…第一特定領域検出部、４３…画質改善判断部、４４，４４Ａ…画質改善処理部、４５，４５Ａ…第二特定領域検出部、５０，５０Ａ，５８…推論モデル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】