特開 2023-45513 内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023045513

(43)【公開日】2023-04-03

(54)【発明の名称】内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20230327BHJP

【ＦＩ】

A61B1/045 610

A61B1/045 614

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021153983

(22)【出願日】2021-09-22

(71)【出願人】

【識別番号】500433225

【氏名又は名称】学校法人中部大学

(71)【出願人】

【識別番号】506111240

【氏名又は名称】学校法人 愛知医科大学

(74)【代理人】

【識別番号】100147625

【弁理士】

【氏名又は名称】澤田 高志

(74)【代理人】

【識別番号】100150430

【弁理士】

【氏名又は名称】河野 元

(74)【代理人】

【識別番号】100155099

【弁理士】

【氏名又は名称】永井 裕輔

(72)【発明者】

【氏名】岩堀 祐之

(72)【発明者】

【氏名】宇佐美 裕康

(72)【発明者】

【氏名】春日井 邦夫

(72)【発明者】

【氏名】小笠原 尚高

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA01

4C161AA04

4C161QQ02

4C161QQ07

4C161WW03

4C161WW08

4C161YY12

4C161YY13

(57)【要約】

【課題】内視鏡の視野が暗くなりにくく、かつ導入コストを低減し得る内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像プログラムを提供する。
【解決手段】本実施形態の内視鏡画像変換システムでは、内視鏡システム２で撮像された内視鏡画像が内視鏡画像変換装置１０の入力部２０に入力されると、内視鏡画像は、変換部３０のニューラルネットワークにより推定され所定の特徴部分（血管等）が所定の色彩に強調された色彩強調画像として変換された後、出力部４０により出力されてディスプレイ６に映し出される。そのため、白色光だけを用いる内視鏡システム２で撮像された内視鏡画像でも所定の特徴部分が強調された色彩強調画像としてディスプレイ６に映し出されるので、白色光以外の照明光（狭帯域光等）を用いる必要がなく画像強調内視鏡のように通常の観察時に用いる白色光に加えて白色光以外の照明光も選択的に照射し得る構成を採る必要もない。
【選択図】図２

【特許請求の範囲】

【請求項1】

内視鏡により撮像された内視鏡画像が入力される入力部と、
前記入力部に入力された前記内視鏡画像をニューラルネットワークにより推定して所定の色彩を強調した色彩強調画像に変換する変換部と、
前記変換部に変換された前記色彩強調画像を出力する出力部と、を備え、
前記ニューラルネットワークは、所定の特徴部分を前記所定の色彩として強調した特徴部強調画像を、教師データとして学習させた学習済みネットワークである、ことを特徴とする内視鏡画像変換装置。

【請求項2】

前記所定の色彩が前記特徴部強調画像の種類ごとに複数存在することに対応して、前記ニューラルネットワークが複数存在しており、
前記変換部は、外部から入力される情報に基づいて複数の前記ニューラルネットワークから一のニューラルネットワークを選択し、前記一のニューラルネットワークにより前記内視鏡画像を前記色彩強調画像に変換する、ことを特徴とする請求項１に記載の内視鏡画像変換装置。

【請求項3】

前記出力部は、前記色彩強調画像に加えて前記内視鏡画像も出力する、ことを特徴とする請求項１または２に記載の内視鏡画像変換装置。

【請求項4】

内視鏡により撮像された内視鏡画像が入力される入力装置と、
前記入力装置に入力された前記内視鏡画像をニューラルネットワークにより推定して所定の色彩を強調した色彩強調画像に変換して出力する変換装置と、
前記変換装置に出力された前記色彩強調画像を出力する出力装置と、
前記出力装置から出力された前記色彩強調画像を表示する表示装置と、を備え、
前記ニューラルネットワークは、所定の特徴部分を前記所定の色彩として強調した特徴部強調画像を、教師データとして学習させた学習済みネットワークである、ことを特徴とする内視鏡画像変換システム。

【請求項5】

コンピュータを、
内視鏡により撮像された内視鏡画像を取得する取得手段と、
前記取得手段により取得された前記内視鏡画像をニューラルネットワークにより推定して所定の色彩を強調した色彩強調画像に変換する変換手段と、
前記変換手段に変換された前記色彩強調画像を出力する出力手段と、
して機能させ、
前記ニューラルネットワークは、所定の特徴部分を前記所定の色彩として強調した特徴部強調画像を、教師データとして学習させた学習済みネットワークである、ことを特徴とする内視鏡画像変換プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムに関するものである。

【背景技術】

【0002】

消化器系の内視鏡検査においては白色光観察が用いられることが多い。白色光観察は、内視鏡の先端から白色の照明光（光の三原色(赤色、緑色および青色)を合成した光等）を照射することによって、食道、胃、十二指腸、大腸等の消化管の内表面（消化管の粘膜）を観察する方法である。この方法では、内視鏡により撮像された内視鏡画像は、肉眼で見た場合と同様に自然色で、消化管の粘膜や病変部がディスプレイ等の表示装置に映し出されることから、病変部の形状や色が消化管の内表面に現れにくい場合には、病変部の存在や性質（良性や悪性）を診断することが困難なケースがある。

【0003】

そこで、下記、特許文献１に開示される「内視鏡用光源装置」等の技術を利用した光デジタル法による画像強調内視鏡がある。この光デジタル法の画像強調内視鏡では、例えば、下記、非特許文献１に掲載されているように、消化管の粘膜の模様や粘膜内の血管走行等を肉眼でも判別し易くする波長の光を先端から照射する。これにより、白色光観察では視認が難しい形状や色の病変部であっても、肉眼で容易に確認可能な画像を表示装置に映し出して医師の診断を支援している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１－２１７４１５号公報

【非特許文献】

【0005】

【非特許文献1】日本消化器内視鏡学会 監修「下部消化管内視鏡スクリーニング検査マニュアル」 医学図書出版株式会社 ２０１８年５月１０日（第１版発行）、第８５頁～第９１頁

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、光デジタル法の画像強調内視鏡には、上記の非特許文献１に掲載されているように、照射する光の波長の違いにより、例えば、ＮＢＩ（Narrow Band Imaging）、ＢＬＩ（Blue Laser Imaging）やＬＣＩ（Linked Color Imaging）等の観察法がある（ＮＢＩ、ＢＬＩおよびＬＣＩは登録商標である）。これらは特定波長の光の光量（光度）を上げてそれ以外の波長の光の光量を下げるように内視鏡から照射される光を制御する。即ち、ＮＢＩ等では、照射する光の波長帯域を制限する必要から（狭帯域光や狭帯域短波光等）、白色光を照射する場合に比べ消化管の粘膜に照射される光量が減少するため、内視鏡の視野内に暗い部分が生じたり視野全体が薄暗くなったりするという問題がある。医師が内視鏡の先端部分を消化管の奥に進めようとしたとき前方視野が暗いと操作がしづらい。

【0007】

また、このような画像強調内視鏡は、通常の観察時に用いる白色光に加えて白色光以外の照明光（狭帯域光等）も選択的に照射し得る構成を採ることから、内視鏡の先端部分を含めて特殊なハードウェアやそれらをサポートするソフトウェアを備える必要がある。そのため、照明光として白色光だけを用いる内視鏡に比べると、設備コストが高額になるという問題も生じる。また、内視鏡の先端部分の構成がより複雑になることから、機械的な故障や不具合が発生する確率も上がるため、設備の導入コストに加えて医療機器として健全な状態を維持するために要する保守コスト等も増大するという問題も招き得る。

【0008】

さらに、画像強調内視鏡として、白色光に加えて白色光以外の照明光（狭帯域光等）も選択的に照射し得る構成では、内視鏡診断時に医師が必要に応じて消化管の粘膜に照射する光を白色光と白色光以外とに切り替える操作を行う。例えば、押しボタンの押下により照射光の切替え操作を行い得るように内視鏡が構成されている場合、切り替えの度ごとに押しボタンを押す必要がある。また、撮像対象の消化管等は呼吸や蠕動運動で常に動く。そのため、切替え操作が煩雑であるとともに、切替え操作の前後（１００ミリ秒オーダの時間差）においても消化管等の動きにより画像が変化し得ることから、照射光の切り替えを判断したタイミングで表示装置に映し出されていた部位の画像が、必ずしも狭帯域光等を照射したタイミングで映るとは限らない。つまり、操作性についても問題があり得る。

【0009】

本発明は、上述した課題を解決するためになされたものであり、内視鏡の視野が暗くなりにくく、かつ導入コストを低減し得る内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムを提供することを目的とする。また、本発明の別の目的は、内視鏡の操作性を向上し得る内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムを提供することである。

【課題を解決するための手段】

【0010】

上記目的を達成するため、特許請求の範囲に記載された請求項１の技術的手段を採用する。この手段によると、請求項１の内視鏡画像変換装置は、内視鏡により撮像された内視鏡画像が入力される入力部と、入力部に入力された内視鏡画像をニューラルネットワークにより推定して所定の色彩を強調した色彩強調画像に変換する変換部と、変換部に変換された色彩強調画像を出力する出力部と、を備える。変換部のニューラルネットワークは、所定の特徴部分を所定の色彩として強調した特徴部強調画像を、教師データとして学習させた学習済みネットワークである。この学習（機械学習）では、特徴部強調画像に含まれる所定の特徴部分が特徴量として抽出される。内視鏡により撮像された内視鏡画像が入力部に入力されると、その内視鏡画像は、変換部のニューラルネットワークにより推定されて、所定の特徴部分が所定の色彩に強調された色彩強調画像として変換される。そして、変換部に変換された色彩強調画像が出力部により出力される。所定の特徴部分は、例えば、内視鏡画像の撮像範囲が消化管の内表面（粘膜）である場合には、粘膜表層内の血管（病変部付近の新生血管を含む）、腫瘍等のポリープや粘膜表面等である。これにより、入力部に入力された内視鏡画像は、変換部のニューラルネットワークにより推定された所定の特徴部分が強調されて色彩強調画像に変換された後、出力部により出力される。なお、本明細書においては、消化管は、食道、胃、小腸（十二指腸、空腸、回腸）、大腸（盲腸、結腸、直腸）を含む概念である。

【0011】

また、特許請求の範囲に記載された請求項２の技術的手段を採用する。この手段によると、所定の特徴部分の色彩が特徴部強調画像の種類ごとに複数存在することに対応して、ニューラルネットワークが複数存在する。変換部は、外部から入力される情報に基づいて複数のニューラルネットワークから一のニューラルネットワークを選択し、この一のニューラルネットワークにより内視鏡画像を色彩強調画像に変換する。特徴部強調画像の種類は、ＮＢＩ（Narrow Band Imaging）用の照明光（ＮＢＩ用狭帯域光）を消化管の内表面（粘膜）に照射した場合に得られる特徴部強調画像であるＮＢＩ画像、ＢＬＩ（Blue Laser Imaging）用の照明光（ＢＬＩ用狭帯域光）を消化管の内表面に照射した場合に得られる特徴部強調画像であるＢＬＩ画像、ＬＣＩ（Linked Color Imaging）用の照明光（ＬＣＩ用狭帯域光）を消化管の内表面に照射した場合に得られる特徴部強調画像であるＬＣＩ画像、インジゴカルミンやヨード液等の色素を消化管の内表面に散布したり染色したりして白色光を消化管の内表面に照射した場合に得られる特徴部強調画像である色素法画像等がある。これにより、外部から入力される情報に基づいて複数のニューラルネットワークから任意のニューラルネットワークを選択することが可能になる。

【0012】

例えば、複数のニューラルネットワークとして、ＮＢＩ用の照明光を消化管の内表面に照射した場合に得られるＮＢＩ画像とほぼ同等の色彩強調画像に白色光画像を変換可能なニューラルネットワーク、ＢＬＩ用の照明光を消化管の内表面に照射した場合に得られるＢＬＩ画像とほぼ同等の色彩強調画像に白色光画像を変換可能なニューラルネットワークや、インジゴカルミン等の色素を消化管の内表面に散布等し白色光を消化管の内表面に照射した場合に得られる色素法画像とほぼ同等の色彩強調画像に白色光画像を変換可能なニューラルネットワークが存在する場合には、内視鏡診断時において医師等の使用者は、これらのニューラルネットワークの中から任意のものを選択することで、内視鏡画像変換装置に白色光画像を所定の色彩強調画像に変換させることができる。

【0013】

さらに、特許請求の範囲に記載された請求項３の技術的手段を採用する。この手段によると、出力部は、色彩強調画像に加えて内視鏡画像も出力する。これにより、例えば、出力部の出力先が二画面タイプの表示装置である場合には、色彩強調画像を一方の画面に、また内視鏡画像を他方の画面に、それぞれほぼ同時に表示させることが可能になる。例えば、内視鏡診断時において使用者（医師等）は、画面の切替え操作を行わなくても、血管等が強調された色彩強調画像と白色光を照射した内視鏡画像とをほぼ同時に肉眼で確認することが可能になる。

【0014】

また、特許請求の範囲に記載された請求項４の技術的手段を採用する。この手段によると、請求項４の内視鏡画像変換システムは、内視鏡により撮像された内視鏡画像が入力される入力装置と、入力装置に入力された内視鏡画像をニューラルネットワークにより推定して所定の色彩を強調した色彩強調画像に変換して出力する変換装置と、変換装置に出力された色彩強調画像を出力する出力装置と、出力装置から出力された色彩強調画像を表示する表示装置と、を備える。変換装置のニューラルネットワークは、所定の特徴部分を所定の色彩として強調した特徴部強調画像を、教師データとして学習させた学習済みネットワークである。内視鏡により撮像された内視鏡画像が入力部に入力されると、その内視鏡画像は、変換装置のニューラルネットワークにより推定されて、所定の特徴部分が所定の色彩に強調された色彩強調画像として変換される。そして、変換装置に変換された色彩強調画像が出力装置により出力されて表示装置に表示される。所定の特徴部分は請求項１と同様である。これにより、入力装置に入力された内視鏡画像は、変換装置のニューラルネットワークにより推定された所定の特徴部分が強調されて色彩強調画像に変換された後、出力装置により出力されて表示装置に表示される。

【0015】

また、特許請求の範囲に記載された請求項５の技術的手段を採用する。この手段によると、請求項５の内視鏡画像変換プログラムは、コンピュータを、内視鏡により撮像された内視鏡画像を取得する取得手段と、取得手段により取得された内視鏡画像をニューラルネットワークにより推定して所定の色彩を強調した色彩強調画像に変換する変換手段と、変換手段に変換された色彩強調画像を出力する出力手段と、して機能させる。変換手段のニューラルネットワークは、所定の特徴部分を所定の色彩として強調した特徴部強調画像を、教師データとして学習させた学習済みネットワークである。内視鏡により撮像された内視鏡画像が取得手段により取得されると、その内視鏡画像は、変換手段のニューラルネットワークにより推定されて、所定の特徴部分が所定の色彩に強調された色彩強調画像として変換される。そして、変換手段に変換された色彩強調画像が出力手段により出力される。所定の特徴部分は請求項１と同様である。これにより、取得手段により取得された内視鏡画像は、変換手段のニューラルネットワークにより推定された所定の特徴部分が強調されて色彩強調画像に変換された後、出力手段により出力される。

【発明の効果】

【0016】

本発明では、入力部に入力された内視鏡画像は、変換部（または変換装置、変換手段）のニューラルネットワークにより推定された所定の特徴部分が強調されて色彩強調画像に変換された後、出力部（または出力装置、出力手段）により出力されたりまた出力装置により出力されて表示装置に表示されたりする。そのため、照明光として白色光だけを用いる内視鏡により撮像された内視鏡画像であっても所定の特徴部分（例えば血管等）が強調された色彩強調画像として出力部（または出力装置、出力手段）により出力されることから、白色光以外の照明光（狭帯域光や狭帯域短波光等）を用いる必要がない。また、画像強調内視鏡のように、通常の観察時に用いる白色光に加えて白色光以外の照明光（狭帯域光等）も選択的に照射し得る構成を採る必要もない。したがって、内視鏡の視野が暗くなりにくく、かつ導入コストを低減することができる。また、前方視野が明るいため、例えば、使用者（医師等）が内視鏡の先端部分を消化管の奥に進めるときにも操作がしやすくなり、内視鏡の操作性を向上させることもできる。

【0017】

また、本発明では、例えば、内視鏡診断時において使用者（医師等）は、画面の切替え操作を行わなくても、血管等が強調された色彩強調画像と白色光を照射した内視鏡画像とをほぼ同時に肉眼で確認することが可能になる。したがって、煩雑な操作も必要なく、しかもほぼ同時かつリアルタイムに見られるので、内視鏡の操作性を向上させることができる。

【図面の簡単な説明】

【0018】

【図1】本発明の内視鏡画像変換装置を適用した一実施形態である内視鏡画像変換システムの構成例を示すハードウェアのブロック図である。

【図2】本実施形態の内視鏡画像変換システムを構成する内視鏡画像変換装置のソフトウェア的な機能構成の例を示す機能ブロック図である。

【図3】図１に表した内視鏡画像変換装置の本体ユニットにより実行される制御プログラムによる制御処理の流れを示すフローチャートである。

【図4】図３に表したサイズ変更処理の流れを示すフローチャートである。

【図5】本実施形態の内視鏡画像変換システムにより変換される前後の内視鏡画像として消化管（大腸）の画像の例を示す図である。上段は変換前の画像であり、下段は変換後の画像である。なお、本件出願と同日付けの物件提出書により図５に対応するカラー図面１を提出している。

【図6】本実施形態の内視鏡画像変換システムにより変換される前後の内視鏡画像として消化管（大腸）の画像の例を示す図であり、図５の続きである。なお、本件出願と同日付けの物件提出書により図６に対応するカラー図面２を提出している。

【発明を実施するための形態】

【0019】

以下、本発明の内視鏡画像変換装置を適用した一実施形態の内視鏡画像変換システムについて図を参照して説明する。まず、図１を参照して、本実施形態の内視鏡画像変換システムの構成を説明する。なお、本実施形態の内視鏡画像変換システムは、特許請求の範囲に記載の「内視鏡画像変換システム」に相当し得るものである。図１は、内視鏡画像変換システムの構成例を示すハードウェアのブロック図である。

【0020】

＜ハードウェア構成＞
図１に示すように、内視鏡画像変換システムは、内視鏡画像変換装置１０を中心に、ディスプレイ６、キーボード７、情報記録媒体８等により構成されており、内視鏡システム２に接続されて使用される。内視鏡画像変換装置１０は、例えば、内視鏡システム２から白色光を照射して撮像されて自然色（天然色）で描出された内視鏡画像（以下「白色光画像」という場合がある）を、所定の色彩強調画像に変換する機能を有する。

【0021】

本実施形態では、内視鏡システム２から、例えば、被検者の消化管に、ＮＢＩ用の照明光を照射した場合に得られる特徴部強調画像であるＮＢＩ画像とほぼ同等の色彩強調画像（ＮＢＩ相当の色彩強調画像、以下「ＮＢＩ色彩強調画像」という）と、ＢＬＩ用の照明光を照射した場合に得られる特徴部強調画像であるＢＬＩ画像とほぼ同等の色彩強調画像（ＢＬＩ相当の色彩強調画像、以下「ＢＬＩ色彩強調画像」という）と、のいずれかに変換する場合を例示して説明する。

【0022】

内視鏡システム２は、画像撮像装置３、内視鏡本体部４やディスプレイ５等により構成されている。画像撮像装置３は、図示されていないがビデオプロセッサや光源装置等により構成されており、スコープとも呼ばれる内視鏡本体部４が接続されている。内視鏡本体部４は、被検者の体内に挿入する挿入部、挿入部の基端側に接続されて医師等の使用者が挿入部の先端機能を操作する操作部や、操作部を画像撮像装置３に接続するケーブル等により構成されている。破線で図示されているディスプレイ５は、例えば、４Ｋ画像相当の高解像度（3840×2160ピクセル）に対応した液晶表示装置である。なお、以下、内視鏡システム２を操作する医師等のことを単に「使用者」という。

【0023】

なお、ディスプレイ５には、本来、画像撮像装置３が接続されて当該画像撮像装置３から出力される映像信号が直接入力されるが、後述するように、本実施形態では、画像撮像装置３からの映像信号を分配して内視鏡画像変換装置１０が取り込む都合から、画像撮像装置３の映像信号が内視鏡画像変換装置１０のビデオキャプチャユニット１７を介してディスプレイ５に入力される。そのため、内視鏡システム２のディスプレイ５には、画像撮像装置３から映像信号が直接入力される場合と同様に白色光画像が描出される。なお、内視鏡システム２のディスプレイ５とは別のディスプレイを設けてそれに白色光画像の映像信号を入力してもよい。

【0024】

内視鏡本体部４の挿入部の先端部分には、カメラレンズ、照明ライト、固体撮像素子（ＣＣＤやＣＭＯＳイメージセンサ等）が設けられており、内視鏡本体部４の固体撮像素子により撮像された白色光画像は、画像撮像装置３を介して内視鏡画像変換装置１０に出力される。本実施形態では、内視鏡本体部４の照明ライトは白色光のみを発する。なお、内視鏡本体部４は、［発明が解決しようとする課題］の欄で述べたＮＢＩ、ＢＬＩやＬＣＩ等の観察法に対応した波長の光（ＮＢＩ用狭帯域光、ＢＬＩ用狭帯域光、ＬＣＩ用狭帯域光（ＬＣＩ用の照明光））も発光可能に構成されていてもよい。

【0025】

内視鏡画像変換装置１０は、本体ユニット１１、ビデオキャプチャユニット１７、ＨＤＤユニット１８、メディアドライブユニット１９等を備えるコンピュータである。ディスプレイ６は、内視鏡画像変換装置１０の出力装置（表示装置）であり、例えば、４Ｋ画像相当の高解像度（3840×2160ピクセル）に対応した液晶表示装置である。キーボード７は、内視鏡画像変換装置１０の入力装置であり、例えば、英数字、記号や片仮名等の入力が可能なキーボードである。入力装置は、ディスプレイ６の画面表示と、その画面上に設けられたタッチパネルまたはポインティングデバイス（マウス、スタイラス等）と、を組み合わせたソフトウェアキーボードでもよい。

【0026】

本体ユニット１１は、ＣＰＵ１２、ＧＰＵ１３、メモリ１４、入出力インタフェース１５等を備えている。ＣＰＵ１２は、内視鏡画像変換装置１０を制御する演算処理装置であり、システムバス１６等を介して、ＧＰＵ１３、メモリ１４や入出力インタフェース１５に接続されている。ＧＰＵ１３は、後述する画像変換処理等を行う画像処理装置である。

【0027】

メモリ１４は、半導体記憶装置（主記憶装置）であり、ＣＰＵ１２やＧＰＵ１３が使用する記憶空間を構成する。本実施形態では、例えば、プログラム領域を担うＲＯＭ（ＥＥＰＲＯＭ等）とワーク領域やデータ領域に割り当てられるＤＲＡＭとにより構成されている。ＲＯＭには、本体ユニット１１の起動時に必要なＢＩＯＳ等のファームウェアや基本データ等が格納（保存、記憶）されている。

【0028】

入出力インタフェース１５は、本体ユニット１１の周辺装置に対して、シリアルまたはパラレルのデータのやり取りを仲介する入出力インタフェース装置である。本実施形態では、ビデオキャプチャユニット１７、ＨＤＤユニット１８やメディアドライブユニット１９等と接続可能に構成されている。

【0029】

ビデオキャプチャユニット１７は、内視鏡システム２の画像撮像装置３から出力される内視鏡画像（白色光画像）の映像信号（ＭＰＥＧ-４やＨ.２６４等、フレームレート６０fps）を分配して取り込んだ後、ＰＣＩｅ（Peripheral Component Interconnect-Express）やＵＳＢ等の所定データ形式の白色光画像の画像データに変換して本体ユニット１１に出力する機能を有するビデオ画像取込み装置である。分配した残りの映像信号は、前述したように、内視鏡システム２のディスプレイ５にそのまま映像出力される（破線で図示）。なお、内視鏡システム２の画像撮像装置３から出力される映像信号には、当該内視鏡システム２（具体的には画像撮像装置３）の装置名称、モデル名称、機種や型番等を識別可能な装置情報が含まれている場合がある。

【0030】

ＨＤＤユニット１８は、大容量（例えば、数１０ＴＢ）の記憶領域を有する磁気ディスクドライブ装置（補助記憶装置）であり、後述する制御プログラム等のアプリケーションプログラム（以下「アプリ」という）や、これらのアプリを実行可能に制御する基本ソフトウェア（ＯＳ）等が格納されている。

【0031】

また、ＨＤＤユニット１８には、内視鏡画像変換装置１０に接続される可能性のある複数種類の画像撮像装置３の装置情報とそれらの画像撮像装置３から入力される内視鏡画像（白色光画像）のサイズ情報や解像度情報とが一対一対応の関係で関連付け（紐付け）られて格納されている。また種々の色彩強調画像に対応した個々のニューラルネットワークを構築するために必要な情報（ネットワーク構造、重みパラメータやバイアス等であり、これらを以下「ネットワーク情報」という）もそれらの色彩強調画像の種類ごとに関連付けられてＨＤＤユニット１８に格納されている。

【0032】

メディアドライブユニット１９は、ＣＤ、ＤＶＤ、ＢＤやＵＳＢメモリ装置に対して、データを読み出したり書き込んだりする機能を有する情報記憶媒体アクセス装置である。本実施形態では、新たなネットワーク情報を情報記録媒体８から読み出して、ＨＤＤユニット１８に格納されている古いネットワーク情報を更新する場面で用いられる。

【0033】

本実施形態では、このように構成される内視鏡画像変換システムの内視鏡画像変換装置１０（本体ユニット１１等）は、ソフトウェア的には、図２に示すように機能して図３に示す後述の制御処理を行う。図２は、内視鏡画像変換装置１０のソフトウェア的な機能構成の例を示す機能ブロック図である。図３は、本体ユニット１１により実行される制御プログラムによる制御処理の流れを示すフローチャートである。なお、この制御プログラムは、特許請求の範囲に記載の「内視鏡画像変換プログラム」に相当し得るものである。また後述する所定のニューラルネットワークも、特許請求の範囲に記載の「内視鏡画像変換プログラム」に含まれ得る。

【0034】

＜ソフトウェア的な機能構成＞
図２に示すように、内視鏡画像変換装置１０は、その機能に着目すると、入力部２０、変換部３０、出力部４０、取得部５０、記憶部６０および更新部７０により構成される。

【0035】

入力部２０は、内視鏡システム２により撮像されて出力された白色光画像を受け入れる（入力される）機能を有するものであり、本体ユニット１１（主に、ＣＰＵ１２、ＧＰＵ１３およびメモリ１４）やビデオキャプチャユニット１７がその機能を担う。本実施形態では、入力部２０は、内視鏡システム２から入力された白色光画像の解像度やサイズが後述する所定のニューラルネットワークでは変換できない解像度やサイズであった場合に変換可能な解像度やサイズに変更する機能も有する。

【0036】

変換部３０は、入力部２０に入力された白色光画像を所定のニューラルネットワークにより推定して所定の色彩を強調した色彩強調画像に変換する機能を有するものであり、本体ユニット１１（主に、ＣＰＵ１２、ＧＰＵ１３およびメモリ１４）がその機能を担う。本実施形態では、変換部３０には、例えば、学習済みのディープニューラルネットワーク（ＤＮＮ）が用いられる。ディープニューラルネットワークは、深層ニューラルネットワークモデルであり、層間が全結合ではない順伝播型ニューラルネットワークの一種である。

【0037】

本実施形態では、例えば、変換部３０は、ネットワーク構造として、所定の入力層、結合層や出力層を有するとともに、中間層を多数有するネットワークモデルである。ネットワークモデルは、ネットワーク構造や、ノード間を結合するエッジの重みパラメータおよびバイアスが学習結果に応じて変動するため、特定のものに限定されない。ディープニューラルネットワークは、例えば、インターネット上で公開されているＡＰＩ（Application Programming Interface）サービス（例えば、ＣｙｃｌｅＧＡＮ(https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)等）を利用して構築することができる。

【0038】

ニューラルネットワークの学習では、例えば、内視鏡画像に含まれる所定の特徴部分を所定の色彩として強調した特徴部強調画像（例えば、ＮＢＩ用またはＢＬＩ用の照明光を被検者の消化管に照射した場合に得られるＮＢＩ画像またはＢＬＩ画像）を、教師データとして、所定の特徴部分を含んでいるがその部分を所定の色彩で強調していない内視鏡画像、つまり白色光画像と、特徴部強調画像（ＮＢＩ画像やＢＬＩ画像）との対応関係を学習するが、本実施形態では、効率的かつ効果的であるため、深層学習の手法として、例えば、ＧＡＮ（敵対的生成ネットワーク）を使用する。これらについては後述する。

【0039】

出力部４０は、変換部３０で変換された色彩強調画像をディスプレイ６に出力する機能を有するものであり、本体ユニット１１（主に、ＣＰＵ１２、ＧＰＵ１３およびメモリ１４）がその機能を担う。本実施形態では、変換部３０により変換された所定の色彩強調画像の解像度やサイズがディスプレイ６の出力仕様に適合しない場合等に出力可能な解像度やサイズに変更する機能も有する。

【0040】

取得部５０は、内視鏡システム２の情報（装置情報）をキーボード７（入力装置）から取得する機能を有するものであり、本体ユニット１１（主に、ＣＰＵ１２とメモリ１４）がその機能を担う。前述したように、入力装置は、ディスプレイ６の画面表示とタッチパネルやポインティングデバイスと、を組み合わせたソフトウェアキーボードでもよい。

【0041】

記憶部６０は、種々の色彩強調画像に対応した個々（複数）の所定のニューラルネットワークのネットワーク情報を記憶する機能を有するものであり、本体ユニット１１（主にＨＤＤユニット１８）がその機能を担う。複数の所定のニューラルネットワークは、前述したように、本実施形態ではディープニューラルネットワークであり、それらに対応した複数の学習済みのネットワーク情報が記憶部６０に記憶（格納）されている。

【0042】

例えば、ＮＢＩ用の照明光を被検者の消化管に照射した場合に得られるＮＢＩ画像を教師データとして学習した学習済みのＮＢＩ用ネットワークのネットワーク情報や、ＢＬＩ用の照明光を被検者の消化管に照射した場合に得られるＢＬＩ画像を教師データとして学習した学習済みのＢＬＩ用ネットワークのネットワーク情報等が照明光の種類（ＮＢＩ、ＢＬＩ）ごとに関連付けられて記憶部６０に記憶されている。

【0043】

なお、ＮＢＩ用の照明光を照射した場合に得られるＮＢＩ画像と、ＢＬＩ用の照明光を照射した場合に得られるＢＬＩ画像とは、所定の特徴部分として強調される色彩が異なる場合がある。例えば、ＮＢＩ画像やＢＬＩ画像はいずれも画像全体が青みがかった色彩になるが、所定の特徴部分（例えば、粘膜表層内の血管や病変部付近の新生血管、腫瘍等のポリープや粘膜表面等）については、ＮＢＩ画像では茶色や褐色等の色彩（所定の色彩）で強調され、またＢＬＩ画像では赤茶色等の色彩（所定の色彩）で強調される。

【0044】

また、ＬＣＩ用の照明光を照射した場合に得られるＬＣＩ画像では、赤色のコントラストを強くし、所定の特徴部分（例えば、粘膜表層内の血管や病変部付近の新生血管、腫瘍等のポリープや粘膜表面等）が赤色や褐色等の色彩（所定の色彩）で強調される。さらに、インジゴカルミン等の色素を散布等した消化管の粘膜に白色光を照射した場合に得られる色素法画像では、所定の特徴部分（例えば、消化管の内表面の窪みや襞等、内表面の凹凸形状等）が色素の貯留色や反応色により青色や黒褐色等の色彩（所定の色彩）で強調される。

【0045】

なお、ＮＢＩ画像、ＢＬＩ画像やＬＣＩ画像の例については、［背景技術］の欄で述べた非特許文献１（下部消化管内視鏡スクリーニング検査マニュアル）の第８７頁の図４のＢ（ＮＢＩ観察像）、図５のＢ（ＢＬＩ-bright観察像）や図５のＣ（ＬＣＩ観察像）に掲載されているので、それらを参照されたい。また、色素法画像の例については、非特許文献１の第８６頁の図３のＣや図３Ｄ（インジゴカルミン散布像）を参照されたい。

【0046】

更新部７０は、記憶部６０に記憶されている所定のニューラルネットワークのネットワーク情報を、情報記録媒体８から読み出した別のネットワーク情報に更新する機能を有するものであり、本体ユニット１１（主に、ＣＰＵ１２とメモリ１４）およびメディアドライブユニット１９がその機能を担う。情報記録媒体８には、通常、新しいネットワーク情報が格納されているため、更新部７０は、記憶部６０に記憶されている所定のニューラルネットワークの機能をアップデートする場面、つまり内視鏡画像変換装置１０のシステムを更新する場合等に使用される。

【0047】

＜ニューラルネットワークの学習＞
ディープニューラルネットワークの深層学習は、例えば、ＧＡＮ（敵対的生成ネットワーク）のアルゴリズムが用いられ、重みパラメータやバイアスの調整はバックプロパゲーション（誤差逆伝播法）により行われる。即ち、ＧＡＮを構成する２つのネットワーク（ジェネレータ（生成器）とディスクリミネータ（識別器））のうち、ジェネレータのネットワークが本実施形態の所定のニューラルネットワーク（学習済みのディープニューラルネットワーク）として変換部３０において用いられる。

【0048】

ＧＡＮのディスクリミネータに与える教師データは、粘膜に病変がある消化管（例えば大腸）のＮＢＩ画像やＢＬＩ画像であり、ディスクリミネータの判定精度を上げるため、当該消化管の内視鏡画像診断について熟達した医師により評価および選択された画像が提供される。例えば、学習済みのＮＢＩ用ネットワークを構築するために、約３００画像の教師データを要した。

【0049】

本実施形態では、種々の色彩強調画像に対応する必要から、ＮＢＩ画像を教師データとして学習した学習済みのＮＢＩ用ネットワークや、ＢＬＩ画像を教師データとして学習した学習済みのＢＬＩ用ネットワーク、また後述するように、ＬＣＩ画像を教師データとして学習した学習済みのＬＣＩ用ネットワークや、色素法画像を教師データとして学習した学習済みの色素法用ネットワーク等、複数のニューラルネットワークを構築する。

【0050】

これらのニューラルネットワークは、例えば、教師データとして、ＮＢＩ用のハードウェアで変換されたＮＢＩ画像やＢＬＩ用のハードウェアで変換されたＢＬＩ画像等のスタイル画像をハードウェアごとに切り分けてスタイル表現の学習が行われる点に特徴がある。これにより、コンテンツ画像として内視鏡画像（白色光画像）を入力とし、学習済みのスタイル表現を適用することで種々の色彩強調画像の生成を実現することが可能になる。ニューラルネットワークのスタイル表現学習については下記の論文を参照されたい。
Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, “A Neural Algorithm of Artistic Style”, 2 September 2015, https://arxiv.org/pdf/1508.06576.pdf

【0051】

また、これらのニューラルネットワークでは、所定の特徴部分（粘膜表層内の血管（病変部付近の新生血管を含む）、腫瘍等のポリープや粘膜表面等）を適確（高精度）に特定して色彩を変換可能に構築するため、例えば、Leave One Out（リーブワンアウト法）やCross Validation（クロスバリデーション法）を用いた交差検証を、複数回行うことにより再学習が行われる。これにより、これらの学習済みのニューラルネットワークによって、ＮＢＩ画像やＢＬＩ画像等の特徴部強調画像に含まれる所定の特徴部分（血管等）を特徴量として抽出することが可能になる。

【0052】

これらの学習済みのニューラルネットワークのネットワーク情報は、前述したように、ＨＤＤユニット１８に格納されたり、情報記録媒体８を介在させて更新されたりする。

【0053】

なお、ニューラルネットワークの深層学習は、ＧＡＮのアルゴリズムを用いたものに限られることはなく、ＧＡＮ等を発展させた新たな学習法等を利用して行ってもよい。また、ＧＡＮのアルゴリズムを用いることなく、白色光画像と、それと同じ撮像範囲や撮像対象のＮＢＩ画像やＢＬＩ画像等とを教師データとしてニューラルネットワークの学習を行ってもよい。

【0054】

＜ソフトウェア制御の流れ＞
図３に示す制御プログラムによる制御処理は、内視鏡システム２から入力された内視鏡画像（白色光画像）を当該内視鏡画像変換装置１０によってＮＢＩ色彩強調画像等に変換するために必要な制御を行うものである。

【0055】

例えば、内視鏡画像変換装置１０の電源がオンされて本体ユニット１１が起動した後に立ち上がる基本ソフトウェア（ＯＳ）によって、当該制御プログラムがＨＤＤユニット１８からメモリ１４のＲＡＭに読み込まれて起動されることで、この制御処理が開始される。なお、この制御処理の開始時においては内視鏡画像変換装置１０には、ディスプレイ６やキーボード７は勿論のこと、内視鏡システム２の画像撮像装置３やディスプレイ５も内視鏡画像変換装置１０に接続されており電源が投入されている。

【0056】

本体ユニット１１により起動された制御処理では、まずステップＳ１０１により所定の初期化処理が行われる。この処理では、例えば、メモリ１４のワーク領域やデータ領域等を初期値でクリアしたり、入出力インタフェース１５に接続されているビデオキャプチャユニット１７等に対して初期化コマンドを送出したりする。これにより、ビデオキャプチャユニット１７等は、起動後に必要なパラメータ等が初期値にセットされる。

【0057】

続くステップＳ１０３では装置情報取得処理が行われる。この処理では、現在、当該内視鏡画像変換装置１０に接続されている内視鏡システム２（具体的には画像撮像装置３）から出力される映像信号に当該画像撮像装置３の装置名称等を識別可能な装置情報が含まれている場合、その映像信号を解析したり判別したりして当該画像撮像装置３の装置情報を取得する。この解析処理や判別処理には、例えば、想定される画像撮像装置３等の装置名称等を識別可能な装置情報が含まれている映像信号を教師データとして、学習させた学習済みのニューラルネットワークが用いられる。

【0058】

そして、映像信号から当該画像撮像装置３の装置情報を取得することができなかった場合には（Ｓ１０５；Ｙｅｓ）、次のステップＳ１０７により入力情報取得処理が行われる。これに対して、映像信号から当該画像撮像装置３の装置情報を取得することができた場合には（Ｓ１０５；Ｎｏ）、入力情報取得処理（Ｓ１０７）は行う必要がないため、ステップＳ１０９に移行して待機画面表示処理が行われる。

【0059】

ステップＳ１０７の入力情報取得処理では、使用者に対して当該画像撮像装置３の装置情報を入力するように促す画面表示をディスプレイ６に出力するとともに、例えば、当該画像撮像装置３の装置名称をタイプ入力可能なテキストボックスを表示して使用者がキーボード７から入力可能にしたり、画像撮像装置３等の装置名称一覧をディスプレイ６に表示して使用者が図略のマウス等（ポインティングデバイス）により当該画像撮像装置３の装置名称を選択かつ入力可能にしたりする。

【0060】

なお、装置情報取得処理（Ｓ１０３）で取得されたり入力情報取得処理（Ｓ１０７）で入力されたりする装置情報は、後述するように、当該画像撮像装置３を識別可能な情報であって画像撮像装置３から入力される白色光画像のサイズ情報や解像度情報と予め関連付けられているものであれば、モデル名称、機種や型番等でもよい。

【0061】

内視鏡画像変換装置１０に現在接続されている画像撮像装置３の装置情報が得られると、当該画像撮像装置３から入力される白色光画像の情報を特定できる。そのため、ステップＳ１０９の待機画面表示処理では、画像変換の準備が整った旨を使用者に知らせる旨の画面表示として、例えば「準備完了」の文字情報をディスプレイ６に出力するとともに、変換開始指示の入力を使用者に促すメッセージをディスプレイ６に出力する。また、画像変換に伴って必要になる情報についても使用者に入力を促すメッセージをディスプレイ６に出力する。

【0062】

本実施形態では、画像変換に伴って必要になる情報の入力が完了した後、変換開始指示の入力を使用者に促す。そのため、例えば、画像変換に伴って必要になる情報として、画像変換後の色彩強調画像の種類を使用者に選択させる旨のメッセージをディスプレイ６に出力する。前述したように、例えば、ＮＢＩ画像とＢＬＩ画像は、所定の特徴部分として強調される色彩が異なる場合がある。そのため、ＮＢＩ画像とほぼ同等の色彩に画像変換されるＮＢＩ色彩強調画像や、ＢＬＩ画像とほぼ同等の色彩に画像変換されるＢＬＩ色彩強調画像については、使用目的や色彩強調された部位の病変特性の違い、あるいは使用者の視覚的な慣れや好み等により使用者が色彩強調画像の種類を選択したいというニーズがある。そこで、本実施形態では、変換後のＮＢＩ色彩強調画像またはＢＬＩ色彩強調画像の選択を可能にし、それらの選択を使用者に促すメッセージをディスプレイ６に出力するとともに、選択入力を可能にしている。

【0063】

例えば、「ＮＢＩボタン」と「ＢＬＩボタン」のアイコン画像をディスプレイ６に出力するとともに、使用者がマウス等でそれらのいずれかのアイコン画像を選択したか否かの情報を取得する。そして、この選択情報に従って、ＨＤＤユニット１８に記憶されているネットワーク情報（ニューラルネットワークのネットワーク構造、重みパラメータやバイアス等）を当該ＨＤＤユニット１８から読み出して取得する。例えば、「ＮＢＩボタン」が選択入力された場合には、白色光画像をＮＢＩ色彩強調画像に変換する学習済みのＮＢＩ用ネットワークのネットワーク情報をＨＤＤユニット１８から取得し、また「ＢＬＩボタン」が選択入力された場合には、白色光画像をＢＬＩ色彩強調画像に変換する学習済みのＢＬＩ用ネットワークのネットワーク情報をＨＤＤユニット１８から取得する。

【0064】

ステップＳ１０９において、画像変換に伴い必要になる情報の入力が完了すると、次に変換開始指示の入力を使用者に促す。例えば、「スタートボタン」のアイコン画像をディスプレイ６に出力して使用者がマウス等でそのアイコン画像を選択したか否かの情報を取得する。そして、ステップＳ１１１により「スタートボタン」の選択入力があったか否かを判定する。この例の場合には、使用者がマウス等で「スタートボタン」のアイコン画像を選択する（開始入力が有る）まで待機し（Ｓ１１１；Ｎｏ）、「スタートボタン」の選択入力（開始入力）があると（Ｓ１１１；Ｙｅｓ）、ステップＳ１１３に移行する。

【0065】

ステップＳ１１３では画像データ取得処理が行われる。この処理では、ビデオキャプチャユニット１７から出力された白色光画像の画像データを取得する。本実施形態では、前述したように、内視鏡システム２の内視鏡本体部４の先端部分（照明ライト）からは白色光のみが照射されることから、例えば、白色光画像には、被検者の消化管の内表面（消化管の粘膜）が自然色で描出される。なお、本実施形態では、ビデオキャプチャユニット１７（入力部２０、出力部４０）が分配した残りの映像信号の出力は（破線で図示）、内視鏡システム２のディスプレイ５に入力されているため、当該ディスプレイ５には、自然色で描出された白色光画像がほぼリアルタイムに映し出される。

【0066】

次のステップＳ１１５では解像度等変更処理が行われる。次のステップＳ１１７による画像変換処理においては、白色光画像の画像データが学習済みのＮＢＩ用ネットワークやＢＬＩ用ネットワーク（所定のニューラルネットワーク）に入力されることによって、白色光画像がＮＢＩ色彩強調画像やＢＬＩ色彩強調画像に変換される。

【0067】

このため、変換前の白色光画像は、所定のニューラルネットワークに入力可能な画像サイズ（例えば、縦横比が１６：９）や解像度（例えば、3840×2160ピクセル）でなければならないことから、画像変換処理（Ｓ１１７）に先立って解像度等変更処理（Ｓ２００）が行われる。この処理の詳細は図４に表されているので、ここからは図４も参照しながら説明する。ステップＳ１１５の解像度等変更処理（Ｓ２００）では、まずステップＳ２０１により画像情報取得処理が行われる。

【0068】

前述したように、ＨＤＤユニット１８には、内視鏡画像変換装置１０に接続される可能性のある複数種類の画像撮像装置３の装置情報と、それらの画像撮像装置３から入力される白色光画像のサイズ情報や解像度情報とが一対一対応の関係でそれぞれ関連付けられて格納されている。そのため、ステップＳ２０１の画像情報取得処理では、内視鏡画像変換装置１０に入力された白色光画像のサイズ情報や解像度情報を当該画像撮像装置３の装置情報に基づいてＨＤＤユニット１８から取得する。

【0069】

そして、ステップＳ２０３の低解像度判定処理により白色光画像の解像度が所定のニューラルネットワークで入力可能な解像度（例えば、４Ｋ画像相当の解像度(3840×2160ピクセル)）よりも低い、つまり低解像度（例えば、２Ｋ画像相当の解像度(1920×1080ピクセル)）であると判定した場合には（Ｓ２０３；Ｙｅｓ）、続くステップＳ２０５により解像度変更処理が行われる。これに対して、白色光画像の解像度が予め定められた解像度よりも低くない、つまり高解像度（例えば、４Ｋ画像相当の解像度（3840×2160ピクセル）であると判定した場合には（Ｓ２０３；Ｎｏ）、続くステップＳ２０５の解像度変更処理をスキップして、ステップＳ２０７の判定処理が行われる。

【0070】

ステップＳ２０５の解像度変更処理では、白色光画像の画像データを低解像度から高解像度に変更する処理が行われる。本実施形態では、例えば、ＧＡＮ（敵対的生成ネットワーク）を利用して生成された学習済みのディープニューラルネットワークを用いて、２Ｋ画像から４Ｋ画像への変更が行われる。なお、ステップＳ２０３において、例えば、白色光画像の解像度が所定のニューラルネットワークで入力可能な解像度よりも高い、例えば、８Ｋ画像相当の解像度（7680×4320ピクセル）であるか否かを判定し、高い場合には（Ｓ２０３；Ｙｅｓ）、ステップＳ２０５において低解像度（８Ｋ画像から４Ｋ画像）に変更する処理を行うようにアルゴリズムを構成してもよい。

【0071】

続くステップＳ２０７の異形サイズ判定処理では、白色光画像が異形サイズであるか否かの判定が行われる。例えば、同じ４Ｋ画像相当であっても縦横比が約１７：９（解像度(4096×2160ピクセル)）の場合には、所定のニューラルネットワークに入力可能な画像サイズ（例えば、縦横比１６：９、解像度(3840×2160ピクセル)）に合致しない。そのため、所定のニューラルネットワークに入力不可能な画像サイズであるか否かを判定する。

【0072】

そして、異形サイズである、つまり画像サイズを変更する必要があると判定した場合には（Ｓ２０７；Ｙｅｓ）、続くステップＳ２０９によりサイズ変更処理が行われる。これに対して、異形サイズでない、つまり画像サイズを変更する必要がないと判定した場合には（Ｓ２０７；Ｎｏ）、当該白色光画像の画像データは所定のニューラルネットワークに入力可能な画像サイズ（例えば、縦横比１６：９、解像度(3840×2160ピクセル)）に合致するので、本解像度等変更処理（Ｓ２００）を終了した後、図３の制御処理に戻ってステップＳ１１７の画像変換処理に移行する。

【0073】

ステップＳ２０９のサイズ変更処理では、白色光画像の画像データを縦横比１６：９に収まるように画像サイズを変更する処理が行われる。例えば、白色光画像の縦横比が約１７：９（解像度(4096×2160ピクセル)）である場合には、縦横比１６：９に収まらない周囲部分の画素データの削除が行われる。サイズ変更処理（Ｓ２０９）が終了すると、図３の制御処理に戻ってステップＳ１１７の画像変換処理に移行する。

【0074】

図３に示すように、ステップＳ１１７の画像変換処理では、待機画面表示処理（Ｓ１０９）により取得されたネットワーク情報（ニューラルネットワークのネットワーク構造、重みパラメータやバイアス等）に基づいて構築される所定のニューラルネットワークを用いて白色光画像を所定の色彩強調画像に変換する。

【0075】

例えば、待機画面表示処理（Ｓ１０９）においてＮＢＩ用ネットワークのネットワーク情報を取得した場合には、そのネットワーク情報に基づいて構築されたＮＢＩ用ネットワークに、画像データ取得処理（Ｓ１１３）により取得された（または取得された後に解像度等変更処理（Ｓ１１５）により解像度等が変更された）白色光画像の画像データを入力する。これにより、例えば、図５および図６に示すように、白色光画像の画像データはＮＢＩ色彩強調画像の画像データに変換される。なお、これらの図には、消化管の一例として大腸内を撮像した白色光画像と色彩強調画像が表示されている。また本件出願と同日付けで物件提出したカラー図面１，２は、図５、図６にそれぞれ対応している。

【0076】

これらの図５および図６においては、紙面上段が変換前の白色光画像であり（図５(Aa)～(Ea)、図６(Fa)～(Ja)）、紙面下段が変換後のＮＢＩ色彩強調画像である（図５(Ab)～(Eb)、図６(Fb)～(Jb)）。例えば、本実施形態の内視鏡画像変換システムでは、内視鏡システム２のディスプレイ５に変換前の白色光画像（図５(Aa)～(Ea)、図６(Fa)～(Ja)）が表示され、またディスプレイ６に変換後のＮＢＩ色彩強調画像（図５(Ab)～(Eb)、図６(Fb)～(Jb)）が表示される。

【0077】

例えば、各図下段のＮＢＩ色彩強調画像は、各図上段の白色光画像に比べると、所定の特徴部分（粘膜表層内の毛細血管等）が色濃く着色されて色彩が強調されていることが確認できる。なお、図５(Aa)、図５(Ba)および図５(Da)に表示されている黒色破線は、これらの白色光画像においてポリープが存在する範囲を明示するために本件出願人が便宜的に追記したものであり白色光画像には含まれないものである。また、図５(Da)に表示されている白色一点鎖線は、同白色光画像において血管が網目状に存在する範囲を明示するために本件出願人が便宜的に追記したものでありこれも白色光画像に含まれないものである。

【0078】

図５(Aa)と図５(Ab)、図５(Ba)と図５(Bb)や、図５(Da)と図５(Db)のように、それぞれの上下段を比較すると、腫瘍等のポリープの部分（所定の特徴部分）の色彩が色濃く着色されて強調されていることがわかる。また、図５(Da)と図５(Db)では、ポリープの周囲において網目状に拡がる血管の色彩が色濃く着色されて強調されていることがわかる。さらに、図６においても上下段を比較するとわかるように（特に、図６(Fa)と図６(Fb)や、図６(Ia)と図６(Ib)）、ポリープとその周囲に拡がる血管が色彩強調されていることを確認できる。

【0079】

なお、図５および図６はグレースケールで表現された画像であることから、強調されている色彩の色相を視認することは困難であるが、物件提出書に添付して提出したカラー画像１，２（図５，６に対応）においては、ＮＢＩ画像のように、ポリープの部分は、例えば褐色や青みのある褐色に着色され、また血管は、例えば茶色や褐色に着色されていることを確認することができる。図５(Ba),(Bb)や図６(Fa),(Fb)等において現れている楕円弧状の線は、内視鏡本体部４の挿入部の先端部分を筒状に覆う先端フードの開口部分が映り込んだものである。

【0080】

また、図５および図６のいずれについても上下段の各画像で明暗の差が少なく、ＮＢＩ用の照明光を照射した場合に得られるＮＢＩ画像のような光量の減少がほとんど生じていないことも確認できる。さらに、図６(Ha),(Hb)～図６(Ja),(Jb)では、照明ライトの白色光が消化管の粘膜表面で反射したことにより生じた光沢感が上下段の各画像でほとんど同様に現れていることを確認できる。このことから、各下段の画像は、各上段の画像を変換して生成されたことがわかる。

【0081】

待機画面表示処理（Ｓ１０９）においてＮＢＩ用ネットワークのネットワーク情報を取得した場合にはこのように変換されるが、例えば、ＢＬＩ用ネットワークのネットワーク情報を取得した場合には、そのネットワーク情報に基づいて構築されたＢＬＩ用ネットワークに、画像データ取得処理（Ｓ１１３）により取得等された白色光画像の画像データを入力することによって、当該白色光画像の画像データはＢＬＩ色彩強調画像の画像データに変換される。なお、白色光画像からＢＬＩ色彩強調画像に変換した例については、図示されていないが、図５や図６に示したＮＢＩ色彩強調画像とほぼ同様に、所定の特徴部分（例えば、粘膜表層内の毛細血管等）が色濃く着色されて色彩が強調される。

【0082】

ステップＳ１１９では画像データ送出処理が行われる。この処理では、画像変換処理（Ｓ１１７）により変換された所定の色彩強調画像（ＮＢＩ色彩強調画像等）の画像データを、当該内視鏡画像変換装置１０に接続されているディスプレイ６に対して送出する。これにより、ディスプレイ６の画面には、例えば、ＮＢＩ色彩強調画像やＢＬＩ色彩強調画像が表示される。

【0083】

なお、画像変換処理（Ｓ１１７）により変換された所定の色彩強調画像の解像度やサイズがディスプレイ６の出力仕様に適合しない（例えば、ディスプレイ６が低解像度（例えば、２Ｋ画像相当の解像度(1920×1080ピクセル)）場合には、ディスプレイ６に出力可能な解像度やサイズに変更する処理がステップＳ１１９において行われる。この処理については、画像情報取得処理（Ｓ２０１）が不要である点と、変更後の色彩強調画像の解像度やサイズがディスプレイ６の出力仕様に合致するものである点を除いて、図４の解像度等変更処理（Ｓ２００）と同様である。そのため説明を省略する。

【0084】

そして、ステップＳ１１９により画像データがディスプレイ６に送出されると、その後、ステップＳ１２１により終了入力有り判定処理が行われる。この処理では、当該内視鏡画像変換装置１０による画像変換を終了させる変換終了指示が入力されたか否かを判定する。そのため、この処理においては、使用者が変換終了指示を入力できるメッセージやＧＵＩボタンをディスプレイ６に出力した後、終了情報の入力があったか否かを判定する。

【0085】

例えば「エンドボタン」のアイコン画像をディスプレイ６の画面右下付近に表示するように出力するとともに、使用者がマウス等でそのアイコン画像を選択したか否かの情報を取得し、その選択（入力）があったか否かを判定する。そして、使用者がマウス等で「エンドボタン」のアイコン画像を選択した（終了入力が有る）場合には（Ｓ１２１；Ｙｅｓ）、一連の本制御処理を終了する（ＥＮＤ）。これに対して、当該アイコン画像の選択がない（終了入力がない）場合には（Ｓ１２１；Ｎｏ）、ステップＳ１１３に移行して、新たな白色光画像の画像データを取得する。その後は、既に説明したようにステップＳ１１５～Ｓ１１９の各処理が行われる。

【0086】

前述したように、内視鏡システム２の画像撮像装置３から出力される内視鏡画像（白色光画像）の映像信号は、６０fpsのフレームレートで内視鏡画像変換装置１０のビデオキャプチャユニット１７に入力されることから、当該内視鏡画像変換装置１０は、例えば、１０ミリ秒以下の繰り返し周期でステップＳ１１３～Ｓ１２１の各処理を繰り返し実行する必要がある。そのため、先の例では、ディスプレイ６の画面右下付近に、常に「エンドボタン」のアイコン画像が表示されているように視認することが可能である。また、ステップＳ１１７により変換される所定の色彩強調画像（ＮＢＩ色彩強調画像等）も、ディスプレイ５に表示される白色光画像と同様に、ほぼリアルタイムに逐次更新されてディスプレイ６に映し出される。したがって、使用者は、任意のタイミングで「エンドボタン」をマウス等で選択することにより当該内視鏡画像変換装置１０による内視鏡画像の変換処理を終了させることができる。また、使用者は、ディスプレイ５の白色光画像とディスプレイ６の所定の色彩強調画像とをほぼ同時かつリアルタイムに見ることが可能になる。

【0087】

なお、上述した制御処理の各ステップＳ１０１～Ｓ１２１と、図２に示す各機能（入力部２０等）との主な対応関係は次の通りである。入力部２０は、装置情報取得処理（Ｓ１０３）および画像データ取得処理（Ｓ１１３）に関与する。変換部３０は画像変換処理（Ｓ１１７）に関与する。出力部４０は画像データ送出処理（Ｓ１１９）に関与する。取得部５０は、入力情報取得処理（Ｓ１０７）および待機画像表示処理（Ｓ１０９）に関与する。記憶部６０は、待機画像表示処理（Ｓ１０９）および解像度等変更処理（Ｓ１１５）に関与する。

【0088】

また、上述した制御処理の待機画像表示処理（Ｓ１０９）においては、画像変換後の色彩強調画像として、使用者がＮＢＩ色彩強調画像またはＢＬＩ色彩強調画像を選択し得るようにアルゴリズムを構成した。このほかに例えば、ＬＣＩ用の照明光を消化管の内表面に照射した場合に得られる特徴部強調画像であるＬＣＩ画像とほぼ同等の色彩強調画像（ＬＣＩ相当の色彩強調画像、以下「ＬＣＩ色彩強調画像」という）に白色光画像を変換可能な学習済みのＬＣＩ用ネットワーク（所定のニューラルネットワーク）のネットワーク情報が照明光の種類（ＬＣＩ）に関連付けられて記憶部６０に記憶されている場合には、内視鏡システム２の画像撮像装置３から当該内視鏡画像変換装置１０に入力された内視鏡画像（白色光画像）をＬＣＩ色彩強調画像に変換し得るようにアルゴリズムを構成してもよい。

【0089】

また、白色光画像に対して所定の信号処理を施して得られた複数の狭い波長帯の画像（分光画像）に基づいてＲＧＢ画像を再構築するＦＩＣＥ（Flexible spectral Imaging Color Enhancement、ＦＩＣＥは登録商標である）の画像では、例えば、粘膜表層内の毛細血管や粘膜微細模様の色調が強く、それ以外の部分の色調が弱くなるように色彩が強調される。そのため、ＦＩＣＥによる特徴部強調画像であるＦＩＣＥ画像とほぼ同等の色彩強調画像（ＦＩＣＥ相当の色彩強調画像、以下「ＦＩＣＥ色彩強調画像」という）に白色光画像を変換可能な学習済みのＦＩＣＥ用ネットワーク（所定のニューラルネットワーク）のネットワーク情報が照明光の種類（ＮＢＩ、ＢＬＩ、ＬＣＩ）に加えてまたは単独で信号処理の種類（ＦＩＣＥ）にも関連付けられて記憶部６０に記憶されている場合には、内視鏡システム２の画像撮像装置３から当該内視鏡画像変換装置１０に入力された内視鏡画像（白色光画像）をＦＩＣＥ色彩強調画像に変換し得るようにアルゴリズムを構成してもよい。

【0090】

また、例えば、インジゴカルミン等の色素を消化管の内表面に散布等し白色光を消化管の内表面に照射した場合に得られる特徴部強調画像である色素法画像とほぼ同等の色彩強調画像（色素法相当の色彩強調画像、以下「色素法色彩強調画像」という）に白色光画像を変換可能な学習済みの色素法用ネットワーク（ニューラルネットワーク）のネットワーク情報が色素の種類（インジゴカルミンやヨード液等）に関連付けられて記憶部６０に記憶されている場合には、白色光画像を色素法色彩強調画像に変換し得るようにアルゴリズムを構成してもよい。

【0091】

さらに、例えば、画像変換後の色彩強調画像として、使用者がＬＣＩ色彩強調画像や色素法色彩強調画像を選択し得るようにアルゴリズムを構成してもよい。また、画像変換後の色彩強調画像として、使用者がＮＢＩ色彩強調画像、ＢＬＩ色彩強調画像、ＬＣＩ色彩強調画像または色素法色彩強調画像のいずれか１つを選択し得るようにアルゴリズムを構成してもよい。

【0092】

以上説明したように、本実施形態の内視鏡画像変換システムでは、内視鏡システム２により白色光を照射して撮像された内視鏡画像（白色光画像）が内視鏡画像変換装置１０の入力部２０（ビデオキャプチャユニット１７）に入力されると、その白色光画像は、変換部３０の所定のニューラルネットワークにより推定されて、所定の特徴部分（例えば、白色光画像の撮像範囲が消化管の粘膜である場合には、粘膜表層内の血管（病変部付近の新生血管を含む）、腫瘍等のポリープや粘膜表面等）が所定の色彩に強調された色彩強調画像として変換される。そして、変換部３０に変換された色彩強調画像が出力部４０により出力されてディスプレイ６に映し出される。

【0093】

これにより、内視鏡本体部４の挿入部先端の照明ライト（照明光）として白色光だけを用いる内視鏡システム２により撮像された内視鏡画像（白色光画像）であっても、所定の特徴部分が強調された色彩強調画像として出力部４０により出力されてディスプレイ６に映し出されることから、白色光以外の照明光（狭帯域光や狭帯域短波光等）を用いる必要がない。また、画像強調内視鏡のように、通常の観察時に用いる白色光に加えて白色光以外の照明光（狭帯域光等）も選択的に照射し得る構成を採る必要もない。したがって、内視鏡本体部４の挿入部先端の照明ライトの光量が低下しないため、視野内が暗くなりにくく、しかも狭帯域光等を発生させるハードウェアも不要になるので導入コストを低減することができる。また挿入部先端の前方視野が明るいため、例えば、使用者が挿入部の先端部分を消化管の奥に進めるときにも操作がしやすく内視鏡本体部４の操作性が向上する。また、使用者に対して良好な内視鏡診断支援を提供することが可能になる。

【0094】

また、例えば、ＮＢＩ画像やＢＬＩ画像では粘膜表層内の血管や病変部付近の新生血管、ポリープ等が、茶色、赤茶色や褐色等の色彩で強調されたり、ＬＣＩ画像ではそのような血管等が赤色や褐色等の色彩で強調されたり、また色素法画像では消化管の内表面の窪みや襞等、内表面の凹凸形状等が青色や黒褐色等の色彩で強調されたりというように、所定の特徴部分がＮＢＩ画像等の特徴部強調画像の種類ごとに複数存在し、また所定の特徴部分の色彩は特徴部強調画像ごとに異なる。そのため、本実施形態の内視鏡画像変換システムでは、所定の特徴部分の色彩が特徴部強調画像の種類ごとに複数存在することに対応して、所定のニューラルネットワークも複数設ける構成を採る。そして、変換部３０は、キーボード７から入力される情報に基づいて、複数のニューラルネットワークから一のニューラルネットワークを選択し、この一のニューラルネットワークにより白色光画像を色彩強調画像に変換する。

【0095】

これにより、キーボード７からの入力情報に基づいて任意のニューラルネットワークを選択することが可能になる。例えば、複数のニューラルネットワークとして、(1)ＮＢＩ用ネットワーク、(2)ＢＬＩ用ネットワーク、(3)ＬＣＩ用ネットワーク、(4)色素法用ネットワーク、がＨＤＤユニット１８にそれぞれ格納されている場合には、内視鏡診断時において使用者は、これら(1)～(4)のニューラルネットワークの中から任意に選択したニューラルネットワークにより白色光画像を所定の色彩強調画像（例えば、ＮＢＩ色彩強調画像）に変換することができる。したがって、少なくとも白色光を照射可能な内視鏡システムであれば、上述した内視鏡システム２のようにその機種やメーカーに関係なく、また画像強調内視鏡でなくても、内視鏡診断において、使用者は、ＮＢＩ色彩強調画像、ＢＬＩ色彩強調画像やＬＣＩ色彩強調画像によって、画像強調観察を行うことができる。また、色素散布や色素染色の操作を行うことなく色素法色彩強調画像によって画像強調観察を行うことができる。

【0096】

さらに、本実施形態の内視鏡画像変換システムでは、出力部４０（ビデオキャプチャユニット１７）は、色彩強調画像に加えて内視鏡画像も出力するので、２つのディスプレイ５，６に対して、色彩強調画像を一方のディスプレイ６に、また内視鏡画像を他方のディスプレイ５にほぼ同時に表示させることが可能になる。これにより、例えば、消化管等の内視鏡診断時において使用者は、その都度、画面の切替え操作を行わなくても、また被検者の呼吸や蠕動運動で消化管の粘膜が動いても、血管等が強調された色彩強調画像と白色光を照射した内視鏡画像とをほぼ同時に肉眼で確認することが可能になる。したがって、煩雑な操作も必要なく、しかもほぼ同時かつリアルタイムに見られるので、内視鏡本体部４の操作性を向上することができる。

【0097】

なお、上述した実施形態の内視鏡画像変換システムでは、内視鏡画像変換装置１０の制御処理（図３）において、画像変換後の色彩強調画像として、使用者がＮＢＩ色彩強調画像またはＢＬＩ色彩強調画像の１つを選択し得るアルゴリズム構成（Ｓ１０９）を例示して説明したが、本発明の内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムはこれに限られることはなく、例えば、使用者に選択させることなく画像変換後の色彩強調画像として、ＮＢＩ色彩強調画像またはＢＬＩ色彩強調画像のいずれか一方だけに限定してディスプレイ６に表示させるように構成してもよい。

【0098】

また、例えば、使用者に選択させることなく画像変換後の色彩強調画像として、ＮＢＩ色彩強調画像およびＢＬＩ色彩強調画像の両方をディスプレイ（例えば、ＮＢＩ色彩強調画像をディスプレイ６に、またＢＬＩ色彩強調画像をその他のディスプレイ）に表示させるように構成してもよい。この場合、図３に示す制御処理においては、白色光画像をＮＢＩ色彩強調画像に変換するための画像変換処理（Ｓ１０７）と白色光画像をＢＬＩ色彩強調画像に変換するための画像変換処理（Ｓ１０７）とをほぼ同時に並行させて実行する必要があり、また変換後のＮＢＩ、ＢＬＩ色彩強調画像は画像データ送出処理（Ｓ１１９においてそれぞれをディスプレイ６とその他のディスプレイに分けて出力する必要がある。これにより、内視鏡システム２のディスプレイ５には白色光画像が表示され、またディスプレイ６にはＮＢＩ色彩強調画像が表示され、さらにその他のディスプレイにはＢＬＩ色彩強調画像が表示されるため、使用者は、同時かつリアルタイムにディスプレイ５，６等に表示される３種類の内視鏡画像を見ながら内視鏡システム２の内視鏡本体部４を操作することが可能になる。

【0099】

また、上述した実施形態の内視鏡画像変換システムでは、内視鏡システム２から白色光を照射して撮像され自然色で描出された内視鏡画像（白色光画像）が内視鏡画像変換装置１０に入力される場合を例示して説明したが、本発明の内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムはこれに限られることはなく、例えば、撮像範囲や撮像対象に色素（例えば、インジゴカルミン、ヨード液等）を散布したり染色したりして撮像された内視鏡画像（色素法画像）が内視鏡画像変換装置１０に入力されてもよい。

【0100】

例えば、内視鏡画像変換装置１０に入力される内視鏡画像として、色素の散布や染色がない撮像範囲等に白色光を照射した場合（白色光の場合）、色素の散布や染色がある撮像範囲等に白色光を照射した場合（色素法の場合）、色素の散布や染色がない撮像範囲等にＮＢＩ用の照明光を照射した場合について、３種類にシーン分類したうえで、それぞれのシーンについてＧＡＮのアルゴリズムを用いてＧＡＮのジェネレータとして機能するニューラルネットワークに学習させる。シーン分類にはシーン認識のネットワークモデルを用いる。ＧＡＮのディスクリミネータには、それぞれのシーンについて教師データとして適切な画像を相当数提供する。このようにニューラルネットワークを深層学習させることによって、色素法画像をＮＢＩ色彩強調画像に変換することが可能になる。また、色素の散布や染色がない撮像範囲等にＢＬＩ用の照明光を照射した場合やＬＣＩ用の照明光を照射した場合についてもシーン分類したうえで、ＢＬＩやＬＣＩのシーンについてもニューラルネットワークに深層学習させることで、色素法画像をＢＬＩ色彩強調画像やＬＣＩ色彩強調画像に変換することも可能になる。これにより、白色光の場合に現れない色彩的な特徴や情報を、ＮＢＩ色彩強調画像、ＢＬＩ色彩強調画像やＬＣＩ色彩強調画像において目視確認でき得る。

【0101】

さらに、上述した実施形態の内視鏡画像変換システムでは、特徴部強調画像として、ＮＢＩ画像、ＢＬＩ画像、ＬＣＩ画像や色素法画像の場合を例示して説明したが、これらに限られることはなく、画像強調内視鏡において所定の特徴部分を所定の色彩で強調する観察法に用いられる色彩強調手段であれば、例えば、ＡＦＩ（Auto Fluorescence Imaging）等の観察法に用いられる色彩強調手段についても、上述したＮＢＩやＢＬＩ等の観察法の色彩強調手段に対応した内視鏡画像変換装置１０と同様に本発明の内視鏡画像変換装置、内視鏡画像変換システムや内視鏡画像変換プログラムを適用することができる。

【0102】

また、上述した実施形態の内視鏡画像変換システムでは、内視鏡画像変換装置１０の制御処理（図３）において、画像データ取得処理（Ｓ１１３）で取得した内視鏡画像（白色光画像）を画像変換処理（Ｓ１１７）において変換するアルゴリズム構成を例示して説明したが、本発明の内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムはこれに限られることはない。例えば、画像変換処理（Ｓ１１７）の前処理として、血管領域を抽出するネットワークモデル（例えば、Ｕ-Ｎｅｔ(https://arxiv.org/abs/1505.04597)）を用いて当該白色光画像に含まれる血管領域を抽出し、その抽出された血管領域画像を含めて画像変換処理（Ｓ１１７）を行うようにアルゴリズムを構成してもよい。これにより、粘膜内部の血管構造を含めて変換されるため、よりリアルなＮＢＩ色彩強調画像等を生成することができる。

【0103】

また、上述した実施形態の内視鏡画像変換システムでは、内視鏡画像変換装置１０に入力できる内視鏡画像は撮像範囲等に白色光を照射した白色光画像に限定されることから、例えば、ＮＢＩ画像やＢＬＩ画像が入力されても白色光画像以外は適切な画像変換が行われない（不適切な画像変換が行われる）。そのため、シーン認識のネットワークモデルを用いて、内視鏡画像変換装置１０に入力された内視鏡画像がＮＢＩ用の照明光を照射した場合のＮＢＩ画像やＢＬＩ用の照明光を照射した場合のＢＬＩ画像であった場合には白色光画像以外のそれらの画像については画像変換を行わないようにアルゴリズムを構成する。これにより、白色光画像が入力された場合にのみＮＢＩ色彩強調画像やＢＬＩ色彩強調画像に画像変換が行われることから、ＮＢＩ画像やＢＬＩ画像が内視鏡画像変換装置１０に誤入力された場合の不適切な画像変換を防止することができる。

【0104】

また、上述した実施形態の内視鏡画像変換システムでは、内視鏡画像変換装置１０の出力部４０の出力先として、２つのディスプレイ５，６を設けて、一方のディスプレイ５に変換前の白色光画像の画像データ（映像信号）を出力し、他方のディスプレイ６に変換後の色彩強調画像の画像データ（映像信号）を出力して、それぞれ表示させる構成を例示して説明したが、本発明の内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムはこれに限られることはなく、例えば、１つのワイド画面ディスプレイを設けて、変換前の白色光画像の画像データ（映像信号）と変換後の色彩強調画像の画像データ（映像信号）とをそのディスプレイに出力し、そのワイド画面の左側（または上側）に白色光画像を表示させ、またそのワイド画面の右側（または下側）に色彩強調画像を表示させるように構成してもよい。また、内視鏡画像変換装置１０の出力部４０の出力先として、１つのディスプレイに変換後の色彩強調画像の画像データ（映像信号）だけを出力し、色彩強調画像だけを表示させるように構成してもよい。

【0105】

また、上述した実施形態の内視鏡画像変換システムでは、内視鏡画像変換装置１０の変換部３０として、ディープニューラルネットワーク（ＤＮＮ）を用いる場合を例示して説明したが、本発明の内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムはこれに限られることはなく、ニューラルネットワークであれば、例えば、ＦＵＮＩＴ（https://github.com/NVlabs/FUNIT）やＳｔａｒＧＡＮ（https://github.com/yunjey/stargan）でもよい。

【0106】

また、上述した実施形態の内視鏡画像変換システムでは、大腸内（粘膜等）を撮像した白色光画像を色彩強調画像に変換する場合を例示したが、本発明の内視鏡画像変換装置、内視鏡画像変換システムおよび内視鏡画像変換プログラムはこれに限られることはなく、内視鏡で観察することが可能な消化管であれば、例えば、食道、胃、小腸についてもそれらの粘膜等を撮像した白色光画像を色彩強調画像に変換する場合にも適用することが可能である。

【0107】

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、上述した具体例を様々に変形または変更したものが含まれる。また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項に記載の組合せに限定されるものではない。さらに、本明細書または図面に例示した技術は、複数の目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つ。なお、[符号の説明]の欄における括弧内の記載は、上述した各実施形態で用いた用語と、特許請求の範囲に記載の用語との対応関係を明示し得るものである。

【符号の説明】

【0108】

２…内視鏡システム（内視鏡）
３…画像撮像装置
４…内視鏡本体部
５…ディスプレイ（出力部の出力先）
６…ディスプレイ（出力部の出力先、表示装置）
７…キーボード（外部）
８…情報記録媒体
１０…内視鏡画像変換装置
１１…本体ユニット（入力部、変換部、出力部、変換装置、取得手段、変換手段、出力手段、ニューラルネットワーク）
１２…ＣＰＵ
１３…ＧＰＵ
１４…メモリ
１７…ビデオキャプチャユニット（入力部、出力部、入力装置、出力装置）
１８…ＨＤＤユニット
１９…メディアドライブユニット
２０…入力部
３０…変換部（ニューラルネットワーク）
４０…出力部
５０…取得部
６０…記憶部
７０…更新部
Ｓ１１３…画像データ取得処理（取得手段）
Ｓ１１７…画像変換処理（変換手段）
Ｓ１１９…画像データ送出処理（出力手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】