特許 7005767 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-07

(45)【発行日】2022-01-24

(54)【発明の名称】内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220117BHJP

   A61B 1/00 20060101ALI20220117BHJP

   G06T 7/00 20170101ALI20220117BHJP

   G06T 1/00 20060101ALI20220117BHJP

【ＦＩ】

A61B1/045 614

A61B1/00 510

A61B1/045 618

G06T7/00 350C

G06T7/00 612

G06T1/00 290Z

G06T1/00 510

【請求項の数】 13

(21)【出願番号】P 2020531187

(86)(22)【出願日】2019-06-17

(86)【国際出願番号】 JP2019023884

(87)【国際公開番号】W WO2020017213

(87)【国際公開日】2020-01-23

【審査請求日】2020-12-17

(31)【優先権主張番号】P 2018136924

(32)【優先日】2018-07-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】臼田 稔宏

【審査官】冨永 昌彦

(56)【参考文献】

【文献】特開２０１３－１８３９１２（ＪＰ，Ａ）

【文献】国際公開第２０１６／１１７１１２（ＷＯ，Ａ１）

【文献】特開２０１０－０２２４６４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０２０５５８（ＷＯ，Ａ１）

【文献】特開２０１８－０６３５０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

第１の波長帯域光の内視鏡画像を生成モデルによって生成する画像生成部と、
前記画像生成部で生成された内視鏡画像を用いて画像認識用の学習モデルの学習を行う機械学習部と、
を備え、
前記画像生成部は、前記第１の波長帯域光とは異なる第２の波長帯域光で撮影された第２の内視鏡画像を入力とし、前記第２の内視鏡画像を前記第１の波長帯域光の第１の内視鏡画像に変換し、
前記第１の波長帯域光は特殊光であり、前記第２の波長帯域光は白色光である内視鏡画像学習装置。

【請求項2】

前記第１の内視鏡画像と前記第２の内視鏡画像とは、画像認識の正解を示す正解データが共通である請求項１に記載の内視鏡画像学習装置。

【請求項3】

前記第１の内視鏡画像の画像認識の正解を示す正解データは、前記第２の内視鏡画像の正解を示す正解データを用いて生成した正解データである請求項１に記載の内視鏡画像学習装置。

【請求項4】

前記学習モデルは、入力された内視鏡画像から病変領域を検出する請求項１から３のいずれか１項に記載の内視鏡画像学習装置。

【請求項5】

前記学習モデルは、前記病変領域が良性及び悪性のいずれかを分類する請求項４に記載の内視鏡画像学習装置。

【請求項6】

前記生成モデルは、前記第１の波長帯域光で撮影された内視鏡画像と前記第２の内視鏡画像とを用いた学習により得られた生成モデルである請求項１から５のいずれか１項に記載の内視鏡画像学習装置。

【請求項7】

前記生成モデルは、畳み込みニューラルネットワークを用いて学習される請求項１から６のいずれか１項に記載の内視鏡画像学習装置。

【請求項8】

前記生成モデルは、ＧＡＮ（Generative Adversarial Networks）である請求項７に記載の内視鏡画像学習装置。

【請求項9】

機械学習部は、畳み込みニューラルネットワークを用いて前記学習モデルの学習を行う請求項１から８のいずれか１項に記載の内視鏡画像学習装置。

【請求項10】

前記第１の波長帯域光で撮影された内視鏡画像を取得する画像取得部と、
請求項１から９のいずれか１項に記載の内視鏡画像学習装置によって学習された学習モデルを用いて前記取得した内視鏡画像の画像認識を行う画像認識部と、
を備えた内視鏡画像認識装置。

【請求項11】

第１の波長帯域光の内視鏡画像を生成モデルによって生成する画像生成工程と、
前記画像生成工程で生成された内視鏡画像を用いて画像認識用の学習モデルの学習を行う機械学習工程と、
を備え、
前記画像生成工程は、前記第１の波長帯域光とは異なる第２の波長帯域光で撮影された第２の内視鏡画像を入力とし、前記第２の内視鏡画像を前記第１の波長帯域光の第１の内視鏡画像に変換し、
前記第１の波長帯域光は特殊光であり、前記第２の波長帯域光は白色光である内視鏡画像学習方法。

【請求項12】

請求項１１に記載の内視鏡画像学習方法をコンピュータに実行させるためのプログラム。

【請求項13】

非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１２に記載のプログラムをコンピュータに実行させる記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラムに係り、特に画像認識用の学習モデルを学習する技術に関する。

【背景技術】

【0002】

内視鏡検査では、通常光だけでなく、特殊な波長バランスを用いて発光させた特殊光を用いて観察することで、病変の鑑別及び検出の精度向上、病変の見落としの低減が期待されている。

【0003】

一方、内視鏡画像上の病変をコンピュータによって画像認識する技術が知られている。特に、機械学習によって作成された画像認識器を用いることで、精度の高い診断が可能となる。このような画像認識器を用いた画像認識技術においても、特殊光を用いた内視鏡画像について、認識精度の向上が期待される。

【0004】

機械学習によって作成される画像認識器の精度は、学習に用いられた画像データに大きく依存する。このため、様々な光源で撮影された内視鏡画像を大量に収集する必要がある。しかしながら、実際の現場では、通常白色光での検査が行われ、特殊光は、検査目的等に応じて選択的に利用されるため、特殊光で撮影された画像を収集することは困難であった。したがって、特殊光画像の認識精度向上のためには、機械学習に適した特殊光画像を生成して学習データとすることが必要となる。

【0005】

特許文献１には、内視鏡第一観察画像と内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、内視鏡第一観察画像に対しては所定の波長セットに応じて第一分光推定画像を生成し、内視鏡第二観察画像に対しては第一光源からの照射光のスペクトルを近似的に生成する近似波長セットを設定し、設定された近似波長セットに応じて第二分光推定画像を生成する技術が開示されている。

【0006】

また、特許文献２には、パーツ画像に対してアフィン変形を行い、変形画像を作成する技術が記載されている。

【0007】

さらに、特許文献３には、低解像度画像と高解像度画像との複数の組み合わせを学習し、それに基づく推論を行って解像度変換を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１１－１９４０８２号公報

【文献】特開２０１２－０４３１５１号公報

【文献】特開２０１８－００５８４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１～３に記載の技術は、ユーザに提示する画像の視認性を向上させるのが狙いである。また、特許文献１、２に記載の画像変換方法は、いわゆる人手で設計された変換方法であり、白色光画像から特殊光画像等の波長帯域光の変換といった、複雑な変換を忠実に再現するのは容易ではない。したがって、機械学習に適した画像を生成することはできず、画像認識用の学習モデルの学習を適切に行うことができなかった。

【0010】

本発明はこのような事情に鑑みてなされたもので、内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行う内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために内視鏡画像学習装置の一の態様は、第１の波長帯域光の内視鏡画像を生成モデルによって生成する画像生成部と、画像生成部で生成された内視鏡画像を用いて画像認識用の学習モデルの学習を行う機械学習部と、を備える内視鏡画像学習装置である。

【0012】

本態様によれば、第１の波長帯域光の内視鏡画像を生成モデルによって生成し、生成された内視鏡画像を用いて画像認識用の学習モデルの学習を行うようにしたので、内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。

【0013】

画像生成部は、第１の波長帯域光とは異なる第２の波長帯域光で撮影された第２の内視鏡画像を入力とし、第２の内視鏡画像を第１の波長帯域光の第１の内視鏡画像に変換することが好ましい。これにより、第１の波長帯域光の第１の内視鏡画像を適切に生成することができる。

【0014】

第１の波長帯域光は特殊光であり、第２の波長帯域光は白色光であることが好ましい。これにより、データ数の多い白色光画像からデータ数の少ない特殊光画像を生成することができる。

【0015】

第１の内視鏡画像と第２の内視鏡画像とは、画像認識の正解を示す正解データが共通であることが好ましい。これにより、新たに正解データを作成することなく使用することができる。

【0016】

第１の内視鏡画像の画像認識の正解を示す正解データは、第２の内視鏡画像の正解を示す正解データを用いて生成した正解データであってもよい。このような正解データを用いても、学習モデルの学習を適切に行うことができる。

【0017】

学習モデルは、入力された内視鏡画像から病変領域を検出することが好ましい。これにより、入力された内視鏡画像から病変領域を適切に検出することができる。

【0018】

学習モデルは、病変領域が良性及び悪性のいずれかを分類することが好ましい。これにより、病変領域が良性及び悪性のいずれかを適切に分類することができる。

【0019】

生成モデルは、第１の波長帯域光で撮影された内視鏡画像と第２の内視鏡画像とを用いた学習により得られた生成モデルであることが好ましい。これにより、第１の波長帯域光の内視鏡画像を適切に生成することができる。

【0020】

生成モデルは、畳み込みニューラルネットワークを用いて学習されることが好ましい。これにより、第１の波長帯域光の内視鏡画像を適切に生成することができる。

【0021】

生成モデルは、ＧＡＮ（Generative Adversarial Networks）であることが好ましい。これにより、第１の波長帯域光の内視鏡画像を適切に生成することができる。

【0022】

機械学習部は、畳み込みニューラルネットワークを用いて学習モデルの学習を行うことが好ましい。これにより、画像認識用の学習モデルの学習を適切に行うことができる。

【0023】

上記目的を達成するために内視鏡画像認識装置の一の態様は、第１の波長帯域光で撮影された内視鏡画像を取得する画像取得部と、上記の内視鏡画像学習装置によって学習された学習モデルを用いて取得した内視鏡画像の画像認識を行う画像認識部と、を備えた内視鏡画像認識装置である。

【0024】

本態様によれば、第１の波長帯域光で撮影された内視鏡画像を取得し、学習モデルを用いて取得した内視鏡画像の画像認識を行うようにしたので、内視鏡画像の画像認識を適切に行うことができる。

【0025】

上記目的を達成するために内視鏡画像学習方法の一の態様は、第１の波長帯域光の内視鏡画像を生成モデルによって生成する画像生成工程と、画像生成工程で生成された内視鏡画像を用いて画像認識用の学習モデルの学習を行う機械学習工程と、を備える内視鏡画像学習方法である。

【0026】

本態様によれば、第１の波長帯域光の内視鏡画像を生成モデルによって生成し、生成された内視鏡画像を用いて画像認識用の学習モデルの学習を行うようにしたので、内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。

【0027】

上記目的を達成するためにコンピュータに実行させるためのプログラムの一の態様は、上記の内視鏡画像学習方法をコンピュータに実行させるためのプログラムである。

【0028】

本態様によれば、第１の波長帯域光の内視鏡画像を生成モデルによって生成し、生成された内視鏡画像を用いて画像認識用の学習モデルの学習を行うようにしたので、内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。

【発明の効果】

【0029】

本発明によれば、内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。

【図面の簡単な説明】

【0030】

【図1】図１は、内視鏡画像学習装置のハードウェア構成の一例を示すブロック図である。

【図2】図２は、内視鏡画像学習装置の主要な機能を示す機能ブロック図である。

【図3】図３は、機械学習部の主要な機能を示す機能ブロック図である。

【図4】図４は、画像生成部の主要な機能を示す機能ブロック図である。

【図5】図５は、内視鏡画像学習方法の一例を示すフローチャートである。

【図6】図６は、内視鏡画像学習装置の主要な機能を示す機能ブロック図である。

【図7】図７は、画像生成部の主要な機能を示す機能ブロック図である。

【図8】図８は、内視鏡システムを示す外観図である。

【図9】図９は、内視鏡システムの機能を示すブロック図である。

【図10】図１０は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。

【発明を実施するための形態】

【0031】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

【0032】

＜医療画像学習装置のハードウェア構成＞
図１は、本発明に係る内視鏡画像学習装置のハードウェア構成の一例を示すブロック図である。

【0033】

内視鏡画像学習装置１０は、パーソナルコンピュータ又はワークステーションによって構成される。内視鏡画像学習装置１０は、主として通信部１２と、第１データベース１４と、第２データベース１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示部２６とから構成されている。

【0034】

通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。

【0035】

第１データベース１４は、通常光で撮影された複数の通常光画像１４Ａからなる通常光画像群と、各通常光画像１４Ａの正しい画像認識結果を示す正解データ１４Ｂとからなる学習用の第１データセットを保存する大容量ストレージ装置である。第２データベース１６は、特殊光で撮影された複数の特殊光画像１６Ａからなる特殊光画像群と、各特殊光画像１６Ａの正しい画像認識結果を示す正解データ１６Ｂとからなる学習用の第２データセットを保存する大容量ストレージ装置である。

【0036】

ここで、通常光画像及び特殊光画像は、不図示の内視鏡装置によりそれぞれ異なる光源下で撮影されたカラー画像である。

【0037】

通常光は、可視光の全ての波長帯域の光がほぼ均等に混ざった光（白色光）であり、通常光画像は、通常観察に使用される。したがって、通常光画像群は、比較的多く集めることができる。

【0038】

一方、特殊光は、１つの特定の波長帯域の光、又は複数の特定の波長帯域の光の組み合わせた、観察目的に応じた各種の波長帯域の光であり、白色の波長帯域よりも狭い帯域を有し、狭帯域観察（NBI（登録商標）、FICE(Flexible spectral imaging color enhancement、登録商標)）に使用される。

【0039】

特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

【0040】

特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

【0041】

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

【0042】

特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

【0043】

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

【0044】

このような特定の波長帯域を有する特殊光下で撮影された特殊光画像は病変が見にくいため、表面構造を観察したい等の観察目的に応じた場合にしか使用されず、データ数が多くない。

【0045】

本例では、第１データベース１４に保存されている通常光画像群の第１データセットは、第２データベース１６に保存されている特殊光画像群の第２データセットよりも多く準備されているものとする。

【0046】

また、第１データベース１４及び第２データベース１６において、各通常光画像１４Ａ及び各特殊光画像１６Ａに関連付けて保存されている正解データ１４Ｂ及び１６Ｂは、例えば通常光画像及び特殊光画像内に写っている病変の種類、病変の位置を示したデータ、症例固有の識別情報等が考えられる。病変の分類においては、腫瘍性、非腫瘍性の２分類、NICE分類等が挙げられる。病変の位置を示すデータは、病変を囲む矩形の情報、又は病変を覆い隠すようなマスクデータ等が考えられる。

【0047】

第１データベース１４及び第２データベース１６は、同一のストレージ装置であってもよい。また、第１データベース１４及び第２データベース１６は、内視鏡画像学習装置１０の内部に備えるのではなく、内視鏡画像学習装置１０の外部に設けてもよい。この場合、通信部１２を介して外部のデータベースから学習用のデータセットを取得することができる。

【0048】

操作部１８は、内視鏡画像学習装置１０に対する各種の操作入力を受け付ける入力インターフェースである。操作部１８は、コンピュータに有線接続又は無線接続されるキーボード又はマウス等が用いられる。

【0049】

ＣＰＵ２０は、ＲＯＭ２４又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用される。また、ＲＡＭ２２は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。

【0050】

表示部２６は、内視鏡画像学習装置１０の必要な情報が表示される出力インターフェースである。表示部２６は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。

【0051】

内視鏡画像学習装置１０は、操作部１８からの指示入力により、ＣＰＵ２０がＲＯＭ２４又はハードディスク装置等に記憶されている内視鏡画像学習プログラムを読み出し、内視鏡画像学習プログラムを実行する。これにより、後述するように生成モデルによる内視鏡画像の生成、及び内視鏡画像を用いた学習モデルの学習を行う。

【0052】

＜第１の実施形態＞
〔内視鏡画像学習装置〕
図２は、第１の実施形態に係る内視鏡画像学習装置１０の主要な機能を示す機能ブロック図である。内視鏡画像学習装置１０は、機械学習部３０と画像生成部４０とを備えている。

【0053】

機械学習部３０は、多数の学習用画像を用いて学習される。機械学習部３０は、第１データベース１４に保存された通常光画像１４Ａ及び正解データ１４Ｂのデータセットと、第２データベース１６に保存された特殊光画像１６Ａ及び正解データ１６Ｂのデータセットとを用いて学習することにより、画像認識用の学習モデルを生成する。機械学習部３０は、学習モデルの一つである畳み込みニューラルネットワーク（CNN：Convolution Neural Network）を構築する。

【0054】

図３は、機械学習部３０の主要な機能を示す機能ブロック図である。機械学習部３０は、主としてＣＮＮ３２と、誤差算出部３４と、パラメータ更新部３６とから構成される。

【0055】

ＣＮＮ３２は、内視鏡画像に写っている病変の種類を画像認識する認識器である。ＣＮＮ３２は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。ＣＮＮ３２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。

【0056】

このＣＮＮ３２は、入力層３２Ａと、中間層３２Ｂと、出力層３２Ｃとを備える。入力層３２Ａ、中間層３２Ｂ、及び出力層３２Ｃは、それぞれ複数の「ノード」が「エッジ」で結ばれる構造となっている。

【0057】

入力層３２Ａには、学習対象である通常光画像１４Ａ及び特殊光画像１６Ａが入力される。

【0058】

中間層３２Ｂは、入力層から入力した画像から特徴を抽出する層である。中間層３２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有する。畳み込み層は、前の層で近くにあるノードに対してフィルタを使用した畳み込み演算を行い、特徴マップを取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。全結合層は、直前の層（ここではプーリング層）のノードの全てを結合する。畳み込み層は、画像からのエッジ抽出等の特徴抽出の役割を担い、プーリング層は抽出された特徴が、平行移動等による影響を受けないようにロバスト性を与える役割を担う。なお、中間層３２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合、及び正規化層も含まれる。

【0059】

出力層３２Ｃは、中間層３２Ｂにより抽出された特徴に基づき内視鏡画像に写っている病変（病変領域の一例）を検出する認識結果を出力する層である。また、検出した病変が良性及び悪性のいずれかを分類する認識結果を出力してもよいし、病変の種類を分類する認識結果を出力してもよい。

【0060】

学習済みのＣＮＮ３２は、病変の種類を分類する場合、例えば内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、認識結果は「腫瘍性」、「非腫瘍性」、「その他」に対応する３つのスコアとして出力する。３つのスコアの合計は１００％である。

【0061】

学習前のＣＮＮ３２の各畳み込み層に適用されるフィルタの係数、オフセット値、及び全結合層における次の層との接続の重みは、任意の初期値がセットされる。

【0062】

誤差算出部３４は、ＣＮＮ３２の出力層３２Ｃから出力される認識結果と、入力画像に対する正解データとを取得し、両者間の誤差を算出する。誤差の算出方法は、例えばソフトマックスクロスエントロピー、又は最小二乗誤差（MSE:Mean Squared Error）等が考えられる。

【0063】

パラメータ更新部３６は、誤差算出部３４により算出された誤差を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。

【0064】

このパラメータの調整処理を繰り返し行い、ＣＮＮ３２の出力と正解データとの差が小さくなるまで繰り返し学習を行う。

【0065】

機械学習部３０は、第１データベース１４に保存された通常光画像群及び第２データベース１６に保存された特殊光画像群の全てのデータセットを使用し、ＣＮＮ３２の各パラメータを最適化する。即ち、機械学習部３０は、畳み込みニューラルネットワークを用いて学習モデルの学習を行う。

【0066】

機械学習部３０の学習は、全てのデータセットのうち一定の数のデータセットを抽出し、抽出したデータセットによって学習のバッチ処理を行い、これを繰り返すミニバッチ法を用いてもよい。

【0067】

機械学習部３０は、実現したい認識処理によっては正解データを用いなくてもよい。また、機械学習部３０は、エッジ抽出等のあらかじめ設計したアルゴリズムで特徴を抽出し、その情報を用いてサポートベクターマシン等で学習してもよい。

【0068】

画像生成部４０は、特殊光画像を生成モデルによって生成する。生成モデルでは、あるクラスＣに対するデータｘの条件付き分布ｐ（ｘ｜Ｃ）をモデル化したものである。ここでは、クラスが光源の種類、データが画像に相当する。この生成モデルを用いれば、あるクラスに属する擬似的なデータを生成することが可能である。

【0069】

生成モデルの例としては、変分自己符号化器（VAE：Variational Auto Encorder）及び敵対的生成ネットワーク（GAN：Generative Adversarial Networks）等が知られている。

【0070】

本例の画像生成部４０は、生成モデルとしてGANを構築する。GANは、データを作り出す「Generator」と、データを識別する「Discriminator」を交互に学習することで形成される生成モデルである。

【0071】

図４は、画像生成部４０の主要な機能を示す機能ブロック図である。画像生成部４０は、主として生成器４２と、識別器４４とから構成される。

【0072】

生成器４２は「Generator」に相当し、識別器４４は「Discriminator」に相当する。生成器４２は、ノイズｚを入力とし、特殊光生成画像である画像ｘ１を生成する。識別器４４は、生成された画像ｘ１と学習用画像ｘ０として用意した特殊光画像１６Ａとを入力とし、入力された画像が、生成データか学習データかを分類する。

【0073】

生成器４２及び識別器４４は、畳み込みニューラルネットワークを用いて学習される。

【0074】

識別器４４の学習は、機械学習部３０と同様の流れで学習する。具体的には、画像を入力とし、入力された画像が生成器４２の生成した画像か、又はリアルな内視鏡画像であるかの分類を行う。

【0075】

一方、生成器４２の学習は、ノイズｚを入力とし、一般のＣＮＮを逆に辿るような形で画像の形までデータを変換する。生成器４２の学習では、画像のサイズを大きくしていく「fractionally-strided convolution」のようなアップサンプリング手法を用いる。

【0076】

学習が進行すると、生成器４２と識別器４４とは精度を高めあい、生成器４２は識別器４４に識別されない、より本物の特殊光画像に近い特殊光生成画像（第１の波長帯域光の内視鏡画像の一例）を生成できるようになる。この学習によって獲得された生成器４２が生成モデルである。

【0077】

〔内視鏡画像学習方法〕
図５は、内視鏡画像学習装置１０による内視鏡画像学習方法の一例を示すフローチャートである。内視鏡画像学習方法は、画像生成工程Ｓ１と、機械学習工程Ｓ２とを有している。

【0078】

画像生成工程Ｓ１では、特殊光画像と同等の特殊光生成画像を画像生成部４０の生成モデルによって生成する。例えば、１００枚の特殊光画像を生成する。

【0079】

機械学習工程Ｓ２では、画像生成工程Ｓ１で生成された特殊光画像を用いて機械学習部３０の学習モデルの学習を行う。ここでは、１００枚の特殊光画像を用いて学習を行う。

【0080】

以上により、特殊光画像を生成モデルによって生成することで、データ数の少ない特殊光画像を水増しして収集することができる。また、この生成した特殊光画像を用いて内視鏡画像認識用の学習モデルを学習させることで、データ数の少ない特殊光画像について適切に学習させることができる。したがって、特殊光画像による画像認識の性能を向上させることができる。

【0081】

＜第２の実施形態＞
〔内視鏡画像学習装置〕
第２の実施形態に係る内視鏡画像学習装置のハードウェア構成は、図１に示すブロック図と同様である。

【0082】

図６は、第２の実施形態に係る内視鏡画像学習装置５０の主要な機能を示す機能ブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

【0083】

内視鏡画像学習装置５０は、画像生成部６０を備えている。画像生成部６０は、第１データベース１４、及び第２データベース１６と接続されている。

【0084】

第２の実施形態では、生成モデルを画像変換に応用したモデルを画像生成部として利用する。画像生成部６０は、生成モデルとしてCycleGANを構築する。CycleGANでは、あるクラスＣ１とクラスＣ２の間の変換を求める。CycleGANでは、２つのクラスに対し、「Generator」と「Discriminator」を用意したネットワークを用いる。クラスＣ１の「Generator」は、クラスＣ２の画像をクラスＣ１の画像に変換する分布を学習する。クラスＣ１の「Discriminator」は本物のクラスＣ１の画像と変換後の画像を見分ける。クラスＣ２の「Generator」と「Discriminator」は、その逆を行う。

【0085】

CycleGANの学習においても、ＣＮＮを用いることが主流である。「Discriminator」の学習は通常のGANと同様であり、「Generator」は入力及び出力に画像を用いて、適切な変換を学習させる。

【0086】

図７は、画像生成部６０の主要な機能を示す機能ブロック図である。画像生成部６０は、主として第１生成器６２と、第１識別器６４と、第２生成器６６と、第２識別器６８とから構成される。

【0087】

第１生成器６２はクラスＣ１の「Generator」に相当し、第１識別器６４はクラスＣ１の「Discriminator」に相当する。また、第２生成器６６はクラスＣ２の「Generator」に相当し、第２識別器６８はクラスＣ２の「Discriminator」に相当する。

【0088】

第１生成器６２は、特殊光画像１６Ａである画像ｘ０２を入力とし、画像ｘ０２を通常光画像に変換した通常光変換画像である画像ｘ１１を生成する。第１識別器６４は、生成された画像ｘ１１と学習用画像ｘ０１として用意した通常光画像１４Ａとを入力とし、入力された画像が、生成データか学習データかを分類する。

【0089】

また、第２生成器６６は、通常光画像１４Ａである画像ｘ０１（第２の波長帯域光で撮影された第２の内視鏡画像の一例）を入力とし、画像ｘ０１を特殊光画像に変換した特殊光変換画像である画像ｘ１２（第１の波長帯域光の第１の内視鏡画像の一例）を生成する。第２識別器６８は、生成された画像ｘ１２と学習用画像ｘ０２として用意した特殊光画像１６Ａとを入力とし、入力された画像が、生成データか学習データかを分類する。

【0090】

さらに、第１生成器６２は、第２生成器６６が生成した特殊光変換画像である画像ｘ１２を入力とし、画像ｘ１２の通常光変換画像である画像ｘ２１を生成する。第１識別器６４は、生成された画像ｘ２１と学習用画像ｘ０１とを入力とし、入力された画像が、生成データか学習データかを分類する。

【0091】

同様に、第２生成器６６は、第１生成器６２が生成した通常光変換画像である画像ｘ１１を入力とし、画像ｘ１１の特殊光変換画像である画像ｘ２２を生成する。第２識別器６８は、生成された画像ｘ２２と学習用画像ｘ０２とを入力とし、入力された画像が、生成データか学習データかを分類する。

【0092】

この学習によって獲得された第２生成器６６が生成モデルである。このように、通常光画像１４Ａと特殊光画像１６Ａとを用いた学習により得られた第２生成器６６によれば、白色光画像から第２識別器６８に識別されない特殊光画像の変換を行うということができる。内視鏡画像学習方法については、第１の実施形態と同様である。

【0093】

第２の実施形態の生成モデルによれば、変換前の通常光画像１４Ａの構図のまま色味だけを変換することが可能である。生成モデルの作成に用いた多数の画像から、統計的に最適な変換方法を学習するため、より自然な画像生成が期待できる。

【0094】

特許文献１に記載の技術では、RGB（Red Green Blue）の画素値に３×３の行列演算を行っており、表現力が比較的小さい。本実施形態では、生成モデルとしてGANを使用したため、大きなパラメータによる非線形演算により、変換の表現力が比較的大きい。

【0095】

GANでは畳み込み演算を行うため、単に画素値を線形変換するのではなく、周囲の画素の情報も使用して変換することができる。

【0096】

また、通常光画像１４Ａと特殊光変換画像とでは、病変の画像情報の位置が変化しないため、特殊光変換画像の画像認識の正解を示す正解データは正解データ１４Ｂを共通に使用することができる。したがって、病変が写った大量の特殊光画像を撮影して収集し、正解データの色塗り及び学習という工程を経るよりも、効率的に学習モデルの開発をすることができる。なお、特殊光変換画像の画像認識の正解を示す正解データは、通常光画像１４Ａの正解データを用いて生成した正解データであってもよい。

【0097】

さらに、新しい特殊光での撮影を行う内視鏡システムがリリースされた際も、生成モデルさえ作成すれば、過去の正解付きデータを再利用して学習データを作成することができる。

【0098】

＜第３の実施形態＞
内視鏡画像学習装置を適用した内視鏡システムについて説明する。

【0099】

〔内視鏡システムの構成〕
図８は、第３の実施形態に係る内視鏡システム１００を示す外観図である。図８に示すように、内視鏡システム１００は、内視鏡１１２と、光源装置１１４と、プロセッサ装置１１６と、表示部１１８と、入力部１２０とを備えている。

【0100】

内視鏡１１２は、被験者の肛門から挿入され、直腸及び大腸等を観察するために用いられる下部内視鏡である。内視鏡１１２は、光源装置１１４と光学的に接続される。また、内視鏡１１２は、プロセッサ装置１１６と電気的に接続される。

【0101】

内視鏡１１２は、被験者の体腔内に挿入される挿入部１１２Ａと、挿入部１１２Ａの基端部分に設けられた操作部１１２Ｂと、挿入部１１２Ａの先端側に設けられた湾曲部１１２Ｃと、先端部１１２Ｄとを有している。

【0102】

操作部１１２Ｂには、アングルノブ１１２Ｅと、モード切替スイッチ１１３とが設けられている。

【0103】

アングルノブ１１２Ｅを操作することにより、湾曲部１１２Ｃが湾曲動作する。この湾曲動作によって先端部１１２Ｄが所望の方向に向けられる。

【0104】

モード切替スイッチ１１３は、観察モードの切り替え操作に用いられる。内視鏡システム１００は、照射光の波長パターンがそれぞれ異なる複数の観察モードを有している。医師は、モード切替スイッチ１１３を操作することにより、所望の観察モードに設定することができる。内視鏡システム１００は、波長パターンと画像処理との組み合わせによって、設定された観察モードに応じた画像を生成して表示部１１８に表示する。

【0105】

また、操作部１１２Ｂには、不図示の取得指示入力部が設けられている。取得指示入力部は、医師が静止画の取得指示を入力するためのインターフェースである。取得指示入力部は、静止画の取得指示を受け付ける。取得指示入力部において受け付けた静止画の取得指示は、プロセッサ装置１１６に入力される。

【0106】

プロセッサ装置１１６は、表示部１１８及び入力部１２０と電気的に接続される。表示部１１８は、観察対象の画像及び観察対象の画像に関連する情報等を出力表示する表示デバイスである。入力部１２０は、内視鏡システム１００の機能設定及び各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。

【0107】

図９は、内視鏡システム１００の機能を示すブロック図である。図９に示すように、光源装置１１４は、第１レーザ光源１２２Ａと、第２レーザ光源１２２Ｂと、光源制御部１２４とを備えている。

【0108】

第１レーザ光源１２２Ａは、中心波長４４５ｎｍの青色レーザ光源である。第２レーザ光源１２２Ｂは、中心波長４０５ｎｍの紫色レーザ光源である。第１レーザ光源１２２Ａ及び第２レーザ光源１２２Ｂとして、レーザダイオードを用いることができる。第１レーザ光源１２２Ａ及び第２レーザ光源１２２Ｂの発光は、光源制御部１２４により個別に制御される。第１レーザ光源１２２Ａと第２レーザ光源１２２Ｂとの発光強度比は変更自在になっている。

【0109】

また、図９に示すように、内視鏡１１２は、光ファイバ１２８Ａと、光ファイバ１２８Ｂと、蛍光体１３０と、拡散部材１３２と、撮像レンズ１３４と、撮像素子１３６と、アナログデジタル変換部１３８とを備えている。

【0110】

第１レーザ光源１２２Ａと、第２レーザ光源１２２Ｂと、光ファイバ１２８Ａと、光ファイバ１２８Ｂと、蛍光体１３０と、拡散部材１３２とによって、照射部が構成される。

【0111】

第１レーザ光源１２２Ａから出射されるレーザ光は、光ファイバ１２８Ａによって、内視鏡１１２の先端部１１２Ｄに配置された蛍光体１３０に照射される。蛍光体１３０は、第１レーザ光源１２２Ａからの青色レーザ光の一部を吸収して緑色～黄色に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体１３０から出射する光は、第１レーザ光源１２２Ａからの青色レーザ光を励起光とする緑色～黄色の励起光Ｌ１１と、蛍光体１３０に吸収されずに透過した青色のレーザ光Ｌ１２とが合わされて、白色（疑似白色）の光Ｌ１となる。

【0112】

なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、Ｒ、Ｇ、Ｂ等、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。

【0113】

一方、第２レーザ光源１２２Ｂから出射されるレーザ光は、光ファイバ１２８Ｂによって、内視鏡１１２の先端部１１２Ｄに配置された拡散部材１３２に照射される。拡散部材１３２は、透光性を有する樹脂材料等を用いることができる。拡散部材１３２から出射する光は、照射領域内において光量が均一化された狭帯域波長の光Ｌ２となる。

【0114】

図１０は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。光源制御部１２４は、第１レーザ光源１２２Ａと第２レーザ光源１２２Ｂとの光量比を変更する。これにより、光Ｌ１と光Ｌ２との光量比が変更され、光Ｌ１と光Ｌ２との合成光である照射光Ｌ０の波長パターンが変更される。したがって、観察モードに応じて異なる波長パターンの照射光Ｌ０を照射することができる。

【0115】

図９の説明に戻り、撮像レンズ１３４と、撮像素子１３６と、アナログデジタル変換部１３８とによって、撮影部（カメラ）が構成される。撮影部は、内視鏡１１２の先端部１１２Ｄに配置される。

【0116】

撮像レンズ１３４は、入射した光を撮像素子１３６に結像させる。撮像素子１３６は、受光した光に応じたアナログ信号を生成する。撮像素子１３６としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサが用いられる。撮像素子１３６から出力されるアナログ信号は、アナログデジタル変換部１３８によりデジタル信号に変換され、プロセッサ装置１１６に入力される。

【0117】

また、プロセッサ装置１１６は、撮影制御部１４０と、画像処理部１４２と、画像取得部１４４と、画像認識部１４６とを備えている。

【0118】

撮影制御部１４０は、光源装置１１４の光源制御部１２４と、内視鏡１１２の撮像素子１３６及びアナログデジタル変換部１３８と、プロセッサ装置１１６の画像処理部１４２とを制御することで、内視鏡システム１００による動画及び静止画の撮影を統括制御する。

【0119】

画像処理部１４２は、内視鏡１１２のアナログデジタル変換部１３８から入力されたデジタル信号に画像処理を施し、画像を示す画像データ（以下、画像と表記する）を生成する。画像処理部１４２は、撮影時の照射光の波長パターンに応じた画像処理を施す。

【0120】

画像取得部１４４は、画像処理部１４２が生成した画像を取得する。即ち、画像取得部１４４は、被験者の体腔内（生体内の一例）を一定のフレームレートで時系列的に撮影した複数の画像を順次取得する。なお、画像取得部１４４は、入力部１２０から入力された画像、又は記憶部１６２に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。これらの場合の画像も、時系列的に撮影した複数の画像であることが好ましい。

【0121】

画像認識部１４６（内視鏡画像認識装置の一例）は、内視鏡画像学習装置１０によって学習された学習モデルを用いて、画像取得部１４４が取得した画像の画像認識を行う。本実施形態では、画像取得部１４４が取得した画像から病変を検出する。ここでの病変とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。病変としては、例えば、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕又はＥＳＤ（Endoscopic Submucosal Dissection）瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等が挙げられる。

【0122】

表示制御部１５８は、画像処理部１４２によって生成された画像を表示部１１８に表示させる。また、画像認識部１４６によって検出された病変を認識可能に画像に重畳表示してもよい。

【0123】

記憶制御部１６０は、画像処理部１４２によって生成された画像を記憶部１６２に記憶させる。例えば、静止画の取得指示に従って撮影された画像及び画像を撮影した際の照射光Ｌ０の波長パターンの情報等を記憶部１６２に記憶させる。

【0124】

記憶部１６２は、例えばハードディスク等のストレージ装置である。なお、記憶部１６２は、プロセッサ装置１１６に内蔵されたものに限定されない。例えば、プロセッサ装置１１６に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、不図示のネットワークを介して接続されていてもよい。

【0125】

このように構成された内視鏡システム１００は、通常は一定のフレームレートで動画撮影を行い、撮影した画像を表示部１１８に表示する。また、撮影された動画から、病変を検出し、検出した病変を認識可能に動画に重畳して表示部１１８に表示する。

【0126】

内視鏡システム１００によれば、内視鏡画像学習装置１０によって学習された学習モデルを用いた画像認識部１４６によって内視鏡画像の画像認識を行うので、特殊光画像の画像認識を適切に行うことができる。

【0127】

＜付記＞
上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。

【0128】

（付記１）
医療画像解析処理部は、医療画像（内視鏡画像）の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

【0129】

（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

【0130】

（付記３）
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。

【0131】

（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

【0132】

（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

【0133】

（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。

【0134】

（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

【0135】

（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

【0136】

（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

【0137】

（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

【0138】

（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

【0139】

（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

【0140】

（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

【0141】

（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

【0142】

（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

【0143】

（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。

【0144】

（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるRGB（Red Green Blue）あるいはCMY（Cyan, Magenta, Yellow）の色情報に基づく演算により得る医療画像処理装置。

【0145】

（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。

【0146】

（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。

【0147】

（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

【0148】

（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

【0149】

＜その他＞
上記の内視鏡画像学習方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。

【0150】

ここまで説明した実施形態において、例えば、内視鏡画像学習装置１０及び内視鏡画像学習装置５０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0151】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

【0152】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

【0153】

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

【符号の説明】

【0154】

１０…内視鏡画像学習装置
１２…通信部
１４…第１データベース
１４Ａ…通常光画像
１４Ｂ…正解データ
１６…第２データベース
１６Ａ…特殊光画像
１６Ｂ…正解データ
１８…操作部
２６…表示部
３０…機械学習部
３２…ＣＮＮ
３２Ａ…入力層
３２Ｂ…中間層
３２Ｃ…出力層
３４…誤差算出部
３６…パラメータ更新部
４０…画像生成部
４２…生成器
４４…識別器
５０…内視鏡画像学習装置
６０…画像生成部
６２…第１生成器
６４…第１識別器
６６…第２生成器
６８…第２識別器
１００…内視鏡システム
１１２…内視鏡
１１２Ａ…挿入部
１１２Ｂ…操作部
１１２Ｃ…湾曲部
１１２Ｄ…先端部
１１２Ｅ…アングルノブ
１１３…モード切替スイッチ
１１４…光源装置
１１６…プロセッサ装置
１１８…表示部
１２０…入力部
１２２Ａ…第１レーザ光源
１２２Ｂ…第２レーザ光源
１２４…光源制御部
１２８Ａ…光ファイバ
１２８Ｂ…光ファイバ
１３０…蛍光体
１３２…拡散部材
１３４…撮像レンズ
１３６…撮像素子
１３８…アナログデジタル変換部
１４０…撮影制御部
１４２…画像処理部
１４４…画像取得部
１４６…画像認識部
１５８…表示制御部
１６０…記憶制御部
１６２…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】