知財求人 - 知財ポータルサイト「IP Force」
▶ ソニー・オリンパスメディカルソリューションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-02
(45)【発行日】2024-10-10
(54)【発明の名称】学習装置及び医療用画像処理装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20241003BHJP
A61B 1/00 20060101ALI20241003BHJP
【ＦＩ】
A61B1/045 614
A61B1/045 616
A61B1/00 511
【請求項の数】
9
(21)【出願番号】P 2022501828
(86)(22)【出願日】2021-02-09
(86)【国際出願番号】 JP2021004847
(87)【国際公開番号】W WO2021166749
(87)【国際公開日】2021-08-26
【審査請求日】2023-12-21
(31)【優先権主張番号】P 2020024944
(32)【優先日】2020-02-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】313009556
【氏名又は名称】ソニー・オリンパスメディカルソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】道畑 泰平
【審査官】渡戸 正義
(56)【参考文献】
【文献】国際公開第２０２０／０１７２１３（ＷＯ，Ａ１）
【文献】国際公開第２０２０／００３９９１（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０２２０２７（ＷＯ，Ａ１）
【文献】太田雄大、外２名，テクスチャと色特徴を用いた機械学習による舌苔抽出，第３６回日本医用画像工学会大会予稿集，2017年07月27日，ｐ．３３２－３３５
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
(57)【特許請求の範囲】
【請求項1】
第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を取得する教師画像取得部と、前記第２の教師画像内の特異領域を特定する特異領域特定部と、
前記第１の教師画像内における前記特異領域に対応する画素位置の特異対応領域の特徴量を抽出する第１の特徴量抽出部と、
前記特徴量に基づいて、前記特異対応領域を機械学習して学習モデルを生成する特異対応領域学習部とを備え、
前記特異領域特定部は、
前記第２の教師画像において、画素レベルが特定の閾値以上となる領域を前記特異領域として特定するとともに、前記特異領域として、画素レベルが第１の範囲内となる第１の特異領域と、画素レベルが前記第１の範囲よりも高い第２の範囲内となる第２の特異領域とをそれぞれ特定し、
前記第１の特徴量抽出部は、
前記第１の教師画像内における前記特異対応領域である前記第１の特異領域に対応する画素位置の第１の特異対応領域と、前記第１の教師画像内における前記特異対応領域である前記第２の特異領域に対応する画素位置の第２の特異対応領域との特徴量をそれぞれ抽出し、
前記特異対応領域学習部は、
前記特徴量に基づいて、前記第１の特異対応領域と前記第２の特異対応領域とをそれぞれ機械学習する学習装置。
【請求項2】
前記被検体は、前記第２の波長帯域の励起光が照射されることで蛍光を発する被検体であり、
前記第２の教師画像は、
前記励起光が照射された前記被検体からの前記蛍光を撮像した画像であり、
前記画素レベルは、
前記第２の教師画像における前記蛍光の成分の強度である請求項１に記載の学習装置。
【請求項3】
第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を取得する教師画像取得部と、
前記第２の教師画像内の特異領域を特定する特異領域特定部と、
前記第１の教師画像内における前記特異領域に対応する画素位置の特異対応領域の特徴量を抽出する第１の特徴量抽出部と、
前記特徴量に基づいて、前記特異対応領域を機械学習して学習モデルを生成する特異対応領域学習部とを備え、
前記特徴量は、
色及び輝度の少なくとも一方に関する特徴量を含み、
前記特異対応領域学習部は、
前記特異対応領域を機械学習して学習モデルを生成する際、青の色成分に関する前記特徴量の重みを他の色成分に関する前記特徴量の重みよりも低くする学習装置。
【請求項4】
前記第１の波長帯域の光は、交互に繰り返される第１の期間と第２の期間とにおいて、前記第１の期間に発光した光であり、
前記第２の波長帯域の光は、
前記第２の期間に発光した光である請求項１に記載の学習装置。
【請求項5】
第１の波長帯域の光が照射された観察対象からの光を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像の領域毎の特徴量を抽出する第２の特徴量抽出部と、
前記特徴量に基づいて、機械学習により構築された学習モデル用いて前記撮像画像内における特異対応領域を特定する特異対応領域特定部とを備え、
前記学習モデルは、
前記第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を用い、前記第１の教師画像内における前記第２の教師画像内の特異領域に対応する画素位置の前記特異対応領域の特徴量に基づいて、前記特異対応領域を機械学習して生成された学習モデルであり、
前記特異領域は、
前記第２の教師画像において、画素レベルが特定の閾値以上となる領域であるとともに、画素レベルが第１の範囲内となる第１の特異領域と、画素レベルが前記第１の範囲よりも高い第２の範囲内となる第２の特異領域とを含み、
前記学習モデルは、
前記第１の教師画像内における前記特異対応領域である前記第１の特異領域に対応する画素位置の第１の特異対応領域と、前記第１の教師画像内における前記特異対応領域である前記第２の特異領域に対応する画素位置の第２の特異対応領域との特徴量に基づいて、前記第１の特異対応領域と前記第２の特異対応領域とをそれぞれ機械学習して生成された学習モデルである医療用画像処理装置。
【請求項6】
前記被検体は、前記第２の波長帯域の励起光が照射されることで蛍光を発する被検体であり、
前記第２の教師画像は、
前記励起光が照射された前記被検体からの前記蛍光を撮像した画像であり、
前記画素レベルは、
前記第２の教師画像における前記蛍光の成分の強度である請求項５に記載の医療用画像処理装置。
【請求項7】
第１の波長帯域の光が照射された観察対象からの光を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像の領域毎の特徴量を抽出する第２の特徴量抽出部と、
前記特徴量に基づいて、機械学習により構築された学習モデル用いて前記撮像画像内における特異対応領域を特定する特異対応領域特定部とを備え、
前記学習モデルは、
前記第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を用い、前記第１の教師画像内における前記第２の教師画像内の特異領域に対応する画素位置の前記特異対応領域の特徴量に基づいて、前記特異対応領域を機械学習して生成された学習モデルであり、
前記特徴量は、
色及び輝度の少なくとも一方に関する特徴量を含み、
前記学習モデルは、
青の色成分に関する前記特徴量の重みを他の色成分に関する前記特徴量の重みを低くした状態で、前記特異対応領域を機械学習して生成された学習モデルである医療用画像処理装置。
【請求項8】
前記第１の波長帯域の光は、交互に繰り返される第１の期間と第２の期間とにおいて、前記第１の期間に発光した光であり、
前記第２の波長帯域の光は、
前記第２の期間に発光した光である請求項５に記載の医療用画像処理装置。
【請求項9】
前記撮像画像内において、前記特異対応領域を他の領域と識別して表示する表示画像を生成する表示制御部をさらに備える請求項５に記載の医療用画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、学習装置及び医療用画像処理装置に関する。
【背景技術】
【0002】
従来、生体内にインドシアニングリーン等の蛍光物質を投与し、当該蛍光物質を励起させる励起光を観察対象に照射することによって当該蛍光物質が集積した病変部を蛍光観察する硬性鏡システムが知られている（例えば、特許文献１参照）。
特許文献１に記載の硬性鏡システムでは、以下の第１，第２の撮像画像をそれぞれ取得し、当該第１，第２の撮像画像を対応する画素同士で重畳して重畳画像を生成している。
第１の撮像画像は、白色光である通常光が観察対象に照射され、当該観察対象で反射された通常光を撮像素子にて撮像した画像である。
第２の撮像画像は、インドシアニングリーン等の蛍光物質を励起させる励起光が観察対象に照射され、当該励起光によって励起された当該観察対象からの蛍光を高感度撮像素子にて撮像した画像である。
特許文献１に記載の硬性鏡システムでは、以下の第１，第２の撮像画像をそれぞれ取得し、当該第１，第２の撮像画像を対応する画素同士で重畳して重畳画像を生成している。
第１の撮像画像は、白色光である通常光が観察対象に照射され、当該観察対象で反射された通常光を撮像素子にて撮像した画像である。
第２の撮像画像は、インドシアニングリーン等の蛍光物質を励起させる励起光が観察対象に照射され、当該励起光によって励起された当該観察対象からの蛍光を高感度撮像素子にて撮像した画像である。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－２９８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の硬性鏡システムでは、病変部（観察対象から発した蛍光の領域（以下、蛍光領域と記載））を観察するためには、生体内にインドシアニングリーン等の蛍光物質を投与する必要がある。例えば、当該投与を行わずに、第１の撮像画像から、蛍光領域を推測することができれば、利便性を向上させることが可能となる。
【0005】
本開示は、上記に鑑みてなされたものであって、利便性を向上させることができる学習装置及び医療用画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る学習装置は、第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を取得する教師画像取得部と、前記第２の教師画像内の特異領域を特定する特異領域特定部と、前記第１の教師画像内における前記特異領域に対応する画素位置の特異対応領域の特徴量を抽出する第１の特徴量抽出部と、前記特徴量に基づいて、前記特異対応領域を機械学習して学習モデルを生成する特異対応領域学習部とを備える。
【0007】
また、本開示に係る学習装置では、上記開示において、前記被検体は、前記第２の波長帯域の励起光が照射されることで蛍光を発する被検体であり、前記第２の教師画像は、前記励起光が照射された前記被検体からの前記蛍光を撮像した画像であり、前記特異領域特定部は、前記第２の教師画像において、前記蛍光の成分の強度が特定の閾値以上となる領域を前記特異領域として特定する。
【0008】
また、本開示に係る学習装置では、上記開示において、前記特異領域特定部は、前記第２の教師画像において、画素レベルが特定の閾値以上となる領域を前記特異領域として特定する。
【0009】
また、本開示に係る学習装置では、上記開示において、前記特異領域特定部は、前記特異領域として、画素レベルが第１の範囲内となる第１の特異領域と、画素レベルが前記第１の範囲よりも高い第２の範囲内となる第２の特異領域とをそれぞれ特定し、前記第１の特徴量抽出部は、前記第１の教師画像内における前記特異対応領域である前記第１の特異領域に対応する画素位置の第１の特異対応領域と、前記第１の教師画像内における前記特異対応領域である前記第２の特異領域に対応する画素位置の第２の特異対応領域との特徴量をそれぞれ抽出し、前記特異対応領域学習部は、前記特徴量に基づいて、前記第１の特異対応領域と前記第２の特異対応領域とをそれぞれ機械学習する。
【0010】
また、本開示に係る学習装置では、上記開示において、前記特徴量は、色及び輝度の少なくとも一方に関する特徴量を含み、前記特異対応領域学習部は、前記特異対応領域を機械学習して学習モデルを生成する際、青の色成分に関する前記特徴量の重みを他の色成分に関する前記特徴量の重みよりも低くする。
【0011】
また、本開示に係る学習装置では、上記開示において、前記第１の波長帯域の光は、交互に繰り返される第１の期間と第２の期間とにおいて、前記第１の期間に発光した光であり、前記第２の波長帯域の光は、前記第２の期間に発光した光である。
【0012】
本開示に係る医療用画像処理装置は、第１の波長帯域の光が照射された観察対象からの光を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像内の領域毎の特徴量を抽出する第２の特徴量抽出部と、前記特徴量に基づいて、機械学習により構築された学習モデル用いて前記撮像画像内における特異対応領域を特定する特異対応領域特定部とを備え、前記学習モデルは、前記第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を用い、前記第１の教師画像内における前記第２の教師画像内の特異領域に対応する画素位置の前記特異対応領域の特徴量に基づいて、前記特異対応領域を機械学習して生成された学習モデルである。
【0013】
また、本開示に係る医療用画像処理装置では、上記開示において、前記被検体は、前記第２の波長帯域の励起光が照射されることで蛍光を発する被検体であり、前記第２の教師画像は、前記励起光が照射された前記被検体からの前記蛍光を撮像した画像であり、前記特異領域は、前記第２の教師画像において、前記蛍光の成分の強度が特定の閾値以上となる領域である。
【0014】
また、本開示に係る医療用画像処理装置では、上記開示において、前記特異領域は、前記第２の教師画像において、画素レベルが特定の閾値以上となる領域である。
【0015】
また、本開示に係る医療用画像処理装置では、上記開示において、前記特異領域は、画素レベルが第１の範囲内となる第１の特異領域と、画素レベルが前記第１の範囲よりも高い第２の範囲内となる第２の特異領域とを含み、前記学習モデルは、前記第１の教師画像内における前記特異対応領域である前記第１の特異領域に対応する画素位置の第１の特異対応領域と、前記第１の教師画像内における前記特異対応領域である前記第２の特異領域に対応する画素位置の第２の特異対応領域との特徴量に基づいて、前記第１の特異対応領域と前記第２の特異対応領域とをそれぞれ機械学習して生成された学習モデルである。
【0016】
また、本開示に係る医療用画像処理装置では、上記開示において、前記特徴量は、色及び輝度の少なくとも一方に関する特徴量を含み、前記学習モデルは、青の色成分に関する前記特徴量の重みを他の色成分に関する前記特徴量の重みを低くした状態で、前記特異対応領域を機械学習して生成された学習モデルである。
【0017】
また、本開示に係る医療用画像処理装置では、上記開示において、前記第１の波長帯域の光は、交互に繰り返される第１の期間と第２の期間とにおいて、前記第１の期間に発光した光であり、前記第２の波長帯域の光は、前記第２の期間に発光した光である。
【0018】
また、本開示に係る医療用画像処理装置では、上記開示において、前記撮像画像内において、前記特異対応領域を他の領域と識別して表示する表示画像を生成する表示制御部をさらに備える。
【発明の効果】
【0019】
本開示に係る学習装置及び医療用画像処理装置によれば、利便性を向上させることができる。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
以下に、図面を参照して、本開示を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【0022】
〔１．学習システムの概略構成〕
図１は、本実施の形態に係る学習システム１の構成を示す図である。
学習システム１は、近赤外励起光を観察対象に照射した際に蛍光が発せられる蛍光領域（特異領域）を推測するために用いる学習モデルを生成するシステムである。この学習システム１は、図１に示すように、教師画像生成装置２と、学習装置３とを備える。そして、これら教師画像生成装置２及び学習装置３は、ネットワークＮＥ（図１）を介して有線または無線により通信を行う。
なお、図１では、教師画像生成装置２を１台のみ図示しているが、当該教師画像生成装置２の台数は、１台に限らず、複数台であっても構わない。
図１は、本実施の形態に係る学習システム１の構成を示す図である。
学習システム１は、近赤外励起光を観察対象に照射した際に蛍光が発せられる蛍光領域（特異領域）を推測するために用いる学習モデルを生成するシステムである。この学習システム１は、図１に示すように、教師画像生成装置２と、学習装置３とを備える。そして、これら教師画像生成装置２及び学習装置３は、ネットワークＮＥ（図１）を介して有線または無線により通信を行う。
なお、図１では、教師画像生成装置２を１台のみ図示しているが、当該教師画像生成装置２の台数は、１台に限らず、複数台であっても構わない。
【0023】
〔２．教師画像生成装置の構成〕
先ず、教師画像生成装置２の構成について説明する。
図２は、教師画像生成装置２の構成を示す図である。
教師画像生成装置２は、学習装置３での機械学習に用いられる教師画像を生成する装置である。この教師画像生成装置２は、図２に示すように、挿入部２１と、光源装置２２と、ライトガイド２３と、カメラヘッド２４と、第１の伝送ケーブル２５と、表示装置２６と、第２の伝送ケーブル２７と、制御装置２８と、第３の伝送ケーブル２９とを備える。
先ず、教師画像生成装置２の構成について説明する。
図２は、教師画像生成装置２の構成を示す図である。
教師画像生成装置２は、学習装置３での機械学習に用いられる教師画像を生成する装置である。この教師画像生成装置２は、図２に示すように、挿入部２１と、光源装置２２と、ライトガイド２３と、カメラヘッド２４と、第１の伝送ケーブル２５と、表示装置２６と、第２の伝送ケーブル２７と、制御装置２８と、第３の伝送ケーブル２９とを備える。
【0024】
挿入部２１は、硬性内視鏡である。すなわち、挿入部２１は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部２１内には、１または複数のレンズを用いて構成され、生体内（被検体）からの光を集光する光学系が設けられている。
【0025】
光源装置２２は、ライトガイド２３の一端が接続され、制御装置２８による制御の下、当該ライトガイド２３の一端に生体内に照射する光を供給する。この光源装置２２は、図２に示すように、第１の光源２２１と、第２の光源２２２とを備える。
第１の光源２２１は、第１の波長帯域の通常光を出射（発光）する。本実施の形態では、第１の光源２２１は、白色光を出射するＬＥＤ（Light Emitting Diode）で構成されている。
第２の光源２２２は、第１の波長帯域とは異なる第２の波長帯域の励起光を出射（発光）する。本実施の形態では、近赤外の波長帯域の近赤外励起光を出射する半導体レーザで構成されている。当該近赤外励起光は、インドシアニングリーン等の蛍光物質を励起する励起光である。また、当該インドシアニングリーン等の蛍光物質は、当該近赤外励起光で励起すると、当該近赤外励起光の波長帯域の中心波長よりも長波長側に中心波長を有する蛍光を発する。なお、近赤外励起光の波長帯域と蛍光の波長帯域とは、一部が重なり合うように設定してもよく、あるいは、全く重なり合わないように設定しても構わない。
第１の光源２２１は、第１の波長帯域の通常光を出射（発光）する。本実施の形態では、第１の光源２２１は、白色光を出射するＬＥＤ（Light Emitting Diode）で構成されている。
第２の光源２２２は、第１の波長帯域とは異なる第２の波長帯域の励起光を出射（発光）する。本実施の形態では、近赤外の波長帯域の近赤外励起光を出射する半導体レーザで構成されている。当該近赤外励起光は、インドシアニングリーン等の蛍光物質を励起する励起光である。また、当該インドシアニングリーン等の蛍光物質は、当該近赤外励起光で励起すると、当該近赤外励起光の波長帯域の中心波長よりも長波長側に中心波長を有する蛍光を発する。なお、近赤外励起光の波長帯域と蛍光の波長帯域とは、一部が重なり合うように設定してもよく、あるいは、全く重なり合わないように設定しても構わない。
【0026】
そして、光源装置２２では、制御装置２８による制御の下、交互に繰り返される第１，第２の期間のうち、第１の期間において、第１の光源２２１が駆動する。すなわち、第１の期間では、光源装置２２は、通常光（白色光）を出射する。また、光源装置２２では、制御装置２８による制御の下、第２の期間において、第２の光源２２２が駆動する。すなわち、第２の期間では、光源装置２２は、近赤外励起光を出射する。
なお、本実施の形態では、光源装置２２は、制御装置２８とは別体で構成されているが、これに限らず、当該制御装置２８内部に設けられた構成を採用しても構わない。
なお、本実施の形態では、光源装置２２は、制御装置２８とは別体で構成されているが、これに限らず、当該制御装置２８内部に設けられた構成を採用しても構わない。
【0027】
ライトガイド２３は、一端が光源装置２２に着脱自在に接続されるとともに、他端が挿入部２１に着脱自在に接続される。そして、ライトガイド２３は、光源装置２２から供給された光（通常光や近赤外励起光）を一端から他端に伝達し、挿入部２１に供給する。生体内に通常光（白色光）が照射された場合には、当該生体内で反射された通常光が挿入部２１内の光学系により集光される。なお、以下では、説明の便宜上、挿入部２１内の光学系により集光された当該通常光を第１の被写体像と記載する。また、生体内に近赤外励起光が照射された場合には、当該生体内で反射された近赤外励起光と、当該生体内における病変部に集積するインドシアニングリーン等の蛍光物質が励起され、当該蛍光物質から発せられた蛍光とが挿入部２１内の光学系により集光される。なお、以下では、説明の便宜上、挿入部２１内の光学系により近赤外励起光と蛍光とが集光された後、後述する励起光カットフィルタ２４２ａを透過した蛍光を第２の被写体像と記載する。
【0028】
カメラヘッド２４は、挿入部２１の基端（接眼部２１１（図２））に着脱自在に接続される。そして、カメラヘッド２４は、制御装置２８による制御の下、第１の被写体像（通常光）や第２の被写体像（蛍光）を撮像し、当該撮像による画像信号（ＲＡＷ信号）を出力する。当該画像信号は、例えば、４Ｋ以上の画像信号である。
なお、カメラヘッド２４の詳細な構成については、後述する「２－１．カメラヘッドの構成」において説明する。
なお、カメラヘッド２４の詳細な構成については、後述する「２－１．カメラヘッドの構成」において説明する。
【0029】
第１の伝送ケーブル２５は、一端がコネクタＣＮ１（図２）を介して制御装置２８に着脱自在に接続され、他端がコネクタＣＮ２（図２）を介してカメラヘッド２４に着脱自在に接続される。そして、第１の伝送ケーブル２５は、カメラヘッド２４から出力される画像信号等を制御装置２８に伝送するとともに、制御装置２８から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド２４にそれぞれ伝送する。
なお、第１の伝送ケーブル２５を介したカメラヘッド２４から制御装置２８への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第１の伝送ケーブル２５を介した制御装置２８からカメラヘッド２４への制御信号、同期信号、クロックの伝送も同様である。
なお、第１の伝送ケーブル２５を介したカメラヘッド２４から制御装置２８への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第１の伝送ケーブル２５を介した制御装置２８からカメラヘッド２４への制御信号、同期信号、クロックの伝送も同様である。
【0030】
表示装置２６は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、制御装置２８による制御の下、当該制御装置２８からの映像信号に基づく画像を表示する。
第２の伝送ケーブル２７は、一端が表示装置２６に着脱自在に接続され、他端が制御装置２８に着脱自在に接続される。そして、第２の伝送ケーブル２７は、制御装置２８にて処理された映像信号を表示装置２６に伝送する。
第２の伝送ケーブル２７は、一端が表示装置２６に着脱自在に接続され、他端が制御装置２８に着脱自在に接続される。そして、第２の伝送ケーブル２７は、制御装置２８にて処理された映像信号を表示装置２６に伝送する。
【0031】
制御装置２８は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）等で構成され、光源装置２２、カメラヘッド２４、及び表示装置２６の動作を統括的に制御する。
なお、制御装置２８の詳細な構成については、後述する「２－２．制御装置の構成」において説明する。
第３の伝送ケーブル２９は、一端が光源装置２２に着脱自在に接続され、他端が制御装置２８に着脱自在に接続される。そして、第３の伝送ケーブル２９は、制御装置２８からの制御信号を光源装置２２に伝送する。
なお、制御装置２８の詳細な構成については、後述する「２－２．制御装置の構成」において説明する。
第３の伝送ケーブル２９は、一端が光源装置２２に着脱自在に接続され、他端が制御装置２８に着脱自在に接続される。そして、第３の伝送ケーブル２９は、制御装置２８からの制御信号を光源装置２２に伝送する。
【0032】
〔２－１．カメラヘッドの構成〕
次に、カメラヘッド２４の構成について説明する。
図３は、カメラヘッド２４及び制御装置２８の構成を示す図である。
なお、図３では、説明の便宜上、制御装置２８及びカメラヘッド２４と第１の伝送ケーブル２５との間のコネクタＣＮ１，ＣＮ２、制御装置２８及び表示装置２６と第２の伝送ケーブル２７との間のコネクタ、制御装置２８及び光源装置２２と第３の伝送ケーブル２９との間のコネクタの図示を省略している。
カメラヘッド２４は、図３に示すように、レンズユニット２４１と、撮像部２４２と、第１の通信部２４３とを備える。
次に、カメラヘッド２４の構成について説明する。
図３は、カメラヘッド２４及び制御装置２８の構成を示す図である。
なお、図３では、説明の便宜上、制御装置２８及びカメラヘッド２４と第１の伝送ケーブル２５との間のコネクタＣＮ１，ＣＮ２、制御装置２８及び表示装置２６と第２の伝送ケーブル２７との間のコネクタ、制御装置２８及び光源装置２２と第３の伝送ケーブル２９との間のコネクタの図示を省略している。
カメラヘッド２４は、図３に示すように、レンズユニット２４１と、撮像部２４２と、第１の通信部２４３とを備える。
【0033】
レンズユニット２４１は、１または複数のレンズを用いて構成され、第１の被写体像（通常光）や第２の被写体像（蛍光）を撮像部２４２（撮像素子２４２ｂ）の撮像面に結像する。
撮像部２４２は、制御装置２８による制御の下、生体内を撮像する。この撮像部２４２は、図３に示すように、励起光カットフィルタ２４２ａと、撮像素子２４２ｂと、信号処理部２４２ｃとを備える。
撮像部２４２は、制御装置２８による制御の下、生体内を撮像する。この撮像部２４２は、図３に示すように、励起光カットフィルタ２４２ａと、撮像素子２４２ｂと、信号処理部２４２ｃとを備える。
【0034】
励起光カットフィルタ２４２ａは、レンズユニット２４１と撮像素子２４２ｂとの間に設けられ、特定の波長帯域を除去するバンドストップフィルタで構成されている。すなわち、励起光カットフィルタ２４２ａは、生体内から撮像素子２４２ｂに至る当該生体内で反射された近赤外励起光の光路上に配置されている。なお、以下では、説明の便宜上、励起光カットフィルタ２４２ａにてカット（除去）する波長帯域をカット帯域と記載し、当該カット帯域よりも短波長側であって当該励起光カットフィルタ２４２ａを透過する波長帯域を短波側透過帯域と記載し、当該カット帯域よりも長波長側であって当該励起光カットフィルタ２４２ａを透過する波長帯域を長波側透過帯域と記載する。
【0035】
ここで、カット帯域は、近赤外励起光の波長帯域のうち少なくとも一部の波長帯域を含む。本実施の形態では、カット帯域は、近赤外励起光の波長帯域の全てを含む。また、長波側透過帯域は、蛍光の波長帯域の全てを含む。さらに、短波側透過帯域は、通常光（白色光）の波長帯域の全てを含む。
すなわち、励起光カットフィルタ２４２ａは、レンズユニット２４１から撮像素子２４２ｂに向かう第１の被写体像（通常光（白色光））を透過させる。一方、励起光カットフィルタ２４２ａは、レンズユニット２４１から撮像素子２４２ｂに向かう近赤外励起光及び蛍光については、近赤外励起光をカット（除去）し、蛍光（第２の被写体像）を透過させる。
すなわち、励起光カットフィルタ２４２ａは、レンズユニット２４１から撮像素子２４２ｂに向かう第１の被写体像（通常光（白色光））を透過させる。一方、励起光カットフィルタ２４２ａは、レンズユニット２４１から撮像素子２４２ｂに向かう近赤外励起光及び蛍光については、近赤外励起光をカット（除去）し、蛍光（第２の被写体像）を透過させる。
【0036】
撮像素子２４２ｂは、励起光カットフィルタ２４２ａを透過した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成されている。
【0037】
ここで、撮像素子２４２ｂの撮像面（受光面）には、透過させる光（Ｒ（赤），Ｇ（緑），Ｂ（青））の波長帯域に応じてグループ分けされた３つのフィルタ軍が所定の形式（例えば、ベイヤ配列）で配列されたカラーフィルタ２４２ｄ（図３）が設けられている。
具体的に、カラーフィルタ２４２ｄは、Ｒの波長帯域の光を主に透過させるＲフィルタ群と、Ｂの波長帯域の光を主に透過させるＢフィルタ群と、Ｇの波長帯域の光を主に透過させる第１のＧフィルタ群（Ｒフィルタ群と同一の列に配列）と、Ｇの波長帯域の光を主に透過させる第２のＧフィルタ群（Ｂフィルタ群と同一の列に配列）とを有する。なお、以下では、説明の便宜上、第１，第２のＧフィルタ群を纏めてＧフィルタ群と記載する。
ここで、Ｒ，Ｇ，Ｂの各フィルタ群は、蛍光についても透過させる。そして、撮像素子２４２ｂは、Ｒ，Ｇ，Ｂの波長帯域の光のみならず、蛍光の波長帯域の光に対しても感度を有する。
具体的に、カラーフィルタ２４２ｄは、Ｒの波長帯域の光を主に透過させるＲフィルタ群と、Ｂの波長帯域の光を主に透過させるＢフィルタ群と、Ｇの波長帯域の光を主に透過させる第１のＧフィルタ群（Ｒフィルタ群と同一の列に配列）と、Ｇの波長帯域の光を主に透過させる第２のＧフィルタ群（Ｂフィルタ群と同一の列に配列）とを有する。なお、以下では、説明の便宜上、第１，第２のＧフィルタ群を纏めてＧフィルタ群と記載する。
ここで、Ｒ，Ｇ，Ｂの各フィルタ群は、蛍光についても透過させる。そして、撮像素子２４２ｂは、Ｒ，Ｇ，Ｂの波長帯域の光のみならず、蛍光の波長帯域の光に対しても感度を有する。
【0038】
そして、撮像素子２４２ｂは、制御装置２８による制御の下、光源装置２２の発光タイミングに同期して、交互に繰り返される第１，第２の期間毎に撮像を行う。以下では、説明の便宜上、撮像素子２４２ｂにより第１の期間において第１の被写体像（通常光）を撮像することで生成された画像を第１の教師画像と記載し、撮像素子２４２ｂにより第２の期間において第２の被写体像（蛍光）を撮像することで生成された画像を第２の教師画像と記載する。また、第１，第２の教師画像を纏めて教師画像と記載する。
信号処理部２４２ｃは、撮像素子２４２ｂにて生成された教師画像（アナログ信号）に対して信号処理を行って教師画像（ＲＡＷ信号（デジタル信号））を出力する。
信号処理部２４２ｃは、撮像素子２４２ｂにて生成された教師画像（アナログ信号）に対して信号処理を行って教師画像（ＲＡＷ信号（デジタル信号））を出力する。
【0039】
第１の通信部２４３は、第１の伝送ケーブル２５を介して、撮像部２４２から出力される教師画像（ＲＡＷ信号（デジタル信号））を制御装置２８に送信するトランスミッタとして機能する。この第１の通信部２４３は、例えば、第１の伝送ケーブル２５を介して、制御装置２８との間で、１Ｇｂｐｓ以上の伝送レートで教師画像の通信を行う高速シリアルインターフェースで構成されている。
【0040】
〔２－２．制御装置の構成〕
次に、制御装置２８の構成について図３を参照しながら説明する。
制御装置２８は、図３に示すように、第２の通信部２８１と、メモリ２８２と、画像生成部２８３と、制御部２８４と、入力部２８５と、出力部２８６と、記憶部２８７と、第３の通信部２８８とを備える。
次に、制御装置２８の構成について図３を参照しながら説明する。
制御装置２８は、図３に示すように、第２の通信部２８１と、メモリ２８２と、画像生成部２８３と、制御部２８４と、入力部２８５と、出力部２８６と、記憶部２８７と、第３の通信部２８８とを備える。
【0041】
第２の通信部２８１は、第１の伝送ケーブル２５を介して、カメラヘッド２４（第１の通信部２４３）から出力される教師画像（ＲＡＷ信号（デジタル信号））を受信するレシーバとして機能する。この第２の通信部２８１は、例えば、第１の通信部２４３との間で、１Ｇｂｐｓ以上の伝送レートで教師画像の通信を行う高速シリアルインターフェースで構成されている。
メモリ２８２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等で構成されている。このメモリ２８２は、カメラヘッド２４（第１の通信部２４３）から順次、出力される教師画像を複数フレーム分、一時的に記憶可能とする。
メモリ２８２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等で構成されている。このメモリ２８２は、カメラヘッド２４（第１の通信部２４３）から順次、出力される教師画像を複数フレーム分、一時的に記憶可能とする。
【0042】
画像生成部２８３は、制御部２８４による制御の下、カメラヘッド２４（第１の通信部２４３）から順次、出力され、第２の通信部２８１にて受信した教師画像（ＲＡＷ信号（デジタル信号））を処理する。この画像生成部２８３は、図３に示すように、メモリコントローラ２８３ａと、第１の画像処理部２８３ｂと、第２の画像処理部２８３ｃと、表示制御部２８３ｄとを備える。
【0043】
メモリコントローラ２８３ａは、メモリ２８２への教師画像の書込み及び読出しを制御する。より具体的に、メモリコントローラ２８３ａは、カメラヘッド２４（第１の通信部２４３）から順次、出力され、第２の通信部２８１にて受信した教師画像（第１，第２の教師画像）をメモリ２８２に順次、書き込む。また、メモリコントローラ２８３ａは、メモリ２８２から第１の教師画像を特定のタイミングで読み出すとともに、当該読み出した第１の教師画像を第１の画像処理部２８３ｂに入力させる。さらに、メモリコントローラ２８３ａは、メモリ２８２から第２の教師画像を特定のタイミングで読み出すとともに、当該読み出した第２の教師画像を第２の画像処理部２８３ｃに入力させる。
【0044】
第１の画像処理部２８３ｂは、入力した第１の教師画像（ＲＡＷ信号（デジタル信号））に対して、第１の画像処理を実行する。
当該第１の画像処理としては、例えば、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正処理、ガンマ補正処理、ＲＧＢ信号（第１の教師画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
当該第１の画像処理としては、例えば、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正処理、ガンマ補正処理、ＲＧＢ信号（第１の教師画像）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ処理等を例示することができる。
【0045】
第２の画像処理部２８３ｃは、入力した第２の教師画像（ＲＡＷ信号（デジタル信号））に対して、第１の画像処理とは異なる第２の画像処理を実行する。
当該第２の画像処理としては、入力した第２の教師画像（ＲＡＷ信号（デジタル信号））から輝度信号（Ｙ信号）のみを生成する処理等を例示することができる。
当該第２の画像処理としては、入力した第２の教師画像（ＲＡＷ信号（デジタル信号））から輝度信号（Ｙ信号）のみを生成する処理等を例示することができる。
【0046】
表示制御部２８３ｄは、第１の画像処理部２８３ｂにて第１の画像処理が実行された後の第１の教師画像と、第２の画像処理部２８３ｃにて第２の画像処理が実行された後の第２の教師画像との少なくとも一方を表示するための表示用の映像信号を生成する。そして、表示制御部２８３ｄは、第２の伝送ケーブル２７を介して、当該映像信号を表示装置２６に出力する。
【0047】
制御部２８４は、例えば、ＣＰＵやＦＰＧＡ等を用いて構成され、第１～第３の伝送ケーブル２５，２７，２９を介して制御信号を出力することで、光源装置２２、カメラヘッド２４、及び表示装置２６の動作を制御するとともに、制御装置２８全体の動作を制御する。
なお、当該制御部２８４の機能の一部については、後述する「３．教師画像生成装置の動作」において説明する。
なお、当該制御部２８４の機能の一部については、後述する「３．教師画像生成装置の動作」において説明する。
【0048】
入力部２８５は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部２８５は、当該ユーザ操作に応じた操作信号を制御部２８４に出力する。
出力部２８６は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部２８７は、制御部２８４が実行するプログラムや、制御部２８４の処理に必要な情報等を記憶する。
第３の通信部２８８は、制御部２８４による制御の下、ネットワークＮＥを介して学習装置３との間で情報の送受信を行う。
出力部２８６は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部２８７は、制御部２８４が実行するプログラムや、制御部２８４の処理に必要な情報等を記憶する。
第３の通信部２８８は、制御部２８４による制御の下、ネットワークＮＥを介して学習装置３との間で情報の送受信を行う。
【0049】
〔３．教師画像生成装置の動作〕
次に、上述した教師画像生成装置２の動作について説明する。
図４は、教師画像生成装置２の動作を示すフローチャートである。図５及び図６は、教師画像生成装置２の動作を説明する図である。具体的に、図５は、第１の画像処理が実行された後の１フレームの第１の教師画像ＷＬＩを示す図である。図６は、第２の画像処理が実行された後の１フレームの第２の教師画像ＩＲを示す図である。なお、図６に示した第２の教師画像ＩＲは、グレースケールで表現されており、黒に近付くにしたがって撮像された蛍光の成分の強度（輝度値に相当）が高い（輝度値が高い）ものである。
次に、上述した教師画像生成装置２の動作について説明する。
図４は、教師画像生成装置２の動作を示すフローチャートである。図５及び図６は、教師画像生成装置２の動作を説明する図である。具体的に、図５は、第１の画像処理が実行された後の１フレームの第１の教師画像ＷＬＩを示す図である。図６は、第２の画像処理が実行された後の１フレームの第２の教師画像ＩＲを示す図である。なお、図６に示した第２の教師画像ＩＲは、グレースケールで表現されており、黒に近付くにしたがって撮像された蛍光の成分の強度（輝度値に相当）が高い（輝度値が高い）ものである。
【0050】
先ず、制御部２８４は、第１，第２の光源２２１，２２２の時分割駆動を実行する（ステップＳ１Ａ）。具体的に、制御部２８４は、ステップＳ１Ａにおいて、同期信号に基づいて、交互に繰り返される第１，第２の期間のうち、第１の期間において第１の光源２２１から通常光（白色光）を出射させ、第２の期間において第２の光源２２２から近赤外励起光を出射させる。
【0051】
ステップＳ１Ａの後、制御部２８４は、同期信号に基づいて、第１，第２の光源２２１，２２２の発光タイミングに同期させ、撮像素子２４２ｂに第１，第２の期間において第１，第２の被写体像をそれぞれ撮像させる（ステップＳ１Ｂ～Ｓ１Ｄ）。すなわち、撮像素子２４２ｂは、第１の期間である場合（ステップＳ１Ｂ：Ｙｅｓ）、言い換えれば、生体内に通常光（白色光）が照射された場合には、第１の被写体像（通常光）を撮像して第１の教師画像を生成する（ステップＳ１Ｃ）。一方、撮像素子２４２ｂは、第２の期間である場合（ステップＳ１Ｂ：Ｎｏ）、言い換えれば、生体内に近赤外励起光が照射された場合には、第２の被写体像（蛍光）を撮像して第２の教師画像を生成する（ステップＳ１Ｄ）。
【0052】
ステップＳ１Ｃ，Ｓ１Ｄの後、メモリコントローラ２８３ａは、同期信号に基づいて、メモリ２８２への教師画像の書込み及び読出しを制御する（ステップＳ１Ｅ）。
ステップＳ１Ｅの後、第１，第２の画像処理部２８３ｂ，２８３ｃは、以下に示す処理を実行する（ステップＳ１Ｆ）。
すなわち、第１の画像処理部２８３ｂは、メモリコントローラ２８３ａによってメモリ２８２から順次、読み出された各第１の教師画像に対して順次、第１の画像処理を実行する。そして、第１の画像処理部２８３ｂは、例えば、図５に示した第１の教師画像ＷＬＩを出力する。一方、第２の画像処理部２８３ｃは、メモリコントローラ２８３ａによってメモリ２８２から順次、読み出された各第２の教師画像に対して順次、第２の画像処理を実行する。そして、第２の画像処理部２８３ｃは、例えば、図６に示した第２の教師画像ＩＲを出力する。なお、第１，第２の教師画像は、同一の撮像素子２４２ｂにて撮像された画像であるため、図５及び図６に示した第１，第２の教師画像ＷＬＩ，ＩＲを比較して分かるように、同一の画像サイズを有している。すなわち、第１，第２の教師画像において、同一の画素位置は、同一の被写体における同一の位置を撮像した画素となっている。
ステップＳ１Ｅの後、第１，第２の画像処理部２８３ｂ，２８３ｃは、以下に示す処理を実行する（ステップＳ１Ｆ）。
すなわち、第１の画像処理部２８３ｂは、メモリコントローラ２８３ａによってメモリ２８２から順次、読み出された各第１の教師画像に対して順次、第１の画像処理を実行する。そして、第１の画像処理部２８３ｂは、例えば、図５に示した第１の教師画像ＷＬＩを出力する。一方、第２の画像処理部２８３ｃは、メモリコントローラ２８３ａによってメモリ２８２から順次、読み出された各第２の教師画像に対して順次、第２の画像処理を実行する。そして、第２の画像処理部２８３ｃは、例えば、図６に示した第２の教師画像ＩＲを出力する。なお、第１，第２の教師画像は、同一の撮像素子２４２ｂにて撮像された画像であるため、図５及び図６に示した第１，第２の教師画像ＷＬＩ，ＩＲを比較して分かるように、同一の画像サイズを有している。すなわち、第１，第２の教師画像において、同一の画素位置は、同一の被写体における同一の位置を撮像した画素となっている。
【0053】
ステップＳ１Ｆの後、制御部２８４は、第３の通信部２８８の動作を制御し、当該ステップＳ１Ｆにて第１，第２の画像処理部２８３ｂ，２８３ｃからそれぞれ出力される第１，第２の教師画像を一組とする教師画像を順次、学習装置３に送信する（ステップＳ１Ｇ）。
この後、制御部２８４は、ステップＳ１Ａに戻る。
この後、制御部２８４は、ステップＳ１Ａに戻る。
【0054】
〔３．学習装置の構成〕
次に、学習装置３の構成について説明する。
図７は、学習装置３の構成を示す図である。
学習装置３は、例えば、サーバ装置であり、教師画像生成装置２にて生成された教師画像を用いて学習モデルを生成する部分である。この学習装置３は、図７に示すように、通信部３１と、制御部３２と、記憶部３３とを備える。
次に、学習装置３の構成について説明する。
図７は、学習装置３の構成を示す図である。
学習装置３は、例えば、サーバ装置であり、教師画像生成装置２にて生成された教師画像を用いて学習モデルを生成する部分である。この学習装置３は、図７に示すように、通信部３１と、制御部３２と、記憶部３３とを備える。
【0055】
通信部３１は、制御部３２による制御の下、ネットワークＮＥを介して教師画像生成装置２（第３の通信部２８８）との間で情報の送受信を行う。
制御部３２は、例えば、ＣＰＵやＦＰＧＡ等を用いて構成され、学習装置３全体の動作を制御する。この制御部３２は、教師画像取得部３２１と、特異領域特定部３２２と、第１の特徴量抽出部３２３と、特異対応領域学習部３２４とを備える。
なお、教師画像取得部３２１、特異領域特定部３２２、第１の特徴量抽出部３２３、及び特異対応領域学習部３２４の機能については、後述する「４．学習装置の動作」において説明する。
記憶部３３は、制御部３２が実行するプログラム、制御部３２の処理に必要な情報、及び当該処理によって生成された情報等を記憶する。
制御部３２は、例えば、ＣＰＵやＦＰＧＡ等を用いて構成され、学習装置３全体の動作を制御する。この制御部３２は、教師画像取得部３２１と、特異領域特定部３２２と、第１の特徴量抽出部３２３と、特異対応領域学習部３２４とを備える。
なお、教師画像取得部３２１、特異領域特定部３２２、第１の特徴量抽出部３２３、及び特異対応領域学習部３２４の機能については、後述する「４．学習装置の動作」において説明する。
記憶部３３は、制御部３２が実行するプログラム、制御部３２の処理に必要な情報、及び当該処理によって生成された情報等を記憶する。
【0056】
〔４．学習装置の動作〕
次に、上述した学習装置３の動作について説明する。
図８は、学習装置３の動作を示すフローチャートである。
先ず、教師画像取得部３２１は、通信部３１を介して、教師画像生成装置２（第３の通信部２８８）から送信されてくる教師画像（第１，第２の教師画像）を順次、取得する（ステップＳ２Ａ）。
次に、上述した学習装置３の動作について説明する。
図８は、学習装置３の動作を示すフローチャートである。
先ず、教師画像取得部３２１は、通信部３１を介して、教師画像生成装置２（第３の通信部２８８）から送信されてくる教師画像（第１，第２の教師画像）を順次、取得する（ステップＳ２Ａ）。
【0057】
ステップＳ２Ａの後、特異領域特定部３２２は、第２の教師画像内の蛍光領域（特異領域）を特定する（ステップＳ２Ｂ）。
具体的に、特異領域特定部３２２は、第２の教師画像において、画素レベルが特定の閾値以上となる領域を蛍光領域として特定する。
ここで、当該画素レベルとしては、Ｙ信号（輝度信号）に応じた輝度値やＲＧＢ値（画素値）を例示することができる。本実施の形態では、当該画素レベルとして、当該輝度値を採用している。すなわち、図６に示した第２の教師画像ＩＲでは、輝度値が特定の閾値以上となる領域Ａｒが蛍光領域として特定される。さらに、本実施の形態では、特異領域特定部３２２は、蛍光領域Ａｒとして、輝度値が第１の範囲内となる第１の蛍光領域（第１の特異領域）Ａｒ１（図６に示したグレーの部分）と、輝度値が当該第１の範囲よりも高い第２の範囲内となる第２の蛍光領域（第２の特異領域）Ａｒ２（図６に示した黒の部分）とをそれぞれ特定する。
具体的に、特異領域特定部３２２は、第２の教師画像において、画素レベルが特定の閾値以上となる領域を蛍光領域として特定する。
ここで、当該画素レベルとしては、Ｙ信号（輝度信号）に応じた輝度値やＲＧＢ値（画素値）を例示することができる。本実施の形態では、当該画素レベルとして、当該輝度値を採用している。すなわち、図６に示した第２の教師画像ＩＲでは、輝度値が特定の閾値以上となる領域Ａｒが蛍光領域として特定される。さらに、本実施の形態では、特異領域特定部３２２は、蛍光領域Ａｒとして、輝度値が第１の範囲内となる第１の蛍光領域（第１の特異領域）Ａｒ１（図６に示したグレーの部分）と、輝度値が当該第１の範囲よりも高い第２の範囲内となる第２の蛍光領域（第２の特異領域）Ａｒ２（図６に示した黒の部分）とをそれぞれ特定する。
【0058】
ステップＳ２Ｂの後、第１の特徴量抽出部３２３は、当該ステップＳ２Ｂにて蛍光領域が特定された第２の教師画像と組となる第１の教師画像内の蛍光対応領域（特異対応領域）と非対応領域との特徴量をそれぞれ抽出する（ステップＳ２Ｃ）。
ここで、蛍光対応領域とは、第１の教師画像内において、第２の教師画像の蛍光領域に対応する画素位置（当該蛍光領域と同一画素位置）の領域である。そして、非対応領域は、第１の教師画像内において、蛍光対応領域以外の領域である。本実施の形態では、蛍光対応領域は、第１の教師画像内において、第２の教師画像の第１の蛍光領域Ａｒ１に対応する画素位置の第１の蛍光対応領域と、第２の教師画像の第２の蛍光領域Ａｒ２に対応する画素位置の第２の蛍光対応領域とで構成される。すなわち、第１の特徴量抽出部３２３は、第１，第２の蛍光対応領域と非対応領域との特徴量をそれぞれ抽出する。
ここで、蛍光対応領域とは、第１の教師画像内において、第２の教師画像の蛍光領域に対応する画素位置（当該蛍光領域と同一画素位置）の領域である。そして、非対応領域は、第１の教師画像内において、蛍光対応領域以外の領域である。本実施の形態では、蛍光対応領域は、第１の教師画像内において、第２の教師画像の第１の蛍光領域Ａｒ１に対応する画素位置の第１の蛍光対応領域と、第２の教師画像の第２の蛍光領域Ａｒ２に対応する画素位置の第２の蛍光対応領域とで構成される。すなわち、第１の特徴量抽出部３２３は、第１，第２の蛍光対応領域と非対応領域との特徴量をそれぞれ抽出する。
【0059】
また、第１の蛍光対応領域の特徴量としては、以下の（１）～（３）の抽出方法を例示することができる。
（１）第１の蛍光対応領域を構成する画素毎に特徴量を抽出する。
（２）第１の蛍光対応領域を構成する複数の画素を１つのグループとして、当該グループ毎に特徴量を抽出する。
（３）第１の蛍光対応領域全体の特徴量を抽出する。
なお、第２の蛍光対応領域の特徴量、及び非対応領域の特徴量の抽出方法も上記同様である。
（１）第１の蛍光対応領域を構成する画素毎に特徴量を抽出する。
（２）第１の蛍光対応領域を構成する複数の画素を１つのグループとして、当該グループ毎に特徴量を抽出する。
（３）第１の蛍光対応領域全体の特徴量を抽出する。
なお、第２の蛍光対応領域の特徴量、及び非対応領域の特徴量の抽出方法も上記同様である。
【0060】
さらに、特徴量としては、解像度、エッジ、色、明るさ、ノイズ、コントラスト、及びヒストグラム等に関する特徴量を例示することができる。
【0061】
ステップＳ２Ｃの後、特異対応領域学習部３２４は、第１の蛍光対応領域の特徴量と、第２の蛍光対応領域の特徴量と、非対応領域の特徴量とに基づいて、当該第１，第２の蛍光対応領域を機械学習して学習モデルを生成する（ステップＳ２Ｄ）。すなわち、当該学習モデルを用いれば、特徴量から、当該特徴量を有する領域が第１，第２の蛍光対応領域及び非対応領域のいずれの領域であるかを判別することができる。
ここで、機械学習としては、畳み込みニューラルネットワークを用いた機械学習（深層学習）を例示することができる。すなわち、当該機械学習では、第１，第２の教師画像を一組とする教師画像の数が増えれば増えるほど、第１，第２の蛍光対応領域及び非対応領域を精度よく判別可能な学習モデルを生成することができる。
本実施の形態では、特異対応領域学習部３２４は、第１，第２の蛍光対応領域を機械学習して学習モデルを生成する際、青の色成分に関する特徴量の重みを他の赤及び緑の色成分に関する特徴量の重みよりも低くする。例えば、当該青の色成分に関する特徴量を当該機械学習には用いない。
そして、特異対応領域学習部３２４は、生成した学習モデルを記憶部３３に記憶する。
ここで、機械学習としては、畳み込みニューラルネットワークを用いた機械学習（深層学習）を例示することができる。すなわち、当該機械学習では、第１，第２の教師画像を一組とする教師画像の数が増えれば増えるほど、第１，第２の蛍光対応領域及び非対応領域を精度よく判別可能な学習モデルを生成することができる。
本実施の形態では、特異対応領域学習部３２４は、第１，第２の蛍光対応領域を機械学習して学習モデルを生成する際、青の色成分に関する特徴量の重みを他の赤及び緑の色成分に関する特徴量の重みよりも低くする。例えば、当該青の色成分に関する特徴量を当該機械学習には用いない。
そして、特異対応領域学習部３２４は、生成した学習モデルを記憶部３３に記憶する。
【0062】
〔５．医療用観察装置の構成〕
次に、学習装置３にて生成された学習モデルを用いて蛍光領域を推測する医療用観察装置４について説明する。
図９は、医療用観察装置４の構成を示す図である。図１０は、カメラヘッド４４及び制御装置４８の構成を示す図である。
医療用観察装置４は、図９または図１０に示すように、教師画像生成装置２と略同様の構成を有する。なお、医療用観察装置４において、教師画像生成装置２と同一の構成には同一の符号を付している。
以下では、医療用観察装置４の各構成のうち、教師画像生成装置２とは異なる構成について主に説明する。
次に、学習装置３にて生成された学習モデルを用いて蛍光領域を推測する医療用観察装置４について説明する。
図９は、医療用観察装置４の構成を示す図である。図１０は、カメラヘッド４４及び制御装置４８の構成を示す図である。
医療用観察装置４は、図９または図１０に示すように、教師画像生成装置２と略同様の構成を有する。なお、医療用観察装置４において、教師画像生成装置２と同一の構成には同一の符号を付している。
以下では、医療用観察装置４の各構成のうち、教師画像生成装置２とは異なる構成について主に説明する。
【0063】
光源装置４２は、医療用観察装置４において、教師画像生成装置２における光源装置２２に対応した構成である。この光源装置４２は、図９または図１０に示すように、第１の光源２２１のみを備える。すなわち、光源装置４２は、光源装置２２とは異なり、第２の光源２２２を有していない。
そして、光源装置４２では、制御装置４８による制御の下、第１の光源２２１が駆動し、通常光（白色光）のみを出射する。
なお、本実施の形態では、光源装置４２は、制御装置４８とは別体で構成されているが、これに限らず、当該制御装置４８内部に設けられた構成を採用しても構わない。
そして、光源装置４２では、制御装置４８による制御の下、第１の光源２２１が駆動し、通常光（白色光）のみを出射する。
なお、本実施の形態では、光源装置４２は、制御装置４８とは別体で構成されているが、これに限らず、当該制御装置４８内部に設けられた構成を採用しても構わない。
【0064】
カメラヘッド４４は、医療用観察装置４において、教師画像生成装置２におけるカメラヘッド２４に対応した構成である。このカメラヘッド４４は、図１０に示すように、光源装置４２が第２の光源２２２を有していないことに伴い、カメラヘッド２４から励起光カットフィルタ２４２ａを省略した構成を有する。
そして、カメラヘッド４４（撮像素子２４２ｂ）は、制御装置４８による制御の下、特定のフレーム周期で撮像を行う。以下では、第１の教師画像と区別するために、カメラヘッド４４（撮像素子２４２ｂ）により第１の被写体像（通常光）を撮像することで生成された画像を撮像画像と記載する。
そして、カメラヘッド４４（撮像素子２４２ｂ）は、制御装置４８による制御の下、特定のフレーム周期で撮像を行う。以下では、第１の教師画像と区別するために、カメラヘッド４４（撮像素子２４２ｂ）により第１の被写体像（通常光）を撮像することで生成された画像を撮像画像と記載する。
【0065】
制御装置４８は、本開示に係る医療用画像処理装置に相当する。この制御装置４８は、医療用観察装置４において、教師画像生成装置２における制御装置２８に対応した構成である。この制御装置４８では、図１０に示すように、制御装置２８に対して、画像生成部２８３及び制御部２８４の代わりに、画像生成部４８３及び制御部４８４が採用されている。
画像生成部４８３は、制御部４８４による制御の下、カメラヘッド４４（第１の通信部２４３）から順次、出力され、第２の通信部２８１にて受信した撮像画像（ＲＡＷ信号（デジタル信号））を処理する。この画像生成部４８３は、図１０に示すように、メモリコントローラ４８３ａと、画像処理部４８３ｂと、第２の特徴量抽出部４８３ｃと、特異対応領域特定部４８３ｄと、表示制御部４８３ｅとを備える。
なお、メモリコントローラ４８３ａ、画像処理部４８３ｂ、第２の特徴量抽出部４８３ｃ、特異対応領域特定部４８３ｄ、及び表示制御部４８３ｅの機能については、後述する「６．医療用観察装置の動作」において説明する。
画像生成部４８３は、制御部４８４による制御の下、カメラヘッド４４（第１の通信部２４３）から順次、出力され、第２の通信部２８１にて受信した撮像画像（ＲＡＷ信号（デジタル信号））を処理する。この画像生成部４８３は、図１０に示すように、メモリコントローラ４８３ａと、画像処理部４８３ｂと、第２の特徴量抽出部４８３ｃと、特異対応領域特定部４８３ｄと、表示制御部４８３ｅとを備える。
なお、メモリコントローラ４８３ａ、画像処理部４８３ｂ、第２の特徴量抽出部４８３ｃ、特異対応領域特定部４８３ｄ、及び表示制御部４８３ｅの機能については、後述する「６．医療用観察装置の動作」において説明する。
【0066】
制御部４８４は、例えば、ＣＰＵやＦＰＧＡ等を用いて構成され、第１～第３の伝送ケーブル２５，２７，２９を介して制御信号を出力することで、光源装置４２、カメラヘッド４４、及び表示装置２６の動作を制御するとともに、制御装置４８全体の動作を制御する。
なお、当該制御部４８４の機能の一部については、後述する「６．医療用観察装置の動作」において説明する。
なお、当該制御部４８４の機能の一部については、後述する「６．医療用観察装置の動作」において説明する。
【0067】
〔６．医療用観察装置の動作〕
次に、上述した医療用観察装置４の動作について説明する。
図１１は、医療用観察装置４の動作を示すフローチャートである。図１２は、医療用観察装置４の動作を説明する図である。具体的に、図１２は、ステップＳ３Ｇにて生成される表示画像ＷＬＩ´を示す図である。ここで、図１２では、説明の便宜上、ステップＳ３Ｂにおいて図５に示した第１の教師画像ＷＬＩと同一の撮像画像が生成されたものとしている。
なお、以下で説明する医療用観察装置４の動作を実行する前に、制御部４８４は、第３の通信部２８８の動作を制御し、学習装置３から学習モデルを受信し、当該学習モデルを記憶部２８７に記憶しているものとする。
次に、上述した医療用観察装置４の動作について説明する。
図１１は、医療用観察装置４の動作を示すフローチャートである。図１２は、医療用観察装置４の動作を説明する図である。具体的に、図１２は、ステップＳ３Ｇにて生成される表示画像ＷＬＩ´を示す図である。ここで、図１２では、説明の便宜上、ステップＳ３Ｂにおいて図５に示した第１の教師画像ＷＬＩと同一の撮像画像が生成されたものとしている。
なお、以下で説明する医療用観察装置４の動作を実行する前に、制御部４８４は、第３の通信部２８８の動作を制御し、学習装置３から学習モデルを受信し、当該学習モデルを記憶部２８７に記憶しているものとする。
【0068】
先ず、制御部４８４は、光源装置４２（第１の光源２２１）を駆動する（ステップＳ３Ａ）。これにより、生体内（観察対象）に対して、通常光（白色光）が照射される。
ステップＳ３Ａの後、制御部４８４は、特定のフレーム周期で、撮像素子２４２ｂに第１の被写体像（通常光）を撮像させ、撮像画像を生成する（ステップＳ３Ｂ）。
ステップＳ３Ｂの後、メモリコントローラ４８３ａは、メモリ２８２への撮像画像の書込み及び読出しを制御する（ステップＳ３Ｃ）。具体的に、メモリコントローラ４８３ａは、カメラヘッド４４（第１の通信部２４３）から順次、出力され、第２の通信部２８１にて受信した撮像画像をメモリ２８２に順次、書き込む。また、メモリコントローラ４８３ａは、メモリ２８２から撮像画像を特定のタイミングで読み出すとともに、当該読み出した撮像画像を画像処理部４８３ｂに入力させる。
ステップＳ３Ａの後、制御部４８４は、特定のフレーム周期で、撮像素子２４２ｂに第１の被写体像（通常光）を撮像させ、撮像画像を生成する（ステップＳ３Ｂ）。
ステップＳ３Ｂの後、メモリコントローラ４８３ａは、メモリ２８２への撮像画像の書込み及び読出しを制御する（ステップＳ３Ｃ）。具体的に、メモリコントローラ４８３ａは、カメラヘッド４４（第１の通信部２４３）から順次、出力され、第２の通信部２８１にて受信した撮像画像をメモリ２８２に順次、書き込む。また、メモリコントローラ４８３ａは、メモリ２８２から撮像画像を特定のタイミングで読み出すとともに、当該読み出した撮像画像を画像処理部４８３ｂに入力させる。
【0069】
ステップＳ３Ｃの後、画像処理部４８３ｂは、メモリコントローラ４８３ａによってメモリ２８２から順次、読み出された各撮像画像に対して順次、上述した第１の画像処理を実行する（ステップＳ３Ｄ）。
ステップＳ３Ｄの後、第２の特徴量抽出部４８３ｃは、当該ステップＳ３Ｄにて画像処理部４８３ｂから順次、出力される撮像画像について、当該撮像画像の領域毎の特徴量を抽出する（ステップＳ３Ｅ）。
ここで、特徴量としては、以下の（４），（５）の抽出方法を例示することができる。
（４）撮像画像を構成する画素毎に特徴量を抽出する。
（５）撮像画像を構成する複数の画素を１つのグループ（領域）として、当該グループ毎に特徴量を抽出する。
また、第２の特徴量抽出部４８３ｃが抽出する特徴量は、第１の特徴量抽出部３２３が抽出する特徴量と同一種類の特徴量である。
ステップＳ３Ｄの後、第２の特徴量抽出部４８３ｃは、当該ステップＳ３Ｄにて画像処理部４８３ｂから順次、出力される撮像画像について、当該撮像画像の領域毎の特徴量を抽出する（ステップＳ３Ｅ）。
ここで、特徴量としては、以下の（４），（５）の抽出方法を例示することができる。
（４）撮像画像を構成する画素毎に特徴量を抽出する。
（５）撮像画像を構成する複数の画素を１つのグループ（領域）として、当該グループ毎に特徴量を抽出する。
また、第２の特徴量抽出部４８３ｃが抽出する特徴量は、第１の特徴量抽出部３２３が抽出する特徴量と同一種類の特徴量である。
【0070】
ステップＳ３Ｅの後、特異対応領域特定部４８３ｄは、当該ステップＳ３Ｅにて抽出された特徴量に基づいて、記憶部２８７に記憶された学習モデルを用いて撮像画像内における第１，第２の蛍光対応領域を特定する（ステップＳ３Ｆ）。
ステップＳ３Ｆの後、表示制御部４８３ｅは、撮像画像内において、当該ステップＳ３Ｆにて特定された第１，第２の蛍光対応領域を他の領域と識別して表示する表示画像を生成する（ステップＳ３Ｇ）。例えば、ステップＳ３Ｂにおいて図５に示した第１の教師画像ＷＬＩと同一の撮像画像が生成されたものと仮定した場合には、図１２に示すように、撮像画像内において、第１，第２の蛍光対応領域Ａｒ１´，Ａｒ２´（蛍光対応領域Ａｒ´）を他の領域と識別した表示画像ＷＬＩ´が生成される。当該識別する方法としては、撮像画像内において、蛍光対応領域Ａｒ´に単色の色（例えば緑色等）を付す等を例示することができる。また、第２の蛍光領域Ａｒ２は、上述したように、第１の蛍光領域Ａｒ１よりも輝度値が高い領域である。このため、第２の蛍光対応領域Ａｒ２´（図１２では説明の便宜上、黒で表現）を第１の蛍光対応領域Ａｒ１´（図１２では説明の便宜上、グレーで表現）よりも濃い色を付すことが好ましい。
そして、表示制御部４８３ｅは、表示画像ＷＬＩ´に応じた映像信号を生成し、第２の伝送ケーブル２７を介して、当該映像信号を表示装置２６に出力する。これにより、表示装置２６は、当該表示画像ＷＬＩ´を表示する。
ステップＳ３Ｆの後、表示制御部４８３ｅは、撮像画像内において、当該ステップＳ３Ｆにて特定された第１，第２の蛍光対応領域を他の領域と識別して表示する表示画像を生成する（ステップＳ３Ｇ）。例えば、ステップＳ３Ｂにおいて図５に示した第１の教師画像ＷＬＩと同一の撮像画像が生成されたものと仮定した場合には、図１２に示すように、撮像画像内において、第１，第２の蛍光対応領域Ａｒ１´，Ａｒ２´（蛍光対応領域Ａｒ´）を他の領域と識別した表示画像ＷＬＩ´が生成される。当該識別する方法としては、撮像画像内において、蛍光対応領域Ａｒ´に単色の色（例えば緑色等）を付す等を例示することができる。また、第２の蛍光領域Ａｒ２は、上述したように、第１の蛍光領域Ａｒ１よりも輝度値が高い領域である。このため、第２の蛍光対応領域Ａｒ２´（図１２では説明の便宜上、黒で表現）を第１の蛍光対応領域Ａｒ１´（図１２では説明の便宜上、グレーで表現）よりも濃い色を付すことが好ましい。
そして、表示制御部４８３ｅは、表示画像ＷＬＩ´に応じた映像信号を生成し、第２の伝送ケーブル２７を介して、当該映像信号を表示装置２６に出力する。これにより、表示装置２６は、当該表示画像ＷＬＩ´を表示する。
【0071】
以上説明した本実施の形態によれば、以下の効果を奏する。
本実施の形態に係る学習装置３は、第１，第２の教師画像を一組とする教師画像を用い、第１の教師画像内における第２の教師画像内の蛍光領域に対応する画素位置の蛍光対応領域の特徴量に基づいて、当該蛍光対応領域を機械学習して学習モデルを生成する。
そして、本実施の形態に係る制御装置４８は、生体内（観察対象）からの第１の被写体像（通常光）を撮像した撮像画像を取得し、当該撮像画像内の領域毎の特徴量に基づいて、上述した学習モデルを用いて当該撮像画像内における蛍光対応領域を特定する。
すなわち、学習モデルを用いることで蛍光領域を推測することができるため、生体内にインドシアニングリーン等の蛍光物質を投与する必要がない。したがって、利便性を向上させることができる。
また、医療用観察装置４において、生体内に近赤外励起光を照射する必要もないため、第２の光源２２２や励起光カットフィルタ２４２ａを省略することができ、構成の簡素化及び小型化を図ることができる。
本実施の形態に係る学習装置３は、第１，第２の教師画像を一組とする教師画像を用い、第１の教師画像内における第２の教師画像内の蛍光領域に対応する画素位置の蛍光対応領域の特徴量に基づいて、当該蛍光対応領域を機械学習して学習モデルを生成する。
そして、本実施の形態に係る制御装置４８は、生体内（観察対象）からの第１の被写体像（通常光）を撮像した撮像画像を取得し、当該撮像画像内の領域毎の特徴量に基づいて、上述した学習モデルを用いて当該撮像画像内における蛍光対応領域を特定する。
すなわち、学習モデルを用いることで蛍光領域を推測することができるため、生体内にインドシアニングリーン等の蛍光物質を投与する必要がない。したがって、利便性を向上させることができる。
また、医療用観察装置４において、生体内に近赤外励起光を照射する必要もないため、第２の光源２２２や励起光カットフィルタ２４２ａを省略することができ、構成の簡素化及び小型化を図ることができる。
【0072】
また、本実施の形態に係る学習装置３では、蛍光領域を輝度値の高さに応じて第１，第２の蛍光領域の２段階に分けている。当該蛍光領域に対応する蛍光対応領域も同様である。すなわち、制御装置４８にて特定される蛍光対応領域も第１，第２の蛍光対応領域に分けられる。このため、医師等のユーザは、表示画像から、蛍光の成分の強度が高いと推測される部分と、蛍光の成分の強度が低いと推測される部分とを容易に認識することができる。
【0073】
ところで、癌等の病変部を画像認識にて特定する際には、青の色成分の特徴量を考慮する必要がない。
本実施の形態に係る学習装置３では、蛍光対応領域を機械学習して学習モデルを生成する際、青の色成分に関する特徴量の重みを他の色成分に関する特徴量の重みよりも低くする。例えば、当該青の色成分に関する特徴量を当該機械学習には用いない。このため、不要な特徴量を考慮せずに機械学習することができるため、処理負荷を軽減することができる。
本実施の形態に係る学習装置３では、蛍光対応領域を機械学習して学習モデルを生成する際、青の色成分に関する特徴量の重みを他の色成分に関する特徴量の重みよりも低くする。例えば、当該青の色成分に関する特徴量を当該機械学習には用いない。このため、不要な特徴量を考慮せずに機械学習することができるため、処理負荷を軽減することができる。
【0074】
（その他の実施の形態）
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態では、蛍光領域を輝度値の高さに応じて第１，第２の蛍光領域の２段階に分けていたが、これに限らず、蛍光領域を１つのみとしてもよく、あるいは、輝度値の高さに応じて３段階以上に分けても構わない。蛍光領域に対応する蛍光対応領域も同様である。
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態では、蛍光領域を輝度値の高さに応じて第１，第２の蛍光領域の２段階に分けていたが、これに限らず、蛍光領域を１つのみとしてもよく、あるいは、輝度値の高さに応じて３段階以上に分けても構わない。蛍光領域に対応する蛍光対応領域も同様である。
【0075】
上述した実施の形態では、第１の波長帯域の光を通常光（白色光）とし、第２の波長帯域の光を近赤外励起光としていたが、これに限らない。第１の波長帯域と第２の波長帯域とが異なっていれば、その他の光を採用しても構わない。この際、第１，第２の波長帯域は、一部が重複する帯域であってもよく、あるいは、全く重複しない帯域であっても構わない。
例えば、第２の波長帯域の光としては、所謂ＮＢＩ（Narrow Band Imaging（狭帯域光観察））で用いる狭帯域光を採用しても構わない。この際、第１の波長帯域の光としては、通常光（白色光）でもよく、その他の光でも構わない。
例えば、第２の波長帯域の光としては、所謂ＮＢＩ（Narrow Band Imaging（狭帯域光観察））で用いる狭帯域光を採用しても構わない。この際、第１の波長帯域の光としては、通常光（白色光）でもよく、その他の光でも構わない。
【0076】
ところで、従来、癌細胞を検出する癌診断法の一つである光線力学診断（Photo Dynamic Diagnosis：PDD）が知られている。
当該光線力学診断では、例えば5-アミノレブリン酸（以下、5-ALAと記載）等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光（例えば375nm～445nmの波長帯域の青色可視光）で励起すると、蛍光（例えば600nm～740nmの波長帯域の赤色蛍光）を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、上述した実施の形態において、第２の波長帯域の光として、プロトポルフィリンを励起する励起光（例えば375nm～445nmの波長帯域の青色可視光）を採用しても構わない。この際、第１の波長帯域の光としては、通常光（白色光）でもよく、その他の光でも構わない。
当該光線力学診断では、例えば5-アミノレブリン酸（以下、5-ALAと記載）等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光（例えば375nm～445nmの波長帯域の青色可視光）で励起すると、蛍光（例えば600nm～740nmの波長帯域の赤色蛍光）を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、上述した実施の形態において、第２の波長帯域の光として、プロトポルフィリンを励起する励起光（例えば375nm～445nmの波長帯域の青色可視光）を採用しても構わない。この際、第１の波長帯域の光としては、通常光（白色光）でもよく、その他の光でも構わない。
【0077】
上述した実施の形態では、第１，第２の教師画像を単体の撮像素子２４２ｂにて生成していたが、これに限らない。例えば、第１の被写体像と第２の被写体像とを分離し、２つの撮像素子にてそれぞれ撮像し、当該２つの撮像素子にて第１，第２の教師画像をそれぞれ生成する構成を採用しても構わない。この際、学習装置３は、第１，第２の教師画像間における画素の対応関係を認識している必要がある。
【0078】
上述した実施の形態では、教師画像生成装置２と学習装置３とをネットワークＮＥを介して互いに通信可能に接続する構成としていたが、これに限らず、教師画像生成装置２と学習装置３とを１つの装置として構成しても構わない。
【0079】
上述した実施の形態では、挿入部２１を硬性内視鏡で構成した医療用観察装置４に本開示に係る医療用画像処理装置を搭載していたが、これに限らない。例えば、挿入部２１を軟性内視鏡で構成した医療用観察装置に本開示に係る医療用画像処理装置を搭載しても構わない。また、被写体内（生体内）や被写体表面（生体表面）の所定の視野領域を拡大して観察する手術用顕微鏡（例えば、特開２０１６－４２９８１号公報参照）等の医療用観察装置に本開示に係る医療用画像処理装置を搭載しても構わない。
上述した実施の形態において、カメラヘッド４４の一部の構成や制御装置４８の一部の構成を例えばコネクタＣＮ１やコネクタＣＮ２に設けても構わない。
上述した実施の形態において、カメラヘッド４４の一部の構成や制御装置４８の一部の構成を例えばコネクタＣＮ１やコネクタＣＮ２に設けても構わない。
【0080】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を取得する教師画像取得部と、前記第２の教師画像内の特異領域を特定する特異領域特定部と、前記第１の教師画像内における前記特異領域に対応する画素位置の特異対応領域の特徴量を抽出する第１の特徴量抽出部と、前記特徴量に基づいて、前記特異対応領域を機械学習して学習モデルを生成する特異対応領域学習部とを備える学習装置。
（２）前記被検体は、前記第２の波長帯域の励起光が照射されることで蛍光を発する被検体であり、前記第２の教師画像は、前記励起光が照射された前記被検体からの前記蛍光を撮像した画像であり、前記特異領域特定部は、前記第２の教師画像において、前記蛍光の成分の強度が特定の閾値以上となる領域を前記特異領域として特定する前記（１）に記載の学習装置。
（３）前記特異領域特定部は、前記第２の教師画像において、画素レベルが特定の閾値以上となる領域を前記特異領域として特定する前記（１）または（２）に記載の学習装置。
（４）前記特異領域特定部は、前記特異領域として、画素レベルが第１の範囲内となる第１の特異領域と、画素レベルが前記第１の範囲よりも高い第２の範囲内となる第２の特異領域とをそれぞれ特定し、前記第１の特徴量抽出部は、前記第１の教師画像内における前記特異対応領域である前記第１の特異領域に対応する画素位置の第１の特異対応領域と、前記第１の教師画像内における前記特異対応領域である前記第２の特異領域に対応する画素位置の第２の特異対応領域との特徴量をそれぞれ抽出し、前記特異対応領域学習部は、前記特徴量に基づいて、前記第１の特異対応領域と前記第２の特異対応領域とをそれぞれ機械学習する前記（３）に記載の学習装置。
（５）前記特徴量は、色及び輝度の少なくとも一方に関する特徴量を含み、前記特異対応領域学習部は、前記特異対応領域を機械学習して学習モデルを生成する際、青の色成分に関する前記特徴量の重みを他の色成分に関する前記特徴量の重みよりも低くする前記（１）～（４）のいずれか一つに記載の学習装置。
（６）前記第１の波長帯域の光は、交互に繰り返される第１の期間と第２の期間とにおいて、前記第１の期間に発光した光であり、前記第２の波長帯域の光は、前記第２の期間に発光した光である前記（１）～（５）のいずれか一つに記載の学習装置。
（７）第１の波長帯域の光が照射された観察対象からの光を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像の領域毎の特徴量を抽出する第２の特徴量抽出部と、前記特徴量に基づいて、機械学習により構築された学習モデル用いて前記撮像画像内における特異対応領域を特定する特異対応領域特定部とを備え、前記学習モデルは、前記第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を用い、前記第１の教師画像内における前記第２の教師画像内の特異領域に対応する画素位置の前記特異対応領域の特徴量に基づいて、前記特異対応領域を機械学習して生成された学習モデルである医療用画像処理装置。
（８）前記被検体は、前記第２の波長帯域の励起光が照射されることで蛍光を発する被検体であり、前記第２の教師画像は、前記励起光が照射された前記被検体からの前記蛍光を撮像した画像であり、前記特異領域は、前記第２の教師画像において、前記蛍光の成分の強度が特定の閾値以上となる領域である前記（７）に記載の医療用画像処理装置。
（９）前記特異領域は、前記第２の教師画像において、画素レベルが特定の閾値以上となる領域である前記（７）または（８）に記載の医療用画像処理装置。
（１０）前記特異領域は、画素レベルが第１の範囲内となる第１の特異領域と、画素レベルが前記第１の範囲よりも高い第２の範囲内となる第２の特異領域とを含み、前記学習モデルは、前記第１の教師画像内における前記特異対応領域である前記第１の特異領域に対応する画素位置の第１の特異対応領域と、前記第１の教師画像内における前記特異対応領域である前記第２の特異領域に対応する画素位置の第２の特異対応領域との特徴量に基づいて、前記第１の特異対応領域と前記第２の特異対応領域とをそれぞれ機械学習して生成された学習モデルである前記（９）に記載の医療用画像処理装置。
（１１）前記特徴量は、色及び輝度の少なくとも一方に関する特徴量を含み、前記学習モデルは、青の色成分に関する前記特徴量の重みを他の色成分に関する前記特徴量の重みを低くした状態で、前記特異対応領域を機械学習して生成された学習モデルである前記（７）～（１０）のいずれか一つに記載の医療用画像処理装置。
（１２）前記第１の波長帯域の光は、交互に繰り返される第１の期間と第２の期間とにおいて、前記第１の期間に発光した光であり、前記第２の波長帯域の光は、前記第２の期間に発光した光である前記（７）～（１１）のいずれか一つに記載の医療用画像処理装置。
（１３）前記撮像画像内において、前記特異対応領域を他の領域と識別して表示する表示画像を生成する表示制御部をさらに備える前記（７）～（１２）のいずれか一つに記載の医療用画像処理装置。
（１）第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を取得する教師画像取得部と、前記第２の教師画像内の特異領域を特定する特異領域特定部と、前記第１の教師画像内における前記特異領域に対応する画素位置の特異対応領域の特徴量を抽出する第１の特徴量抽出部と、前記特徴量に基づいて、前記特異対応領域を機械学習して学習モデルを生成する特異対応領域学習部とを備える学習装置。
（２）前記被検体は、前記第２の波長帯域の励起光が照射されることで蛍光を発する被検体であり、前記第２の教師画像は、前記励起光が照射された前記被検体からの前記蛍光を撮像した画像であり、前記特異領域特定部は、前記第２の教師画像において、前記蛍光の成分の強度が特定の閾値以上となる領域を前記特異領域として特定する前記（１）に記載の学習装置。
（３）前記特異領域特定部は、前記第２の教師画像において、画素レベルが特定の閾値以上となる領域を前記特異領域として特定する前記（１）または（２）に記載の学習装置。
（４）前記特異領域特定部は、前記特異領域として、画素レベルが第１の範囲内となる第１の特異領域と、画素レベルが前記第１の範囲よりも高い第２の範囲内となる第２の特異領域とをそれぞれ特定し、前記第１の特徴量抽出部は、前記第１の教師画像内における前記特異対応領域である前記第１の特異領域に対応する画素位置の第１の特異対応領域と、前記第１の教師画像内における前記特異対応領域である前記第２の特異領域に対応する画素位置の第２の特異対応領域との特徴量をそれぞれ抽出し、前記特異対応領域学習部は、前記特徴量に基づいて、前記第１の特異対応領域と前記第２の特異対応領域とをそれぞれ機械学習する前記（３）に記載の学習装置。
（５）前記特徴量は、色及び輝度の少なくとも一方に関する特徴量を含み、前記特異対応領域学習部は、前記特異対応領域を機械学習して学習モデルを生成する際、青の色成分に関する前記特徴量の重みを他の色成分に関する前記特徴量の重みよりも低くする前記（１）～（４）のいずれか一つに記載の学習装置。
（６）前記第１の波長帯域の光は、交互に繰り返される第１の期間と第２の期間とにおいて、前記第１の期間に発光した光であり、前記第２の波長帯域の光は、前記第２の期間に発光した光である前記（１）～（５）のいずれか一つに記載の学習装置。
（７）第１の波長帯域の光が照射された観察対象からの光を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像の領域毎の特徴量を抽出する第２の特徴量抽出部と、前記特徴量に基づいて、機械学習により構築された学習モデル用いて前記撮像画像内における特異対応領域を特定する特異対応領域特定部とを備え、前記学習モデルは、前記第１の波長帯域の光が照射された被検体からの光を撮像した第１の教師画像と、前記第１の波長帯域とは異なる第２の波長帯域の光が照射された前記被検体からの光を撮像した第２の教師画像とを一組とする教師画像を用い、前記第１の教師画像内における前記第２の教師画像内の特異領域に対応する画素位置の前記特異対応領域の特徴量に基づいて、前記特異対応領域を機械学習して生成された学習モデルである医療用画像処理装置。
（８）前記被検体は、前記第２の波長帯域の励起光が照射されることで蛍光を発する被検体であり、前記第２の教師画像は、前記励起光が照射された前記被検体からの前記蛍光を撮像した画像であり、前記特異領域は、前記第２の教師画像において、前記蛍光の成分の強度が特定の閾値以上となる領域である前記（７）に記載の医療用画像処理装置。
（９）前記特異領域は、前記第２の教師画像において、画素レベルが特定の閾値以上となる領域である前記（７）または（８）に記載の医療用画像処理装置。
（１０）前記特異領域は、画素レベルが第１の範囲内となる第１の特異領域と、画素レベルが前記第１の範囲よりも高い第２の範囲内となる第２の特異領域とを含み、前記学習モデルは、前記第１の教師画像内における前記特異対応領域である前記第１の特異領域に対応する画素位置の第１の特異対応領域と、前記第１の教師画像内における前記特異対応領域である前記第２の特異領域に対応する画素位置の第２の特異対応領域との特徴量に基づいて、前記第１の特異対応領域と前記第２の特異対応領域とをそれぞれ機械学習して生成された学習モデルである前記（９）に記載の医療用画像処理装置。
（１１）前記特徴量は、色及び輝度の少なくとも一方に関する特徴量を含み、前記学習モデルは、青の色成分に関する前記特徴量の重みを他の色成分に関する前記特徴量の重みを低くした状態で、前記特異対応領域を機械学習して生成された学習モデルである前記（７）～（１０）のいずれか一つに記載の医療用画像処理装置。
（１２）前記第１の波長帯域の光は、交互に繰り返される第１の期間と第２の期間とにおいて、前記第１の期間に発光した光であり、前記第２の波長帯域の光は、前記第２の期間に発光した光である前記（７）～（１１）のいずれか一つに記載の医療用画像処理装置。
（１３）前記撮像画像内において、前記特異対応領域を他の領域と識別して表示する表示画像を生成する表示制御部をさらに備える前記（７）～（１２）のいずれか一つに記載の医療用画像処理装置。
【符号の説明】
【0081】
１ 学習システム
２ 教師画像生成装置
３ 学習装置
４ 医療用観察装置
２１ 挿入部
２２，４２ 光源装置
２３ ライトガイド
２４，４４ カメラヘッド
２５ 第１の伝送ケーブル
２６ 表示装置
２７ 第２の伝送ケーブル
２８，４８ 制御装置
２９ 第３の伝送ケーブル
３１ 通信部
３２ 制御部
３３ 記憶部
２１１ 接眼部
２２１ 第１の光源
２２２ 第２の光源
２４１ レンズユニット
２４２ 撮像部
２４２ａ 励起光カットフィルタ
２４２ｂ 撮像素子
２４２ｃ 信号処理部
２４２ｄ カラーフィルタ
２４３ 第１の通信部
２８１ 第２の通信部
２８２ メモリ
２８３ 画像生成部
２８３ａ メモリコントローラ
２８３ｂ 第１の画像処理部
２８３ｃ 第２の画像処理部
２８３ｄ 表示制御部
２８４，４８４ 制御部
２８５ 入力部
２８６ 出力部
２８７ 記憶部
２８８ 第３の通信部
３２１ 教師画像取得部
３２２ 特異領域特定部
３２３ 第１の特徴量抽出部
３２４ 特異対応領域学習部
４８３ 画像生成部
４８３ａ メモリコントローラ
４８３ｂ 画像処理部
４８３ｃ 第２の特徴量抽出部
４８３ｄ 特異対応領域特定部
４８３ｅ 表示制御部
Ａｒ 蛍光領域
Ａｒ´ 蛍光対応領域
Ａｒ１ 第１の蛍光領域
Ａｒ１´ 第１の蛍光対応領域
Ａｒ２ 第２の蛍光領域
Ａｒ２´ 第２の蛍光対応領域
ＣＮ１，ＣＮ２ コネクタ
ＩＲ 第２の教師画像
ＮＥ ネットワーク
ＷＬＩ 第１の教師画像
ＷＬＩ´ 表示画像
２ 教師画像生成装置
３ 学習装置
４ 医療用観察装置
２１ 挿入部
２２，４２ 光源装置
２３ ライトガイド
２４，４４ カメラヘッド
２５ 第１の伝送ケーブル
２６ 表示装置
２７ 第２の伝送ケーブル
２８，４８ 制御装置
２９ 第３の伝送ケーブル
３１ 通信部
３２ 制御部
３３ 記憶部
２１１ 接眼部
２２１ 第１の光源
２２２ 第２の光源
２４１ レンズユニット
２４２ 撮像部
２４２ａ 励起光カットフィルタ
２４２ｂ 撮像素子
２４２ｃ 信号処理部
２４２ｄ カラーフィルタ
２４３ 第１の通信部
２８１ 第２の通信部
２８２ メモリ
２８３ 画像生成部
２８３ａ メモリコントローラ
２８３ｂ 第１の画像処理部
２８３ｃ 第２の画像処理部
２８３ｄ 表示制御部
２８４，４８４ 制御部
２８５ 入力部
２８６ 出力部
２８７ 記憶部
２８８ 第３の通信部
３２１ 教師画像取得部
３２２ 特異領域特定部
３２３ 第１の特徴量抽出部
３２４ 特異対応領域学習部
４８３ 画像生成部
４８３ａ メモリコントローラ
４８３ｂ 画像処理部
４８３ｃ 第２の特徴量抽出部
４８３ｄ 特異対応領域特定部
４８３ｅ 表示制御部
Ａｒ 蛍光領域
Ａｒ´ 蛍光対応領域
Ａｒ１ 第１の蛍光領域
Ａｒ１´ 第１の蛍光対応領域
Ａｒ２ 第２の蛍光領域
Ａｒ２´ 第２の蛍光対応領域
ＣＮ１，ＣＮ２ コネクタ
ＩＲ 第２の教師画像
ＮＥ ネットワーク
ＷＬＩ 第１の教師画像
ＷＬＩ´ 表示画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
