知財求人 - 知財ポータルサイト「IP Force」
▶ ソニー・オリンパスメディカルソリューションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023119524
(43)【公開日】2023-08-28
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
A61B 1/06 20060101AFI20230821BHJP
A61B 1/00 20060101ALI20230821BHJP
A61B 1/045 20060101ALI20230821BHJP
【ＦＩ】
A61B1/06 612
A61B1/00 511
A61B1/045 632
【審査請求】未請求
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2022022493
(22)【出願日】2022-02-16
(71)【出願人】
【識別番号】313009556
【氏名又は名称】ソニー・オリンパスメディカルソリューションズ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(72)【発明者】
【氏名】小島 航史
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161CC03
4C161CC06
4C161DD01
4C161FF02
4C161LL01
4C161MM05
4C161NN01
4C161QQ02
4C161QQ04
4C161QQ07
4C161QQ09
4C161RR02
4C161RR22
4C161SS06
4C161SS09
4C161WW04
4C161WW17
(57)【要約】
【課題】画像処理装置及びその方法を提供する。
【解決手段】本開示の画像処理装置は、第１光源と、第１光源からの第１光に対して被検体から反射した光を露光して第１画像信号を生成する第１撮像部と、第１画像信号に基づき第１画像を生成する第１画像処理部と、第２光源と、第２光源からの第２光に対して被検体から発生した蛍光を露光して第２画像信号を生成する第２撮像部と、第２画像信号に基づき第２画像を生成する第２画像処理部と、第１画像と第２画像とを重畳して重畳画像を生成する重畳画像生成部と、重畳画像の輝度情報に基づき、第１光源、第１撮像部及び第１画像処理部のうち少なくとも１つを制御する第１制御パラメータと、第２光源、第２撮像部及び第２画像処理部のうち少なくとも１つを制御する第２制御パラメータとを調整することにより、第１画像の輝度と第２画像の輝度とを調整する制御部と、を備える。
【選択図】図１
【解決手段】本開示の画像処理装置は、第１光源と、第１光源からの第１光に対して被検体から反射した光を露光して第１画像信号を生成する第１撮像部と、第１画像信号に基づき第１画像を生成する第１画像処理部と、第２光源と、第２光源からの第２光に対して被検体から発生した蛍光を露光して第２画像信号を生成する第２撮像部と、第２画像信号に基づき第２画像を生成する第２画像処理部と、第１画像と第２画像とを重畳して重畳画像を生成する重畳画像生成部と、重畳画像の輝度情報に基づき、第１光源、第１撮像部及び第１画像処理部のうち少なくとも１つを制御する第１制御パラメータと、第２光源、第２撮像部及び第２画像処理部のうち少なくとも１つを制御する第２制御パラメータとを調整することにより、第１画像の輝度と第２画像の輝度とを調整する制御部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１波長帯域を有する第１光を被検体に照射する第１光源と、
前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第１撮像部と、
前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第１画像処理部と、
前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第２光源と、
前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第２撮像部と、
前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第２画像処理部と、
前記第１画像と前記第２画像とを重畳して重畳画像を生成する重畳画像生成部と、
前記重畳画像の輝度情報に基づき、前記第１光源、前記第１撮像部及び前記第１画像処理部のうち少なくとも１つを制御する第１制御パラメータと、前記第２光源、前記第２撮像部及び前記第２画像処理部のうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する制御部と、
を備えた画像処理装置。
前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第１撮像部と、
前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第１画像処理部と、
前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第２光源と、
前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第２撮像部と、
前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第２画像処理部と、
前記第１画像と前記第２画像とを重畳して重畳画像を生成する重畳画像生成部と、
前記重畳画像の輝度情報に基づき、前記第１光源、前記第１撮像部及び前記第１画像処理部のうち少なくとも１つを制御する第１制御パラメータと、前記第２光源、前記第２撮像部及び前記第２画像処理部のうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する制御部と、
を備えた画像処理装置。
【請求項2】
前記制御部は、前記重畳画像の輝度情報と、前記重畳画像の目標輝度情報との差分に基づき、前記第１制御パラメータと前記第２制御パラメータとを調整する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記制御部は、前記第１制御パラメータと前記第２制御パラメータとを調整することにより、前記差分をゼロにする又は閾値以下にする
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項4】
前記制御部は、前記第１制御パラメータと前記第２制御パラメータ間の比率の比率に関する条件に基づき、前記第１制御パラメータと前記第２制御パラメータを調整する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記制御部は、前記第１制御パラメータと前記第２制御パラメータの調整前の比率と、前記第１制御パラメータと前記第２制御パラメータの調整後の比率の差をゼロ又は閾値以下する
請求項４に記載の画像処理装置。
請求項４に記載の画像処理装置。
【請求項6】
前記第１制御パラメータは、前記第１光源の光量を調整するパラメータであり、
前記第２制御パラメータは、前記第２光源の光量を調整するパラメータである
請求項１に記載の画像処理装置。
前記第２制御パラメータは、前記第２光源の光量を調整するパラメータである
請求項１に記載の画像処理装置。
【請求項7】
前記第１制御パラメータは、前記第１撮像部において前記第１光の反射光の露光量調整するパラメータであり、
前記第２制御パラメータは、前記第２撮像部において前記蛍光の露光量を調整するパラメータである
請求項１に記載の画像処理装置。
前記第２制御パラメータは、前記第２撮像部において前記蛍光の露光量を調整するパラメータである
請求項１に記載の画像処理装置。
【請求項8】
前記第１制御パラメータは、前記第１撮像部における前記第１画像信号のアナログゲインを調整するパラメータであり、
前記第２制御パラメータは、前記第２撮像部における第２画像信号のアナログゲインを調整するパラメータである、
請求項１に記載の画像処理装置。
前記第２制御パラメータは、前記第２撮像部における第２画像信号のアナログゲインを調整するパラメータである、
請求項１に記載の画像処理装置。
【請求項9】
前記第１制御パラメータは、前記第１画像処理部における前記第１画像信号のデジタルゲインを調整するパラメータであり、
前記第２制御パラメータは、前記第２画像処理部における前記第２画像信号のデジタルゲインを調整するパラメータである、
請求項１に記載の画像処理装置。
前記第２制御パラメータは、前記第２画像処理部における前記第２画像信号のデジタルゲインを調整するパラメータである、
請求項１に記載の画像処理装置。
【請求項10】
前記第１制御パラメータは、前記第１光源の光量を調整する第１光量調整パラメータ、前記第１撮像部における前記第１光の反射光の露光量を調整する第１露光量調整パラメータ、前記第１撮像部における第１画像信号のアナログゲインを調整する第１アナログゲイン調整パラメータ、及び前記第１画像処理部における第１画像信号のデジタルゲインを調整する第１デジタルゲイン調整パラメータのうちの少なくとも２つを含み、
前記第２制御パラメータは、前記第２光源の光量を調整する第２光量調整パラメータ、前記第２撮像部における前記蛍光の露光量を調整する第２露光量調整パラメータ、前記第２撮像部における前記第２画像信号のアナログゲインを調整する第２アナログゲイン調整パラメータ、及び前記第２画像処理部における前記第２画像信号のデジタルゲインを調整する第２デジタルゲイン調整パラメータのうちの前記少なくとも２つを含み、
前記制御部は、前記第１光量調整パラメータ、前記第１露光量調整パラメータ、前記第１アナログゲイン調整パラメータ、及び前記第１デジタルゲイン調整パラメータのうちの前記少なくとも２つを第１の優先順位で調整し、
前記制御部は、前記第２光量調整パラメータ、前記第２露光量調整パラメータ、前記第２アナログゲイン調整パラメータ、前記第２デジタルゲイン調整パラメータのうちの前記少なくとも２つを第２の優先順位で調整する
請求項１に記載の画像処理装置。
前記第２制御パラメータは、前記第２光源の光量を調整する第２光量調整パラメータ、前記第２撮像部における前記蛍光の露光量を調整する第２露光量調整パラメータ、前記第２撮像部における前記第２画像信号のアナログゲインを調整する第２アナログゲイン調整パラメータ、及び前記第２画像処理部における前記第２画像信号のデジタルゲインを調整する第２デジタルゲイン調整パラメータのうちの前記少なくとも２つを含み、
前記制御部は、前記第１光量調整パラメータ、前記第１露光量調整パラメータ、前記第１アナログゲイン調整パラメータ、及び前記第１デジタルゲイン調整パラメータのうちの前記少なくとも２つを第１の優先順位で調整し、
前記制御部は、前記第２光量調整パラメータ、前記第２露光量調整パラメータ、前記第２アナログゲイン調整パラメータ、前記第２デジタルゲイン調整パラメータのうちの前記少なくとも２つを第２の優先順位で調整する
請求項１に記載の画像処理装置。
【請求項11】
前記第１の優先順位は、前記第１光量調整パラメータ及び前記第１露光量調整パラメータの順であり、
前記第２の優先順位は、前記第２光量調整パラメータ及び前記第２露光量調整パラメータの順である
請求項１０に記載の画像処理装置。
前記第２の優先順位は、前記第２光量調整パラメータ及び前記第２露光量調整パラメータの順である
請求項１０に記載の画像処理装置。
【請求項12】
前記第１の優先順位は、前記第１光量調整パラメータ、前記第１アナログゲイン調整パラメータ、前記第１デジタルゲイン調整パラメータ及び前記第１露光量調整パラメータの順であり、
前記第２の優先順位は、前記第２光量調整パラメータ、前記第２アナログゲイン調整パラメータ、前記第２デジタルゲイン調整パラメータ及び前記第２露光量調整パラメータの順である
請求項１０に記載の画像処理装置。
前記第２の優先順位は、前記第２光量調整パラメータ、前記第２アナログゲイン調整パラメータ、前記第２デジタルゲイン調整パラメータ及び前記第２露光量調整パラメータの順である
請求項１０に記載の画像処理装置。
【請求項13】
前記重畳画像の輝度情報は、前記重畳画像の平均輝度を表す情報である
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項14】
前記重畳画像は前記重畳画像の第１位置を含む第１画像部分と、前記第１画像部分の周囲の第２画像部分とを含み、
前記制御部は、前記第１画像部分に第１重みを設定し、前記第２画像部分に第２重みを設定し、
前記第１重みと前記第２重みとに基づき前記第１画像部分の輝度と前記第２画像部分の輝度との重み付き平均を算出する
請求項１３に記載の画像処理装置。
前記制御部は、前記第１画像部分に第１重みを設定し、前記第２画像部分に第２重みを設定し、
前記第１重みと前記第２重みとに基づき前記第１画像部分の輝度と前記第２画像部分の輝度との重み付き平均を算出する
請求項１３に記載の画像処理装置。
【請求項15】
前記制御部は、前記重畳画像において第１閾値以上の輝度を有する画素のみに基づき前記平均輝度を算出する
請求項１３に記載の画像処理装置。
請求項１３に記載の画像処理装置。
【請求項16】
前記制御部は、前記重畳画像において第２閾値以上の輝度を有する画素の輝度を前記第２閾値に固定して、前記平均輝度を算出する
請求項１３に記載の画像処理装置。
請求項１３に記載の画像処理装置。
【請求項17】
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第２画像の色に応じて、前記赤、前記緑、及び前記青の重みを変更する
請求項１に記載の画像処理装置。
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第２画像の色に応じて、前記赤、前記緑、及び前記青の重みを変更する
請求項１に記載の画像処理装置。
【請求項18】
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第１光の色に応じて、前記赤、前記緑、及び前記青の重みを変更する
請求項１に記載の画像処理装置。
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第１光の色に応じて、前記赤、前記緑、及び前記青の重みを変更する
請求項１に記載の画像処理装置。
【請求項19】
前記制御部は、前記重畳画像を表示する第１表示モードと、前記第１画像を表示する第２表示モードとを選択可能に実行し、
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第１表示モード及び前記第２表示モードのいずれを実行にするかに応じて、前記赤、前記緑、及び前記青の重みを変更する
請求項１に記載の画像処理装置。
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第１表示モード及び前記第２表示モードのいずれを実行にするかに応じて、前記赤、前記緑、及び前記青の重みを変更する
請求項１に記載の画像処理装置。
【請求項20】
前記制御部は、前記重畳画像における複数の領域ごとに平均輝度を算出し、前記平均輝度が高い領域ほど高い重みを前記領域に含まれる画素に設定して、
前記領域毎の前記画素の前記重みに基づき、前記重畳画像の画素毎の輝度の重み付き平均を算出する
請求項１３に記載の画像処理装置。
前記領域毎の前記画素の前記重みに基づき、前記重畳画像の画素毎の輝度の重み付き平均を算出する
請求項１３に記載の画像処理装置。
【請求項21】
前記制御部は、前記第１制御パラメータと前記第２制御パラメータとを同時に調整する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項22】
第１波長帯域を有する第１光を被検体に照射する第１ステップと、
前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第２ステップと、
前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第３ステップと、
前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第４ステップと、
前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第５ステップと、
前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第６ステップと、
前記第１画像と前記第２画像とを重畳して重畳画像を生成する第７ステップと、
前記重畳画像の輝度情報に基づき、前記第１ステップ、前記第２ステップ及び前記第３ステップのうち少なくとも１つを制御する第１制御パラメータと、前記第４ステップ、前記第５ステップ及び前記第６ステップのうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する第８ステップと
を備えた画像処理方法。
前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第２ステップと、
前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第３ステップと、
前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第４ステップと、
前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第５ステップと、
前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第６ステップと、
前記第１画像と前記第２画像とを重畳して重畳画像を生成する第７ステップと、
前記重畳画像の輝度情報に基づき、前記第１ステップ、前記第２ステップ及び前記第３ステップのうち少なくとも１つを制御する第１制御パラメータと、前記第４ステップ、前記第５ステップ及び前記第６ステップのうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する第８ステップと
を備えた画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
観察対象から２種類の撮像画像をそれぞれ取得し、対応する画素同士で重畳して観察用の重畳画像を生成する医療用画像処理装置が知られている。２種類の撮像画像のうちの一方の撮像画像は、白色光が観察対象に照射され、当該観察対象で反射された光を撮像素子にて撮像した画像（白色画像と記載する）である。他方の撮像画像は、近赤外線等の励起光が観察対象に照射され、当該励起光によって観察対象に含まれる蛍光体から励起された蛍光を撮像素子にて撮像した画像（赤外画像と記載する）である。
【0003】
このような重畳画像に基づき観察対象を観察する方法において、下記特許文献１では、白色光の光源（白色光源）及び近赤外線の光源（近赤外光源）の光量、又は画像処理のゲインを変更することで、白色画像と赤外画像との合成バランスをとる方法が記載されている。しかしながら、この方法では、観察対象に蛍光体を注入する前では、近赤外線の光源の光量又は画像処理のゲインが過度に大きくされる。このため、赤外画像が明るくなりすぎ、重畳画像におけるノイズが増える問題がある。
【0004】
また当該特許文献１には、白色画像の輝度に追従して、近赤外線光源から出射する近赤外線の輝度を調整する方法も記載されている。この方法では、蛍光体が注入される前において、近赤外線光源の光量又は画像処理のゲインが過度に大きくされることはなく、赤外画像が明るくなりすぎることはない。しかしながら、励起される蛍光の量が増えた場合に、赤外画像の明るさが重畳画像に適正に反映されず、重畳画像が過度に明るくなる問題がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第５１８４０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、上記のような課題を解決するためのものであり、複数の光源を用いて撮像して得られた複数の画像を好適なバランスで重畳することを可能にする画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【0007】
本開示に係る画像処理装置は、第１波長帯域を有する第１光を被検体に照射する第１光源と、前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第１撮像部と、前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第１画像処理部と、前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第２光源と、前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第２撮像部と、前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第２画像処理部と、前記第１画像と前記第２画像とを重畳して重畳画像を生成する重畳画像生成部と、前記重畳画像の輝度情報に基づき、前記第１光源、前記第１撮像部及び前記第１画像処理部のうち少なくとも１つを制御する第１制御パラメータと、前記第２光源、前記第２撮像部及び前記第２画像処理部のうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する制御部と、を備える。
【図面の簡単な説明】
【0008】
【図1】本開示の第１実施形態に係る内視鏡装置の構成を示す図。
【図2】挿入部材及びカメラヘッドの内部の構成を示す図。
【図3】カメラヘッド及び制御装置の構成を示すブロック図。
【図4】制御部における輝度制御を行う構成のブロック図。
【図5】制御装置の動作を示すフローチャート。
【図6】白色光の感度が高い重畳画像の表示例を示す図。
【図7】関連技術により重畳画像を生成した例を示す図。
【図8】蛍光の輝度の割合が大きい重畳画像の表示例を示す図。
【図9】関連技術により生成した重畳画像の例を示す図。
【図10】対象画像及び周辺画像の例と、対象画像と周辺画像の一部とで輝度の重み付き平均値を算出する例とを示す図。
【図11】重畳画像においてマスク領域の画像と、非マスク領域の画像とを示す図。
【図12】重畳画像において輝度値が飽和している画像を示す図。
【図13】輝度の高い領域に対する重みを高くして、輝度情報を算出する例を示す図。
【発明を実施するための形態】
【0009】
以下では、図面を参照しながら、本開示の実施形態について説明する。図面において同一又は対応する要素には同じ参照符号を付して、詳細な説明は適宜省略する。
【0010】
（第１実施形態）
図１は、本開示の第１実施形態に係る内視鏡装置１００の構成を示す図である。内視鏡装置１００は、医療分野において用いられ、被検体となる生体内（観察対象）を撮像又は観察するための装置である。内視鏡装置１００は、光源装置１０と、挿入部材（内視鏡本体）２０と、ライトガイド３０と、カメラヘッド５０と、表示装置７０と、伝送ケーブル８０と、制御装置９０とを備えている。
図１は、本開示の第１実施形態に係る内視鏡装置１００の構成を示す図である。内視鏡装置１００は、医療分野において用いられ、被検体となる生体内（観察対象）を撮像又は観察するための装置である。内視鏡装置１００は、光源装置１０と、挿入部材（内視鏡本体）２０と、ライトガイド３０と、カメラヘッド５０と、表示装置７０と、伝送ケーブル８０と、制御装置９０とを備えている。
【0011】
光源装置１０は、生体内に照射するための光を発生させる。光源装置１０は、ライトガイド３０によって挿入部材２０と接続される。光源装置１０は、ライトガイド３０によって挿入部材２０と接続される。光源装置１０は、ライトガイド３０の一端３１に脱着可能に接続されており、発生させた光をライトガイド３０の一端３１に供給する。ライトガイド３０の他端３２は、挿入部材２０の接続部２２に着脱可能に接続されている。
【0012】
光源装置１０は、第１光源１１と、第２光源１２とを備える。第１光源１１は、第１の波長帯域の光を出射（発光）する。本実施形態では、第１光源１１は、第１の波長帯域として白色（通常光）を発光する。第１光源１１は、一例としてＬＥＤ（Light Emitting Diode）により構成される。第１光源１１の発光輝度（光量）は、制御部９４によって調整可能である。第１光源１１の光量は、白色光（通常光）に基づき撮像される画像（通常光画像）の輝度を調整するための第１制御パラメータ又は第１光量調整パラメータの一例に対応する。第１光源１１の発光色は白色に限定されない。例えば第１光源１１は紫など他の色の光を発光することも可能である。この場合、例えば、第１光源１１のＲＧＢの色の混合割合を変更することで、発光する色を変更することが可能である。
【0013】
第２光源１２は、第１の波長帯域とは異なる第２の波長帯域の励起光を出射（発光）する。本実施形態では、第２光源１２は、第２の波長帯域として、近赤外の波長帯域の近赤外励起光（励起光）を発光する。第２光源１２は、一例として、半導体レーザで構成される。本実施形態では、第２光源１２は、近赤外の波長帯域の近赤外励起光を発光する半導体レーザで構成されている。第２光源１２の発光輝度（光量）は、制御部９４によって調整可能である。
【0014】
第２光源１２が発光する近赤外励起光は、インドシアニングリーン等の蛍光物質（蛍光体）を励起する励起光である。また、当該インドシアニングリーン等の蛍光物質は、当該近赤外励起光で励起すると、当該近赤外励起光の波長帯域の中心波長よりも長波長側に中心波長を有する蛍光を発光する。なお、近赤外励起光の波長帯域と蛍光の波長帯域とは、一部が重なり合うように設定してもよく、あるいは、全く重なり合わないように設定してもよい。第２光源１２の光量は、蛍光に基づき撮像される画像（蛍光画像）の輝度を調整するための第２制御パラメータ又は第２光量調整パラメータの一例に対応する。
【0015】
光源装置１０は、制御装置９０による制御の下、交互に繰り返される第１の期間及び第２の期間のうち、第１の期間において、第１光源１１を発光させる。すなわち、第１の期間では、光源装置１０は、通常光（白色光）を発光する。また、光源装置１０は、制御装置９０による制御の下、第２の期間において、第２光源１２を発光させる。すなわち、第２の期間では、光源装置１０は、近赤外励起光を発光する。光源装置１０は、制御装置９０とは別体で構成されているが、光源装置１０が制御装置９０の内部に設けられていてもよい。
【0016】
挿入部材２０は、光源装置１０にライトガイド３０を介して接続される。挿入部材２０は、硬質で細長い形状を有する硬性内視鏡であり、その先端部２１から生体内に挿入されることができる。挿入部材２０の基端部２３（接眼部）は、カメラヘッド５０に着脱自在に接続される。
【0017】
挿入部材２０の先端部２１から、光源装置１０からライトガイド３０を介して供給される光（通常光や近赤外励起光）が被検体内の観察対象に向けて出射する。出射された照明光は、生体内の観察対象によって反射させられ、先端部２１から挿入部材２０の内部に再び入射する。挿入部材２０の内部には、１つ又は複数の光学レンズによって構成される観測光学系が設けられている。観察対象Ｓからの反射光は、観測光学系によって集光されて、挿入部材２０の基端部（接眼部）２３を介して、カメラヘッド５０内に導かれる。
【0018】
より詳細には、生体内に通常光（白色光）が照射された場合には、当該生体内を介した通常光（当該生体内で反射された通常光）が挿入部材２０内の光学系により集光され、カメラヘッド５０内に導かれる。以下では、挿入部材２０内の光学系により集光された当該通常光を第１の被検体像と記載する場合がある。また、生体内に近赤外励起光が照射された場合には、当該生体内で反射された近赤外励起光と、当該生体内における病変部に集積するインドシアニングリーン等の蛍光物質が励起されることで発せられた蛍光とが挿入部材２０内の光学系により集光され、カメラヘッド５０内に導かれる。以下では、挿入部材２０内の光学系により集光された蛍光（又は近赤外励起光と蛍光）を第２の被検体像と記載する場合がある。
【0019】
図２は、挿入部材２０及びカメラヘッド５０の内部の構成を示す図である。挿入部材２０の先端部２１には、光源装置１０からライトガイド３０を介して供給される光を被検体（生体）内の対象領域（観察対象Ｓ）に向けて出射する出射部２４Ａが設けられている。出射部２４Ａはレンズ又はその他の部材で構成されてもよいし、空間（孔）であってもよい。出射部２４Ａから出射された光Ｌ１（通常光又は近赤外励起光）は、生体内の対象領域（観察対象Ｓ）によって反射させられる。挿入部材２０の先端部２１には、反射波（通常光又は近赤外励起光）と、励起により発生した蛍光とが入射する入射部２４Ｂが設けられている。入射部２４Ｂに入射する光Ｌ２は、通常光の反射光を含む、又は近赤外励起光の反射光と蛍光とを含む。入射部２４Ｂはレンズ又はその他の部材で構成されてもよいし、空間（孔）であってもよい。光Ｌ２は、入射部２４Ｂに入射して、挿入部材２０の内部に再び導かれる。出射部２４Ａと入射部２４Ｂとは別々に設けられているが、出射部２４Ａと入射部２４Ｂが同一であってもよい。
【0020】
挿入部材２０の内部には、光学レンズ２５ａ、２５ｂ、２５ｃ、２５ｄ、２５ｅ、２５ｆ、２５ｇ、２５ｈによって構成される観測光学系２５が設けられている。最終段の光学レンズ２５ｈは接眼レンズと呼ばれる場合もある。観察対象Ｓからの光Ｌ２は、観測光学系２５によって集光され、挿入部材２０の基端部２３を介して、カメラヘッド５０に導かれる。この際、光学レンズ２５ｇと、光学レンズ２５ｈ（接眼レンズ）との間には視野マスク２７（硬性鏡マスク）が設けられていている。光学レンズ２５ｈ（接眼レンズ）の光軸、視野マスク２７の中心軸、及び光学レンズ２５ａ～２５ｇの光軸は一致している。視野マスク２７は、例えば円形状の開口を有し、医師等のユーザに観察させる視野画像に対応する光を通過させる。観測光学系２５によって集光される光は光学レンズ２５ｇの後段で視野マスク２７によって一部がマスクされた後、光学レンズ２５ｈによって集光され、カメラヘッド５０内に導かれる。なお視野マスクを設けない構成も可能である。
【0021】
カメラヘッド５０は、被検体又は被検体の観察対象を撮像する撮像装置に相当する。カメラヘッド５０は、挿入部材２０の基端部２３（接眼部）に着脱自在に接続される。カメラヘッド５０は、制御装置９０による制御の下、挿入部材２０にて集光された第１の被検体像（通常光）及び第２の被検体像（蛍光及び近赤外励起光）を撮像し、撮像による画像信号を出力する。画像信号は、例えば、４Ｋ以上の画像信号である。
【0022】
カメラヘッド５０の内部には、レンズユニット５１、撮像部５２（第１撮像部、第２撮像部）、及び通信部５３が設けられている。レンズユニット５１及び撮像部５２の各光軸は、挿入部材２０の観測光学系２５の光軸と一致する。カメラヘッド５０に導かれた光Ｌ２は、レンズユニット５１によって集光されて、撮像部５２の撮像素子５２２に出力される。撮像部５２は、撮像素子５２２に出力された光を露光して、電気信号に変換することによって、観察対象Ｓの画像信号を生成する。通信部５３は画像信号を伝送ケーブル８０に出力する。カメラヘッド５０の詳細な構成及び動作については、後述する。
【0023】
伝送ケーブル８０は、一端が制御装置９０に着脱自在に接続され、他端がカメラヘッド５０に着脱自在に接続される。伝送ケーブル８０は、カメラヘッド５０から出力される画像信号等を制御装置９０に伝送し、また、制御装置９０から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド５０に伝送する。伝送ケーブル８０を介したカメラヘッド５０から制御装置９０への画像信号等の伝送は、光信号による伝送でも、電気信号による伝送でもよい。伝送ケーブル８０を介した制御装置９０からカメラヘッド５０への制御信号、同期信号、クロックの伝送も同様に、光信号による伝送でも、電気信号による伝送でもよい。伝送ケーブル８０による有線伝送に変えて、無線伝送を用いてもよい。無線ＬＡＮ（Local Area Network）、ブルートゥース（登録商標）、赤外線通信など、任意の方式又は規格を用いることができる。
【0024】
表示装置７０は、一例として、液晶ディスプレイ又は有機ＥＬ（Organic Electro-Luminescence）ディスプレイ等の表示装置である。表示装置７０は、制御装置９０による制御の下、制御装置９０にて処理された画像信号を受信し、画像信号に基づく画像（映像）を画面に表示する。表示装置７０は制御装置９０に伝送ケーブルにより接続されて有線により表示用の画像信号を受信してもよいし、無線伝送により表示用の画像信号を受信してもよい。
【0025】
制御装置９０は、光源装置１０、カメラヘッド５０、及び表示装置７０の動作を統括的に制御する。例えば、制御装置９０は、カメラヘッド５０から伝送ケーブル８０を介して受信された観察対象の画像信号に対して、各種の画像処理を施すことによって、表示用の画像信号（映像信号）を生成する。また制御装置９０は、光源装置１０を制御する制御信号を光源装置１０に伝送する。光源装置１０は制御装置９０に伝送ケーブルにより接続されて有線により表示用の制御信号を受信してもよいし、無線伝送により制御を受信してもよい。
【0026】
制御装置９０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ、又はＧＰＵ（Micro Processing Unit）、又はＧＰＵ（Graphics Processing Unit）等の汎用プロセッサによって実現されてもよいし、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって実現されてもよい。制御装置９０が汎用プロセッサにより構成される場合、ソフトウェア又はプログラムを汎用プロセッサに実行させることにより、制御装置９０の機能が実現される。制御装置９０の詳細な構成については、後述する。
【0027】
【0028】
レンズユニット５１は、１又は複数のレンズを含む。レンズユニット５１は、挿入部材２０にて集光された第１の被検体像（通常光）又は第２の被検体像（蛍光及び近赤外励起光）を集光し、撮像部５２（撮像素子５２２）の撮像面に出力する。撮像部５２は、制御装置９０による制御の下、生体内を撮像する。撮像部５２は、レンズユニット５１により集光された第１の被検体像（通常光）を露光して第１画像信号を生成する第１撮像部と、レンズユニット５１により集光された第２の被検体像（蛍光）を露光して第２画像信号を生成する第２撮像部とを含む。
【0029】
撮像部５２は、励起光カットフィルタ５２１と、撮像素子５２２と、信号処理部５２３とを備えている。
【0030】
励起光カットフィルタ５２１は、レンズユニット５１と撮像素子５２２との間に設けられ、特定の波長帯域を除去するバンドストップフィルタを含む。なお、励起光カットフィルタ５２１にてカット（除去）する波長帯域をカット帯域と記載する。当該カット帯域よりも短波長側であって励起光カットフィルタ５２１を透過する波長帯域を短波側透過帯域と記載する。当該カット帯域よりも長波長側であって励起光カットフィルタ５２１を透過する波長帯域を長波側透過帯域と記載する。カット帯域は、近赤外励起光の波長帯域のうち少なくとも一部の波長帯域を含む。また、長波側透過帯域は、蛍光の波長帯域を含む。長波側透過帯域は、蛍光の波長帯域に加え、近赤外励起光の波長帯域の一部の波長帯域を含み得る。以下の説明では長波側透過帯域が蛍光の波長帯域のみを含む場合を記載するが、近赤外励起光の波長帯域の一部の波長帯域が含まれていてもよい。短波側透過帯域は、通常光（白色光）の波長帯域（第１の波長帯域）を含む。すなわち、励起光カットフィルタ５２１は、レンズユニット５１から撮像素子５２２に向かう第１の被検体像（通常光（白色光））を透過させる。また、励起光カットフィルタ５２１は、レンズユニット５１から撮像素子５２２に向かう第２の被検体像（蛍光）を透過させる。なお、励起光カットフィルタ５２１はカメラヘッド５０内に配置されているが、これに限定されず挿入部材２０内の光学系の光路上に配置されてもよい。
【0031】
撮像素子５２２は、励起光カットフィルタ５２１を透過した光を受光して電気信号（アナログ信号）に変換する。撮像素子５２２は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を含む。撮像素子５２２は、第１の被検体像（通常光）を露光して第１画像信号を生成する第１撮像部と、第２の被検体像（蛍光）を露光して第２画像信号を生成する第２撮像部とで共通に用いられるが、それぞれ別々に設けられてもよい。
【0032】
撮像素子５２２の撮像面（受光面）には、光学フィルタであるカラーフィルタが設けられている。カラーフィルタは、透過させる光（Ｒ（赤），Ｇ（緑），Ｂ（青））の波長帯域に応じて区分された３種類のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の形式で配列されたものである。ＲＧＢの各フィルタの配列形式の例として、ベイヤ配列がある。Ｒフィルタは、Ｒの波長帯域の光を主に透過させるフィルタ、Ｂフィルタは、Ｂの波長帯域の光を主に透過させるフィルタ、Ｇフィルタは、Ｇの波長帯域の光を主に透過させるフィルタである。なお、Ｒ，Ｇ，Ｂの各フィルタは蛍光（及び近赤外励起光）についても透過させる。撮像素子５２２は、Ｒ，Ｇ，Ｂの波長帯域の光のみならず、蛍光の波長帯域の光（及び近赤外励起光）に対しても感度を有する。
【0033】
撮像素子５２２は、制御装置９０による制御の下、光源装置１０の発光タイミングに同期して、交互に繰り返される第１の期間及び第２の期間毎に撮像を行う。
【0034】
具体的には、撮像素子５２２は、第１の期間において第１の被検体像（通常光）を露光して第１画像信号を生成する。撮像素子５２２の第１の期間における第１の被検体像（通常光）の露光量又は露光時間は制御部９４によって調整可能である。撮像素子５２２により第１の被検体像（通常光）を撮像することで生成された画像、すなわち第１画像信号に基づく画像を、通常光画像（第１画像）と記載する。第１の被検体像の露光量又は露光時間は、白色光（通常光）に基づき撮像される画像（通常光画像）の輝度を調整するための第１制御パラメータ又は第１露光量調整パラメータの一例に対応する。
また、撮像素子５２２は、第２の期間において第２の被検体像（蛍光）を撮像して第２画像信号を生成する。撮像素子５２２の第２の期間における第２の被検体像（蛍光）の露光量又は露光時間は制御部９４によって調整可能である。第２の被検体像を撮像することで生成された画像、すなわち第２画像信号に基づく画像を、蛍光画像（第２画像）と記載する。第２の被検体像の露光量又は露光時間は、蛍光に基づき撮像される画像（蛍光画像）の輝度を調整するための第２制御パラメータ又は第２露光量調整パラメータの一例に対応する。
また、撮像素子５２２は、第２の期間において第２の被検体像（蛍光）を撮像して第２画像信号を生成する。撮像素子５２２の第２の期間における第２の被検体像（蛍光）の露光量又は露光時間は制御部９４によって調整可能である。第２の被検体像を撮像することで生成された画像、すなわち第２画像信号に基づく画像を、蛍光画像（第２画像）と記載する。第２の被検体像の露光量又は露光時間は、蛍光に基づき撮像される画像（蛍光画像）の輝度を調整するための第２制御パラメータ又は第２露光量調整パラメータの一例に対応する。
【0035】
信号処理部５２３は、撮像素子５２２にて生成されたアナログの画像信号（それぞれアナログの第１画像信号、第２画像信号）に対して、各種信号処理を行ってデジタルの画像信号（それぞれデジタルの第１画像信号、第２画像信号）を出力する。第１画像信号は、通常光画像（第１画像）を表し、第２画像信号は蛍光画像（第２画像）を表す。通常光画像（第１画像）及び蛍光画像（第２画像）を纏めて撮像画像と記載することもある。信号処理部５２３は、撮像画像（デジタル信号）を出力する。信号処理部５２３は、アナログゲイン調整を行うためのゲイン調整部（ＡＧＣ（Auto Gain Control）回路）５４０を備えている。すなわち、ＡＧＣ回路５４０は、信号処理として、ＡＧＣを行う。ＡＧＣ回路５４０は、通常光に基づき撮像された第１画像信号（アナログ信号）のアナログゲインを調整する。ＡＧＣ回路５４０は、蛍光に基づき撮像された第２画像信号（アナログ信号）のアナログゲインを調整する。アナログゲインを調整することで画像信号（アナログ信号）の振幅（例えば輝度）を調整可能である。信号処理部５２３は、それぞれＡＧＣ等を経た第１画像信号及び第２画像信号にＡＤ変換を行ってデジタルの第１画像信号及びデジタルの第２画像信号、すなわち撮像信号（デジタル信号）を生成する。信号処理部５２３は撮像部５２に含まれているが、撮像部５２と通信部５３との間に独立した機能部として存在してもよい。
【0036】
ゲイン調整部５４０で用いる第１画像信号（アナログ信号）のアナログゲインは制御部９４によって調整可能である。第１画像信号（アナログ信号）のアナログゲインは、白色光（通常光）に基づき撮像される画像（通常光画像）の輝度を調整するための第１制御パラメータ又は第１アナログゲイン調整パラメータの一例に対応する。
【0037】
ゲイン調整部５４０で用いる第２画像信号（アナログ信号）のアナログゲインは制御部９４によって調整可能である。第２画像信号（アナログ信号）のアナログゲインは、蛍光に基づき撮像される画像（蛍光画像）の輝度を調整するための第２制御パラメータ又は第２アナログゲイン調整パラメータの一例に対応する。
【0038】
ゲイン調整部５４０は、第１の被検体像（通常光）を露光して第１画像信号を生成する第１撮像部と、第２の被検体像（蛍光）を露光して第２画像信号を生成する第２撮像部とで共通に用いられるが、それぞれ別々に設けられてもよい。
【0039】
通信部５３は、伝送ケーブル８０を介して、撮像部５２から出力される撮像画像（デジタル信号）を制御装置９０に送信する。通信部５３は、例えば、高速伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
【0040】
〔制御装置９０の構成〕
制御装置９０は、通信部９１と、メモリ９２と、観察画像生成部９３と、制御部９４と、入力部９５と、出力部９６と、記憶部９７とを備える。
制御装置９０は、通信部９１と、メモリ９２と、観察画像生成部９３と、制御部９４と、入力部９５と、出力部９６と、記憶部９７とを備える。
【0041】
通信部９１は、伝送ケーブル８０を介して、カメラヘッド５０から出力される撮像画像を受信する。通信部９１は、例えば、カメラヘッド５０の通信部５３との間で、高速伝送レートで撮像画像の通信を行う高速シリアルインターフェースで構成されている。
【0042】
メモリ９２は、カメラヘッド５０から順次、出力される撮像画像を複数フレーム分、一時的に記憶する。メモリ９２は、例えば揮発性メモリ又は不揮発性メモリにより構成される。一例としてメモリ９２は、揮発性メモリであるＤＲＡＭ（Dynamic Random Access Memory）により構成される。
【0043】
観察画像生成部９３は、制御部９４による制御の下、カメラヘッド５０から順次、出力され、通信部９１にて受信された撮像画像を処理する。観察画像生成部９３は、メモリコントローラ９３１と、第１画像処理部９３２と、第２画像処理部９３３と、重畳画像生成部９３４と、表示制御部９３５とを備える。第１画像処理部９３２と、第２画像処理部９３３は別々に設けられているが、１つの画像処理部としてまとめられてもよい。
【0044】
メモリコントローラ９３１は、メモリ９２への撮像画像の書込み及び読出しを制御する。より具体的に、メモリコントローラ９３１は、カメラヘッド５０から順次、出力され、通信部９１にて受信された撮像画像（通常光画像及び蛍光画像）をメモリ９２に順次、書き込む。また、メモリコントローラ９３１は、メモリ９２から通常光画像を特定のタイミングで読み出すとともに、読み出した通常光画像を第１画像処理部９３２に出力する。さらに、メモリコントローラ９３１は、メモリ９２から蛍光画像を特定のタイミングで読み出すとともに、読み出した蛍光画像を第２画像処理部９３３に出力する。
【0045】
第１画像処理部９３２は、入力された通常光画像の信号（デジタルの第１画像信号）に対して、第１の画像処理を実行する。第１画像処理部９３２は、通常光画像の信号に対してＡＧＣ（Auto Gain Control）によってデジタルゲインの調整を行うゲイン調整部（ＡＧＣ回路）９４０Ａを備えている。第１画像処理部９３２は、第１の画像処理として、通常光画像の信号のデジタルゲイン調整を行う。具体的には、通常光画像の信号（ＲＧＢ信号）のデジタルゲインを調整することにより、通常光画像の画素値（ＲＧＢ輝度値）を調整する。
【0046】
また、第１画像処理部９３２は、第１の画像処理として、オプティカルブラック減算処理、ホワイトバランス調整処理、デモザイク処理、色補正処理、ガンマ補正処理のうちの少なくとも１つを行ってもよい。
【0047】
また、第１画像処理部９３２は、第１の画像処理として、ＡＧＣ等の処理後のＲＧＢ信号（通常光画像）を輝度信号及び色差信号（Ｙ，Ｃｂ／Ｃｒ信号）に変換するＹＣ処理を行う。すなわちＹＣ処理では、ＡＧＣ等の処理後のＲＧＢ信号（通常光画像）に基づき、輝度信号（Ｙ値（以下、ＷＬＩ＿Ｙと記載））と、色差信号（Ｃｂ値（以下、ＷＬＩ＿Ｃｂと記載）、Ｃｒ値（以下、ＷＬＩ＿Ｃｒと記載））を画素ごとに算出する。
【0048】
例えば、ＷＬＩ＿Ｙは、以下の式により表される。“＋”は加算記号、“×”は乗算記号を示す。
ＷＬＩ＿Ｙ＝ＤＲ×Ｒ＋ＤＧ×Ｇ＋ＤＢ×Ｂ・・・（１）
Ｒは赤（Ｒ）の画素値、Ｇは緑（Ｇ）の画素値、Ｂは青（Ｂ）の画素値である。ＤＲ、ＤＧ、ＤＢは、それぞれＲ、Ｇ、Ｂに対する係数である。一例として、ＤＲは０．３、ＤＧは０．６、ＤＢは０．１である。ＤＲ、ＤＧ、ＤＢの合計値は１としている。ＤＲ、ＤＧ、ＤＢは、予め決められた値でも、後述する他の実施形態の説明で記載するように、制御部９４により調整されてもよい。ＤＲ、ＤＧ、ＤＢは、メモリ９２又は記憶部９７に記憶されていてもよい。
ＷＬＩ＿Ｙ＝ＤＲ×Ｒ＋ＤＧ×Ｇ＋ＤＢ×Ｂ・・・（１）
Ｒは赤（Ｒ）の画素値、Ｇは緑（Ｇ）の画素値、Ｂは青（Ｂ）の画素値である。ＤＲ、ＤＧ、ＤＢは、それぞれＲ、Ｇ、Ｂに対する係数である。一例として、ＤＲは０．３、ＤＧは０．６、ＤＢは０．１である。ＤＲ、ＤＧ、ＤＢの合計値は１としている。ＤＲ、ＤＧ、ＤＢは、予め決められた値でも、後述する他の実施形態の説明で記載するように、制御部９４により調整されてもよい。ＤＲ、ＤＧ、ＤＢは、メモリ９２又は記憶部９７に記憶されていてもよい。
【0049】
例えば、ＷＬＩ＿Ｃｂは、以下の式により表される。
ＷＬＩ＿Ｃｂ＝ＥＲ×Ｒ＋ＥＧ×Ｇ＋ＥＢ×Ｂ・・・（２）
ＥＲ、ＥＧ、ＥＢは、それぞれＲ、Ｇ、Ｂに対する係数である。ＥＲ、ＥＧ、ＥＢは、予め決められた値でも、制御部９４により調整されてもよい。ＥＲ、ＥＧ、ＥＢは、メモリ９２又は記憶部９７に記憶されていてもよい。
ＷＬＩ＿Ｃｂ＝ＥＲ×Ｒ＋ＥＧ×Ｇ＋ＥＢ×Ｂ・・・（２）
ＥＲ、ＥＧ、ＥＢは、それぞれＲ、Ｇ、Ｂに対する係数である。ＥＲ、ＥＧ、ＥＢは、予め決められた値でも、制御部９４により調整されてもよい。ＥＲ、ＥＧ、ＥＢは、メモリ９２又は記憶部９７に記憶されていてもよい。
【0050】
例えば、ＷＬＩ＿Ｃｒは、以下の式により表される。
ＷＬＩ＿Ｃｒ＝ＦＲ×Ｒ＋ＦＧ×Ｇ＋ＦＢ×Ｂ・・・（３）
ＦＲ、ＦＧ、ＦＢは、それぞれＲ、Ｇ、Ｂに対する係数である。ＦＲ、ＦＧ、ＦＢは、予め決められた値でも、制御部９４により調整されてもよい。ＦＲ、ＦＧ、ＦＢは、メモリ９２又は記憶部９７に記憶されていてもよい。
ＷＬＩ＿Ｃｒ＝ＦＲ×Ｒ＋ＦＧ×Ｇ＋ＦＢ×Ｂ・・・（３）
ＦＲ、ＦＧ、ＦＢは、それぞれＲ、Ｇ、Ｂに対する係数である。ＦＲ、ＦＧ、ＦＢは、予め決められた値でも、制御部９４により調整されてもよい。ＦＲ、ＦＧ、ＦＢは、メモリ９２又は記憶部９７に記憶されていてもよい。
【0051】
第２画像処理部９３３は、入力された蛍光画像に対して、第２の画像処理を実行する。第２画像処理部９３３は、第２の画像処理として、蛍光画像の信号に対してＡＧＣによってゲインの調整を行うゲイン調整部（ＡＧＣ回路）９４０Ｂを備えている。第２画像処理部９３３は、第２の画像処理として、ＡＧＣ回路９４０Ｂにより、蛍光画像の信号のゲイン調整を行う。具体的には、蛍光画像の信号のデジタルゲインを調整することにより、蛍光画像の画素値を調整する。
【0052】
また第２画像処理部９３３は、第２の画像処理として、ＡＧＣ後の蛍光画像から、輝度信号（Ｙ値（以下、ＩＲ＿Ｙと記載））を生成する処理を行う。一例として、蛍光画像の各画素値を輝度信号ＩＲ＿Ｙとして取得する。
【0053】
第１画像処理部９３２と第２画像処理部９３３はそれぞれ別々にゲイン調整部（ＡＧＣ回路）を備えているが、第１画像処理部９３２と第２画像処理部９３３とに共通のゲイン調整部（ＡＧＣ回路）が設けられていてもよい。以下、ゲイン調整部（ＡＧＣ回路）９４０Ａ、９４０Ｂをまとめてゲイン調整部（ＡＧＣ回路）９４０と記載する場合がある。
【0054】
ＡＧＣ回路９４０で用いる通常光用のデジタルゲインは制御部９４によって調整可能である。通常光用のデジタルゲインは、白色光（通常光）に基づき撮像される画像（通常光画像）の輝度を調整するための第１制御パラメータ又は第１デジタルゲイン調整パラメータの一例に対応する。
【0055】
ＡＧＣ回路９４０で用いる蛍光用のデジタルゲインは制御部９４によって調整可能である。蛍光用のデジタルゲインは、蛍光に基づき撮像される画像（蛍光画像）の輝度を調整するための第２制御パラメータ又は第２デジタルゲイン調整パラメータの一例に対応する。
【0056】
重畳画像生成部９３４は、第１画像処理部９３２にて第１の画像処理が実行された後の通常光画像と、第２画像処理部９３３にて第２の画像処理が実行された後の蛍光画像とを全ての領域について対応する画素同士で重畳（合成）して重畳画像（合成画像）を生成する。すなわち、重畳画像生成部９３４は、第１の被検体像（通常光）を露光して生成された第１画像信号が表す第１画像（通常光画像）と、第２の被検体像を撮像することで生成された第２画像信号が表す第２画像（蛍光画像）とを重畳して重畳画像を生成する。以下、重畳画像を生成する処理を詳細に記載する。
【0057】
重畳画像生成部９３４は、第１画像処理部９３２から第１の画像処理が実行された後の通常光画像におけるＷＬＩ＿Ｙ、ＷＬＩ＿Ｃｂ及びＷＬＩ＿Ｃｒを画素ごとに取得する。また、重畳画像生成部９３４は、第２画像処理部９３３から第２の画像処理が実行された後の蛍光画像におけるＩＲ＿Ｙを画素ごとに取得する。また、重畳画像生成部９３４は、蛍光画像に関して予め決められたＣｂ値（以下、ＩＲ＿Ｃｂと記載）と、予め決められたＣｒ値（以下、ＩＲ＿Ｃｒと記載）とを取得する。ＩＲ＿ＣｂとＩＲ＿Ｃｒはメモリ９２又は記憶部９７に記憶されていてもよい。
【0058】
重畳画像生成部９３４は、ＷＬＩ＿Ｙ、ＷＬＩ＿Ｃｂ及びＷＬＩ＿Ｃｒと、ＩＲ＿Ｙ、ＩＲ＿Ｃｂ及びＩＲ＿Ｃｒとに基づき、加算、乗算、あるいは減算等の複数の演算を行う。これによって、重畳画像におけるＹ値（以下、ｓｔａｃｋｅｄ＿Ｙと記載）、Ｃｂ値（以下、ｓｔａｃｋｅｄ＿Ｃｂと記載）、及びＣｒ値（以下、ｓｔａｃｋｅｄ＿Ｃｒと記載）を画素ごとに算出する。
【0059】
具体的に、「ｓｔａｃｋｅｄ＿Ｙ」、「ｓｔａｃｋｅｄ＿Ｃｂ」、及び「ｓｔａｃｋｅｄ＿Ｃｒ」は、以下の式（４）～式（６）によってそれぞれ表される。なお“－”は減算記号、“＋”は加算記号、“×”は乗算記号を示す。
ｓｔａｃｋｅｄ＿Ｙ＝（１－α）×ＷＬＩ＿Ｙ＋α×β×ＩＲ＿Ｙ・・・（４）
ｓｔａｃｋｅｄ＿Ｃｂ＝（１－α）×ＷＬＩ＿Ｃｂ＋α×ＩＲ＿Ｃｂ・・・（５）
ｓｔａｃｋｅｄ＿Ｃｒ＝（１－α）×ＷＬＩ＿Ｃｒ＋α×ＩＲ＿Ｃｒ・・・（６）
ｓｔａｃｋｅｄ＿Ｙ＝（１－α）×ＷＬＩ＿Ｙ＋α×β×ＩＲ＿Ｙ・・・（４）
ｓｔａｃｋｅｄ＿Ｃｂ＝（１－α）×ＷＬＩ＿Ｃｂ＋α×ＩＲ＿Ｃｂ・・・（５）
ｓｔａｃｋｅｄ＿Ｃｒ＝（１－α）×ＷＬＩ＿Ｃｒ＋α×ＩＲ＿Ｃｒ・・・（６）
【0060】
式（４）～式（６）において、αは、アルファ値である。αは予め医師等のユーザの知見に基づき予め決められた値でも、制御部９４により調整されてもよい。αは、一例として、０以上かつ１以下の値をとる。アルファ値はメモリ９２又は後述する記憶部９７に格納されていてもよい。αが制御部９４により調整される場合、αは、ＩＲ＿Ｙ、ゲイン（通常光画像のゲイン、蛍光画像のゲイン）、通常光画像のガンマ設定等のうちの少なくとも１つに基づいて決定されてもよい。例えば、αは、ＩＲ＿Ｙに応じた値（例えばＩＲ＿Ｙに係数を乗じることにより計算される値）でもよい。
【0061】
βは、ＩＲ＿Ｙに対する調整係数である。βは、予め決められた値であり、例えば０以上かつ１以下の値をとる。一例としてβは、０．６である。但し、βは、制御部９４により調整されてもよい。なお、式（５）、式（６）においてもβに相当する係数、すなわち、ＩＲ＿Ｃｂに対する調整係数、及びＩＲ＿Ｃｒに対する調整係数を導入してもよい。
【0062】
式（４）に示されるように、重畳画像における各画素（対象画素）のＹ値（ｓｔａｃｋｅｄ＿Ｙ）は、通常光画像において当該対象画素に対応する画素（第１対応画素）のＹ値（ＷＬＩ＿Ｙ）と、蛍光画像において当該対象画素に対応する画素（第２対応画素）のＹ値（ＩＲ＿Ｙ）とを、アルファ値（α）を用いてアルファブレンドすることで生成される。
【0063】
式（５）に示されるように、重畳画像における対象画素のＣｂ値（ｓｔａｃｋｅｄ＿Ｃｂ）は、第１対応画素のＣｂ値（ＷＬＩ＿Ｃｂ）と、予め定められたＣｂ値（ＩＲ＿Ｃｂ）とを、アルファ値（α）を用いてアルファブレンドすることで生成される。
【0064】
式（６）に示されるように、重畳画像における対象画素のＣｒ値（ｓｔａｃｋｅｄ＿Ｃｒ）は、第１対応画素のＣｒ値（ＷＬＩ＿Ｃｒ）と、予め定められたＣｒ値（ＩＲ＿Ｃｒ）とを、アルファ値（α）を用いてアルファブレンドすることで生成される。
【0065】
式（４）～式（６）は一例であり、他の式を用いて、「ｓｔａｃｋｅｄ＿Ｙ」、「ｓｔａｃｋｅｄ＿Ｃｂ」、及び「ｓｔａｃｋｅｄ＿Ｃｒ」を計算してもよい。
【0066】
第１の画像処理において通常光画像（ＲＧＢ信号）を輝度信号及び色差信号（Ｙ，Ｃｂ／Ｃｒ信号）に変換するＹＣ処理を行う例を示したが、ＹＣ処理を行わずに、ＲＧＢ信号ごとに、蛍光画像信号との間で、アルファブレンドを行う処理を行ってもよい。例えば、重畳画像における対象画素の画素値（ＲＧＢの輝度値）を、通常光画像における第１の対応画素の画素値（ＲＧＢの輝度値）と、特定の疑似色のＲＧＢ値とをアルファ値を用いた比率で重畳することにより算出してもよい。具体的には、通常光画像における第１の対応画素の画素値（ＲＧＢの輝度値）と、特定の疑似色のＲＧＢ値とをそれぞれ１―α及びαで重み付けし合計することで、重畳画像における対象画素の画素値（ＲＧＢの輝度値）を算出する。αは蛍光画像の第２の対応画素の輝度値に応じて決定してもよい。本実施形態で開示する、以下に詳述する通常光画像及び蛍光画像の輝度制御は、ＹＣ処理を行う場合及びＹＣ処理を行わない場合のいずれにも対応可能である。以下の説明では、ＹＣ処理により得られた輝度信号及び色差信号（Ｙ，Ｃｂ／Ｃｒ信号）に基づきアルファブレンド処理を行って、「ｓｔａｃｋｅｄ＿Ｙ」、「ｓｔａｃｋｅｄ＿Ｃｂ」、及び「ｓｔａｃｋｅｄ＿Ｃｒ」を計算する場合を想定する。
【0067】
表示制御部９３５は、制御部９４による制御の下、重畳画像生成部９３４にて生成された重畳画像（ｓｔａｃｋｅｄ＿Ｙ，ｓｔａｃｋｅｄ＿Ｃｂ，ｓｔａｃｋｅｄ＿Ｃｒ）に基づいて、表示用の画像信号（映像信号）を生成する。表示制御部９３５は、生成した映像信号を表示装置７０に出力する。
【0068】
制御部９４は、制御信号を出力することで、光源装置１０、カメラヘッド５０、及び表示装置７０の動作を制御し、また、制御装置９０全体の動作を制御する。
【0069】
制御部９４は、重畳画像生成部９３４により生成された重畳画像の輝度情報（例えばＹ値（ｓｔａｃｋｅｄ＿Ｙ））に基づき、光源装置１０（光源部）、撮像部５２、ゲイン調整部５４０、ゲイン調整部９４０（９４０Ａ、９４０Ｂ）の少なくとも１つを制御する。これにより、制御部９４は、通常光画像（第１画像信号に基づく画像）の輝度と、蛍光画像（第２画像信号に基づく画像）の輝度とをフィードバック制御により調整する輝度制御を行う。
【0070】
図４は、制御部９４における輝度制御を行う構成のブロック図である。制御部９４は、輝度情報算出部９４１と、パラメータ調整部９４２とを備えている。以下、図４に示す構成の動作を、光源装置１０（光源部）、撮像部５２（撮像素子５２２）、ゲイン調整部５４０、ゲイン調整部９４０（９４０Ａ、９４０Ｂのそれぞれを制御する場合を例にして説明する。
【0071】
［光源装置１０の制御］
制御部９４が重畳画像の輝度情報と、予め定めた目標輝度を表す目標輝度情報とに基づき、光源装置１０をフィードバック制御することにより、通常光画像の輝度と蛍光画像の輝度とを調整する例を示す。
制御部９４の輝度情報算出部９４１は、重畳画像の輝度情報を算出する。重畳画像の輝度情報としては、重畳画像の全画素の輝度値（ｓｔａｃｋｅｄ＿Ｙ）の平均値（平均輝度）がある。但し、輝度情報は、中央値、最大値、最小値等の統計値でもよい。以下の説明では、輝度情報は平均輝度であるとする。
制御部９４が重畳画像の輝度情報と、予め定めた目標輝度を表す目標輝度情報とに基づき、光源装置１０をフィードバック制御することにより、通常光画像の輝度と蛍光画像の輝度とを調整する例を示す。
制御部９４の輝度情報算出部９４１は、重畳画像の輝度情報を算出する。重畳画像の輝度情報としては、重畳画像の全画素の輝度値（ｓｔａｃｋｅｄ＿Ｙ）の平均値（平均輝度）がある。但し、輝度情報は、中央値、最大値、最小値等の統計値でもよい。以下の説明では、輝度情報は平均輝度であるとする。
【0072】
パラメータ調整部９４２は、重畳画像の輝度情報と、予め定めた目標輝度を表す目標輝度情報とに基づき、第１制御パラメータとして第１光源１１の発光輝度（光量）、第２制御パラメータとして第２光源１２の発光輝度（光量）を調整する。具体的には、重畳画像の輝度情報を目標輝度情報に一致又は近づけるように、すなわち両者の差分をゼロにする又はゼロに近づけるように、第１及び第２制御パラメータを調整する。第１光源１１の光量を調整することにより、通常光画像処理部９３２により生成される通常光画像の輝度を調整できる。第２光源１２の光量を調整することにより、蛍光画像処理部９３３により生成される蛍光画像の輝度を調整できる。制御部９４は、パラメータ調整部９４２によりそれぞれ調整された第１制御パラメータ及び第２制御パラメータを、第１光源１１及び第２光源１２にそれぞれ制御信号として送信する。
【0073】
制御部９４は、第１光源１１の光量及び第２光源１２の光量を調整する際、第１光源１１の発光輝度（光量）及び第２光源１２の発光輝度（光量）間の比率に関する条件を満たすようにしてもよい。比率に関する条件として、調整前後で比率を同一に維持、又は調整前後で比率が変動することを抑制することがある。例えば、これらの光源の光量の比率の変動量を閾値以下に抑えるように、これら光源の光量を調整する。当該比率の変動を調整前後で抑制する具体例として、当該比率の差を調整前後で閾値以下又はゼロにしてもよい。例えば、第１光源１１の光量をＸ倍にする場合は、第２光源１２の光量もＸ倍にする。
【0074】
このように、第１光源１１の発光輝度（光量）及び第２光源１２の発光輝度（光量）間の比率の変動を抑えつつ、重畳画像の輝度情報を目標輝度情報に一致又は近づける。通常光画像及び蛍光画像ごとに別個にそれぞれの輝度情報を目標輝度に近づけるのではなく、重畳画像の輝度情報を目標輝度情報に一致又は近づける。これにより、重畳画像の輝度が観察対象の状態（例えば蛍光体の注入前後）にかかわらず、通常光画像の輝度と蛍光画像の輝度のバランスがとれた重畳画像を生成することができる。
【0075】
第１制御パラメータ及び第２制御パラメータを調整する具体的な方法として、例えばそれぞれ一定の割合だけパラメータ値を増やす又は減らす方法がある。例えば重畳画像の輝度情報が目標輝度情報より低い場合、第１制御パラメータ及び第２制御パラメータの現在値にそれぞれ同じ係数Ｋ１を乗じる。例えば第１光源１１及び第２光源１２の光量をそれぞれ１．１倍にする場合は、Ｋ１＝１．１である。重畳画像の輝度情報が目標輝度情報より高い場合、第１制御パラメータ及び第２制御パラメータの現在値に係数Ｋ２を乗じる。例えば第１光源１１及び第２光源１２の光量をそれぞれ０．９倍にする場合は、Ｋ２＝０．９である。乗じる係数の値は、重畳画像の輝度情報と目標輝度情報との差分の大きさに応じて変更してもよい。例えば差分が大きいほど、乗じる係数の絶対値を大きくしてもよい。この場合、例えば差分の大きさごとに、乗じる係数の値を定めたテーブルを用いてもよい。あるいは差分を入力とし、乗じる係数の値を出力する関数を用いてもよい。差分の大きさに拘わらず、係数の値は同じであってもよい。差分の大きさに拘わらず、係数の値を一定とすることで、通常画像の輝度の変化及び蛍光画像の変化を滑らかにすることができ、よって重畳画像の表示輝度（明るさ）の変化も滑らかにできる。
【0076】
［撮像部５２（撮像素子５２２）の制御］
制御部９４が、重畳画像の輝度情報と、予め定めた目標輝度を表す目標輝度情報とに基づき、撮像部５２（撮像素子５２２）をフィードバック制御することにより、通常光画像の輝度と蛍光画像の輝度とを調整する例を示す。光源装置１０の制御の説明と同一内容の説明は適宜省略又は簡略化する。
制御部９４が、重畳画像の輝度情報と、予め定めた目標輝度を表す目標輝度情報とに基づき、撮像部５２（撮像素子５２２）をフィードバック制御することにより、通常光画像の輝度と蛍光画像の輝度とを調整する例を示す。光源装置１０の制御の説明と同一内容の説明は適宜省略又は簡略化する。
【0077】
制御部９４の輝度情報算出部９４１は、重畳画像の輝度情報を算出する。制御部９４のパラメータ調整部９４２は、重畳画像の輝度情報と目標輝度情報とに基づき、第１制御パラメータとして撮像素子５２２における通常光の露光量（あるいは露光時間）を調整する。制御部９４のパラメータ調整部９４２は、重畳画像の輝度情報と目標輝度情報とに基づき、第２制御パラメータとして、蛍光の露光量（あるいは露光時間）を調整する。具体的には、輝度情報を目標輝度情報に一致又は近づけるように、すなわち両者の差分をゼロにする又はゼロに近づけるように、第１及び第２制御パラメータを調整する。露光量の調整は、例えば撮像素子５２２における電子シャッターの制御により、撮像素子５２２において蓄積する電荷量を調整することで行うことができる。露光時間を長くすれば蓄積する電荷量は多くなり、露光時間を短くすれば、蓄積する電荷量は少なくなる。通常光の露光量を調整することにより、通常光画像処理部９３２により生成される通常光画像の輝度を調整できる。蛍光の露光量を調整することにより、蛍光画像処理部９３３により生成される蛍光画像の輝度を調整できる。制御部９４は、パラメータ調整部９４２によりそれぞれ調整された第１制御パラメータ及び第２制御パラメータを、撮像部５２（撮像素子５２２）にそれぞれ制御信号として送信する。
【0078】
制御部９４は、撮像素子５２２における通常光の露光量及び蛍光の露光量の比率に関する条件を満たすようにしてもよい。比率に関する条件として、調整前後で比率を同一に維持、又は調整前後で比率が変動することを抑制することがある。例えば、これらの露光量の比率の変動量を閾値以下に抑えるように、これらの露光量を調整する。露光量の比率の変動を調整前後で抑制する例として、露光量の比率の差を調整前後で閾値以下又はゼロにすることがある。例えば、通常光の露光量をＸ倍にする場合は、蛍光の露光量もＸ倍にする。
【0079】
このように、撮像素子５２２における通常光の露光量及び蛍光の露光量間の比率の変動を抑えつつ、重畳画像の輝度情報を目標輝度情報に一致又は近づける。つまり通常光画像及び蛍光画像ごとに個別にそれぞれの輝度情報を目標輝度に近づけるのではなく、重畳画像の輝度情報を目標輝度情報に一致又は近づける。これにより、重畳画像の輝度が観察対象の状態（例えば蛍光体の注入前後）にかかわらず、通常光画像の輝度（白色光の輝度）と蛍光画像の輝度（蛍光の輝度）のバランスがとれた重畳画像を生成することができる。通常光の露光量（第１制御パラメータ）及び蛍光の露光量（第２制御パラメータ）を調整する具体的な方法は、光源装置１０の制御の場合と同様でよい。
【0080】
［ゲイン調整部５４０の制御］
制御部９４は、重畳画像の輝度情報と目標輝度情報とに基づき、ゲイン調整部５４０をフィードバック制御することにより、通常光画像の輝度と蛍光画像の輝度とを調整する例を示す。光源装置１０の制御の説明と同一内容の説明は適宜省略又は簡略化する。
制御部９４は、重畳画像の輝度情報と目標輝度情報とに基づき、ゲイン調整部５４０をフィードバック制御することにより、通常光画像の輝度と蛍光画像の輝度とを調整する例を示す。光源装置１０の制御の説明と同一内容の説明は適宜省略又は簡略化する。
【0081】
制御部９４は、第１制御パラメータとして、ゲイン調整部５４０において通常光画像のアナログゲインを調整する。制御部９４は、第２制御パラメータとして、ゲイン調整部５４０において蛍光画像のアナログゲインを調整する。具体的には、重畳画像の輝度情報を目標輝度情報に一致又は近づけるように、すなわち両者の差分をゼロにする又はゼロに近づけるように、これらのアナログゲインを調整する。重畳画像の輝度情報の例は、上述の光源装置１０の制御の説明と同様である。通常光画像のアナログゲインを調整することにより、アナログ的に通常光画像の輝度を調整する。蛍光画像の信号のアナログゲインを調整することによりアナログ的に蛍光画像の輝度を調整する。制御部９４は、パラメータ調整部９４２によりそれぞれ調整された第１制御パラメータ及び第２制御パラメータを、ゲイン調整部５４０に制御信号として送信する。
【0082】
制御部９４は、通常光画像のアナログゲインと蛍光画像のアナログゲインの比率に関する条件を満たすようにしてもよい。比率に関する条件として、通常光画像のアナログゲインと蛍光画像のアナログゲイン間の比率を調整前後で同一に維持する、又は調整前後で比率が変動することを抑制することがある。例えば、通常光画像のアナログゲインと蛍光画像のアナログゲインの比率の変動量を閾値以下に抑えるように、これらのアナログゲインを調整する。当該比率の変動を調整前後で抑制する例として、当該比率の差を調整前後で閾値以下又はゼロにすることがある。例えば、一方のアナログゲインをＸ倍にする場合は、他方のアナログゲインもＸ倍にする。
【0083】
このように、通常光画像のアナログゲインと蛍光画像のアナログゲイン間の比率の変動を抑えつつ、重畳画像の輝度情報を目標輝度情報に一致又は近づける。つまり通常光画像及び蛍光画像ごとに別個にそれぞれの輝度情報を目標輝度に近づけるのではなく、重畳画像の輝度情報を目標輝度情報に一致又は近づける。これにより、重畳画像の輝度が観察対象の状態（例えば蛍光体の注入前後）にかかわらず、通常光画像の輝度（白色光の輝度）と蛍光画像の輝度（蛍光の輝度）とのバランスがとれた重畳画像を生成することができる。通常光画像のアナログゲイン（第１制御パラメータ）及び蛍光画像のアナログゲイン（第２制御パラメータ）を調整する具体的な方法は光源装置１０の制御の場合と同様でよい。
【0084】
［ゲイン調整部９４０の制御］
制御部９４は、重畳画像の輝度情報と目標輝度情報とに基づき、ゲイン調整部９４０をフィードバック制御することにより、通常光画像の輝度と蛍光画像の輝度とを調整する例を示す。光源装置１０の制御の説明と同一内容の説明は適宜省略又は簡略化する。
制御部９４は、重畳画像の輝度情報と目標輝度情報とに基づき、ゲイン調整部９４０をフィードバック制御することにより、通常光画像の輝度と蛍光画像の輝度とを調整する例を示す。光源装置１０の制御の説明と同一内容の説明は適宜省略又は簡略化する。
【0085】
制御部９４は、第１制御パラメータとして、ゲイン調整部９４０における通常光画像のデジタルゲインを調整する。制御部９４は、第２制御パラメータとして、ゲイン調整部９４０における蛍光画像のデジタルゲインを調整する。具体的には、重畳画像の輝度情報を目標輝度情報に一致又は近づけるように、すなわち両者の差分をゼロにする又はゼロに近づけるように、これらのデジタルゲインを調整する。重畳画像の輝度情報の例は、上述の光源装置１０の制御の説明と同様である。通常光画像の信号のデジタルゲインを調整することにより、デジタル的に通常光画像の輝度を調整する。蛍光画像の信号のデジタルゲインを調整することによりデジタル的に蛍光画像の輝度を調整する。制御部９４は、パラメータ調整部９４２によりそれぞれ調整された第１制御パラメータ及び第２制御パラメータを、ゲイン調整部９４０に制御信号として送信する。
【0086】
制御部９４は、通常光画像のデジタルゲインと蛍光画像のデジタルゲインの比率に関する条件を満たすようにしてもよい。比率に関する条件として、通常光画像のデジタルゲインと蛍光画像のデジタルゲイン間の比率を調整前後で同一に維持する、又は調整前後で比率が変動することを抑制することがある。例えば、通常光画像のデジタルゲインと蛍光画像のデジタルゲインの比率の変動量を閾値以下に抑えるように、これらのデジタルゲインを調整する。当該比率の変動を調整前後で抑制する例として、当該比率の差を調整前後で閾値以下又はゼロにすることがある。例えば、一方のデジタルゲインをＸ倍にする場合は、他方のデジタルゲインもＸ倍にする。
【0087】
このように、通常光画像のデジタルゲインと蛍光画像のデジタルゲイン間の比率の変動を抑えつつ、重畳画像の輝度情報を目標輝度情報に一致又は近づける。つまり通常光画像及び蛍光画像ごとに別個にそれぞれの輝度情報を目標輝度に近づけるのではなく、重畳画像の輝度情報を目標輝度情報に一致又は近づける。これにより、重畳画像の輝度が観察対象の状態（例えば蛍光体の注入前後）にかかわらず、通常光画像の輝度（白色光の輝度）と蛍光画像の輝度（蛍光の輝度）とのバランスがとれた重畳画像を生成することができる。通常光画像のデジタルゲイン（第１制御パラメータ）及び蛍光画像のデジタルゲイン（第２制御パラメータ）を調整する具体的な方法は光源装置１０の制御の場合と同様でよい。
【0088】
入力部９５は、マウス、キーボード、及びタッチパネル等の操作デバイスである。入力部９５は、医師等のユーザによる操作を受け付ける。入力部９５は、ユーザ操作に応じた操作信号を生成し、生成した操作信号を制御部９４に出力する。
【0089】
出力部９６は、各種情報を出力する。出力部９６は、例えばスピーカ、プリンタ、通信装置又はアプリケーション等を含む。
【0090】
記憶部９７は、制御部９４が実行するプログラム、及び制御部９４の処理に必要な情報等を記憶する。
【0091】
以下、制御装置９０の動作について説明する。
図５は、制御装置９０の動作の一例を示すフローチャートである。
制御部９４は、第１光源１１及び第２光源１２を時分割で発光させる（ステップＳ１０１）。具体的には、制御部９４は、同期信号に基づいて、交互に繰り返される第１の期間及び第２の期間のうち、第１の期間において第１光源１１を発光させ、第２の期間において第２光源１２を発光させる。
図５は、制御装置９０の動作の一例を示すフローチャートである。
制御部９４は、第１光源１１及び第２光源１２を時分割で発光させる（ステップＳ１０１）。具体的には、制御部９４は、同期信号に基づいて、交互に繰り返される第１の期間及び第２の期間のうち、第１の期間において第１光源１１を発光させ、第２の期間において第２光源１２を発光させる。
【0092】
制御部９４は、同期信号に基づいて、第１光源１１及び第２光源１２の発光タイミングに同期させる。制御部９４は、撮像素子５２２に第１の期間及び第２の期間において、それぞれ第１の被検体像（通常光）及び第２の被検体像（蛍光）をそれぞれ撮像させる（ステップＳ１０２～Ｓ１０４）。すなわち、撮像素子５２２は、第１の期間である場合（ステップＳ１０２のＹｅｓ）、言い換えれば、生体内に通常光（白色光）が照射された場合、第１の被検体像（通常光）を撮像して通常光画像を生成する（ステップＳ１０３）。一方、撮像素子５２２は、第２の期間である場合（ステップＳ１０２のＮｏ）、言い換えれば、生体内に近赤外励起光が照射された場合、第２の被検体像（蛍光）を撮像して蛍光画像を生成する（ステップＳ１０４）。
【0093】
メモリコントローラ９３１は、同期信号に基づいて、メモリ９２への撮像画像の書込み及び読出しを制御する（ステップＳ１０５）。
【0094】
第１画像処理部９３２及び第２画像処理部９３３は、以下に示す処理を実行する（ステップＳ１０６）。
【0095】
すなわち、第１画像処理部９３２は、メモリコントローラ９３１によってメモリ９２から順次、読み出された通常光画像に対して、第１の画像処理を実行し、当該第１の画像処理を実行した後の通常光画像（ＷＬＩ＿Ｙ，ＷＬＩ＿Ｃｂ，ＷＬＩ＿Ｃｒ）を出力する。
【0096】
また、第２画像処理部９３３は、メモリコントローラ９３１によってメモリ９２から読み出された蛍光画像に対して、第２の画像処理を実行し、当該第２の画像処理を実行した後の蛍光画像（ＩＲ＿Ｙ）を出力する。
【0097】
重畳画像生成部９３４は、式（４）～式（６）で示したように、第１画像処理部９３２から出力される通常光画像（ＷＬＩ＿Ｙ，ＷＬＩ＿Ｃｂ，ＷＬＩ＿Ｃｒ））と、第２画像処理部９３３から出力される蛍光画像（ＩＲ＿Ｙ）とを互いに対応する画素同士で重畳する。これにより、重畳画像（ｓｔａｃｋｅｄ＿Ｙ，ｓｔａｃｋｅＩ＿Ｃｂ，ｓｔａｃｋｅＩ＿Ｃｒ）を生成する（ステップＳ１０７）。
【0098】
表示制御部９３５は、重畳画像生成部９３４により生成された重畳画像を表示するための画像信号（映像信号）を生成し、当該映像信号を表示装置７０に出力する（ステップＳ１０８）。これにより、表示装置７０には、重畳画像が表示される。
【0099】
制御部９４は、重畳画像の輝度情報を算出し、輝度情報と目標輝度情報との差分を小さくするように、光源装置１０、撮像部５２、ゲイン調整部５４０及びゲイン調整部９４０の少なくとも１つを制御する（ステップＳ１０９）。これにより、第１画像処理部９３２により生成される通常光画像の輝度及び第２画像処理部９３３により生成される蛍光画像の輝度をフィードバック制御により調整する。
【0100】
具体的には、光源装置１０を制御する場合、第１光源１１の光量（第１制御パラメータ）及び第２光源１２の光量（第２制御パラメータ）を同時に調整する。この際、これらの光量の比率を一定の比率に維持または比率の変動を抑制するように、両光源の光量を調整してもよい。
【0101】
撮像部５２を制御する場合、通常光の露光を行う場合の露光量（第１制御パラメータ）及び蛍光の露光を行う場合の露光量（第２制御パラメータ）を同時に調整する。この際、これらの露光量の比率を一定の比率に維持または比率の変動を抑制するように、両露光量を調整してもよい。
【0102】
ゲイン調整部５４０を制御する場合、通常光画像のアナログゲイン（第１制御パラメータ）及び蛍光画像の信号のアナログゲイン（第２制御パラメータ）を同時に調整する。この際、これらのアナログゲインの比率を一定の比率に維持または比率の変動を抑制するように、両ゲインを調整してもよい。
【0103】
ゲイン調整部９４０を制御する場合、通常光画像の信号のデジタルゲイン（第１制御パラメータ）及び蛍光画像のデジタルゲイン（第２制御パラメータ）を同時に調整する。この際、これらのデジタルゲインの比率を一定の比率に維持または比率の変動を抑制するように、両ゲインを調整してもよい。
【0104】
ステップＳ１０９の後、制御部９４は、本制御装置９０の処理を終了するか否かを判断する。例えば入力部９５を介して医師等のユーザから観察の終了指示入力を受けた場合は、本処理を終了することを決定する。制御部９４が本処理を終了することを決定した場合（ステップＳ１１０のＮｏ）、制御部９４は本処理を終了する。制御部９４が本処理を継続することを決定した場合、ステップＳ１０１に戻る。以降、本処理を終了すると判断されるまで、ステップＳ１０１～Ｓ１０９が繰り返される。本処理が繰り返される際は、ステップＳ１０８で行った輝度制御により、第１制御パラメータ及び第２制御パラメータが前回の処理から変更されている。
【0105】
以上、本実施形態によれば、重畳画像の輝度情報を目標輝度情報に一致又は近づけるように第１制御パラメータ及び第２制御パラメータを調整する。これにより、通常光画像処理部９３２で生成される通常光画像の輝度を及び蛍光画像処理部９３３で生成される蛍光画像の輝度を調整する。この際、例えば、光源装置１０を調整する場合は第１光源１１及び第２光源１２のそれぞれの光量の比率を一定に維持して、第１光源１１及び第２光源１２のそれぞれの光量を調整する。撮像部５２を調整する場合、例えば、通常光及び蛍光のそれぞれの露光量の比率を一定に維持して、各露光量を調整する。ゲイン調整部９４０を調整する場合は、例えば、通常光画像及び蛍光画像のデジタルゲインの比率を一定に維持して、通常光画像及び蛍光画像のそれぞれのデジタルゲインを調整する。ゲイン調整部５４０を調整する場合は、例えば、通常光画像及び蛍光画像のアナログゲインの比率を一定に維持して、通常光画像及び蛍光画像のそれぞれのアナログゲインを調整する。これにより、重畳画像の輝度が観察対象の状態（例えば蛍光体の注入前後）にかかわらず、通常光画像の輝度（白色光の輝度）と蛍光画像の輝度（蛍光の輝度）のバランスがとれた重畳画像を生成することができる。
【0106】
例えば、生体内にまだ蛍光が注入されていない場合は、観察対象は赤外線（ＩＲ）の感度がない、もしくは非常に低い。この場合には、通常光画像処理部９３２で生成される通常光画像の輝度が高く、蛍光画像処理部９３３で生成される蛍光画像の輝度が低いもしくはゼロである。このため、重畳画像の輝度において蛍光の輝度（α×β×ＩＲ＿Ｙ）が低くなり、通常光の輝度（（１－α）×ＷＬＩ＿Ｙ）が支配的となって、実質的に通常光の輝度を目標輝度に近づけるように、通常光画像及び蛍光画像の輝度制御が行われる。これにより通常光の輝度が支配的な重畳画像を目標輝度又は目標輝度に近い状態で観察することができる。このようにして白色光の感度が高い重畳画像を目標輝度で観察することができる。
【0107】
図６は、本実施形態により生成された、白色光の感度が高い重畳画像２１０の表示例を示す。重畳画像２１０の一部である画像２１１は医師等のユーザが観察する部位の画像である。通常光の輝度が支配的となっている。重畳画像２１０が、ノイズが抑制されて表示されている。
【0108】
一方、図７は、関連技術により、白色光の光源（白色光源）及び近赤外線の光源（近赤外光源）の光量を調整すること等で、重畳画像Ｄ１を生成した例を示す。図の多数のドットがノイズを表している。重畳画像Ｄ１は、観察対象に蛍光体を注入する前に取得した画像である。本実施形態に係る輝度制御、すなわち、重畳画像の輝度情報を用いた輝度のフィードバック制御は行われていない。関連技術では、近赤外線の光源の光量及び蛍光画像のゲイン設定の量が大きくされたことにより、蛍光画像が明るくなりすぎ、重畳画像におけるノイズが増えてしまっている。
【0109】
生体内にまだ蛍光が注入されていないこの状態で、生体に蛍光体が注入されると、観察対象におけるＩＲに対する感度が急に高くなる。この場合、蛍光画像の輝度が高くなり、重畳画像の輝度に占める蛍光の輝度の割合が大きくなる。重畳画像の輝度を目標輝度に近づけるように、通常光画像及び蛍光画像の輝度制御を行うことで、重畳画像の輝度が目標輝度又は目標輝度に近い状態で維持される。また制御対象の通常光用の第１制御パラメータ及び蛍光用の第２制御パラメータの値の比率も維持されるため、重畳画像における蛍光の輝度が高くなりすぎたりノイズが発生したりすることがない。これにより、通常光の輝度と蛍光の輝度とのバランスのとれた重畳画像を観察することができる。すなわち、医師等のユーザは突然重畳画像の輝度が大きく変動して画面がまぶしく見えるといった違和感を覚えない。
【0110】
図８は、本実施形態によって生成された重畳画像２２０であり、生体に蛍光体が注入され蛍光の輝度の割合が大きくなった場合に生成される重畳画像２２０の表示例を示す。蛍光の成分の強度が高い（ＩＲ＿Ｙが大きい）箇所を斜線で表現している。蛍光の輝度が高くなりすぎることなく、通常光の輝度と蛍光の輝度とのバランスのとれた画像表示となっている。
【0111】
図９は、関連技術によって、白色画像の輝度に追従して、近赤外線光源から出射する近赤外線の輝度を調整する方法により生成した重畳画像Ｄ２の例を示す。この方法では蛍光画像が明るくなりすぎたり、ノイズが多く発生したりすることはないものの、蛍光画像の明るさが重畳画像に適正に反映させられていないため、重畳画像が明るくなりすぎている。図６では明確に視認されていた画像２１１の部分が図９では視認できないもしくは視認し難くなっている。
【0112】
この後、しばらく時間が経過して観察対象におけるＩＲの感度が低下すると、重畳画像の輝度において通常光の輝度が再び支配的となる。この場合も、重畳画像の輝度を目標輝度に近づける輝度制御が行われる結果、通常光の輝度が支配的となった重畳画像が観察される。この場合も、重畳画像は目標輝度又は目標輝度に近い状態で観察されるため、医師等のユーザは突然輝度が大きく変動することによる違和感を覚えずに済む。
【0113】
（変形例）
第１実施形態では、調整対象とする第１制御パラメータ及び第２制御パラメータの組は、通常光及び蛍光の光量の組、通常光及び蛍光の露光量の組、通常光及び蛍光の画像のアナログゲインの組、通常光及び蛍光の画像のデジタルゲインの組の少なくともいずれかであった。これらの組は、いずれも同じ種類のパラメータの組である。変形例として、異なる種類のパラメータの組を調整してもよい。例えば、調整対象とする第１制御パラメータ及び第２制御パラメータの組は、通常光の光量と、蛍光の露光量との組でもよいし、通常光のアナログゲインと、蛍光のデジタルゲインとの組でもよい。この場合、例えば通常光の光量の調整倍率と、蛍光の露光量の調整倍率とを対応を示した対応データをテーブル又は関数の形式でメモリ９２又は記憶部９７に保持しておいてもよい。制御部９４は対応データに基づいて、通常光の光量と蛍光の露光量とを調整してもよい。
第１実施形態では、調整対象とする第１制御パラメータ及び第２制御パラメータの組は、通常光及び蛍光の光量の組、通常光及び蛍光の露光量の組、通常光及び蛍光の画像のアナログゲインの組、通常光及び蛍光の画像のデジタルゲインの組の少なくともいずれかであった。これらの組は、いずれも同じ種類のパラメータの組である。変形例として、異なる種類のパラメータの組を調整してもよい。例えば、調整対象とする第１制御パラメータ及び第２制御パラメータの組は、通常光の光量と、蛍光の露光量との組でもよいし、通常光のアナログゲインと、蛍光のデジタルゲインとの組でもよい。この場合、例えば通常光の光量の調整倍率と、蛍光の露光量の調整倍率とを対応を示した対応データをテーブル又は関数の形式でメモリ９２又は記憶部９７に保持しておいてもよい。制御部９４は対応データに基づいて、通常光の光量と蛍光の露光量とを調整してもよい。
【0114】
（第２実施形態）
第１実施形態では４種類の輝度制御（光量制御、露光量制御、アナログゲイン制御、デジタルゲイン制御）の少なくともいずれか１つを実行することにより通常光画像及び蛍光画像の輝度制御を行った。具体的には、光量制御では通常光の光量及びＩＲの光量をそれぞれ第１制御パラメータ及び第２制御パラメータとして調整した。露光量制御では通常光の露光量及び蛍光の露光量のそれぞれを第１制御パラメータ及び第２制御パラメータとして調整した。アナログゲイン制御では、通常光画像のアナログゲイン及び蛍光画像のアナログゲインのそれぞれを第１制御パラメータ及び第２制御パラメータとして調整した。デジタルゲイン制御では、通常光画像のデジタルゲイン及び蛍光画像のデジタルゲインのそれぞれを第１制御パラメータ及び第２制御パラメータとして調整した。
第１実施形態では４種類の輝度制御（光量制御、露光量制御、アナログゲイン制御、デジタルゲイン制御）の少なくともいずれか１つを実行することにより通常光画像及び蛍光画像の輝度制御を行った。具体的には、光量制御では通常光の光量及びＩＲの光量をそれぞれ第１制御パラメータ及び第２制御パラメータとして調整した。露光量制御では通常光の露光量及び蛍光の露光量のそれぞれを第１制御パラメータ及び第２制御パラメータとして調整した。アナログゲイン制御では、通常光画像のアナログゲイン及び蛍光画像のアナログゲインのそれぞれを第１制御パラメータ及び第２制御パラメータとして調整した。デジタルゲイン制御では、通常光画像のデジタルゲイン及び蛍光画像のデジタルゲインのそれぞれを第１制御パラメータ及び第２制御パラメータとして調整した。
【0115】
第２実施形態では、これら４種類の輝度制御のうちの少なくとも２つに優先順位を設定し、優先順位に従って、当該少なくとも２つの輝度制御を実行する。
【0116】
具体的には、第１制御パラメータは、第１光源１１の光量を調整する第１光量調整パラメータ、第１撮像部における通常光（反射光）の露光量を調整する第１露光量調整パラメータ、第１撮像部での撮像により得られる第１画像信号のアナログゲインを調整する第１アナログゲイン調整パラメータ、及び当該第１画像信号のデジタルゲインを調整する第１デジタルゲイン調整パラメータのうちの少なくとも２つを含む。制御部９４は、当該少なくとも２つのパラメータについて第１の優先順位を設定する。
【0117】
第２制御パラメータは、第２光源１２の光量を調整する第２光量調整パラメータ、第２撮像部における蛍光の露光量を調整する第２露光量調整パラメータ、第２撮像部での撮像により得られる第２画像信号のアナログゲインを調整する第２アナログゲイン調整パラメータ、及び第２画像信号のデジタルゲインを調整する第２デジタルゲイン調整パラメータのうちの少なくとも２つを含む。制御部９４は、当該少なくとも２つのパラメータに第２の優先順位を設定する。
【0118】
例えば制御部９４は、重畳画像の輝度情報が目標輝度情報よりも大きく、輝度情報を低くする必要がある場合は、１番目：光量制御、２番目:露光量制御の優先順位とする。すなわち第１の優先順位は、第１光量調整パラメータ及び第１露光量調整パラメータの順であり、第２の優先順位は、第２光量調整パラメータ及び第２露光量調整パラメータの順である。
【0119】
例えば、露光量（露光時間）を小さくすると（電子シャッターを絞ると）、露光時間が短くなった分画像の1枚1枚の情報量が減り、表示される映像（動画）を観察するユーザに不連続感が発生し得る。このため、まず光源装置の輝度制御で光量を優先的に小さくする。光量が閾値以下になり、発光の明るさがある程度抑えられた後に、露光量を小さくする（電子シャッターを絞る）。これにより映像の不連続感を発生させにくくすることができる。
【0120】
第１制御パラメータと第２制御パラメータとで同じ種類のパラメータを調整することを条件としてもよい。この場合、第１の優先順位と第２の優先順位を１つにまとめ、１番目の順位は、（第１光量調整パラメータ、第２光量調整パラメータ）、２番目の順位は、（第１露光量調整パラメータ、第２露光量調整パラメータ）としてもよい。
【0121】
また、制御部９４は、重畳画像の輝度情報が目標輝度情報よりも小さく、輝度情報を高くする必要がある場合は、１番目：光量制御、２番目：ゲイン制御（アナログゲイン制御）、３番目:ゲイン制御（デジタルゲイン制御）、４番目:露光制御の優先順位とする。
【0122】
すなわち、第１の優先順位は、第１光量調整パラメータ、第１アナログゲイン調整パラメータ、第１デジタルゲイン調整パラメータ及び第１露光量調整パラメータの順である。第２の優先順位は、第２光量調整パラメータ、第２アナログゲイン調整パラメータ、第２デジタルゲイン調整パラメータ及び第２露光量調整パラメータの順である。
【0123】
露光量を大きく（露光時間を長く）すると、撮像画像の明るさを明るくすることは出来るが、フレームレートが低下する。この場合、映像（動画）の質に影響が生じる可能性がある。このため、露光制御の優先順位を最後にする。ゲイン制御は信号の明るさを高くできるが、ノイズ感が強調され得る。そこで光源装置の輝度制御の優先順位を最も高くする。ゲイン制御では、画像処理で用いるデジタルゲインは、撮像部で用いるアナログゲインと比較してノイズ感が強調される得るため、アナログゲインの制御をデジタルゲインの制御よりも優先して行う。輝度制御の種類の切り替えのタイミングは、例えば重畳画像の輝度情報と目標輝度情報との差分に応じて行うなど、目的を達成可能な任意の方法で決定することができる。例えば、差分の絶対値が大きいほど、優先順位の高い輝度制御を行う。この場合、差分の絶対値の値範囲と、適用する輝度制御の種類とを対応付けたテーブルを用いて、使用する輝度制御の種類を決定してもよい。また、これらの輝度制御を優先順位に従って循環的に所定回数ずつ順番に行ってもよい。その他の方法で、使用する輝度制御の種類を切り替えてもよい。
【0124】
第１制御パラメータと第２制御パラメータとで同じ種類のパラメータを調整することを条件としてもよい。この場合、第１の優先順位と第２の優先順位を１つにまとめ、１番目の順位は、（第１光量調整パラメータ、第２光量調整パラメータ）、２番目の順位は、（第１アナログゲイン調整パラメータ、第２アナログゲイン調整パラメータ）、３番目の順位は、（第１デジタルゲイン調整パラメータ、第２デジタルゲイン調整パラメータ）、４番目の順位は、（第１露光量調整パラメータ、第２露光量調整パラメータ）としてもよい。
【0125】
（第３実施形態）
第１又は第２実施形態では、重畳画像の輝度情報を目標輝度情報に一致又は近づける制御を行う際、重畳画像の輝度情報としては、重畳画像の全画素の輝度値（画素値）の平均値等の統計値を用いた。第２実施形態では、重畳画像の輝度情報を算出する他の例を示す。
第１又は第２実施形態では、重畳画像の輝度情報を目標輝度情報に一致又は近づける制御を行う際、重畳画像の輝度情報としては、重畳画像の全画素の輝度値（画素値）の平均値等の統計値を用いた。第２実施形態では、重畳画像の輝度情報を算出する他の例を示す。
【0126】
［輝度情報の算出例１］
重畳画像の輝度情報は、重畳画像の全画素ではなく、重畳画像の一部の対象画像の輝度値の平均でもよい。一例として、対象画像は、重畳画像の中央を含む一部の領域の画像でもよい。
重畳画像の輝度情報は、重畳画像の全画素ではなく、重畳画像の一部の対象画像の輝度値の平均でもよい。一例として、対象画像は、重畳画像の中央を含む一部の領域の画像でもよい。
【0127】
図１０（Ａ）は、重畳画像３０１の第１位置として中央を含む画像部分（第１画像部分）を対象画像３０２とする例を示す。第１位置は中央に限られず、ユーザが観察する領域に応じて任意に決定してもよい。例えばアイトラッキングによりユーザが重畳画像３０１において着目する位置を検出し、検出した位置を第１位置としてもよい。例えば、ユーザの目に赤外線を照射し、ユーザの目を含む部分を撮像し、撮像画像を解析することでユーザが着目している第１位置を検出するアイトラッキング装置を設けてもよい。制御部９４は、対象画像３０２を用いて輝度値の平均値を算出し、算出した平均値を重畳画像の輝度情報とする。対象画像３０２が医師等のユーザが観察している領域の場合、中央の観察している観察対象に合わせて輝度調整（通常光用の第１制御パラメータ及び蛍光用の第２制御パラメータの調整）が行われる。このため、対象画像３０２の外側の周辺画像に鉗子やハレーションの画像が含まれていても、中央の画像は、周囲画像の影響を受けず済む。すなわち、周囲の画像に影響されて中央の画像が明るくなることを防止できる。
【0128】
対象画像（第１画像部分）と、対象画像の周囲の一部又は全部の周辺画像（第２画像部分）とで重み付けをしてもよい。この場合、重畳画像全体で重み付き平均値を算出し、この重み付き平均値を輝度情報とする。
【0129】
図１０（Ｂ）は、重み付き平均値を算出する例を示す。制御部９４は、重畳画像３０１における対象画像３０２の画素の重みを第１重みＷ１、対象画像３０２の周囲の一部の周辺画像３０３の重みを第２重みＷ２とする。制御部９４は、対象画像３０２の各画素の輝度値にＷ１を乗じ、周辺画像３０３の各画素の輝度値にＷ２を乗じる。制御部９４は、重みＷ１、Ｗ２を乗じた全輝度値を合計し、合計値を重畳画像３０１の全画素数で除算することで、重み付き平均値を算出する。制御部９４は、Ｗ１、Ｗ２の値を、対象画像３０２の平均輝度及び周辺画像３０３の平均輝度等に応じて調整してもよい。対象画像の重みＷ１、周囲画像の重みＷ２は、予め固定されていてもよい。
【0130】
図１０（Ｂ）の方法によれば、重畳画像の中央部のみならず、周辺画像の輝度（明るさ）も考慮して第１及び第２制御パラメータの調整を行うことができる。例えば、医師等のユーザが管腔を画面の中央部分で観察する場合は、画面に表示された画像（重畳画像）における中央部分が暗く、周辺部分が明るくなる傾向がある。この場合、重畳画像の周辺部分の重みＷ２を大きくすることで、本実施形態の輝度制御により、中央部分も明るくなるように調整される。一方、壁面に垂直に観察する場合は、画像の中央部分が明るく、周辺部分が暗くなる傾向がある。この場合は、重畳画像の中央部分の重みＷ１を大きくすることで、本実施形態の輝度制御により、周辺部分も明るくなるように調整される。
【0131】
［輝度情報の算出例２］
制御部９４は、重畳画像のうち特定の画素又は特定の領域を除外して、重畳画像の輝度値の平均値を算出してもよい。
例えば、重畳画像のうち視野マスク２７（図２参照）でマスクされた領域の画像を除き、マスクされていない領域の画像の輝度値に基づいて、重畳画像の輝度値の平均値を算出してもよい。
制御部９４は、重畳画像のうち特定の画素又は特定の領域を除外して、重畳画像の輝度値の平均値を算出してもよい。
例えば、重畳画像のうち視野マスク２７（図２参照）でマスクされた領域の画像を除き、マスクされていない領域の画像の輝度値に基づいて、重畳画像の輝度値の平均値を算出してもよい。
【0132】
図１１は、重畳画像３１１からマスクされた領域の画像３１２と、残りの円形状の領域（観察領域）の画像３１３とを示す。制御部９４は、例えば輝度値が閾値（第１閾値）未満の領域を検出することによってマスクされた領域の画像３１２を特定できる。すなわち、制御部９４は、閾値（第１閾値）以上の画素を検出することによって観察領域の画像３１３は特定できる。制御部９４は、閾値以上の画素を含む観察領域の画像３１３を用いて輝度値の平均値を算出する。マスクされた領域の画像３１２を除外することで、低輝度の画像部分を除外して、輝度情報を算出できる。例えば、マスクされた部分は医師等のユーザにより観察されないため、マスクされた部分を輝度調整の対象外にすることで、観察に有効な領域だけ輝度制御の対象にすることができる
【0133】
［輝度情報の算出例３］
制御部９４は、重畳画像において輝度値が飽和している画素の輝度値を特定の値で固定（クリップ）し、クリップ後の重畳画像全体の輝度の平均値を、輝度情報として算出してもよい。
制御部９４は、重畳画像において輝度値が飽和している画素の輝度値を特定の値で固定（クリップ）し、クリップ後の重畳画像全体の輝度の平均値を、輝度情報として算出してもよい。
【0134】
図１２は、重畳画像３２１において輝度値が飽和している画像３２２、３２３を示す。すなわち画像３２２、３２３に含まれる画素の輝度値（輝度値）は飽和している。輝度値が飽和しているとは、例えば、輝度値が閾値（第２閾値）以上、もしくは最大値になっていることを意味する。制御部９４は、輝度値が飽和している画像３２２、３２３の各画素の輝度値を特定の値で固定（クリップ）する。画像３２２、３２３についてはクリップされた輝度値を用いて、他の領域について元々の画素の輝度値を用いて、輝度値の平均値を算出する。
【0135】
画像における輝度の飽和部分は、主として光の正反射に起因して発生する。正反射した反射光に対応する画素ではかなり大きな輝度値となる。このため重畳画像の輝度値の平均を計算する際、第１又は第２実施形態の輝度制御を行っても、正反射の飽和点が多い画像では飽和点以外の部分がかなり暗くなる可能性がある。この問題を改善するため、閾値を超えている輝度値をクリップする（例えばある値Ａより大きい輝度値を有する画素の輝度値を値Ａに置き換える）。これにより、正反射の多い画像でも、飽和点以外の部分も明るく表示することができる。
【0136】
［輝度情報の算出例４］
ＲＧＢのそれぞれの重みを変更して、重畳画像の画素の輝度値（画素値）を算出する。すなわち、通常光画像（第１画像）はＲ（赤）、Ｇ（緑）及びＢ（青）の輝度値を画素ごとに含んでいる。通常光画像の画素値（輝度値）は式（１）に示した通り、画素ごとのＲ、Ｇ、Ｂの輝度値と、Ｒ、Ｇ、Ｂの重みとに基づき、画素ごとに算出される。そして、画素ごとの輝度値と、蛍光画像の画素ごとの輝度値とを合成して、重畳画像の画素ごとの輝度値が算出される。
制御部９４は、ＲＧＢの各色の重みを設定した後は、第１実施形態と同様に、重畳画像における全画素の輝度値を平均することにより輝度情報を算出してもよい。あるいは、輝度情報の算出は、算出例１、２、３、５、６のうち少なくともいずれかを当該算出例４に組み合わせて行ってもよい。以下、ＲＧＢの各色の重みを設定する例を、以下に（例１）～（例４）として示す。
ＲＧＢのそれぞれの重みを変更して、重畳画像の画素の輝度値（画素値）を算出する。すなわち、通常光画像（第１画像）はＲ（赤）、Ｇ（緑）及びＢ（青）の輝度値を画素ごとに含んでいる。通常光画像の画素値（輝度値）は式（１）に示した通り、画素ごとのＲ、Ｇ、Ｂの輝度値と、Ｒ、Ｇ、Ｂの重みとに基づき、画素ごとに算出される。そして、画素ごとの輝度値と、蛍光画像の画素ごとの輝度値とを合成して、重畳画像の画素ごとの輝度値が算出される。
制御部９４は、ＲＧＢの各色の重みを設定した後は、第１実施形態と同様に、重畳画像における全画素の輝度値を平均することにより輝度情報を算出してもよい。あるいは、輝度情報の算出は、算出例１、２、３、５、６のうち少なくともいずれかを当該算出例４に組み合わせて行ってもよい。以下、ＲＧＢの各色の重みを設定する例を、以下に（例１）～（例４）として示す。
【0137】
（例１）制御部９４は、前述したＹ輝度（ＷＬＩ＿Ｙ）を算出する式（１）において、Ｒ、Ｇ、Ｂに対する係数ＤＲ、ＤＧ、ＤＢを調整する。例えば、内視鏡で観察される体腔内は基本的に赤成分が多いため、赤の感度を高めるため、ＤＲの重みを、一般的に用いられるＹ輝度の計算の場合よりも大きくしてもよい。例えば、一般的にはＤＲ、ＤＧ、ＤＢを約３：６：１の比率とするが、ＤＲ、ＤＧ、ＤＢをそれぞれ、４．５：４．５：１の比率としてもよい。具体的には、ＤＲ、ＤＧ、ＤＢの値を、０．４５、０．４５、０．１としてもよい。
【0138】
（例２）蛍光画像を生成する際、蛍光画像の色（つまり蛍光を何色で表示するか）は変更可能である。観察対象Ｓから発光する蛍光はそれ自体、特定の色（人間の識別可能な色）を有していないため、蛍光画像を生成する際、蛍光画像の色成分を決定する必要がある。一般的に蛍光の色成分としてＧ（緑）が用いられることが多いが、Ｂ（青）など他の色を蛍光画像の色に指定することが可能である。制御部９４は、蛍光画像を通常光画像と重畳する際、蛍光画像の色に応じてＲＧＢの重みを変更してもよい。
【0139】
例えば蛍光の表示色をＧ（緑）とする場合は、ＤＲ、ＤＧ、ＤＢの比率を３：６：１とする。また、蛍光の表示色をＢ（青）とする場合は、ＤＲ、ＤＧ、ＤＢの比率を３：４：３とする。このように蛍光の表示色に応じてＲＧＢの重み付けを変更することで、蛍光の明るさに対しての追従感度を高めることができる。
【0140】
（例３）制御部９４は、通常光の第１光源１１の発光色（背景色）に応じて、ＲＧＢの重みを変更してもよい。例えば通常光の発光が白色光の場合は、ＤＲ、ＤＧ、ＤＢの比率を３：６：１とし、紫の場合は、３：４：３とする。このように発光色に応じてＲＧＢの重みを変更することで、分光特性に応じた画像の重畳が可能となり、重畳画像に対する視認性を高めることができる。
【0141】
（例４）制御部９４は、通常光画像を表示する場合と、通常光画像と蛍光画像とを重畳した重畳画像を表示する場合とで、ＲＧＢの各色の重みを変更してもよい。すなわち、制御部９４は、重畳画像を表示する表示モード（第１表示モード）と、通常光画像を表示する表示モード（第２表示モード）とを実行可能である。制御部９４は、実行するモードの選択を、医師等のユーザが入力部９５から入力する指示データに基づき行ってもよい。制御部９４は、第１表示モード及び第２表示モードのいずれを実行するかに応じて、Ｒ、Ｇ、Ｂの重みを変更する。第２表示モードでは、通常光画像を蛍光画像と重畳せずに表示してもよいし、αをゼロとして重畳画像を表示してもよい。
【0142】
通常光画像を表示する第２表示モードを実行する場合、通常光画像には緑（Ｇ）の信号成分は少ない又は殆どないため、赤（Ｒ）の信号成分の重みを大きくして、輝度の平均値を算出する。例えば、ＤＲ、ＤＧ、ＤＢの比率を４．５：４．５：１とする。
重畳画像を表示する第１表示モードを実行する場合は蛍光画像の色に応じて重みを変更する。例えば、蛍光の表示色（色成分）を緑（Ｇ）にする場合、Ｇの感度が通常光画像の場合よりも必要になる。このため、ＤＲ、ＤＧ、ＤＢの比率を、通常用いられる比率と同じ３：６：１とする。また、蛍光の表示色（色成分）を緑以外の色にする場合、（例２）に記載したように、当該色に対応する比率を上げればよい。例えば、蛍光の表示色が青の場合は、ＤＲ、ＤＧ、ＤＢの比率を３：４：３にすることで、当該青の感度を上げることが可能になる。
重畳画像を表示する第１表示モードを実行する場合は蛍光画像の色に応じて重みを変更する。例えば、蛍光の表示色（色成分）を緑（Ｇ）にする場合、Ｇの感度が通常光画像の場合よりも必要になる。このため、ＤＲ、ＤＧ、ＤＢの比率を、通常用いられる比率と同じ３：６：１とする。また、蛍光の表示色（色成分）を緑以外の色にする場合、（例２）に記載したように、当該色に対応する比率を上げればよい。例えば、蛍光の表示色が青の場合は、ＤＲ、ＤＧ、ＤＢの比率を３：４：３にすることで、当該青の感度を上げることが可能になる。
【0143】
［輝度情報の算出例５］
重畳画像の輝度情報を算出する際、重畳画像から画素を垂直方向及び水平方向にそれぞれある周期でサンプリングし、サンプリングした画素の輝度値のみを用いて輝度情報を算出する。輝度情報は、サンプリングした全画素の輝度値を平均することで算出してもよいし、他の算出例１～４，６の少なくともいずれかを本算出例５に組み合わせて算出してもよい。
重畳画像の輝度情報を算出する際、重畳画像から画素を垂直方向及び水平方向にそれぞれある周期でサンプリングし、サンプリングした画素の輝度値のみを用いて輝度情報を算出する。輝度情報は、サンプリングした全画素の輝度値を平均することで算出してもよいし、他の算出例１～４，６の少なくともいずれかを本算出例５に組み合わせて算出してもよい。
【0144】
重畳画像の全画素を用いる場合、画素数に比例して処理負荷が大きくなり、回路サイズ又はメモリ容量も大きくなる。そこで処理する画素を間引くことで、処理負荷を軽減でき、回路サイズ又はメモリ容量も小さくできる。例えば、重畳画像の画素数（あるいは撮像部５２の画素数）が低画素数の場合は、重畳画像の垂直方向は全画素を用いて（全画素読み出し）、水平方向は１つおきの画素を用いる（１／２画素読み出し）。重畳画像の画素数（あるいは撮像部５２の画素数）が中程度の画素数の場合は、垂直方向は１つおきの画素を用い（１／２画素読み出し）、水平方向は３つおきの画素（１／４画素読み出し）を用いる。重畳画像の画素数（あるいは撮像部５２の画素数）が高画素数の場合は、垂直方向は３つおきの画素（１／４画素読み出し）、水平方向は７つおきの画素（１／８画素読み出し）を用いる。
【0145】
［輝度情報の算出例６］
医師等のユーザ（観察者）が表示装置７０に表示された観察対象のどこの領域を観察しているのかは、目的、状況、又は医師が用いる手技等によって異なる。ユーザが観察している領域は、例えば画面の中央であったり、画面の端であったりする。観察されている領域でハレーションが生じると、観察が困難になる。本算出例６では、輝度の高い領域に対する重みを高くして、輝度情報を算出することで、画面内の任意の領域でハレーションが生じないようにする。
医師等のユーザ（観察者）が表示装置７０に表示された観察対象のどこの領域を観察しているのかは、目的、状況、又は医師が用いる手技等によって異なる。ユーザが観察している領域は、例えば画面の中央であったり、画面の端であったりする。観察されている領域でハレーションが生じると、観察が困難になる。本算出例６では、輝度の高い領域に対する重みを高くして、輝度情報を算出することで、画面内の任意の領域でハレーションが生じないようにする。
【0146】
図１３は、輝度の高い領域に対する重みを高くして、輝度情報を算出する例を示す図である。制御部９４は、重畳画像を複数の領域に区分する。図１３の例では、中央の領域Ｒ５と、周囲の８つの領域Ｒ１～Ｒ４、Ｒ６～Ｒ９との計９個の領域に区分する。制御部９４は、９個の領域ごとに輝度値の平均（平均輝度値）を算出する。平均輝度値の高い順に高い重みを各領域に設定する。すなわち平均輝度値の高い領域ほど、高い重みを設定する。各領域の平均輝度値に重みを乗算し、重み付き平均を計算する。重み付き平均の計算は、各領域の画素の輝度値に領域の重みを乗算し、全ての領域の全画素で重み付き平均を計算することで行ってもよい。計算した重み付き平均を重畳領域の輝度情報として用いる。この輝度情報を用いて輝度制御を行うことで、輝度の高い領域あるいはハレーションが発生している領域に合わせて、通常光及び蛍光用の制御パラメータ（第１制御パラメータ、第２制御パラメータ）が調整される。このため、医師等のユーザが観察している領域の輝度飽和を防ぐことができる。図１３の例では重畳画像を９個の領域に区分したが、区分数は２以上であれば、任意の数でよい。また区分される各領域のサイズは同じでも、異なってもよい。
【0147】
本開示の幾つかの実施形態を説明したが、これらの実施形態は例として提示したものであり、開示の範囲を限定することは意図していない、これらの実施形態は、その他の様々な形態で実施されることが可能であり、開示の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、開示の範囲や要旨に含まれると同様に、特許請求の範囲に記載された開示とその均等の範囲に含まれるものである。
【0148】
また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
【0149】
なお、本開示は以下のような構成を取ることもできる。
［項目１］
第１波長帯域を有する第１光を被検体に照射する第１光源と、
前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第１撮像部と、
前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第１画像処理部と、
前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第２光源と、
前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第２撮像部と、
前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第２画像処理部と、
前記第１画像と前記第２画像とを重畳して重畳画像を生成する重畳画像生成部と、
前記重畳画像の輝度情報に基づき、前記第１光源、前記第１撮像部及び前記第１画像処理部のうち少なくとも１つを制御する第１制御パラメータと、前記第２光源、前記第２撮像部及び前記第２画像処理部のうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する制御部と、
を備えた画像処理装置。
［項目２］
前記制御部は、前記重畳画像の輝度情報と、前記重畳画像の目標輝度情報との差分に基づき、前記第１制御パラメータと前記第２制御パラメータとを調整する
項目１に記載の画像処理装置。
［項目３］
前記制御部は、前記第１制御パラメータと前記第２制御パラメータとを調整することにより、前記差分をゼロにする又は閾値以下にする
項目２に記載の画像処理装置。
［項目４］
前記制御部は、前記第１制御パラメータと前記第２制御パラメータ間の比率の比率に関する条件に基づき、前記第１制御パラメータと前記第２制御パラメータを調整する
項目１～３のいずれか一項に記載の画像処理装置。
［項目５］
前記制御部は、前記第１制御パラメータと前記第２制御パラメータの調整前の比率と、前記第１制御パラメータと前記第２制御パラメータの調整後の比率の差をゼロ又は閾値以下する
項目４に記載の画像処理装置。
［項目６］
前記第１制御パラメータは、前記第１光源の光量を調整するパラメータであり、
前記第２制御パラメータは、前記第２光源の光量を調整するパラメータである
項目１～５のいずれか一項に記載の画像処理装置。
［項目７］
前記第１制御パラメータは、前記第１撮像部において前記第１光の反射光の露光量調整するパラメータであり、
前記第２制御パラメータは、前記第２撮像部において前記蛍光の露光量を調整するパラメータである
項目１～６のいずれか一項に記載の画像処理装置。
［項目８］
前記第１制御パラメータは、前記第１撮像部において前記第１画像信号のアナログゲインを調整するパラメータであり、
前記第２制御パラメータは、前記第２撮像部において第２画像信号のアナログゲインを調整するパラメータである、
項目１～７のいずれか一項に記載の画像処理装置。
［項目９］
前記第１制御パラメータは、前記第１画像処理部において前記第１画像信号のデジタルゲインを調整するパラメータであり、
前記第２制御パラメータは、前記第２画像処理部において前記第２画像信号のデジタルゲインを調整するパラメータである、
項目１～８のいずれか一項に記載の画像処理装置。
［項目１０］
前記第１制御パラメータは、前記第１光源の光量を調整する第１光量調整パラメータ、前記第１撮像部における前記第１光の反射光の露光量を調整する第１露光量調整パラメータ、前記第１撮像部における第１画像信号のアナログゲインを調整する第１アナログゲイン調整パラメータ、及び前記第１画像処理部における第１画像信号のデジタルゲインを調整する第１デジタルゲイン調整パラメータのうちの少なくとも２つを含み、
前記第２制御パラメータは、前記第２光源の光量を調整する第２光量調整パラメータ、前記第２撮像部における前記蛍光の露光量を調整する第２露光量調整パラメータ、前記第２撮像部における前記第２画像信号のアナログゲインを調整する第２アナログゲイン調整パラメータ、及び前記第２画像処理部における前記第２画像信号のデジタルゲインを調整する第２デジタルゲイン調整パラメータのうちの前記少なくとも２つを含み、
前記制御部は、前記第１光量調整パラメータ、前記第１露光量調整パラメータ、前記第１アナログゲイン調整パラメータ、及び前記第１デジタルゲイン調整パラメータのうちの前記少なくとも２つを第１の優先順位で調整し、
前記制御部は、前記第２光量調整パラメータ、前記第２露光量調整パラメータ、前記第２アナログゲイン調整パラメータ、前記第２デジタルゲイン調整パラメータのうちの前記少なくとも２つを第２の優先順位で調整する
項目１～９のいずれか一項に記載の画像処理装置。
［項目１１］
前記第１の優先順位は、前記第１光量調整パラメータ及び前記第１露光量調整パラメータの順であり、
前記第２の優先順位は、前記第２光量調整パラメータ及び前記第２露光量調整パラメータの順である
項目１０に記載の画像処理装置。
［項目１２］
前記第１の優先順位は、前記第１光量調整パラメータ、前記第１アナログゲイン調整パラメータ、前記第１デジタルゲイン調整パラメータ及び前記第１露光量調整パラメータの順であり、
前記第２の優先順位は、前記第２光量調整パラメータ、前記第２アナログゲイン調整パラメータ、前記第２デジタルゲイン調整パラメータ及び前記第２露光量調整パラメータの順である
項目１０に記載の画像処理装置。
［項目１３］
前記重畳画像の輝度情報は、前記重畳画像の平均輝度である
項目１～１２のいずれか一項に記載の画像処理装置。
［項目１４］
前記重畳画像は前記重畳画像の第１位置を含む第１画像部分と、前記第１画像部分の周囲の第２画像部分とを含み、
前記制御部は、前記第１画像部分に第１重みを設定し、前記第２画像部分に第２重みを設定し、
前記第１重みと前記第２重みとに基づき前記第１画像部分の輝度と前記第２画像部分の輝度との重み付き平均を算出する
項目１３に記載の画像処理装置。
［項目１５］
前記制御部は、前記重畳画像において第１閾値以上の輝度を有する画像部分のみに基づき前記平均輝度を算出する
項目１３又は１４に記載の画像処理装置。
［項目１６］
前記制御部は、前記重畳画像において第２閾値以上の輝度を有する画素の輝度を前記第２閾値に固定して、前記平均輝度を算出する
項目１３～１５のいずれか一項に記載の画像処理装置。
［項目１７］
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第２画像の色に応じて、前記赤、前記緑、及び前記青の重みを変更する
項目１～１６のいずれか一項に記載の画像処理装置。
［項目１８］
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第１光の色に応じて、前記赤、前記緑、及び前記青の重みを変更する
項目１～１７のいずれか一項に記載の画像処理装置。
［項目１９］
前記制御部は、前記重畳画像を表示する第１表示モードと、前記第１画像を表示する第２表示モードとを選択可能に実行し、
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第１表示モード及び前記第２表示モードのいずれを実行にするかに応じて、前記赤、前記緑、及び前記青の重みを変更する
項目１～１８のいずれか一項に記載の画像処理装置。
［項目２０］
前記制御部は、前記重畳画像における複数の領域ごとに平均輝度を算出し、前記平均輝度が高い領域ほど高い重みを前記領域に含まれる画素に設定して、
前記領域毎の前記画素の前記重みに基づき、前記重畳画像の画素毎の輝度の重み付き平均を算出する
項目１３～１９のいずれか一項に記載の画像処理装置。
［項目２１］
前記制御部は、前記第１制御パラメータと前記第２制御パラメータとを同時に調整する
項目１～２０のいずれか一項に記載の画像処理装置。
［項目２２］
第１波長帯域を有する第１光を被検体に照射する第１ステップと、
前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第２ステップと、
前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第３ステップと、
前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第４ステップと、
前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第５ステップと、
前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第６ステップと、
前記第１画像と前記第２画像とを重畳して重畳画像を生成する第７ステップと、
前記重畳画像の輝度情報に基づき、前記第１ステップ、前記第２ステップ及び前記第３ステップのうち少なくとも１つを制御する第１制御パラメータと、前記第４ステップ、前記第５ステップ及び前記第６ステップのうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する第８ステップと
を備えた画像処理方法。
［項目１］
第１波長帯域を有する第１光を被検体に照射する第１光源と、
前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第１撮像部と、
前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第１画像処理部と、
前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第２光源と、
前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第２撮像部と、
前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第２画像処理部と、
前記第１画像と前記第２画像とを重畳して重畳画像を生成する重畳画像生成部と、
前記重畳画像の輝度情報に基づき、前記第１光源、前記第１撮像部及び前記第１画像処理部のうち少なくとも１つを制御する第１制御パラメータと、前記第２光源、前記第２撮像部及び前記第２画像処理部のうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する制御部と、
を備えた画像処理装置。
［項目２］
前記制御部は、前記重畳画像の輝度情報と、前記重畳画像の目標輝度情報との差分に基づき、前記第１制御パラメータと前記第２制御パラメータとを調整する
項目１に記載の画像処理装置。
［項目３］
前記制御部は、前記第１制御パラメータと前記第２制御パラメータとを調整することにより、前記差分をゼロにする又は閾値以下にする
項目２に記載の画像処理装置。
［項目４］
前記制御部は、前記第１制御パラメータと前記第２制御パラメータ間の比率の比率に関する条件に基づき、前記第１制御パラメータと前記第２制御パラメータを調整する
項目１～３のいずれか一項に記載の画像処理装置。
［項目５］
前記制御部は、前記第１制御パラメータと前記第２制御パラメータの調整前の比率と、前記第１制御パラメータと前記第２制御パラメータの調整後の比率の差をゼロ又は閾値以下する
項目４に記載の画像処理装置。
［項目６］
前記第１制御パラメータは、前記第１光源の光量を調整するパラメータであり、
前記第２制御パラメータは、前記第２光源の光量を調整するパラメータである
項目１～５のいずれか一項に記載の画像処理装置。
［項目７］
前記第１制御パラメータは、前記第１撮像部において前記第１光の反射光の露光量調整するパラメータであり、
前記第２制御パラメータは、前記第２撮像部において前記蛍光の露光量を調整するパラメータである
項目１～６のいずれか一項に記載の画像処理装置。
［項目８］
前記第１制御パラメータは、前記第１撮像部において前記第１画像信号のアナログゲインを調整するパラメータであり、
前記第２制御パラメータは、前記第２撮像部において第２画像信号のアナログゲインを調整するパラメータである、
項目１～７のいずれか一項に記載の画像処理装置。
［項目９］
前記第１制御パラメータは、前記第１画像処理部において前記第１画像信号のデジタルゲインを調整するパラメータであり、
前記第２制御パラメータは、前記第２画像処理部において前記第２画像信号のデジタルゲインを調整するパラメータである、
項目１～８のいずれか一項に記載の画像処理装置。
［項目１０］
前記第１制御パラメータは、前記第１光源の光量を調整する第１光量調整パラメータ、前記第１撮像部における前記第１光の反射光の露光量を調整する第１露光量調整パラメータ、前記第１撮像部における第１画像信号のアナログゲインを調整する第１アナログゲイン調整パラメータ、及び前記第１画像処理部における第１画像信号のデジタルゲインを調整する第１デジタルゲイン調整パラメータのうちの少なくとも２つを含み、
前記第２制御パラメータは、前記第２光源の光量を調整する第２光量調整パラメータ、前記第２撮像部における前記蛍光の露光量を調整する第２露光量調整パラメータ、前記第２撮像部における前記第２画像信号のアナログゲインを調整する第２アナログゲイン調整パラメータ、及び前記第２画像処理部における前記第２画像信号のデジタルゲインを調整する第２デジタルゲイン調整パラメータのうちの前記少なくとも２つを含み、
前記制御部は、前記第１光量調整パラメータ、前記第１露光量調整パラメータ、前記第１アナログゲイン調整パラメータ、及び前記第１デジタルゲイン調整パラメータのうちの前記少なくとも２つを第１の優先順位で調整し、
前記制御部は、前記第２光量調整パラメータ、前記第２露光量調整パラメータ、前記第２アナログゲイン調整パラメータ、前記第２デジタルゲイン調整パラメータのうちの前記少なくとも２つを第２の優先順位で調整する
項目１～９のいずれか一項に記載の画像処理装置。
［項目１１］
前記第１の優先順位は、前記第１光量調整パラメータ及び前記第１露光量調整パラメータの順であり、
前記第２の優先順位は、前記第２光量調整パラメータ及び前記第２露光量調整パラメータの順である
項目１０に記載の画像処理装置。
［項目１２］
前記第１の優先順位は、前記第１光量調整パラメータ、前記第１アナログゲイン調整パラメータ、前記第１デジタルゲイン調整パラメータ及び前記第１露光量調整パラメータの順であり、
前記第２の優先順位は、前記第２光量調整パラメータ、前記第２アナログゲイン調整パラメータ、前記第２デジタルゲイン調整パラメータ及び前記第２露光量調整パラメータの順である
項目１０に記載の画像処理装置。
［項目１３］
前記重畳画像の輝度情報は、前記重畳画像の平均輝度である
項目１～１２のいずれか一項に記載の画像処理装置。
［項目１４］
前記重畳画像は前記重畳画像の第１位置を含む第１画像部分と、前記第１画像部分の周囲の第２画像部分とを含み、
前記制御部は、前記第１画像部分に第１重みを設定し、前記第２画像部分に第２重みを設定し、
前記第１重みと前記第２重みとに基づき前記第１画像部分の輝度と前記第２画像部分の輝度との重み付き平均を算出する
項目１３に記載の画像処理装置。
［項目１５］
前記制御部は、前記重畳画像において第１閾値以上の輝度を有する画像部分のみに基づき前記平均輝度を算出する
項目１３又は１４に記載の画像処理装置。
［項目１６］
前記制御部は、前記重畳画像において第２閾値以上の輝度を有する画素の輝度を前記第２閾値に固定して、前記平均輝度を算出する
項目１３～１５のいずれか一項に記載の画像処理装置。
［項目１７］
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第２画像の色に応じて、前記赤、前記緑、及び前記青の重みを変更する
項目１～１６のいずれか一項に記載の画像処理装置。
［項目１８］
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第１光の色に応じて、前記赤、前記緑、及び前記青の重みを変更する
項目１～１７のいずれか一項に記載の画像処理装置。
［項目１９］
前記制御部は、前記重畳画像を表示する第１表示モードと、前記第１画像を表示する第２表示モードとを選択可能に実行し、
前記第１画像は赤、緑及び青の輝度値を画素ごとに含み、
前記重畳画像生成部は、前記第１画像の画素ごとの前記赤、前記緑、前記青の輝度値と、前記赤、前記緑、前記青の重みとに基づき、前記第１画像の画素ごとの輝度値を算出し、
前記第１画像の画素ごとの輝度値と、前記第２画像の画素ごとの輝度値とを合成して、前記重畳画像の画素ごとの輝度値を算出し、
前記制御部は、前記第１表示モード及び前記第２表示モードのいずれを実行にするかに応じて、前記赤、前記緑、及び前記青の重みを変更する
項目１～１８のいずれか一項に記載の画像処理装置。
［項目２０］
前記制御部は、前記重畳画像における複数の領域ごとに平均輝度を算出し、前記平均輝度が高い領域ほど高い重みを前記領域に含まれる画素に設定して、
前記領域毎の前記画素の前記重みに基づき、前記重畳画像の画素毎の輝度の重み付き平均を算出する
項目１３～１９のいずれか一項に記載の画像処理装置。
［項目２１］
前記制御部は、前記第１制御パラメータと前記第２制御パラメータとを同時に調整する
項目１～２０のいずれか一項に記載の画像処理装置。
［項目２２］
第１波長帯域を有する第１光を被検体に照射する第１ステップと、
前記第１光に対して前記被検体から反射した光を露光して第１画像信号を生成する第２ステップと、
前記第１画像信号に基づき第１画像処理を行って第１画像を生成する第３ステップと、
前記第１波長帯域と異なる第２波長帯域を有しかつ前記被検体に含まれる蛍光物質の励起波長を含む第２光を前記被検体に照射する第４ステップと、
前記第２光に対して前記被検体から発生した蛍光を露光して第２画像信号を生成する第５ステップと、
前記第２画像信号に基づき第２画像処理を行って第２画像を生成する第６ステップと、
前記第１画像と前記第２画像とを重畳して重畳画像を生成する第７ステップと、
前記重畳画像の輝度情報に基づき、前記第１ステップ、前記第２ステップ及び前記第３ステップのうち少なくとも１つを制御する第１制御パラメータと、前記第４ステップ、前記第５ステップ及び前記第６ステップのうち少なくとも１つを制御する第２制御パラメータとを調整することにより、前記第１画像の輝度と前記第２画像の輝度とを調整する第８ステップと
を備えた画像処理方法。
【符号の説明】
【0150】
１００ 内視鏡装置、１０ 光源装置、１１ 第１光源、１２ 第２光源、２０ 挿入部材（内視鏡本体）、２１ 先端部、２２ 接続部、２３ 基端部（接眼部）、２３ 基端部、２４Ａ 出射部、２４Ｂ 入射部、２５ 観測光学系、２５ａ～２５ｈ 光学レンズ、２７ 視野マスク、３０ ライトガイド、３１ 一端、３２ 他端、５０ カメラヘッド、５１ レンズユニット、５２ 撮像部、５３ 通信部、７０ 表示装置、８０ 伝送ケーブル、９０ 制御装置、９１ 通信部、９２ メモリ、９３ 観察画像生成部、９４ 制御部、９５ 入力部、９６ 出力部、９７ 記憶部、２１０ 重畳画像、５２１ 励起光カットフィルタ、５２２ 撮像素子、５２３ 信号処理部、５４０ ゲイン調整部（ＡＧＣ回路）、９３１ メモリコントローラ、９３２ 通常光画像処理部、９３２ 第１画像処理部、９３３ 蛍光画像処理部、９３３ 第２画像処理部、９３４ 重畳画像生成部、９３５ 表示制御部、９４０、９４０Ａ、９４０Ｂ ゲイン調整部（ＡＧＣ回路）、９４１ 輝度情報算出部、９４２ パラメータ調整部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
