知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171153
(43)【公開日】2024-12-11
(54)【発明の名称】処理装置、処理システム、処理方法及びプログラム
(51)【国際特許分類】
H04N 5/14 20060101AFI20241204BHJP
【ＦＩ】
H04N5/14
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023088072
(22)【出願日】2023-05-29
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】千賀 恵美
(72)【発明者】
【氏名】工藤 裕真
(57)【要約】
【課題】蛍光観察時、励起光の反射光が背景画像に混入している場合にも、背景画像のホワイトバランスの変動を抑えながら明るさを自動調整すること。
【解決手段】処理装置は、第１光源の光と、第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得部と、第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得部と、第１光源が照射する第１照射光の強度と第１画像の感度、および、第２光源が照射する第２照射光の強度と第２画像の感度、の各々を制御する制御部と、を備える。制御部は、第１照射光の強度と第２照射光の強度との比率が所定の範囲内となるように、第１画像情報及び第２画像情報に基づいて、第１光源が照射する第１照射光の強度、第１画像の感度、第２光源が照射する第２照射光の強度、第２画像の感度のうち、少なくとも何れか１つを制御する。
【選択図】図１
【解決手段】処理装置は、第１光源の光と、第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得部と、第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得部と、第１光源が照射する第１照射光の強度と第１画像の感度、および、第２光源が照射する第２照射光の強度と第２画像の感度、の各々を制御する制御部と、を備える。制御部は、第１照射光の強度と第２照射光の強度との比率が所定の範囲内となるように、第１画像情報及び第２画像情報に基づいて、第１光源が照射する第１照射光の強度、第１画像の感度、第２光源が照射する第２照射光の強度、第２画像の感度のうち、少なくとも何れか１つを制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１光源の光と、前記第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得部と、
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得部と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御部と、を備え、
前記制御部は、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する処理装置。
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得部と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御部と、を備え、
前記制御部は、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する処理装置。
【請求項2】
前記制御部は、
前記第１光源を制御する場合に、前記第１光源から照射された前記第１照射光の振幅、前記第１照射光の点灯時間、前記第１照射光のパルス幅、前記第１照射光のパルス密度のうち少なくとも１つ用いて、前記第１照射光の強度を制御し、
前記第２光源を制御する場合に、前記第２光源から照射された第２照射光の振幅、前記第２照射光の点灯時間、前記第２照射光のパルス幅、前記第２照射光のパルス密度のうち少なくとも１つ用いて前記第２照射光の強度を制御する請求項１に記載の処理装置。
前記第１光源を制御する場合に、前記第１光源から照射された前記第１照射光の振幅、前記第１照射光の点灯時間、前記第１照射光のパルス幅、前記第１照射光のパルス密度のうち少なくとも１つ用いて、前記第１照射光の強度を制御し、
前記第２光源を制御する場合に、前記第２光源から照射された第２照射光の振幅、前記第２照射光の点灯時間、前記第２照射光のパルス幅、前記第２照射光のパルス密度のうち少なくとも１つ用いて前記第２照射光の強度を制御する請求項１に記載の処理装置。
【請求項3】
前記制御部は、前記第１画像の感度および前記第２画像の感度を、光を受光することで電気信号を発生する撮像部の露光時間と、前記撮像部で発生した前記電気信号に適用するゲインと、画像生成部が前記第１画像及び前記第２画像を生成するために用いる電気信号に適用するゲインとのうち、少なくとも１つを用いて調整する請求項１に記載の処理装置。
【請求項4】
前記第２取得部は、第２の比率と、前記第１画像情報とを用いて、前記第２画像の明るさ調整に関する情報として、前記第２画像情報を取得し、
前記第１画像情報は、前記第１光源の強度と前記第１画像の感度との積であり、
前記第２画像情報は、前記第２光源の強度と前記第２画像の感度との積であり、
前記第２の比率は、前記第１画像情報と前記第２画像情報との比である請求項１に記載の処理装置。
前記第１画像情報は、前記第１光源の強度と前記第１画像の感度との積であり、
前記第２画像情報は、前記第２光源の強度と前記第２画像の感度との積であり、
前記第２の比率は、前記第１画像情報と前記第２画像情報との比である請求項１に記載の処理装置。
【請求項5】
前記制御部は、前記第１照射光の強度および前記第２照射光の強度の調整範囲内で、前記第１光源及び前記第２光源のうち、少なくともいずれか一方の光源の強度を調整して、前記第１照射光の強度と前記第２照射光の強度との前記比率の範囲を調整することが可能である請求項１に記載の処理装置。
【請求項6】
前記第２取得部は、前記第２の比率を調整する第１設定を取得し、
前記制御部は、前記第２画像の感度に対する追加ゲインを調整する第２設定を取得し、
前記第２取得部は、前記第１画像情報、および、前記第１設定によって調整された前記第２の比率を用いて、前記第２画像情報を取得し、
前記制御部は、前記第１画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度を制御し、
前記制御部は、前記第２画像情報に基づいて、前記第２照射光の強度、前記第２画像の感度を制御し、
前記制御部は、前記第２画像の感度に対して、前記第２設定によって調整された追加ゲインをさらに加算する請求項４に記載の処理装置。
前記制御部は、前記第２画像の感度に対する追加ゲインを調整する第２設定を取得し、
前記第２取得部は、前記第１画像情報、および、前記第１設定によって調整された前記第２の比率を用いて、前記第２画像情報を取得し、
前記制御部は、前記第１画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度を制御し、
前記制御部は、前記第２画像情報に基づいて、前記第２照射光の強度、前記第２画像の感度を制御し、
前記制御部は、前記第２画像の感度に対して、前記第２設定によって調整された追加ゲインをさらに加算する請求項４に記載の処理装置。
【請求項7】
前記第２取得部は、前記第２画像を撮像する撮像部の撮像信号を用いて取得した前記第２画像の明るさの評価情報と、目標情報との比較に基づいて、前記第２画像の明るさ調整に関する第２画像情報を取得する請求項１に記載の処理装置。
【請求項8】
前記制御部は、前記第１光源の調整範囲及び前記第２光源の調整範囲において、前記第１光源から照射された第１照射光の強度と、前記第２光源から照射された第２照射光の強度との比率が、設定された照射光の強度比になるように、前記第１光源及び前記第２光源のうち、少なくともいずれか一方を制御する請求項１に記載の処理装置。
【請求項9】
前記制御部は、前記第１光源の調整範囲及び前記第２光源の調整範囲において、前記第１照射光の強度と前記第２照射光の強度との比率が前記強度比となるように制御する際、前記第１照射光の強度が最大の場合に前記第２照射光の強度を最大に制御する請求項８に記載の処理装置。
【請求項10】
前記設定された照射光の強度比と、前記第１光源の調整範囲及び前記第２光源の調整範囲とに基づいて、前記制御部は、前記第２照射光の強度の調整範囲を超えないように前記第１照射光の強度を制御する請求項９に記載の処理装置。
【請求項11】
前記第１光源は、被写体からの反射光を観察するための光源であり、前記第２光源は、前記被写体に存在する蛍光物質から発せられる蛍光を観察するための光源である請求項１に記載の処理装置。
【請求項12】
前記第１照射光の強度と前記第２照射光の強度との前記比率が前記所定の範囲内となるように保つ第１の動作モードと、前記第１照射光の強度と前記第２照射光の強度との比率の範囲を前記第１の動作モードより広げた第２の動作モードとを備え、
前記制御部は、前記第１の動作モードと前記第２の動作モードを切り替えることが可能である請求項１に記載の処理装置。
前記制御部は、前記第１の動作モードと前記第２の動作モードを切り替えることが可能である請求項１に記載の処理装置。
【請求項13】
前記第１光源、および前記第２光源とは異なる第３光源をさらに備え、
前記制御部は、
前記比率が前記所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度、前記第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御し、更に、
前記第１照射光の強度と前記第３光源が照射する第３照射光の強度との比率が所定の範囲内となるように、前記第１画像情報、及び、前記第３光源の光から得られた第３画像の明るさ調整に関する第３画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度、前記第３照射光の強度、前記第３画像の感度のうち、少なくとも何れか１つを制御する請求項１に記載の処理装置。
前記制御部は、
前記比率が前記所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度、前記第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御し、更に、
前記第１照射光の強度と前記第３光源が照射する第３照射光の強度との比率が所定の範囲内となるように、前記第１画像情報、及び、前記第３光源の光から得られた第３画像の明るさ調整に関する第３画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度、前記第３照射光の強度、前記第３画像の感度のうち、少なくとも何れか１つを制御する請求項１に記載の処理装置。
【請求項14】
前記制御部は、前記第１照射光の強度を制御する際に、前記第２照射光の強度を前記第２画像の感度よりも優先して制御し、
前記第１画像の感度を制御する際に、前記第２画像の感度を前記第２照射光の強度よりも優先して制御し、
前記第２照射光の強度を制御する際に、前記第１照射光の強度を前記第１画像の感度よりも優先して制御し、前記第２画像の感度を制御する際に前記第１画像の感度を前記第１照射光の強度よりも優先して制御する請求項１に記載の処理装置。
前記第１画像の感度を制御する際に、前記第２画像の感度を前記第２照射光の強度よりも優先して制御し、
前記第２照射光の強度を制御する際に、前記第１照射光の強度を前記第１画像の感度よりも優先して制御し、前記第２画像の感度を制御する際に前記第１画像の感度を前記第１照射光の強度よりも優先して制御する請求項１に記載の処理装置。
【請求項15】
前記第１画像を撮像する撮像部で得られた複数の撮像信号のホワイトバランスを調整するホワイトバランス調整部と、
前記ホワイトバランスが調整された前記複数の撮像信号と、前記制御部から取得した制御信号とを用いて、前記第１画像における前記複数の撮像信号のゲインを調整する第１画像ゲイン調整部と、
前記第１画像において前記ゲインが調整された前記複数の撮像信号を用いて、前記第１画像の明るさの評価情報を取得する第１評価情報取得部と、
前記第２光源の光に基づいて、前記撮像部で得られた撮像信号のゲインを調整する第２画像ゲイン調整部と、を更に備え、
前記第１取得部は、前記評価情報と、予め設定された目標情報とを比較することにより、前記第１画像の明るさ調整に関する情報として、前記第１画像情報を取得する請求項７に記載の処理装置。
前記ホワイトバランスが調整された前記複数の撮像信号と、前記制御部から取得した制御信号とを用いて、前記第１画像における前記複数の撮像信号のゲインを調整する第１画像ゲイン調整部と、
前記第１画像において前記ゲインが調整された前記複数の撮像信号を用いて、前記第１画像の明るさの評価情報を取得する第１評価情報取得部と、
前記第２光源の光に基づいて、前記撮像部で得られた撮像信号のゲインを調整する第２画像ゲイン調整部と、を更に備え、
前記第１取得部は、前記評価情報と、予め設定された目標情報とを比較することにより、前記第１画像の明るさ調整に関する情報として、前記第１画像情報を取得する請求項７に記載の処理装置。
【請求項16】
前記第１画像ゲイン調整部により前記ゲインが調整された前記複数の撮像信号に基づいて、前記第１画像を生成する第１画像生成部と、
前記第２画像ゲイン調整部により前記ゲインが調整された前記撮像信号に基づいて、前記第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを合成した合成画像の画像信号を出力する画像合成部と、
を更に備える請求項１５に記載の処理装置。
前記第２画像ゲイン調整部により前記ゲインが調整された前記撮像信号に基づいて、前記第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを合成した合成画像の画像信号を出力する画像合成部と、
を更に備える請求項１５に記載の処理装置。
【請求項17】
請求項１乃至請求項１６のいずれか１項に記載の処理装置と、
前記処理装置から出力された画像信号に基づいて、前記第１画像に前記第２画像を重畳した画像を表示部に表示させる表示制御を行う表示制御部を有する表示装置と、
前記処理装置から出力された制御信号に基づいて光の強度を調整可能な、前記第１光源と前記第２光源とを有する光源と、
を備える処理システム。
前記処理装置から出力された画像信号に基づいて、前記第１画像に前記第２画像を重畳した画像を表示部に表示させる表示制御を行う表示制御部を有する表示装置と、
前記処理装置から出力された制御信号に基づいて光の強度を調整可能な、前記第１光源と前記第２光源とを有する光源と、
を備える処理システム。
【請求項18】
第１光源の光と、前記第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得工程と、
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得工程と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御工程と、を有し、
前記制御工程では、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する処理方法。
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得工程と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御工程と、を有し、
前記制御工程では、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する処理方法。
【請求項19】
コンピュータに、請求項１８に記載の処理方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
開示の技術は、処理装置、処理システム、処理方法及びプログラムに関する。
【背景技術】
【0002】
可視光を発生する白色光源を用いて被写体を観察（通常観察）する場合は、光の強度、露光時間、光を受光することで発生した電気信号に適用するゲインなどを自動制御し、通常観察により得られる画像の明るさを一定に保つ処理がある。また、Ｘ線、紫外線、赤外線または可視光を励起光として照射することにより生じる蛍光を観察（蛍光観察）する場合においても、同様の明るさの自動制御がある。
【0003】
一方、例えば、医療分野では、上述のような蛍光観察を用いて、通常観察により得られる画像（背景画像）に蛍光観察により得られる画像（蛍光画像）を重畳して観察する場合がある。
【0004】
特許文献１には、蛍光観察における明るさ制御の方法として、背景画像から決定された制御パラメータに応じて、蛍光画像の明るさを自動で調整する技術が開示されている。
【0005】
特許文献１の技術では、明るさの制御情報として、光の強度、露光時間（シャッタ）、ゲインを制御パラメータとした制御方法を提案しているが、各制御方法の優先度は制約していない。例えば、ゲインを上げるとノイズ成分も増加し、画質が低下し得るため、画像を明るくする際には、ゲイン以外の制御パラメータによる制御方法を優先して使用することが一般的である。蛍光画像においては、励起光の強度を上げるだけでは十分な明るさを得ることができない場合に、ゲインも上げて明るさの調整を行う場合もある。また、ゲインが上がった状態で画像を暗くする際は、ゲインを下げるのが一般的である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１８－１８２７４１公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、蛍光画像及び背景画像において、異なる制御方法を用いて明るさの調整を行う場合に、背景画像のホワイトバランスがずれてしまう場合が生じ得る。励起光の反射光が背景画像に混入している場合に、蛍光画像では励起光の強度を変えずにゲインで明るさ調整し、背景画像では光源における白色光（可視光）の強度で明るさ調整すると、背景画像のホワイトバランスがずれてしまう。例えば、励起光の反射光が青色の場合、励起光の強度を変えずに白色光の強度を下げると、背景画像が相対的に青くなってしまう。
【0008】
開示の技術は、上記の従来技術に鑑み、励起光の反射光が背景画像に混入している場合にも、背景画像のホワイトバランスの変動を抑えながら明るさを自動調整することを目的とする。
【課題を解決するための手段】
【0009】
開示の技術の一態様による処理装置は、第１光源の光と、前記第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得部と、
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得部と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御部と、を備え、
前記制御部は、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する。
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得部と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御部と、を備え、
前記制御部は、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する。
【発明の効果】
【0010】
開示の技術によれば、励起光の反射光が背景画像に混入している場合にも、背景画像のホワイトバランスの変動を抑えながら明るさを自動調整することができる。
【図面の簡単な説明】
【0011】
【図1】第１の実施形態に係る撮像装置の構成を示すブロック図。
【図2】第１の実施形態に係る撮像装置の明るさ調整処理を示すフローチャート。
【図3】第１の実施形態に係る撮像装置の時分割制御の例を示す図。
【図4】第２の実施形態に係る撮像装置の構成を示すブロック図。
【図5】第３の実施形態に係る撮像装置の構成を示すブロック図。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0013】
[第１の実施形態]
第１の実施形態に係る撮像装置について図１のブロック図を参照して説明する。第１の実施形態に係る撮像装置１は、撮像部１１と、画像処理部１３と、画像生成部１８とを含む。また、処理システムＳＴＭは、撮像装置１と、光源２３と、表示装置３０とを含む。
第１の実施形態に係る撮像装置について図１のブロック図を参照して説明する。第１の実施形態に係る撮像装置１は、撮像部１１と、画像処理部１３と、画像生成部１８とを含む。また、処理システムＳＴＭは、撮像装置１と、光源２３と、表示装置３０とを含む。
【0014】
撮像部１１は、プリズム１１１と、シャッタ１１２、１１３、１１４、１１５と、イメージセンサ１１６、１１７、１１８、１１９とを含む。
【0015】
画像処理部１３は、ゲイン調整部１３１、１３２、１３３と、背景ゲイン調整部１３４（第１画像ゲイン調整部）と、背景評価情報取得部１３５と、背景トータルゲイン取得部１３６（第１取得部）と、蛍光トータルゲイン取得部１３８（第２取得部）と、制御部１３９とを含む。ここで、「ゲイン」とは、電気信号（撮像信号）の増幅量を示す。
【0016】
画像生成部１８は、背景画像生成部１５と、蛍光画像生成部１６と、画像合成部１７とを含む。
【0017】
また、光源２３は、処理装置１から出力された制御信号に基づいて光の強度を調整可能な、白色光源２０（第１光源）と、励起光光源２２（第２光源）とを含む。白色光源２０（第１光源）は、被写体Ｐからの反射光を観察するための光源である。白色光源２０は、各波長の光線が混合した可視光である白色光を出力する。白色光源２０から出力された白色光は被写体Ｐに照射される。被写体Ｐに照射された白色光が反射し、反射光が発生する。
【0018】
画像処理部１３における制御部１３９は、白色光の強度制御信号に基づいて、白色光源２０から出力される白色光の強度を制御することができる。白色光の強度は、例えば、白色光の点灯時間により調整することが可能である。
【0019】
制御部１３９は、白色光源２０（第１光源）を制御する場合に、白色光源２０（第１光源）から照射された第１照射光の振幅、第１照射光の点灯時間、第１照射光のパルス幅、第１照射光のパルス密度のうち少なくとも１つ用いて、第１照射光の強度を制御することが可能である。
【0020】
励起光光源２２（第２光源）は、被写体Ｐに存在する蛍光物質から発せられる蛍光を観察するための光源である。励起光光源２２は、例えば、青色の励起光を出力するものとする。励起光光源２２から出力された励起光は被写体Ｐに照射される。ここでは、被写体Ｐには、青色の励起光により励起する蛍光物質が存在する場合を想定し、蛍光物質から赤色の蛍光が発生するものとする。なお、励起光、蛍光の波長はこれに限らず、例えば、励起光光源２２は緑色の励起光でもよいし、赤外の蛍光でもよい。
【0021】
制御部１３９は、励起光の強度制御信号に基づいて、励起光光源２２が出力される励起光の強度を制御することができる。制御部１３９は、励起光光源２２（第２光源）を制御する場合に、励起光光源２２（第２光源）から照射された第２照射光の振幅、第２照射光の点灯時間、第２照射光のパルス幅、第２照射光のパルス密度のうち少なくとも１つ用いて第２照射光の強度を制御することができる。
【0022】
（撮像部１１の構成）
撮像部１１は、第１画像及び第２画像を撮像する。以下、第１画像を背景画像ともいい、第２画像を蛍光画像ともいう。第１画像（背景画像）は、白色光源２０（第１光源）の光と、白色光源２０とは異なる励起光光源２２（第２光源）の光とを含む光から得られた画像である。すなわち、第１画像は、第１画像は、白色光源２０（第１光源）の光に、励起光光源２２（第２光源）の光が混入した画像である。また、第２画像（蛍光画像）は、励起光光源２２（第２光源）の光から得られた画像である。
撮像部１１は、第１画像及び第２画像を撮像する。以下、第１画像を背景画像ともいい、第２画像を蛍光画像ともいう。第１画像（背景画像）は、白色光源２０（第１光源）の光と、白色光源２０とは異なる励起光光源２２（第２光源）の光とを含む光から得られた画像である。すなわち、第１画像は、第１画像は、白色光源２０（第１光源）の光に、励起光光源２２（第２光源）の光が混入した画像である。また、第２画像（蛍光画像）は、励起光光源２２（第２光源）の光から得られた画像である。
【0023】
プリズム１１１は、例えば、三板式のプリズムであり、プリズム１１１は、被写体Ｐからの反射光および蛍光を、赤色光、緑色光、青色光の三原色に分光（分離）する。以下、赤色光をＲ（赤）光と表記し、緑色光をＧ（緑）光と表記し、青色光をＢ（青）光と表記する。なお、赤色の蛍光は、反射光のＲ（赤）光と同経路に分光されるため、実際にはシャッタ１１２とイメージセンサ１１６が共通して用いられ、時分割制御によって、反射光のＲ（赤）光と、赤色の蛍光とに振り分けられる。説明の便宜上、仮想的に反射光のＲ（赤）光と赤色の蛍光とが分離された経路で処理されるものとして図示する。
【0024】
すなわち、背景画像用の反射光を受光している期間ではＲ（赤）光がシャッタ１１２を通過してイメージセンサ１１６で受光される。また、蛍光画像用の赤色の蛍光を受光している期間では蛍光がシャッタ１１５を通過してイメージセンサ１１９で受光されるように、仮想的に受光経路を分けて説明する。なお、時分割制御の例については、図３を参照して後述する。
【0025】
シャッタ１１２は、プリズム１１１で分離されたＲ（赤）光が後段のイメージセンサ１１６へ入射する際の入射光量（以下、露光時間という）を調整する。シャッタ１１３は、プリズム１１１で分離されたＧ（緑）光が後段のイメージセンサ１１７へ入射する際の露光時間を調整する。シャッタ１１４は、プリズム１１１で分離されたＢ（青）光が後段のイメージセンサ１１８へ入射する際の露光時間を調整する。
【0026】
また、シャッタ１１５は、プリズム１１１で分離された赤色の蛍光が後段のイメージセンサ１１９へ入射する際の露光時間を調整する。
【0027】
なお、各シャッタの具体的な動作としては、例えば、各シャッタの構成が、いわゆるメカニカルシャッタである場合は、物理的に開閉することでイメージセンサへの入射光量が調整される。つまり、メカニカルシャッタを用いる場合の「露光時間」とは、イメージセンサが受光している時間である。
【0028】
一方、各シャッタの構成が、いわゆる電子シャッタである場合は、キャパシタが空の状態からの電荷のチャージ量を調整することでイメージセンサへの入射光量が調整される。つまり、電子シャッタの場合の「露光時間」とは、チャージした電荷を一度捨てた後の再チャージの時間である。
【0029】
イメージセンサ１１６は、Ｒ（赤）光を光電変換し、電気信号であるＲ撮像信号を生成する。イメージセンサ１１７は、Ｇ（緑）光を光電変換し、電気信号であるＧ撮像信号を生成する。イメージセンサ１１８は、Ｂ（青）光を光電変換し、電気信号であるＢ撮像信号を生成する。以下では、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号をまとめて、背景画像用の光を受光することで得られる電気信号であるＲＧＢ撮像信号とも呼ぶ。
【0030】
イメージセンサ１１９は、蛍光を光電変換し、電気信号である蛍光撮像信号を生成する。
【0031】
上述した各イメージセンサとしては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いる場合を想定するが、ＣＣＤ（Charge Coupled Device）など他の撮像素子を用いてもよい。
【0032】
（画像処理部１３の構成）
（ゲイン調整部１３１およびゲイン調整部１３２）
ゲイン調整部１３１は、イメージセンサ１１６からＲ撮像信号を取得し、Ｒ撮像信号のゲインを調整する。そして、ゲイン調整部１３１は、ゲインを調整したＲ撮像信号を背景ゲイン調整部１３４へ出力する。また、ゲイン調整部１３２は、イメージセンサ１１８からＢ撮像信号を取得し、Ｂ撮像信号のゲインを調整する。そして、ゲイン調整部１３２は、ゲインを調整したＢ撮像信号を背景ゲイン調整部１３４へ出力する。
（ゲイン調整部１３１およびゲイン調整部１３２）
ゲイン調整部１３１は、イメージセンサ１１６からＲ撮像信号を取得し、Ｒ撮像信号のゲインを調整する。そして、ゲイン調整部１３１は、ゲインを調整したＲ撮像信号を背景ゲイン調整部１３４へ出力する。また、ゲイン調整部１３２は、イメージセンサ１１８からＢ撮像信号を取得し、Ｂ撮像信号のゲインを調整する。そして、ゲイン調整部１３２は、ゲインを調整したＢ撮像信号を背景ゲイン調整部１３４へ出力する。
【0033】
ゲイン調整部１３１およびゲイン調整部１３２によるゲイン調整は、いわゆるホワイトバランス調整であり、ゲイン調整部１３１およびゲイン調整部１３２は、ホワイトバランス調整部１３０（以下、単に調整部ともいう）として機能する。ゲイン調整部１３１およびゲイン調整部１３２は、一般的な処理により、必要に応じてＲ撮像信号およびＢ撮像信号の振幅を調整するなどして、ゲインを調整する。ホワイトバランス調整部１３０は、白色光源２０（第１光源）の光から分離され光に基づいて、撮像部１１で得られた複数の撮像信号（Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号）のホワイトバランスを調整する。
【0034】
ゲイン調整部１３３（第２画像ゲイン調整部）は、励起光光源２２（第２光源）の光に基づいて、撮像部１１で得られた撮像信号（蛍光撮像信号）のゲインを調整する。ゲイン調整部１３３（第２画像ゲイン調整部）は、イメージセンサ１１９から蛍光撮像信号を取得する。また、ゲイン調整部１３３は、後述する制御部１３９から蛍光撮像信号のゲイン調整に関する制御信号を取得する。そして、ゲイン調整部１３３は、ゲイン調整に関する制御信号に基づいて、蛍光撮像信号のゲイン（以下、蛍光ゲインともいう）を調整する。ゲイン調整部１３３は、ゲインを調整した蛍光撮像信号を、蛍光画像生成部１６に出力する。制御部１３９は、白色光源２０（第１光源）が照射する第１照射光の強度と背景トータルゲイン（第１画像情報）、および、励起光光源２２（第２光源）が照射する第２照射光の強度と蛍光トータルゲイン（第２画像情報）、の各々を制御する。
【0035】
制御部１３９は、第１照射光の強度と第２照射光の強度との比率が所定の範囲内となるように、第１光源が照射する第１照射光の強度、第１画像の第１画像情報、第２光源が照射する第２照射光の強度、第２画像の第２画像情報のうち、少なくとも何れか１つを制御する。
【0036】
制御部１３９は、背景トータルゲイン（第１画像情報）および蛍光トータルゲイン（第２画像情報）を、光を受光することで電気信号を発生する撮像部１１の露光時間と、撮像部１１で発生した電気信号に適用するゲインと、画像生成部１８が画像（第１画像、第２画像）を生成するために用いる電気信号に適用するゲインとのうち、少なくとも１つを用いて調整する。
【0037】
制御部１３９は、白色光源２０（第１光源）の調整範囲及び励起光光源２２（第２光源）の調整範囲において、第１照射光の強度と第２照射光の強度との比率が所定の強度比となるように制御する際に、第１照射光の強度が最大の場合に第２照射光の強度を最大に制御する。
【0038】
また、設定された照射光の強度比と、第１光源の調整範囲及び第２光源の調整範囲とに基づいて、制御部１３９は、第２照射光の強度の調整範囲を超えないように第１照射光の強度を制御する。
【0039】
また、制御部１３９は、第１照射光の強度を制御する際に、第２照射光の強度を第２画像の感度よりも優先して制御し、第１画像の感度を制御する際に、第２画像の感度を第２照射光の強度よりも優先して制御する。また、制御部１３９は、第２照射光の強度を制御する際に、第１照射光の強度を第１画像の感度よりも優先して制御し、第２画像の感度を制御する際に、第１画像の感度を前記第１照射光の強度よりも優先して制御する。
【0040】
（背景ゲイン調整部１３４）
背景ゲイン調整部１３４（第１画像ゲイン調整部）は、ホワイトバランスが調整された複数の撮像信号（Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号）と、制御部１３９から取得した制御信号とを用いて、第１画像における複数の撮像信号のゲインを調整する。背景ゲイン調整部１３４は、ゲイン調整部１３１からゲインが調整されたＲ撮像信号を取得し、イメージセンサ１１７からＧ撮像信号を取得し、ゲイン調整部１３２からゲインが調整されたＢ撮像信号を取得する。また、背景ゲイン調整部１３４は、後述する制御部１３９からゲイン調整に関する制御信号を取得する。
背景ゲイン調整部１３４（第１画像ゲイン調整部）は、ホワイトバランスが調整された複数の撮像信号（Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号）と、制御部１３９から取得した制御信号とを用いて、第１画像における複数の撮像信号のゲインを調整する。背景ゲイン調整部１３４は、ゲイン調整部１３１からゲインが調整されたＲ撮像信号を取得し、イメージセンサ１１７からＧ撮像信号を取得し、ゲイン調整部１３２からゲインが調整されたＢ撮像信号を取得する。また、背景ゲイン調整部１３４は、後述する制御部１３９からゲイン調整に関する制御信号を取得する。
【0041】
そして、背景ゲイン調整部１３４は、ゲイン調整に関する制御信号に基づいて、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号の全体のゲインである、背景画像の明るさのトータルゲイン（以下、背景画像のゲイン、または、マスターゲインともいう）を調整する。
【0042】
背景ゲイン調整部１３４は、ゲイン調整に関する制御信号に基づいて、背景画像のゲイン（マスターゲイン）を調整した、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号を、背景評価情報取得部１３５、及び背景画像生成部１５に出力する。
【0043】
（背景評価情報取得部１３５）
背景評価情報取得部１３５（第１評価情報取得部）は、背景画像（第１画像）においてゲインが調整された複数の撮像信号（Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号）を用いて、背景画像（第１画像）の明るさの評価情報を取得する。背景評価情報取得部１３５は、背景ゲイン調整部１３４から、背景画像のゲイン（マスターゲイン）が調整された、Ｒ撮像信号、Ｇ撮像信号およびＢ撮像信号を取得する。そして、背景評価情報取得部１３５は、マスターゲインが調整された、Ｒ撮像信号、Ｇ撮像信号およびＢ撮像信号に基づいて、カラー画像である背景画像の明るさの評価情報（以下、背景評価情報ともいう）を取得する。背景評価情報は、例えば、背景画像の画素毎の輝度値の平均値である。あるいは、ＲＧＢの画素値の最大値の積分を用いてもよい。なお、背景評価情報は、この例に限られず、背景評価情報取得部１３５は、背景画像の画素毎の種々の情報を、背景評価情報として取得することが可能である。背景評価情報取得部１３５は、取得した評価情報（背景評価情報）を背景トータルゲイン取得部１３６に出力する。
背景評価情報取得部１３５（第１評価情報取得部）は、背景画像（第１画像）においてゲインが調整された複数の撮像信号（Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号）を用いて、背景画像（第１画像）の明るさの評価情報を取得する。背景評価情報取得部１３５は、背景ゲイン調整部１３４から、背景画像のゲイン（マスターゲイン）が調整された、Ｒ撮像信号、Ｇ撮像信号およびＢ撮像信号を取得する。そして、背景評価情報取得部１３５は、マスターゲインが調整された、Ｒ撮像信号、Ｇ撮像信号およびＢ撮像信号に基づいて、カラー画像である背景画像の明るさの評価情報（以下、背景評価情報ともいう）を取得する。背景評価情報は、例えば、背景画像の画素毎の輝度値の平均値である。あるいは、ＲＧＢの画素値の最大値の積分を用いてもよい。なお、背景評価情報は、この例に限られず、背景評価情報取得部１３５は、背景画像の画素毎の種々の情報を、背景評価情報として取得することが可能である。背景評価情報取得部１３５は、取得した評価情報（背景評価情報）を背景トータルゲイン取得部１３６に出力する。
【0044】
（背景トータルゲイン取得部１３６）
背景トータルゲイン取得部１３６（第１取得部）は、背景画像（第１画像）に関する明るさ調整に関するとして、トータルゲイン（以下、背景トータルゲインという）を取得する。背景トータルゲイン取得部１３６は、評価情報（背景評価情報）と、予め設定された目標情報とを比較することにより、背景画像（第１画像）の明るさ調整に関するとして、背景トータルゲイン（第１画像情報）を取得する。
背景トータルゲイン取得部１３６（第１取得部）は、背景画像（第１画像）に関する明るさ調整に関するとして、トータルゲイン（以下、背景トータルゲインという）を取得する。背景トータルゲイン取得部１３６は、評価情報（背景評価情報）と、予め設定された目標情報とを比較することにより、背景画像（第１画像）の明るさ調整に関するとして、背景トータルゲイン（第１画像情報）を取得する。
【0045】
背景トータルゲイン取得部１３６（第１取得部）は、例えば、目標情報に比べて評価情報が小さい場合に、背景画像（第１画像）の明るさを明るくするように背景トータルゲイン（第１画像情報）を取得（設定）する。また、背景トータルゲイン取得部１３６（第１取得部）は、目標情報に比べて評価情報が大きい場合に、背景画像（第１画像）の明るさを暗くするように背景トータルゲイン（第１画像情報）を設定する。
【0046】
背景トータルゲイン取得部１３６（第１取得部）は、白色光源２０（第１光源）の強度と、撮像部１１における露光時間と、複数の撮像信号のゲインとのうち、少なくともいずれか１つのパラメータを調整して、背景トータルゲイン（第１画像情報）の設定を変更することができる。
【0047】
例えば、背景トータルゲイン取得部１３６により取得される背景トータルゲインは、以下の（１）式で表すことができる。
【0048】
背景トータルゲイン＝白色光の強度×露光時間×マスターゲイン (１)
白色光の強度、露光時間、マスターゲインは、背景トータルゲインを調整するパラメータであり、各パラメータを調整することにより、背景トータルゲインの設定を変更することができる。背景トータルゲインの設定を変更することにより、背景画像の明るさを明るくしたり、暗くするように制御することができる。ここで、露光時間×マスターゲインは、背景画像（第１画像）の感度を示す。２つのパラメータのうち、少なくともいずれか一方を調整することで、背景画像（第１画像）の感度を調整することができる。例えば、（１）式を、背景画像（第１画像）の感度を用いて表すと、背景トータルゲインは、「白色光の強度×背景画像（第１画像）の感度」となる。
白色光の強度、露光時間、マスターゲインは、背景トータルゲインを調整するパラメータであり、各パラメータを調整することにより、背景トータルゲインの設定を変更することができる。背景トータルゲインの設定を変更することにより、背景画像の明るさを明るくしたり、暗くするように制御することができる。ここで、露光時間×マスターゲインは、背景画像（第１画像）の感度を示す。２つのパラメータのうち、少なくともいずれか一方を調整することで、背景画像（第１画像）の感度を調整することができる。例えば、（１）式を、背景画像（第１画像）の感度を用いて表すと、背景トータルゲインは、「白色光の強度×背景画像（第１画像）の感度」となる。
【0049】
制御部１３９は、光を受光することで電気信号を発生する撮像部１１の露光時間と、撮像部１１で発生した電気信号に適用するゲイン（電気信号の増幅量）と、画像生成部１８が背景画像（第１画像）を生成するために用いる電気信号に適用するゲイン（電気信号の増幅量）とのうち、少なくとも１つを用いて、背景画像（第１画像）の感度を調整することができる。
【0050】
背景トータルゲイン取得部１３６（第１取得部）は、背景画像（第１画像）の明るさを明るくする場合に、白色光源２０（第１光源）の強度を優先した調整により背景トータルゲイン（第１画像情報）の設定を変更する。また、背景トータルゲイン取得部１３６（第１取得部）は、背景画像（第１画像）の明るさを暗くする場合に、複数の撮像信号（Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号）のゲインを優先した調整により背景トータルゲイン（第１画像情報）の設定を変更することができる。
【0051】
（蛍光トータルゲイン取得部１３８）
蛍光トータルゲイン取得部１３８（第２取得部）は、蛍光画像（第２画像）に関する明るさ調整に関するとして、トータルゲイン（以下、蛍光トータルゲインという）を取得する。蛍光トータルゲイン取得部１３８は、外部からユーザにより設定される比率（以下、背景蛍光比という、以下、第２の比率ともいう）として、背景画像の明るさ調整に関するである背景トータルゲイン（第１画像情報）と、蛍光画像の明るさ調整に関するである蛍光トータルゲイン（第２画像情報）との比率を取得する。蛍光トータルゲイン取得部１３８（第２取得部）は、所定の比率（背景蛍光比）と、背景トータルゲイン（第１画像情報）とを用いて、蛍光画像（第２画像）の明るさ調整に関するとして、蛍光トータルゲイン（第２画像情報）を取得する。
蛍光トータルゲイン取得部１３８（第２取得部）は、蛍光画像（第２画像）に関する明るさ調整に関するとして、トータルゲイン（以下、蛍光トータルゲインという）を取得する。蛍光トータルゲイン取得部１３８は、外部からユーザにより設定される比率（以下、背景蛍光比という、以下、第２の比率ともいう）として、背景画像の明るさ調整に関するである背景トータルゲイン（第１画像情報）と、蛍光画像の明るさ調整に関するである蛍光トータルゲイン（第２画像情報）との比率を取得する。蛍光トータルゲイン取得部１３８（第２取得部）は、所定の比率（背景蛍光比）と、背景トータルゲイン（第１画像情報）とを用いて、蛍光画像（第２画像）の明るさ調整に関するとして、蛍光トータルゲイン（第２画像情報）を取得する。
【0052】
具体的には、背景蛍光比Ｒｏは、以下の（２）式で表すことができる。なお、背景蛍光比を記憶部１４５に記憶しておき、制御部１３９は記憶部１４５からデータを取得してもよい。
【0053】
背景蛍光比Ｒｏ
＝蛍光トータルゲインＳｆ／背景トータルゲインＳｗ (２)
また、蛍光トータルゲイン取得部１３８は、背景トータルゲイン取得部１３６から出力された背景トータルゲインを取得し、背景トータルゲインと背景蛍光比とを用いて蛍光トータルゲインを取得する。
＝蛍光トータルゲインＳｆ／背景トータルゲインＳｗ (２)
また、蛍光トータルゲイン取得部１３８は、背景トータルゲイン取得部１３６から出力された背景トータルゲインを取得し、背景トータルゲインと背景蛍光比とを用いて蛍光トータルゲインを取得する。
【0054】
ここで、蛍光トータルゲイン取得部１３８により取得される蛍光トータルゲインは、以下の（３）式で表すことができる。
【0055】
蛍光トータルゲイン
＝励起光の強度×露光時間×蛍光撮像信号のゲイン （３）
励起光の強度、露光時間、蛍光撮像信号のゲインは、蛍光トータルゲインを調整するパラメータであり、各パラメータを調整することにより、蛍光トータルゲインの設定を変更することができる。蛍光トータルゲインの設定を変更することにより、蛍光画像の明るさを明るくしたり、暗くするように制御することができる。すなわち、蛍光トータルゲイン取得部１３８（第２取得部）は、励起光光源２２（第２光源）の強度と、撮像部１１における露光時間と、撮像信号（蛍光撮像信号）のゲインとのうち、少なくともいずれか１つのパラメータを調整して、蛍光トータルゲイン（第２画像情報）の設定を変更することができる。ここで、露光時間×蛍光撮像信号のゲインは、蛍光画像（第２画像）の感度を示す。２つのパラメータのうち、少なくともいずれか一方を調整することで、蛍光画像（第２画像）の感度を調整することができる。例えば、（３）式を、蛍光画像（第２画像）の感度を用いて表すと、蛍光トータルゲインは、「励起光の強度×蛍光画像（第２画像）の感度」となる。
＝励起光の強度×露光時間×蛍光撮像信号のゲイン （３）
励起光の強度、露光時間、蛍光撮像信号のゲインは、蛍光トータルゲインを調整するパラメータであり、各パラメータを調整することにより、蛍光トータルゲインの設定を変更することができる。蛍光トータルゲインの設定を変更することにより、蛍光画像の明るさを明るくしたり、暗くするように制御することができる。すなわち、蛍光トータルゲイン取得部１３８（第２取得部）は、励起光光源２２（第２光源）の強度と、撮像部１１における露光時間と、撮像信号（蛍光撮像信号）のゲインとのうち、少なくともいずれか１つのパラメータを調整して、蛍光トータルゲイン（第２画像情報）の設定を変更することができる。ここで、露光時間×蛍光撮像信号のゲインは、蛍光画像（第２画像）の感度を示す。２つのパラメータのうち、少なくともいずれか一方を調整することで、蛍光画像（第２画像）の感度を調整することができる。例えば、（３）式を、蛍光画像（第２画像）の感度を用いて表すと、蛍光トータルゲインは、「励起光の強度×蛍光画像（第２画像）の感度」となる。
【0056】
制御部１３９は、光を受光することで電気信号を発生する撮像部１１の露光時間と、撮像部１１で発生した電気信号に適用するゲイン（電気信号の増幅量）と、画像生成部１８が蛍光画像（第２画像）を生成するために用いる電気信号に適用するゲイン（電気信号の増幅量）とのうち、少なくとも１つを用いて、蛍光画像（第２画像）の感度を調整することができる。
【0057】
蛍光トータルゲイン取得部１３８（第２取得部）は、蛍光画像（第２画像）の明るさを明るくする場合に、励起光光源２２（第２光源）の強度を優先した調整により蛍光トータルゲイン（第２画像情報）の設定を変更する。また、蛍光トータルゲイン取得部１３８（第２取得部）は、蛍光画像（第２画像）の明るさを暗くする場合に、撮像信号（蛍光撮像信号）のゲインを優先した調整により蛍光トータルゲイン（第２画像情報）の設定を変更することができる。
【0058】
（制御部１３９）
制御部１３９は、白色光源２０（第１光源）が照射する第１照射光の強度と背景画像（第１画像）の感度（露光時間とマスターゲインとの積）、および、励起光光源２２（第２光源）が照射する第２照射光の強度と蛍光画像（第２画像）の感度（露光時間と蛍光撮像信号のゲインとの積）、の各々を制御する。制御部１３９は、第１照射光の強度と第２照射光の強度との比率が所定の範囲内となるように、背景トータルゲイン（第１画像情報）及び蛍光トータルゲイン（第２画像情報）に基づいて、第１光源が照射する第１照射光の強度、第１画像の感度、第２光源が照射する第２照射光の強度、第２画像の感度のうち、少なくとも何れか１つを制御することが可能である。
制御部１３９は、白色光源２０（第１光源）が照射する第１照射光の強度と背景画像（第１画像）の感度（露光時間とマスターゲインとの積）、および、励起光光源２２（第２光源）が照射する第２照射光の強度と蛍光画像（第２画像）の感度（露光時間と蛍光撮像信号のゲインとの積）、の各々を制御する。制御部１３９は、第１照射光の強度と第２照射光の強度との比率が所定の範囲内となるように、背景トータルゲイン（第１画像情報）及び蛍光トータルゲイン（第２画像情報）に基づいて、第１光源が照射する第１照射光の強度、第１画像の感度、第２光源が照射する第２照射光の強度、第２画像の感度のうち、少なくとも何れか１つを制御することが可能である。
【0059】
制御部１３９は、背景トータルゲイン（第１画像情報）を受け取り、マスターゲイン、露光時間、及び白色光源２０の強度のうち、どのパラメータを制御するかを決定する。制御部１３９は決定したパラメータを制御するための制御信号を生成する。
【0060】
また、制御部１３９は、蛍光トータルゲイン（第２画像情報）を受け取り、蛍光撮像信号のゲイン、露光時間、及び励起光光源２２の強度のうち、どのパラメータを制御するかを決定する。制御部１３９は決定したパラメータを制御するための制御信号を生成する。制御部１３９は、第１照射光の強度を制御する際に、第２照射光の強度を第２画像の感度よりも優先して制御する。また、制御部１３９は、第１画像の感度を制御する際に、第２画像の感度を第２照射光の強度よりも優先して制御する。また、制御部１３９は、第２照射光の強度を制御する際に、第１照射光の強度を第１画像の感度よりも優先して制御する。また、制御部１３９は、第２画像の感度を制御する際に第１画像の感度を第１照射光の強度よりも優先して制御する。
【0061】
制御部１３９は、白色光源２０（第１光源）の調整範囲及び励起光光源２２（第２光源）の調整範囲において、白色光源２０から照射された第１照射光の強度と、励起光光源２２から照射された第２照射光の強度との比率が、設定された照射光の強度比になるように、白色光源２０及び励起光光源２２のうち、少なくともいずれか一方を制御する。白色光源２０及び励起光光源２２の調整範囲において、照射光の強度比を維持する制御だけでは、背景蛍光比の設定を維持するために必要とされる明るさが不足する場合には、露光時間やゲインを併用してもよい。
【0062】
・背景画像の明るさの制御
制御部１３９は、背景トータルゲイン取得部１３６から背景トータルゲインを取得し、背景トータルゲインに関するパラメータ（マスターゲイン、露光時間及び白色光の強度）のうちどのパラメータを用いて、背景画像の明るさを制御するかを決定する。そして、制御部１３９は、決定したパラメータにより背景画像の明るさを制御するための制御信号を生成し、生成した制御信号を出力する。
制御部１３９は、背景トータルゲイン取得部１３６から背景トータルゲインを取得し、背景トータルゲインに関するパラメータ（マスターゲイン、露光時間及び白色光の強度）のうちどのパラメータを用いて、背景画像の明るさを制御するかを決定する。そして、制御部１３９は、決定したパラメータにより背景画像の明るさを制御するための制御信号を生成し、生成した制御信号を出力する。
【0063】
背景画像のゲイン（マスターゲイン）を制御する場合に、制御部１３９は、背景画像の明るさを制御するための制御信号を背景ゲイン調整部１３４に出力する。背景ゲイン調整部１３４は、ゲイン調整に関する制御信号に基づいて、背景画像のゲイン（マスターゲイン）を調整した、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号を出力する。また、露光時間を制御する場合には、制御部１３９は、背景画像の明るさを制御するための制御信号を撮像部１１に出力する。撮像部１１のシャッタ１１２、１１３、１１４は、制御信号に従って露光時間を制御する。また、白色光源２０（第１光源）の調整範囲で白色光源２０の第１照射光の強度（白色光の強度）を制御する場合に、制御部１３９は、背景画像の明るさを制御するための制御信号を生成し、光源２３の白色光源２０に出力する。白色光源２０は、制御信号に従って光量の出力を制御する。
【0064】
・蛍光画像の明るさの制御
制御部１３９は、蛍光トータルゲイン取得部１３８から蛍光トータルゲインを取得する。また、制御部１３９は、外部からユーザにより設定される白色光と励起光の強度比（以降、照射光の強度比という）の範囲設定を取得する。また、制御部１３９は、白色光の強度の調整範囲を示す情報や励起光の強度の調整範囲を示す情報を別途取得してもよい。照射光の強度比の設定範囲の他、白色光の強度の調整範囲や励起光の強度の調整範囲を用いることにより、蛍光画像の明るさの微調整など、蛍光画像の明るさの調整の自由度を向上することができる。なお、照射光の強度比や白色光の強度の調整範囲や励起光の強度の調整範囲を示す情報を記憶部１４５に記憶しておき、制御部１３９は記憶部１４５からデータを取得してもよい。
制御部１３９は、蛍光トータルゲイン取得部１３８から蛍光トータルゲインを取得する。また、制御部１３９は、外部からユーザにより設定される白色光と励起光の強度比（以降、照射光の強度比という）の範囲設定を取得する。また、制御部１３９は、白色光の強度の調整範囲を示す情報や励起光の強度の調整範囲を示す情報を別途取得してもよい。照射光の強度比の設定範囲の他、白色光の強度の調整範囲や励起光の強度の調整範囲を用いることにより、蛍光画像の明るさの微調整など、蛍光画像の明るさの調整の自由度を向上することができる。なお、照射光の強度比や白色光の強度の調整範囲や励起光の強度の調整範囲を示す情報を記憶部１４５に記憶しておき、制御部１３９は記憶部１４５からデータを取得してもよい。
【0065】
そして、制御部１３９は、蛍光トータルゲインと、照射光の強度比の範囲設定を用いて、蛍光トータルゲインに関するパラメータ（蛍光ゲイン、露光時間及び励起光の強度）のうちどのパラメータを用いて、蛍光画像の明るさを制御するかを決定する。そして、制御部１３９は、決定したパラメータにより蛍光景画像の明るさを制御するための制御信号を生成し、生成した制御信号を出力する。
【0066】
例えば、蛍光ゲインを制御する場合には、制御部１３９は生成した制御信号をゲイン調整部１３３に出力する。ゲイン調整部１３３は、制御信号に基づいて、蛍光撮像信号のゲインを調整する。また、露光時間を制御する場合には、制御部１３９は、生成した制御信号を撮像部１１に出力する。撮像部１１のシャッタ１１５は、制御信号に従って露光時間を制御する。また、励起光光源２２（第２光源）の調整範囲で励起光光源２２の第２照射光の強度（励起光の強度）を制御する場合に、制御部１３９は、生成した制御信号を光源２３の励起光光源２２に出力する。励起光光源２２は、制御信号に従って光量の出力を制御する。
【0067】
（画像生成部１８）
・背景画像生成部１５
背景画像生成部１５（第１画像生成部）は、背景ゲイン調整部１３４（第１画像ゲイン調整部）によりゲインが調整された複数の撮像信号に基づいて、背景画像（第１画像）を生成する。背景ゲイン調整部１３４がマスターゲインを調整したＲ撮像信号、Ｇ撮像信号およびＢ撮像信号を生成する毎に、背景画像生成部１５は、背景ゲイン調整部１３４により生成されたＲ撮像信号、Ｇ撮像信号およびＢ撮像信号を逐次取得する。背景画像生成部１５は、マスターゲインが調整された、Ｒ撮像信号、Ｇ撮像信号およびＢ撮像信号に基づいて背景画像を逐次生成する。
・背景画像生成部１５
背景画像生成部１５（第１画像生成部）は、背景ゲイン調整部１３４（第１画像ゲイン調整部）によりゲインが調整された複数の撮像信号に基づいて、背景画像（第１画像）を生成する。背景ゲイン調整部１３４がマスターゲインを調整したＲ撮像信号、Ｇ撮像信号およびＢ撮像信号を生成する毎に、背景画像生成部１５は、背景ゲイン調整部１３４により生成されたＲ撮像信号、Ｇ撮像信号およびＢ撮像信号を逐次取得する。背景画像生成部１５は、マスターゲインが調整された、Ｒ撮像信号、Ｇ撮像信号およびＢ撮像信号に基づいて背景画像を逐次生成する。
【0068】
・蛍光画像生成部１６
蛍光画像生成部１６（第２画像生成部）は、ゲイン調整部１３３（第２画像ゲイン調整部）によりゲインが調整された撮像信号に基づいて、蛍光画像（第２画像）を生成する。ゲイン調整部１３３が蛍光ゲインを調整した蛍光撮像信号を生成する毎に、蛍光画像生成部１６は、ゲイン調整部１３３により生成された蛍光撮像信号に基づいて蛍光画像を逐次生成する。
蛍光画像生成部１６（第２画像生成部）は、ゲイン調整部１３３（第２画像ゲイン調整部）によりゲインが調整された撮像信号に基づいて、蛍光画像（第２画像）を生成する。ゲイン調整部１３３が蛍光ゲインを調整した蛍光撮像信号を生成する毎に、蛍光画像生成部１６は、ゲイン調整部１３３により生成された蛍光撮像信号に基づいて蛍光画像を逐次生成する。
【0069】
・画像合成部１７
画像合成部１７は、背景画像（第１画像）と蛍光画像（第２画像）とを合成した合成画像の画像信号を出力する。画像合成部１７は、背景画像生成部１５から背景画像を取得し、蛍光画像生成部１６から蛍光画像を取得し、背景画像と蛍光画像とをαブレンディング等により合成して合成画像を生成する。結果として、背景画像に蛍光画像（蛍光成分）がマーカとして重畳された画像が得られ、表示装置３０の表示部３１に表示される。
画像合成部１７は、背景画像（第１画像）と蛍光画像（第２画像）とを合成した合成画像の画像信号を出力する。画像合成部１７は、背景画像生成部１５から背景画像を取得し、蛍光画像生成部１６から蛍光画像を取得し、背景画像と蛍光画像とをαブレンディング等により合成して合成画像を生成する。結果として、背景画像に蛍光画像（蛍光成分）がマーカとして重畳された画像が得られ、表示装置３０の表示部３１に表示される。
【0070】
（表示装置３０の構成）
本実施形態の撮像装置１は、通信部（不図示）を介して表示装置３０を接続することが可能である。通信部は、撮像装置１と表示装置３０との間の接続インタフェースとして機能し、通信部は、撮像部１１、画像処理部１３、及び画像生成部１８における各種情報を表示装置３０に送信する。各種情報には、例えば、合成画像の他、合成画像（背景画像及び蛍光画像）を生成する際に、撮像部１１や画像処理部１３で設定された各種パラメータ（例えば、露光時間、白色光の強度、マスターゲイン、励起光の強度、蛍光ゲインなど）が含まれる。
本実施形態の撮像装置１は、通信部（不図示）を介して表示装置３０を接続することが可能である。通信部は、撮像装置１と表示装置３０との間の接続インタフェースとして機能し、通信部は、撮像部１１、画像処理部１３、及び画像生成部１８における各種情報を表示装置３０に送信する。各種情報には、例えば、合成画像の他、合成画像（背景画像及び蛍光画像）を生成する際に、撮像部１１や画像処理部１３で設定された各種パラメータ（例えば、露光時間、白色光の強度、マスターゲイン、励起光の強度、蛍光ゲインなど）が含まれる。
【0071】
表示装置３０は、表示部３１、表示制御部３２及び操作部３３を有する。表示部３１は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどで構成される。表示制御部３２は、撮像装置１から取得した各種情報を表示部３１に表示させる表示制御を行う。表示制御部３２は、処理装置１から出力された画像信号に基づいて、背景画像（第１画像）に蛍光画像（第２画像）を重畳した画像を表示部３１に表示させる表示制御を行う。また、操作部３３は、例えば、ダイヤルやマウスや操作ボタンなどで構成され、ユーザからの各種指示を入力する。表示部３１と操作部３３は、それらが一体となったタッチパネルとして実現されてもよい。
【0072】
表示制御部３２は、画像合成部１７で生成された合成画像を、通信部を介して取得し、取得した合成画像を表示部３１に表示する表示制御を行う。また、表示制御部３２は、合成画像（背景画像及び蛍光画像）を生成する際に、撮像部１１や画像処理部１３で設定された各種パラメータユーザと、合成画像とを、表示部３１に表示させる表示制御を行うことも可能である。操作部３３からの入力により、表示制御部３２は、合成画像と共に表示する各種パラメータを変更して、表示部３１に表示させることも可能である。
【0073】
表示制御部３２は、操作部３３を介したユーザの入力により、撮像装置１に対する外部設定のパラメータを設定するための画面（ユーザインタフェース画面）を表示部３１に表示させる表示制御を行うことも可能である。ここで、外部設定のパラメータには、例えば、背景蛍光比や照射光の強度比、白色光の強度の調整範囲、励起光の強度の調整範囲、あるいは、後に説明する背景蛍光比２や、追加蛍光ゲインなどが含まれる。例えば、撮像装置１の画像処理部１３は、ユーザにより入力された外部設定のパラメータを、通信部を介して取得することも可能である。通信部介して取得した外部設定のパラメータを記憶部１４５に記憶しておき、制御部１３９は記憶部１４５からデータを取得してもよい。
【0074】
（明るさ制御処理フロー）
次に第１の実施形態に係る撮像装置１による明るさ制御処理について図２のフローチャートを参照して説明する。
次に第１の実施形態に係る撮像装置１による明るさ制御処理について図２のフローチャートを参照して説明する。
【0075】
なお、撮像装置１の動作は、各撮像信号に基づく合成画像を、例えば、６０ｆｐｓの動画として表示できるように、各撮像信号が所定のサンプリングタイミングで逐次取得される場合を想定する。なお、動画の代わりに静止画を取得してもよい。
【0076】
（ステップＳ２０１）
ステップＳ２０１では、背景蛍光比および照射光の強度比の範囲が設定される。背景蛍光比および照射光の強度比の範囲の設定は、予め設定されたデフォルト値を画像処理部１３が取得してもよい。照射光の強度比の範囲の設定のデフォルト値は、白色光の強度が最大のときに励起光の強度が最大となるように設定してもよい。なお、ステップＳ２０１において、照射光の強度比の範囲の他、白色光の強度の調整範囲を示す情報や励起光の強度の調整範囲を示す情報を併せて設定してもよい。
ステップＳ２０１では、背景蛍光比および照射光の強度比の範囲が設定される。背景蛍光比および照射光の強度比の範囲の設定は、予め設定されたデフォルト値を画像処理部１３が取得してもよい。照射光の強度比の範囲の設定のデフォルト値は、白色光の強度が最大のときに励起光の強度が最大となるように設定してもよい。なお、ステップＳ２０１において、照射光の強度比の範囲の他、白色光の強度の調整範囲を示す情報や励起光の強度の調整範囲を示す情報を併せて設定してもよい。
【0077】
また、背景蛍光比の設定としてデフォルト値を用いて合成画像を生成し、表示装置３０の表示部３１に表示された合成画像について、ユーザが、背景に対して蛍光部位が見やすい明るさとなるように、例えば、ダイヤルやマウスなどの操作部３３を用いて調整してもよい。その後、当該ユーザが確定ボタンを押下するなどして確定した画像を得た特定時相における、背景トータルゲインと蛍光トータルゲインとの比率を背景蛍光比として設定してもよい。
【0078】
照射光の強度比の範囲の設定についても、同様に、表示装置３０の表示部３１に表示された合成画像について、ユーザが、ホワイトバランスのずれの度合いとノイズ感を確認して範囲を調整した値を強度比の範囲として設定してもよい。
【0079】
（ステップＳ２０２）
ステップＳ２０２では、測光領域が設定される。測光領域は、ユーザにより手動で設定された領域を画像処理部１３が取得してもよい。または、測光領域として、画像に対してのエリアの形状およびサイズが予め設定されたものを画像処理部１３が用いてもよい。
ステップＳ２０２では、測光領域が設定される。測光領域は、ユーザにより手動で設定された領域を画像処理部１３が取得してもよい。または、測光領域として、画像に対してのエリアの形状およびサイズが予め設定されたものを画像処理部１３が用いてもよい。
【0080】
（ステップＳ２０３）
ステップＳ２０３では、撮像部１１が、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号および蛍光撮像信号を取得する。
ステップＳ２０３では、撮像部１１が、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号および蛍光撮像信号を取得する。
【0081】
（ステップＳ２０４）
ステップＳ２０４では、背景評価情報取得部１３５が、背景画像の明るさの評価情報を計算する。背景画像の明るさを評価する範囲は、背景画像全体でもよいし、ステップＳ２０２で設定された測光領域でもいい。また、背景画像の明るさは、画素毎の輝度値の平均値を用いてもよいし、ＲＧＢの画素値の最大値の積分を用いてもよい。
ステップＳ２０４では、背景評価情報取得部１３５が、背景画像の明るさの評価情報を計算する。背景画像の明るさを評価する範囲は、背景画像全体でもよいし、ステップＳ２０２で設定された測光領域でもいい。また、背景画像の明るさは、画素毎の輝度値の平均値を用いてもよいし、ＲＧＢの画素値の最大値の積分を用いてもよい。
【0082】
（ステップＳ２０５）
ステップＳ２０５では、背景トータルゲイン取得部１３６が、ステップＳ２０４で計算された背景評価情報と予め設定された目標情報とから、背景トータルゲインを設定する。
ステップＳ２０５では、背景トータルゲイン取得部１３６が、ステップＳ２０４で計算された背景評価情報と予め設定された目標情報とから、背景トータルゲインを設定する。
【0083】
（ステップＳ２０６）
ステップＳ２０６では、蛍光トータルゲイン取得部１３８が、ステップＳ２０５で設定された背景トータルゲインＳｗと、ステップＳ２０１で設定された背景蛍光比とを用いて、蛍光トータルゲインを取得する。背景トータルゲインをＳｗとし、蛍光トータルゲインをＳｆとし、背景蛍光比をＲｏとすると、蛍光トータルゲイン取得部１３８は、上記の（２）式を用いた演算処理により、蛍光トータルゲインＳｆを取得することができる。
ステップＳ２０６では、蛍光トータルゲイン取得部１３８が、ステップＳ２０５で設定された背景トータルゲインＳｗと、ステップＳ２０１で設定された背景蛍光比とを用いて、蛍光トータルゲインを取得する。背景トータルゲインをＳｗとし、蛍光トータルゲインをＳｆとし、背景蛍光比をＲｏとすると、蛍光トータルゲイン取得部１３８は、上記の（２）式を用いた演算処理により、蛍光トータルゲインＳｆを取得することができる。
【0084】
（ステップＳ２０７）
ステップＳ２０７では、制御部１３９は、背景画像の明るさを制御するパラメータを決定する。制御部１３９は、背景トータルゲイン取得部１３６から背景トータルゲインを取得し、背景トータルゲインに関するパラメータ（マスターゲイン、露光時間及び白色光の強度）のうちどのパラメータを用いて、背景画像の明るさを制御するかを決定する。なお、決定されるパラメータは１つとは限らず、複数のパラメータを併用してもよい。
ステップＳ２０７では、制御部１３９は、背景画像の明るさを制御するパラメータを決定する。制御部１３９は、背景トータルゲイン取得部１３６から背景トータルゲインを取得し、背景トータルゲインに関するパラメータ（マスターゲイン、露光時間及び白色光の強度）のうちどのパラメータを用いて、背景画像の明るさを制御するかを決定する。なお、決定されるパラメータは１つとは限らず、複数のパラメータを併用してもよい。
【0085】
（ステップＳ２０８）
ステップＳ２０８では、制御部１３９が、ステップＳ２０７で決定された白色光の強度と、ステップＳ２０１で設定された照射光の強度比と、蛍光トータルゲインの設定情報Ｓｆから、励起光の強度を決定する。
ステップＳ２０８では、制御部１３９が、ステップＳ２０７で決定された白色光の強度と、ステップＳ２０１で設定された照射光の強度比と、蛍光トータルゲインの設定情報Ｓｆから、励起光の強度を決定する。
【0086】
例えば、白色光と励起光との強度比の範囲設定が１倍以上１．２５倍以下の場合、白色光の強度が最大のときは励起光の強度も最大にする。白色光の強度が最大に対して８０％のときは、白色光の強度を基準として、１倍以上１．２５倍以下の範囲で励起光の強度を設定する。すなわち、励起光の強度は、最大に対して８０％以上（白色光の強度に対して１倍）、１００％以下（白色光の強度に対して１.２５倍）の間で、蛍光トータルゲインの設定情報Ｓｆに一致または近似する光量となるように決定する。
【0087】
（ステップＳ２０９）
ステップＳ２０９では、制御部１３９は、励起光の強度以外に、蛍光画像の明るさを制御するパラメータ（例えば、露光時間や蛍光撮像信号のゲイン）を決定する。制御部１３９が、励起光の強度による調整だけでは蛍光トータルゲインの設定情報Ｓｆに一致または近似する光量とならない場合に、励起光の強度に併用して明るさを制御するためのパラメータを決定する。
ステップＳ２０９では、制御部１３９は、励起光の強度以外に、蛍光画像の明るさを制御するパラメータ（例えば、露光時間や蛍光撮像信号のゲイン）を決定する。制御部１３９が、励起光の強度による調整だけでは蛍光トータルゲインの設定情報Ｓｆに一致または近似する光量とならない場合に、励起光の強度に併用して明るさを制御するためのパラメータを決定する。
【0088】
蛍光画像を明るくする場合に、例えば、露光時間を調整して、蛍光トータルゲインの設定情報Ｓｆに一致または近似する光量になる場合は、制御部１３９は、露光時間をパラメータとして決定する。また、露光時間の調整範囲でも、蛍光トータルゲインの設定情報Ｓｆに一致または近似する光量にならない場合に、制御部１３９は、露光時間および蛍光撮像信号のゲインを、パラメータとして決定する。
【0089】
蛍光撮像信号のゲインが調整された状態において、蛍光画像を暗くする場合に、蛍光撮像信号のゲインを調整して、蛍光トータルゲインの設定情報Ｓｆに一致または近似する光量になる場合は、制御部１３９は、蛍光撮像信号のゲインをパラメータとして決定する。また、蛍光撮像信号のゲインの調整範囲でも、蛍光トータルゲインの設定情報Ｓｆに一致または近似する光量にならない場合に、制御部１３９は、露光時間および蛍光撮像信号のゲインを、パラメータとして決定する。
【0090】
（ステップＳ２１０）
ステップＳ２１０では、制御部１３９が、決定したパラメータに応じて背景画像の明るさを調整する。
ステップＳ２１０では、制御部１３９が、決定したパラメータに応じて背景画像の明るさを調整する。
【0091】
例えば、マスターゲインを制御する場合に、制御部１３９は、背景画像の明るさを制御するための制御信号を背景ゲイン調整部１３４に出力する。背景ゲイン調整部１３４は、制御信号に基づいて、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号の全体のゲインである、背景画像のゲイン（マスターゲイン）を調整する。
【0092】
露光時間を制御する場合には、制御部１３９は、背景画像の明るさを制御するための制御信号を撮像部１１に出力する。撮像部１１のシャッタ１１２、１１３、１１４は、制御信号に従って露光時間を制御する。
【0093】
白色光の強度を制御する場合には、制御部１３９は、背景画像の明るさを制御するための制御信号を光源２３の白色光源２０に出力する。白色光源２０は、制御信号に従って光量の出力を制御する。
【0094】
（ステップＳ２１１）
ステップＳ２１１では、制御部１３９が、決定したパラメータに応じて蛍光画像の明るさを調整する。
ステップＳ２１１では、制御部１３９が、決定したパラメータに応じて蛍光画像の明るさを調整する。
【0095】
例えば、蛍光ゲインを制御する場合には、制御部１３９は生成した制御信号をゲイン調整部１３３に出力する。ゲイン調整部１３３は、制御信号に基づいて、蛍光撮像信号のゲインを調整する。また、露光時間を制御する場合には、制御部１３９は、生成した制御信号を撮像部１１に出力する。また、励起光の強度を制御する場合には、制御部１３９は、生成した制御信号を光源２３の励起光光源２２に出力する。励起光光源２２は、制御信号に従って光量の出力を制御する。
【0096】
（ステップＳ２１２）
ステップＳ２１２では、画像合成部１７が、明るさ調整された背景画像と蛍光画像との合成画像を生成する。合成画像は、ユーザが確認できるよう表示装置３０の表示部３１に表示される。表示装置３０の表示制御部３２は、画像合成部１７で生成された合成画像を、通信部を介して取得し、取得した合成画像を表示部３１に表示する表示制御を行う。
ステップＳ２１２では、画像合成部１７が、明るさ調整された背景画像と蛍光画像との合成画像を生成する。合成画像は、ユーザが確認できるよう表示装置３０の表示部３１に表示される。表示装置３０の表示制御部３２は、画像合成部１７で生成された合成画像を、通信部を介して取得し、取得した合成画像を表示部３１に表示する表示制御を行う。
【0097】
ステップＳ２１２の後、ステップＳ２０３に戻り、次の各撮像信号（ＲＧＢ撮像信号、蛍光撮像信号）を取得し、各ステップの処理を繰り返す。
【0098】
なお、例えば、制御部１３９により、背景評価情報を用いて背景画像の画素情報（例えば、輝度）が変化したか否かの判定処理を設け、背景画像の輝度が変化した場合にのみステップＳ２０４からステップＳ２１２の処理を実行してもよい。
【0099】
すなわち、背景画像の輝度が変化しない場合には、明るさ調整に係るステップＳ２０４からステップＳ２１２までの処理を行わないことで、消費電力を低減することができる。背景画像の輝度が変化したか否かの判定処理は、例えばステップＳ２０３の後に行われればよい。
【0100】
また、背景蛍光比および照射光の強度比は、測光領域が決定された後に設定されてもよい。例えば、測光領域と背景蛍光比および照射光の強度比の対応関係を画像処理部１３の記憶部１４５に記憶しておいてもよい。ステップＳ２０２で設定された測光領域に応じて、制御部１３９は、記憶部に記憶されている、測光領域と背景蛍光比および照射光の強度比の対応関係を参照して、設定された測光領域に対応する背景蛍光比および照射光の強度比を決定してもよい。
【0101】
また、例えば、ステップＳ２０７で制御部１３９が背景画像の明るさを制御するパラメータを決定する際に、ステップＳ２０１で設定された照射光の強度比と、白色光の強度の調整範囲と、励起光の強度の調整範囲とを基にして、白色光の強度を決定してもよい。
【0102】
例えば、照射光の強度比の設定がｍ倍（例えば、２倍）で、白色光の強度の調整範囲が０％以上１００％以下で、励起光の強度の調整範囲が５０％以上１００％以下の場合、白色光の強度を２５％以上５０％以下となるように制御して、背景蛍光比の設定を維持するために必要とされる明るさが不足には、光源の強度以外に、背景画像の明るさを制御するパラメータを併用してもよい。
【0103】
または、白色光源２０（第１光源）の調整範囲と励起光光源２２（第２光源）の調整範囲において、白色光の強度および励起光の強度が調整可能な場合のみ、照射光の強度比を維持するようにしてもよい。
【0104】
例えば、照射光の強度比の設定が２倍であり、白色光の強度の調整範囲が０％以上１００％以下であり、かつ、励起光の強度の調整範囲が５０％以上１００％以下の場合を想定する。制御部１３９が、白色光の強度を０％以上２５％以下の範囲で制御する場合に、励起光の強度を５０％で制御して、照射光の強度比を維持してもよい。
【0105】
照射光の強度比は、調整範囲の上限（１００％）を超えない範囲で設定することが可能であり、例えば、照射光の強度比を２倍とし、白色光の強度の調整範囲が２５％以上５０％以下の場合には、励起光の強度の調整範囲を白色光の強度の調整範囲の２倍（５０％以上１００％以下）とすることができる。また、白色光の強度の調整範囲が５０％以上１００％以下の場合には、励起光の強度の調整範囲は１００％（白色光の強度の調整範囲の下限の５０％×２）となる。
【0106】
また、撮像装置１は、第１照射光の強度と第２照射光の強度との比率が所定の範囲内となるように保つ第１の動作モードと、第１照射光の強度と第２照射光の強度との比率の範囲を第１の動作モードより広げた第２の動作モードを備える。撮像装置１の制御部１３９は、照射光の強度比を所定の範囲内に保つ第１の動作モードと、照射光の強度比の制限を所定の範囲よりも広い範囲内で緩和した第２の動作モードとを、切り替えることが可能である。例えば、制御部１３９は、光源の種類や、撮像部１１と被写体Ｐとの相対的な距離が変化するような撮像シーンの変化に合わせて、第１の動作モードと第２の動作モードを切り替えることが可能である。
【0107】
光源２３は、白色光源２０と、励起光光源２２とは異なる第３光源を備えてもよい。例えば、第３光源は、励起光光源２２（第２光源）とは異なる色の励起光を出力する励起光光源であってもよい。制御部１３９は、励起光光源（第３光源）が照射する第３照射光の強度と蛍光画像（第３画像）の感度（露光時間と蛍光撮像信号のゲインとの積）とを制御することが可能である。
【0108】
制御部１３９は、第１照射光の強度と第３照射光の強度との比率が所定の範囲内となるように、背景トータルゲイン（第１画像情報）及び、蛍光画像（第３画像）に関する蛍光トータルゲイン（第３画像情報）に基づいて、第１光源が照射する第１照射光の強度、第１画像の感度、第３光源が照射する第３照射光の強度、第３画像の感度のうち、少なくとも何れか１つを制御することが可能である。
【0109】
すなわち、第１光源、第２光源、及び第３光源において、制御部１３９は、第１照射光の強度と第２照射光の強度との比率が所定の範囲内となるように、背景トータルゲイン（第１画像情報）及び蛍光トータルゲイン（第２画像情報）に基づいて、白色光源２０（第１光源）が照射する第１照射光の強度、第１画像の感度、励起光光源２２（第２光源）が照射する第２照射光の強度、第２画像の感度のうち、少なくとも何れか１つを制御する。
【0110】
更に、制御部１３９は、第１照射光の強度と第３光源が照射する第３照射光の強度との比率が所定の範囲内となるように、背景トータルゲイン（第１画像情報）、及び、第３光源の光から得られた第３画像の明るさ調整に関する蛍光トータルゲイン（第３画像情報）に基づいて、第１照射光の強度、第１画像の感度、第３光源が照射する第３照射光の強度、第３画像の感度のうち、少なくとも何れか１つを制御することが可能である。
【0111】
制御部１３９は、蛍光画像（第３画像）に関する蛍光トータルゲイン（第３画像情報）を受け取り、励起光光源（第３光源）が照射する第３照射光の強度と蛍光画像（第３画像）の第３画像の感度（露光時間と蛍光撮像信号のゲインとの積）とを調整することが可能である。制御部１３９は、蛍光撮像信号のゲイン、露光時間、及び励起光光源の強度のうち、どのパラメータを制御するかを決定する。制御部１３９は決定したパラメータを制御するための制御信号を生成することが可能である。
【0112】
第１照射光の強度と第２照射光の強度との比率と、第１照射光の強度と第３光源が照射する第３照射光の強度との比率とは、それぞれ任意の比率を設定することが可能である。両方の比率を揃えてもよいし、それぞれ異なる比率を設定してもよい。
【0113】
制御部１３９は、白色光源２０、及び励起光光源２２との第１の組み合わせと、白色光源２０と、励起光光源２２とは異なる第３光源と、の第２の組み合わせとで、異なる動作モードで白色光源２０と励起光光源２２との強度を制御するようにしてもよい。また、制御部１３９は、第１の組み合わせにおいて、白色光源２０と励起光光源２２との照射光の強度比を、所定の範囲に保つ第１動作モードで処理を行い、第２の組み合わせにおいて、照射光の強度比を、所定の範囲よりも広い範囲内で照射光の強度比を一定に制御する第２動作モードで処理を行うようにしてもよい。
【0114】
また、制御部１３９は、背景画像及び蛍光画像の明るさが所定の閾値以下の場合に、所定の範囲で前記第１光源と前記第２光源との照射光の強度比を一定に制御する第１動作モードで処理を行うようにしてもよい。また、制御部１３９は、背景画像及び蛍光画像のうち、少なくとも一方の画像の明るさが所定の閾値を超えて変化する場合に、第１動作モードの処理から、所定の範囲よりも広い範囲内で照射光の強度比を一定に制御する第２動作モードの処理に切り替えてもよい。
【0115】
例えば、ステップＳ２０８で、制御部１３９が励起光の強度を決定する際に、動作モードに応じて決定してもよい。また、照射光の強度比の設定について、ｍ倍（例えば「２倍」）のように、範囲指定でなく固定の１値であってもよい。
【0116】
（時分割制御の例）
次に、時分割制御の例について、図３を参照して説明する。図３は、上から下に向かって順に、（ａ）白色光源２０からの白色光の出力タイミング、（ｂ）励起光光源２２からの励起光の出力タイミング、（ｃ）各イメージセンサの露光タイミング、（ｄ）各イメージセンサの撮像信号の出力タイミングおよび（ｅ）画像合成部１７が合成した合成画像の出力タイミングに関するタイミングチャートを示す。
次に、時分割制御の例について、図３を参照して説明する。図３は、上から下に向かって順に、（ａ）白色光源２０からの白色光の出力タイミング、（ｂ）励起光光源２２からの励起光の出力タイミング、（ｃ）各イメージセンサの露光タイミング、（ｄ）各イメージセンサの撮像信号の出力タイミングおよび（ｅ）画像合成部１７が合成した合成画像の出力タイミングに関するタイミングチャートを示す。
【0117】
ここで、各イメージセンサ（１１６～１１９）はローリングシャッター方式で、各画素が行毎に上から下へ順番に露光と撮像信号出力を行う場合を想定している。
【0118】
上述のように、反射光のＲ（赤）光と、赤色の蛍光とはプリズム１１１において同じ方向に分光されるため、白色光源２０と励起光光源２２の照射タイミングおよび各イメージセンサの露光タイミングを時分割で切り替えて制御することで、反射光のＲ（赤）光及び赤色の蛍光をそれぞれイメージセンサ（１１６、１１９）に取り込む。
【0119】
具体的には、白色光源２０は、イメージセンサの撮像信号出力タイミングに同期して、２フレームに１回の周期で白色光を照射する（ａ）。一方、励起光光源２２は、毎フレーム励起光を照射する（ｂ）。
【0120】
図３の露光タイミングｃ１の期間の撮像信号は、時間Ｔ１からＴ２の間にイメージセンサ１１９から出力される。この期間は、白色光源２０は常にオフで、励起光光源２２がオンの状態を含む撮像信号であり、この期間の赤色の撮像信号は蛍光撮像信号として扱う。
【0121】
露光タイミングｃ２の期間の撮像信号は、時間Ｔ２からＴ３の間にイメージセンサ（１１６、１１７、１１８）から出力される。この期間は、白色光源２０がオンの状態を含む撮像信号であり、この期間にイメージセンサ（１１６、１１７、１１８）から出力される撮像信号（Ｒ２、Ｂ２、Ｃ２）はＲＧＢ撮像信号として取得される。
【0122】
露光タイミングｃ３、ｃ５、ｃ７、ｃ９の期間にイメージセンサ１１９から出力される撮像信号（蛍光３、５、７、９）は、露光タイミングｃ１と同様に、蛍光撮像信号として取得することができる。露光タイミングｃ４、ｃ６、ｃ８の期間の撮像信号は、露光タイミングｃ２と同様に、ＲＧＢ撮像信号として取得することができる。
【0123】
画像合成部１７が合成した合成画像の出力タイミングについて、画像合成部１７は、イメージセンサの撮像信号の出力タイミングに同期して、２フレームに１回の周期で合成画像を出力する。
【0124】
具体的には、時間Ｔ４の時点から出力する合成画像は、露光タイミングｃ２の期間のＲＧＢ撮像信号から生成された背景画像（背景２）に、露光タイミングｃ１と露光タイミングｃ３の蛍光画像（蛍光１、蛍光３）の蛍光成分を足して１／２にしたものをマーカとして重畳したものとしている。
【0125】
露光タイミングｃ２の期間は励起光光源２２がオンの状態を含んでいるため、Ｂ撮像信号に励起光の反射光が含まれる場合が生じ得る。また、Ｒ撮像信号に蛍光が含まれる場合が生じ得る。Ｒ撮像信号に含まれる蛍光については、合成画像生成時に蛍光成分のマーカで上書きされて目立たなくなる。Ｂ撮像信号に含まれる励起光の反射光については、開示の技術のように、白色光の強度と励起光の強度との比率が所定の範囲内となるように制御することにより、背景画像のホワイトバランスの変動が抑えられた合成画像が生成される。
【0126】
第１の実施形態によれば、白色光の強度と励起光の強度との比率が、設定された照射光の強度比の範囲内となるように制御される。これにより、励起光の反射光が背景画像に混入している場合にも、背景画像のホワイトバランスの変動を抑えながら明るさを自動調整することができる。
【0127】
（第２の実施形態）
第１の実施形態では、背景トータルゲインと背景蛍光比から蛍光トータルゲインの設定情報を計算している。第２の実施形態では、蛍光画像の明るさを基に、蛍光トータルゲインの設定情報を計算する撮像装置１の構成について、図４のブロック図を参照して説明する。
第１の実施形態では、背景トータルゲインと背景蛍光比から蛍光トータルゲインの設定情報を計算している。第２の実施形態では、蛍光画像の明るさを基に、蛍光トータルゲインの設定情報を計算する撮像装置１の構成について、図４のブロック図を参照して説明する。
【0128】
第２の実施形態の撮像装置１では、第１の実施形態の構成に加え、蛍光評価情報取得部１３７（第２評価情報取得部）を含む。蛍光評価情報取得部１３７（第２評価情報取得部）は、ゲイン調整部１３３（第２画像ゲイン調整部）によってゲインが調整された撮像信号（蛍光撮像信号）を用いて、蛍光画像（第２画像）の明るさの評価情報（以下、蛍光評価情報ともいう）を取得する。蛍光評価情報は、例えば、蛍光画像の画素毎の輝度値の平均値である。あるいは、蛍光画像の画素値の積分を用いてもよい。なお、蛍光評価情報は、この例に限られず、蛍光評価情報取得部１３７は、蛍光画像の画素毎の種々の情報を、蛍光評価情報として取得することが可能である。蛍光評価情報取得部１３７は、蛍光画像（第２画像）の明るさの評価情報（蛍光評価情報）を蛍光トータルゲイン取得部１３８に出力する。
【0129】
蛍光トータルゲイン取得部１３８（第２取得部）は、蛍光画像（第２画像）の明るさの評価情報（蛍光評価情報）に基づいて、蛍光画像（第２画像）の明るさ調整に関する蛍光トータルゲイン（第２画像情報）を取得する。評価情報と、予め設定された目標情報とを比較することにより、蛍光画像（第２画像）の明るさ調整に関するとして、蛍光トータルゲイン（第２画像情報）を取得（設定）する。例えば、明るさの目標情報に対して蛍光評価情報が大きければ、蛍光トータルゲイン取得部１３８は、蛍光画像の明るさが暗くなるような蛍光トータルゲインを設定する。また、蛍光評価情報が目標情報よりも小さければ、蛍光トータルゲイン取得部１３８は、蛍光画像の明るさが明るくなるような蛍光トータルゲインを設定する。蛍光トータルゲイン取得部１３８は、設定した蛍光トータルゲインを制御部１３９に出力する。
【0130】
制御部１３９は、第１の実施形態と同様に、背景画像および蛍光画像の明るさを制御するパラメータを決定し、決定したパラメータの制御信号を生成すればよい。
【0131】
第２の実施形態によれば、蛍光画像の明るさを基に蛍光トータルゲインの設定情報を設定する撮像装置１においても、白色光の強度と励起光の強度との比率が、設定された照射光の強度比の範囲内となるように制御される。これにより、励起光の反射光が背景画像に混入している場合にも背景画像のホワイトバランスの変動を抑えながら明るさを自動調整することができる。
【0132】
（第３の実施形態）
第１の実施形態では、背景蛍光比および照射光の強度比が設定され、それらに基づいて蛍光画像の明るさを制御するパラメータを決定している。第３の実施形態では、励起光の強度、露光時間、蛍光撮像信号のゲインのうち、露光時間については調整範囲内で調整された状態において、励起光の強度、蛍光撮像信号のゲインをパラメータとして蛍光画像の明るさを制御する構成を、図５のブロック図を参照して説明する。
第１の実施形態では、背景蛍光比および照射光の強度比が設定され、それらに基づいて蛍光画像の明るさを制御するパラメータを決定している。第３の実施形態では、励起光の強度、露光時間、蛍光撮像信号のゲインのうち、露光時間については調整範囲内で調整された状態において、励起光の強度、蛍光撮像信号のゲインをパラメータとして蛍光画像の明るさを制御する構成を、図５のブロック図を参照して説明する。
【0133】
図５のブロック図に示すように、励起光の強度に関するパラメータとして「背景蛍光比２」（以下、第２の比率ともいう）を用い、蛍光撮像信号のゲインに関するパラメータとして「追加蛍光ゲイン」を用いる。背景蛍光比２及び追加蛍光ゲインを用いて、照射光の強度比を所定の範囲内に抑えつつ、背景蛍光比２が一定となるように明るさを調整する撮像装置１の構成について説明する。
【0134】
第３の実施形態に係る撮像装置１は、第１の実施形態の構成の蛍光トータルゲイン取得部１３８と制御部１３９に代わり、背景ゲイン制御部１４０、仮蛍光トータルゲイン取得部１４１、仮蛍光ゲイン制御部１４２、追加蛍光ゲイン加算部１４３を含む。ここで、第３の実施形態の制御部１４４は、背景ゲイン制御部１４０、仮蛍光ゲイン制御部１４２及び追加蛍光ゲイン加算部１４３を含む。仮蛍光トータルゲイン取得部１４１（第２取得部）は、背景蛍光比２（第２の比率）を調整する設定（以下、第１設定ともいう）を取得する。仮蛍光トータルゲイン取得部１４１（第２取得部）は、背景トータルゲイン（第１画像情報）、および、第１設定によって調整された背景蛍光比２（第２の比率）を用いて、仮蛍光トータルゲイン（第２画像情報）を取得する。
【0135】
また、制御部１４４（追加蛍光ゲイン加算部１４３）は、第２画像の感度に対する追加ゲインを調整する設定（以下、第２設定ともいう）を取得する。
【0136】
制御部１４４（背景ゲイン制御部１４０）は、背景トータルゲイン（第１画像情報）に基づいて、第１照射光の強度、第１画像の感度を制御し、制御部１４４（仮蛍光ゲイン制御部１４２）は、仮蛍光トータルゲイン（第２画像情報）に基づいて、第２照射光の強度、第２画像の感度を制御する。制御部１４４（追加蛍光ゲイン加算部１４３）は、第２画像の感度に対して、第２設定によって調整された追加ゲインをさらに加算する。第２画像の感度は、露光時間と蛍光撮像信号のゲインとの積により示され、第２画像の感度に対して、追加ゲインを加算することにより、蛍光撮像信号のゲインに対して追加ゲインが加算される。すなわち、蛍光画像（第２画像）を生成するために用いる電気信号（蛍光撮像信号）に適用するゲインに対して追加ゲインが加算される。追加ゲインの加算により、電気信号（蛍光撮像信号）のゲイン（増幅量）が増加する。
【0137】
背景蛍光比２には、蛍光撮像信号のゲインに関する追加蛍光ゲインの分が含まれないため、第１の実施形態で説明した背景蛍光比（背景トータルゲインＳｗと蛍光トータルゲインＳｆとの比率（Ｓｆ／Ｓｗ））とは異なる。そのため、第１の実施形態で説明した背景蛍光比と区別するために、第３の実施形態では、背景蛍光比２（Ｒ０２）を、仮蛍光トータルゲインＳｆ２と、背景トータルゲインＳｗとを用いて、以下の（４）式で定義する。
【0138】
背景蛍光比２（Ｒ０２）
＝仮蛍光トータルゲインＳｆ２／背景トータルゲインＳｗ （４）
ここで、仮蛍光トータルゲインＳｆ２は、第１の実施形態で説明した蛍光トータルゲインＳｆから、蛍光撮像信号に関する追加蛍光ゲイン分を除いたものであり、蛍光トータルゲインＳｆは、仮蛍光トータルゲインＳｆ２と追加蛍光ゲインとを用いて、以下の（５）式で表すことができる。
＝仮蛍光トータルゲインＳｆ２／背景トータルゲインＳｗ （４）
ここで、仮蛍光トータルゲインＳｆ２は、第１の実施形態で説明した蛍光トータルゲインＳｆから、蛍光撮像信号に関する追加蛍光ゲイン分を除いたものであり、蛍光トータルゲインＳｆは、仮蛍光トータルゲインＳｆ２と追加蛍光ゲインとを用いて、以下の（５）式で表すことができる。
【0139】
蛍光トータルゲインＳｆ
＝仮蛍光トータルゲインＳｆ２×追加蛍光ゲイン （５）
制御部１４４は、蛍光画像（第２画像）の明るさを示す蛍光トータルゲイン（第２画像情報）から蛍光画像（第２画像）の撮像信号のゲイン（追加蛍光ゲイン）が除かれた情報（仮蛍光トータルゲイン）と、背景画像（第１画像）の明るさを示す背景トータルゲイン（第１画像情報）と、の比率（背景蛍光２：第２比率）を取得する。
＝仮蛍光トータルゲインＳｆ２×追加蛍光ゲイン （５）
制御部１４４は、蛍光画像（第２画像）の明るさを示す蛍光トータルゲイン（第２画像情報）から蛍光画像（第２画像）の撮像信号のゲイン（追加蛍光ゲイン）が除かれた情報（仮蛍光トータルゲイン）と、背景画像（第１画像）の明るさを示す背景トータルゲイン（第１画像情報）と、の比率（背景蛍光２：第２比率）を取得する。
【0140】
第３の実施形態では、背景蛍光比２と、追加蛍光ゲインとを用いることにより、励起光光源２２（第２光源）の強度の制御（強度調整）と、ゲイン調整部１３３（第２画像ゲイン調整部）による蛍光撮像信号のゲイン調整とを、別々に制御することができる。
【0141】
（背景トータルゲイン取得部１３６）
第３の実施形態において、背景トータルゲイン取得部１３６（第１取得部）は、撮像部１１の露光時間が調整された状態において、白色光源２０（第１光源）の強度、または、撮像信号のゲインを調整し、背景トータルゲインを取得する。背景トータルゲイン取得部１３６は、以下の（６）式に従い、白色光源２０（第２光源）の強度と複数の撮像信号のゲイン（マスターゲイン）との積により背景トータルゲイン（第１画像情報）を取得する。
第３の実施形態において、背景トータルゲイン取得部１３６（第１取得部）は、撮像部１１の露光時間が調整された状態において、白色光源２０（第１光源）の強度、または、撮像信号のゲインを調整し、背景トータルゲインを取得する。背景トータルゲイン取得部１３６は、以下の（６）式に従い、白色光源２０（第２光源）の強度と複数の撮像信号のゲイン（マスターゲイン）との積により背景トータルゲイン（第１画像情報）を取得する。
【0142】
背景トータルゲイン
＝励起光の強度×マスターゲイン （６）
（背景ゲイン制御部１４０）
背景ゲイン制御部１４０は、背景トータルゲイン取得部１３６から背景トータルゲインを取得し、背景トータルゲインに関するパラメータ（マスターゲイン、白色光の強度）のうちどのパラメータを用いて、背景画像の明るさを制御するかを決定し、決定したパラメータにより背景画像の明るさを制御するための制御信号を生成し、生成した制御信号を出力する。
＝励起光の強度×マスターゲイン （６）
（背景ゲイン制御部１４０）
背景ゲイン制御部１４０は、背景トータルゲイン取得部１３６から背景トータルゲインを取得し、背景トータルゲインに関するパラメータ（マスターゲイン、白色光の強度）のうちどのパラメータを用いて、背景画像の明るさを制御するかを決定し、決定したパラメータにより背景画像の明るさを制御するための制御信号を生成し、生成した制御信号を出力する。
【0143】
背景画像のゲイン（マスターゲイン）を制御する場合に、背景ゲイン制御部１４０は、背景画像の明るさを制御するための制御信号を背景ゲイン調整部１３４に出力する。背景ゲイン調整部１３４は、ゲイン調整に関する制御信号に基づいて、背景画像のゲイン（マスターゲイン）を調整した、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号を出力する。
【0144】
また、白色光の強度を制御する場合には、背景ゲイン制御部１４０は、背景画像の明るさを制御するための制御信号を光源２３の白色光源２０に出力する。白色光源２０は、制御信号に従って光量の出力を制御する。
【0145】
この時、背景画像を明るくする場合に、背景ゲイン制御部１４０は、マスターゲインよりも白色光の強度を上げる方を優先する。白色光源２０の強度を調整する調整範囲において、白色光の強度を上げるだけでは、背景蛍光比２の設定を維持するために必要とされる背景画像の明るさが不足する場合に、背景ゲイン制御部１４０は、背景画像の明るさを制御するための制御信号を生成し、生成した制御信号を背景ゲイン調整部１３４に出力する。
【0146】
また、マスターゲインが上がった状態で背景画像を暗くする際は、マスターゲインを下げる方を優先する。すなわち、マスターゲインを調整する調整範囲において、マスターゲインを下げるだけでは、背景蛍光比２の設定を維持するために必要とされる背景画像の暗さが不足する場合に、背景ゲイン制御部１４０は、白色光源２０の強度を制御するための制御信号を生成し、生成した制御信号を光源２３の白色光源２０に出力する。これにより、背景画像の明るさの制御において、ノイズの影響を低減した画像を得ることができる。
【0147】
具体的には、背景ゲイン制御部１４０は、以下のようにして、背景画像の明るさの制御を行う。
【0148】
背景ゲイン制御部１４０は、白色光源２０（第１光源）の調整範囲で第１照射光の強度を上げた状態で、背景蛍光比２（比率）の設定を維持するために必要とされる背景画像（第１画像）の明るさが不足する場合に、背景画像（第１画像）の明るさを更に明るく調整するために生成した制御信号を背景ゲイン調整部１３４（第１画像ゲイン調整部）に出力する。
【0149】
背景ゲイン制御部１４０は、背景ゲイン調整部１３４により背景画像の明るさが明るく調整された状態で、背景画像の明るさを暗くする場合に、複数の撮像信号（Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号）のゲインを小さく調整するための制御信号を背景ゲイン調整部１３４に出力する。
【0150】
背景ゲイン制御部１４０は、背景ゲイン調整部１３４により背景画像の明るさが暗く調整された状態で、背景画像の明るさを更に暗くする場合に、白色光源２０の調整範囲で第１照射光の強度を下げるように調整する制御信号を白色光源２０（第１光源）に出力する。
【0151】
（仮蛍光トータルゲイン取得部１４１）
仮蛍光トータルゲイン取得部１４１は、外部からユーザにより設定される、背景蛍光比２を取得する。仮蛍光トータルゲイン取得部１４１は、背景トータルゲイン取得部１３６から背景トータルゲインを取得し、背景トータルゲインと背景蛍光比２とから仮蛍光トータルゲインを取得する。仮蛍光トータルゲイン取得部１４１は、（４）式の関係に基づいて、仮蛍光トータルゲインを取得する。
仮蛍光トータルゲイン取得部１４１は、外部からユーザにより設定される、背景蛍光比２を取得する。仮蛍光トータルゲイン取得部１４１は、背景トータルゲイン取得部１３６から背景トータルゲインを取得し、背景トータルゲインと背景蛍光比２とから仮蛍光トータルゲインを取得する。仮蛍光トータルゲイン取得部１４１は、（４）式の関係に基づいて、仮蛍光トータルゲインを取得する。
【0152】
第３の実施形態において、仮蛍光トータルゲイン取得部１４１（第２取得部）は、撮像部１１の露光時間が調整された状態において、励起光光源２２（第２光源）の強度、または、撮像信号のゲインを調整し、仮蛍光トータルゲインを取得する。仮蛍光トータルゲイン取得部１４１は、以下の（７）式に従い、励起光光源２２（第２光源）の強度とゲイン（蛍光撮像信号のゲイン）との積により仮蛍光トータルゲイン（第２画像情報）を取得する。
【0153】
仮蛍光トータルゲイン
＝励起光の強度×蛍光撮像信号のゲイン （７）
（仮蛍光ゲイン制御部１４２）
仮蛍光ゲイン制御部１４２は、仮蛍光トータルゲイン取得部１４１から仮蛍光トータルゲインを取得し、仮蛍光トータルゲインに関するパラメータ（蛍光撮像信号のゲイン、励起光の強度）のうちどのパラメータを用いて、蛍光画像の明るさを制御するかを決定する。そして、仮蛍光ゲイン制御部１４２は、決定したパラメータにより蛍光景画像の明るさを制御するための制御信号を生成し、生成した制御信号を出力する。
＝励起光の強度×蛍光撮像信号のゲイン （７）
（仮蛍光ゲイン制御部１４２）
仮蛍光ゲイン制御部１４２は、仮蛍光トータルゲイン取得部１４１から仮蛍光トータルゲインを取得し、仮蛍光トータルゲインに関するパラメータ（蛍光撮像信号のゲイン、励起光の強度）のうちどのパラメータを用いて、蛍光画像の明るさを制御するかを決定する。そして、仮蛍光ゲイン制御部１４２は、決定したパラメータにより蛍光景画像の明るさを制御するための制御信号を生成し、生成した制御信号を出力する。
【0154】
蛍光撮像信号のゲインを制御する場合には、仮蛍光ゲイン制御部１４２は生成した制御信号を、追加蛍光ゲイン加算部１４３に出力する。
【0155】
追加蛍光ゲイン加算部１４３は、外部からユーザにより設定される、追加蛍光ゲインを取得する。追加蛍光ゲイン加算部１４３は、仮蛍光ゲイン制御部１４２からゲインに関する制御信号を取得し、追加蛍光ゲインを加算した制御信号を生成する。ゲイン調整部１３３は、追加蛍光ゲイン加算部１４３からの制御信号に基づいて、蛍光撮像信号のゲインを調整する。
【0156】
また、励起光の強度を制御する場合には、仮蛍光ゲイン制御部１４２は、生成した制御信号を光源２３の励起光光源２２に出力する。励起光光源２２は、制御信号に従って光量の出力を制御する。
【0157】
この時、蛍光画像を明るくする場合に、仮蛍光ゲイン制御部１４２は、蛍光撮像信号のゲインよりも励起光の強度を上げる方を優先する。
【0158】
制御部１４４（仮蛍光ゲイン制御部１４２）は、励起光光源２２（第２光源）の調整範囲で第２照射光の強度を上げた状態で、背景蛍光比２（比率）の設定を維持するために必要とされる蛍光画像（第２画像）の明るさが不足する場合に、蛍光画像（第２画像）の明るさを更に明るく調整するために生成した制御信号を、蛍光画像（第２画像）の撮像信号を調整するゲイン調整部１３３（第２画像ゲイン調整部）に出力する。
【0159】
制御部１４４（仮蛍光ゲイン制御部１４２）は、ゲイン調整部１３３（第２画像ゲイン調整部）により蛍光画像の明るさが明るく調整された状態で、蛍光画像の明るさを暗くする場合に、蛍光画像の撮像信号のゲインを小さく調整するための制御信号をゲイン調整部１３３（第２画像ゲイン調整部）に出力する。また、制御部１４４（仮蛍光ゲイン制御部１４２）は、ゲイン調整部１３３（により蛍光画像の明るさが暗く調整された状態で、蛍光画像の明るさを更に暗くする場合に、励起光光源２２の調整範囲で第２照射光の強度を下げるように調整する制御信号を励起光光源２２に出力する。
【0160】
励起光光源２２の強度を調整する調整範囲において、励起光の強度を上げるだけでは、背景蛍光比２の設定を維持するために必要とされる蛍光画像の明るさが不足する場合に、仮蛍光ゲイン制御部１４２は、蛍光撮像信号のゲインを制御するための制御信号を生成し、生成した制御信号を追加蛍光ゲイン加算部１４３に出力する。
【0161】
また、蛍光撮像信号のゲインが上がった状態で蛍光画像を暗くする際は、蛍光撮像信号のゲインを下げる方を優先する。すなわち、蛍光撮像信号のゲインを調整する調整範囲において、蛍光撮像信号のゲインを下げるだけでは、背景蛍光比２の設定を維持するために必要とされる蛍光画像の暗さが不足する場合に、仮蛍光ゲイン制御部１４２は、励起光光源２２の強度を制御するための制御信号を生成し、生成した制御信号を光源２３の励起光光源２２に出力する。これにより、蛍光画像の明るさの制御において、ノイズの影響を低減した蛍光画像を得ることができる。
【0162】
具体的には、制御部１４４（仮蛍光ゲイン制御部１４２）は、以下のようにして、蛍光画像の明るさの制御を行う。
【0163】
制御部１４４（仮蛍光ゲイン制御部１４２）は、励起光光源２２（第２光源）の調整範囲で励起光光源２２の強度を調整して、背景蛍光２（第２比率）に基づいて設定された照射光の強度比を一定にした状態で、背景蛍光２（第２比率）を一定に調整できる場合に、励起光光源２２の強度を制御する制御信号を励起光光源２２に出力する。
【0164】
制御部１４４（仮蛍光ゲイン制御部１４２）は、励起光光源２２の強度を調整して、背景蛍光２（第２比率）に基づいて設定された照射光の強度比を一定にした状態で、背景蛍光２（第２比率）の設定を維持するために必要とされる蛍光画像の明るさが不足する場合に、蛍光画像（第２画像）の撮像信号のゲインを大きくするための追加ゲインを生成するための制御信号を出力し、ゲイン調整部１３３（第２画像ゲイン調整部）は、制御信号に基づいて追加ゲインを加算した撮像信号を出力する。
【0165】
制御部１４４（仮蛍光ゲイン制御部１４２）は、追加ゲインを加算して撮像信号のゲインを調整した状態で、背景蛍光２（第２比率）を一定にするために、蛍光画像の明るさを暗くする場合に、追加ゲインを小さく調整するための制御信号を出力する。
【0166】
第３の実施形態では、背景ゲイン制御部１４０と仮蛍光ゲイン制御部１４２との両方とも、ゲイン（マスターゲイン、蛍光撮像信号のゲイン）より照射光の強度を上げる方を優先する。そのため、白色光の強度および励起光の強度の調整範囲内で、白色光の強度および励起光の強度を同一の割合で変化させるように制御するのであれば、照射光（白色光、励起光）の強度比は一定の値となる。
【0167】
そして、背景蛍光比２の設定によって、照射光の強度比の範囲を調整できる。制御部１４４は、背景蛍光２（第２比率）に基づいて、白色光源２０（第１光源）の強度の調整範囲と、励起光光源２２（第２光源）の強度の調整範囲とにおいて、白色光源２０及び励起光光源２２のうち、少なくともいずれか一方の光源の強度を調整して、白色光源２０、及び励起光光源２２の照射光の強度比の設定（照射光の強度の比率の範囲）を調整する。
【0168】
例えば、白色光の強度の調整範囲と励起光の強度の調整範囲は両方とも０％以上１００％以下とする。背景蛍光比２を１．２５倍に設定すると、白色光の強度と励起光の強度が両方とも調整範囲内の場合、すなわち、白色光の強度を０％以上８０％以下の範囲で制御し、励起光の強度を０％以上１００％以下（白色光の強度に対して１.２５倍）の範囲で制御する場合には、照射光の強度比は最大の１．２５倍となる。
【0169】
また、白色光の強度を８０％以上１００％以下の範囲で制御した場合に、白色光の強度８０％に対して１．２５倍することにより、励起光の強度は１００％となる。励起光の強度の上限に到達し、励起光の強度を１００％以上に調整できないため、白色光の強度を８０％以上に上げると、照射光の強度比は下がる。
【0170】
また、白色光の強度と励起光の強度を両方共に１００％で制御する場合には、照射光の強度比は最小値の１倍となる。
【0171】
このように、背景蛍光比２を１．２５倍に設定すると、照射光の強度比は１倍以上１．２５倍以下の範囲内となるように制御される。
【0172】
さらに、例えば、追加蛍光ゲインとして、Ｇ１倍（例えば、１．６倍）することにより、照射光の強度比の範囲を１倍以上１．２５倍以下に抑えつつ、背景蛍光比２を１．２５×１．６＝２倍とすることができる。
【0173】
例えば、白色光の強度の調整範囲を０％以上４０％以下とし、励起光の強度の調整範囲を０％以上１００％以下とし、背景蛍光比２を２倍に設定したとする。この場合に、白色光の強を０％以上４０％以下の範囲で制御し、励起光の強度を０％以上、８０％以下（白色光の強度に対して２倍）の範囲で制御した場合に、照射光の強度比は最小の２倍となる。
【0174】
また、励起光の強度を８０％以上１００％以下の範囲で制御し、照射光の強度比を２倍とすると、白色光の強度は上限が４０％であるため、励起光の強度が８０％から更に上がることにより照射光の強度比は２倍を超えて上昇する。
【0175】
白色光の強度を４０％で制御し、励起光の強度を１００％で制御した場合に、照射光の強度比は２．５倍となる。すなわち、各光源について設定された調整範囲において、背景蛍光比２を２倍に設定すると、照射光の強度比は２倍以上２．５倍以下の範囲内となるように制御される。
【0176】
この例でも、例えば、追加蛍光ゲインとして、Ｇ２倍（例えば、２倍）することにより、照射光の強度比の範囲は２倍以上２．５倍以下に抑えつつ、背景蛍光比を２×２＝４倍とすることができる。
【0177】
なお、背景蛍光比２および追加蛍光ゲインの設定は、予め設定されたデフォルト値を取得してもよい。この例の他、背景蛍光比２および追加蛍光ゲインの設定を複数保持する記憶部１４５を画像処理部１３の内部に設け、記憶部１４５から背景蛍光比２や追加蛍光ゲインを取得してもよい。例えば、追加蛍光ゲイン加算部１４３は、仮蛍光ゲイン制御部１４２からの制御信号に基づいて、記憶部１４５から所定の追加蛍光ゲインを取得してもよい。
【0178】
なお、上述した第１の実施形態～第３の実施形態では、三板式のプリズム１１１を用いているため、白色光源２０と励起光光源２２とを時分割で制御することで、赤色の蛍光、反射光のＲ（赤）光、Ｇ（緑）光およびＢ（青）光の４つの撮像信号を得ている。しかし、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光および蛍光の４つの光（チャネル）に分光可能な４板式のプリズムであれば、各チャネルを直接読出し可能なので、時分割で光源を制御しなくてもよい。
【0179】
また、プリズム１１１に代えて、カラーフィルタを用いてＲ（赤）光、Ｇ（緑）光、Ｂ（青）光を取得してもよい。
【0180】
なお、上述した第１の実施形態～第３の実施形態では、画像処理部１３にゲイン調整部１３１、１３２が含まれる構成を説明したが、この例に限らず、撮像部１１に、ゲイン調整部１３１、１３２が含まれる構成でもよい。さらに、背景ゲイン調整部１３４を撮像部１１と画像処理部１３との双方に配置し、それぞれでマスターゲインを調整できるようにしてもよい。これにより、撮像部１１側におけるマスターゲインの調整で不足した分を、画像処理部１３側でマスターゲインを調整するようにしてもよい。
【0181】
同様に、ゲイン調整部１３３を撮像部１１と画像処理部１３との双方に配置し、それぞれで蛍光撮像信号のゲインを調整できるようにしてもよい。撮像部１１側における蛍光撮像信号のゲイン調整で不足した分を、画像処理部１３側で蛍光撮像信号のゲインを調整するようにしてもよい。
【0182】
なお、上述した第１の実施形態～第３の実施形態では、青色の励起光により赤色の蛍光が発生することを想定しているが、他の波長帯域の光を複数用いる場合でも、同様の処理を行うことができる。
【0183】
複数の波長帯域における複数の蛍光（例えば赤と緑）について処理する場合は、赤の蛍光については、シャッタ１１２およびイメージセンサ１１６がＲ（赤）光と共通に用いられ、時分割でＲ（赤）光と赤の蛍光とに対する機能が振り分けられる。緑の蛍光については、シャッタ１１３およびイメージセンサ１１７がＧ（緑）光と共通に用いられ、時分割でＧ（緑）光と緑の蛍光とに対する機能が振り分けられる。
【0184】
本明細書の開示は、以下の処理装置、処理システム、処理方法及びプログラムを含む。
（項目１） 第１光源の光と、前記第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得部と、
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得部と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御部と、を備え、
前記制御部は、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する処理装置。
（項目２） 前記制御部は、
前記第１光源を制御する場合に、前記第１光源から照射された前記第１照射光の振幅、前記第１照射光の点灯時間、前記第１照射光のパルス幅、前記第１照射光のパルス密度のうち少なくとも１つ用いて、前記第１照射光の強度を制御し、
前記第２光源を制御する場合に、前記第２光源から照射された第２照射光の振幅、前記第２照射光の点灯時間、前記第２照射光のパルス幅、前記第２照射光のパルス密度のうち少なくとも１つ用いて前記第２照射光の強度を制御する項目１に記載の処理装置。
（項目３） 前記制御部は、前記第１画像の感度および前記第２画像の感度を、光を受光することで電気信号を発生する撮像部の露光時間と、前記撮像部で発生した前記電気信号に適用するゲインと、画像生成部が前記第１画像及び前記第２画像を生成するために用いる電気信号に適用するゲインとのうち、少なくとも１つを用いて調整する項目１に記載の処理装置。
（項目４）前記第２取得部は、第２の比率と、前記第１画像情報とを用いて、前記第２画像の明るさ調整に関する情報として、前記第２画像情報を取得し、
前記第１画像情報は、前記第１光源の強度と前記第１画像の感度との積であり、
前記第２画像情報は、前記第２光源の強度と前記第２画像の感度との積であり、
前記第２の比率は、前記第１画像情報と前記第２画像情報との比である項目１に記載の処理装置。
（項目５） 前記制御部は、前記第１照射光の強度および前記第２照射光の強度の調整範囲内で、前記第１光源及び前記第２光源のうち、少なくともいずれか一方の光源の強度を調整して、前記第１照射光の強度と前記第２照射光の強度との前記比率の範囲を調整することが可能である項目１に記載の処理装置。
（項目６）前記第２取得部は、前記第２の比率を調整する第１設定を取得し、
前記制御部は、前記第２画像の感度に対する追加ゲインを調整する第２設定を取得し、
前記第２取得部は、前記第１画像情報、および、前記第１設定によって調整された前記第２の比率を用いて、前記第２画像情報を取得し、
前記制御部は、前記第１画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度を制御し、
前記制御部は、前記第２画像情報に基づいて、前記第２照射光の強度、前記第２画像の感度を制御し、
前記制御部は、前記第２画像の感度に対して、前記第２設定によって調整された追加ゲインをさらに加算する項目４に記載の処理装置。
（項目７） 前記第２取得部は、前記第２画像を撮像する撮像部の撮像信号を用いて取得した前記第２画像の明るさの評価情報と、目標情報との比較に基づいて、前記第２画像の明るさ調整に関する第２画像情報を取得する項目１に記載の処理装置。
（項目８） 前記制御部は、前記第１光源の調整範囲及び前記第２光源の調整範囲において、前記第１光源から照射された第１照射光の強度と、前記第２光源から照射された第２照射光の強度との比率が、設定された照射光の強度比になるように、前記第１光源及び前記第２光源のうち、少なくともいずれか一方を制御する項目１に記載の処理装置。
（項目９） 前記制御部は、前記第１光源の調整範囲及び前記第２光源の調整範囲において、前記第１照射光の強度と前記第２照射光の強度との比率が前記強度比となるように制御する際、前記第１照射光の強度が最大の場合に前記第２照射光の強度を最大に制御する項目８に記載の処理装置。
（項目１０） 前記設定された照射光の強度比と、前記第１光源の調整範囲及び前記第２光源の調整範囲とに基づいて、前記制御部は、前記第２照射光の強度の調整範囲を超えないように前記第１照射光の強度を制御する項目９に記載の処理装置。
（項目１１） 前記第１光源は、被写体からの反射光を観察するための光源であり、前記第２光源は、前記被写体に存在する蛍光物質から発せられる蛍光を観察するための光源である項目１に記載の処理装置。
（項目１２） 前記第１照射光の強度と前記第２照射光の強度との前記比率が前記所定の範囲内となるように保つ第１の動作モードと、前記第１照射光の強度と前記第２照射光の強度との比率の範囲を前記第１の動作モードより広げた第２の動作モードとを備え、
前記制御部は、前記第１の動作モードと前記第２の動作モードを切り替えることが可能である項目１に記載の処理装置。
（項目１３） 前記第１光源、および前記第２光源とは異なる第３光源をさらに備え、
前記制御部は、
前記比率が前記所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度、前記第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御し、更に、
前記第１照射光の強度と前記第３光源が照射する第３照射光の強度との比率が所定の範囲内となるように、前記第１画像情報、及び、前記第３光源の光から得られた第３画像の明るさ調整に関する第３画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度、前記第３照射光の強度、前記第３画像の感度のうち、少なくとも何れか１つを制御する項目１に記載の処理装置。
（項目１４） 前記制御部は、前記第１照射光の強度を制御する際に、前記第２照射光の強度を前記第２画像の感度よりも優先して制御し、
前記第１画像の感度を制御する際に、前記第２画像の感度を前記第２照射光の強度よりも優先して制御し、
前記第２照射光の強度を制御する際に、前記第１照射光の強度を前記第１画像の感度よりも優先して制御し、前記第２画像の感度を制御する際に前記第１画像の感度を前記第１照射光の強度よりも優先して制御する項目１に記載の処理装置。
（項目１５） 前記第１画像を撮像する撮像部で得られた複数の撮像信号のホワイトバランスを調整するホワイトバランス調整部と、
前記ホワイトバランスが調整された前記複数の撮像信号と、前記制御部から取得した制御信号とを用いて、前記第１画像における前記複数の撮像信号のゲインを調整する第１画像ゲイン調整部と、
前記第１画像において前記ゲインが調整された前記複数の撮像信号を用いて、前記第１画像の明るさの評価情報を取得する第１評価情報取得部と、
前記第２光源の光に基づいて、前記撮像部で得られた撮像信号のゲインを調整する第２画像ゲイン調整部と、を更に備え、
前記第１取得部は、前記評価情報と、予め設定された目標情報とを比較することにより、前記第１画像の明るさ調整に関する情報として、前記第１画像情報を取得する項目７に記載の処理装置。
（項目１６） 前記第１画像ゲイン調整部により前記ゲインが調整された前記複数の撮像信号に基づいて、前記第１画像を生成する第１画像生成部と、
前記第２画像ゲイン調整部により前記ゲインが調整された前記撮像信号に基づいて、前記第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを合成した合成画像の画像信号を出力する画像合成部と、
を更に備える項目１５に記載の処理装置。
（項目１７） 項目１乃至項目１６のいずれか１項に記載の処理装置と、
前記処理装置から出力された画像信号に基づいて、前記第１画像に前記第２画像を重畳した画像を表示部に表示させる表示制御を行う表示制御部を有する表示装置と、
前記処理装置から出力された制御信号に基づいて光の強度を調整可能な、前記第１光源と前記第２光源とを有する光源と、
を備える処理システム。
（項目１８） 第１光源の光と、前記第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得工程と、
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得工程と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御工程と、を有し、
前記制御工程では、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する処理方法。
（項目１９） コンピュータに、項目１８に記載の処理方法を実行させるプログラム。
（項目１） 第１光源の光と、前記第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得部と、
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得部と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御部と、を備え、
前記制御部は、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する処理装置。
（項目２） 前記制御部は、
前記第１光源を制御する場合に、前記第１光源から照射された前記第１照射光の振幅、前記第１照射光の点灯時間、前記第１照射光のパルス幅、前記第１照射光のパルス密度のうち少なくとも１つ用いて、前記第１照射光の強度を制御し、
前記第２光源を制御する場合に、前記第２光源から照射された第２照射光の振幅、前記第２照射光の点灯時間、前記第２照射光のパルス幅、前記第２照射光のパルス密度のうち少なくとも１つ用いて前記第２照射光の強度を制御する項目１に記載の処理装置。
（項目３） 前記制御部は、前記第１画像の感度および前記第２画像の感度を、光を受光することで電気信号を発生する撮像部の露光時間と、前記撮像部で発生した前記電気信号に適用するゲインと、画像生成部が前記第１画像及び前記第２画像を生成するために用いる電気信号に適用するゲインとのうち、少なくとも１つを用いて調整する項目１に記載の処理装置。
（項目４）前記第２取得部は、第２の比率と、前記第１画像情報とを用いて、前記第２画像の明るさ調整に関する情報として、前記第２画像情報を取得し、
前記第１画像情報は、前記第１光源の強度と前記第１画像の感度との積であり、
前記第２画像情報は、前記第２光源の強度と前記第２画像の感度との積であり、
前記第２の比率は、前記第１画像情報と前記第２画像情報との比である項目１に記載の処理装置。
（項目５） 前記制御部は、前記第１照射光の強度および前記第２照射光の強度の調整範囲内で、前記第１光源及び前記第２光源のうち、少なくともいずれか一方の光源の強度を調整して、前記第１照射光の強度と前記第２照射光の強度との前記比率の範囲を調整することが可能である項目１に記載の処理装置。
（項目６）前記第２取得部は、前記第２の比率を調整する第１設定を取得し、
前記制御部は、前記第２画像の感度に対する追加ゲインを調整する第２設定を取得し、
前記第２取得部は、前記第１画像情報、および、前記第１設定によって調整された前記第２の比率を用いて、前記第２画像情報を取得し、
前記制御部は、前記第１画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度を制御し、
前記制御部は、前記第２画像情報に基づいて、前記第２照射光の強度、前記第２画像の感度を制御し、
前記制御部は、前記第２画像の感度に対して、前記第２設定によって調整された追加ゲインをさらに加算する項目４に記載の処理装置。
（項目７） 前記第２取得部は、前記第２画像を撮像する撮像部の撮像信号を用いて取得した前記第２画像の明るさの評価情報と、目標情報との比較に基づいて、前記第２画像の明るさ調整に関する第２画像情報を取得する項目１に記載の処理装置。
（項目８） 前記制御部は、前記第１光源の調整範囲及び前記第２光源の調整範囲において、前記第１光源から照射された第１照射光の強度と、前記第２光源から照射された第２照射光の強度との比率が、設定された照射光の強度比になるように、前記第１光源及び前記第２光源のうち、少なくともいずれか一方を制御する項目１に記載の処理装置。
（項目９） 前記制御部は、前記第１光源の調整範囲及び前記第２光源の調整範囲において、前記第１照射光の強度と前記第２照射光の強度との比率が前記強度比となるように制御する際、前記第１照射光の強度が最大の場合に前記第２照射光の強度を最大に制御する項目８に記載の処理装置。
（項目１０） 前記設定された照射光の強度比と、前記第１光源の調整範囲及び前記第２光源の調整範囲とに基づいて、前記制御部は、前記第２照射光の強度の調整範囲を超えないように前記第１照射光の強度を制御する項目９に記載の処理装置。
（項目１１） 前記第１光源は、被写体からの反射光を観察するための光源であり、前記第２光源は、前記被写体に存在する蛍光物質から発せられる蛍光を観察するための光源である項目１に記載の処理装置。
（項目１２） 前記第１照射光の強度と前記第２照射光の強度との前記比率が前記所定の範囲内となるように保つ第１の動作モードと、前記第１照射光の強度と前記第２照射光の強度との比率の範囲を前記第１の動作モードより広げた第２の動作モードとを備え、
前記制御部は、前記第１の動作モードと前記第２の動作モードを切り替えることが可能である項目１に記載の処理装置。
（項目１３） 前記第１光源、および前記第２光源とは異なる第３光源をさらに備え、
前記制御部は、
前記比率が前記所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度、前記第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御し、更に、
前記第１照射光の強度と前記第３光源が照射する第３照射光の強度との比率が所定の範囲内となるように、前記第１画像情報、及び、前記第３光源の光から得られた第３画像の明るさ調整に関する第３画像情報に基づいて、前記第１照射光の強度、前記第１画像の感度、前記第３照射光の強度、前記第３画像の感度のうち、少なくとも何れか１つを制御する項目１に記載の処理装置。
（項目１４） 前記制御部は、前記第１照射光の強度を制御する際に、前記第２照射光の強度を前記第２画像の感度よりも優先して制御し、
前記第１画像の感度を制御する際に、前記第２画像の感度を前記第２照射光の強度よりも優先して制御し、
前記第２照射光の強度を制御する際に、前記第１照射光の強度を前記第１画像の感度よりも優先して制御し、前記第２画像の感度を制御する際に前記第１画像の感度を前記第１照射光の強度よりも優先して制御する項目１に記載の処理装置。
（項目１５） 前記第１画像を撮像する撮像部で得られた複数の撮像信号のホワイトバランスを調整するホワイトバランス調整部と、
前記ホワイトバランスが調整された前記複数の撮像信号と、前記制御部から取得した制御信号とを用いて、前記第１画像における前記複数の撮像信号のゲインを調整する第１画像ゲイン調整部と、
前記第１画像において前記ゲインが調整された前記複数の撮像信号を用いて、前記第１画像の明るさの評価情報を取得する第１評価情報取得部と、
前記第２光源の光に基づいて、前記撮像部で得られた撮像信号のゲインを調整する第２画像ゲイン調整部と、を更に備え、
前記第１取得部は、前記評価情報と、予め設定された目標情報とを比較することにより、前記第１画像の明るさ調整に関する情報として、前記第１画像情報を取得する項目７に記載の処理装置。
（項目１６） 前記第１画像ゲイン調整部により前記ゲインが調整された前記複数の撮像信号に基づいて、前記第１画像を生成する第１画像生成部と、
前記第２画像ゲイン調整部により前記ゲインが調整された前記撮像信号に基づいて、前記第２画像を生成する第２画像生成部と、
前記第１画像と前記第２画像とを合成した合成画像の画像信号を出力する画像合成部と、
を更に備える項目１５に記載の処理装置。
（項目１７） 項目１乃至項目１６のいずれか１項に記載の処理装置と、
前記処理装置から出力された画像信号に基づいて、前記第１画像に前記第２画像を重畳した画像を表示部に表示させる表示制御を行う表示制御部を有する表示装置と、
前記処理装置から出力された制御信号に基づいて光の強度を調整可能な、前記第１光源と前記第２光源とを有する光源と、
を備える処理システム。
（項目１８） 第１光源の光と、前記第１光源とは異なる第２光源の光とを含む光から得られた第１画像の明るさ調整に関する第１画像情報を取得する第１取得工程と、
前記第２光源の光から得られた第２画像の明るさ調整に関する第２画像情報を取得する第２取得工程と、
前記第１光源が照射する第１照射光の強度と前記第１画像の感度、および、前記第２光源が照射する第２照射光の強度と前記第２画像の感度、の各々を制御する制御工程と、を有し、
前記制御工程では、前記第１照射光の強度と前記第２照射光の強度との比率が所定の範囲内となるように、前記第１画像情報及び前記第２画像情報に基づいて、前記第１光源が照射する第１照射光の強度、前記第１画像の感度、前記第２光源が照射する第２照射光の強度、前記第２画像の感度のうち、少なくとも何れか１つを制御する処理方法。
（項目１９） コンピュータに、項目１８に記載の処理方法を実行させるプログラム。
【0185】
［その他の実施形態］
開示の技術は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
開示の技術は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0186】
開示の技術は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0187】
１：撮像装置、１１：撮像部、１３：画像処理部、１５：背景画像生成部、１６：蛍光画像生成部、１７：画像合成部、１８：画像生成部、２０：白色光源、２２：励起光光源、１１１：プリズム
１１２、１１３、１１４、１１５：シャッタ
１１６、１１７、１１８、１１９：イメージセンサ
１３０：ホワイトバランス調整部、１３１、１３２、１３３：ゲイン調整部、１３４：背景ゲイン調整部、１３５：背景評価情報取得部、１３６：背景トータルゲイン設定部、１３７：蛍光評価情報取得部、１３８：蛍光トータルゲイン取得部、１３９：制御部、１４０：背景ゲイン制御部、１４１：仮蛍光トータルゲイン取得部、１４２：仮蛍光ゲイン制御部、１４３：追加蛍光ゲイン加算部
１１２、１１３、１１４、１１５：シャッタ
１１６、１１７、１１８、１１９：イメージセンサ
１３０：ホワイトバランス調整部、１３１、１３２、１３３：ゲイン調整部、１３４：背景ゲイン調整部、１３５：背景評価情報取得部、１３６：背景トータルゲイン設定部、１３７：蛍光評価情報取得部、１３８：蛍光トータルゲイン取得部、１３９：制御部、１４０：背景ゲイン制御部、１４１：仮蛍光トータルゲイン取得部、１４２：仮蛍光ゲイン制御部、１４３：追加蛍光ゲイン加算部
【図1】
【図2】
【図3】
【図4】
【図5】