(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-30
(45)【発行日】2024-09-09
(54)【発明の名称】光源装置、および内視鏡システム
(51)【国際特許分類】
A61B 1/06 20060101AFI20240902BHJP
G02B 23/26 20060101ALI20240902BHJP
【FI】
A61B1/06 612
G02B23/26 B
(21)【出願番号】P 2020186299
(22)【出願日】2020-11-09
【審査請求日】2023-03-03
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】林 佳宏
(72)【発明者】
【氏名】新島 義之
(72)【発明者】
【氏名】秋野 縁
(72)【発明者】
【氏名】下田代 真哉
【審査官】遠藤 直恵
(56)【参考文献】
【文献】特許第6239220(JP,B2)
【文献】特開2020-151090(JP,A)
【文献】特表2017-510348(JP,A)
【文献】国際公開第2020/012563(WO,A1)
【文献】国際公開第2013/175908(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
G02B 23/26
(57)【特許請求の範囲】
【請求項1】
被写体に照射する照明光を生成する光源装置であって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
前記複数の半導体発光素子の発光プロファイルを制御し、前記複数の半導体発光素子を駆動させる制御部と、を備え、
前記発光プロファイルは、(i-1)前記被写体を撮像する撮像素子の擬似グローバル露光期間の少なくとも一部に前記照明光を出射する期間、あるいは(i-2)前記撮像素子の擬似グローバル露光期間およびローリングシャッタ期間の少なくとも一部に前記照明光を出射する期間を示すパルス発光期間と、(ii)当該パルス発光期間における前記照明光の強度を示すパルス発光強度を規定し、
前記制御部は、
(a)露光レベルを上げる場合、前記発光プロファイル
の前記パルス発光期間を、時間の進行方向とは逆方向である第1方向に伸長し、
(b)前記露光レベルを下げる場合、前記発光プロファイル
の前記パルス発光期間を、時間の進行方向である第2方向から短縮
し、
(c)前記露光レベルを下げる場合、前記発光プロファイルが前記第2方向に前記ローリングシャッタ期間の発光を含まないときには、前記発光プロファイルで示される総発光量を同一に保ちながら、前記擬似グローバル露光期間よりも前記第1方向にあるローリングシャッタ期間における発光成分を、前記擬似グローバル露光期間よりも前記第2方向にあるローリングシャッタ期間における発光成分にシフトさせて前記発光プロファイルを変更した後、当該変更後の発光プロファイルのパルス発光期間を前記第2方向から短縮する、光源装置。
【請求項2】
請求項
1において、
前記制御部は、前記露光レベルを上げる場合、前記発光プロファイルを前記第1方向に伸長した後、前記擬似グローバル露光期間よりも前記第1方向にあるローリングシャッタ期間における発光成分を、前記擬似グローバル露光期間よりも前記第2方向にあるローリングシャッタ期間における発光成分にシフトさせて前記発光プロファイルを変更する、光源装置。
【請求項3】
請求項
1において、
前記制御部は、前記パルス発光強度が予め決められた最大値から下がった状態で前記露光レベルを急速に上げるように指示されている場合、前記パルス発光強度を上げながら、前記擬似グローバル露光期間よりも前記第1方向のローリングシャッタ期間の発光成分を前記擬似グローバル露光期間よりも前記第2方向にローリングシャッタ期間にシフトする、光源装置。
【請求項4】
請求項
1において、
前記制御部は、前記露光レベルを急速に下げるように指示されている場合、前記パルス発光強度を下げながら、前記擬似グローバル露光期間よりも前記第1方向のローリングシャッタ期間の発光成分を前記擬似グローバル露光期間よりも前記第2方向にローリングシャッタ期間にシフトする、光源装置。
【請求項5】
請求項
4において、
前記制御部は、前記第1方向のローリングシャッタ期間から前記第2方向のローリングシャッタ期間への前記発光成分のシフト動作によって前記第2方向のローリングシャッタ期間が所定期間以上になり適切な露光レベルに到達した後、前記パルス発光強度が予め決められた最大値になるように、前記第2方向のローリングシャッタ期間の発光成分を前記パルス発光強度の増加に置換する、光源装置。
【請求項6】
請求項1から
5の何れか1項において、
前記制御部は、さらに、前記複数の半導体発光素子の出射光量/電流比のリニアリティを補正する処理を実行する、光源装置。
【請求項7】
請求項1から
6の何れか1項において、
前記制御部は、前記発光プロファイルによる発光以外に、オフセット発光を、パルス光、あるいは連続光で実行する、光源装置。
【請求項8】
観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
照明光を前記被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する撮像素子と、
前記画像信号を処理して前記被写体の画像を生成し、モニタに表示するプロセッサと、
前記画像信号に基づいて、前記複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、
前記主制御部から前記制御信号を受信し、前記発光プロファイルに応じた駆動信号で前記複数の半導体発光素子を駆動させる光源制御部と、を備え、
前記発光プロファイルは、(i-1)前記被写体を撮像する撮像素子の擬似グローバル露光期間の少なくとも一部に前記照明光を出射する期間、あるいは(
i-2)前記撮像素子の擬似グローバル露光期間およびローリングシャッタ期間の少なくとも一部に前記照明光を出射する期間を示すパルス発光期間と、(ii)当該パルス発光期間における前記照明光の強度を示すパルス発光強度を規定し、
前記主制御部は、
(a)露光レベルを上げる場合、前記発光プロファイル
の前記パルス発光期間を、時間の進行方向とは逆方向である第1方向に伸長し、
(b)前記露光レベルを下げる場合、前記発光プロファイル
の前記パルス発光期間を、時間の進行方向である第2方向から短縮
し、
(c)前記露光レベルを下げる場合、前記発光プロファイルが前記第2方向に前記ローリングシャッタ期間の発光を含まないときには、前記発光プロファイルで示される総発光量を同一に保ちながら、前記擬似グローバル露光期間よりも前記第1方向にあるローリングシャッタ期間における発光成分を、前記擬似グローバル露光期間よりも前記第2方向にあるローリングシャッタ期間における発光成分にシフトさせて前記発光プロファイルを変更した後、当該変更後の発光プロファイルのパルス発光期間を前記第2方向から短縮する、内視鏡システム。
【請求項9】
請求項
8において、
前記主制御部は、前記露光レベルを上げる場合、前記発光プロファイルを前記第1方向に伸長した後、前記擬似グローバル露光期間よりも前記第1方向にあるローリングシャッタ期間における発光成分を、前記擬似グローバル露光期間よりも前記第2方向にあるローリングシャッタ期間における発光成分にシフトさせて前記発光プロファイルを変更する、内視鏡システム。
【請求項10】
請求項
8において、
前記主制御部は、前記パルス発光強度が予め決められた最大値から下がった状態で前記露光レベルを急速に上げるように指示されている場合、前記パルス発光強度を上げながら、前記擬似グローバル露光期間よりも前記第1方向のローリングシャッタ期間の発光成分を前記擬似グローバル露光期間よりも前記第2方向にローリングシャッタ期間にシフトする、内視鏡システム。
【請求項11】
請求項
8において、
前記主制御部は、前記露光レベルを急速に下げるように指示されている場合、前記パルス発光強度を下げながら、前記擬似グローバル露光期間よりも前記第1方向のローリングシャッタ期間の発光成分を前記擬似グローバル露光期間よりも前記第2方向にローリングシャッタ期間にシフトする、内視鏡システム。
【請求項12】
請求項1
1において、
前記主制御部は、前記第1方向のローリングシャッタ期間から前記第2方向のローリングシャッタ期間への前記発光成分のシフト動作が完了し、適切な露光レベルに到達した後、前記パルス発光強度が予め決められた最大値になるように、前記第2方向のローリングシャッタ期間の発光成分を前記パルス発光強度の増加に置換する、内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光源装置、および内視鏡システムに関する。
【背景技術】
【0002】
ローリングシャッタ方式のイメージセンサを搭載する通常の内視鏡装置においては、当該イメージセンサの有効画素読み出し期間(ローリングシャッタ期間)に光源を消灯させ、それ以外の期間(擬似グローバル露光期間)に光源を点灯させること(パルス発光制御)により、擬似グローバル露光を実行し、ローリングシャッタに起因する望ましくない現象、例えば歪みやアーティファクトの発生を回避している。
【0003】
一方、ローリングシャッタ期間に光源を完全に消灯してしまうと、被写体(観察対象部位)次第で光量が不足してしまい、良好が画像を取得することができない。例えば、特許文献1から3などでは、この光量不足を解消するために、ローリングシャッタ期間の一部をパルス発光期間に含める光源制御について示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2018-182580号公報
【文献】特許第5379932号公報
【文献】特許第6239220号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1から3のような光源制御を実行すると、隣接するフレームでラインごとの露光時間差により画面の明るさムラや横縞などが発生する。そして、フレーム毎のパルス発光期間の変化によって、この明るさムラや横縞が表示画面上で上下移動して目障りとなるという課題がある。また、光量不足を解消するために、ローリングシャッタ期間にオフセット発光させる場合、オフセット発光がある程度強くなると、長時間露光画像および高速露光画像が二重露光されたような不自然な画像を生成してしまう。
【0006】
本開示は、このような状況に鑑みてなれたものであり、ローリングシャッタに起因する歪みやアーティファクトの発生を回避しつつ、十分な光量を確保すると共に、パルス発光期間の変化がローリングシャッタ期間に及んでも明るさムラや横縞を目立ちにくくする技術を提案する。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本実施形態は、被写体に照射する照明光を生成する光源装置であって、波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、複数の半導体発光素子の発光プロファイルを制御し、複数の半導体発光素子を駆動させる制御部と、を備え、制御部は、露光レベルを上げる場合、発光プロファイルを、時間の進行方向とは逆方向である第1方向に伸長し、露光レベルを下げる場合、発光プロファイルを、時間の進行方向である第2方向から短縮する、光源装置を提案する。
【0008】
また、本実施形態は、観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、照明光を前記被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する撮像素子と、画像信号を処理して被写体の画像を生成し、モニタに表示するプロセッサと、画像信号に基づいて、複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、主制御部から制御信号を受信し、発光プロファイルに応じた駆動信号で複数の半導体発光素子を駆動させる光源制御部と、を備え、発光プロファイルは、(i-1)被写体を撮像する撮像素子の擬似グローバル露光期間の少なくとも一部に照明光を出射する期間、あるいは(ii-2)撮像素子の擬似グローバル露光期間およびローリングシャッタ期間の少なくとも一部に照明光を出射する期間を示すパルス発光期間と、(ii)当該パルス発光期間における照明光の強度を示すパルス発光強度を規定し、主制御部は、露光レベルを上げる場合、発光プロファイルを、時間の進行方向とは逆方向である第1方向に伸長し、露光レベルを下げる場合、発光プロファイルを、時間の進行方向である第2方向から短縮する、内視鏡システムを提案する。
【0009】
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。
本明細書の記述は典型的な例示に過ぎず、特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
【発明の効果】
【0010】
本開示によれば、ローリングシャッタに起因する歪みやアーティファクトの発生を回避しつつ、十分な光量を確保すると共に、パルス発光期間の変化がローリングシャッタ期間に及んでも明るさムラや横縞を目立ちにくくすることが可能となる。
【図面の簡単な説明】
【0011】
【
図1】本実施形態の内視鏡システムの全体外観例を示す図である。
【
図2】本実施形態の内視鏡システムの概略内部構成例を示す図である。
【
図3】プロセッサ200の内部に設けられた光源装置201の内部構成例を示す図である。
【
図4】各LED2011から2015のスペクトル(波長特性)を示す図である。
【
図5】クロスプリズム2017および2018に各LEDを透過させて生成される照明光(観察部位を照明する光)の特性を示す図である。
【
図6】配光分布が異なるLEDを用いた光源の構成例を示す図である。
【
図7】各LEDの出射光量/電流比のグラフを示す図である。
【
図8】CMOSセンサを一例とするローリングシャッタ方式の撮像素子の有効画素領域と無効領域を示す図である。
【
図9】一般的な調光制御処理を実行する場合に、
図8に示す撮像面を有する撮像素子を用いて撮像した画像に現れる現象(特徴)を示す図である。
【
図10】パルス発光期間を短縮することにより画面を暗くする光量低減制御を説明するための図である。
【
図11】パルス発光期間を伸長することにより画面を明るくする光量増加制御を説明するための図である。
【
図12】改良されたパルス発光期間調整処理の概要を示す図である。
【
図13】無発光期間(あるいは、発光が視認できないほど発光強度が弱い弱発光期間)におけるオフセット発光処理を説明するための図である。
【
図14】被写体に撮像素子が急接近したとき、オフセット発光の有無によって現れる撮像画像の相違点を示す図である。
【
図15】本実施形態による調光制御処理を説明するためのフローチャートである。
【発明を実施するための形態】
【0012】
以下、本開示の実施形態について図面を参照しながら説明する。なお、以下においては、本開示の一実施形態として内視鏡システムを例に取り説明する。
【0013】
内視鏡システムにおける観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、気管支、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、食道、十二指腸、子宮、膀胱等である。上述のような対象部位を観察する場合、特定の生体構造を強調した画像の活用がより効果的である。
【0014】
<内視鏡システムの構成>
図1は、本実施形態の内視鏡システムの全体外観例を示す図であり、
図2は、本実施形態の内視鏡システムの概略内部構成例を示す図である。内視鏡システム1は、内視鏡装置(電子スコープ)100と、プロセッサ200と、モニタ300とを備えている。なお、内視鏡装置100のプロセッサ側端部には、本実施形態の特徴に係るコネクタ回路を含むスコープコネクタ(以下、単に「コネクタ」と言うこともある)400が設けられている。
【0015】
内視鏡装置100は、被検体の内部に挿入される細長い管状の挿入部11を備えている。内視鏡装置100は、例えば、後述する光源装置201からの照射光を導くためのLCB(Light Carrying Bundle)101と、LCB101の出射端に設けられた配光レンズ102と、対物レンズ(図示せず)を介して被照射部分(観察部位)からの戻り光を受光する撮像ユニット103と、撮像ユニット103を駆動するドライバ信号処理回路105と、第1メモリ106とを備えている。
【0016】
光源装置201からの照射光は、LCB101内に入射し、LCB101内で全反射を繰り返すことによって伝播する。LCB101内を伝播した照射光(照明光)は、挿入部11の先端部12内に配置されたLCB101の出射端から出射され、配光レンズ102を介して観察部位を照射する。被照射部分からの戻り光は、対物レンズを介して撮像ユニット103の受光面上の各画素で光学像を結ぶ。
【0017】
撮像ユニット103は、挿入部11の先端部12内に配置されており、ローリングシャッタ方式のイメージセンサであるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。撮像ユニット103は、受光面上の各画素で結像した光学像(生体組織からの戻り光)を光量に応じた電荷として蓄積して、R、G、Bの画像信号を生成して出力する。なお、撮像ユニット103は、CMOSイメージセンサに限らず、ローリングシャッタ方式に基づくものであれば、その他の種類の撮像装置に置き換えられてもよい。撮像ユニット103から出力された信号は、後述するように、スコープコネクタ400に設けられたスコープコネクタ回路401によって処理される。
【0018】
プロセッサ200は、内視鏡装置100からの信号を処理する信号処理装置と、自然光の届かない体腔内を内視鏡装置100を介して照射する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。プロセッサ200は、光源装置201と、システムコントローラ202と、測光部203と、前段信号処理回路205と、色変換回路206と、後段信号処理回路207と、第2メモリ208とを備えている。
【0019】
プロセッサ200は、図示しない操作パネルを備えてもよい。操作パネルの構成には種々の形態がある。操作パネルの具体的構成としては、例えば、プロセッサ200のフロント面に実装された機能毎のハードウェアキーやタッチパネル式GUI(Graphical User Interface)、ハードウェアキーとGUIとの組合せ等が考えられる。オペレータ(施術者)は、操作パネルによって後述するモード切替操作が可能となる。
【0020】
測光部203は、色変換回路206に含まれるゲイン回路から撮像して得られた画像信号の輝度情報を取得し、予め決められた適正輝度値(例えば、適正輝度値の情報は、測光部203の図示しない内部メモリに予め格納しておくことができる)と比較し、比較結果(現状の輝度値が適正か、高いか、あるいは低いか)をシステムコントローラ202に通知する。
【0021】
システムコントローラ202は、図示省略のメモリに格納された各種プログラムを実行し、内視鏡システム1全体を統合的に制御する。システムコントローラ202は、制御信号を用いて、プロセッサ200に接続されている内視鏡装置100に適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。なお、システムコントローラ202は、上述の操作パネルに接続されてもよい。
【0022】
また、システムコントローラ202は、測光部203から適正輝度値との比較結果を受け取り、現状の露光(露出)を維持すべきか、露光を上げるべきか(上げるレベル値を含む)、あるいは露光を下げるべきか(下げるレベル値を含む)を決定し、露光制御信号として光源装置201に出力する。
【0023】
さらに、システムコントローラ202は、操作パネルから入力されるオペレータからの指示に応じて、内視鏡システム1の各動作及び各動作のためのパラメータを変更する。例えば、オペレータが操作パネルによって観察モードを選択する(モード切替操作)と、システムコントローラ202は、観察モードに対応した光源を発光させるためのモード選択信号を光源装置201に出力する。後述するが、光源装置201としては、例えば、それぞれ異なる波長帯域の光を出射する複数のLED(Light Emitting Diode)を用いることができる(
図3参照)。オペレータが、例えば、プロセッサ200に設けられたモード選択スイッチを操作することによって観察モード(例えば、通常観察モード、特殊光観察モード、SatO2モードなど)を選択すると、システムコントローラ202は、選択されたモードに対応するモード選択信号を生成し、これを光源装置201の光源制御部2016に供給する(
図3参照)。光源制御部2016は、モード選択信号に基づいて、発光させるLEDの組み合わせとそれらの強度および光量を決定し(例えば、モード選択信号に対応する、発光LEDの組み合わせ等が図示しない内部メモリに予め格納されている)、必要なLED制御信号を各LED2011から2015に出力する。各LED2011から2015は、光源制御部2016から供給されてきたLED制御信号に基づいて各波長帯域光を出射すると、各出射光はクロスプリズムによって合成され、照射光(合成光)が生成される。
【0024】
内視鏡装置100とプロセッサ200との間のデータ通信は、有線の電気通信方式を用いてもよいし、光無線通信方式を用いてもよい。
【0025】
図2に示されるように、内視鏡装置100とプロセッサ200は、スコープコネクタ400を介して接続される。コネクタ400は、プロセッサ200から内視鏡装置100へと続くLCB101の一部を構成するLCBと、スコープコネクタ回路401と、を備える。なお、本実施形態では、スコープコネクタ回路401は、スコープコネクタ400内に設けられているが、必ずしもスコープコネクタ400の内部に設けられなくても良い。例えば、プロセッサ200側のコネクタ部やプロセッサ200の内部にスコープコネクタ回路401に相当する回路を設けてもよい。
【0026】
<光源装置201の内部構成例>
図3は、例えば、プロセッサ200の内部に設けられた光源装置201の内部構成例を示す図である。
【0027】
光源装置201は、緑色光を出射する緑LED2011と、青色光を出射する青LED2012と、赤色光を出射する赤LED2013と、アンバー光を出射するアンバーLED2014と、UV光を出射するUV LED2015と、各LED2011から2015の発光を制御する光源制御部2016と、クロスプリズム2017および2018と、を備えている。
【0028】
光源制御部2016は、露光制御信号をシステムコントローラ202から受信すると、現在発光している各LED(観察モードによって発光させるLEDの組み合わせは決まっている)の発光期間および印加電流値を制御することにより、各LEDの発光プロファイルを変更して露光調整(光量調整)をする(後述の
図12参照)。例えば、発光プロファイルを1段階変更した後、光源制御部2016は、測光部203による測光結果(適正輝度値との比較結果)によって決まる露光制御信号に基づいて、上記発光プロファイルを再度変更して露光調整するか判断する。
【0029】
また、光源制御部2016は、オペレータによって選択された観察モードを示すモード選択信号に基づいて、発光すべきLEDの組み合わせを決定する。発光開始段階では、光源制御部2016は、例えば、予め決められた発光プロファイル(デフォルトの発光期間および駆動電流値)に基づいて、各LEDの発光を制御し、その後は、上述のような露光調整を行う。
【0030】
<各LED光源について>
図4は、各LED2011から2015のスペクトル(波長特性)を示す図である。また、
図5は、クロスプリズム2017および2018に各LEDを透過させて生成される照明光(観察部位を照明する光)の特性を示す図である。
【0031】
緑LED2011の透過波長帯域は540nmから575nmであり、ピーク波長は550nm、半値幅は30nmである。緑LED2011には蛍光体が搭載され、この蛍光体により、
図4に示すように、約400nmから780nmの透過波長領域の光が発せられる。つまり、緑LEDと蛍光体により実質的に白色光が出射されるが、この白色光は中間生成物であり、後述するように、クロスプリズム2018によって透過波長帯域は狭められ、観察部位には緑光が照射される。青LED2012の透過波長帯域は460nmから490nmであり、ピーク波長は456nm、半値幅は21nmである。赤LED2013の透過波長帯域は630nmから1000nmであり、ピーク波長は650nm、半値幅は20nmである。アンバーLED2014の透過波長帯域は600nmから615nmであり、ピーク波長は613nm、半値幅は19nmである。UV LED2015の透過波長帯域は385nmから425nmであり、ピーク波長は405nm、半値幅は14nmである。
【0032】
蛍光体が搭載された緑LED2011を含む各LED2011から2015から発生られた各光(中間生成物としての白色光、青色光、赤色光、アンバー光、UV光)は、クロスプリズム2017および2018を透過すると、
図5に示す特性の各光となって観察部位に照射されることになる。詳細には、緑LED2011+蛍光体から発生られた白色光は、クロスプリズム2018によって、透過波長帯域が制限され、520nmから595nmの緑光となる。青色LED2012から発せられた青色光は、クロスプリズム2017および2018によって、440nmから500nmの青色光となる。また、赤色LED2013から発せられた赤色光は、クロスプリズム2017および2018によって、620nmから630nmの赤色光となる。アンバーLED2014から発せられたアンバー光は、クロスプリズム2017および2018によって、580nmから630nmのアンバー光となる。さらに、UV LED2015から発せられたUV光は、クロスプリズム2018によって、380nmから450nmのUV光となる。
【0033】
<各LEDのリニアリティ差の補正>
光源装置201を複数のLEDで構成する場合、各LED2011から2015が発する光の波長のみならず、配光(各方向における光度分布)が異なる場合(
図6参照:配光分布が異なるLEDを用いた光源の構成例)があり、各LED2011から2015からの出射光の色や配光の変化が発生する可能性がある。また、LEDの種類によっては駆動電流値を下げるために順方向電圧を下げると、駆動電流値が急激に低下しLEDが発光しなくなるため駆動電流値を大きく下げることができない場合がある。このような状況に対処するため、各LED2011から2015の駆動電流制御に合せて各LED2011から2015の出射光量/電流比のリニアリティの差を動的に補正しなければならなくなる。
【0034】
しかし、リニアリティの差を動的に補正する処理は複雑であるため、予めリニアリティの差がないように駆動電流値を決定することが好ましい。そこで、本実施形態では、出射光量/電流比のリニアリティを補正するための補正テーブルを予め用意し、これを用いて各LED2011から2015の駆動電流値を決定する。
図7は、各LEDの出射光量/電流比のグラフを示す図である。
図7では、一例として2つのLED(LED1およびLED2)のみの関係を示しているが、本実施形態に示すような5つのLED2011から2015を用いる場合も同様である。
図7に示すような各LEDの出射光量/電流比の関係は、予め各LEDを測定することによって取得することができる。このため、補正値として、出射光量/電流比の関係の逆数を補正パラメータとする補正テーブルを予め備えておき(メモリに格納しておく)、光源制御部2016は、所望の出射光量(露光調整によって得られる目標出射光量)に対応する補正パラメータを乗算することにより、補正された駆動電流値を算出し、各LEDを駆動する。このようにすることにより、各LEDの出射光の波長や配光が異なっている場合であっても出射光量/電流比のリニアリティを適切に制御することが可能となる。
【0035】
<撮像素子の撮像面の構成例>
図8は、CMOSセンサを一例とするローリングシャッタ方式の撮像素子の有効画素領域と無効領域を示す図である。CMOSセンサは、撮像可能な有効画素領域と撮像することができない無効領域を含んでいる。また、有効画素領域の一部(周辺部)はマスクされ、実質的には画像信号を取得できない領域となっている。このような撮像素子を用いて撮像する場合(グローバル露光の場合)、様々な現象(特徴)が撮像画像に現れることになる。なお、本実施形態では、画面に表示されない期間をグローバル露光期間するが、本実施形態の思想はこの場合に限定されるものではない。
【0036】
<一般的な調光制御処理>
図9は、一般的な調光制御処理を実行する場合に、
図8に示す撮像面を有する撮像素子を用いて撮像した画像に現れる現象(特徴)を示す図である。
図9aのように、画面に示されないラインの読み出し期間内にパルス発光すると、擬似グローバル露光を実現することができる。また、
図9bのようにパルス発光すると、有効画素領域の一番上のラインは読み出しからリセットまでの期間分だけ他のラインよりも露光量が少なくなり、一番上のラインが多少暗く映るが、読み出しからリセットまでの期間が擬似グローバル露光期間よりも十分に短ければ(例えば、1%未満)暗さは目立たない。また、
図9cのようにパルス発光すると、有効画素領域の上半分程度が僅かに暗くなるが、各ラインの総露光量が増加している分だけさらにその領域の暗さが目立たなくなる。このように、パルス発光期間が伸びるほど露出量が異なる領域は広がるが露出量が異なることに起因する明るさの違いは目立たなくなるという特徴がある。さらに、
図9dのように、パルス発光期間をさらに伸ばすと、直前のパルス成分が増加すると、画面下部から上部に掛けて滑らかに比率が変わっていく。このため、アーティファクトや歪(好ましくない現象)が目立ちにくくなる。
【0037】
また、一般的な調光制御処理(
図9)の場合、擬似グローバル露光期間の一部の期間(例えば、
図9aの場合)のみ、または擬似グローバル露光期間の全部とローリングシャッタ期間の一部を含む連続した期間(例えば、
図9bからdの場合)に均一な強度のパルス発光をフレーム毎に1回行う。パルス発呼期間がローリングシャッタ期間を含む場合(
図9bからdの場合)、パルス発光中に読み出し・リセットされたラインは、リセット期間分露光量が少なくなり、他のラインとの境界に横縞が発生することがある。ただし、パルス発光期間がリセット期間に比べて十分に大きく、期間と位相が一定で変化しなければ横縞は目立たない。
【0038】
<パルス発光期間伸縮による走査線様ノイズ(横縞の上下移動)の発生と、パルス発光期間伸縮処理の必要性>
露光(露出)が適正の状態が継続し、パルス発光期間が固定(パルス発光プロファイルが固定)であれば画面上に出現する明暗の横縞は動かない(走査線様ノイズが発生しない)ため、横縞は目立たない。しかし、実際には、被写体の露光(露出)レベルは被写体の条件によって変動するため、照明光のパルス発光期間を伸長あるいは短縮して適切な露光(露出)レベルにする必要がある。
【0039】
一方、パルス発光期間を変動させると、横縞が画面上で上下に移動することになる。画面上の明るい領域と暗い領域の割合に変化が生じるため横縞が移動しているように見えるからである。この横縞の移動を目立たなくするためには、パルス発光期間の伸縮処理を工夫する必要がある。
【0040】
以下に、単純にパルス発光期間を伸縮する場合とこの場合の技術的課題について説明し、引き続き、この単純なパルス発光期間の伸長による技術的課題を解決する改善案について説明する。
【0041】
<パルス発光期間調整による明暗制御(光量低減および光量増加制御)>
まずは、単純に、一方向に対してパルス発光期間を伸縮する場合について説明する。
【0042】
(i)光量低減制御(
図10):パルス発光期間短縮(画面が明るすぎるため暗くしたい場合)
図10は、パルス発光期間を短縮することにより画面を暗くする光量低減制御を説明するための図である。光量低減制御には、パルス発光期間を前方から(時間が進行する方向から(対象となる擬似グローバル露光期間の後(未来)のローリングシャッタ期間から))短縮する制御(
図10A)と、パルス発光期間を後方から(時間が経過した方向から(対象となる擬似グローバル露光期間の前(過去)のローリングシャッタ期間から))短縮する制御(
図10B)がある。
【0043】
上述のように、パルス発光期間を短縮する(光量を低減する)と画面上で暗い領域の面積が増加し、横縞(明るい領域と暗い領域の境界線)が上下に移動するため、画面における横縞の存在が目立ってしまう。しかし、パルス発光期間を短縮する方向(パルス発光期間を前方から短縮するか、後方から短縮するか)によって、その目立ち方に違いがある。
【0044】
例えば、
図10Aの第4フレーム1001と
図10Bの第4フレーム1002を見ると、どちらの総発光量(発光強度×総発光期間)も同一となっているため、画面の明るさは同一となっている。しかし、これらについて、どちらの方向からパルス発光期間を短縮させるかによって、画面の暗転態様(暗く変化する際の態様)に違いが出る。
図10Aの場合、つまりパルス発光期間を前方(時間の進行する方向)から短縮する場合、暗い領域が画面の下から上に増えながら画面全体が暗く変化していく。一方、
図10Bの場合、つまりパルス発光期間を後方(時間が経過した方向)から短縮する場合、明るい領域が上から下に増えながら画面全体が暗く変化していく。このため、オペレータにとって、
図10Aの暗転態様は自然であるが、
図10Bのそれは不自然なものとなる。なお、第6フレーム1003のように、短縮されたパルス発光期間が擬似グローバル露光期間内に入ってくると上述のような不自然な暗転現象は生じなくなるため、
図10Aおよび
図10B、どちらのパルス発光期間短縮処理を適用してもよい。
【0045】
よって、パルス発光期間にローリングシャッタ期間の少なくとも一部が含まれる場合(発光プロファイルがローリングシャッタ期間の少なくとも一部を含み場合)、パルス発光期間を短縮させる方向によって画面全体の暗くなる変化の仕方が上述のように異なる。このため、パルス発光期間を短縮する場合には、前方から短縮する必要がある(
図10Aの短縮処理を採用する必要がある)ことが分かる。
【0046】
(ii)光量増加制御(
図11):パルス発光期間伸長(画面が暗すぎるため明るくしたい場合)
図11は、パルス発光期間を伸長することにより画面を明るくする光量増加制御を説明するための図である。光量増加制御には、パルス発光期間を後方に(時間が経過した方向に(対象となる擬似グローバル露光期間の前(過去)のローリングシャッタ期間に))伸長する制御(
図10A)と、前方に(時間が進行する方向に(対象となる擬似グローバル露光期間の後(未来)のローリングシャッタ期間に))伸長する制御(
図10B)がある。
【0047】
例えば、
図11Aの第3フレーム1101と
図11Bの第4フレーム1102を見ると、どちらの総発光量(発光強度×総発光期間)も同一となっているため、画面の明るさは同一となっている。しかし、これらについて、どちらの方向からパルス発光期間を伸長させるかによって、画面の明転態様(明るく変化する際の態様)に違いが出る。
図11Aの場合、つまりパルス発光期間を後方(時間が経過した方向)に伸長する場合、明るい領域が画面の下から上に増えながら画面全体が明るく変化していく。一方、
図11Bの場合、つまりパルス発光期間を前方(時間が進行する方向)に伸長する場合、暗い領域が上から下に増えながら画面全体が明るく変化していく。このため、ユーザ(オペレータ)にとって、
図11Aの明転態様は自然であるが、
図11Bのそれは不自然なものとなる。
よって、パルス発光期間を伸長する場合には、後方に伸長する必要がある(
図11Aの伸長処理を採用する必要がある)ことが分かる。
【0048】
(iii)パルス発光間隔を短縮してから伸長する処理、およびパルス発光期間を伸長してから短縮する処理
上記(i)および(ii)で説明したように、パルス発光期間を短縮する場合には前方から短縮し、パルス発光期間を伸長する場合には後方に伸長する必要があることが分かる。
【0049】
しかし、これら2つの処理は両立しない。例えば、
図10Aの第4フレーム1001の状態から画面を明るくしたいとき、
図11Aに示すように、後方にパルス発光期間を伸長していきたいが、この場合、パルス発光期間が前方に存在する状態で後方にローリングシャッタ期間を伸長していくことになる(この伸長処理自体に問題はない)。そして、後方への伸長処理が完了して適正露出レベルになった後に再度被写体条件が変わり、画面を暗くしたいときには、
図10Aの処理に従って、パルス発光期間を前方のローリングシャッタ期間から短縮することになる。この場合、前方からの処理なので走査線様ノイズ(横縞の上下移動)は目立たなくすることができる。しかし、前方のローリングシャッタ期間が十分でない場合、パルス発光期間短縮処理を繰り返している間(適正露光(露出)レベルに達するまでの間)に擬似グローバル露光期間に到達してしまう可能性がある。このとき、さらに暗くしなければならないときには後方のローリングシャッタ期間を短縮することになるが、この場合には走査線様ノイズが目立つことになり、適切ではない。
そこで、パルス発光期間の伸長および短縮処理にはさらなる改良が必要となる。
【0050】
<改良されたパルス発光期間調整(伸長および短縮)処理>
図12は、改良されたパルス発光期間調整処理の概要を示す図である。改良されたパルス発光期間調整処理においても、画面における走査線様ノイズ(横縞の上下移動)を目立たなくするために、明るくするとき(光量増加)は後方にパルス発光期間を伸長し(
図10Aと同様)、逆に暗くするとき(光量低減)は前方からパルス発光期間を短縮する(
図11Aと同様)。この調整動作は、
図12(1)光量増加制御、および
図12(2)光量低減制御に示されている。
【0051】
例えば、発光プロファイル1206の状態から光量を減らし暗くしたいときには、発光プロファイル1206の前方にローリングシャッタ期間が含まれていないので、
図12(2)(=
図10A)の光量低減制御を実行することはできない。そこで、光量低減処理(
図12(2))を実行する前に、光量シフト制御処理(
図12(3))を実行することにより、後方のローリングシャッタ期間における発光量を前方のローリングシャッタ期間にシフトさせる。この場合、シフト前後における総光量(発光プロファイルの面積)は同一となるようにシフト動作は制御される。当該光量シフト制御処理は、後方のローリングシャッタ期間における発光量の全てを前方のローリングシャッタ期間に割り当てることにより完了する。従って、発光プロファイル1206は、この光量シフト制御処理により、発光強度および発光期間長が同一の発光プロファイル1207のように調整される。そして、この状態に調整された発光プロファイル1208(発光プロファイル1207と同一)から光量低減制御処理が実行され、前方からローリングシャッタ期間のパルス発光期間が短縮される。
【0052】
当該光量シフト制御処理は時間を掛けて実行される(発光プロファイル1206から1207に時間を掛けて変更する)ため、オペレータが光量シフト制御処理の完了を待たずに直ぐに画面を暗くしたい(急速に画面暗転させたい)場合もある。このような場合(場面)に対応するため、光量シフト制御処理と光量低減制御処理を同時に実行することもできる(
図12(4):光量低減+シフト)。ただし、
図12(4)では、パルス発光期間短縮によってではなく発光強度レベルを下げることにより光量低減を実現する。この場合、後方のローリングシャッタ期間の光量を前方のローリングシャッタ期間にシフトしながら、全パルス発光期間に亘って発光強度を下げる処理が行われる。ここで重要なことは、単に強度を下げるだけではなく、光量シフト制御処理も並行して継続実行される点である。光量シフト制御処理を実行しないと時間方向にパルス発光期間を短縮することができない(光量低減処理を実行することができない)ためである。そして、後方のローリングシャッタ期間の全光量の前方のローリングシャッタ期間へのシフト動作が完了したら(発光プロファイル1209に変換したら)、総光量(発光プロファイルの面積=発光強度×パルス発光期間長)を一定にしつつ、ローリングシャッタ期間の光量を発光強度上昇のために割り当てる(発光強度の最大値まで上昇させる)ことにより発光プロファイル1210を形成する。発光プロファイル1210の状態にした後は、画面を暗くするのであれば前方のローリングシャッタ期間を短縮(
図12(2))すればよいし、画面を明るくするのであれば後方にローリングシャッタ期間を伸長(
図12(1))すればよい。なお、発光プロファイルが、前方のローリングシャッタ期間にパルス発光期間を含んでいる場合もある。この場合には、光量低減制御処理(
図12(2)の処理)を即座に実行すればよい。
【0053】
一方、光量低減+シフト処理(
図12(4))を実行中に被写体の撮像条件が変化し、直ぐに画面を明るくしたい(急速に画面明転させたい)場合(場面)もある。この場合には、発光強度レベルが最大値に無い状態(発光プロファイル1211)から光量シフト制御処理と光量増加制御処理を同時に実行することにより、画面を明るく(露光レベルを上げる)ことができる(
図12(5):光量増加+シフト)。ただし、
図12(5)では、パルス発光期間伸長によってではなく発光強度レベルを上げることにより光量増加を実現する。例えば、発光プロファイル1211から光量を増加させて画面を明るくしたい場合、
図12(5)に示すように、発光プロファイル1211から発光強度レベルを上げると同時に、後方のローリングシャッタ期間における光量を前方のローリングシャッタ期間にシフトする。そして、発光強度レベルが最大値になるまで、かつ後方のローリングシャッタ期間の全光量が前方のローリングシャッタ期間にシフト完了するまで、この動作が繰り返される。発光強度レベルが最大値、かつ光量シフト完了時の発光プロファイル(図示せず)の露光(露出)レベルが適正であれば、処理は完了する。一方、この状態からさらに明るくしたい場合には、後方にパルス発光期間を伸長する(
図12(1)の処理を実行する)ことになる。また、この状態から再度暗くしたい場合には、前方からパルス発光期間を短縮する(
図12(2)の処理を実行する)ことになる。なお、発光プロファイルが、後方のローリングシャッタ期間にパルス発光期間を含んでいない場合もある。この場合には、光量シフト処理は実行せずに、光強度レベルを最大値まで上げる処理を実行した後に、光量増加制御処理(
図12(1)の処理)を実行すればよい。
【0054】
<改良されたパルス発光期間調整(伸長および短縮)処理:ユースケース(一連の流れ)>
(i)パルス発光期間を短くしている状態(例えば、発光プロファイル1212(
図12(1)参照))から被写体と内視鏡装置100の先端部12との距離が遠ざかり、画面が暗くなったので光を増やしたいという状況になった場合には、光量増加制御処理(
図12(1))を実行して、擬似グローバル露光期間よりも後方(過去のローリングシャッタ期間の方向)にパルス発光期間を伸長する。パルス発光期間を伸長している最中(あるいは適正明るさとなって伸長は止めたが光量シフト制御処理が完了していない状態)に被写体と内視鏡装置100の先端部12の距離が接近し、画面が過剰に明るくなったので光を減らしたい場合、光量シフト制御処理が完了しておらず、擬似グローバル露光期間の前方(時間の進行方向)にパルス発光期間がない状態であるので、光量低減制御処理(
図12(2))を実行することができない。このため、発光強度レベルを下げる光量低減制御処理と光量シフト制御処理とを同時に実行(
図12(4))して、画面明るさを適正にする。さらに、前方のローリングシャッタ期間に光量シフトしたパルス成分を発光強度に還元して強度低下が解消された状態(例えば、発光プロファイル1210)に到達する前に、被写体と内視鏡装置100の先端部12が再度遠ざかり、画面が暗くなったので光を増やしたいという状況になった場合には、直ぐに光量増加制御処理(
図12(1))を実行すると強度低下が解消されない状態が継続してしまう。このため、光量増加制御処理を実行する前に一度強度を最大値に戻すために、発光強度レベルを上げる光量増加処理と光量シフト制御処理とを同時に実行(
図12(5))する。
【0055】
(ii)被写体と内視鏡装置100の先端部12との距離が接近し、画面が過剰に明るくなったので光を減らしたいという状況になった場合、光量シフト制御処理を実行せずに発光強度レベルを下げて画面を暗くしてもよい。そのとき、例えば、発光プロファイル1206から発光プロファイル1211の状態にすることができる。この状態(発光プロファイル1211)で、再度画面を明るくしたい場合には、直ぐに光量増加制御処理(
図12(1))を実行するのではなく、発光強度レベルを上げる光量増加処理と光量シフト制御処理とを同時に実行(
図12(5))する。発光強度レベルが最大値に達したが、所望の明るさになっていない場合には、パルス発光期間を後方に伸長していく光量増加制御処理(
図12(1))を実行することができる。
【0056】
<1回の光量シフト制御処理におけるシフト量>
対象フレームの擬似グローバル露光期間の1フレーム前(後方)のローリングシャッタ期間の全部に亘ってパルス発光期間が設定されている場合、上述の光量シフト制御処理(
図12(3)参照)は、例えば約1秒間掛けて全てのパルス発光期間を現フレーム(前方)のローリングシャッタ期間にシフトするように実行される。つまり、シフト動作完了までに掛かる最大時間が1秒間である。例えば、1秒間に撮像されるフレーム数が60フレームである場合、1回のシフト動作に掛ける時間は、1/60秒ということになる。1秒間に30フレーム撮像する場合には、1回のシフト動作に掛ける時間は1/30秒である。
このように時間を掛けてゆっくりと光量シフト制御処理を実行することにより、走査線様ノイズを目立たなくすることができるようになる。
【0057】
<オフセット発光処理>
図13および
図14は、無発光期間(あるいは、発光が視認できないほど発光強度が弱い弱発光期間)におけるオフセット発光処理を説明するための図である。
図13は、微弱パルスによるオフセット発光を示している。
図14は、被写体に撮像素子が急接近したとき、オフセット発光の有無によって現れる撮像画像の相違点を示す図である。なお、ここで、「微弱」とは、強発光期間における発光強度よりも十分に低いが発光が視認できる程度の発光強度であることを意味するものとする。また、本実施形態では、オフセット発光として微弱パルスを一例に挙げているが、微弱連続発光であってもよいし、微弱パルス発光と微弱連続発光以外の発光パターンでもよい。また、パルス発光と連続発光を組み合わせて発光パターンを構成してもよいし、不規則なパルス幅での発光パターンを構成してもよい。
【0058】
オフセット発光処理は、従来の調光制御処理(
図9など)や本実施形態によるパルス発光期間調整(調光制御)処理(
図12参照)とは別に(調光制御処理のバックグラウンドで)実行され、無発光期間に微弱なオフセット発光する処理である。微弱なオフセット発光は、調光制御処理(何れの調光制御処理でも当てはまる)による発光の強度が所定値以上ある場合には、0(ゼロ)と見做すことができる。一方、調光制御処理による発光の強度が所定値未満となれば(あるいは発光強度がゼロのとき)、オフセット発光のみで被写体を照射することになる。この結果、本来なら無発光期間で起こった事象は画像として取得できないところ、オフセット発光によって無発光期間での事象も捉えることができるようになる。
【0059】
図14を参照すると、微弱オフセット発光が無い場合、フレームFkの撮像画像は、フレームFk-1と同一の画像が取得される。一方、微弱オフセット発光を行う場合、パルス光あるいは連続光の何れの場合であっても、フレームFkの撮像画像は、フレームFk-1とは明らかに異なる画像となっており、フレームFkで撮像素子が被写体に急接近したときの事象が捉えられていることが分かる。また、フレームFk+1の撮像画像は、微弱オフセット発光の有無によって違いが無いことが分かる。
【0060】
<パルス発光期間調整(調光制御)処理:フローチャート>
図15は、本実施形態による調光制御処理を説明するためのフローチャートである。以下の各ステップの処理は、主にシステムコントローラ202を動作主体として説明されているが、これに限らず、動作制御や演算処理をする制御部(プロセッサ)を別途設けてそれに実行させるようにしてもよい。また、システムコントローラ202の機能を光源装置201の光源制御部2016に持たせて構成してもよい。従って、調光(還元)制御処理は、内視鏡システム1の全体の動作の一部とすることもできるし、光源装置201の動作の一部とすることもできる。この場合は、光源制御部2016が各ステップの処理の主な動作主体となる。
【0061】
(i)ステップ1501
光源制御部2016は、システムコントローラからオペレータによって選択された観察モードに対応するモード選択信号を受信し、発光すべき各光源(緑LED2011からUV LED2015の何れかの組み合わせ)について、上記補正テーブルを用いて、各光源の出射光量/電流比のリニアリティを補正する。
【0062】
(ii)ステップ1502
光源制御部2016は、出射光量/電流比のリニアリティ補正後の駆動電流によって各光源を駆動して発光させて照明光を生成し、被写体にこの照明光を照射する。なお、このときの発光プロファイル(強発光の期間と弱発光のレベルおよび期間)は所定の値(デフォルト値)とすることもできるし、前回の内視鏡使用時で最後の動作で用いた発光プロファイルを用いることもできる。
【0063】
(iii)ステップ1503
撮像ユニット103の撮像素子(例えば、CMOSセンサ)は、ステップ1702で生成された照明光を被写体(観察部位)に照射することにより発生する被写体からの反射光を検出し、スコープコネクタ回路401を介して撮像画像信号をプロセッサ200に送信する。測光部203は、現在の撮像画像信号の輝度情報を色変換回路206に含まれるゲイン回路から取得し、予め決められた適正輝度値と比較(例えば、差分値を取る)し、当該比較結果をシステムコントローラ202に受け渡す。なお、測光部203では、ゲイン回路から現在の撮像画像信号の輝度情報のみを取得し、適正輝度値との比較はシステムコントローラ202など他の処理部で実行してもよい。
【0064】
(iv)ステップ1504
システムコントローラ202は、測光部203から受け取った比較結果(あるいは、システムコントローラ202が比較結果(差分値)を算出してもよい)と所定の閾値(露光レベルが適正かを判断するための閾値)とを比較し、現在の露光レベルが適正であるか判断する。例えば、比較結果(差分値)が当該所定の閾値以下であれば適正と判断することができる。現在の露光レベルが適正ではないと判断された場合(ステップ1504でNoの場合)、処理はステップ1507に移行する。一方、現在の露光レベルが適正であると判断された場合(ステップ1504でYesの場合)、処理はステップ1505に移行する。
【0065】
(v)ステップ1505
光源制御部2016は、システムコントローラ202から適用すべき発光プロファイルの情報を受信し、受信した発光プロファイルおよびモード選択信号に基づいて、各LED2011から2015の何れかを発光して照明光を生成して被写体に照射させる。また、撮像ユニット103の撮像素子(CMOSセンサ)は、照明光が照射された被写体から反射光を検出し、撮像画像信号を生成してプロセッサに送信する。また、プロセッサ200は、撮像画像信号に対して所定の画像処理を実行して表示画像データを生成し、当該表示画像データをモニタ(表示装置)300の画面上に表示する。
【0066】
(vi)ステップ1506
システムコントローラ202は、オペレータから撮像終了や照明光オフなど、観察終了の指示が入力されたか判断する。観察終了の指示が入力された場合(ステップ1506でYESの場合)、調光制御処理は終了する。観察終了の指示が入力されない(指示が検知されない)場合(ステップ1506でNOの場合)、処理はステップ1503に移行し、現在の露光レベルが適正か否かの判断・監視、および調光制御処理などが継続して行われる。撮像ユニット103は、内視鏡装置100の先端部12に設置されており、被検者の体腔内を移動する。従って、被写体(観察部位)に近づいたり遠ざかったりするため、露光レベルに変化が生じることがある。そのため、常に撮像画像の輝度レベルを監視し、適正な露光レベルを維持するように光源装置201の動作は制御される。
【0067】
(vii)ステップ1507
システムコントローラ202は、オペレータから急速な明暗変更が指示されているか判断する。光量を調整して画面の明暗を変更する場合、通常は、光量シフト制御処理(
図12(3))を終了させてから、光量増加制御処理(
図12(1))あるいは光量低減制御処理(
図12(2))を実行する。しかし、被写体の観察状況によっては、後方のローリングシャッタ期間における全ての光量を前方のローリングシャッタ期間にシフトし終わる前に明暗変更する必要がある場合がある。そこで、急速な明暗変更処理が必要な場合には、光量シフト制御処理に加えて発光強度で明暗変更を実現するようにしている(
図12(4)および(5))。
【0068】
急速な明暗変更を実行する場合(ステップ1507でYESの場合)、処理はステップ1513に移行する。一方、急速な明暗変更を実行しない場合(ステップ1507でNOの場合)、処理はステップ1508に移行する。
【0069】
(viii)ステップ1508
システムコントローラ202は、オペレータによって画面を明るくすることが指示されているか、暗くすることが指示されているか判断する。明るくすることが指示されている場合、処理はステップ1509に移行する。一方、暗くすることが指示されている場合、処理はステップ1511に移行する。なお、オペレータの指示の他、撮像画像における輝度値レベルを測光部203で測定し、露光レベルを上下させるか自動的に判断するようにしてもよい。
【0070】
(ix)ステップ1509
画面を明るくすることが指示されている場合、システムコントローラ202は、光量増加制御処理を実行することにより、現在の発光プロファイルのパルス発光期間を伸長する(光量を増加)。つまり、システムコントローラ202は、
図12(1)に示すように、後方のローリングシャッタ期間のパルス発光期間を伸長し、所望の明るさになるまで発光プロファイルの総光量を増加させる。
【0071】
(x)ステップ1510
システムコントローラ202は、ステップ1509で変更された発光プロファイルに対して、擬似グローバル露光期間より後方(時間が経過した方向)のローリングシャッタ期間(1つ前のフレームのローリングシャッタ期間)におけるパルス発光期間の光量を前方(時間が進行する方向)のローリングシャッタ期間(現フレームのローリングシャッタ期間)にシフトする。この際、シフト前後の発光プロファイルの総光量(発光強度×パルス発光期間=発光プロファイルの面積)は同一になるようにシフト動作が制御される(
図12(3)参照)。
【0072】
この光量シフト制御処理は、後方のローリングシャッタ期間における発光成分の全てが前方のローリングシャッタ期間にシフトされる(割り当てられる)まで実行される。1回の動作でシフトされる光量は、1フレームにおける全ローリングシャッタ期間×発光強度の最大値で決まる光量を所定時間でシフトさせることができる量に定めることができる。例えば、所定時間を1秒間とし、1秒間に60フレーム撮像する場合、当該1回のシフト光量は、(1フレームにおける全ローリングシャッタ期間×発光強度の最大値で決まる光量)/60とすることができる。
【0073】
画面を明るくする場合、最初に光量を増加(ステップ1509)のは前方にパルス発光期間を伸長しても走査線様ノイズは目立たないためであり、その後光量をシフトする(ステップ1510)のは、後で、光量の増減処理を適切に(走査線様ノイズを目立たせずに)実行することを可能にするためである。
ステップ1510の後、処理はステップ1503に移行する。
【0074】
(xi)ステップ1511
画面を暗くすることが指示されている場合、システムコントローラ202は、まず、変更前(現在)の発光プロファイルに対して、擬似グローバル露光期間より後方(時間が経過した方向)のローリングシャッタ期間(1つ前のフレームのローリングシャッタ期間)におけるパルス発光期間の光量を前方(時間が進行する方向)のローリングシャッタ期間(現フレームのローリングシャッタ期間)にシフトする(
図12(3)参照)。
【0075】
(xii)ステップ1512
システムコントローラ202は、ステップ1511において光量シフトされた発光プロファイルに対して光量低減制御処理を実行することにより、発光プロファイルのパルス発光期間を短縮する(光量を低減)。つまり、システムコントローラ202は、
図12(2)に示すように、前方のローリングシャッタ期間におけるパルス発光期間を短縮し、所望の暗さになるまで発光プロファイルの総光量を減少させる。
ステップ1512の後、処理はステップ1503に移行する。
【0076】
(xiii)ステップ1513
画面を暗くする場合、システムコントローラ202は、パルス発光強度を下げながら、後方のローリングシャッタ期間におけるパルス発光期間の光量成分(発光成分)を前方のローリングシャッタ期間におけるパルス発光期間にシフトする(
図12(4)参照)。これにより、後方のパルス発光期間が短縮され、前方のパルス発光期間が伸長されるとともに、パルス発光強度が減少するので、画面暗転と光量シフトの2つの動作を同時に実行することができ、急速に画面を暗くすることができる。当該光量シフト動作によって前方のローリングシャッタ期間が所定期間以上になり適切な露光レベルになった場合、システムコントローラ202は、パルス発光強度が最大値になるまで、シフトによって増加した前方のパルス発光期間の光量(パルス発光成分)を置換する。つまり、総光量(発光プロファイルの面積)の同一性を保ちつつ、パルス発光期間を短縮する一方、パルス発光強度を上げる。結果的には、パルス発光強度低減処理と光量シフト制御処理とを同時に実行すること(
図12(4))により得られる発光プロファイル、光量シフト制御処理(
図12(3))を実行してから光量低減制御処理(
図12(2))を実行することによって得られる発光プロファイルと同一となる。
【0077】
一方、画面を明るくする場合、システムコントローラ202は、パルス発光強度を上げながら、後方のローリングシャッタ期間におけるパルス発光期間の光量成分(発光成分)を前方のローリングシャッタ期間におけるパルス発光期間にシフトする(
図12(5)参照)。所望の明るさになる前にパルス発光強度が最大値に達すると、システムコントローラ202は、後方のローリングシャッタ期間の方向にパルス発光期間を伸長する(所望の明るさになるまで)。結果的には、パルス発光強度増加処理と光量シフト制御処理とを同時に実行すること(
図12(5))により得られる発光プロファイルは、光量増加制御処理(
図12(1))を実行してから光量シフト制御処理(
図12(3))を実行することによって得られる発光プロファイルと同一となる。
【0078】
<本実施形態の効果>
本実施形態によれば、ローリングシャッタ歪みやアーティファクトを回避しつつ、充分な光量を確保して被写体を撮像することができるようになる。また、パルス発光期間の変化がローリングシャッタ期間に及んだとしても横縞の上下移動を目立ちにくくすることができる。さらに、光源として、複数のLEDを同時に使用する場合、発光強度が変わると各LEDの出射光量/電流比のリニアリティの違いを補正して電流制御をおこなわないと各LEDの光量の比率が変わってしまい、配光の変化や色の変化を起こしてしまうが、本実施形態に寄れば、短時間で発光強度を基に戻すことができ、このような課題を解決することが可能となる。
【0079】
<本開示の特定事項>
(1)特定事項1
被写体に照射する照明光を生成する光源装置であって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
前記複数の半導体発光素子の発光プロファイルを制御し、前記複数の半導体発光素子を駆動させる制御部と、を備え、
前記制御部は、露光レベルを上げる場合、前記発光プロファイルを、時間の進行方向とは逆方向である第1方向に伸長し、前記露光レベルを下げる場合、前記発光プロファイルを、時間の進行方向である第2方向から短縮する、光源装置。
【0080】
(2)特定事項2
特定事項1において、
前記発光プロファイルは、(i-1)前記被写体を撮像する撮像素子の擬似グローバル露光期間の少なくとも一部に前記照明光を出射する期間、あるいは(ii-2)前記撮像素子の擬似グローバル露光期間およびローリングシャッタ期間の少なくとも一部に前記照明光を出射する期間を示すパルス発光期間と、(ii)当該パルス発光期間における前記照明光の強度を示すパルス発光強度を規定する、光源装置。
【0081】
(3)特定事項3
特定事項2において、
前記制御部は、前記露光レベルを上げる場合、前記発光プロファイルを前記第1方向に伸長した後、前記擬似グローバル露光期間よりも前記第1方向にあるローリングシャッタ期間における発光成分を、前記擬似グローバル露光期間よりも前記第2方向にあるローリングシャッタ期間における発光成分にシフトさせて前記発光プロファイルを変更する、光源装置。
【0082】
(4)特定事項4
特定事項2において、
前記制御部は、前記露光レベルを下げる場合、前記擬似グローバル露光期間よりも前記第1方向にあるローリングシャッタ期間における発光成分を、前記擬似グローバル露光期間よりも前記第2方向にあるローリングシャッタ期間における発光成分にシフトさせて前記発光プロファイルを変更した後、当該変更後の発光プロファイルのパルス発光期間を前記第2方向から短縮する、光源装置。
【0083】
(5)特定事項5
特定事項2において、
前記制御部は、前記パルス発光強度が予め決められた最大値から下がった状態で前記露光レベルを急速に上げるように指示されている場合、前記パルス発光強度を上げながら、前記擬似グローバル露光期間よりも前記第1方向のローリングシャッタ期間の発光成分を前記擬似グローバル露光期間よりも前記第2方向にローリングシャッタ期間にシフトする、光源装置。
【0084】
(6)特定事項6
特定事項2において、
前記制御部は、前記露光レベルを急速に下げるように指示されている場合、前記パルス発光強度を下げながら、前記擬似グローバル露光期間よりも前記第1方向のローリングシャッタ期間の発光成分を前記擬似グローバル露光期間よりも前記第2方向にローリングシャッタ期間にシフトする、光源装置。
【0085】
(7)特定事項7
特定事項6において、
前記制御部は、前記第1方向のローリングシャッタ期間から前記第2方向のローリングシャッタ期間への前記発光成分のシフト動作によって前記第2方向のローリングシャッタ期間が所定期間以上になり適切な露光レベルに到達した後、前記パルス発光強度が予め決められた最大値になるように、前記第2方向のローリングシャッタ期間の発光成分を前記パルス発光強度の増加に置換する、光源装置。
【0086】
(8)特定事項8
特定事項1から7の何れか1項において、
前記制御部は、さらに、前記複数の半導体発光素子の出射光量/電流比のリニアリティを補正する処理を実行する、光源装置。
【0087】
(9)特定事項9
特定事項1から8の何れか1項において、
前記制御部は、前記発光プロファイルによる発光以外に、オフセット発光を、パルス光、あるいは連続光で実行する、光源装置。
【0088】
(10)特定事項10
観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
照明光を前記被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する撮像素子と、
前記画像信号を処理して前記被写体の画像を生成し、モニタに表示するプロセッサと、
前記画像信号に基づいて、前記複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、
前記主制御部から前記制御信号を受信し、前記発光プロファイルに応じた駆動信号で前記複数の半導体発光素子を駆動させる光源制御部と、を備え、
前記発光プロファイルは、 (i-1)前記被写体を撮像する撮像素子の擬似グローバル露光期間の少なくとも一部に前記照明光を出射する期間、あるいは(ii-2)前記撮像素子の擬似グローバル露光期間およびローリングシャッタ期間の少なくとも一部に前記照明光を出射する期間を示すパルス発光期間と、(ii)当該パルス発光期間における前記照明光の強度を示すパルス発光強度を規定し、
前記主制御部は、露光レベルを上げる場合、前記発光プロファイルを、時間の進行方向とは逆方向である第1方向に伸長し、前記露光レベルを下げる場合、前記発光プロファイルを、時間の進行方向である第2方向から短縮する、内視鏡システム。
【0089】
(11)特定事項11
特定事項10において、
前記主制御部は、前記露光レベルを上げる場合、前記発光プロファイルを前記第1方向に伸長した後、前記擬似グローバル露光期間よりも前記第1方向にあるローリングシャッタ期間における発光成分を、前記擬似グローバル露光期間よりも前記第2方向にあるローリングシャッタ期間における発光成分にシフトさせて前記発光プロファイルを変更する、内視鏡システム。
【0090】
(12)特定事項12
特定事項10において、
前記主制御部は、前記露光レベルを下げる場合、前記擬似グローバル露光期間よりも前記第1方向にあるローリングシャッタ期間における発光成分を、前記擬似グローバル露光期間よりも前記第2方向にあるローリングシャッタ期間における発光成分にシフトさせて前記発光プロファイルを変更した後、当該変更後の発光プロファイルのパルス発光期間を前記第2方向から短縮する、内視鏡システム。
【0091】
(13)特定事項13
特定事項10において、
前記主制御部は、前記パルス発光強度が予め決められた最大値から下がった状態で前記露光レベルを急速に上げるように指示されている場合、前記パルス発光強度を上げながら、前記擬似グローバル露光期間よりも前記第1方向のローリングシャッタ期間の発光成分を前記擬似グローバル露光期間よりも前記第2方向にローリングシャッタ期間にシフトする、内視鏡システム。
【0092】
(14)特定事項14
特定事項10において、
前記主制御部は、前記露光レベルを急速に下げるように指示されている場合、前記パルス発光強度を下げながら、前記擬似グローバル露光期間よりも前記第1方向のローリングシャッタ期間の発光成分を前記擬似グローバル露光期間よりも前記第2方向にローリングシャッタ期間にシフトする、内視鏡システム。
【0093】
(15)特定事項15
特定事項14において、
前記主制御部は、前記第1方向のローリングシャッタ期間から前記第2方向のローリングシャッタ期間への前記発光成分のシフト動作が完了し、適切な露光レベルに到達した後、前記パルス発光強度が予め決められた最大値になるように、前記第2方向のローリングシャッタ期間の発光成分を前記パルス発光強度の増加に置換する、内視鏡システム。
【符号の説明】
【0094】
1 内視鏡システム
100 内視鏡装置
103 撮像ユニット
200 プロセッサ
201 光源装置
2011 緑LED
2012 青LED
2013 赤LED
2014 アンバーLED
2015 UV LED
2016 光源制御部
2017、2018 クロスプリズム
202 システムコントローラ
203 測光部
300 モニタ