(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023039812
(43)【公開日】2023-03-22
(54)【発明の名称】光源装置、および内視鏡システム
(51)【国際特許分類】
A61B 1/06 20060101AFI20230314BHJP
A61B 1/045 20060101ALI20230314BHJP
G02B 23/24 20060101ALI20230314BHJP
G02B 23/26 20060101ALI20230314BHJP
H04N 23/40 20230101ALI20230314BHJP
H04N 23/56 20230101ALI20230314BHJP
H04N 23/74 20230101ALI20230314BHJP
【FI】
A61B1/06 611
A61B1/045 630
A61B1/06 612
G02B23/24 B
G02B23/26 B
H04N5/225 500
H04N5/225 600
H04N5/235 400
【審査請求】未請求
【請求項の数】24
【出願形態】OL
(21)【出願番号】P 2021147112
(22)【出願日】2021-09-09
(71)【出願人】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】林 佳宏
【テーマコード(参考)】
2H040
4C161
5C122
【Fターム(参考)】
2H040BA09
2H040CA04
2H040CA06
2H040GA02
2H040GA05
2H040GA06
2H040GA10
4C161QQ07
4C161RR02
4C161RR03
5C122DA26
5C122EA12
5C122FC02
5C122FF17
5C122FF23
5C122GG17
5C122GG21
5C122HA88
(57)【要約】
【課題】撮像素子のローリングシャッタに起因する歪みやアーティファクトの発生を回避しつつ、ローリングシャッタ期間(画素読み出し期間)中の変化に迅速に対応して光量制御を実行できるようにする。
【解決手段】本開示は、被写体に照射する照明光を生成する光源装置であって、波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、複数の半導体発光素子の発光プロファイルを制御し、複数の半導体発光素子を駆動させる制御部と、を備え、制御部は、撮像素子の疑似グローバル露光期間で本発光を行い、撮像素子の画素読み出し期間の少なくとも一部の期間で予備発光を行うように複数の半導体発光素子の発光プロファイルを制御し、予備発光の発光レベルは、本発光の発光レベルよりも小さい、光源装置を提案する。
【選択図】
図12
【特許請求の範囲】
【請求項1】
被写体に照射する照明光を生成する光源装置であって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
前記複数の半導体発光素子の発光プロファイルを制御し、前記複数の半導体発光素子を駆動させる制御部と、を備え、
前記制御部は、撮像素子の疑似グローバル露光期間で本発光を行い、前記撮像素子の画素読み出し期間の少なくとも一部の期間で予備発光を行うように前記複数の半導体発光素子の発光プロファイルを制御し、
前記予備発光の発光レベルは、前記本発光の発光レベルよりも小さい、光源装置。
【請求項2】
請求項1において、
前記予備発光の発光期間×発光レベルの合計値は、前記本発光の発光期間×発光レベルの値よりも、前記撮像素子のローリングシャッタに起因するノイズが無視できる程度に十分に小さい、光源装置。
【請求項3】
請求項1または2において、
前記制御部は、前記予備発光の発光期間×発光レベルの合計値を、前記本発光の発光期間×発光レベルの値の10%以下に制御する、光源装置。
【請求項4】
請求項1から3の何れか1項において、
前記制御部は、前記予備発光が前記画素読み出し期間の全期間に亘る連続光あるいはパルス光として構成されるように前記発光プロファイルを制御する、光源装置。
【請求項5】
請求項1から4の何れか1項において、
前記制御部は、前記被写体の観察画像の1フレーム分の測光値と第1の閾値とを比較し、前記発光プロファイルを変更するか否か決定する、光源装置。
【請求項6】
請求項5において、
前記制御部は、前記測光値が前記第1の閾値よりも大きく光量過剰である場合、前記本発光の発光レベルを複数フレーム亘って段階的に下げるように前記発光プロファイルを変更する、光源装置。
【請求項7】
請求項1または2において、
前記制御部は、前記被写体の観察画像の下部25%以下の部分を構成する画素の前記画素読み出し期間に、連続光あるいはパルス光の前記予備発光を行うように前記発光プロファイルを制御する、光源装置。
【請求項8】
請求項7において、
前記制御部は、前記予備発光の発光期間×発光レベルの合計値を、前記本発光の発光期間×発光レベルの値の10%以下に制御する、光源装置。
【請求項9】
請求項1または2において、
前記制御部は、前記被写体の観察画像の所定数ラインを構成する画素の前記画素読み出し期間に、連続光あるいはパルス光の前記予備発光を行うように前記発光プロファイルを制御する、光源装置。
【請求項10】
請求項9において、
前記制御部は、前記観察画像の最終の所定数ラインを構成する画素の前記画素読み出し期間に、前記連続光あるいは前記パルス光の前記予備発光を行うように前記発光プロファイルを制御する、光源装置。
【請求項11】
請求項7から10の何れか1項において、
前記制御部は、前記被写体の観察画像の1フレームにおける前記予備発光に基づく測光値と第2の閾値とを比較し、前記発光プロファイルを変更するか否か決定する、光源装置。
【請求項12】
請求項11において、
前記制御部は、前記測光値が前記第2の閾値よりも大きく光量過剰である場合、前記本発光の発光レベルを複数フレーム亘って段階的に下げるように前記発光プロファイルを変更する、光源装置。
【請求項13】
観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
照明光を前記被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する撮像素子と、
前記画像信号を処理して前記被写体の画像を生成し、モニタに表示するプロセッサと、
前記画像信号に基づいて、前記複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、
前記主制御部から前記制御信号を受信し、前記発光プロファイルに応じた駆動信号で前記複数の半導体発光素子を駆動させる光源制御部と、を備え、
前記主制御部は、前記撮像素子の疑似グローバル露光期間で本発光を行い、前記撮像素子の画素読み出し期間の少なくとも一部の期間で予備発光を行うように前記複数の半導体発光素子の発光プロファイルを制御し、
前記予備発光の発光レベルは、前記本発光の発光レベルよりも小さい、内視鏡システム。
【請求項14】
請求項13において、
前記予備発光の発光期間×発光レベルの合計値は、前記本発光の発光期間×発光レベルの値よりも、前記撮像素子のローリングシャッタに起因するノイズが無視できる程度に十分に小さい、内視鏡システム。
【請求項15】
請求項13または14において、
前記主制御部は、前記予備発光の発光期間×発光レベルの合計値を、前記本発光の発光期間×発光レベルの値の10%以下に制御する、内視鏡システム。
【請求項16】
請求項13から15の何れか1項において、
前記主制御部は、前記予備発光が前記画素読み出し期間の全期間に亘る連続光あるいはパルス光として構成されるように前記発光プロファイルを制御する、内視鏡システム。
【請求項17】
請求項13から16の何れか1項において、
前記主制御部は、前記被写体の観察画像の1フレーム分の測光値と第1の閾値とを比較し、前記発光プロファイルを変更するか否か決定する、内視鏡システム。
【請求項18】
請求項17において、
前記主制御部は、前記測光値が前記第1の閾値よりも大きく光量過剰である場合、前記本発光の発光レベルを複数フレーム亘って段階的に下げるように前記発光プロファイルを変更する、内視鏡システム。
【請求項19】
請求項13または14において、
前記主制御部は、前記被写体の観察画像の下部25%以下の部分を構成する画素の前記画素読み出し期間に、連続光あるいはパルス光の前記予備発光を行うように前記発光プロファイルを制御する、内視鏡システム。
【請求項20】
請求項19において、
前記主制御部は、前記予備発光の発光期間×発光レベルの合計値を、前記本発光の発光期間×発光レベルの値の10%以下に制御する、内視鏡システム。
【請求項21】
請求項13または14において、
前記主制御部は、前記被写体の観察画像の所定数ラインを構成する画素の前記画素読み出し期間に、連続光あるいはパルス光の前記予備発光を行うように前記発光プロファイルを制御する、内視鏡システム。
【請求項22】
請求項21において、
前記主制御部は、前記観察画像の最終の所定数ラインを構成する画素の前記画素読み出し期間に、前記連続光あるいは前記パルス光の前記予備発光を行うように前記発光プロファイルを制御する、内視鏡システム。
【請求項23】
請求項19から22の何れか1項において、
前記主制御部は、前記被写体の観察画像の1フレームにおける前記予備発光に基づく測光値と第2の閾値とを比較し、前記発光プロファイルを変更するか否か決定する、内視鏡システム。
【請求項24】
請求項23において、
前記主制御部は、前記測光値が前記第2の閾値よりも大きく光量過剰である場合、前記本発光の発光レベルを複数フレーム亘って段階的に下げるように前記発光プロファイルを変更する、内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光源装置、および内視鏡システムに関する。
【背景技術】
【0002】
ローリングシャッタ方式のイメージセンサを搭載する通常の内視鏡装置においては、当該イメージセンサの有効画素読み出し期間(ローリングシャッタ期間)に光源を消灯させ、それ以外の期間(擬似グローバル露光期間)に光源を点灯させること(パルス発光制御)により、擬似グローバル露光を実行し、ローリングシャッタに起因する望ましくない現象、例えば歪みやアーティファクトの発生を回避している。
【0003】
一方、ローリングシャッタ期間に光源を完全に消灯してしまうと、被写体(観察対象部位)次第で光量が不足してしまい、良好が画像を取得することができない。例えば、特許文献1から3などでは、この光量不足を解消するために、ローリングシャッタ期間の一部をパルス発光期間に含める光源制御について示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2018-182580号公報
【特許文献2】特許第5379932号公報
【特許文献3】特許第6239220号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1から3のような光源制御を実行すると、隣接するフレームでラインごとの露光時間差により画面の明るさムラや横縞などが発生する。そして、フレーム毎のパルス発光期間の変化によって、この明るさムラや横縞が表示画面上で上下移動して目障りとなるという課題がある。また、光量不足を解消するために、ローリングシャッタ期間にオフセット発光させる場合、オフセット発光がある程度強くなると、長時間露光画像および高速露光画像が二重露光されたような不自然な画像を生成してしまう(アーティファクトや走査線ノイズ(歪み)の発生)。
【0006】
さらに、特許文献1から3による技術では、消灯期間(ローリングシャッタ期間)中に変化した事象はその期間の読み出しでは観測されず、次のパルス発光で露光された次読み出しフレームでしか観測できない。このため、内視鏡先端が被写体に急接近したときなどに穿孔やハレーションが画像に発生するリスクがある。このような穿孔やハレーションの発生リスクを抑えるためには、急接近による画面の明るさの変化を迅速に捉え、それを光量制御に即座に反映させる必要がある。
【0007】
本開示は、このような状況に鑑みてなれたものであり、撮像素子のローリングシャッタに起因する歪みやアーティファクトの発生を回避しつつ、ローリングシャッタ期間(画素読み出し期間)中の変化に迅速に対応して光量制御を実行できるようにする技術を提案する。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本実施形態は、被写体に照射する照明光を生成する光源装置であって、波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、複数の半導体発光素子の発光プロファイルを制御し、複数の半導体発光素子を駆動させる制御部と、を備え、制御部は、撮像素子の疑似グローバル露光期間で本発光を行い、撮像素子の画素読み出し期間の少なくとも一部の期間で予備発光を行うように複数の半導体発光素子の発光プロファイルを制御し、予備発光の発光レベルは、本発光の発光レベルよりも小さい、光源装置を提案する。
【0009】
また、本実施形態は、観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、照明光を被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する撮像素子と、画像信号を処理して被写体の画像を生成し、モニタに表示するプロセッサと、画像信号に基づいて、複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、主制御部から制御信号を受信し、発光プロファイルに応じた駆動信号で複数の半導体発光素子を駆動させる光源制御部と、を備え、主制御部は、撮像素子の疑似グローバル露光期間で本発光を行い、撮像素子の画素読み出し期間の少なくとも一部の期間で予備発光を行うように複数の半導体発光素子の発光プロファイルを制御し、予備発光の発光レベルは、本発光の発光レベルよりも小さい、内視鏡システムを提案する。
【0010】
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され実現される。
本明細書の記述は典型的な例示に過ぎず、特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
【発明の効果】
【0011】
本開示によれば、撮像素子のローリングシャッタに起因する歪みやアーティファクトの発生を回避しつつ、ローリングシャッタ期間(画素読み出し期間)中の変化に迅速に対応して光量制御を実行できるようになる。
【図面の簡単な説明】
【0012】
【
図1】本実施形態の内視鏡システムの全体外観例を示す図である。
【
図2】本実施形態の内視鏡システムの概略内部構成例を示す図である。
【
図3】プロセッサ200の内部に設けられた光源装置201の内部構成例を示す図である。
【
図4】各LED2011から2015のスペクトル(波長特性)を示す図である。
【
図5】クロスプリズム2017および2018に各LEDを透過させて生成される照明光(観察部位を照明する光)の特性を示す図である。
【
図6】配光分布が異なるLEDを用いた光源の構成例を示す図である。
【
図7】各LEDの出射光量/電流比のグラフを示す図である。
【
図8】CMOSセンサを一例とするローリングシャッタ方式の撮像素子の有効画素領域と無効領域を示す図である。
【
図9】一般的な調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。
【
図10】本実施形態の制御例1による調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。
【
図11】本実施形態の制御例2による調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。
【
図12】本実施形態の制御例3による調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。
【
図13】本実施形態の制御例4による調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。
【
図14】本実施形態による上記制御例1および制御例2による調光制御処理を説明するためのフローチャートである。
【
図15】本実施形態による上記制御例3および制御例4による調光制御処理を説明するためのフローチャートである。
【発明を実施するための形態】
【0013】
以下、本開示の実施形態について図面を参照しながら説明する。なお、以下においては、本開示の一実施形態として内視鏡システムを例に取り説明する。
【0014】
内視鏡システムにおける観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、気管支、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、食道、十二指腸、子宮、膀胱等である。上述のような対象部位を観察する場合、特定の生体構造を強調した画像の活用がより効果的である。
【0015】
<内視鏡システムの構成>
図1は、本実施形態の内視鏡システムの全体外観例を示す図であり、
図2は、本実施形態の内視鏡システムの概略内部構成例を示す図である。内視鏡システム1は、内視鏡装置(電子スコープ)100と、プロセッサ200と、モニタ300とを備えている。なお、内視鏡装置100のプロセッサ側端部には、本実施形態の特徴に係るコネクタ回路を含むスコープコネクタ(以下、単に「コネクタ」と言うこともある)400が設けられている。
【0016】
内視鏡装置100は、被検体の内部に挿入される細長い管状の挿入部11を備えている。内視鏡装置100は、例えば、後述する光源装置201からの照射光を導くためのLCB(Light Carrying Bundle)101と、LCB101の出射端に設けられた配光レンズ102と、対物レンズ(図示せず)を介して被照射部分(観察部位)からの戻り光を受光する撮像ユニット103と、撮像ユニット103を駆動するドライバ信号処理回路105と、第1メモリ106とを備えている。
【0017】
光源装置201からの照射光は、LCB101内に入射し、LCB101内で全反射を繰り返すことによって伝播する。LCB101内を伝播した照射光(照明光)は、挿入部11の先端部12内に配置されたLCB101の出射端から出射され、配光レンズ102を介して観察部位を照射する。被照射部分からの戻り光は、対物レンズを介して撮像ユニット103の受光面上の各画素で光学像を結ぶ。
【0018】
撮像ユニット103は、挿入部11の先端部12内に配置されており、ローリングシャッタ方式のイメージセンサであるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。撮像ユニット103は、受光面上の各画素で結像した光学像(生体組織からの戻り光)を光量に応じた電荷として蓄積して、R、G、Bの画像信号を生成して出力する。なお、撮像ユニット103は、CMOSイメージセンサに限らず、ローリングシャッタ方式に基づくものであれば、その他の種類の撮像装置に置き換えられてもよい。撮像ユニット103から出力された信号は、後述するように、スコープコネクタ400に設けられたスコープコネクタ回路401によって処理される。
【0019】
プロセッサ200は、内視鏡装置100からの信号を処理する信号処理装置と、自然光の届かない体腔内を内視鏡装置100を介して照射する光源装置とを一体に備えた装置である。別の実施形態では、信号処理装置と光源装置とを別体で構成してもよい。プロセッサ200は、光源装置201と、システムコントローラ202と、測光部203と、前段信号処理回路205と、色変換回路206と、後段信号処理回路207と、第2メモリ208とを備えている。
【0020】
プロセッサ200は、図示しない操作パネルを備えてもよい。操作パネルの構成には種々の形態がある。操作パネルの具体的構成としては、例えば、プロセッサ200のフロント面に実装された機能毎のハードウェアキーやタッチパネル式GUI(Graphical User Interface)、ハードウェアキーとGUIとの組合せ等が考えられる。オペレータ(施術者)は、操作パネルによって後述するモード切替操作が可能となる。
【0021】
測光部203は、色変換回路206に含まれるゲイン回路から撮像して得られた画像信号の輝度情報を取得し、予め決められた適正輝度値(例えば、適正輝度値の情報は、測光部203の図示しない内部メモリに予め格納しておくことができる)と比較し、比較結果(現状の輝度値が適正か、高いか、あるいは低いか)をシステムコントローラ202に通知する。
【0022】
システムコントローラ202は、図示省略のメモリに格納された各種プログラムを実行し、内視鏡システム1全体を統合的に制御する。システムコントローラ202は、制御信号を用いて、プロセッサ200に接続されている内視鏡装置100に適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。なお、システムコントローラ202は、上述の操作パネルに接続されてもよい。
【0023】
また、システムコントローラ202は、測光部203から適正輝度値との比較結果を受け取り、現状の露光(露出)を維持すべきか、露光を上げるべきか(上げるレベル値を含む)、あるいは露光を下げるべきか(下げるレベル値を含む)を決定し、露光制御信号として光源装置201に出力する。
【0024】
さらに、システムコントローラ202は、操作パネルから入力されるオペレータからの指示に応じて、内視鏡システム1の各動作及び各動作のためのパラメータを変更する。例えば、オペレータが操作パネルによって観察モードを選択する(モード切替操作)と、システムコントローラ202は、観察モードに対応した光源を発光させるためのモード選択信号を光源装置201に出力する。後述するが、光源装置201としては、例えば、それぞれ異なる波長帯域の光を出射する複数のLED(Light Emitting Diode)を用いることができる(
図3参照)。オペレータが、例えば、プロセッサ200に設けられたモード選択スイッチを操作することによって観察モード(例えば、通常観察モード、特殊光観察モード、SatO2モードなど)を選択すると、システムコントローラ202は、選択されたモードに対応するモード選択信号を生成し、これを光源装置201の光源制御部2016に供給する(
図3参照)。光源制御部2016は、モード選択信号に基づいて、発光させるLEDの組み合わせとそれらの強度および光量を決定し(例えば、モード選択信号に対応する、発光LEDの組み合わせ等が図示しない内部メモリに予め格納されている)、必要なLED制御信号を各LED2011から2015に出力する。各LED2011から2015は、光源制御部2016から供給されてきたLED制御信号に基づいて各波長帯域光を出射すると、各出射光はクロスプリズムによって合成され、照射光(合成光)が生成される。
【0025】
内視鏡装置100とプロセッサ200との間のデータ通信は、有線の電気通信方式を用いてもよいし、光無線通信方式を用いてもよい。
【0026】
図2に示されるように、内視鏡装置100とプロセッサ200は、スコープコネクタ400を介して接続される。スコープコネクタ400は、プロセッサ200から内視鏡装置100へと続くLCB101の一部を構成するLCBと、スコープコネクタ回路401と、を備える。なお、本実施形態では、スコープコネクタ回路401は、スコープコネクタ400内に設けられているが、必ずしもスコープコネクタ400の内部に設けられなくても良い。例えば、プロセッサ200側のコネクタ部やプロセッサ200の内部にスコープコネクタ回路401に相当する回路を設けてもよい。
【0027】
<光源装置201の内部構成例>
図3は、例えば、プロセッサ200の内部に設けられた光源装置201の内部構成例を示す図である。
光源装置201は、緑色光を出射する緑LED2011と、青色光を出射する青LED2012と、赤色光を出射する赤LED2013と、アンバー光を出射するアンバーLED2014と、UV光を出射するUV LED2015と、各LED2011から2015の発光を制御する光源制御部2016と、クロスプリズム2017および2018と、を備えている。
【0028】
光源制御部2016は、露光制御信号をシステムコントローラ202から受信すると、現在発光している各LED(観察モードによって発光させるLEDの組み合わせは決まっている)の発光期間および印加電流値を制御することにより、各LEDの発光プロファイルを変更して露光調整(光量調整)をする(後述の
図12参照)。例えば、発光プロファイルを1段階変更した後、光源制御部2016は、測光部203による測光結果(適正輝度値との比較結果)によって決まる露光制御信号に基づいて、上記発光プロファイルを再度変更して露光調整するか判断する。
【0029】
また、光源制御部2016は、オペレータによって選択された観察モードを示すモード選択信号に基づいて、発光すべきLEDの組み合わせを決定する。発光開始段階では、光源制御部2016は、例えば、予め決められた発光プロファイル(デフォルトの発光期間および駆動電流値)に基づいて、各LEDの発光を制御し、その後は、上述のような露光調整を行う。
【0030】
<各LED光源について>
図4は、各LED2011から2015のスペクトル(波長特性)を示す図である。また、
図5は、クロスプリズム2017および2018に各LEDを透過させて生成される照明光(観察部位を照明する光)の特性を示す図である。
【0031】
緑LED2011の透過波長帯域は540nmから575nmであり、ピーク波長は550nm、半値幅は30nmである。緑LED2011には蛍光体が搭載され、この蛍光体により、
図4に示すように、約400nmから780nmの透過波長領域の光が発せられる。つまり、緑LEDと蛍光体により実質的に白色光が出射されるが、この白色光は中間生成物であり、後述するように、クロスプリズム2018によって透過波長帯域は狭められ、観察部位には緑光が照射される。青LED2012の透過波長帯域は460nmから490nmであり、ピーク波長は456nm、半値幅は21nmである。赤LED2013の透過波長帯域は630nmから1000nmであり、ピーク波長は650nm、半値幅は20nmである。アンバーLED2014の透過波長帯域は600nmから615nmであり、ピーク波長は613nm、半値幅は19nmである。UV LED2015の透過波長帯域は385nmから425nmであり、ピーク波長は405nm、半値幅は14nmである。
【0032】
蛍光体が搭載された緑LED2011を含む各LED2011から2015から発せられた各光(中間生成物としての白色光、青色光、赤色光、アンバー光、UV光)は、クロスプリズム2017および2018を透過すると、
図5に示す特性の各光となって観察部位に照射されることになる。詳細には、緑LED2011+蛍光体から発せられた白色光は、クロスプリズム2018によって、透過波長帯域が制限され、520nmから595nmの緑光となる。青色LED2012から発せられた青色光は、クロスプリズム2017および2018によって、440nmから500nmの青色光となる。また、赤色LED2013から発せられた赤色光は、クロスプリズム2017および2018によって、620nmから630nmの赤色光となる。アンバーLED2014から発せられたアンバー光は、クロスプリズム2017および2018によって、580nmから630nmのアンバー光となる。さらに、UV LED2015から発せられたUV光は、クロスプリズム2018によって、380nmから450nmのUV光となる。
【0033】
<各LEDのリニアリティ差の補正>
光源装置201を複数のLEDで構成する場合、各LED2011から2015が発する光の波長のみならず、配光(各方向における光度分布)が異なる場合(
図6参照:配光分布が異なるLEDを用いた光源の構成例)があり、各LED2011から2015からの出射光の色や配光の変化が発生する可能性がある。また、LEDの種類によっては駆動電流値を下げるために順方向電圧を下げると、駆動電流値が急激に低下しLEDが発光しなくなるため駆動電流値を大きく下げることができない場合がある。このような状況に対処するため、各LED2011から2015の駆動電流制御に合せて各LED2011から2015の出射光量/電流比のリニアリティの差を動的に補正しなければならなくなる。
【0034】
しかし、リニアリティの差を動的に補正する処理は複雑であるため、予めリニアリティの差がないように駆動電流値を決定することが好ましい。そこで、本実施形態では、出射光量/電流比のリニアリティを補正するための補正テーブルを予め用意し、これを用いて各LED2011から2015の駆動電流値を決定する。
図7は、各LEDの出射光量/電流比のグラフを示す図である。
図7では、一例として2つのLED(LED1およびLED2)のみの関係を示しているが、本実施形態に示すような5つのLED2011から2015を用いる場合も同様である。
図7に示すような各LEDの出射光量/電流比の関係は、予め各LEDを測定することによって取得することができる。このため、補正値として、出射光量/電流比の関係の逆数を補正パラメータとする補正テーブルを予め備えておき(メモリに格納しておく)、光源制御部2016は、所望の出射光量(露光調整によって得られる目標出射光量)に対応する補正パラメータを乗算することにより、補正された駆動電流値を算出し、各LEDを駆動する。このようにすることにより、各LEDの出射光の波長や配光が異なっている場合であっても出射光量/電流比のリニアリティを適切に制御することが可能となる。
【0035】
<撮像素子の撮像面の構成例>
図8は、CMOSセンサを一例とするローリングシャッタ方式の撮像素子の有効画素領域と無効領域を示す図である。CMOSセンサは、撮像可能な有効画素領域と撮像することができない無効領域を含んでいる。また、有効画素領域の一部(周辺部)はマスクされ、実質的には画像信号を取得できない領域となっている。このような撮像素子を用いて撮像する場合(グローバル露光の場合)、様々な現象(特徴)が撮像画像に現れることになる。なお、本実施形態では、画面に表示されない期間をグローバル露光期間するが、本実施形態の思想はこの場合に限定されるものではない。
【0036】
<一般的な調光制御処理>
図9は、一般的な調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。
図9に示されるように、フレームF1およびF2は、適正光量で観察できていることが分かる(測光結果が適正となっている)。そして、フレームF2とフレームF3の間の疑似グローバル露光期間において、内視鏡先端が被写体から急に遠ざかったため、被写体への照射光量が足らず、フレームF3の観察画像が暗くなっている。フレームF3の観察画像を取得する際の光量は、前フレーム(フレームF2)と現フレーム(フレームF3)の間の疑似グローバル露光期間の発光(強発光:本発光と言うこともできる)からの光量が支配的となっている。そのため、被写体との距離が疑似グローバル露光期間以降に変化した場合、その距離の変化に追従した発光(調光制御)が行われる(反映される)のは、次フレーム(フレームF4)からとなる。このため、フレームF3とフレームF4の間の疑似グローバル期間において、測光結果に基づいて段階的に調光制御が実行され(時間経過に従って(フレームF4→F5→F6)段階的に発光制御(発光プロファイルを変更)される)、適正な光量が決定され(光量増加制御)、適正な量の光が被写体に照射される。内視鏡先端が被写体から遠ざかってから(F2とF3の間で遠ざかってから)フレームF5で適正な光量による観察画像が取得できている。
【0037】
フレームF5とフレームF6の間の疑似グローバル露光期間においては、内視鏡先端と被写体との距離は直前のフレームF5と同一であるため、フレームF4とフレームF5の間の疑似グローバル露光期間での発光と同一のプロファイルで発光される。よって、フレームF6で得られる観察画像は、フレームF5で得られる観察画像と同一となる。しかし、実際には、フレームF6の画素読み出し期間(ローリングシャッタ期間)中に内視鏡先端が被写体に急接近しているため、直近の発光プロファイルによる発光量では次フレーム観察には適せず、光量過剰となってしまい、フレームF7の画像にハレーションが生じてしまう。これは、フレームF6とフレームF7の間の疑似グローバル期間における発光量(発光プロファイル)は、フレームF6で取得された画像の測光結果に基づいて決定されるからである(フレームF6の観察画像の測光結果は適正となっている)。そして、過剰な発光量によるフレームF7の観察画像の測光結果が得られて初めて、被写体への急接近(衝突を含む)による過剰な発光量が是正される。つまり、フレームF7とフレームF8の間の疑似グローバル露光期間において初めて発光プロファイルが変更されることになる(光量低減のときも、光量増加の時と同様に、段階的に発光プロファイルが変更される)。
【0038】
以上のように、一般的な調光制御処理によると、内視鏡先端の被写体への急接近が起こった場合、調光制御(量低減)が1フレーム分遅延してしまう。急接近の場合は光量過剰となるため、観察画像にハレーションが起こり、操作者にとって非常に観察しづらい状況となってしまう。
【0039】
本実施形態は、以上の一般的な調光制御の欠点(発光プロファイル変更の遅延)を是正する処理を開示する。
【0040】
<本実施形態による調光制御処理>
(i)制御例1
図10は、本実施形態の制御例1による調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。なお、
図10において、内視鏡先端と被写体との距離は、一般的な調光制御処理(
図9)との比較のため、同様の変化をするものとする。
【0041】
制御例1は、一般的な調光制御処理とは異なり、グローバルに微弱な予備発光(連続光)を行う調光制御処理である。制御例1における微弱な予備発光(連続光)の発光時間×発光レベルの値(合計値)は、疑似グローバル露光期間の強発光の発光時間×発光レベルの値よりも十分小さい。また、当該予備発光は、発光(予備発光)によってローリングシャッタに起因する望ましくない事象(例えば、歪みやアーティファクト(走査線ノイズなど))が無視できるような強度、かつ内視鏡先端が被写体に急接近した場合には発光(予備発光)を認識できるような強度の発光である。具体的には、予備発光の発光時間×発光レベルの値は、上記強発光の発光時間×発光レベルの値の10%以下、好ましくは2%以下、さらに好ましくは1%以下とすることができる。
【0042】
制御例1(連続予備発光)による調光制御処理では、
図10に示されるように、内視鏡先端が被写体から遠ざかる場合、上述の一般的な調光制御処理(
図9参照)と同様の処理が行われる。つまり、例えば、フレームF1およびF2は、適正光量で観察できている(測光結果が適正となっている)。そして、フレームF2とフレームF3の間の疑似グローバル露光期間において、内視鏡先端が被写体から急に遠ざかったため、被写体への照射光量が足らず、フレームF3の観察画像が暗くなっている。フレームF3の観察画像を取得する際の光量は、前フレーム(フレームF2)と現フレーム(フレームF3)の間の疑似グローバル露光期間の発光(強発光)からの光量が支配的となっている。そのため、被写体との距離が疑似グローバル露光期間以降に変化した場合、その距離の変化に追従した発光(調光制御)が行われる(反映される)のは、次フレーム(フレームF4)となる。そして、フレームF3とフレームF4の間の疑似グローバル期間において、測光結果に基づいて段階的に調光制御が実行され(時間経過に従って(フレームF4→F5→F6)段階的に発光制御(発光プロファイルを変更)される)、適正な光量が決定され(光量増加制御)、適正な量の光が被写体に照射される。内視鏡先端が被写体から遠ざかってから(F2とF3の間で遠ざかってから)フレームF5で適正な光量による観察画像が取得できている。なお、測光結果は、観察画像の中央部の測光値であってもよいし、全画素の測光値の平均値であってもよい。
【0043】
フレームF5とフレームF6の間の疑似グローバル露光期間においては、内視鏡先端と被写体との距離は直前のフレームF5と同一であるため、フレームF4とフレームF5の間の疑似グローバル露光期間での発光と同一のプロファイルで発光される。しかし、フレームF6の画素読み出し期間(ローリングシャッタ期間)では、微弱な予備発光が行われているため、内視鏡先端が被写体に急接近した場合には観察画像の明るさの変化を捉える(被写体に接近したことを検出する)ことが可能となる。したがって、フレームF6で得られる観察画像は、フレームF5で得られる観察画像よりも明るい画像となる。つまり、フレームF6の画素読み出し期間(ローリングシャッタ期間)における内視鏡先端の被写体への急接近による光量過剰の影響が即座に観察画像に現れている。よって、次フレームF7での観察画像を取得する際には、この光量過剰を反映した調光制御処理を実行することができ、フレームF6とフレームF7の間の疑似グローバル露光期間における強発光のレベルを下げる処理が行われる。ただし、急激に下げるのではなく、操作者にとってより自然な明るさの変化となるように、段階的に発光レベルが下げられる。例えば、
図10にも示されるように、まずフレームF6とフレームF7の間の疑似グローバル露光期間の発光量を所定値まで下げ、次の疑似グローバル露光期間(フレームF7とフレームF8の間)で発光量をさらに所定値まで下げるようにすることができる。発光量の制御量(例えば、下げ幅)は、一定値であってもよいし、測光結果の適正値に対する過剰度合いに基づいて発光プロファイルを決定してもよい。
【0044】
以上のように、制御例1の調光制御処理によれば、画素読み出し期間(ローリングシャッタ期間)に微弱な予備発光(連続光)を行っているので、画素読み出し期間における撮像条件の変化(例えば、内視鏡先端の被写体への急接近)に応答して、一般的な調光制御処理よりも1フレーム早く調光制御を実施することができ、適切な露光レベルに近づけることができる(適正な測光結果を早期に取得することができる)。
【0045】
(ii)制御例2
図11は、本実施形態の制御例2による調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。なお、
図11において、内視鏡先端と被写体との距離は、一般的な調光制御処理(
図9)との比較のため、同様の変化をするものとする。
【0046】
制御例2は、一般的な調光制御処理とは異なり、グローバルに微弱な予備発光(パルス光)が行う調光制御処理である。制御例2における微弱な予備発光(パルス光)の発光時間×発光レベルの値は、制御例1と同様に、疑似グローバル露光期間の強発光の発光時間×発光レベルの値よりも十分小さい。また、当該予備発光は、発光(予備発光)によってローリングシャッタに起因する望ましくない事象(例えば、歪みやアーティファクト(走査線ノイズなど))が無視できるような強度、かつ内視鏡先端が被写体に急接近した場合には発光(予備発光)を認識できるような強度の発光である。具体的には、予備発光の発光時間×発光レベルの値は、上記強発光の発光時間×発光レベルの値の10%以下、好ましくは2%以下、さらに好ましくは1%以下とすることができる。なお、制御例2では微弱な予備発光としてパルス光が用いられるが、パルスの周波数は所定値以上高く設定される。例えば、パルス光の周波数は、内視鏡先端が被写体に接近した際に観察画像が縞状とならずに画像全体が明るく(白っぽく)なるように設定される。
制御例2による調光制御処理の内容および効果は、上述の制御例1による調光制御処理と同様であるので、説明は省略する。
【0047】
(iii)制御例3
図12は、本実施形態の制御例3による調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。なお、
図12において、内視鏡先端と被写体との距離は、一般的な調光制御処理(
図9)との比較のため、同様の変化をするものとする。
【0048】
制御例3は、画素読み出し期間(ローリングシャッタ期間)の一部の所定期間のみ(例えば、ローリングシャッタ期間の最後の所定期間(あるいは次の疑似グローバル露光期間の直前の所定期間))微弱な予備発光(連続光)を行う調光制御処理である。
【0049】
制御例3(後述の制御例4も同様)による調光制御処理においては、制御例1および2(画素読み出し(ローリングシャッタ)期間全体で予備発光する場合)に比べて、被写体接近時に予備発光により二重露光されるのが画面下部の所定の領域だけとなる。このため、制御例3によれば、内視鏡使用者への二重露光による違和感を軽減することができ、予備発光期間を調整すれば観察画像内で二重露光による帯状ラインが気にならない領域に限定することができる。例えば、フレームレートが60Hz(16.6ms)で、グローバル露光期間(
図12において、1フレーム中上下2番目までのライン:電子マスク表示で上書きされるライン、および無効画素ライン)が2msであれば、残りの14.6msが有効ラインの読み出し期間となる。このとき、有効ライン読み出し期間の50%=7.33msに対して予備発光を行うと、二重露光される画面領域とされない領域の境目が画面の中央のラインであり、操作者への違和感が強くなってしまう。そこで、例えば、a)25%=3.67ms以下であれば、境目は画面の下部1/4となり、中央に比べて目立ちにくい、また、b)10%=1.46ms以下であれば、境目は画面の下部1/10となり、画面の端に少し映るだけなので操作者はほとんど気にならない、さらに、c)観察画像の所定領域(例えば、下位領域)における数ライン(例えば、10ライン以下)だけであれば、境目は電子マスク境界とほぼ一致し、操作者には明確な境目が認識できなくなる。この時、予備発光期間×予備発光レベルの合計値が、疑似グローバル露光期間における強発光の発光期間×発光レベルより十分に小さくない場合、上述の境目が明確に見えてしまう。上記a)やb)のような条件の場合には、境目が目立ちにくいとはいえ操作者は認識できてしまうので、強発光期間×発光レベルに比べて充分に小さくしておく必要がある(例えば、予備発光によってローリングシャッタに起因する望ましくない事象(例えば、歪みやアーティファクト)が無視できるような強度、かつ内視鏡先端が被写体に急接近した場合には発光(予備発光)を認識できるような強度の発光)。具体的には、制御例1および制御例2と同様に、予備発光の発光時間×発光レベルの値は、上記強発光の発光時間×発光レベルの値の10%以下、好ましくは2%以下、さらに好ましくは1%以下とすることができる。一方、上記c)のような条件の場合、境目は操作者には認識できないため、予備発光強度を強発光強度同等(あるいはそれよりも)大きくすることが可能である。つまり、予備発光期間が短いので結果的に予備発光強度との積は小さくなりやすいが、例えば予備発光を瞬間的に強発光の1000倍の強度にするなどで強発光期間×発光レベルよりも大きくしても問題はない。
【0050】
予備発光の光量についてまとめると、上記a)およびb)の場合は、予備発光期間×予備発光レベルの合計値(面積値)を、強発光(本発光)の発光期間×発光レベルの値(面積値)の10%以下、2%以下、あるいは1%となるように発光プロファイルが制御される。しかし、上記c)の場合には、そのような条件は課されず、観察画像において読み出されるラインとの関係から予備発光レベルを極端に大きくしてもよいということになる(上記10%以下などの条件には縛られない)。
【0051】
制御例3(画素読み出し期間の一部の期間における連続予備発光)による調光制御処理では、
図12に示されるように、内視鏡先端が被写体から遠ざかる場合、上述の一般的な調光制御処理(
図9参照)と同様の処理が行われる。つまり、例えば、フレームF1およびF2は、適正光量で観察できている(測光結果が適正となっている)。そして、フレームF2とフレームF3の間の疑似グローバル露光期間において、内視鏡先端が被写体から急に遠ざかったため、被写体への照射光量が足らず、フレームF3の観察画像が暗くなっている。フレームF3の観察画像を取得する際の光量は、前フレーム(フレームF2)と現フレーム(フレームF3)の間の疑似グローバル露光期間の発光(強発光)からの光量が支配的となっている。そのため、被写体との距離が疑似グローバル露光期間以降に変化した場合、その距離の変化に追従した発光(調光制御)が行われる(反映される)のは、次フレーム(フレームF4)となる。このため、フレームF3とフレームF4の間の疑似グローバル期間において、測光結果に基づいて段階的に調光制御が実行され(時間経過に従って(フレームF4→F5→F6)段階的に発光制御(発光プロファイルを変更)される)、適正な光量が決定され(光量増加制御)、適正な量の光が被写体に照射される。内視鏡先端が被写体から遠ざかってから(F2とF3の間で遠ざかってから)フレームF5で適正な光量による観察画像が取得できている。
【0052】
フレームF5とフレームF6の間の疑似グローバル露光期間においては、内視鏡先端と被写体との距離は直前のフレームF5と同一であるため、フレームF4とフレームF5の間の疑似グローバル露光期間での発光と同一のプロファイルで発光される。しかし、フレームF6の画素読み出し期間(ローリングシャッタ期間)の最後の所定期間(例えば、最終kライン(k=1からn:nは有効ライン数の1%の値(小数点第一位)を切り上げて得られる整数(一例))を読み出す期間)では、微弱な予備発光(連続光)が行われているため、内視鏡先端が被写体に急接近した場合には観察画像の明るさの変化を捉える(被写体に接近したことを検出する)ことが可能となる。
図12に示されるように、フレームF6の観察画像においては、予備発光が行われた期間に読みだされた画素によって形成される部分(領域1201)が他の部分に比べて白っぽく(明るく)なっている。つまり、フレームF6の画素読み出し期間(ローリングシャッタ期間)における内視鏡先端の被写体への急接近による光量過剰の影響が即座に観察画像の一部に現れている。よって、次フレームF7での観察画像を取得する際には、この光量過剰を反映した調光制御処理を実行することができ、フレームF6とフレームF7の間の疑似グローバル露光期間における強発光のレベルを下げる処理(適正露出に調整)が行われる。ただし、急激に下げるのではなく、操作者にとってより自然な明るさの変化となるように、段階的に発光レベルが下げられる。例えば、
図12にも示されるように、まずフレームF6とフレームF7の間の疑似グローバル露光期間の発光量を所定値まで下げ、次の疑似グローバル露光期間(フレームF7とフレームF8の間)で発光量をさらに所定値まで下げるようにすることができる。発光量の制御量(例えば、下げ幅)は、一定値であってもよいし、測光結果の適正値に対する過剰度合いに基づいて発光プロファイルを決定してもよい。
【0053】
以上のように、制御例3の調光制御処理によれば、画素読み出し期間(ローリングシャッタ期間)の一部の所定期間のみ(例えば、ローリングシャッタ期間の最後の所定期間(あるいは次の疑似グローバル露光期間の直前の所定期間))微弱な予備発光(連続光)を行っているので、画素読み出し期間における撮像条件の変化(例えば、内視鏡先端の被写体への急接近)に応答して、一般的な調光制御処理よりも1フレーム早く調光制御を実施することができ、適切な露光レベルに近づけることができる(適正な測光結果を早期に取得することができる)。
【0054】
(iv)制御例4
図13は、本実施形態の制御例4による調光制御処理の様子(例)と各フレームで取得される観察画像(例)を示す図である。なお、
図13において、内視鏡先端と被写体との距離は、一般的な調光制御処理(
図9)との比較のため、同様の変化をするものとする。
【0055】
制御例4は、画素読み出し期間(ローリングシャッタ期間)の一部の所定期間のみ(例えば、ローリングシャッタ期間の最後の所定期間(あるいは次の疑似グローバル露光期間の直前の所定期間))微弱な予備発光(パルス光)を行う調光制御処理である。制御例4による微弱な予備発光の発光時間×発光レベルの値は、制御例1から3と同様に、疑似グローバル露光期間の強発光の発光時間×発光レベルの値よりも十分小さい。また、当該予備発光は、発光(予備発光)によってローリングシャッタに起因する望ましくない事象(例えば、歪みやアーティファクト(走査線ノイズなど))が無視できるような強度、かつ内視鏡先端が被写体に急接近した場合には発光(予備発光)を認識できるような強度の発光である。具体的には、予備発光の発光時間×発光レベルの値は、上記強発光の発光時間×発光レベルの値の10%以下、好ましくは2%以下、さらに好ましくは1%以下とすることができる。なお、制御例4では微弱な予備発光としてパルス光が用いられるが、パルスの周波数は所定値以上高く設定される。例えば、パルス光の周波数は、内視鏡先端が被写体に接近した際に観察画像の一部(領域1301)が明るく(白っぽく)なるように設定される。
制御例4による調光制御処理の内容および効果は、上述の制御例3による調光制御処理と同様であるので、説明は省略する。
【0056】
<制御例1および2による調光制御処理:フローチャート>
図14は、本実施形態による上記制御例1および制御例2による調光制御処理を説明するためのフローチャートである。以下の各ステップの処理は、主にシステムコントローラ202を動作主体として説明されているが、これに限らず、動作制御や演算処理をする制御部(プロセッサ)を別途設けてそれに実行させるようにしてもよい。また、システムコントローラ202の機能を光源装置201の光源制御部2016に持たせて構成してもよい。従って、調光制御処理は、内視鏡システム1の全体の動作の一部とすることもできるし、光源装置201の動作の一部とすることもできる。この場合は、光源制御部2016が各ステップの処理の主な動作主体となる。
【0057】
(i)ステップ1401
光源制御部2016は、オペレータによって選択された観察モードに対応するモード選択信号をシステムコントローラ202から受信し、発光すべき各光源(緑LED2011からUV LED2015の何れかの組み合わせ)について、上記補正テーブルを用いて、各光源の出射光量/電流比のリニアリティを補正する。
【0058】
(ii)ステップ1402
光源制御部2016は、出射光量/電流比のリニアリティ補正後の駆動電流によって各光源を駆動して発光させて照明光を生成し、被写体にこの照明光を照射する。なお、このときの疑似グローバル露光期間における強発光のプロファイルは、所定の値(デフォルト値)とすることもできるし、前回の内視鏡使用時で最後の動作で用いた発光プロファイルを用いることもできる。また、画素読み出し期間(ローリングシャッタ期間)における微弱な予備発光(連続光あるいはパルス光)の発光期間×発光レベルは、上述したように、疑似グローバル期間における強発光の発光期間(疑似グローバル露光期間よりも短くてもよい)×発光レベルの10%以下、2%以下、あるいは1%以下となるように発光プロファイルが決定される(
図10および
図11参照)。
【0059】
(iii)ステップ1403
撮像ユニット103の撮像素子(例えば、CMOSセンサ)は、照明光を被写体(観察部位)に照射することにより発生する被写体からの反射光を検出し、スコープコネクタ回路401を介して撮像画像信号をプロセッサ200に送信する。そして、システムコントローラ202は、測光部203を介して、1フレーム分の画像(各画素)データの取得を開始する。
【0060】
(iv)ステップ1404
システムコントローラ202は、取得した画素(入力されてきた画素)が有効画素(
図8参照:CMOSセンサの有効領域の画素)か判断する。取得画素が有効画素である場合(ステップ1404でYESの場合)、処理はステップ1405に移行する。一方、取得画素が有効画素ではない場合(無効画素あるいは有効だがマスクされた画素:ステップ1404でNOの場合)、処理はステップ1406に移行する。
【0061】
(v)ステップ1405
システムコントローラ202は、測光部203から取得した各有効画素の測光値(輝度値)を積算する。
【0062】
(vi)ステップ1406
システムコントローラ202は、1フレーム分の有効画素を取得し終わったか判断する。1フレーム分の有効画素の取得が完了している場合(ステップ1406でYESの場合)、処理はステップ1407に移行する。一方、1フレーム分の有効画素の取得が未だ完了していない場合(ステップ1406でNOの場合)、処理はステップ1403に戻る。
【0063】
(vii)ステップ1407
システムコントローラ202は、1フレーム分の測光値の積算値と予め決められた所定の閾値と比較し、露光が適正か否か判断する。測光値が適正であると判断された場合(ステップ1407でYESの場合)、当該調光制御処理は終了する。一方、測光値が適正ではない(例えば、被写体への急接近による光量過剰や被写体から遠ざかったことによる光量不足)と判断された場合(ステップ1407でNOの場合)、処理はステップ1408に移行する。
【0064】
(viii)ステップ1408
システムコントローラ202は、発光プロファイルを変更し、当該発光プロファイルを光源装置201の光源制御部2016に送信する。発光プロファイルの変更は、例えば、予め決められた光量を低減あるいは増加させるように変更してもよいし、適正値に対する過剰あるいは不足の程度に基づいてプロファイルを決定するようにしてもよい。
【0065】
さらに、発光プロファイルの変更パターンを図示しないメモリに予め格納しておき(例えば、テーブル化しておく)、システムコントローラ202が測定された測光値と適正測光値とのずれ量(例えば、3dB過剰→発光パターン1、6dB過剰→発光パターン2、3dB不足→発光パターン3、・・・など)から発光プロファイルを決定してもよい。
【0066】
また、発光プロファイルの変更として、疑似グローバル露光期間における強発光の発光レベル(および/または発光期間)を1フレーム時間(例えば、60Hz=16.6ms)毎に段階的に増減するようにしてもよい(
図10や
図11のF6→F7→F8参照)。このようにすることにより、急激に明るさが変化することを回避することができるため、自然な観察画像を取得することができる。
【0067】
<制御例3および4による調光制御処理:フローチャート>
図15は、本実施形態による上記制御例3および制御例4による調光制御処理を説明するためのフローチャートである。以下の各ステップの処理は、主にシステムコントローラ202を動作主体として説明されているが、これに限らず、動作制御や演算処理をする制御部(プロセッサ)を別途設けてそれに実行させるようにしてもよい。また、システムコントローラ202の機能を光源装置201の光源制御部2016に持たせて構成してもよい。従って、調光制御処理は、内視鏡システム1の全体の動作の一部とすることもできるし、光源装置201の動作の一部とすることもできる。この場合は、光源制御部2016が各ステップの処理の主な動作主体となる。
【0068】
(i)ステップ1501
光源制御部2016は、オペレータによって選択された観察モードに対応するモード選択信号をシステムコントローラ202から受信し、発光すべき各光源(緑LED2011からUV LED2015の何れかの組み合わせ)について、上記補正テーブルを用いて、各光源の出射光量/電流比のリニアリティを補正する。
【0069】
(ii)ステップ1502
光源制御部2016は、出射光量/電流比のリニアリティ補正後の駆動電流によって各光源を駆動して発光させて照明光を生成し、被写体にこの照明光を照射する。なお、このときの疑似グローバル露光期間における強発光のプロファイルは、所定の値(デフォルト値)とすることもできるし、前回の内視鏡使用時で最後の動作で用いた発光プロファイルを用いることもできる。また、制御例3および制御例4では、画素読み出し期間(ローリングシャッタ期間)の一部の期間(画素読み出し期間の最後の所定期間)における微弱な予備発光(連続光あるいはパルス光)を行っている。この微弱な予備発光の発光期間×発光レベルは、上述したように、疑似グローバル期間における強発光の発光期間(疑似グローバル露光期間よりも短くてもよい)×発光レベルの10%以下、2%以下、あるいは1%以下となるように発光プロファイルが決定される(
図10および
図11参照)。
【0070】
(iii)ステップ1503
撮像ユニット103の撮像素子(例えば、CMOSセンサ)は、照明光を被写体(観察部位)に照射することにより発生する被写体からの反射光を検出し、スコープコネクタ回路401を介して撮像画像信号をプロセッサ200に送信する。そして、システムコントローラ202は、測光部203を介して、1フレーム分の画像(各画素)データの取得を開始する。
【0071】
(iv)ステップ1504
システムコントローラ202は、取得した画素(入力されてきた画素)が有効画素(
図8参照:CMOSセンサの有効領域の画素)か判断する。取得画素が有効画素である場合(ステップ1504でYESの場合)、処理はステップ1505に移行する。一方、取得画素が有効画素ではない場合(無効画素あるいは有効だがマスクされた画素:ステップ1504でNOの場合)、処理はステップ1509に移行する。
【0072】
(v)ステップ1505
システムコントローラ202は、取得した(入力された)有効画素が予備発光ラインの画素か否か判断する。フレーム(画像)における読み出しライン番号と微弱な予備発光の照射タイミングは予め決められている。例えば、システムコントローラ202の内部メモリや図示しないメモリにライン番号と照射体ミグの情報が格納されている。そのため、システムコントローラ202は、どのラインで微弱な予備発光が行われるか判断することができる。
【0073】
取得画素が予備発光ラインを構成する画素であると判定された場合(ステップ1505でYESの場合)、処理はステップ1506に移行する。一方、取得画素が予備発光ラインとは関係ないと判定された場合(ステップ1505でNOの場合)、処理はステップ1507に移行する。
【0074】
(vi)ステップ1506
システムコントローラ202は、微弱な予備発光が行われるラインにおける画素の輝度値を積算して予備発光測光値を得る(予備発光ラインは、疑似グローバル露光期間の強発光にも影響を受けるので、当該強発光+微弱な予備発光による測光値となる)。つまり、予備発光に係るラインを構成する各画素の輝度値を一画素ずつ積算し、最終的には1フレーム分の予備発光測光値が算出される。なお、1フレーム分の予備発光測光値は、システムコントローラ202の内部メモリあるいは図示しないメモリに格納される。
【0075】
(vii)ステップ1507
システムコントローラ202は、予備発光ライン以外の入力画素の輝度値を積算し、疑似グローバル露光期間の強発光による通常発光測光値を算出する。つまり、予備発光ライン以外のラインを構成する各画素の輝度値を一画素ずつ積算し、最終的には1フレーム分の通常発光測光値が算出される。なお、1フレーム分の通常発光測光値は、システムコントローラ202の内部メモリあるいは図示しないメモリに格納される。
【0076】
(viii)ステップ1508
システムコントローラ202は、ステップ1506で算出した予備発光測光値とステップ1507で算出した通常発光測光値とを合算し、1フレーム全体の測光値(仮)を算出する。
【0077】
(ix)ステップ1509
システムコントローラ202は、1フレーム分の有効画素を取得し終わったか判断する。1フレーム分の有効画素の取得が完了していた場合(ステップ1509でYESの場合)、処理はステップ1510に移行する。一方、1フレーム分の有効画素の取得が未だ完了していない場合(ステップ1509でNOの場合)、処理はステップ1503に戻る。
なお、ステップ1509でYESの場合、ステップ1508で求められた1フレーム全体の測光値(仮)は1フレーム全体の測光値(確定)となる。
【0078】
(x)ステップ1510
システムコントローラ202は、1フレーム全体の測光値(確定)と所定の閾値(全体測光閾値)とを比較し、適正な測光値であるか判断する。なお、全体測光閾値は、所定の幅(範囲)を持つ値とすることもできる。
【0079】
1フレーム全体の測光値(確定)が適正であると判断された場合(ステップ1510でYESの場合)、処理はステップ1511に移行する。一方、1フレーム全体の測光値(確定)が適正ではないと判断された場合(ステップ1510でNOの場合)、処理はステップ1512に移行する。
【0080】
(xi)ステップ1511
システムコントローラ202は、当該フレームにおける上記予備発光測光値を取得し、これと所定の閾値(予備発光閾値)とを比較し、適正な測光値であるか判断する。なお、予備発光閾値は、全体測光閾値と同様に、所定の幅(範囲)を持つ値とすることができる。
【0081】
予備発光測光値が適正であると判断された場合(ステップ1511でYESの場合)、調光制御処理は終了する。一方、予備発光測光値が適正ではないと判断された場合(ステップ1511でNOの場合)、処理はステップ1512に移行する。
【0082】
(xii)ステップ1512
システムコントローラ202は、発光プロファイルを変更し、当該発光プロファイルを光源装置201の光源制御部2016に送信する。発光プロファイルの変更は、例えば、予め決められた光量を低減あるいは増加させるように変更してもよいし、適正値に対する過剰あるいは不足の程度に基づいてプロファイルを決定するようにしてもよい。
【0083】
また、発光プロファイルの変更パターンを図示しないメモリに予め格納しておき(例えば、テーブル化しておく)、システムコントローラ202が測定された測光値と適正測光値とのずれ量(例えば、3dB過剰→発光パターン1、6dB過剰→発光パターン2、3dB不足→発光パターン3、・・・など)から発光プロファイルを決定してもよい。
【0084】
さらに、発光プロファイルの変更として、疑似グローバル露光期間における強発光の発光レベル(および/または発光期間)を1フレーム時間(例えば、30分の1秒)毎に段階的に増減するようにしてもよい(
図12や
図13のF6→F7→F8参照)。このようにすることにより、急激に明るさが変化することを回避することができるため、自然な観察画像を取得することができる。
【0085】
<本実施形態の効果>
本実施形態によれば、ローリングシャッタ期間に内視鏡先端(撮像素子)が被写体に急接近した場合の露光成分(微弱な予備発光による輝度成分)が測光結果に加算される。光の強度を考えれば、疑似グローバル露光期間における強発光(本発光)による輝度成分が、ローリングシャッタ期間における微弱な予備発光による輝度成分よりも圧倒的に強いため、強発光による輝度成分が観察画像形成において支配的になる(ただし、強発光の発光プロファイルが決定されたのは撮像素子と被写体の距離が急接近時よりも離れていて適正であった)。一方、微弱な予備発光が行われているときには撮像素子が被写体に急接近している状態のとき、観察画像の全体(制御例1および2)あるいは一部(観察画像の下方部分:制御例3および4)が白っぽくなり、微弱な予備発光による測光結果が即座に観察画像に現れ、過剰光量となっていることを直ぐに検知することができる。よって、本実施形態の調光制御処理によれば、ローリングシャッタ期間(画素読み出し期間)中の変化に迅速に対応して光量制御を実行できるようになる。また、制御例1および2、制御例3および4で上記a)およびb)の場合、微弱な予備発光は、発光期間×発光レベルの値に関し、本発光の10%以下(好ましくは2%以下、より好ましくは1%以下)に制御されている。このため、撮像素子のローリングシャッタに起因する歪みやアーティファクトの発生を回避することができる。さらに、制御例3および4で上記c)の場合には、予備発光期間を観察画像の下位部分の数ラインを形成画素を読み出す期間に限定するようにしているので、予備発光の発光レベルを本発光の発光レベルより大きくしても操作者に違和感を与えることなく観察画像における過剰光量の有無を迅速に検知することが可能となる。
【0086】
<本開示の特定事項>
(1)特定事項1
被写体に照射する照明光を生成する光源装置であって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
前記複数の半導体発光素子の発光プロファイルを制御し、前記複数の半導体発光素子を駆動させる制御部と、を備え、
前記制御部は、撮像素子の疑似グローバル露光期間で本発光を行い、前記撮像素子の画素読み出し期間の少なくとも一部の期間で予備発光を行うように前記複数の半導体発光素子の発光プロファイルを制御し、
前記予備発光の発光レベルは、前記本発光の発光レベルよりも小さい、光源装置。
【0087】
(2)特定事項2
特定事項1において、
前記予備発光の発光期間×発光レベルの合計値は、前記本発光の発光期間×発光レベルの値よりも、前記撮像素子のローリングシャッタに起因するノイズが無視できる程度に十分に小さい、光源装置。
【0088】
(3)特定事項3
特定事項1または2において、
前記制御部は、前記予備発光の発光期間×発光レベルの合計値を、前記本発光の発光期間×発光レベルの値の10%以下に制御する、光源装置。
【0089】
(4)特定事項4
特定事項1から3の何れか1項において、
前記制御部は、前記予備発光が前記画素読み出し期間の全期間に亘る連続光あるいはパルス光として構成されるように前記発光プロファイルを制御する、光源装置。
【0090】
(5)特定事項5
特定事項1から4の何れか1項において、
前記制御部は、前記被写体の観察画像の1フレーム分の測光値と第1の閾値とを比較し、前記発光プロファイルを変更するか否か決定する、光源装置。
【0091】
(6)特定事項6
特定事項5において、
前記制御部は、前記測光値が前記第1の閾値よりも大きく光量過剰である場合、前記本発光の発光レベルを複数フレーム亘って段階的に下げるように前記発光プロファイルを変更する、光源装置。
【0092】
(7)特定事項7
特定事項1または2において、
前記制御部は、前記被写体の観察画像の下部25%以下の部分を構成する画素の前記画素読み出し期間に、連続光あるいはパルス光の前記予備発光を行うように前記発光プロファイルを制御する、光源装置。
【0093】
(8)特定事項8
特定事項7において、
前記制御部は、前記予備発光の発光期間×発光レベルの合計値を、前記本発光の発光期間×発光レベルの値の10%以下に制御する、光源装置。
【0094】
(9)特定事項9
特定事項1または2において、
前記制御部は、前記被写体の観察画像の所定数ラインを構成する画素の前記画素読み出し期間に、連続光あるいはパルス光の前記予備発光を行うように前記発光プロファイルを制御する、光源装置。
【0095】
(10)特定事項10
特定事項9において、
前記制御部は、前記観察画像の最終の所定数ラインを構成する画素の前記画素読み出し期間に、前記連続光あるいは前記パルス光の前記予備発光を行うように前記発光プロファイルを制御する、光源装置。
【0096】
(11)特定事項11
特定事項7から10の何れか1項において、
前記制御部は、前記被写体の観察画像の1フレームにおける前記予備発光に基づく測光値と第2の閾値とを比較し、前記発光プロファイルを変更するか否か決定する、光源装置。
【0097】
(12)特定事項12
特定事項11において、
前記制御部は、前記測光値が前記第2の閾値よりも大きく光量過剰である場合、前記本発光の発光レベルを複数フレーム亘って段階的に下げるように前記発光プロファイルを変更する、光源装置。
【0098】
(13)特定事項13
観察対象内に内視鏡を挿入し、被写体の画像を取得する内視鏡システムであって、
波長帯域がそれぞれ異なる光を出射する複数の半導体発光素子と、
照明光を前記被写体に照射し、当該被写体からの反射光を検出して画像信号を生成する撮像素子と、
前記画像信号を処理して前記被写体の画像を生成し、モニタに表示するプロセッサと、
前記画像信号に基づいて、前記複数の半導体発光素子の発光プロファイルを制御するための制御信号を生成する主制御部と、
前記主制御部から前記制御信号を受信し、前記発光プロファイルに応じた駆動信号で前記複数の半導体発光素子を駆動させる光源制御部と、を備え、
前記主制御部は、前記撮像素子の疑似グローバル露光期間で本発光を行い、前記撮像素子の画素読み出し期間の少なくとも一部の期間で予備発光を行うように前記複数の半導体発光素子の発光プロファイルを制御し、
前記予備発光の発光レベルは、前記本発光の発光レベルよりも小さい、内視鏡システム。
【0099】
(14)特定事項14
特定事項13において、
前記予備発光の発光期間×発光レベルの合計値は、前記本発光の発光期間×発光レベルの値よりも、前記撮像素子のローリングシャッタに起因するノイズが無視できる程度に十分に小さい、内視鏡システム。
【0100】
(15)特定事項15
特定事項13または14において、
前記主制御部は、前記予備発光の発光期間×発光レベルの合計値を、前記本発光の発光期間×発光レベルの値の10%以下に制御する、内視鏡システム。
【0101】
(16)特定事項16
特定事項13から15の何れか1項において、
前記主制御部は、前記予備発光が前記画素読み出し期間の全期間に亘る連続光あるいはパルス光として構成されるように前記発光プロファイルを制御する、内視鏡システム。
【0102】
(17)特定事項17
特定事項13から16の何れか1項において、
前記主制御部は、前記被写体の観察画像の1フレーム分の測光値と第1の閾値とを比較し、前記発光プロファイルを変更するか否か決定する、内視鏡システム。
【0103】
(18)特定事項18
特定事項17において、
前記主制御部は、前記測光値が前記第1の閾値よりも大きく光量過剰である場合、前記本発光の発光レベルを複数フレーム亘って段階的に下げるように前記発光プロファイルを変更する、内視鏡システム。
【0104】
(19)特定事項19
特定事項13または14において、
前記主制御部は、前記被写体の観察画像の下部25%以下の部分を構成する画素の前記画素読み出し期間に、連続光あるいはパルス光の前記予備発光を行うように前記発光プロファイルを制御する、内視鏡システム。
【0105】
(20)特定事項20
特定事項19において、
前記主制御部は、前記予備発光の発光期間×発光レベルの合計値を、前記本発光の発光期間×発光レベルの値の10%以下に制御する、内視鏡システム。
【0106】
(21)特定事項21
特定事項13または14において、
前記主制御部は、前記被写体の観察画像の所定数ラインを構成する画素の前記画素読み出し期間に、連続光あるいはパルス光の前記予備発光を行うように前記発光プロファイルを制御する、内視鏡システム。
【0107】
(22)特定事項22
特定事項21において、
前記主制御部は、前記観察画像の最終の所定数ラインを構成する画素の前記画素読み出し期間に、前記連続光あるいは前記パルス光の前記予備発光を行うように前記発光プロファイルを制御する、内視鏡システム。
【0108】
(23)特定事項23
特定事項19から22の何れか1項において、
前記主制御部は、前記被写体の観察画像の1フレームにおける前記予備発光に基づく測光値と第2の閾値とを比較し、前記発光プロファイルを変更するか否か決定する、内視鏡システム。
【0109】
(24)特定事項24
特定事項23において、
前記主制御部は、前記測光値が前記第2の閾値よりも大きく光量過剰である場合、前記本発光の発光レベルを複数フレーム亘って段階的に下げるように前記発光プロファイルを変更する、内視鏡システム。
【0110】
<その他>
上述の本実施形態の機能は、ソフトウェアのプログラムコードによっても実現することができる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
【0111】
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
【0112】
さらに、本実施形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信し、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
【0113】
最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、本実施形態に開示されている複数の構成要素の適宜な組み合わせにより、様々な形態を形成することができる。例えば、本実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本開示は、具体例に関連して記述したが、これらは、すべての観点において限定されるべきではない。本技術分野の通常の知識を有する者(当業者)には、本開示の技術を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
【0114】
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
【符号の説明】
【0115】
1 内視鏡システム
100 内視鏡装置
103 撮像ユニット
200 プロセッサ
201 光源装置
2011 緑LED
2012 青LED
2013 赤LED
2014 アンバーLED
2015 UV LED
2016 光源制御部
2017、2018 クロスプリズム
202 システムコントローラ
203 測光部
300 モニタ