(58)【調査した分野】(Int.Cl.,DB名)
前記制御部は、前記撮像素子が露光されて受ける光量が前記第1のモードから前記第2のモードへの切替の前後のフィールド又はフレームにおいて等しくなるように前記駆動部を制御することを特徴とする請求項1に記載の内視鏡装置。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本実施の形態に係わる内視鏡装置の構成を示すブロック図である。内視鏡装置1は、内視鏡2と、ビデオプロセッサ3と、光源装置4と、モニタ5とを有している。なお、
図1では、本実施の形態の照明タイミングの変更に関連する構成要素のみを示し、その他の構成要素については省略している。
【0015】
内視鏡2は、撮像素子11と、アナログフロントエンド部(以下、AFE部という)12と、発光素子13とを有して構成されている。
【0016】
撮像素子11は、CMOSイメージセンサであり、後述する撮像素子駆動部23により駆動されて、撮像信号をAFE部12へ出力する。撮像素子11は、各ラインが複数の画素を含む複数の水平ラインを有する受光部を有している。撮像素子11は、水平ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像を生成する。
【0017】
AFE部12は、入力されたアナログ信号である撮像信号に対して、ノイズ低減処理、増幅処理などしてから、デジタル信号に変換して、ビデオプロセッサ3に出力する。
発光素子13は、例えば白色光を出射する発光ダイオード(LED)であり、後述する発光素子駆動部24により駆動されて、被検体を照明するための照明光を発する発光部である。
【0018】
撮像素子11と発光素子13は、内視鏡2の挿入部の先端部に配置される。
ビデオプロセッサ3は、制御部21と、明るさ検出部22と、撮像素子駆動部23と、を有して構成されている。
【0019】
制御部21は、中央処理装置(CPU)、ROM、RAMなどを含み、内視鏡装置1全体の制御及び各部の制御を行う。具体的には、制御部21は、撮像素子11及び発光素子13の駆動制御、撮像素子11からの撮像信号に対する各種画像処理を施してモニタ5に表示する画像の生成、図示しないメモリへの画像の記録などを行う。
【0020】
明るさ検出部22は、内視鏡2の撮像素子11からの撮像信号ISに基づいて、所定の範囲、例えばフレーム画像全体範囲に含まれる複数の画素の画素値からの、画像の明るさを算出する回路である。
【0021】
撮像素子駆動部23は、制御部21からの撮像素子制御信号CS1に基づいて駆動信号SCを生成し、撮像素子11を駆動する回路である。駆動信号SCには、撮像素子11に対する露光タイミング及び読み出しタイミングを与える同期信号が含まれる。
【0022】
光源装置4は、発光素子駆動部24を有して構成されている。
制御部21は、後述するように、所定のタイミングで発光素子駆動制御信号CS2を出力する。
【0023】
発光素子駆動部24は、制御部21からの発光素子駆動制御信号CS2に基づいて電流信号である駆動信号Iを生成して、発光素子13を駆動する回路である。発光素子駆動部24から出力される駆動信号Iの大きさ、すなわち電流値に応じて、発光素子13の出射する光の強度が変化する。
【0024】
制御部21は、後述する2つの照明モードの切替を制御すると共に、各照明モードにおいて、明るさ検出部22の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子13が発する照明光の強度を制御する。すなわち、制御部21は、発光部である発光素子13が発する光の強度を制御する発光制御部を構成する。
【0025】
内視鏡2の挿入部の先端部に設けられた発光素子13からの照明光が被検体の観察部位を照明し、撮像素子11がその反射光を受光して撮像信号ISが生成される。
モニタ5は、内視鏡画像及びメニュー画像を表示する、液晶表示器などの表示装置である。
【0026】
以上のように、明るさ検出部22が、AFE部12からの撮像信号ISに基づいて、フレーム毎の画像の明るさを検出して、各フレーム画像の明るさを示す明るさ信号Bを制御部21へ出力する。制御部21は、受信した撮像信号ISに基づいて表示画像を生成すると共に、受信した明るさ信号Bに基づいて発光素子駆動部24へ発光素子駆動制御信号CS2を出力する。
【0027】
よって、制御部21は、撮像素子駆動部23を制御して、撮像素子11を駆動し、ローリングシャッタ方式により生成された画像データから内視鏡画像を生成して、モニタ5に出力して表示する。
【0028】
図2は、内視鏡装置1の撮像時における撮像素子11の露光期間及び読み出し期間と、発光素子13が出射する照明光の出力との関係を説明するための模式的な図である。
図2において、上段のG1で示す範囲には、撮像素子11の各ラインの露光期間と読み出し期間のタイミングが模式的に示されている。下段のG2には、発光素子13に流れる駆動信号Iの変化が示されている。横軸は、時間tの軸である。
【0029】
撮像素子11は、CMOSイメージセンサであり、撮像素子11は、各ラインが複数の画素からなり、n行のラインからなる受光部を有する。撮像素子11は、ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像データを生成する。
【0030】
具体的には、撮像素子11は、複数のフレームを連続的に撮像する場合、蓄積された電荷の読み出しを1つの水平ライン毎に行う。撮像素子11の受光部の第1ライン(
図2における1行目のライン)から最後ラインである第nライン(nは自然数であり、
図2におけるn行目のライン)が、順次読み出しラインとなって、画素信号が読み出される。そのため、1行目のラインとn行目のラインとの間には、読み出しタイミングに時間差が生じる。
【0031】
撮像素子11の第1ラインの画素データの読み出しの開始後、第nラインの画素データの読み出しが終了するまでの期間が、映像読み出し期間IRである。
周期的に発生する映像読み出し期間IR以外の期間であって、全ラインに対して同時に露光を行う期間が、全ライン同時露光期間ALである。
図2に示すように、画像の1フィールド又は1フレームの期間T中には、全ライン同時露光期間ALと映像読み出し期間IRが含まれる。
【0032】
撮像素子11はローリングシャッタ方式であるため、全ライン同時露光期間ALと映像読み出し期間IRが交互に切り替わる。
なお、1フィールド(又は1フレーム)の期間T、及び、全ライン同時露光期間ALの時間t1は、撮像素子11の仕様によって決定される。
【0033】
以上のように、内視鏡の挿入部に設けられた撮像素子11は、光が照射される被検体からの反射光を受光する複数のラインを有し、複数のラインの露光を同時に行う露光期間ALと、複数のラインから順次各ラインの撮像信号を読み出す読み出し期間IRとを交互に切り替えるローリングシャッタ方式の撮像素子である。
【0034】
発光素子駆動部24が出力する駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で変化する。制御部21は、発光素子駆動制御信号CS2を発光素子駆動部24に出力する。すなわち、発光素子駆動制御信号CS2は、発光素子駆動部24が出力する駆動信号Iが所定の最小値Iminと所定の最大値Imaxの間となるような信号である。
【0035】
内視鏡2の挿入部が被検体内に挿入されて、撮像素子11により被検体内が撮像されると、制御部21は、明るさ検出部22が検出した画像の明るさに応じて、画像が適正な明るさとなる強度で発光素子13が照明光を出射するような発光素子駆動制御信号CS2を、発光素子駆動部24に出力する。その結果、モニタ5には、適正な明るさの内視鏡画像が表示される。すなわち、制御部21は、発光素子13に流れる駆動信号Iの大きさを調整することによって、調光を行う電流レベル制御を実行する。電流レベル制御は、例えば、PAM(Pulse Amplitude Modulation)制御である。
【0036】
図2において、発光素子13に流れる駆動信号Iの電流値の大きさは、期間T2では、期間T1よりも小さくなっている。例えば、挿入部の先端が被検体に近づいたため、明るさ信号Bが大きくなって、照明光の強度を下げる必要になったため、期間T2では、発光素子13を駆動する駆動信号Iの電流値が低下している。
【0037】
期間T1とT2の各期間では、全ライン同時露光期間AL及び映像読み出し期間IRにおいて、画像の明るさに応じた一定の強度の照明光を出射する第1照明モードM1で、照明制御が行われている。上述したように、第1照明モードM1では、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整されるが、内視鏡2の挿入部の先端部が被検体に近づき過ぎると、駆動信号Iが最小値Iminであっても画像の明るさが所定の明るさ以上となってしまう。
【0038】
すなわち、制御部21は、通常は、適切な明るさの画像を得るために全ライン同時露光期間AL及び映像読み出し期間IRにおいて同じ強度の照明光を出射する第1照明モードM1による照明制御を実行する。
【0039】
しかし、上述したように、挿入部の先端が被検体に近づいたりして、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射すると照明光の強度が強すぎてしまうときは、制御部21は、適切な明るさの画像を得るために全ライン同時露光期間ALのみにおいて照明光を出射する第2照明モードM2による照明制御を実行するように照明モードを切り替える。
【0040】
第2照明モードM2は、全ライン同時露光期間ALにおいてのみ照明光を出射し、映像読み出し期間IRにおいては照明光を出射しないので、必要な光量が少ないときに実行されるモードである。第2照明モードM2では、駆動信号Iの大きさを増減させて光の強度を制御する電流制御と、発光させる時間により照明光量を制御するPWM制御とが併用される。
【0041】
図2の期間T4とT5では、全ライン同時露光期間ALにおいてのみ照明光が出射される第2照明モードM2で、照明制御が行われている。第2照明モードM2においても、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整される。
第1照明モードM1と第2照明モードM2は、画面の明るさLに応じて切り替えられる。
【0042】
図2は、期間T3から期間T4に移行するときに、第1照明モードM1から第2照明モードM2への照明制御の移行が行われていることを示している。
【0043】
(作用)
次に、内視鏡装置1の動作について説明する。
【0044】
上述したように、第1照明モードM1と第2照明モードM2は、画面の明るさLに応じて切り替えられるが、第1照明モードM1と第2照明モードM2の切替処理について説明する。
【0045】
図3は、照明モードを説明するための図である。
図3の縦軸は、明るさLを示している。通常、制御部21は、明るさ検出部22の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子13が発する照明光の強度を制御する。しかし、内視鏡の先端部が検査部位に近づき過ぎたときは、上述した駆動電流Iが最小値Iminになっても、得られる画像の明るさLは適切な明るさにならず、所定の閾値Lth以上となる。
【0046】
そこで、制御部21は、明るさ検出部22からの明るさ信号Bに基づいて算出された画像の明るさLが所定の閾値Lth以上であれば、第2照明モードM2で照明制御を実行し、画像の明るさLが所定の閾値Lth未満であるとき、第1照明モードM1で照明制御を実行する。明るさLが所定の閾値Lth以上になるとき、及び明るさLが所定の閾値Lth未満になるとき、照明モードの切替が行われる。
【0047】
図4は、照明モードの切替処理の流れの例を示すフローチャートである。
図4の処理は、第1照明モードM1と第2照明モードM2で照明制御が実行されているとき、常に実行されている。
【0048】
制御部21は、明るさ検出部22からの明るさ信号Bに基づいて、画像の明るさLが所定の閾値Lth以下であるか否かを判定する(S1)。
画像の明るさLが所定の閾値Lth以下であると(S1:YES)、制御部21は、現在の照明モードが第1照明モードM1であるかを判定し(S6)、第1照明モードM1であるとき(S6:YES)、処理は何もしない。
図2では、期間T1及びT2において第1照明モードM1の照明制御が行われている。
【0049】
画像の明るさLが所定の閾値Lthを超えると(S1:NO)、制御部21は、現在の照明モードが第2照明モードM2であるかを判定し(S2)、第2照明モードM2でないとき(S2:NO)、補正演算処理を実行する(S3)。
【0050】
図2において期間T3までは、第1照明モードM1で照明制御が行われており、期間T3において画像の明るさLが所定の閾値Lth以上となり、次の期間T4からは、第2照明モードM2で照明制御が行われる。
【0051】
期間T4から第2照明モードM2で照明制御が開始するときに、補正演算処理(S3)が行われ、第2照明モードM2で照明制御を開始するときの最初のフィールド、ここでは期間T4における電流値が決定される。
【0052】
図2に示すように、期間T3の映像読み出し期間IRにおける駆動信号Iの電流値をI1とし、期間T4の全ライン同時露光期間ALにおける駆動信号Iの電流値をI2とするとき、期間T3における映像読み出し期間IRにおいて読み出される撮像信号に対応する画像の明るさと期間T4における映像読み出し期間IRにおいて読み出される撮像信号に対応する画像の明るさとを一致させるために、電流値I2は、次の式(1)を満たすように決定される。
【0053】
(T−t1)I1/2 = t1(I2−I1) ・・・ (1)
式(1)の左辺は、
図2における斜線領域R1の面積を示す。式(1)の右辺は、
図2における斜線領域R2の面積を示す。
【0054】
よって、第1照明モードM1から第2照明モードM2への移行後の最初のフィールド(
図2では期間T4)では、光の強度の増加量、言い換えれば期間T3の電流値I1から期間T4における電流値I2への変化量が小さいので、移行時の光量ムラが目立ち難くなる。
【0055】
さらに、移行後の期間T5の全ライン同時露光期間ALにおける駆動信号Iの電流値は、最大値Imaxを超えることはできないので、電流値I1とI2は、次の式(2)を満たす必要がある。
2(I2−I1)+I1 ≦ Imax ・・・(2)
よって、制御部21は、S2でNOの場合に、上記の式(1)の条件を満たす電流値I2を算出する補正演算処理を実行し(S3)、補正演算の結果が上記の式(2)の条件を満たしているかに基づいて、照明モードの切替が可能かを判定する(S4)。
【0056】
なお、上述したように、撮像素子11の1フィールド(又は1フレーム)の期間T、及び、全ライン同時露光期間ALの時間t1は、撮像素子11の仕様によって決まるので、各照明モードにおける電流値I1とI2は、次の式(3)と(4)を満たす。
【0057】
Imin≦I1≦(t1/T)Imax ・・・(3)
I2≦((T+t1)/2T)Imax ・・・(4)
照明モードの切替が可能であると判定されたとき(S4:YES)、制御部21は、補正演算処理の結果に基づいて、全ライン同時露光期間ALにおいてのみ照明光が出射される第2照明モードM2で、照明制御を行う(S5)。ここで、照明モードの切替が行われる。
【0058】
S5では、制御部21は、S3で決定された電流値I2を発光素子13に流すように、第1照明モードM1から第2照明モードM2への移行後の最初のフィールド(T4)における照明制御を行う。その後のフィールド(T5以降)では、画像の明るさに応じて、全ライン同時露光期間ALにおいてのみ照明光が出射される第2照明モードM2で、照明制御が行われる。
【0059】
以上のように、制御部21は、露光期間である全ライン同時露光期間AL及び読み出し期間である映像読み出し期間IRにおいて発光素子13からの光を照射する第1照明モードM1と、露光期間である全ライン同時露光期間ALのみにおいて発光素子13からの光を照射する第2照明モードM2の2つのモードのうち、一方から他方へモードの切替を行うときに、ここでは、第1照明モードM1から第2照明モードM2へのモードの切替後に光の強度が所定の値になるように制御する切替制御部を構成する。
【0060】
そして、制御部21は、撮像素子11が露光されて受ける光量がモードの切替の前後のフィールド又はフレームにおいて等しくなるように発光素子13が発する光の強度を制御する。しかし、制御部21は、切替の直後のフィールド又はフレームでは、モードの切替の直前のフィールド又はフレームにおける読み出し期間IRにおける光量の一部、ここでは半分を、モードの切替の直前のフィールド又はフレームにおける露光期間ALにおける光量に加算した光量を、モードの切替の直後のフィールド又はフレームにおける露光期間ALの光量とするように、発光素子13発する光の強度を制御する。
【0061】
具体的には、制御部21は、モードの切替の直前の光の強度(ここでは電流値)をI1とし、モードの切替の直後の光の強度(ここでは電流値)をI2とし、露光期間をt1とし、撮像素子11における1フィールド又は1フレームの期間をTとしたときに、式(1)の関係を満たすように、発光素子13を制御する。さらに、制御部21は、発光素子13における最大発光強度をImaxとしたときに式(2)の関係を満たすように、発光素子13を制御する。
【0062】
照明モードの切替が可能であると判定されないとき(S4:NO)、制御部21は、処理を何もせず、結果として照明モードの切替を行わない。
なお、制御部21は、現在の照明モードが第2照明モードM2であるかを判定したときに第2照明モードM2であると(S2:YES)、処理は、何もせず、結果として第2照明モードM2での照明制御が継続する。
【0063】
また、画像の明るさLが所定の閾値Lth以上であると(S1:NO)、制御部21は、現在の照明モードが第1照明モードM1であるかを判定し(S6)、第1照明モードM1でないとき(S6:NO)、補正演算処理を実行する(S7)。
【0064】
S7の補正演算処理では、第2照明モードM2から第1照明モードM1への移行後の最初のフィールドの駆動信号Iの電流値I1が上述した式(1)を満たすように決定される。
すなわち、制御部21は、S6でNOの場合に、上記の式(1)の条件を満たす電流値I1を算出する補正演算処理を実行し(S7)、補正演算の結果が上記の式(2)の条件を満たしているかに基づいて、照明モードの切替が可能かを判定する(S8)。
【0065】
照明モードの切替が可能であると判定されたとき(S8:YES)、制御部21は、補正演算処理の結果に基づいて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第1照明モードM1で、照明制御を行う(S9)。その後は、画像の明るさに応じて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第1照明モードM1で、照明制御を行う。
【0066】
S9では、制御部21は、S7で決定された電流値I1を発光素子13に流すように、第2照明モードM2から第1照明モードM1への移行後の最初のフィールドにおける照明制御を行う。その後のフィールドでは、画像の明るさに応じて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第1照明モードM1で、照明制御が行われる。
【0067】
以上のように、制御部21は、第2照明モードM2から第1照明モードM1へのモードの切替後に光量が所定の値になるように制御する切替制御部を構成する。
照明モードの切替が可能であると判定されないとき(S8:NO)、制御部21は、処理を何もせず、結果として照明モードの切替を行わない。
【0068】
なお、制御部21は、現在の照明モードが第1照明モードM1であるかを判定したときに第1照明モードM1であると(S6:YES)、上述したように、処理は、何もせず、結果として第1照明モードM1での照明制御が継続する。
以上のように、上述した実施の形態によれば、照明タイミングの変更が行われるときに、輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。
【0069】
なお、上述した実施の形態では、発光素子13は白色光を出射するが、RGBなどの複数色に光を出射する複数の発光素子を用いてもよく、その場合は、制御部は、各色の光の出射のタイミングの切替時において、上述したような照明光の強度制御を行う。
【0070】
さらになお、上述した実施の形態の内視鏡装置では、照明モードは、画像の明るさに基づいて切替が行われるが、切替は、画像の明るさに基づかなくてもよい。例えば、第2照明モードM2への切り替え後の駆動信号IがImaxを越えないようなI1において、任意のときに、第1照明モードM1から第2照明モードM2へ変更してもよい。また、第1照明モードM1への切り替え後の駆動信号IがIminを下回らないようなI2において、任意のときに、第2照明モードM2から第1照明モードM1へ変更してもよい。具体的には、本実施例において上述した式(1)と(2)を満たすときには、任意のときに、照明モードの切替を行うようにしてもよい。
【0071】
次に、上述した実施の形態の
参考例について説明する。
【0072】
(参考例)
上述した実施の形態では、第1照明モードM1の全ライン露光期間の全体に亘って駆動信号Iが出力されるが、
本参考例のように、第1照明モードM1の全ライン露光期間においてPWM制御を行うようにしてもよい。
【0073】
図5は、本
参考例に係る、内視鏡装置1の撮像時における撮像素子11の露光期間及び読み出し期間と、発光素子13が出射する照明光の出力との関係を説明するための模式的な図である。
図5は、
図2と同様の図であるので、共通する部分については説明は省略する。
【0074】
図5に示すように、
本参考例においては、画像の1フィールド又は1フレームの期間T中の全ライン同時露光期間ALにおいて、発光素子13は、PWM制御により全ライン同時露光期間ALの全てに渡って光を出射していない。
【0075】
以上のように、
本参考例においては、撮像素子11は、全ライン同時露光期間ALの全ての期間に渡って複数のラインの露光を同時に行うのではなく、全ライン同時露光期間ALの一部の期間において、複数のラインの露光を同時に行
う。
【0076】
なお、本参考例においても、第2照明モードM2への切り替え後の駆動信号IがImaxを越えないようなI1において、任意のときに、第1照明モードM1から第2照明モードM2へ変更してもよい。また、第1照明モードM1への切り替え後の駆動信号IがIminを下回らないようなI2において、任意のときに、第2照明モードM2から第1照明モードM1へ変更してもよい。
【0077】
さらに、本参考例において、PWM制御により読み出し期間にのみ発光素子13が発光している場合において、映像読み出し期間IRに発光する第1照明モードM1と全ライン同時露光期間ALのみに発光する第2照明モードM2との切り替えてもよい。また、第1照明モードM1と第2照明モードM2の一方から他方へ切り替える際に
、モード切り替え前後において画像の明るさが等しくなるように駆動信号Iを制御してもよい。
【0078】
次に、上述した実施の形態の変形例について説明する。
(変形例)
本変形例においては、モードの切替の直後の画像、例えば上述した第1照明モードM1から第2照明モードM2への移行後の最初のフィールド又はフレーム(
図2では期間T4)では、期間T3の映像読み出し期間IRにおける照明の影響を受けて、期間T4で出力される画像には、ライン間の輝度差による輝度ムラがあるので、制御部21は、第1照明モードM1から第2照明モードM2への移行後の最初のフィールド(
図2では期間T4)に得られた画像に対して、その輝度ムラをなくすように補正する画像処理を行
う。
【0079】
すなわち、
本変形例においては、制御部21が補正部としての機能を有し、その補正部が、モードの切替の直後のフィールド又はフレームの画像に対して、モードの切替の直前のフィールド又はフレームにおける映像読み出し期間IRにおける光量の影響による輝度ムラを補正する処理を行
う。
【0080】
以上説明したように、上述した実施の形態及び
前記変形例によれば、照明タイミングの変更が行われるときに、輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。
【0081】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【0082】
本出願は、2015年9月16日に日本国に出願された特願2015−183168号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。