(58)【調査した分野】(Int.Cl.,DB名)
前記位相ずれ検出手段が、上部、下部でそれぞれ隣り合う2組のライン対について読み出し順を対ごとに入れ替えることを特徴とする請求項1乃至2のいずれかに記載の内視鏡装置。
前記ロータリーシャッタ位相制御手段が、検出された位相ずれを解消するように、前記ロータリーシャッタを回転制御することを特徴とする請求項1乃至4のいずれかに記載の内視鏡装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
ロータリーシャッタを使用した露光期間調整の場合、ロータリーシャッタの位相が電荷読み出しのタイミングとずれると、ラインによっては画素信号読み出し前に次の開口部通過が開始される。その結果、同一ライン上で二度に渡る露光が行わることになり、画質が低下する。
【0007】
しかしながら、位相ずれを検出するためには、複数のフレームメモリを用意して、複雑な画像解析を行う必要がある。これでは、位相ずれを迅速に解消することができない。
【0008】
したがって、ロータリーシャッタの位相と電荷読み出しのタイミングの同期ずれを容易に検知し、また同期ずれを解消することが求められる。
【課題を解決するための手段】
【0009】
本発明の内視鏡装置は、スコープ先端部に設けられたX−Yアドレス型撮像素子と、開口部と遮光部を有し、開口部が光源の光路を通過するように回転するロータリーシャッタと、画素信号の読み出し禁止期間を設け、1フィールドもしくはフレーム期間に従い、撮像素子から1フィールド/フレーム分の画素信号をラインごとに読み出す露光制御手段と、ロータリーシャッタを回転制御し、開口部の光路通過期間を読み出し禁止期間内に収めるロータリーシャッタ位相制御手段と、読み出した1フィールド/フレーム分の画素信号に基づき、読み出し禁止期間に対するロータリーシャッタの位相ずれを検出する位相ずれ検出手段とを備える。
【0010】
そして、露光制御手段は、撮像素子の受光エリアにおいて上部および下部に位置する1つもしくは複数のラインに対し、読み出し順を相互に入れ替え、位相ずれ検出手段は、ライン配列上隣り合う一方で読み出し順が離れた1つもしくは複数から成るラインの画素信号同士から、位相ずれを検知する。
【0011】
1つのラインもしくは複数のライン(ライン群)は、上部および下部の少なくとも一方に位置するラインであり、例えば、上から1〜30番目までの範囲、最後尾から30番目の範囲内のラインを取り上げることが可能である。そして、ロータリーシャッタ位相制御手段は、検出された位相ずれを解消するように、ロータリーシャッタを回転制御するようにすればよい。
【0012】
位相ずれ検出手段は、上記のような1つのラインもしくはライン群に関し、配列上隣り合っていて読み出し順が離れた画素信号同士を比較することにより、位相ずれを検知する。特定のライン上の画素信号を比較する簡単な処理によって、二重露光発生を確実に検知することができる。
【0013】
例えば、位相ずれ検出手段は、上部、下部でそれぞれ隣り合う2組のライン対について読み出し順を対ごとに入れ替えることができる。2つのラインに基づいて位相ずれを検出することで確実に相違しているか判断することが可能となる。
【0014】
1フィールド/フレーム分の画素信号に基づいて観察画像を生成する画像処理手段を設けた場合、画像処理手段は、画質劣化を防ぐため、読み出し順の入れ替えられたラインの画素信号を、観察画像形成に利用しないようにすることができる。
【発明の効果】
【0015】
このように本発明によれば、X−Yアドレス型撮像素子を使用した内視鏡装置において、ロータリーシャッタと読み出しタイミングの同期ずれによる画質低下を防ぐことができる。
【発明を実施するための形態】
【0017】
以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。
【0018】
図1は、本実施形態である電子内視鏡装置のブロック図である。
図2は、ロータリーシャッタ対から成るシャッタ機構の概略的平面図である。
【0019】
電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ10と、プロセッサ20とを備え、ビデオスコープ10はプロセッサ20に着脱自在に接続される。プロセッサ20には、モニタ50が接続されている。
【0020】
プロセッサ20は、キセノンランプなどの光源22を備え、光源22から放射された照明光は、集光レンズ28を介してビデオスコープ10内に設けられたライトガイド11に入射し、ライトガイド11を通ってスコープ先端部から被写体(観察対象)に向けて照射される。
【0021】
被写体に反射した照明光は、スコープ先端部に設けられた対物レンズ(図示せず)を通り、これによって被写体像がイメージセンサ(撮像素子)12の受光面(受光エリア)に形成される。イメージセンサ12は、X−Yアドレス型撮像素子であり、ここではCMOSイメージセンサが適用される。イメージセンサ12には、Cy、Ye、G、MgあるいはR、G、B等から成る色要素をモザイク配列させた色フィルタが配設されている。
【0022】
イメージセンサ12では、1フレーム分の画素信号が、撮像素子駆動回路32からの駆動信号に従い、所定のフレーム時間間隔(ここでは1/30秒間隔)で読み出される。画素信号読み出し方式としては、ローリングシャッタ方式が採用されており、ラインごとに順番に読み出される。
【0023】
イメージセンサ12から読み出された1フレーム分の画素信号は、プロセッサ20の初期回路34においてデジタル化、ノイズ除去処理などが施され、画像処理回路36へ送られる。なお、イメージセンサ12の傍に設置された信号処理回路においてデジタル化処理等を行ってもよい。また、撮像素子駆動回路32をイメージセンサ12の傍に配置してもよい。
【0024】
画像処理回路36では、入力された1フレーム分の画素信号に対し、ホワイトバランス処理、ガンマ補正処理などの信号処理が施される。これにより、カラー画像信号が生成される。生成されたカラー画像信号が映像信号としてモニタ50に出力されることにより、観察画像がリアルタイムの動画像としてモニタ50に表示される。システムコントロール回路30は、画像処理回路36などへ制御信号を出力し、プロセッサ20全体の動作を制御する。
【0025】
光源22とライトガイド11との間には、一対のロータリーシャッタ27、29を同軸に対面配置させたシャッタ機構24が設けられている。ロータリーシャッタ対27、29は、
図2に示すように、円盤状板にそれぞれ弧状の開口部27A、29Aを形成したシャッタ部材であり、開口部27A、29A以外が遮光部として構成される。
【0026】
ロータリーシャッタ対27、29は、そのサイズが同一であって、開口部27A、29Aの周方向長さは、ともに半周分長さとなっている。ロータリーシャッタ対27、29は、図示しないモータなどのシャッタ駆動機構によって駆動される。
【0027】
ロータリーシャッタ27、29それぞれの回転により、光源22から放射される光の光路LBには、遮光部と透過部が交互に通過する。これによって被写体へ照射される露光期間が調整される。ロータリーシャッタ対27、29は、1フレーム期間に合わせて一定速度で回転する。
【0028】
さらに、ロータリーシャッタ対27、29は、互いに位相シフトさせて回転すること可能であり、ロータリーシャッタ27に対するロータリーシャッタ29の位相を相対的に早め、あるいは遅くすることによって、開口部27Aの一部がロータリーシャッタ29の遮光部と重なる(
図2参照)。その結果、光路LBが開口部27A、29A両方を通過する遮光期間、すなわち露光期間が変化する。
【0029】
オペレータは、例えば、フリーズ操作によって静止画像を記録する場合、あるいは光源の出力特性などに応じて露光期間を調整したい場合、キーボード60などの入力部材を操作することにより、露光期間を調整することができる。
【0030】
モニタに表示される被写体像の明るさは、絞り26の開閉によって行われる。ここでは、被写体像の明るさが基準となる輝度レベルとなるようにシステムコントロール回路30によって自動調光処理が行われる。
【0031】
ただし、ロータリーシャッタ対27、29によって明るさ調整を行うことも可能である。この場合、一方のロータリーシャッタの位相を相対的に進める、あるいは遅らせる位相制御を続けることにより、光量を連続的に増減させることが可能である。
【0032】
また、2つのロータリーシャッタから構成されるシャッタ機構を採用する代わりに、1枚のロータリーシャッタの回転を読み出しタイミングに応じて位相シフト制御することにより、露光期間を調整することも可能である。
【0033】
図3は、CMOS型イメージセンサにおける、ロータリーシャッターを使用する場合の露光期間と画素信号読み出しを示した図である。以下、
図3を用いて、ロータリーシャッタの位相と画素信号読み出しタイミングの同期ずれについて説明する。
【0034】
CMOS型イメージセンサ12の通常画素信号読み出し方式であるローリングシャッタ方式では、受光面における上方のラインから下方のラインに向けて画素信号がラインごとに順次読み出される。
図3では、説明のため便宜上ライン数を16としている。
【0035】
ロータリーシャッタ27、29の開口部27A、29Aを光が通過する期間(以下、照射期間という)MAは、1フレーム期間FA内に収まるように、画素信号を読み出さない期間(以下、読み出し禁止期間という)SAに合わせて設定される。ここでは、照射期間MAと読み出し禁止期間SAが一致している。各ラインの順次読み出し走査タイミングは、1フレーム期間FAに従って調整されている。
【0036】
照射期間MA、すなわち露光期間中に画素信号が読み出されず、全ラインの画素信号を読み出すのにかかる読み出し期間SBは、ロータリーシャッタ27、29による遮光期間と重なり、実質的に露光されない。この場合、ロータリーシャッタ27、29の位相と画素信号読み出しタイミングは、同期しているものとみなす。
【0037】
一方、ロータリーシャッタ27、29の回転制御のフィードバック制御追従性の問題等により、ロータリーシャッタ27、29の位相と画素信号読み出しタイミングとの間で同期ずれが生じる場合がある。その結果、画素信号読み出し期間SBと照射期間MAが部分的に重なる。
図3では、ロータリーシャッタ27、29の位相が進んだ場合の状態を示している。
【0038】
このような同期/位相ずれが生じると、一部ライン上の画素に対して次のフレーム期間における照射期間MAが開始されることによって、二重露光が生じてしまう。
図3では、下部の第13〜16ラインに該当するエリアが二重露光となっている。
【0039】
そこでは、本実施形態では、一部ラインの画素信号読み出しラインを入れ替えることによって、1フレーム分の画素信号全体を解析することなく、位相ずれを検出する。以下、これについて説明する。
【0040】
図4は、画素信号の読み出しライン順を示した図である。
図5は、読み出した画素信号のラインに沿った信号分布状態を示した図である。
【0041】
通常のローリングシャッタ方式に従って上のラインから下のラインに向けて画素信号を順番に読み出す一方、受光面の上部エリアTAと、下部エリアTBに関して読み出し順を変更する。この上部エリアTA、下部エリアTBは、二重露光が発生する領域として定められている。
【0042】
ロータリーシャッタ27、29の位相が進んだ場合、
図4に示すように下部エリアTBにおいて二重露光が発生する。位相が遅れた場合、上部エリアTAにおいて二重露光が発生する。そのため、上部エリアTA、下部エリアTBを実際の観察画像には使用せず、位相ずれ検出のみに利用し、第5〜12ライン間の画素信号によって観察画像を生成される。
【0043】
上部エリアTAについては、隣り合う第1、第2ラインE1と、第3、第4ラインE2とが位相ずれ検出のため1つのライン群となり、下部エリアTBについては、第13、14ラインE3と、第15、16ラインE4とがまとまったライン群として定められている。
【0044】
そして、画素信号を読み出すとき、第15、16ラインE4の画素信号を、第1、第2ラインE1の代わりに最初に読み出す。その後、第3〜12ライン、および第13、14ラインまでは、通常と同じように上から下に順番に画素信号を読み出す。そして、第1、第2ラインE1の画素信号を、最後に読み出す。
【0045】
このような画素信号読み出し後、ライン配列上隣り合うライン群同士の信号分布を比較する。
図4に示すように、ライン配列に基づいてライン群を並べてみると、第15、16ラインE4に相当するライン群G1と第13、14ラインE3に相当するライン群G3は読み出し順において一方が先頭、もう一方が末尾近くとなっている。
【0046】
図3のようにロータリーシャッタ27、29の位相が進んでいる場合、上記読み出しライン順で画素信号を読み出すと、第13、14ラインE3に相当するライン群G3は二重露光発生となるが、第15、16ラインE4に相当するライン群G1は、一番初めに読み出されているため、二重露光が発生しない。
【0047】
図5には、ライン群G1、G2、G3、G4のライン上に沿った信号分布、すなわち輝度レベル分布が図示されている。位相が進んでいる場合、読み出し順の変更されていないライン群G3と、読み出し順が変更されたライン群G1とを比較すると、画素信号分布に違いが生じる。同様に、最後に読み出されるライン群G4(第1、2ラインE1)と、読み出し変更されないライン群G2(第3、4ラインE2)とを比較すると、ライン群G2は二重露光が発生せず、ライン群G4には二重露光が発生するため、画素信号分布に違いが生じる。
【0048】
そのため、ライン群G1とG3、G2とG4との間には、輝度分布に相違が生じる。したがって、ライン配列に関しては互いに隣り合うライン群である一方、読み出し順に関して離れているライン群同士について、画素信号分布状態を相互比較することにより、位相ずれを検出することができる。
【0049】
これは、ロータリーシャッタ27、29の位相が遅れた場合も同様である。
【0050】
図6は、システムコントロール回路30によって実行される位相ずれ検出処理のフローチャートである。
【0051】
撮像中、上述したようなライン順で画素信号を読み出すように、システムコントロール回路30が撮像素子駆動回路32へ制御信号を出力し、イメージセンサ12が駆動される。所定の1フレーム分の画素信号を初期回路34から取得すると(S101)、ライン群G1、G2、G3、G4のライン上に沿った信号分布特性を検出する(S102〜S105)。信号分布特性としては、ここではラインに沿った輝度分布を抽出する。なお、ヒストグラムデータ、最大値、最少値、平均値などによって、輝度分布特性を検出してもよい。以下、その特性値をF(G1)、F(G2)、F(G3)、F(G4)と表す。
【0052】
F(G1)、F(G3)あるいはF(G2)、F(G4)いずれか一方が一致しない場合、F(G3)と、F(G1)の大小を比較する(S106〜S109)。F(G3)の方がF(G1)よりも大きい場合、二重露光が下部エリアTBにおいて発生している、すなわち、
図5のように位相が進んでいると判断する。そして、ロータリーシャッタ29の位相を相対的に遅らせ、照射開始タイミングを遅らせる(S109)。
【0053】
一方、F(G1)の方がF(G3)よりも大きい場合、二重露光が上部エリアTAにおいて発生している、すなわち位相が遅れていると判断する。そして、ロータリーシャッタ29の位相を相対的に進ませ、照射開始タイミング進ませる(S110、S111)。
【0054】
このような位相ずれ検出と遮光開始タイミングの調整をフィードバック制御することにより、同期ずれを解消することができる。なお、F(G1)とF(G3)とを比較する代わりに、F(G2)とF(G4)とを比較してもよい。あるいは、両方を比較してもよい。
【0055】
このように本実施形態によれば、スコープ先端部にCMOS型イメージセンサを設け、一対のロータリーシャッタを回転位相制御することによって露光期間を調整可能な内視鏡装置において、受光エリアの上部エリアTA、下部エリアTBのラインE1、E2、E3、E4に対し、ライン読み出し順を相互に入れ替える。そして、ラインの配列上隣り合う一方でライン読み出し順に関して離れているライン群G1、G3、あるいはライン群G2、G4の信号分布状態を相互比較することにより、位相ずれを検出する。
【0056】
高度な画像解析処理をすることなく、ロータリーシャッタとイメージセンサにおける露光タイミングの同期ずれを検知することができる。また、読み出し順を入れ替えたラインについては観察画像形成に利用しないため、画質に影響を及ぼさない。さらに、ライン全体に渡った信号レベル分布を抽出するため、二重露光発生を確実に検知することができる。
【0057】
ラインの読み出し順の入れ替えについては、上記方式に限定されない。例えば、第1〜Nラインまである場合、N、2、N−2、・・・・、3、N−1、1という順で、1つずつラインを互い違いに入れ替えた読み出し順にしてもよい。また、第1〜Mライン、第N−M+1〜Nラインを一塊のラインとし、読み出し順を入れ替えるようにしてもよい。また、1フィールド期間の読み出し方式に適用してもよい。