(58)【調査した分野】(Int.Cl.,DB名)
2次元マトリクス状に配置され、光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置される縦ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する複数のダミー画素と、を有し、画像データを生成する撮像素子と、
前記複数のダミー画素の各々が出力した前記ダミー信号に基づいて、第1の補正値を前記縦ライン毎に算出する第1の算出部と、
前記第1の算出部が算出した前記縦ライン毎の前記第1の補正値と前記画像データとに基づいて、前記複数の有効画素の各々が出力した前記撮像信号を前記縦ライン毎に補正して補正後画像データを生成する第1の補正部と、
前記撮像素子の遮光時に前記第1の補正部が生成した前記補正後画像データに対応する補正後画像における前記縦ライン毎の画素値の平均値と前記補正後画像の全画素の画素値の平均値との差を示す第2の補正値と、前記補正後画像における前記縦ラインの位置を示す位置情報と、を対応付けた補正情報を記録する記録部と、
前記記録部が記録する前記補正情報と前記補正後画像データとに基づいて、前記補正後画像の画素値を前記縦ライン毎に補正して出力画像データを生成する第2の補正部と、
を備えることを特徴とする内視鏡。
2次元マトリクス状に配置され、光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置される縦ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する複数のダミー画素と、を有し、画像データを生成する撮像素子を備えた内視鏡が接続される制御装置であって、
前記複数のダミー画素の各々が出力した前記ダミー信号に基づいて、第1の補正値を前記縦ライン毎に算出する第1の算出部と、
前記第1の算出部が算出した前記縦ライン毎の前記第1の補正値と前記画像データとに基づいて、前記複数の有効画素の各々が出力した前記撮像信号を前記縦ライン毎に補正して補正後画像データを生成する第1の補正部と、
前記撮像素子の遮光時に前記第1の補正部が生成した前記補正後画像データに対応する補正後画像における前記縦ライン毎の画素値の平均値と前記補正後画像の全画素の画素値の平均値との差を第2の補正値として算出する第2の算出部と、
前記第2の算出部が算出した前記第2の補正値と前記補正後画像データとに基づいて、前記補正後画像の画素値を前記縦ライン毎に補正して出力画像データを生成する第2の補正部と、
を備えることを特徴とする制御装置。
2次元マトリクス状に配置され、光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置される縦ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する複数のダミー画素と、を有し、画像データを生成する撮像素子を備えた内視鏡が接続される制御装置が実行する補正方法であって、
前記複数のダミー画素の各々が出力した前記ダミー信号に基づいて、第1の補正値を前記縦ライン毎に算出する第1の算出ステップと、
前記第1の算出ステップで算出した前記縦ライン毎の前記第1の補正値と前記画像データとに基づいて、前記複数の有効画素の各々が出力した前記撮像信号を前記縦ライン毎に補正して補正後画像データを生成する第1の補正ステップと、
前記撮像素子の遮光時に前記第1の補正ステップで生成した前記補正後画像データに対応する補正後画像における前記縦ライン毎の画素値の平均値と前記補正後画像の全画素の画素値の平均値との差を第2の補正値として算出する第2の算出ステップと、
前記第2の算出ステップで算出した前記第2の補正値と前記補正後画像データとに基づいて、前記補正後画像の画素値を前記縦ライン毎に補正して出力画像データを生成する第2の補正ステップと、
を含むことを特徴とする補正方法。
2次元マトリクス状に配置され、光を受光し、受光量に応じた撮像信号を生成して出力する複数の有効画素と、前記複数の有効画素の配置される縦ライン毎に設けられ、前記撮像信号の補正処理に用いられるダミー信号を生成して出力する複数のダミー画素と、を有し、画像データを生成する撮像素子を備えた内視鏡が接続される制御装置に、
前記複数のダミー画素の各々が出力した前記ダミー信号に基づいて、第1の補正値を前記縦ライン毎に算出する第1の算出ステップと、
前記第1の算出ステップで算出した前記縦ライン毎の前記第1の補正値と前記画像データとに基づいて、前記複数の有効画素の各々が出力した前記撮像信号を前記縦ライン毎に補正して補正後画像データを生成する第1の補正ステップと、
前記撮像素子の遮光時に前記第1の補正ステップで生成した前記補正後画像データに対応する補正後画像における前記縦ライン毎の画素値の平均値と前記補正後画像の全画素の画素値の平均値との差を第2の補正値として算出する第2の算出ステップと、
前記第2の算出ステップで算出した前記第2の補正値と前記補正後画像データとに基づいて、前記補正後画像の画素値を前記縦ライン毎に補正して出力画像データを生成する第2の補正ステップと、
を実行させることを特徴とするプログラム。
【発明を実施するための形態】
【0013】
以下、本発明を実施するための形態(以下、「実施の形態」という)として、撮像装置を備えた内視鏡システムについて説明する。また、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
【0014】
(実施の形態1)
〔内視鏡システムの構成〕
図1は、本発明の実施の形態1に係る内視鏡システムの全体構成を模式的に示す概略図である。
図1に示す内視鏡システム1は、内視鏡2と、伝送ケーブル3と、コネクタ部5と、プロセッサ6(制御装置)と、表示装置7と、光源装置8と、を備える。
【0015】
内視鏡2は、伝送ケーブル3の一部である挿入部100を被検体の体腔内に挿入することによって被検体の体内を撮像して生成した撮像信号(画像データ)をプロセッサ6へ出力する。また、内視鏡2は、伝送ケーブル3の一端側であり、被検体の体腔内に挿入される挿入部100の先端部101側に、撮像を行う撮像部20(撮像装置)が設けられ、挿入部100の基端102側に、内視鏡2に対する各種操作を受け付ける操作部4が接続される。撮像部20が撮像した画像の撮像信号は、例えば、数mの長さを有する伝送ケーブル3を介してコネクタ部5に出力される。
【0016】
コネクタ部5は、プロセッサ6および光源装置8に着脱自在に接続され、撮像部20が出力する撮像信号(画像データ)に所定の信号処理を施すとともに、撮像信号(画像データ)をアナログ信号からデジタル信号に変換(A/D変換)してプロセッサ6へ出力する。
【0017】
プロセッサ6は、コネクタ部5から入力された撮像信号に所定の画像処理を施すとともに、内視鏡システム1全体を統括的に制御する。なお、本実施の形態1では、プロセッサ6が制御装置として機能する。
【0018】
表示装置7は、プロセッサ6が画像処理を施した画像信号に対応する画像を表示する。また、表示装置7は、内視鏡システム1に関する各種情報を表示する。
【0019】
光源装置8は、例えばハロゲンランプや白色LED(Light Emitting Diode)等を用いて構成され、コネクタ部5、伝送ケーブル3を経由して内視鏡2の挿入部100の先端101側から被検体へ向けて照明光を照射する。
【0020】
〔内視鏡システムの要部の機能構成〕
次に、上述した内視鏡システム1の要部の機能構成について説明する。
図2は、内視鏡システム1の要部の機能構成を示すブロック図である。
【0021】
〔内視鏡の構成〕
まず、内視鏡2について説明する。
図2に示すように、内視鏡2は、撮像部20と、伝送ケーブル3と、コネクタ部5と、を備える。
【0022】
図2に示すように、撮像部20は、第1チップ21(撮像素子)と、第2チップ22と、を備える。撮像部20は、伝送ケーブル3を介してプロセッサ6内の電源部61で生成された電源電圧VDDをグランドGNDとともに受け取る。撮像部20に供給される電源電圧VDDとグランドGNDとの間には、電源安定用のコンデンサC1が設けられている。
【0023】
第1チップ21は、行列方向に2次元マトリクス状に配置され、外部から光を受光し、受光量に応じた撮像信号を生成して出力する複数の画素で構成された単位画素230(有効画素)および単位画素230の配置における縦ライン毎に設けられ、撮像信号の補正処理に用いられるダミー信号を生成して出力する複数のダミー画素247を有する受光部23と、受光部23で光電変換された撮像信号およびダミー信号を読み出す読み出し部24と、コネクタ部5から入力された基準クロック信号および同期信号に基づきタイミング信号を生成して読み出し部24に出力するタイミング生成部25と、を有する。なお、第1チップ21の詳細な構成については、
図3を参照して後述する。
【0024】
第2チップ22は、伝送ケーブル3およびコネクタ部5を介して、第1チップ21から出力される撮像信号をプロセッサ6へ送信する送信部として機能するバッファ27を有する。なお、第1チップ21と第2チップ22に搭載される回路の組み合わせは設定の都合に合わせて適宜変更可能である。
【0025】
コネクタ部5は、アナログ・フロント・エンド部51(以下、「AFE部51」という)と、A/D変換部52と、撮像信号処理部53と、第1の記録部54と、駆動パルス生成部55と、電源電圧生成部56と、を有する。
【0026】
AFE部51は、撮像部20から伝送された撮像信号を受信し、抵抗などの受動素子でインピーダンスマッチングを行った後、コンデンサで交流成分を取り出し、分圧抵抗で動作点を決定する。その後、AFE部51は、アナログの撮像信号を、A/D変換部52へ出力する。
【0027】
A/D変換部52は、AFE部51から入力されたアナログの撮像信号をデジタルの撮像信号に変換して撮像信号処理部53へ出力する。
【0028】
撮像信号処理部53は、第1の記録部54の補正情報記録部541が記録する補正情報に基づいて、A/D変換部52から入力されるデジタルの撮像信号に対して、縦筋ノイズを含むノイズ補正処理等を行ってプロセッサ6へ出力する。撮像信号処理部53は、例えばFPGA(Field Programmable Gate Array)を用いて構成される。撮像信号処理部53は、第1の算出部531と、第1の補正部532と、第2の補正部533と、を有する。
【0029】
第1の算出部531は、複数のダミー画素247の各々が出力したダミー信号に基づいて、第1の補正値を縦ライン毎に算出する。具体的には、第1の算出部531は、縦ライン毎に複数のダミー画素247の各々から出力された複数のダミー信号の統計値を算出する。ここで、統計値としては、平均値、中央値および最頻値のいずれかである。以下において、第1の算出部531は、縦ライン毎に複数のダミー画素247の各々から出力された複数のダミー信号の平均値を第1の補正値として算出する。
【0030】
第1の補正部532は、第1の算出部531が算出した縦ライン毎の第1の補正値とRAW画像データとに基づいて、複数の単位画素230の各々が出力した撮像信号を縦ライン毎に補正して補正後画像データを生成する。具体的には、第1の補正部532は、単位画素230の各画素の撮像信号から第1の補正値である同じ縦ラインのダミー信号の平均値を減算することによって縦筋ノイズを補正して補正後画像データを生成する。
【0031】
第2の補正部533は、後述する第1の記録部54が記録する補正情報と第1の補正部532が生成した補正後画像データとに基づいて、補正後画像データに対応する補正後画像の画素値を縦ライン毎に補正して出力画像データを生成してプロセッサ6へ出力する。
【0032】
第1の記録部54は、内視鏡2に関する各種情報を記録する。第1の記録部54は、第1チップ21に発生する縦筋ノイズを補正するための補正情報を記録する補正情報記録部541を有する。ここで、補正情報とは、撮像部20の遮光時に第1の補正部532が生成した補正後画像データに対応する補正後画像における縦ライン毎の画素値の平均値と補正後画像の全画素の画素値の平均値との差を示す第2の補正値と、補正後画像における縦ラインの位置を示す位置情報と、を対応付けたものである。なお、補正情報は、予め内視鏡2の出荷時に検査装置を用いて検出される。
【0033】
駆動パルス生成部55は、プロセッサ6から供給され、内視鏡2の各構成部の動作の基準となる基準クロック信号(例えば、27MHzのクロック信号)に基づいて、各フレームのスタート位置を表す同期信号を生成して、基準クロック信号とともに、伝送ケーブル3を介して撮像部20のタイミング生成部25へ出力する。ここで、駆動パルス生成部55が生成する同期信号は、水平同期信号と垂直同期信号とを含む。
【0034】
電源電圧生成部56は、プロセッサ6から供給される電源から、第1チップ21と第2チップ22を駆動するのに必要な電源電圧を生成して第1チップ21および第2チップ22へ出力する。電源電圧生成部56は、レギュレータ(Regulator)等を用いて構成され、第1チップ21および第2チップ22の各々を駆動するのに必要な電源電圧を生成して撮像部20へ出力する。
【0035】
〔プロセッサの構成〕
次に、プロセッサ6の構成について説明する。
プロセッサ6は、内視鏡システム1の全体を統括的に制御する制御装置である。プロセッサ6は、電源部61と、画像信号処理部62と、クロック生成部63と、第2の記録部64と、入力部65と、プロセッサ制御部66と、を備える。
【0036】
電源部61は、電源電圧VDDを生成し、この生成した電源電圧VDDをグランドGNDとともに、コネクタ部5の電源電圧生成部56へ供給する。
【0037】
画像信号処理部62は、撮像信号処理部53で信号処理が施されたデジタルの撮像信号に対して、同時化処理、ホワイトバランス(WB)調整処理、ゲイン調整処理、γ補正処理、デジタルアナログ(D/A)変換処理、フォーマット変換処理等の画像処理を行って画像信号に変換し、この画像信号を表示装置7へ出力する。
【0038】
クロック生成部63は、内視鏡システム1の各構成部の動作の基準となる基準クロック信号を生成し、この基準クロック信号を駆動パルス生成部55へ出力する。
【0039】
第2の記録部64は、内視鏡システム1に関する各種操作の入力を受け付ける。例えば、入力部65は、光源装置8が出射する照明光の種別を切り替える指示信号や終了を指示する指示信号の入力を受け付ける。入力部65は、例えば十字スイッチ、プッシュボタン、タッチパネル等を用いて構成される。
【0040】
プロセッサ制御部66は、内視鏡システム1を構成する各部を統括的に制御する。プロセッサ制御部66は、CPU(Central Processing Unit)等を用いて構成される。プロセッサ制御部66は、入力部65から入力された指示信号に応じて、光源装置8が出射する照明光を切り替える。
【0041】
〔表示装置の構成〕
表示装置7は、画像信号処理部62から入力される画像信号に基づいて、撮像部20が撮像した画像を表示する。表示装置7は、液晶や有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
【0042】
〔第1チップの詳細な構成〕
次に、上述した第1チップ21の詳細な構成について説明する。
図3は、
図2に示す第1チップ21の詳細な構成を示すブロック図である。
図4は、
図2に示す第1チップ21の構成を示す回路図である。
【0043】
図3および
図4に示すように、第1チップ21は、受光部23と、読み出し部24と、タイミング生成部25と、ヒステリシス部28と、出力部31(アンプ)と、を有する。
【0044】
ヒステリシス部28は、伝送ケーブル3を介して入力された基準クロック信号および同期信号の波形整形を行い、この波形整形を行った基準クロック信号および同期信号をタイミング生成部25へ出力する。
【0045】
タイミング生成部25は、ヒステリシス部28から入力された基準クロック信号および同期信号に基づいて、各種の駆動信号を生成し、後述する読み出し部24の垂直走査部241(行選択回路)、ノイズ除去部243および水平走査部245の各々へ出力する。
【0046】
読み出し部24は、後述する受光部23が有する複数の画素で構成された単位画素230およびダミー画素247の各々から撮像信号を出力部31に転送する。読み出し部24は、垂直走査部241(行選択回路)と、定電流源242と、ノイズ除去部243(ノイズ除去回路)と、列ソースフォロアトランジスタ244と、水平走査部245と、を含む。
【0047】
垂直走査部241は、タイミング生成部25から入力される駆動信号(φT1、φT2、φR、φX、φRdmy等)に基づいて、受光部23の選択された行(水平ライン)<M>(M=0,1,2…,m−1,m)に駆動パルスφT1<M>、φT2<M>およびφR<M>を印加して、受光部23の各単位画素230およびダミー画素247を定電流源242で駆動することによって、撮像信号、ダミー信号および画素リセット時のノイズ信号を垂直転送線239(第1の転送線)に転送し、ノイズ除去部243に出力する。
【0048】
ノイズ除去部243は、各単位画素230の出力ばらつきと、画素リセット時のノイズ信号とを除去し、各単位画素230で光電変換された撮像信号を出力する。なお、ノイズ除去部243の詳細は、後述する。
【0049】
水平走査部245は、タイミング生成部25から供給される駆動信号(φHCLK)に基づいて、受光部23の選択された列(縦ライン)<N>(N=0,1,2…,n−1,n)に駆動信号φHCLK<N>を印加し、各単位画素230で光電変換された撮像信号を、ノイズ除去部243を介して水平転送線258(第2の転送線)に転送し、出力部31に出力する。なお、本実施の形態1では、水平転送線258が各単位画素230から出力される撮像信号を転送する転送部として機能する。
【0050】
第1チップ21の受光部23には、多数の単位画素230が2次元マトリクス状に配置されるとともに、縦ライン毎に設けられた複数のダミー画素247が配置される。
【0051】
単位画素230は、光電変換素子231(フォトダイオード)および光電変換素子232と、電荷変換部233と、転送トランジスタ234(第1の伝送部)および転送トランジスタ235と、電荷リセット部236(トランジスタ)と、画素ソースフォロアトランジスタ237と、選択トランジスタ238と、を含む。なお、本明細書では、1または複数の光電変換素子と、それぞれの光電変換素子から信号電荷を電荷変換部233に転送するための転送トランジスタと、を単位セルと呼ぶ。即ち、単位セルには、1または複数の光電変換素子と転送トランジスタの組みが含まれ、各単位画素230には、1つの単位セルが含まれる。さらに、本実施の形態1では、単位画素230は、少なくとも水平方向に隣接する2つの画素毎(光電変換素子231および光電変換素子232)で1つの縦ラインを共有して撮像信号を出力する。
【0052】
光電変換素子231および光電変換素子232は、入射光の光量に応じた信号電荷量に光電変換して蓄積する。光電変換素子231および光電変換素子232のカソード側の各々が転送トランジスタ234および転送トランジスタ235の一端側に接続され、アノード側がグランドGNDに接続される。
【0053】
電荷変換部233は、浮遊核酸容量(FD)からなり、光電変換素子231および光電変換素子232で蓄積された電荷を電圧に変換する。
【0054】
転送トランジスタ234および転送トランジスタ235の各々は、光電変換素子231または光電変換素子232から電荷変換部233に電荷を転送する。転送トランジスタ234および転送トランジスタ235の各々のゲートには、駆動パルス(行選択パルス)φT1<M>またはφT2<M>が供給される信号線が接続され、他端側が電荷変換部233に接続される。転送トランジスタ234および転送トランジスタ235は、垂直走査部241から信号線を介して駆動パルスφT1<M>またはφT2<M>が供給される場合、転送トランジスタ234または235がオン状態となり、光電変換素子231または光電変換素子232から電荷変換部233に信号電荷が転送される。
【0055】
電荷リセット部236は、電荷変換部233を所定電位にリセットする。電荷リセット部236は、一端側が電源電圧VDDに接続され、他端側が電荷変換部233に接続され、ゲートには駆動パルスφRが供給される信号線が接続される。電荷リセット部236は、垂直走査部241から信号線を介して駆動パルスφRが供給された場合、電荷リセット部236がオン状態となり、電荷変換部233に蓄積された信号電荷が放出されて、電荷変換部233が所定電位にリセットされる。
【0056】
画素ソースフォロアトランジスタ237は、一端側が電源電圧VDDに接続され、他端側が選択トランジスタ238の一端に接続される。画素ソースフォロアトランジスタ237は、ゲートに電荷変換部233で電圧変換された信号(撮像信号またはリセット時の信号)が入力される。選択トランジスタ238は、ゲートに垂直走査部で作られた選択信号が入力されると、画素出力を垂直転送線239に出力する。
【0057】
ダミー画素247は、単位画素230の縦ライン毎に1または複数設けられる。ダミー画素247は、画素リセット部236aと、画素ソースフォロアトランジスタ237aと、を含む。即ち、ダミー画素247は、単位画素230から光電変換素子231(フォトダイオード)と、電荷変換部233と、転送トランジスタ234(第1の転送部)と、を省略した構成である。なお、本実施の形態1では、ダミー画素247に、単位画素230と同様の構成を設けてよく、例えば光電変換素子231(フォトダイオード)および光電変換素子232と、電荷変換部233と、転送トランジスタ234および転送トランジスタ235と、電荷リセット部236a(トランジスタ)と、画素ソースフォロアトランジスタ237aと、選択トランジスタ238aと、を含むように構成してもよい。この場合、ダミー画素247は、光電変換素子231および光電変換素子232の各々が電荷変換部233と非接続状態であり、転送トランジスタ234および転送トランジスタ235の各々は、ゲートに駆動パルスφTが供給される信号線が接続される。ダミー画素247は、通常の単位画素230と同様に、本実施の形態1では、電荷リセット部236aのゲートにφRdmyが供給されると、電荷変換部233aが所定電圧にリセットされ、画素ソースフォロアトランジスタ237aのゲートがリセット時の信号となる。選択トランジスタ238aのゲートに選択信号φX<0>が供給されると当該電荷リセット部236aを含むダミー画素247が選択され(選択動作)、ダミー画素リセット時の画素出力を垂直信号線239に出力する。また、選択信号φX<0>が非選択電圧レベル(例えば、0V)の時に、当該電荷リセット部236aを含むダミー画素247の選択が解除される(非選択動作)。さらに、本実施の形態1において、ダミー画素247に、光電変換素子231(フォトダイオード)および光電変換素子232を設ける場合、ダミー画素247は、少なくとも水平方向に隣接する2つの画素毎(光電変換素子231および光電変換素子232)で1つの縦ラインを共有してダミー信号を出力するようにしてもよい。
【0058】
定電流源242は、一端側が垂直転送線239に接続され、他端側がグランドGNDに接続され、ゲートにはバイアス電圧Vbias1が印加される。定電流源242は、単位画素230を定電流源242で駆動し、単位画素230の出力を垂直転送線239へ読み出す。垂直転送線239へ読み出された信号は、ノイズ除去部243に入力される。
【0059】
ノイズ除去部243は、転送容量252(AC結合コンデンサ)と、クランプスイッチ253(トランジスタ)と、を含む。
【0060】
転送容量252は、一端側が垂直転送線239に接続され、他端側が列ソースフォロアトランジスタ244に接続される。
【0061】
クランプスイッチ253は、一端側がクランプ電圧Vclpが供給される信号線に接続される。クランプスイッチ253の他端側は、転送容量252と列ソースフォロアトランジスタ244間に接続され、ゲートには、タイミング生成部25から駆動信号φVCLが入力される。ノイズ除去部243に入力される撮像信号はノイズ成分を含んだ光ノイズ和信号である。
【0062】
転送容量252は、タイミング生成部25から、駆動信号φVCLがクランプスイッチ253のゲートに入力されると、クランプスイッチ253がオン状態となり、基準電圧生成部246から供給されるクランプ電圧Vclpによりリセットされる。ノイズ除去部243でノイズ除去された撮像信号は、列ソースフォロアトランジスタ244のゲートに入力される。
【0063】
ノイズ除去部243は、サンプリング用のコンデンサ(サンプリング容量)を必要としないため、転送容量(AC結合コンデンサ)252の容量は、列ソースフォロアトランジスタ244の入力容量に対する十分な容量であればよい。加えて、ノイズ除去部243は、サンプリング容量の無い分、第1チップ21における占有面積を小さくすることができる。
【0064】
列ソースフォロアトランジスタ244は、一端側が電源電圧VDDに接続され、他端側が列選択スイッチ254(第2の転送部)の一端側に接続され、ゲートにはノイズ除去部243でノイズ除去された撮像信号が入力される。
【0065】
列選択スイッチ254は、一端側が列ソースフォロアトランジスタ244の他端側に接続され、他端側が水平転送線258(第2の転送線)に接続され、ゲートには水平走査部245から駆動信号φHCLK<N>を供給するための信号線が接続される。列選択スイッチ254は、列<N>の列選択スイッチ254のゲートに水平走査部245から駆動信号φHCLK<N>が供給されると、オン状態となり、列<N>の垂直転送線239の信号(ノイズ除去部243でノイズ除去された撮像信号)を水平転送線258に転送する。
【0066】
水平リセットトランジスタ256は、一端側がグランドGNDに接続され、他端側が水平転送線258に接続され、ゲートにはタイミング生成部25から駆動信号φHCLRが入力される。水平リセットトランジスタ256は、タイミング生成部25から駆動信号φHCLRが水平リセットトランジスタ256のゲートに入力されると、オン状態となり、水平転送線258をリセットする。
【0067】
定電流源257は、一端側が水平転送線258に接続され、他端側がグランドGNDに接続され、ゲートにはバイアス電圧Vbias2が印加される。定電流源257は、撮像信号を垂直転送線239から水平転送線258へ読み出す。水平転送線258へ読み出された撮像信号またはダミー信号は、出力部31に入力される。
【0068】
出力部31は、ノイズ除去された撮像信号とダミー信号(縦ラインを補正する際に基準となる基準信号)とを必要に応じて信号増幅して出力する(Vout)。
【0069】
本実施の形態1では、垂直転送線239からのノイズ除去後の撮像信号の読み出しと、水平リセットトランジスタ256による水平転送線258のリセットとを交互に行うことにより、列方向の撮像信号のクロストークを抑制することが可能となる。
【0070】
第2チップ22は、ダミー信号および撮像信号を、伝送ケーブル3を介して、コネクタ部5に伝送する。
【0071】
〔内視鏡の処理〕
次に、内視鏡2が実行する処理について説明する。
図5は、内視鏡2が実行する処理の概要を示すフローチャートである。
【0072】
図5に示すように、撮像部20は、タイミング生成部25が生成した基準クロック信号に基づいて、所定のフレームレートで撮像する(ステップS101)。この場合、撮像部20は、ダミー画素247を含むRAW画像データに対応するRAW画像を生成する。具体的には、
図6に示すように、撮像部20は、複数のダミー画素247が含まれるダミー領域d1と、複数の単位画素230が含まれる有効領域d2と、を有するRAW画像W1(縦筋ノイズ補正前画像)を生成する。
【0073】
続いて、第1の補正部532は、撮像部20によって生成された画像データに含まれる撮像信号とダミー信号とに基づいて、縦筋ノイズを補正する(ステップS102)。具体的には、第1の補正部532は、第1の算出部531が算出した縦ライン毎に複数のダミー画素247の各々から出力された複数のダミー信号の平均値に基づいて、単位画素230の各画素の撮像信号から同じ縦ラインのダミー信号の平均値を減算することによって縦筋ノイズを補正して補正後画像を生成する。具体的には、
図7に示すように、第1の補正部532は、単位画素230の各画素の撮像信号から同じ縦ラインのダミー信号の平均値を減算することによって縦筋ノイズを補正して補正後画像W2を生成する。しかしながら、
図8に示すように、補正後画像W3では、第1の補正部532がダミー信号を用いて縦ライン毎に縦筋ノイズを補正しているにも関わらず、有効領域d2に縦筋ノイズN1(グラデーションで表現)が補正残りとして発生する。例えば、
図9に示すように、補正後画像W4には、縦筋ノイズN1が補正残りとして発生し、従来のダミー画素247から出力されるダミー信号に基づく縦筋ノイズ補正では、縦筋ノイズN1を補正することができなかった。
【0074】
その後、第2の補正部533は、ステップS102で縦筋ノイズを補正した補正後画像に対して、補正情報記録部541が記録する補正情報に基づいて、補正後画像データを補正し(ステップS103)、出力画像データをプロセッサ6へ出力する(ステップS104)。具体的には、第2の補正部533は、縦筋ノイズを補正した暗時画像の縦ライン毎の画素値の平均値から縦筋ノイズを補正した暗時画像の全画素の画素値の平均値を減算した縦ライン毎の差(第2の補正値)と、縦ライン毎の位置を示す位置情報(アドレス)と、を対応付けた補正情報に基づいて、補正後画像の縦ライン毎に補正して出力画像データを生成する。より具体的には、第2の補正部533は、ステップS102で縦筋ノイズを補正した補正後画像データに対応する補正後画像の縦ライン毎に、対応する縦ライン毎の第2の補正値を減算する減算処理を行うことによって、
図10に示す出力画像W5を生成する。
【0075】
図11は、補正後画像の各縦ラインと各縦ラインの画素値の平均値との関係を示す図である。
図12は、補正情報記録部541が記録する補正情報に含まれる各縦ラインと補正値との関係を示す図である。
図13は、出力画像の各縦ラインと各縦ラインの画素値の平均値との関係を示す図である。
図11〜
図13において、横軸が縦ラインのアドレスを示し、縦軸が画素値を示す。また、
図11の曲線L1が補正後画像の各縦ラインと各縦ラインの画素値の平均値との関係を示し、
図12の曲線L2が補正情報記録部541によって記録された補正情報に含まれる各縦ラインと補正値との関係を示し、
図13の曲線L3が出力画像の各縦ラインと各縦ラインの画素値の平均値との関係を示す。
【0076】
図11〜
図13に示すように、第2の補正部533は、縦筋ノイズを補正した暗時画像の縦ライン毎の画素値の平均値から縦筋ノイズを補正した暗時画像の各画素の画素値の平均値を減算した縦ライン毎の差(第2の補正値)と、縦ラインの位置を示すアドレスと、を対応付けた補正情報に基づいて、補正後画像の縦ライン毎に対応する第2の補正値を減算する減算処理を行う。これにより、
図14に示すように、第2の補正部533は、縦筋ノイズが補正された出力画像W6を生成することができる。さらに、
図11および
図12に示すように、縦ライン毎に画素値の右肩上がりのシェーディングがある場合、第2の補正部533は、上述した補正処理を行うことによって、画素値がほぼ水平となり、縦筋ノイズとシェーディングを補正した出力画像W6を出力することができる。もちろん、
図11および
図12においては、縦ライン毎に画素値の右肩上がりのシェーディングがある場合について説明したが、様々なシェーディングに対応することができ、例えば右肩下がりのシェーディング、両肩上がりのシェーディング(凹型)および両肩下がりのシェーディング(凸側)を補正することができる。
【0077】
図5に戻り、ステップS105以降の説明を続ける。
ステップS105において、プロセッサ6から検査を終了する指示信号が入力された場合(ステップS105:Yes)、内視鏡2は、本処理を終了する。これに対して、プロセッサ6から検査を終了する指示信号が入力されていない場合(ステップS105:No)、内視鏡2は、上述したステップS101へ戻る。
【0078】
以上説明した本発明の実施の形態1によれば、第2の補正部533が第1の記録部54によって記録された補正情報と第1の補正部532によって生成された補正後画像データとに基づいて、補正後画像の画素値を縦ライン毎に補正して出力画像データを生成してプロセッサ6へ出力するので、補正後画像上に発生する縦筋ノイズを確実に補正することができる。
【0079】
また、本発明の実施の形態1によれば、第2の補正部533が第1の記録部54によって記録された補正情報と第1の補正部532によって生成された補正後画像データとに基づいて、補正後画像の画素値を縦ライン毎に補正して出力画像データを生成してプロセッサ6へ出力するので、縦ライン毎に画素値の右肩上がりのシェーディングがある場合であっても、このシェーディングを補正することができる。もちろん、本発明の実施の形態1によれば、様々なシェーディングに対応することができ、例えば右肩下がりのシェーディング、両肩上がりのシェーディング(凹型)および両肩下がりのシェーディング(凸側)を補正することができる。
【0080】
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なるうえ、実行する処理が異なる。具体的には、上述した実施の形態1に係る内視鏡システム1では、撮像信号処理部53が補正情報記録部541に記録された補正情報に基づいて、補正後画像に残る縦筋ノイズを補正していたが、本実施の形態2では、プロセッサがリアルタイムで補正後画像に残る縦筋ノイズを補正するための補正値を算出し、この補正値を用いて補正後画像に残る縦筋ノイズを補正する。以下においては、本実施の形態2に係る内視鏡システムの構成を説明後、本実施の形態2に係るプロセッサが実行する処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して説明を省略する。
【0081】
〔内視鏡システムの要部の機能構成〕
図15は、内視鏡システム1aの要部の機能構成を示すブロック図である。
図15に示す内視鏡システム1aは、上述した実施の形態1に係る内視鏡システム1の内視鏡2およびプロセッサ6に換えて、内視鏡2aおよびプロセッサ6aを備える。
【0082】
〔内視鏡の構成〕
まず、内視鏡2aについて説明する。
内視鏡2aは、被検体内に挿入されて被検体の体内を撮像して画像データを生成する。内視鏡2aは、上述した実施の形態1に係る内視鏡2のコネクタ部5に換えて、コネクタ部5aを備える。コネクタ部5aは、上述した実施の形態1に係る撮像信号処理部53に換えて、撮像信号処理部53aを備えるとともに、第1の記録部54が省略され、他の構成は上述した実施の形態1に係るコネクタ部5と同一のため、詳細な説明は省略する。
【0083】
撮像信号処理部53aは、A/D変換部52から入力されるデジタルの撮像信号に対して、ゲイン調整やノイズ補正処理等を行ってプロセッサ6aへ出力する。撮像信号処理部53aは、FPGAを用いて硬性される。
【0084】
〔プロセッサの構成〕
次に、プロセッサ6aの構成について説明する。
プロセッサ6aは、上述した実施の形態1に係るプロセッサ6の画像信号処理部62に換えて、内視鏡2aから入力された画像データに対して画像処理を行う画像信号処理部62aを備える。
【0085】
画像信号処理部62aは、第1の算出部621と、第1の補正部622と、第2の算出部623と、第2の補正部624と、を有する。
【0086】
第1の算出部621は、内視鏡2aによって生成された画像データに含まれる縦ライン毎に複数のダミー画素247の各々から出力された複数のダミー信号の平均値を第1の補正値として算出する。なお、第1の算出部621は、平均値以外にも、中央値および最頻値のいずれかの統計値を用いてもよい。
【0087】
第1の補正部622は、第1の算出部621が算出した縦ライン毎のダミー画素247の平均値に基づいて、RAW画像における単位画素230の各画素の撮像信号から同じ縦ラインのダミー信号の平均値を減算することによって縦筋ノイズを補正する。
【0088】
第2の算出部623は、縦筋ノイズを補正した暗時画像の縦ライン毎における複数の画素の画素値の平均値に対して、縦筋ノイズを補正した暗時画像の全画素の画素値の平均値を減算した値を第2の補正値として算出する。
【0089】
第2の補正部624は、第1の補正部622が縦筋ノイズを補正した補正後画像に対して、第2の算出部623が算出した縦ライン毎の補正値を減算することによって、出力画像を生成して外部へ出力する。
【0090】
〔プロセッサの処理〕
次に、プロセッサ6aが実行する処理について説明する。
図16は、プロセッサ6aが実行する処理の概要を示すフローチャートである。なお、
図16において、内視鏡2aの先端101側には、光を遮光するキャップ等が装着されている。即ち、内視鏡2aは、プロセッサ6aの制御のもと、暗時のRAW画像データに対応するRAW画像(暗時画像)を生成する。また、以下のプロセッサ6aが実行する処理は、起動処理時、メンテナンス処理時およびキャリブレーション処理時に実行し、実行処理後にキャップが外した状態で被検体の検査が開始される。もちろん、キャップ等を先端101側に装着することなく、例えば被検体内の挿入時に照明光を照射させず、プロセッサ6aが暗時の状態時に以下の処理を行ってもよい。
【0091】
図16に示すように、画像信号処理部62aは、内視鏡2aが生成したRAW画像データを内視鏡2aから取得する(ステップS201)。この場合、内視鏡2aは、暗時の状態で撮像することによって、ダミー画素247を含むRAW画像データに対応するRAW画像を生成する。
【0092】
続いて、第1の算出部621は、内視鏡2aによって生成されたRAW画像データに対応するRAW画像に含まれる縦ライン毎に複数のダミー画素247の各々から出力された複数のダミー信号の平均値を第1の補正値として算出する(ステップS202)。
【0093】
その後、第1の補正部622は、第1の算出部621が算出した縦ライン毎のダミー画素247の平均値に基づいて、RAW画像における単位画素230の各画素の撮像信号から同じ縦ラインのダミー信号の平均値を減算することによって縦筋ノイズを補正して補正後画像データに対応する補正後画像データを生成する(ステップS203)。
【0094】
続いて、第2の算出部623は、縦筋ノイズを補正した暗時画像の縦ライン毎における複数の画素の画素値の平均値から縦筋ノイズを補正した暗時画像の全画素の画素値の平均値を減算した値を第2の補正値として算出する(ステップS204)。
【0095】
その後、第2の補正部624は、第1の補正部622が縦筋ノイズを補正した補正後画像に対して、第2の算出部623が算出した縦ライン毎の第2の補正値を減算することによって縦筋ノイズを補正した出力画像データを生成し(ステップS205)、出力画像データを表示装置7へ出力する(ステップS206)。これにより、縦筋ノイズが補正された出力画像を生成することができる。即ち、本実施の形態2では、画像信号処理部62aが縦筋ノイズに対して2段階で補正することによって、確実に縦筋ノイズを補正することができる。さらに、本実施の形態2では、上述した実施の形態1と同様に、縦ライン毎に画素値の右肩上がりのシェーディングがある場合であっても、このシェーディングを補正することができる。もちろん、本発明の実施の形態2によれば、様々なシェーディングに対応することができ、例えば右肩下がりのシェーディング、両肩上がりのシェーディング(凹型)および両肩下がりのシェーディング(凸側)を補正することができる。
【0096】
続いて、入力部65から検査を終了する指示信号が入力された場合(ステップS207:Yes)、内視鏡システム1aは、本処理を終了する。これに対して、入力部65から検査を終了する指示信号が入力されていない場合(ステップS207:No)、内視鏡システム1aは、上述したステップS201へ戻る。
【0097】
以上説明した本発明の実施の形態2によれば、第2の補正部624が第1の補正部622によって縦筋ノイズが補正された補正後画像に対して、第2の算出部623によって算出された縦ライン毎の第2の補正値を減算することによって縦筋ノイズを補正した出力画像データを生成するので、リアルタイムで補正後画像上に発生する縦筋ノイズを確実に補正することができる。
【0098】
また、本発明の実施の形態2によれば、第2の補正部624が第1の補正部622によって縦筋ノイズが補正された補正後画像に対して、第2の算出部623によって算出された縦ライン毎の第2の補正値を減算することによって縦筋ノイズを補正した出力画像データを生成するので、縦ライン毎に画素値の右肩上がりのシェーディングがある場合であっても、このシェーディングを補正することができる。もちろん、本発明の実施の形態2によれば、様々なシェーディングに対応することができ、例えば右肩下がりのシェーディング、両肩上がりのシェーディング(凹型)および両肩下がりのシェーディング(凸側)を補正することができる。
【0099】
なお、本実施の形態2では、第1の算出部621および第1の補正部622がプロセッサ6aに設けられていたが、これに限定されることなく、第1の算出部621、第1の補正部622を内視鏡2aのコネクタ部5aに設けてもよい。
【0100】
(その他の実施の形態)
また、本実施の形態では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、例えばカプセル型の内視鏡を備えた内視鏡システムまたは硬性の内視鏡を備えた内視鏡システム、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。
【0101】
また、本発明は、上述した実施の形態そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
【0102】
また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語とともに記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。