特開 2023-86562 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023086562

(43)【公開日】2023-06-22

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 25/62 20230101AFI20230615BHJP

【ＦＩ】

H04N5/359

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021201163

(22)【出願日】2021-12-10

(71)【出願人】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】梶村 佳弘

(72)【発明者】

【氏名】手塚 浩貴

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CX03

5C024GY01

5C024GY31

5C024GZ37

5C024GZ38

5C024HX21

5C024HX28

5C024HX29

5C024HX30

(57)【要約】

【課題】簡単な構成によりストリーキングを精度良く抑制することが可能な撮像装置を提供することを目的とする。
【解決手段】光を感知する有効領域と前記有効領域の少なくとも左右一端に配置され遮光された水平遮光領域を有して映像信号を出力する撮像素子と、前記映像信号から前記水平遮光領域における黒レベルの沈み込み量を検出する水平遮光領域平滑化部と、前記映像信号から補償パラメータを検出して補償値を算出する補償値算出部と、前記水平遮光領域平滑化部からの黒レベルの沈み込み量と前記補償値算出部からの前記補償値を用いてストリーキング現象を抑制するために前記映像信号を補正する補正値を算出する補正値算出部と、を備え、前記補償パラメータは、所定以上の光の強さの信号の水平方向の幅の値を用いる。
【選択図】図５

【特許請求の範囲】

【請求項1】

光を感知する有効領域と前記有効領域の少なくとも左右一端に配置され遮光された水平遮光領域を有して映像信号を出力する撮像素子と、
前記映像信号から前記水平遮光領域における黒レベルの沈み込み量を検出する水平遮光領域平滑化部と、
前記映像信号から補償パラメータを検出して補償値を算出する補償値算出部と、
前記水平遮光領域平滑化部からの黒レベルの沈み込み量と前記補償値算出部からの前記補償値を用いてストリーキング現象を抑制するために前記映像信号を補正する補正値を算出する補正値算出部と、を備え、
前記補償パラメータは、所定以上の光の強さの信号の水平方向の幅の値を用いることを特徴とする撮像装置。

【請求項2】

光を感知する有効領域と前記有効領域の少なくとも左右一端に配置され遮光された水平遮光領域を有して映像信号を出力する撮像素子と、
前記映像信号から前記水平遮光領域における黒レベルの沈み込み量を検出する水平遮光領域平滑化部と、
前記映像信号から補償パラメータを検出して補償値を算出する補償値算出部と、
前記水平遮光領域平滑化部からの黒レベルの沈み込み量と前記補償値算出部からの前記補償値を用いてストリーキング現象を抑制するために前記映像信号を補正する補正値を算出する補正値算出部と、を備え、
前記補償パラメータは、所定以上の光の強さの信号の位置と前記水平遮光領域との距離の値を用いることを特徴とする撮像装置。

【請求項3】

光を感知する有効領域と前記有効領域の少なくとも左右一端に配置され遮光された水平遮光領域を有して映像信号を出力する撮像素子と、
前記映像信号から前記水平遮光領域における黒レベルの沈み込み量を検出する水平遮光領域平滑化部と、
前記映像信号から補償パラメータを検出して補償値を算出する補償値算出部と、
前記水平遮光領域平滑化部からの黒レベルの沈み込み量と前記補償値算出部からの前記補償値を用いてストリーキング現象を抑制するために前記映像信号を補正する補正値を算出する補正値算出部と、を備え、
前記補償パラメータは、所定以上の光の強さの値を用いることを特徴とする撮像装置。

【請求項4】

請求項１に記載の撮像装置において、
前記補償値算出部は、前記映像信号の水平１ラインごとに、前記映像信号から所定以上の光の強さの信号の幅に比例した補償値を算出し、
前記補正値算出部は、黒レベルの沈み込み量に基づく補正値に対して前記補償値により補償した補正値を算出することを特徴とする撮像装置。

【請求項5】

請求項２に記載の撮像装置において、
前記補償値算出部は、前記映像信号の水平１ラインごとに、前記映像信号から所定以上の光の強さの信号の中心位置と前記水平遮光領域までの距離に比例した補償値を算出し、
前記補正値算出部は、黒レベルの沈み込み量に基づく補正値に対して前記補償値により補償した補正値を算出することを特徴とする撮像装置。

【請求項6】

請求項３に記載の撮像装置において、
前記補償値算出部は、前記映像信号の水平１ラインごとに、前記映像信号から所定以上の光の強さの信号のレベルに比例した補償値を算出し、
前記補正値算出部は、黒レベルの沈み込み量に基づく補正値に対して前記補償値により補償した補正値を算出することを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に、イメージセンサ等において発生するストリーキングの影響を低減する撮像装置に関する。

【背景技術】

【0002】

従来より、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等のイメージセンサに強い光が入射した際に、画像に無い横筋（ストリーキング）が生じてしまうことがある。これは近年、高画素、大判化するイメージセンサの電源供給部から各画素を接続する電源ラインが細くかつ長くなることが影響している。この影響により電源ラインの内部抵抗による電圧降下が発生し、電源供給部からの位置により各画素に供給される電圧に差が生じる。これらのことがストリーキングの原因にあげられる。

【0003】

このような現象に対して、一般的にはイメージセンサ遮光領域（Ｏｐｔｉｃａｌ Ｂｌａｃｋ領域）の信号を使って有効領域の信号を補正する手法が各種提案されている。

【0004】

例えば、特許文献１には、撮像素子の水平遮光部（水平ＯＢ部）における各ラインの信号レベルから、垂直遮光部（垂直ＯＢ部）における黒レベルを減算することで、ストリーキング補正信号を生成し、有効画素領域における信号からストリーキング補正信号を減算することでストリーキングを補正する手法が提案されている。

【0005】

また、特許文献２には、有効画素領域を複数のブロックに分割して各ブロック毎にストリーキング補正信号を生成する手法が提案されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００８－２３６２７１号公報

【特許文献2】特開２０２０－１７９１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献1の手法では、有効画素領域から水平遮光部の平均値を減算するのみである。このため、高輝度信号が入射する位置が水平遮光部から離れるに従い生じる、電源ラインの内部抵抗の変化によるストリーキング増加に対応できない。また、入射する光の水平方向の幅によってもストリーキング量が変化するため、ストリーキングの補正信号に過不足が生じてしまい、映像信号には補正誤差が残ることになる。

【0008】

また、特許文献２の手法では、高画素化かつ大判化するイメージセンサにおいて、多数の分割ブロック毎のストリーキング補正信号の管理は、撮像装置の回路構成が大規模かつ複雑になる。

【0009】

本発明では、上記課題に鑑みて、簡単な構成によりストリーキングを精度良く抑制することが可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、代表的な本発明の撮像装置の一つは、光を感知する有効領域と前記有効領域の少なくとも左右一端に配置され遮光された水平遮光領域を有して映像信号を出力する撮像素子と、前記映像信号から前記水平遮光領域における黒レベルの沈み込み量を検出する水平遮光領域平滑化部と、前記映像信号から補償パラメータを検出して補償値を算出する補償値算出部と、前記水平遮光領域平滑化部からの黒レベルの沈み込み量と前記補償値算出部からの前記補償値を用いてストリーキング現象を抑制するために前記映像信号を補正する補正値を算出する補正値算出部と、を備え、前記補償パラメータは、所定以上の光の強さの信号の水平方向の幅の値を用いることを特徴とする。

【発明の効果】

【0011】

本発明によれば、撮像装置において、簡単な構成によりストリーキングを精度良く抑制できる。
上記以外の課題、構成及び効果は、以下の実施形態により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】図１は、本開示の実施形態による態様を実施するためのコンピュータシステムのブロック図である。

【図2】図２は、本発明の撮像装置の一実施形態を示す構成図である。

【図3】図３は、本発明の撮像装置で用いることができる撮像素子の受光部の第１の例を示し、左端に水平遮光領域がある撮像素子の受光部を示す図である。

【図4】図４は、本発明の撮像装置で用いることができる撮像素子の受光部の第２の例を示し、両端に水平遮光領域がある撮像素子の受光部を示す図である。

【図5】図５は、本発明の撮像装置におけるストリーキング補正部の構成の一例を示す図である。

【図6】図６は、図３に示した撮像素子でストリーキングを生じた場合の第１の例を説明する図であり、（Ａ）は撮像素子の受光面を示した図、（Ｂ）は座標ｘの各位置における、座標ｙと画素値Ｉの関係を示した図である。

【図7】図７は、図６の第１の例に対して本発明の撮像装置による補正を説明する図であり、（Ｃ－１）はストリーキング信号の補正前の状態を示し、（Ｃ－２）は、補正後の状態を示した図である。

【図8】図８は、図３に示した撮像素子でストリーキングを生じた場合の第２の例を説明する図であり、（Ａ）は撮像素子の受光面を示した図、（Ｂ）は座標ｘの各位置における、座標ｙと画素値Ｉの関係を示した図である。

【図9】図９は、図８の第２の例に対して本発明の撮像装置による補正を説明する図であり、（Ｃ－１）はストリーキング信号の補正前の状態を示し、（Ｃ－２）は補償なしの場合の補正後の状態を示し、（Ｃ－３）は補償ありの場合の補正後の状態を示した図である。

【図10】図１０は、図３に示した撮像素子でストリーキングを生じた場合の第３の例を説明する図であり、（Ａ）は撮像素子の受光面を示した図、（Ｂ）は座標ｘの各位置における、座標ｙと画素値Ｉの関係を示した図である。

【図11】図１１は、図１０の第３の例に対して本発明の撮像装置による補正を説明する図であり、（Ｃ）はストリーキング信号の補正前の状態を示し、（Ｃ－２）は補償なしの場合の補正後の状態を示し（Ｃ－３）は補償ありの場合の補正後の状態を示した図である。

【発明を実施するための形態】

【0013】

本発明の実施形態について図面を用いて説明する。

【0014】

＜実施形態による態様を実施するためのコンピュータシステム＞
図１は、本開示の実施形態による態様を実施するためのコンピュータシステム３００のブロック図である。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインターフェース３１４、Ｉ／Ｏ（入出力）デバイスインターフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

【0015】

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の処理装置３０２Ａ及び３０２Ｂを含んでもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一の処理装置によるシステムであってもよい。処理装置としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を適用できる。

【0016】

ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。ある実施形態では、メモリ３０４は、コンピュータシステム３００の仮想メモリ全体を表しており、ネットワークを介してコンピュータシステム３００に接続された他のコンピュータシステムの仮想メモリを含んでもよい。メモリ３０４は、概念的には単一のものとみなされてもよいが、他の実施形態では、このメモリ３０４は、キャッシュおよび他のメモリデバイスの階層など、より複雑な構成となる場合がある。例えば、メモリは複数のレベルのキャッシュとして存在し、これらのキャッシュは機能毎に分割されてもよい。その結果、１つのキャッシュは命令を保持し、他のキャッシュはプロセッサによって使用される非命令データを保持する構成であってもよい。メモリは、いわゆるＮＵＭＡ（Ｎｏｎ－Ｕｎｉｆｏｒｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コンピュータアーキテクチャのように、分散され、種々の異なる処理装置に関連付けられてもよい。

【0017】

メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、潜在因子特定アプリケーション３５０を格納していてもよい。ある実施形態では、潜在因子特定アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよく、あるいは別の命令又は記述によって解釈される命令又は記述を含んでもよい。ある実施形態では、潜在因子特定アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および／または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、潜在因子特定アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。このような構成では、プロセッサ３０２がメモリ３０４及び潜在因子識別アプリケーションにアクセスする必要性が低減する可能性がある。

【0018】

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインターフェースユニット３１２、３１４、３１６、及び３１８と通信してもよい。表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された１つまたは複数のセンサ等のデバイスを含んでもよい。例えば、コンピュータシステム３００は、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示メモリは、ビデオデータをバッファするための専用メモリであってもよい。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。ある実施形態では、表示装置３２６は、オーディオをレンダリングするためスピーカを含んでもよい。あるいは、オーディオをレンダリングするためのスピーカは、Ｉ／Ｏインターフェースユニットと接続されてもよい。他の実施形態では、表示システム３２４が提供する機能は、プロセッサ３０２を含む集積回路によって実現されてもよい。同様に、バスインターフェースユニット３０９が提供する機能は、プロセッサ３０２を含む集積回路によって実現されてもよい。

【0019】

Ｉ／Ｏインターフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インターフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

【0020】

ストレージインターフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

【0021】

図１に示されるコンピュータシステム３００は、プロセッサ３０２、メモリ３０４、バスインタフェース３０９、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０の間の直接通信経路を提供するバス構造を備えているが、他の実施形態では、コンピュータシステム３００は、階層構成、スター構成、又はウェブ構成のポイントツーポイントリンク、複数の階層バス、平行又は冗長の通信経路を含んでもよい。さらに、Ｉ／Ｏバスインターフェースユニット３１０及びＩ／Ｏバス３０８が単一のユニットとして示されているが、実際には、コンピュータシステム３００は複数のＩ／Ｏバスインターフェースユニット３１０又は複数のＩ／Ｏバス３０８を備えてもよい。また、Ｉ／Ｏバス３０８を様々なＩ／Ｏデバイスに繋がる各種通信経路から分離するための複数のＩ／Ｏインターフェースユニットが示されているが、他の実施形態では、Ｉ／Ｏデバイスの一部または全部が、１つのシステムＩ／Ｏバスに直接接続されてもよい。

【0022】

＜撮像装置の構成図＞
図２は、本発明の撮像装置の一実施形態を示す構成図である。図２で示す撮像装置は、撮像素子１、ストリーキング補正部２、映像調整部３、出力生成部４を備えている。

【0023】

撮像素子１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等のイメージセンサを用いることができる。ここでイメージセンサは、対象物からの光を、レンズ等の光学系を通して受光面に結像させ光電変換し電気信号に変換するものである。例えば、平面状に配置した二次元イメージセンサを用いることができる。

【0024】

ストリーキング補正部２は、ストリーキングを補正する処理を行う。ストリーキングは、撮像画像の水平方向（ｘ方向）に生じる横筋であり、ノイズである。ストリーキング補正部２は、後述するように補正値を補償することにより、より適切なストリーキング補正を可能となる。

【0025】

映像調整部３は、ストリーキング補正された映像信号に対して映像処理を行う。ここでの映像処理は一般的な映像処理を用いることができ、例えば、ガンマ補正、ニー補正、ディテール信号加算など信号処理である。

【0026】

出力生成部４は、映像処理された信号を出力する。

【0027】

これらについて、図２に沿って処理の流れを説明する。撮像素子１からの映像信号は画像の左上から水平ライン単位で出力されてストリーキング補正部２に入る。ストリーキング補正部２でストリーキング補正された映像信号は映像調整部３により映像処理がされた後に、出力生成部４を通って撮像装置から出力される。

【0028】

＜受光部の例＞
図３は、本発明の撮像装置で用いることができる撮像素子の受光部の第１の例を示し、左端に水平遮光領域がある撮像素子の受光部を示す図である。図４は、本発明の撮像装置で用いることができる撮像素子の受光部の第２の例を示し、両端に水平遮光領域がある撮像素子の受光部を示す図である。図３と図４では、横方向が水平方向（ｘ方向）となり、縦方向が垂直方向（ｙ方向）となる。

【0029】

図３および図４で示される撮像素子１の受光部は、光を感知する有効領域８０と、光が入射されず画素値の変化がない遮光領域（ＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）領域）が存在する。有効領域８０は、複数の画素が行列上に配置され、光学系により結像された被写体を受光する。遮光領域は、有効領域８０の周辺に配置される遮光された複数列の画素により構成される。遮光領域はそれぞれ、有効領域８０の左端または左右端に配置した領域を水平遮光領域８１（水平ＯＢ部）、有効領域８０上部に配置した領域を垂直遮光領域８２（垂直ＯＢ部）と称する。水平遮光領域８１は、垂直方向に延びて形成されている。垂直遮光領域８２は、水平方向に延びて形成されている。

【0030】

水平遮光領域８１は、図３では左側だけ存在する例を示し、図４では左右両側に存在する例を示している。また、垂直遮光領域８２は、図３、４ともに上部に存在する。

【0031】

以降の実施形態では、図３で示した撮像素子１の（左側のみの）水平遮光領域８１と有効領域８０を配置した場合を基本として説明をする。しかし、図４で示した撮像素子１の（両側の）水平遮光領域８１と有効領域８０を配置した場合においても、図３と同様にストリーキング補正効果を得ることができる。この場合は、左右の水平遮光領域８１から黒レベルを求めることで同様のストリーキング補正効果を得ることができる。

【0032】

＜ストリーキング補正部の構成＞
図５は、本発明の撮像装置におけるストリーキング補正部の構成の一例を示す図である。図５では、図２で示したストリーキング補正部２の詳細な構成について説明する。

【0033】

ストリーキング補正部２は、メモリ部１０、水平遮光領域平滑化部１１、補償値算出部１２、補正値算出部１３、減算器１４を備えている。

【0034】

メモリ部１０は、撮像素子１から出力された映像信号を一時的に記憶する。

【0035】

水平遮光領域平滑化部１１では、撮像素子１から出力された映像信号に対して、図３および図４で示した水平遮光領域８１の各水平ラインの信号レベルの平均値を求める。求められた平均値は、各水平ラインの黒レベルとして順次、補正値算出部１３へ出力する。この際、水平遮光領域平滑化部１１では、黒レベルの沈み込み量が検出され補正値算出部１３へ出力される。なお、一般的に水平遮光領域８１は撮像素子の有効領域８０に比べて画素数が少ない。このため、各ラインの黒レベルの平均値を求める際に、単純に各画素を加算して平均値を求めただけではランダムノイズの影響を十分に取り除けない場合がある。この場合は、画素加算して求めた平均値を時間方向のリカーシブフィルタを用いて、ランダムノイズの影響を取り除く構成を適用することができる。

【0036】

補償値算出部１２は、ストリーキング補正値の生成に使用するための補償値を算出する。補償値の算出には、最初に、撮像素子１から出力された映像信号に基づき補償パラメータを検出して、検出した補償パラメータに基づいて補償値が算出される。補償パラメータとしては、ストリーキングに影響を与えるパラメータであり、例えば、光強度、位置、幅があげられる。光強度は、所定以上の高輝度信号の信号レベルにより検出する。位置は、所定以上の高輝度信号の水平ライン毎に入射位置を検出する。幅は、所定以上の高輝度信号の水平方向の幅を検出する。補償パラメータが光強度の場合は、検出された光強度に基づき光強度補償値（光強度補償ゲイン）を算出する。補償パラメータが位置の場合は、検出された位置に基づき位置補償値（位置補償ゲイン）を算出する。補償パラメータが幅の場合は、検出された幅に基づき幅補償値（幅補償ゲイン）を算出する。

【0037】

補正値算出部１３は、水平遮光領域平滑化部１１で求めた黒レベルと、補償値算出部１２で求めた補償値を用いてストリーキング補正値を生成する。ここでの補償値は、上述した光強度補償値、位置補償値、幅補償値が含まれ、黒レベルの沈み込み量に基づく補正値を補償する。

【0038】

減算器１４は、メモリ部１０に一時的に記憶されていた映像信号に対して、補正値算出部１３で算出されたストリーキング補正値を用いて黒レベルを減算する。このことで、ストリーキングの無い映像信号を得ることができる。なお、メモリ部１０に一時的に記憶されていた映像信号は、補正値算出部１３による補正値生成のタイミングに合わせてメモリ部から読み出される処理が行われる。

【0039】

＜ストリーキングの第１の例＞
図６は、図３に示した撮像素子でストリーキングを生じた場合の第１の例を説明する図であり、（Ａ）は撮像素子の受光面を示した図、（Ｂ）はｘ座標の各位置における、座標ｙと画素値Ｉの関係を示した図である。図６（Ａ）においては、横方向（左右方向）が水平方向（ｘ方向）となり、縦方向が垂直方向（ｙ方向）となる。

【0040】

図６に示す例では、図６（Ａ）に示すように、撮像素子１の有効領域５０に所定以上の強い光５３が入力された場合である。所定以上の強い光５３は、例えば、撮像装置の映像処理システムに定格レベルを大きく超える輝度の高い光である。この場合、光５３の左右に黒レベルの沈み込み５４が発生する。補正をしない場合は、この黒レベルの沈み込み５４によりストリーキングが発生する。

【0041】

図６（Ｂ）では、図６（Ａ）におけるｘ座標のｘ１、ｘ２、ｘ３、ｘ４の各箇所において、ｙ方向（垂直方向）に対する画素値Ｉの分布を示している。図面の縦方向がｙ座標方向（垂直方向）を示しており、図面の横方向が画素値の値を示しており、右に行くほど画素値が高いことを示す。ｘ座標がｘ１の地点は、有効領域５０の左側に存在する水平遮光領域５１の位置である。ｘ座標がｘ２の地点は、光５３の左側の有効領域５０の位置である。ｘ座標がｘ３の地点は、光５３の位置である。ｘ座標がｘ４の地点は、光５３の右側の有効領域５０の位置である。

【0042】

図６（Ｂ）に示すように、ｘ３においてｙ座標が光５３の位置では、光５３の入射光によりＤ２分だけ画素値が黒レベルよりも高くなる。また、ｘ２においてｙ座標が光５３に相当する位置では、上述したように沈み込み５４が発生し、他の領域の黒レベルよりＤ１だけ画素値が低くなる。ｘ４でも同様である。さらに、ｘ１の水平遮光領域５１でも同様であり、ｙ座標が光５３に相当する位置では、他の領域の黒レベルよりＤ１だけ画素値が低くなる。すなわち、図６（Ｂ）に示す例においては、水平遮光領域５１で検出した黒レベルによる沈み込みの値Ｄ１と有効領域５０で検出した黒レベルの沈み込みＤ１の値はほぼ同じ大きさとなる。

【0043】

図７は、図６の第１の例に対して本発明の撮像装置による補正を説明する図であり、（Ｃ－１）はストリーキング信号の補正前の状態を示し、（Ｃ－２）は、補正後の状態を示した図である。図７においては、図面の横方向がｘ座標方向（水平方向）を示しており、図面の縦方向が画素値の値を示している。

【0044】

図７（Ｃ－１）の補正前の状態においては、黒レベルの沈み込みはＤ１で一定である。このため、図６で示した水平遮光領域５１における沈み込みもＤ１となる。よって、図５で示した補正値算出部１３では、水平遮光領域平滑化部１１から出力された黒レベルの値に基づき、この沈み込みＤ１のみを考慮して補正を行えばよい。すなわち、補償値算出部１２の補償値は考慮されずに補正がされる。このため、光５３の左右領域において、Ｄ１分だけ黒レベルを減ずる補正を行えばよい。

【0045】

このような補正を行うことで、図７（Ｃ－２）のように、黒レベルが沈み込む領域はなくなり、ストリーキング現象を解消できる。

【0046】

＜ストリーキングの第２の例＞
図８は、図３に示した撮像素子でストリーキングを生じた場合の第２の例を説明する図であり、（Ａ）は撮像素子の受光面を示した図、（Ｂ）は座標ｘの各位置における、座標ｙと画素値Ｉの関係を示した図である。図８（Ａ）においては、横方向（左右方向）が水平方向（ｘ方向）となり、縦方向が垂直方向（ｙ方向）となる。

【0047】

図８に示す例では、図８（Ａ）に示すように、撮像素子１の有効領域６０に所定以上の強い光６３が入力された場合である。所定以上の強い光６３は、例えば、撮像装置の映像処理システムに定格レベルを大きく超える輝度の高い光である。一方で、図８（Ａ）に示すように、光６３から水平遮光領域６１までのｘ方向の距離Ａは、図６より大きい例が示されている。この場合、光６３の左右に黒レベルの沈み込み６４が発生してストリーキングが発生する。一方で、距離Ａが大きいことで、端部に設けられた電源供給部から受光面の画素までの距離が大きくなる。このことで、水平遮光領域６１の黒レベルの沈み込みよりも、光６３の左右の有効領域６０における黒レベルの沈み込みの方が大きくなる現象が起こる。

【0048】

図８（Ｂ）では、図８（Ａ）におけるｘ座標のｘ１、ｘ２、ｘ３、ｘ４の各箇所において、ｙ方向（垂直方向）に対する画素値Ｉの分布を示している。図面の縦方向がｙ座標方向（垂直方向）を示しており、図面の横方向が画素値の値を示しており、右に行くほど画素値が高いことを示す。ｘ座標がｘ１の地点は、有効領域６０の左側に存在する水平遮光領域６１の位置である。ｘ座標がｘ２の地点は、光６３の左側の有効領域６０の位置である。ｘ座標がｘ３の地点は、光６３の位置である。ｘ座標がｘ４の地点は、光６３の右側の有効領域６０の位置である。

【0049】

図８（Ｂ）に示すように、ｘ３においてｙ座標が光６３の位置では、光６３の入射光によりＤ２分だけ画素値が黒レベルよりも高くなる。また、ｘ２においてｙ座標が光６３に相当する位置では、上述したように沈み込み６４が発生し、他の領域の黒レベルよりＤ３だけ画素値が低くなる。ｘ４でも同様である。さらに、ｘ１の水平遮光領域６１では、ｙ座標が光６３に相当する位置では、他の領域の黒レベルよりＤ１だけ画素値が低くなる。ここで、Ｄ３による黒レベルの沈み込み量は、Ｄ１による黒レベルの沈み込み量よりも大きい。これは、図８（Ａ）に示すように水平遮光領域６１から離れた位置に強い光６３が入射されたためである。

【0050】

図９は、図８の第２の例に対して本発明の撮像装置による補正を説明する図であり、（Ｃ－１）はストリーキング信号の補正前の状態を示し、（Ｃ－２）は補償なしの場合の補正後の状態を示し、（Ｃ－３）は補償ありの場合の補正後の状態を示した図である。図９においては、図面の横方向がｘ座標方向（水平方向）を示しており、図面の縦方向が画素値の値を示している。

【0051】

図９（Ｃ－１）の補正前の状態においては、光６３の左右の有効領域６０においては、黒レベルの沈み込みはＤ３である。一方、図８で示した水平遮光領域６１における沈み込みはＤ１であり、Ｄ３より少ない値である。

【0052】

図５で示した補正値算出部１３では、水平遮光領域平滑化部１１から出力された黒レベルの値と、補償値算出部１２で算出される補償値を考慮して補正値を算出する。このとき、もしも、補償値算出部１２で算出される補償値を考慮しない場合は、図９（Ｃ－２）で示すように水平遮光領域６１における黒レベルの沈み込みＤ１のみを考慮して補正がなされる。このことにより、光６３の左右の有効領域６０では、Ｄ３－Ｄ１だけ黒レベルの沈み込みが残ることになる。この場合は、補正処理後もストリーキング現象が残ってしまう。

【0053】

このため、補正値算出部１３では、補償値算出部１２で算出される補償値を考慮して補正値が算出される。このことにより、図９（Ｃ－３）に示されるように、光６３の左右の有効領域６０の黒レベルの沈み込みが解消され、ストリーキング現象も解消される。この場合の補償を考慮した具体例については後述する。

【0054】

＜ストリーキングの第３の例＞
図１０は、図３に示した撮像素子でストリーキングを生じた場合の第３の例を説明する図であり、（Ａ）は撮像素子の受光面を示した図、（Ｂ）は座標ｘの各位置における、座標ｙと画素値Ｉの関係を示した図である。図１０（Ａ）においては、横方向（左右方向）が水平方向（ｘ方向）となり、縦方向が垂直方向（ｙ方向）となる。

【0055】

図１０に示す例では、図１０（Ａ）に示すように、撮像素子１の有効領域７０に所定以上の強い光７３が入力された場合である。所定以上の強い光７３は、例えば、撮像装置の映像処理システムに定格レベルを大きく超える輝度の高い光である。一方で、図１０（Ａ）に示すように、光７３の水平方向（ｘ方向）の幅Ｂは、図６の光５３よりも大きい例が示されている。この場合、光７３の左右に黒レベルの沈み込み７４が発生してストリーキングが発生する。一方で、幅Ｂが大きいことで、水平遮光領域７１の黒レベルの沈み込みよりも、光７３の左右の有効領域７０における黒レベルの沈み込みの方が大きくなる現象が起こる。

【0056】

図１０（Ｂ）では、図１０（Ａ）におけるｘ座標のｘ１、ｘ２、ｘ３、ｘ４の各箇所において、ｙ方向（垂直方向）に対する画素値Ｉの分布を示している。図面の縦方向がｙ座標方向（垂直方向）を示しており、図面の横方向が画素値の値を示しており、右に行くほど画素値が高いことを示す。ｘ座標がｘ１の地点は、有効領域７０の左側に存在する水平遮光領域７１の位置である。ｘ座標がｘ２の地点は、光７３の左側の有効領域７０の位置である。ｘ座標がｘ３の地点は、光７３の位置である。ｘ座標がｘ４の地点は、光７３の右側の有効領域７０の位置である。

【0057】

図１０（Ｂ）に示すように、ｘ３においてｙ座標が光７３に相当する位置では、光７３の入射光によりＤ４分だけ画素値が黒レベルよりも高くなる。また、ｘ２においてｙ座標が光７３に相当する位置では、上述したように沈み込み７４が発生し、他の領域の黒レベルよりＤ５だけ画素値が低くなる。ｘ４でも同様である。さらに、ｘ１の水平遮光領域７１では、ｙ座標が光７３に相当する位置では、他の領域の黒レベルよりもＤ１だけ画素値が低くなる。ここで、Ｄ５による黒レベルの沈み込み量は、Ｄ１による黒レベルの沈み込み量よりも大きい。これは、図１０（Ａ）で示すような、幅を持った光７３が入力されるためである。

【0058】

図１１は、図１０の第３の例に対して本発明の撮像装置による補正を説明する図であり、（Ｃ）はストリーキング信号の補正前の状態を示し、（Ｃ－２）は補償なしの場合の補正後の状態を示し（Ｃ－３）は補償ありの場合の補正後の状態を示した図である。図１１においては、図面の横方向がｘ座標方向（水平方向）を示しており、図面の縦方向が画素値の値を示している。

【0059】

図１１（Ｃ－１）の補正前の状態においては、光７３の左右の有効領域７０においては、黒レベルの沈み込みはＤ５である。一方、図１０で示した水平遮光領域７１における沈み込みはＤ１であり、Ｄ５より少ない値である。

【0060】

図５で示した補正値算出部１３では、水平遮光領域平滑化部１１から出力された黒レベルの値と、補償値算出部１２で算出される補償値を考慮して補正値を算出する。このとき、もしも、補償値算出部１２で算出される補償値を考慮しない場合は、図１０（Ｃ－２）で示すようにＤ１のみを考慮して補正がなされる。このことにより、光７３の左右の有効領域７０では、Ｄ５－Ｄ１だけ黒レベルの沈み込みが残ることになる。この場合は、補正処理後もストリーキング現象が残ってしまう。

【0061】

このため、補正値算出部１３では、補償値算出部１２で算出される補償値を考慮して補正値が算出される。このことにより、図１０（Ｃ－３）に示されるように、光７３の左右の有効領域７０の黒レベルの沈み込みが解消され、ストリーキング現象も解消される。この場合の補償を考慮した具体例については後述する。

【0062】

＜補償の具体例＞
補償値算出部１２では、撮像素子１からの映像信号に対して、映像信号の１ライン（１つの水平ライン）のヒストグラムを取得する。このヒストグラムは、ｙ方向に沿った光の強さのヒストグラムとすることができる。補償値算出部１２では、補償値（補償ゲイン値）の算出にこのヒストグラムを用いている。以下、光強度補償ゲイン、位置補償ゲイン、幅補償ゲイン、補償ストリーキング補正信号について説明する。

【0063】

＜光強度補償ゲイン＞
入射する光のレベルに応じた補償ゲイン（光強度補償ゲイン）の算出方法について説明する。光の強度が強くなると、図９や１１で示したような場合と類似の現象が起こる。すなわち、図３で示す有効領域８０に強い光が入射すると有効領域８０での黒レベルの沈み込み量が水平遮光領域８１の黒レベルの沈み込み量よりも大きくなる。これにより、図７で示したような補正を行ってもストリーキングが残ってしまう。ここでは、1ラインのヒストグラムより、映像の定格レベルを超える信号（定格レベルを超える輝度の高い信号）に着目する。その信号のレベルが撮像素子１の最大光量から定格レベルまでの間のどの範囲にあるか判断して補償ゲインを決める。これにより、光強度補償ゲイン値は次式のように表すことができる。
光強度補償ゲイン値 ＝α × 入力信号レベル／最大入力信号レベル
・・・（式１）
ここで、最大定格のレベルを１００％とした場合、入力信号レベル≧１００％ である。また、αは撮像素子の特性で決まる係数である。

【0064】

式１では、入力信号レベルが定格レベルを超える場合において、入力信号レベルが大きければ大きいほど光強度補償ゲインの値は大きくなる。これにより、光強度補償ゲインでは光が強いほど（輝度が高いほど）、補償の度合いを高めることになる。

【0065】

＜位置補償ゲイン＞
入射する光の場所に応じた補償ゲイン（位置補償ゲイン）の算出方法について説明する。これは、図８、９で説明した補償に対応する。ここでは、1ラインのヒストグラムより、映像信号の定格レベルを超える信号（定格レベルを超える輝度の高い信号）に着目する。定格レベルを超える信号の位置、とりわけ信号の中心の位置から水平遮光領域８１までの距離に応じて補償ゲインを決める。ここでの距離は水平方向（ｘ方向）の距離である。これにより、位置補償ゲイン値は次式のように表すことができる。
位置補償ゲイン値 ＝ β × 水平遮光領域までの距離 ・・・（式２）
ここで、βは撮像素子の特性で決まる係数である。

【0066】

具体的な手法としては、1ラインの映像信号で定格レベルを超える信号の左右端を検出し、その結果から定格レベルを超える信号の中心部を求めて上記式２に当てはめればよい。なお、中心部以外の定格レベルを超える信号に関する位置でもよい。例えば、定格レベルを超える信号の水平遮光領域８１側端部の位置等である。

【0067】

式２では、入力信号レベルが定格レベルを超える場合において、定格レベルを超える信号の中心から水平遮光領域８１までの距離が大きければ大きいほど位置補償ゲインの値は大きくなる。これにより、位置補償ゲインでは、定格レベルを超える信号の中心が水平遮光領域８１からの距離が離れるほど、それに比例して補償の度合いを高めることになる。

【0068】

＜幅補償ゲイン＞
入射する光の幅に応じた補償ゲインの算出方法について説明する。これは、図１０、１１で説明した補償に対応する。ここでは、1ラインのヒストグラムより、映像信号の定格レベルを超える信号（定格レベルを超える輝度の高い信号）に着目する。定格レベルを超える信号の幅に応じて補償ゲインを決める。ここでの幅は水平方向（ｘ方向）の距離である。これにより、幅補償ゲイン値は次式のように表すことができる。
幅補償ゲイン値 ＝ γ × 光信号の幅 ・・・（式３）
ここで、γは撮像素子の特性で決まる係数である。

【0069】

具体的な手法としては、1ラインの映像信号で定格レベルを超える信号の左右端を検出し、その幅を算出して、その結果を上記式３に当てはめればよい。

【0070】

式３では、入力信号レベルが定格レベルを超える場合において、定格レベルを超える信号の幅が大きければ大きいほど位置補償ゲインの値は大きくなる。これにより、幅補償ゲインでは、定格レベルを超える信号の幅が大きいほど、それに比例して補償の度合いを高めることになる。

【0071】

＜補償ストリーキング補正信号＞
図５で示した補正値算出部１３では、上記のようにして求めた、光強度補償ゲイン、位置補償ゲイン、幅補償ゲインの各値を用いて、補償したストリーキング補正信号である、補償ストリーキング補正信号を生成することができる。補償ストリーキング補正信号は次式で表すことができる。
補償ストリーキング補正信号＝
黒レベル沈み込み量×光強度補償ゲイン値×位置補償ゲイン値×幅補償ゲイン値
・・・（式４）
ここで、黒レベル沈み込み量は、図６、７等で例示した水平遮光領域平滑化部１１で算出された黒レベルに基づく沈み込み量である。

【0072】

式４により黒レベルに対して、各補償ゲインの値が考慮されて、補正信号を補償することが可能となる。

【0073】

撮像素子１からの映像信号は、図５に示す補償値算出部１２、補正値算出部１３での信号処理が完了するまでの間、メモリ部１０にいったん保持される。そして、補正値算出部１３で生成されたストリーキング補正信号の出力タイミングに合わせて読み出され、ストリーキング補正信号を用いて減算器１４で減算する。このことにより、図９（Ｃ－３）または図１１（Ｃ－３）のように黒レベルの沈み込みのない良好な映像信号を得ることができる。

【0074】

以上のような実施形態により、水平遮光領域平滑化部１１における黒レベルによる補正のみでなく、補償値算出部１２による補償値を加味した補正により、黒レベルの沈み込みを防止し、ストリーキングの発生を抑制することができる。このとき補償値としては、光強度補償ゲインを用いることで、光強度に応じたより的確な補正とすることができる。また、補償値として位置補償ゲインを用いることで、水平遮光領域までの距離に応じたより的確な補正とすることができる。また、幅補償ゲインを用いることで、光強度の強い光の幅に応じたより的確な補正とすることができる。また、これらにより、複雑なシステムの構築を必要とせず、システムにかかる負荷も限られたものとすることができる。

【0075】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0076】

例えば、光強度補償ゲイン値、位置補償ゲイン値、幅補償ゲイン値の算出において、映像信号の定格レベルを超える信号を対象としたが、この場合、定格レベルに準じるような所定以上のレベルを超える信号としてもよい。

【0077】

また、式４における、補償ストリーキング補正信号の計算は、光強度補償ゲイン値、位置補償ゲイン値、幅補償ゲイン値のいずれも用いたが、これらのゲイン値のうち少なくとも１つを用いる構成としてもよい。

【符号の説明】

【0078】

１…撮像素子、２…ストリーキング補正部、４…出力生成部、１０…メモリ部、１１…水平遮光領域平滑化部、１２…補償値算出部、１３…補正値算出部、１４…減算器、５０…有効領域、５１…水平遮光領域、５２…垂直遮光領域、５３…光、５４…沈み込み、６０…有効領域、６１…水平遮光領域、６２…垂直遮光領域、６３…光、６４…沈み込み、７０…有効領域、７１…水平遮光領域、７２…垂直遮光領域、７３…光、７４…沈み込み、８０…有効領域、８１…水平遮光領域、８２…垂直遮光領域、３００…コンピュータシステム、３０２…プロセッサ、３０２Ａ…処理装置、３０２Ｂ…処理装置、３０４…メモリ、３０６…メモリバス、３０８…Ｉ／Ｏバス、３０９…バスインターフェースユニット、３１０…Ｉ／Ｏバスインターフェースユニット、３１２…端末インターフェースユニット、３１４…ストレージインターフェース、３１６…Ｉ／Ｏデバイスインターフェース、３１８…ネットワークインターフェース、３２０…ユーザＩ／Ｏデバイス、３２４…表示システム、３２６…表示装置、３３０…ネットワーク、３５０…潜在因子特定アプリケーション

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】