IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2024-180784撮像装置、撮像装置の制御方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024180784
(43)【公開日】2024-12-27
(54)【発明の名称】撮像装置、撮像装置の制御方法、及びプログラム
(51)【国際特許分類】
   H04N 25/68 20230101AFI20241220BHJP
   H04N 25/773 20230101ALI20241220BHJP
【FI】
H04N25/68
H04N25/773
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2024176603
(22)【出願日】2024-10-08
(62)【分割の表示】P 2023027237の分割
【原出願日】2023-02-24
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】細野 優
(72)【発明者】
【氏名】沼田 愛彦
(72)【発明者】
【氏名】石岡 俊哉
(57)【要約】
【課題】低照度撮影においても画質の低下を抑制可能な撮像装置を提供する。
【解決手段】撮像装置であって、アバランシェフォトダイオードを有する光電変換素子と、補正対象となる画素の位置情報に基づいて、光電変換素子が取得した信号に対して補正を行う信号処理部と、1フレーム分の信号を取得する期間におけるパルス信号のパルス数を制御する制御手段と、を有し、信号処理部が補正を行う信号か否かを判定するための閾値は、第1のモードと、パルス信号のパルス数が第1のモードより少ない第2のモードとで異なる。
【選択図】図1

【特許請求の範囲】
【請求項1】
アバランシェフォトダイオードを有する光電変換素子と、
補正対象となる画素の位置情報に基づいて、前記光電変換素子が取得した信号に対して補正を行う信号処理部と、
1フレーム分の信号を取得する期間におけるパルス信号のパルス数を制御する制御手段と、を有し、
前記信号処理部が前記補正を行う信号か否かを判定するための閾値は、第1のモードと、前記パルス信号のパルス数が前記第1のモードより少ない第2のモードとで異なる、ことを特徴とする撮像装置。
【請求項2】
前記信号処理部は、予め設定された複数の閾値の中から前記パルス信号のパルス数に応じた閾値を選択することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記信号処理部は、前記選択された閾値に基づいて、前記信号が補正対象であるか否かを判定することを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記信号処理部は、前記選択された閾値を超えていた画素があった場合、前記閾値を超えた画素を補正対象の画素として出力することを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記第1のモードと前記第2のモードを切り替える切り替え部を更に有し、
前記切り替え部は、少なくとも前記光電変換素子が取得した信号に基づく照度に応じて前記第1のモードと前記第2のモードを切替えることを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記補正対象となる画素の位置情報を保持する保持部を更に有することを特徴とする請求項1に記載の撮像装置。
【請求項7】
前記信号処理部は、複数の閾値の中から前記第2のモードで閾値を選択する際、前記第1のモードにおける閾値より小さい値の閾値を選択することを特徴とする請求項1に記載の撮像装置。
【請求項8】
前記信号処理部は、前記信号にゲインを掛けることができることを特徴とする請求項1に記載の撮像装置。
【請求項9】
前記信号処理部は、同一のモードで前記信号にゲインを掛けた際に、前記閾値を大きくすることを特徴とする請求項8に記載の撮像装置。
【請求項10】
前記信号処理部は、前記第1のモードで取得した前記信号と前記第2のモードで取得した前記信号において、モードによって画素レベルが変わる画素を補正対象の画素とすることを特徴とする請求項1に記載の撮像装置。
【請求項11】
前記信号処理部は、補正対象となる画素の周囲に配された画素の画素レベルに基づき、前記信号の補正を行うことを特徴とする請求項1に記載の撮像装置。
【請求項12】
1フレーム分の信号を取得する期間における前記パルス信号のパルス数が前記第1のモードと前記第2のモードと異なる第3のモードをさらに有し、
前記信号処理部は、前記第1のモードと前記第2のモードにて取得した補正対象の画素のデータに基づき、前記第3のモードで取得した前記信号を補正対象とするか否かを判定すること特徴とする請求項1に記載の撮像装置。
【請求項13】
前記パルス信号のパルス数に応じて、前記第1のモードと前記第2のモードと前記第3のモードとを切り替える切替え部を更に有すること特徴とする請求項12に記載の撮像装置。
【請求項14】
前記第1のモードと前記第2のモードで取得した補正対象となる画素の各画素情報に基づき、前記第1のモードと前記第2のモードにおける前記パルス信号のパルス数とは異なるクロック数のモードで補正対象となる画素の各画素情報を推定する推定部を更に有することを特徴とする請求項1に記載の撮像装置。
【請求項15】
前記信号処理部は、前記補正対象の画素か否かの判定をする場合、前記第1のモードから前記第2のモードに切り換わった際に、前記補正対象とする画素の周囲に配される画素の画素レベルの変化に基づき判定を行うことを特徴とする請求項3に記載の撮像装置。
【請求項16】
前記制御手段は、前記光電変換素子が取得した信号における照度に応じて前記パルス信号のパルス数を変更することを特徴とする請求項1に記載の撮像装置。
【請求項17】
撮像装置の制御方法であって、
補正対象となる画素の位置情報に基づいて、アバランシェフォトダイオードを有する光電変換素子が取得した信号に対して補正を行い、
1フレーム分の信号を取得する期間におけるパルス信号のパルス数を制御し、
前記補正を行う際、補正を行う信号か否かを判定するための閾値は、第1のモードと、前記パルス信号のパルス数が前記第1のモードより少ない第2のモードとで異なる、ことを特徴とする撮像装置の制御方法。
【請求項18】
撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
補正対象となる画素の位置情報に基づいて、アバランシェフォトダイオードを有する光電変換素子が取得した信号に対して補正を行い、
1フレーム分の信号を取得する期間におけるパルス信号のパルス数を制御し、
前記補正を行う際、補正を行う信号か否かを判定するための閾値は、第1のモードと、前記パルス信号のパルス数が前記第1のモードより少ない第2のモードとで異なる、ことを特徴とするプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関するものである。
【背景技術】
【0002】
近年、アバランシェフォトダイオード(APD)に到来する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が提案されている。特許文献1の構成では、APDを有する画素が、APDと、APDに接続されたクエンチ回路と、APDから出力される信号が入力される信号制御回路と、クエンチ回路と信号制御回路に接続されたパルス生成回路とを備えている。そして、駆動させるモードが複数ある場合にクエンチ回路に入力するパルス信号の制御方法に関して開示がされている。例えば、第1モードと第1モードより暗い環境下で撮影(低照度撮影)する第2モードとにおけるパルス信号数、周期をどのようにするかに関して開示されている。
【0003】
APDを有する画素の信号には、入射光に応じた光電変換に基づく信号に加え、画素のトラップ準位の異常に起因する信号が含まれる。画素のトラップ準位の異常に起因する信号の発生量が周辺の画素と比較して多い画素(以下「欠陥画素」という)が存在する。
【0004】
この欠陥画素は、隣り合う画素にも電荷を発生させ、クラスター状の欠陥(以下「クラスター欠陥」という)を発生させる。また、第2モードより明るい環境下で撮影(高照度撮影)するより低照度での撮影のほうが、クラスター欠陥が生じてしまう可能性が高くなる。特に、高照度撮影から低照度撮影に切り替えて撮影を行う際に、駆動パルス信号数を同等としているとクラスター欠陥が生じる可能性が高くなる。クラスター欠陥から出力された信号をそのまま用いて画像を形成すると、画質劣化(画質の低下)が生じる。そこで、例えば、工場出荷時に撮像素子内の欠陥画素のアドレス等の情報(以下「欠陥情報」という)を不揮発性メモリに格納し、実際の撮像時には欠陥情報を参照して欠陥画素を補正することが知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2022-106649号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1には、撮影モードが複数ある場合において、取得した信号についての欠陥画素の検出、補正方法に関して開示されていない。また、高照度撮影から低照度撮影に切り替えた際に駆動パルス信号数を変化させることについても開示されていない。
【0007】
そこで本発明においては、低照度撮影においても画質の低下を抑制可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明の一側面としての撮像装置は、アバランシェフォトダイオードを有する光電変換素子と、補正対象となる画素の位置情報に基づいて、前記光電変換素子が取得した信号に対して補正を行う信号処理部と、1フレーム分の信号を取得する期間におけるパルス信号のパルス数を制御する制御手段と、を有し、前記信号処理部が前記補正を行う信号か否かを判定するための閾値は、第1のモードと、前記パルス信号のパルス数が前記第1のモードより少ない第2のモードとで異なる、ことを特徴とする。
【発明の効果】
【0009】
本発明によれば、低照度撮影においても画質の低下を抑制可能な撮像装置を提供することができる。
【図面の簡単な説明】
【0010】
図1】実施例1に係る撮像装置の構成の図である。
図2】実施例1に係る欠陥画素検出部の内部構成の図である。
図3】実施例1に係る欠陥画素検出部の欠陥画素閾値データの形式の一例の図である。
図4】実施例1に係る欠陥画素補正部の内部構成の図である。
図5】実施例1に係る光電変換素子の図である。
図6】実施例1に係るセンサ基板の図である。
図7】実施例1に係る回路基板の図である。
図8】実施例1に係る光電変換素子の画素に対応した等価回路の図である。
図9】実施例1に係る光電変換素子のタイミングチャートの図である。
図10】実施例1に係る画素間クロストークを説明する図の図である。
図11】従来の光電変換装置の高照度条件と低照度条件での光電変換素子のタイミングチャートの図である。
図12】従来の光電変換装置の高照度条件と低照度条件での光電変換素子の出力カウント数の図である。
図13】実施例1に係る高照度条件と低照度条件での光電変換素子の画素間クロストークの影響の図である。
図14】実施例1に係る高照度条件と低照度条件での光電変換素子のタイミングチャートの図である。
図15】実施例1に係る高照度条件と低照度条件での光電変換素子の出力カウント数の図である。
図16】実施例1に係る高照度条件と低照度条件での光電変換素子の画素間クロストークの影響の図である。
図17】実施例1に係る制御信号CLKのパルス信号数とクラスター状の欠陥の画素レベルの関係の図である。
図18】実施例1に係るCLKのパルス信号数とクラスター状の欠陥の中心画素に対する隣接画素のレベルとの関係の図である。
図19】実施例1に係る画像内の欠陥のイメージと欠陥画素のデータの図である。
図20】実施例1に係る制御信号CLKのパルス信号数に応じた欠陥画素の検出の流れの図である。
図21】実施例1に係る制御信号CLKのパルス信号数に応じた欠陥画素の補正の流れの図である。
図22】実施例2に係る欠陥画素のデータの図である。
図23】実施例3に係る欠陥画素検出部の内部構成の図である。
【発明を実施するための形態】
【0011】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は調整されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、各図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
【0012】
<実施例1>
まず、実施例1の撮像装置1における各ブロックについて図1を用いて下記に説明する。図1は、本実施例における撮像装置1のブロック図である。撮像装置1は、レンズ101、撮像素子102、信号処理部(映像信号処理部)103、制御部104、RAM105、ROM106、出力部107を含むように構成される。
【0013】
レンズ101は、被写体の光学像を形成する撮像光学系(結像光学系)であり、変倍に際して光軸方向に移動する変倍レンズ(ズームレンズ)と、焦点調節(合焦)に際して光軸方向に移動するフォーカスレンズと、を有する。また、レンズ101は入射光量を制御する絞りとND、赤外光の入射光量を制御するIRCFを備えている。
【0014】
撮像素子102は、レンズ101が形成した光学像を電気信号に光電変換する光電変換装置である。本実施例における撮像素子102は、アバランシェフォトダイオード(APD)を用いたイメージセンサである。具体的には、後述する図5に示す光電変換素子400を含むように構成された光電変換装置である。露光によって得られた光学像は各画素より画素信号として外部に出力される。本実施例では、信号処理部103に出力する。尚、撮像素子102の詳細及びその動作に関しては後述する。
【0015】
信号処理部103は、機能部として、欠陥画素検出部108、欠陥画素補正部109、映像信号生成部110、画像処理部111を含むように構成される。これらの各機能部は、後述する制御部104が、ROM106に格納されたプログラムをRAM105に展開し、実行することで実現されている。そして、制御部104は、後述する各処理の実行結果をRAM105または所定の記憶媒体に保持する。
【0016】
信号処理部103は、上記の各機能部を用いて補正対象となる画素(欠陥画素)の位置情報に基づき、後述の光電変換素子400が取得した信号に対して補正処理を実施する。そして、補正したフレーム単位の画素信号に基づいて所定のフォーマットの映像信号を生成する。尚、信号処理部103は、後述する光電変換素子400で取得された信号にゲイン(デジタルゲイン)を掛け、補正することができる。
【0017】
欠陥画素検出部108は、撮像素子102の出力から、補正が必要な画素である欠陥画素の検出を行う。具体的には、撮像素子102から出力された画素信号を用いて、各信号に含まれる欠陥を検出する。欠陥画素検出部108は、画素毎に検出した結果である欠陥画素データ(画素情報)に基づいて生成される欠陥情報をRAM105、ROM106等に記憶(記録)する。
【0018】
欠陥画素補正部109は、撮像素子102が出力した画素信号に対してフレーム単位で欠陥画素検出部108の結果に基づき、補正処理を実行する。即ち、欠陥画素補正部109は、後述する光電変換素子400が取得した信号(画素信号)に対して、欠陥画素検出部108で検出された欠陥画素データに基づいて生成される欠陥情報を用いて、欠陥画素を補正する。より詳細には、欠陥画素補正部109で欠陥補正に使用するために、後述のRAM105やROM106等に記憶された欠陥情報の中から選択した欠陥補正データを使用して補正を行う。当選択は、制御部104が撮像条件(ISO感度や露出時間)、撮像素子102の温度、撮像素子102の1フレーム分の信号を取得する露光期間におけるパルス信号のパルス数が異なる複数の駆動モード等に基づいて行う。
【0019】
映像信号生成部110は、欠陥画素補正部109が補正したフレーム単位の画素信号に基づいて所定のフォーマットの映像信号を生成する。画像処理部111は、画像信号や映像信号に対して任意の画像処理及び解析処理を行い各ブロックへ出力する。尚、画像処理部111が上記の信号にゲインを掛け、補正するようにしてもよい。
【0020】
信号処理部103には、更にレンズ101の光学収差を補正する収差補正処理、撮像素子102から出力される画素信号に対して固定パターンノイズやランダムノイズを低減するためのノイズ低減処理部(不図示)等が含まれる。また、信号処理部103は、画素信号に各種の補正を行った後に、映像信号に圧縮及び符号化を行うデジタル信号処理部を含む構成としてもよい。
【0021】
制御部(制御手段)104は、撮像装置1全体を制御する中央演算装置である。制御部104は、各種演算処理と撮像装置1全体を制御するCPUを含む。当該CPUは、撮像装置1全体を制御するために各構成要素を統括的に制御及び各種設定パラメータ等の設定を行う。CPUは、信号処理部103及び信号処理部103に含まれる各機能部における処理を実行する。また、CPUは、データを電気的に書き込み・消去可能なキャッシュメモリ等を含み、これに記録されたプログラムを実行する。尚、メモリは、当該CPUが実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。
【0022】
制御部104は、信号処理部103より出力される各信号の解析結果に基づいて、撮像素子102やレンズ101、露出、イメージセンサの制御信号CLKのパルス数等の設定値を算出する。具体的には、信号処理部103にて解析した結果に含まれる被写体の輝度に基づいて、保持されたプログラム線図を用いる。そして、撮像素子102に設定する露出時間、レンズ101に含まれる絞りのF値等の露出に関連したパラメータを決定する。尚、各種の演算や検出処理、補正処理等の各種処理は信号処理部103で行うこととしたが、各種の演算や検出処理、補正処理等の各種処理の一部または全部を制御部104にて行うようにしてもよい。ここでいう露出時間とは、電子シャッターの実行タイミングのことである。
【0023】
RAM105は、制御部104の演算結果や信号処理部103の出力信号を一時的に記憶する。CPUに含まれるキャッシュメモリとは別に設けてもよいし、同一としてもよい。
【0024】
ROM106は、欠陥情報や種々の調整値を記憶する。ROM106に記憶されている各種データは起動時等の所定のタイミングで制御部104の制御によりRAM105に展開される。
【0025】
出力部107は、撮像した映像や画像を外部のモニタやレコーダに出力したり、SDカード、ハードディスク(HDD)、不揮発性メモリなどの記録媒体に記録したりできる。あるいは、インターネットを介して映像信号を出力することができる。インターネット接続は有線でもよいし、無線LAN等の無線通信方式を採用してもよい。
【0026】
尚、撮像装置1は、上記したハードディスク等の記録媒体を有するように構成されていてもよい。その場合、記録媒体は、撮像装置1の内部に配置されていてもよいし、撮像装置1の外部に配置され、出力部107を介して撮像装置1と電気的に接続されるようにしてもよい。さらに撮像装置1は、モニタやディスプレイ等の表示装置を有するように構成されていてもよい。その場合、表示装置は、出力部107を介して撮像装置1と電気的に接続される。尚、記録媒体や表示装置は、出力部107を介さず、その他の回線を介して撮像装置1と接続されていてもよい。
【0027】
以下、図2図3を参照して欠陥画素の検出方法について説明する。図2は、欠陥画素検出部108の内部構成を例示した図である。図3は、欠陥画素検出部108の欠陥画素閾値データの形式を例示した図である。欠陥画素検出部108は、機能部として、検出部201、アドレス算出部202、閾値選択部203を含むように構成される。
【0028】
検出部(判定部)201は、取得した画素信号が欠陥画素か否の判定を実行する。具体的には、検出部201は、撮像素子102から出力された画素信号を検出部201に入力し、入力された各画素信号が欠陥画素か否かを判定する。即ち、検出部201は、撮像素子102が取得した信号が補正対象となる画素であるか否かを判定する。その後、判定結果である欠陥画素データを出力し、RAM105、ROM106等に記憶する。欠陥画素データには、欠陥量、欠陥画素のアドレス、欠陥の種類等が含まれる。
【0029】
ここで、欠陥量とは、注目画素の出力値である。欠陥量は、画素のレベルの絶対値でもよいし、隣接画素との差分としてもよい。欠陥画素のアドレスとは、撮像素子102の画素配列内の位置を表すものであり、水平座標と垂直座標を組み合わせた絶対位置形式としてもよいし、信号走査方向において欠陥画素間の相対位置(距離)のみを記憶する相対位置形式としてもよい。また、欠陥の種類とは、欠陥の原因によって決定されるものである。例えば、周囲画素に対してレベルが大きい白キズ、周囲画素に対してレベルが小さい黒キズ等である。各欠陥画素の欠陥量はその欠陥の原因によって依存する条件(撮像条件、環境条件等)が異なる。このため、工場出荷時に複数の撮像条件で画素信号を取得し、その結果を条件毎に欠陥の種類として記憶する。
【0030】
アドレス算出部202は、撮像素子102から出力された画素信号を検出部201に入力すると同時、または撮像素子102から出力された画素信号を検出部201に入力するのに連動してアドレス算出部202にも入力する。アドレス算出部202は、撮像素子102の走査順に入力される画素信号の数をカウントして、欠陥画素となる注目画素信号に対応するアドレス情報を生成する。
【0031】
閾値選択部203は、欠陥画素か否かの判定に用いる閾値の選択を行う。閾値選択部203は、制御部104における撮影条件の設定情報である制御設定や欠陥の種類に応じて欠損画素の閾値データから適切な閾値を選択する。尚、図3に示している制御設定値とそれに対応する閾値の数は例示であって、適宜変更可能である。
【0032】
図3(A)は、欠陥画素の種類K1における閾値データの一例を示す図である。図3(B)は、欠陥画素の種類K2における閾値データの一例を示す図である。図3(A)と図3(B)に示すデータは、それぞれ制御設定と閾値の2つの要素を有している。例えば、制御設定M1に対しては欠陥画素の閾値はTH1、制御設定M2に対しては欠陥画素の閾値はTH2、制御設定M3に対しては欠陥画素の閾値はTH3を持つ。そのため、閾値選択部203は、このように予め設定された複数の閾値の中から欠陥画素を判定に用いる閾値の選択を行う。閾値の選択際し、詳細は後述するが閾値選択部203は、制御信号CLKのパルス信号のパルス数に応じた閾値を選択する。また、これらの閾値は、制御信号CLKのパルス信号が減少するほど閾値の値が小さく設定されている。
【0033】
例えば、制御設定M1であるときは、欠陥画素検出部108における検出対象(補正対象となる画素)は、画素レベルが閾値TH1を超えている、即ち、閾値TH1以上の画素である。そのため、欠陥画素検出部108は、撮像素子102から出力された画素信号が欠陥画素か否の判定を実行する際、画素レベルが閾値TH1を超えている画素があった場合、閾値TH1を超える画素を補正対象とする画素、即ち、欠陥画素として出力する。このように、本実施例の欠陥画素検出部108は、閾値選択部203によって選択された閾値に基づいて、撮像素子102から出力された画素信号が欠陥画素であるか否の判定を実行する。
【0034】
制御設定とは、シャッタースピード(露光時間)やゲインや温度等であり、この制御設定に応じて適切な閾値を算出し、欠陥画素の検出に用いる。また、欠陥量は、欠陥の種類に応じて異なるため、各欠陥の種類に対して閾値データを持つ。
【0035】
以下、図4を参照して欠陥画素の補正方法について説明する。図4は、欠陥画素補正部109の内部構成を表した一例の図である。欠陥画素補正部109は、機能部として補正部301、アドレス算出部202、欠陥情報選択部(データ選択部)302を含むように構成される。アドレス算出部202は、上記で説明したアドレス算出部202と同様であるため説明を省略する。
【0036】
補正部301は、画素信号に対して、欠陥画素データに含まれる情報に基づき、撮像素子102から入力される画素信号の欠陥画素を周辺画素の画素レベルから補正する。その後補正した補正結果を出力する。
【0037】
欠陥情報選択部302は、制御部104からの制御設定に基づいて選択した欠陥画素データを、RAM105、ROM106等から読み出す。その後、欠陥情報選択部302は、読み出した欠陥画素データを補正部301に送信する。
【0038】
そして、補正部301は、アドレス算出部202より入力されたアドレスと、欠陥情報選択部302から受け取った欠陥画素データのアドレス(アドレスデータ)から欠陥画素の位置を特定し、画素信号の補正対象を抽出する。補正部301は、抽出した補正対象に対して、周辺画素を用いて補正を行う。
【0039】
以下に、図5乃至図8を参照して、実施例1を含めた以下に示す各実施例における光電変換装置に共通する構成を説明する。図5は、実施例1に係るRGBベイヤー配列された光電変換素子400の構成例を示す図である。
【0040】
以下では、光電変換素子400が、センサ基板11と、回路基板21の2枚の基板が積層され、且つ電気的に接続されることにより構成される、所謂積層構造である光電変換装置を例にとって説明する。尚、所謂積層構造である光電変換装置ではなく、センサ基板11に含まれる構成と回路基板21に含まれる構成が共通の半導体層に配された、所謂非積層構造の光電変換装置であってもよい。また、上記したように、本実施例で光電変換装置としても機能する撮像素子102には光電変換素子400が含まれる。
【0041】
センサ基板11は、画素領域12を含む(画素領域12が配される)。回路基板21は、画素領域12で検出された信号を処理する回路領域22を含む(回路領域22が配される)。
【0042】
図6は、センサ基板11の構成例を示す図である。光電変換素子400に含まれるセンサ基板11の画素領域12は、複数行及び列方向に渡って二次元状に複数配置された画素401を含む。画素401は、アバランシェフォトダイオード(以下、APD)を含む光電変換部402を備える。尚、図6に示している画素領域12を成す画素アレイの行数及び列数は一例であって、図6に示す数に限定されるものではない。
【0043】
図7は、回路基板21の構成例を示す図である。光電変換素子400に含まれる回路基板21は、信号処理回路403、垂直走査回路410、水平走査回路411、読み出し回路412、信号線413、出力回路414、制御パルス生成部415を有するように構成される。尚、光電変換素子400と信号処理回路403とは、画素毎に設けられた接続配線を介して電気的に接続される。
【0044】
信号処理回路403は、図6に示す光電変換部402で光電変換された電荷を処理する。
【0045】
垂直走査回路410は、制御パルス生成部415から供給された制御パルスを受け、各画素に制御パルスを供給する。垂直走査回路410は、複数の行を1つの単位として接続したシフトレジスタやアドレスデコーダから構成されており、複数の行を一度に読み出すことで、高速読み出しを実現している。特に、APD501に到来する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置の場合、光子の数をデジタル的に計数するカウンタ回路の動作に時間がかかる。そのため、高速読み出しのために複数の行を同時に読み出すことが好ましい。即ち、画素401からの画素信号を読み出す読み出し回路として機能する垂直走査回路410は、画素領域12の中の複数の行に含まれる画素401からの画素信号を同時に読み出している。
【0046】
制御パルス生成部415は、後述するスイッチ502のオンオフを制御する制御信号CLKを生成する信号生成部515を有する。即ち、信号生成部515は、スイッチ502の切り替えを制御するための制御信号としてのパルス信号を生成する。信号生成部515は、スイッチ502を制御するパルス信号の周期、パルス数、及びパルス幅の少なくとも1つを変更可能な構成となっている。制御パルス生成部415は、例えば分周回路を有することが好ましい。これにより、シンプルな制御が可能となり、素子数の増大を抑制することができる。
【0047】
画素の光電変換部402から出力された信号は、信号処理回路403で処理される。信号処理回路403は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。
【0048】
水平走査回路411は、デジタル信号が保持された各画素のメモリから信号を読みだすために、各列を順次選択する制御パルスを読み出し回路412を介して信号処理回路403に入力する。信号線413には、選択されている列について、垂直走査回路410により選択された画素の信号処理回路403から信号が出力される。信号線413に出力された信号は、出力回路414を介して、光電変換装置の外部に出力する。
【0049】
図6及び図7に示すように、平面視で画素領域12に重なる領域に、複数の信号処理回路403が配される。尚、平面視とは、光電変換素子400が配される半導体層の光入射面に対して垂直な方向から視ることを指す。尚、微視的に見て半導体層の光入射面が粗面である場合は、巨視的に見たときの半導体層の光入射面を基準として平面視を定義する。
【0050】
そして、平面視で、センサ基板11の端と画素領域12の端との間に重なるように、垂直走査回路410、水平走査回路411、読み出し回路412、出力回路414、制御パルス生成部415が配される。言い換えると、センサ基板11は、画素領域12と画素領域12の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路410、水平走査回路411、読み出し回路412、出力回路414、制御パルス生成部415が配される。
【0051】
尚、信号線413の配置、読み出し回路412及び出力回路414の配置は、図7に示す配置形式(配置位置)に限定されない。例えば、信号線413が行方向に延びて配されており、読み出し回路412を信号線413が延びる先に配してもよい。また、信号処理部の機能は、必ずしもすべての光電変換部に1つずつ設けられる必要はなく、複数の光電変換部によって1つの信号処理部が共有され、順次信号処理を行う構成となっていてもよい。
【0052】
図8は、図6及び図7のうち、画素401及び画素401に対応した信号処理回路403の等価回路を例示した図である。
【0053】
APD501は、光電変換により入射光に応じた電荷対を生成する。APD501の2つのノードのうちの一方のノードは、駆動電圧VL(第1電圧)が供給される電源線と接続されている。また、APD501の2つのノードのうちの他方のノードは、電圧VLよりも高い駆動電圧VH(第2電圧)が供給される電源線と接続されている。図8では、APD501の一方のノードはアノードであり、APD501の他方のノードはカソードである。APD501のアノードとカソードには、APD501がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。
【0054】
尚、逆バイアスの電圧が供給される場合において、アノード及びカソードの電圧差が降伏電圧より大きいな電圧差で動作させるガイガーモードと、アノード及びカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるAPDをSPADと呼ぶ。SPADの場合、例えば、電圧VL(第1電圧)は、-30Vであり、電圧VH(第2電圧)は、1Vである。
【0055】
スイッチ502は、駆動電圧VHが供給される(印加される)電源線とAPD501のアノード及びカソードのうちの一方のノードに接続される。そして、スイッチ502は、APD501と駆動電圧VHが供給される電源線との間の抵抗値を切り替えている。即ち、スイッチ502は、APD501のアノード及びカソードのうちの一方のノードと駆動電圧VHが供給される(印加される)電源線との間の抵抗値を切り替える。ここで、抵抗値を切り替えるとは、抵抗値を10倍以上変えることが好ましく、抵抗値を100倍以上変えることがより好ましい。以下では当該抵抗値が低くなることをスイッチ502のオンともいい、当該抵抗値が高くなることをスイッチ502のオフともいう。スイッチ502は、クエンチ素子として機能する。
【0056】
スイッチ502は、アバランシェ増倍による信号増倍時に負荷回路(クエンチ回路)として機能し、APD501に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ(クエンチ動作)。また、スイッチ502は、クエンチ動作で電圧降下した分の電流を流すことにより、APD501に供給する電圧を駆動電圧VHへと戻す働きを持つ(リチャージ動作)。
【0057】
スイッチ502は、MOSトランジスタにより構成することができる。図8に示す例では、スイッチ502が、PMOSトランジスタである場合を示している。信号生成部515から供給されるスイッチ502の制御信号CLKは、スイッチ502を構成するMOSトランジスタのゲート電極に印加されている。本実施例では、スイッチ502のゲート電極への印加電圧を制御することにより、スイッチ502のオンとオフとを制御している。
【0058】
信号処理回路403は、波形整形部510、カウンタ回路511、選択回路512を有するように構成される。尚、図8に示す例では、信号処理回路403は、波形整形部510、カウンタ回路511、及び選択回路512を有する場合を示した。しかし、信号処理回路403は、波形整形部510、カウンタ回路511、選択回路512の少なくともいずれか1つを有していればよい。
【0059】
波形整形部510は、光子検出時に得られるAPD501のカソードの電圧変化を整形して、パルス信号を出力する。波形整形部510の入力側のノードをnodeA、出力側のノードをnodeBとする。波形整形部510は、ノードnodeAへの入力電圧が所定の値以上か、所定の値よりも低いかに応じて、ノードnodeBからの出力電圧を変化させている。例えば、図9に示す例において、ノードnodeAへの入力電圧が判定閾値以上の電圧になると、ノードnodeBからの出力電圧がローレベルとなる。そして、ノードnodeAへの入力電圧が判定閾値よりも低い電圧になると、ノードnodeBからの出力電圧がハイレベルとなる。波形整形部510としては、例えば、インバータ回路が用いられる。図8に示す例では、波形整形部510としてインバータを1つ用いた例を示したが、複数のインバータを直列接続した回路を用いてもよいし、波形整形効果があるその他の回路を用いてもよい。
【0060】
カウンタ回路511は、波形整形部510から出力されたパルス信号をカウントし、カウント値を保持する。また、駆動線513を介して制御パルスRESが供給されたとき、カウンタ回路511に保持された信号がリセットされる。
【0061】
選択回路512には、図7に示す垂直走査回路410から、図8に示す駆動線514(図7では不図示)を介して制御パルスSELが供給され、カウンタ回路511と信号線413との電気的な接続と及び非接続とを切り替える。選択回路512には、例えば、信号を出力するためのバッファ回路などを含みうる。図8に示す出力信号OUTは画素からの出力信号である。尚、スイッチ502とAPD501との間や、光電変換部402と信号処理回路403との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えてもよい。同様に、光電変換部402に供給される電圧VHまたは電圧VLの供給をトランジスタ等のスイッチを用いて電気的に切り替えてもよい。
【0062】
APD501でのアバランシェ増倍に応じてスイッチ502を用いたクエンチ動作とリチャージ動作とを行うことが可能であるが、光子の検出タイミングによっては出力信号として判定されない場合がある。例えば、APD501でアバランシェ増倍が生じてノードnodeAへの入力電圧がローレベルとなり、リチャージ動作が行われているときを想定する。
【0063】
一般的に、波形整形部510の判定閾値はAPD501でアバランシェ増倍が生じる電圧差よりも高い電圧に設定される。リチャージ動作によりノードnodeAの電圧が判定閾値よりも低い状態で且つAPD501でのアバランシェ増倍可能な電圧のときに光子が入射すると、APD501でアバランシェ増倍が生じてnodeAの電圧が下がる。つまり、判定閾値よりも低い電圧でnodeAの電圧が下がるため、光子を検出しているにも関わらず、ノードnodeBからの出力電圧が変化しない。従って、アバランシェ増倍が生じているにも関わらず、信号として判定されなくなる。特に、高照度下においては、光子が短い期間で連続して入るため、信号として判定されにくくなる。これにより、高照度であるにも関わらず、実際の光子の入射数と出力された信号とが乖離しやすい。
【0064】
これに対して、スイッチ502に制御信号CLKを印加してスイッチ502のオンとオフとを切り替えることにより、短時間に光子が連続してAPD501へと入る場合にも信号として判定することが可能となる。図9では、制御信号CLKは繰り返し周期のパルス信号である例を説明する。
【0065】
図9は、スイッチの制御信号CLK、ノードnodeAの電圧、ノードnodeBの電圧、出力信号の関係を模式的に示した図である。尚、図9に示すtは、時刻を示している。本実施例における光電変換装置では、制御信号CLKがハイレベルの場合にAPD501へと駆動電圧VHが供給されにくい状態となり、制御信号CLKがローレベルの場合にAPD501へと駆動電圧VHが供給される状態となる。制御信号CLKがハイレベルとは、例えば、1Vであり、制御信号CLKがローレベルとは、例えば、0Vである。そして、制御信号CLKがハイレベルの場合にスイッチはオフとなり、制御信号CLKがローレベルの場合にスイッチはオンとなる。また、制御信号CLKがハイレベルの場合におけるスイッチの抵抗値は、制御信号CLKがローレベルの場合におけるスイッチの抵抗値よりも高くなる。
【0066】
制御信号CLKがハイレベルの場合は、APD501でアバランシェ増倍が生じてもリチャージ動作が行われにくいため、APD501へと供給される電圧がAPD501の降伏電圧以下の電圧となる。従って、APD501でのアバランシェ増倍動作が停止する。
【0067】
時刻t1において、制御信号CLKはハイレベルからローレベルへと変化して、スイッチがオンとなり、APD501のリチャージ動作が開始される。これにより、APD501のカソードの電圧がハイレベルへと遷移する。そして、APD501のアノードとカソードへと印加される電圧の電圧差がアバランシェ増倍可能な状態となる。カソードの電圧はノードnodeAと同じである。従って、カソードの電圧がローレベルからハイレベルへと遷移するときに、時刻t2でノードnodeAの電圧は判定閾値以上となる。このとき、ノードnodeBから出力されるパルス信号は反転して、ハイレベルからローレベルとなる。リチャージが完了すると、APD501には、駆動電圧VH-駆動電圧VLの電圧差が印加される状態となる。その後、制御信号CLKがハイレベルとなり、スイッチはオフとなる。
【0068】
次に、時刻t3において、光子がAPD501に入射すると、APD501でアバランシェ増倍が生じ、スイッチ502にアバランシェ増倍電流が流れ、カソードの電圧は降下する。つまり、ノードnodeAの電圧は降下する。ノードnodeAの電圧が降下する途中でnodeAの電圧が判定閾値よりも低くなると、ノードnodeBの電圧はローレベルからハイレベルとなる。つまり、ノードnodeAにおいて出力波形が判定閾値を越えた部分は、波形整形部510で波形整形され、nodeBで信号として出力される。そして、カウンタ回路511でカウントされ、カウンタ回路511から出力されるカウンタ信号のカウント値が1LSB分増加する。
【0069】
尚、図9に示すように時刻t3と時刻t4の間にAPD501に光子が入射しているが、この時点ではスイッチがオフの状態であり、APD501への印加電圧がアバランシェ増倍可能な電圧差となっていない。そのため、この状態においてはノードnodeAの電圧レベルは判定閾値を超えない。
【0070】
時刻t4において、制御信号CLKがハイレベルからローレベルに変わり、スイッチがオンとなる。これに伴い、ノードnodeAには駆動電圧VLから電圧降下分を補う電流が流れ、ノードnodeAの電圧は元の電圧レベルへと遷移する。このとき、時刻t5でノードnodeAの電圧が判定閾値以上となるため、ノードnodeBのパルス信号は反転し、ハイレベルからローレベルになる。
【0071】
時刻t6において、ノードnodeAは、元の電圧レベルに静定し、制御信号CLKはローレベルからハイレベルになる。以降においても、時刻t1から時刻t6で説明したように制御信号CLKや光子の入射に応じて各ノードや信号線などの電圧が変化する。
【0072】
このように、スイッチ502に制御信号CLKを印可してスイッチ502のオンとオフを切り替えることにより、APD501のリチャージ頻度を制御することができる。以下で説明するように、スイッチへの制御信号CLKのタイミングを制御することで、暗い環境下(低照度撮影時)において画質を向上させている。
【0073】
まず、図10を用いて、画素間のクロストークに関して説明する。図10は、実施例1に係る画素間のクロストークを説明する図である。図10(A)では、画素領域における5×5の画素の出力分布を示す図である。図10(B)は、図10(A)のX軸における相対出力値の例を示す図である。画素401aは、欠陥画素(キズ画素)を示している。画素(隣接画素)401bと画素401cは、画素401aの周囲に配された画素である。具体的には、画素401bは、画素401aと画素401cに隣接している画素である。画素401cは、画素401bに隣接している画素である。
【0074】
図10(A)と図10(B)に示すように、画素領域内に欠陥画素があると、入射光の照度によらず画素401aの周囲に配された画素401b、画素401cの出力レベルが上がる。これは、画素401aにおけるアバランシェ発光に起因して、隣り合う画素でも電荷が発生し、当該電荷により隣り合う画素でアバランシェ増倍が生じているためと考えられる。つまり、画素401aの欠損によりアバランシェ発光が生じやすくなり、これにより、クラスター状の欠陥が発生し、画素401aの周囲の画素の相対出力が高くなり、画質が低下してしまう。クラスター状の欠陥は、単独の欠陥に比べて画像の中で目立ち、画質の著しい低下につながる。
【0075】
以下に、図11図12、及び図13を参照しながら比較形態として、スイッチ502への制御信号CLKのタイミングを常に一定にした従来の光電変換装置について説明する。その後、図14図15、及び図16を参照しながら、制御信号CLKのタイミングの制御を行っている本実施例における光電変換装置について説明する。
【0076】
図11は、従来の光電変換装置の高照度条件と低照度条件での撮影モードにおける光電変換素子400のタイミングチャートを示す図である。図11(A)は、従来の光電変換装置の高照度撮影時(明るい環境下)における1frame(1フレーム)期間における制御信号や画素401aにおけるアバランシェ発光などのタイミングチャートを示す図である。図11(B)は、従来の光電変換装置の低照度撮影時(暗い環境下)における1frame期間における制御信号や画素401aにおけるアバランシェ発光などのタイミングチャートを示す図である。
【0077】
従来の光電変換装置では、高照度撮影時及び低照度撮影時のいずれの場合においても、一定の制御信号CLKがスイッチに供給されている。
【0078】
1frame期間とは、例えば、パルス信号VDの立ち上がりから次のパルス信号VDの立ち上がりまでの期間を指す。尚、本実施例における1frame期間とは、例えば、垂直走査回路410により画素領域に配された1行目の画素から最終行目の画素までを走査する期間である。つまり、垂直同期信号であるパルス信号VDが1度ハイレベルとなった後に、次にハイレベルとなるまでの期間が1frame期間となる。ここで、1frame期間において1行目の画素から最終行目の画素まですべての行の画素を走査する必要はない。例えば、すべての行のうちの一部の行を間引いて走査する場合は、ある行から一方向に走査して最後の行を走査し終わるまでの期間を1frame期間とする。また、ある行を間引いて走査した後に、間引いた行を走査する場合は、間引いた行を走査し終わるまでが1frame期間としてもよい。
【0079】
各frame期間の間において、信号処理回路403のカウンタ回路511のカウント値をリセットすることが好ましい。カウント値のリセットのタイミングは、全画素共通に行ってもよいし、画素行ごとに順次行ってもよい。
【0080】
本実施例において、露光期間とは、APD501に光が入射可能な状態で、且つ、APD501及び信号処理回路403が信号を読み出し可能な状態の期間を指す。また、非露光期間とは、画素領域12におけるAPD501が遮光され光が入射しない状態の期間を指す。
【0081】
ここで、光が入射可能な状態とは、機械的ないし電気的なシャッター等により遮光されていない状態を指す。また、APD501及び信号処理回路403が信号を読み出し可能な状態の期間とは、意図的にAPD501や信号処理回路403をオフしていない期間を指す。尚、本実施例及び以下の各実施例において、APD501でのクエンチ動作の期間はこれに該当せず、クエンチ動作期間は、信号を読み出し可能な期間とする。尚、露光期間、非露光期間は、シャッターの開閉に限定されず、APD501に印加されるバイアスを調整して光子信号取得の可否を変えることで定義してもよい。
【0082】
制御信号CLKは、図8図9で説明したスイッチ502のオンオフを制御する信号である。
【0083】
図11(A)及び図11(B)に示すDark eventsは、図10の欠陥画素である画素401aでのアバランシェ発光による光子の発生タイミングを示す図である。Dark eventsにおいて、立ち上がりのタイミングが光子の発生タイミングである。尚、Dark eventsにて示している実線も破線も光子の発生タイミングであるが、実線は、信号としてカウントさる光子の発生タイミングであり、破線は、信号としてカウントされない光子の発生タイミングである。これは前述の通り、ノードnodeAの電圧が判定閾値以上となる前にノードnodeAの電圧が下がり、信号として判定されないためである。尚、図11には、APD501に被写体からの光が入射したことによって発生するアバランシェ発光は示しておらず、画素401aのトラップ準位などによって発生する、Dark events起因のアバランシェ発光のみを図示している。
【0084】
Dark countsは、画素401aに含まれるカウンタ回路511のカウント動作を示している。制御信号CLKの電圧がローレベルであるときにAPD501のリチャージ動作が行われる。従って、リチャージ動作が行われたあとに、光子がAPD501で電荷がアバランシェ増倍されると信号として判定され、カウンタ回路511のカウント数が1つ増える。
【0085】
図11(A)、図11(B)に示すCrosstalk eventsは、画素401aの周辺画素におけるクロストークが生じるタイミングを示す図である。クロストークが生じるタイミングはランダムであるため、図11(A)及び図11(B)では、一例を示している。
【0086】
図12は、従来の光電変換装置の高照度条件と低照度条件での撮影モードにおける光電変換素子400の出力カウント数の図である。図12(A)は、図11(A)に示した従来の光電変換装置の高照度条件での撮影モードでの1画素あたりの入射光子数と出力カウント数との関係を示している。また、図12(B)は、図11(B)に示した従来の光電変換装置の低照度条件での撮影モードでのおける1画素あたりの入射光子数と出力カウント数との関係を示している。
【0087】
図12(A)に示すように、高照度撮影時においては、信号レベルに対して欠陥の出力レベル(キズ出力レベル)は低くなる。一方で、図12(B)に示すように、低照度撮影時においては、信号レベルに対して欠陥の出力レベルが高くなる場合がある。
【0088】
図13は、実施例1に係る光電変換装置の高照度条件と低照度条件での撮影モードにおける光電変換素子400の画素間クロストークの影響の図である。図13(A)は、高照度撮影時における画素401a及びその周囲の5×5の画素の出力分布を示す図である。図13(B)は、図13(A)のX軸における相対出力値の一例を示す図である。図13(C)は、低照度撮影時における画素401a及びその周囲の5×5の画素の出力分布を示す図であり、図13(D)は、図13(C)のX軸における相対出力値の一例を示す図である。
【0089】
図13(B)及び図13(D)には、各撮影時における信号レベルを示している。高照度撮影時には、信号レベルの相対出力値が画素401aの相対出力値よりも高くなるため、欠陥等に基づく画素401aの異常な出力については目立ちにくい。一方で、低照度撮影時には、信号レベルの相対出力値が画素401aの相対出力値よりも低くなるため、画素401aの異常な出力が目立つことになる。従って、低照度撮影時においては、クロストークに起因して生じる信号による、画質の低下が発生しやすい。
【0090】
図14は、実施例1に係る高照度条件と低照度条件での撮影モードにおける光電変換素子400のタイミングチャートの図である。図14(A)は、実施例1の光電変換装置の高照度撮影時における1frame期間における制御信号や画素401aにおけるアバランシェ発光などのタイミングチャートを示す図である。図14(B)は、実施例1の光電変換装置の低照度撮影時における1frame期間における制御信号や画素401aにおけるアバランシェ発光などのタイミングチャートを示す図である。
【0091】
図14(B)に示すように実施例1では低照度撮影時において、1frame期間の制御信号CLKのパルス信号数は、高照度撮影時における1frame期間の制御信号CLKのパルス信号数よりも少なくしている。このように、実施例1においては、制御部104は、信号生成部515を制御し、信号生成部515が生成するパルス信号のパルス数を1フレーム分の信号を取得する期間で高照度撮影時と低照度撮影時とで異なるようする。即ち、光電変換素子400が取得した信号における照度に応じてパルス信号のパルス数を1フレーム分の信号を取得する期間で変更する。このような構成とすることで低照度撮影時において、欠陥画素である画素401aの異常な出力を検出しにくくなり、従来の光電変換装置に比べて、画質の低下を抑制することができる。
【0092】
例えば、被写体等の存在する環境の照度が低いほど、1frame期間の制御信号CLKのパルス信号数が小さいほうが好ましい。パルス信号数(パルス信号のパルス数)が照度の高い環境と同等の場合、被写体等の存在する環境の照度が小さいほど、クロストークに起因する画質の低下が発生しやすいためである。当該環境の照度に応じた、制御信号CLKのパルス信号数の変更の詳細については後述する。
【0093】
図15は、実施例1に係る高照度条件と低照度条件での撮影モードにおける光電変換素子の出力カウント数の図である。図15(A)は、図14(A)に示した実施例1の光電変換装置の高照度撮影時における高照度撮影時における1画素あたりの入射光子数と出力カウント数との関係を示している。また、図15(B)は、図14(B)に示した実施例1の光電変換装置の低照度撮影時における1画素あたりの入射光子数と出力カウント数との関係を示している。
【0094】
図15(B)に示すように、本実施例の光電変換装置を含む撮像装置1においては、制御部104は、欠陥の出力レベルを信号レベルよりも低くするように制御を行う。従って、画素401aからのクロストークに起因する信号の読み出しを低減することができ、従来の光電変換装置に比べて低照度撮影時における画質の低下を抑制することが可能となる。
【0095】
図16は、実施例1に係る高照度条件と低照度条件での撮影モードにおける光電変換素子400の画素間クロストークの影響の図である。図16(A)は、高照度撮影における画素401a及びその周囲の5×5の画素の出力分布を示す図である。図16(B)は、図16(A)のX軸における相対出力値の一例を示す図である。図16(C)は、低照度撮影時における画素401a及びその周囲の5×5の画素の出力分布を示す図である。図16(D)は、図16(C)のX軸における相対出力値の一例を示す図である。
【0096】
図16(B)及び図16(D)には各撮影時における信号レベルを示している。図16(C)、図16(D)に示しているように、本実施例の光電変換装置を含む撮像装置1によれば、低照度撮影時において、欠陥画素である画素401aの相対出力値を従来の光電変換装置よりも低くすることができる。従って、低照度撮影時においては、クロストークに起因して生じるクラスター状の欠陥の発生を低減することができ、低照度撮影時における画質の低下を抑制することができる。
【0097】
以下、実施例1においては、1frame期間(1フレーム分の信号を取得する露光期間)の制御信号CLKのパルス信号数に応じて、欠陥画素の検出の閾値を変更し、制御信号CLKのパルス信号数に対応した欠陥画素データを作成する。そして、作成したその欠陥画素データの情報に基づいて、撮像素子102が取得した信号を補正する方法の例を以下に示す。
【0098】
以下、図17図18を用いて、制御信号CLKのパルス信号数とクラスター状の欠陥の画素レベルの関係を説明する。図17は、実施例1に係る制御信号CLKのパルス信号数とクラスター状の欠陥の画素レベルの関係を示す図である。図17(A)は、パルス信号数N1でのクラスター欠陥の画素レベルの一例を示す図である。図17(B)は、パルス信号数N2でのクラスター欠陥の画素レベルを示している。ただし、パルス信号数N1は、パルス信号数N2より大きい条件とする。そして、パルス信号数N1とパルス信号数N2で、画像の画素出力の平均値が同等になるようゲインをかけた場合を想定する。そのため、クラスター欠陥中心部の中心に配される画素401aの画素レベルがパルス信号数N1とパルス信号数N2は同等になっている。
【0099】
図18は、制御信号CLKのパルス信号数とクラスター状の欠陥の中心画素である画素401aに対する隣接画素401bのレベルの関係を示す図である。クラスター状の欠陥の中心画素である画素401aに対する隣接画素401bのレベルの関係は、クラスター状の欠陥の隣接画素401bのレベルを画素401aの割合で割ったものである。
【0100】
図17(A)と図17(B)に示すように、パルス信号数N1、パルス信号数N2でのクラスター状の欠陥の隣接画素401bのレベルをそれぞれL1、L2とすると、L1に比べL2の方が小さくなる。これは、パルス信号数が少ない方がクラスター状の欠陥の隣接画素401bでレベルが小さくなることを示す。そして、パルス信号数の設定と同時にクラスター状の欠陥を検出するため、閾値の変更が必要になる。
【0101】
また、図18に示すように、クラスター欠陥における中心画素である画素401aに対する隣接画素401bのレベルは、パルス信号数を減らしていくと、次第に小さくなり、パルス信号数が少ないときに下がり幅が特に大きくなる。一方で制御信号CLKのパルス信号数を変えずにゲインのみ大きくした場合は、欠陥画素の値はゲインに伴って大きくなるため、本実施例においてはその場合、欠陥画素の検出の閾値を大きくする。
【0102】
図19は、本実施例における欠陥画素のデータの一例を示した図である。図19(A)は、画像における欠陥画素のイメージの図である。図19(B)は、図19(A)に示した欠陥画素データの例を示す図である。
【0103】
図19(A)は、画像における欠損画素のイメージであるが、図中にて黒線で囲っている画素が欠損画素の例である。そして図中における(X1、Y1)、(X2、Y2)、(X3、Y3)、(X4、Y4)(X5、Y5)、(X6、Y6)、(X7、Y7)、(X8、Y8)は、当該欠陥画素における各々のアドレスを示している。
【0104】
欠陥画素データは、欠陥画素のレベルである欠陥量、欠陥画素の画像内でのアドレス、欠陥画素種類、そして、制御設定の4つの要素で構成される。欠陥量は、画素のレベルでもよいし、周囲画素のメディアン値もしくは平均値と、着目画素のレベル差でもよい。
【0105】
欠陥画素の画像内でのアドレスは、画像における欠陥画素の位置を示す座標情報(位置情報)であり、水平アドレスと垂直アドレスの2次元アドレスを用いてもよいし、画像の左上から数えた画素数の相対値である1次元アドレスを用いてもよい。
【0106】
欠陥画素種類は、欠陥画素の種類であり、どのような特性を持った欠陥であるかといった情報を記憶する。例えば、周囲画素に広がるクラスター状の欠損や単独で存在する欠損等である。本実施例では補正の対象となるクラスター欠損は、光が入射していない条件で確認が行えるため、機械的ないし電気的なシャッター等により遮光した状態での画素レベルを取得するのが望ましいが、一様な輝度を持つような光源を使い画素レベルを取得してもよい。制御設定は、露光条件や制御信号CLKのパルス信号数、ゲインの大きさ等を示しており、制御部104にて設定される。
【0107】
図19(B)は、図19(A)に示す画像内の欠陥画素についての欠陥画素データの一例を示す図である。図19(B)では、欠陥量、アドレス、欠陥種類、パルス数等の制御設定のデータが記載されている。例えば、画素の位置情報(座標情報)であるアドレス(X1、Y1)の欠陥量はZ1であり、欠陥の種類は、クラスター状の欠陥K1、その際の制御信号CLKのパルス信号数N1、ゲインの大きさ等の制御設定M1(図19では不図示)が格納される。
【0108】
ただし、欠陥の種類は上記したものに限定しない。例えば、クラスター状の欠陥であるが、隣接画素の欠陥量が小さく、欠陥画素検出部108にて正確に検出できない場合もある。その場合、単独欠陥として検出して、単独欠陥として欠陥画素補正部109にて処理が実行される。また、欠陥画素データは、所定の形式でRAM105、ROM106に記憶される。即ち、RAM105、ROM106は、予め取得された補正対象となる画素(欠陥画素)の位置情報を保持する保持部として機能する。尚、欠陥画素データは、検出のたびに更新してもよいし、追加してもよい。また、センサの仕様であらかじめ欠陥画素がわかっている場合、それに追加してもよい。
【0109】
以下、図20を用いて、制御部104により設定された制御信号CLKのパルス信号数及びゲインに応じて、欠陥画素検出部108で補正対象となる画素である欠陥画素を検出する流れを説明する。図20は、実施例1に係る制御信号CLKのパルス信号数に応じた欠陥画素の検出の流れを示すフローチャートである。尚、以下では、本処理の開始前に図3に示した複数の制御設定と閾値等の情報である欠陥画素閾値データを有するテーブルを予め持っていると仮定する。
【0110】
上記で説明したように、低照度撮影時において、1frame期間の制御信号CLKのパルス信号数を減らすことで、欠陥画素の出力レベルを信号レベルよりも低くすることができる。そして、低照度で撮影をするため、当然、撮像素子102からの出力は小さくなる。尚、撮像装置として使用する場合や高照度で撮影する場合も低照度で撮影する場合も、モニタ等での出力の平均値は常に一定であることが望ましい。
【0111】
そのため、低照度撮影時では信号処理部103においてゲインを掛け、モニタ等での出力の平均値を概ね一定に保つことが望ましい。本実施例においては、低照度撮影時にてゲインを掛ける際に制御信号CLKのパルス信号数も同時またはゲインを掛ける処理に連動して変更する。尚、信号処理部103は、被写体の照度に応じてゲインを掛ける値を変更する。
【0112】
例えば、被写体照度が1/4倍になった(高照度から低照度になった)場合、明るさを保つために信号処理部103はゲインを4倍掛ける。そして、同時または連動して1frame期間の制御信号CLKのパルス信号数を1/4倍する。即ち、制御部104は、信号生成部515を制御し、信号生成部515が生成する1frame期間のパルス数を1/4倍する。例えば、制御部104は、高照度撮影時では、1frame期間の制御信号CLKのパルス信号数が2048だった場合、制御信号CLKのパルス信号数を1frame期間で512に下げるように制御する。
【0113】
このように、本実施例においては、少なくとも光電変換素子400が取得した信号に基づく照度に応じて、信号処理部103がゲインを掛けた際、それを同時または連動して、信号生成部515は、1frame期間に生成するパルス信号数を変更する。即ち、高照度撮影時から低照度撮影時となった場合に、1frame期間に生成するパルス信号数を高照度撮影時よりも少ない数となるように変更する。
【0114】
本実施例の撮像装置1は、上記したパルス信号数に応じたモードを有するように構成される。即ち、高照度撮影時で、1frame期間に生成するパルス信号数を変更してないモードである第1のモードと、低照度撮影時で、1frame期間に生成するパルス信号数を第1のモードより少なくなるように変更したモードである第2のモードを有する。第1のモードと第2のモードは上記したように少なくとも光電変換素子400が取得した信号に基づく照度に応じて切り替わるように制御部104によって制御される。また、上記したようにゲインを掛けた際にも、1frame期間に生成するパルス信号数を変更するため、モード切り替えを行うことができる。尚、第1のモードと第2のモードのモード切り替えの際には、信号生成部515は、切り替え部として機能する。尚、制御部104は信号生成部515を制御するため制御部104が切り替え部として機能してもよい。
【0115】
尚、制御部104は、1frame期間のパルス信号数を変更する際、設定可能なパルス信号数の中から、少なくとも光電変換素子400が取得した信号に基づく照度に応じて、パルス信号数を選択してもよい。そして、制御部104は、選択したパルス信号数となるようにパルス信号数を変更するように制御する。また、上記したように実施例1においては、1frame期間の制御信号CLKのパルス信号数に応じて、欠陥画素の検出における閾値を変更する。即ち、閾値選択部203は、1frame期間の制御信号CLKのパルス信号数に応じた閾値を図3に示したような欠陥画素閾値データを有するテーブルから選択し、閾値の設定をする。
【0116】
本実施例においては、制御信号CLKのパルス信号数を減らした際に、同時または連動してゲインが自動で上がることが望ましいが、手動でゲインを設定して上げるようにしてもよい。尚、上記したように、制御信号CLKのパルス信号数を変えずにゲインのみ大きくするような場合は、欠陥画素の値はゲインに伴って大きくなるため、欠陥画素の検出の閾値は大きくする必要がある。従って、1frame期間の、制御信号CLKのパルス信号数を変えない、即ち、同一のモードでゲインを掛ける場合は、欠陥画素の検出の閾値は大きくする。例えば、閾値選択部203は、同一のモードでゲインを掛けるタイミングと同時または連動して現在のモードより大きな値の閾値を欠陥画素閾値データから選択し、閾値の設定をする。
【0117】
以下、図20を参照して、欠陥画素検出部108で欠陥画素を検出する流れを説明する。以下に示す各処理は、撮像装置1の制御部104がROM106やRAM105に記憶されたプログラムを実行することによって実現される。また、各工程(ステップ)について先頭にSを付けて表記することで、工程(ステップ)の表記を省略する。
【0118】
まず、S11にて、制御部104は、1frame期間の制御信号CLKのパルス信号数を設定する。例えば、設定可能な制御信号CLKのパルス信号数N1に設定する。この際に、制御部104によって制御信号CLKのパルス信号数に合わせてゲインが変更になる。尚、この際にゲインは掛からなくてもよい。
【0119】
次に、S12にて、欠陥画素検出部108の閾値選択部203は、S11で設定した制御信号CLKのパルス信号数の設定に対して、欠陥画素の検出する際の閾値を選択する。尚、閾値の選択に際し、欠陥画素閾値データにある複数の閾値の中から制御信号CLKのパルス信号数N1に対応した閾値を選択する。尚、欠陥画素閾値データにある複数の閾値は、制御信号CLKのパルス信号に応じて閾値の値が異なっている。具体的には、1frame期間に生成する制御信号CLKのパルス信号が少ない程、閾値の値は小さい値に設定されている。このように信号処理部103が補正を行う信号か否かを判定するための閾値は、第1のモードと1frame分の信号を取得する露光期間におけるパルス信号のパルス数が第1のモードより少ない第2のモードとで異なる。
【0120】
この制御信号CLKのパルス信号の減少に応じて閾値を小さくすることの関係は、図18で示した通りである。一方で、1frame期間の制御信号CLKのパルス信号数を減らした際に、欠陥画素のレベルが低下し閾値を下回れば、補正が必要ないと判断される。即ち、欠陥画像ではないと判断され、画素の補正されなくなる。
【0121】
次に、S13にて、欠陥画素検出部108は、S12で選択した閾値に基づき、欠陥画素の検出を行う。欠陥画素の検出を行う際、特定の条件下で撮影し、条件から予測される画素レベルと撮像素子102からの出力の差分から欠陥量を算出する。より具体的には、撮像装置1に光が入らない条件で映像信号を取得した場合、撮像素子102からの画素レベルの出力はゼロなると考えられる。一方、欠陥画素は画素レベルが大きくなる。この画素レベルとS12で選択した閾値を比較し、欠陥画素を検出する。
【0122】
次に、S14にて、欠陥画素検出部108は、S13にて検出した欠陥画素の欠陥量、欠陥の位置、欠陥の種類とその時の制御信号CLKのパルス信号の設定やゲインの設定等の制御設定をRAM105、ROM106に画素欠陥データとして記憶する。
【0123】
以上の図20にて説明した流れを、制御信号CLKの設定可能なすべてのパルス数で行い、欠陥画素を検出することが望ましい。ただし、後述する複数のパルス数で欠陥画素の検出を行い、その結果から他のパルス数での欠陥画素データの値を予測する方法でもよい。
【0124】
欠陥情報の生成は起動する度に毎回行ってもよいし、撮像装置1の製造工程調整時に1回だけ行ってもよい。もしくは、撮影途中にユーザーの操作で実行してもよい。調整時に行う場合は、RAM105に生成されたデータをROM106に格納することで、次回以降は起動時にROM106のデータをRAM105に展開するだけで、生成した欠陥情報を欠陥画素補正部109に用いることができる。
【0125】
以下、図21を参照して、1frame期間における制御信号CLKのパルス信号数に応じた欠陥画素の補正の流れを説明する。図21は、実施例1に係る制御信号CLKのパルス信号数に応じた欠陥画素の補正の流れの図である。図21における処理の際、図4にて説明した欠陥画素補正部109を用いて光電変換素子400が補正対象となる画素の位置情報に基づいて取得した信号に対して補正処理を実行する。
【0126】
まず、撮像装置1にて撮影を開始するとS21にて、制御部104は、1frame期間の制御信号CLKのパルス設定の情報を取得する。上記したように本実施例における1frame期間の制御信号CLKのパルス信号数は、各駆動モード(第1のモード、第2のモード)に基づいて決定される。1frame期間の制御信号CLKのパルス信号数は、外部I/F等で受け付ける外部からの指示に基づき手動で設定してもよい。また、撮像素子102の出力に基づいて、信号処理部103で解析された情報に基づいて制御部104が自動で設定するようにしてもよい。以下の説明では、例えば、1frame期間の制御信号CLKのパルス信号数(クロック数)がN1であるとする。
【0127】
次に、S22にて、欠陥画素補正部109の欠陥情報選択部302は、S14にて検出及び保持した欠陥画素のデータから、設定されたクロック数N1の欠陥画素データを選択し、補正部301に入力する。
【0128】
次に、S23にて、欠陥画素補正部109の補正部301は、入力された欠陥画素の補正を実行する。即ち、欠陥画素補正部109は、欠陥画素の位置情報に基づいて、光電変換素子400が取得した信号に対して補正を行う。
【0129】
欠陥情報選択部302により入力された欠陥画素の補正を行う際、アドレス算出部202より入力されたアドレスと上記したように欠陥画素データに含まれるアドレスデータに基づいて、補正対象とする欠陥画素の位置を特定し、当該画素を抽出する。補正部301は、抽出した補正対象の画素に対して、補正対象の画素の周辺に配された画素を用いて補正を行う。例えば、補正対象とする画素の周辺5×5の画素のレベルのメディアンを算出し、その結果で対象画素を置き換えることが考えられる。メディアンを行う範囲はこの限りではないし、メディアンではなく、平均値等であっても構わない。
【0130】
次に、S24にて、映像信号生成部110は、S23で補正した画素信号、即ち、フレーム単位の画素信号に基づいて所定のフォーマットの映像信号を生成し各ブロックへと出力する。尚、この時の映像信号に任意の画像処理を行ってもよい。
【0131】
以上、実施例1の撮像装置によれば、低照度撮影時においては、クロストークに起因して生じるクラスター状の欠陥の発生を低減することができ、画質の低下を抑制することができる。
【0132】
<実施例2>
実施例2では、特定のパルス信号数におけるモードで取得した欠陥画素データから、全パルス信号数のモードで欠陥画素の補正をする。実施例2における方法について以下に説明する。尚、実施例2の光電変換装置を含む撮像装置1の構成や各機能部は、実施例1と同様であるため、以下では適宜説明を省略する。
【0133】
実施例1で説明したように、高照度撮影では入射光量が大きく、信号レベルも大きいため、クラスター状の欠陥は、信号のレベルに対して小さいため目立たない。一方で、低照度撮影(暗照度撮影)では入射光量が小さいため、信号レベルに対してクラスター状の欠陥が大きくなり、目立ちやすくなる。そのため、1frame期間の制御信号CLKのパルス信号数を減らすことで、クラスター状の欠陥のレベルを下げ、クラスター状の欠陥が目立たないような制御を行っている。尚、この際、第1のモードから第2のモードへと切り換える制御も行っている。
【0134】
低照度で撮影した場合、信号レベルが小さいため、高照度で撮影した画像と出力レベルをそろえるためには、ゲインを掛けるのが望ましいが、ゲインを掛けると単独の欠陥の画素も同時にレベルが上がり、欠陥が目立ちやすくなる。一方で、クラスター状の欠陥では、1frame期間の制御信号CLKのパルス信号数が少ない。そのため、図17及び図18で示したように、クラスター欠陥における中心画素である画素401aは、ゲインとともに画素のレベルが高くなるが、隣接する欠陥画素である隣接画素401bのレベルは低くなる。
【0135】
つまり、高照度環境(高照度撮影時)で、1frame期間の制御信号CLKのパルス信号数が多い設定から、低照度環境(低照度撮影時)で制御信号CLKのパルス信号数が少ない設定に変化すると、欠陥の信号レベルが変化する。即ち、第1のモードから1frame期間の制御信号CLKのパルス信号数が第1のモードより少ない第2のモードに変化させると、単独欠陥とクラスター状の欠陥の中心部における信号レベルは高くなり、クラスター状の欠陥の隣接部の信号レベルは低下する。こういった欠陥における信号レベルの変化に対応して補正対象とする画素を検出し、当該画素を補正することが必要となる。
【0136】
実施例2では、変化する欠陥のレベルを補正するために、複数の制御信号CLKのパルス信号数で欠陥画素の検出を行う。例えば、1frame期間の制御信号CLKのパルス信号数の中でパルス信号数が最も少ないN1と、1frame期間の制御信号CLKのパルス信号数が最も多いNnでの欠陥画素の検出を行い、欠陥画素データの作成を行う。検出方法については実施例1に示した方法を用いる。実施例2では、パルス信号数がN1の場合を第1のモードとし、パルス信号数Nmの場合を第2のモードとする。
【0137】
図22は、欠陥画素の検出結果である欠陥画素データを例示する図である。実施例2では、図22(A)及び図22(B)に示すように欠陥画素データを2つ持つことになる。図22(A)は、パルス信号数N1での欠陥画素データである。図22(B)は、パルス信号数Nnでの欠陥画素データである。尚、図22(A)と図22(B)に示す欠陥画素データのテーブルは、表中の上から欠陥量が多い順に並んでいる。
【0138】
補正対象となる画素は、パルス信号数N1の場合、図22(A)の欠陥画素データにおいて閾値TH1を上回る画素を欠陥画素として補正対象とする。同様に、パルス信号数Nnの場合、図22(B)の欠陥画素データにおいて閾値TH1を上回る画素を欠陥画素として補正対象とする。
【0139】
パルス信号数がN1からNnの間のパルス信号数Nm(mは、1~nまでの任意の自然数)の駆動モードでの補正対象の画素については、パルス信号数N1におけるテーブルと、パルス信号数Nnにおけるテーブルの2つから決める。実施例2では、パルス信号数N1とパルス信号数Nmとが異なる信号数であるパルス信号数Nmにおけるモードを第3のモードとする。このように実施例2では、1frame期間の制御信号CLKのパルス信号数が異なる駆動モードが3つある。尚、これらのモードは実施例1と同様に信号生成部515によって切り替えることができる。この切り替え処理の際、信号生成部515は切り替え部として機能する。尚、制御部104が切り替え部として機能してもよい。
【0140】
パルス信号数Nmにおける補正対象は、パルス信号数Nmがパルス信号数N1に近い場合は、パルス信号数N1における欠陥画素データを用いて、画素レベルが閾値TH1以上の画素を欠陥画素とする。そして、パルス信号数Nmがパルス信号数Nnに近い場合は、パルス信号数Nnにおける欠陥画素データを用いて、画素レベルが閾値TH2以上の画素を欠陥画素とする。
【0141】
または、パルス信号数N1、パルス信号数Nn、パルス信号数Nmのパルス数の差に応じて、閾値TH1_m、閾値THn_mを決める。例えば、パルス信号数N1とパルス信号数Nmの差が大きくなるにつれて、パルス信号数N1における欠陥画素データでの閾値TH1_mは徐々に大きくなるように設定する。また、例えば、パルス信号数Nnとパルス信号数Nmの差が大きくなるにつれて、パルス信号数Nnにおける欠陥画素データでの閾値THn_mが徐々に大きくなるように設定する。
【0142】
そして、パルス信号数N1、パルス信号数Nnにおける欠陥画素データを使って閾値TH1_mと閾値THn_m以上となった画素を欠陥画素として補正対象とする。例えば、パルス信号数N1における閾値TH1がZ5とZ6の間であれば、Z1~Z5が閾値を超える画素となり、(X1、Y1)、(X2、Y2)、(X3、Y3)、(X4、Y4)(X5、Y5)の画素が補正対象になる。
【0143】
パルス信号数Nnにおいても同様に、閾値THn以上の欠陥量を持つ欠陥について補正を行う。閾値THnがW5とW6の間であれば、W1~W5が閾値を超える画素となり、(X9、Y9)、(X10、Y10)、(X11、Y11)、(X12、Y12)(X13、Y13)の画素が補正対象になる。パルス信号数Nmにおいて、補正対象の閾値TH1_mがZ2とZ3の間、THn_mがW2とW3の間であれば、欠陥量Z1、Z2、W1、W2に対応する、(X1、Y1)、(X2、Y2)、(X9、Y9)、(X10、Y10)の画素が補正対象となる。
【0144】
欠陥画素の補正時は、制御部104にて設定する1frame期間の制御信号CLKのパルス信号数Nmでの欠陥画素データに基づき、実施例1と同様に周辺画素のレベルのメディアン等で補正を実行する。
【0145】
実施例2の撮像装置1では、欠陥画素データの検出を実行する制御信号CLKのパルス信号数に基づき、切り替え可能に構成されるモードは上記で説明した限りではなく、さらにモードを増やしてもよい。モード数が増えるほど、検出の精度を向上させることができる。以上、実施例2の撮像装置1では、実施例1と同様の効果に加え、補正不足や過度な補正による画像劣化を防ぐことができる。
【0146】
<実施例3>
実施例3では、クラスター状の欠陥を検出し、補正する方法を説明する。尚、実施例3の光電変換装置を含む撮像装置1の構成や各機能部は、欠陥画素算出部601を除き実施例1と同様であるため、以下では実施例1と異なる点について説明し、実施例1と同様の点については説明を省略する。
【0147】
図17図18で示した通り、1frame期間の制御信号CLKのパルス信号数が少ない方がクラスター状の欠陥の隣接画素401bのレベルが小さくなる。従って、制御信号CLKのパルス信号数を変化させた際に、クラスター欠陥における中心画素である画素401aのレベルに対して、隣接画素401bのレベルは変化することになる。これを応用することで、隣接する欠陥を検出することができる。
【0148】
例えば、実施例1で述べた、1frame期間の制御信号CLKのパルス信号数を減らして、撮像装置1を用いて撮影した場合に、ゲインを掛けるという方法を用いる。このようにすることで、クラスター欠陥における中心画素である画素401aの出力を一定に保つことが可能である。
【0149】
この際の隣接画素401bの画素レベルを比較し、1frame期間の制御信号CLKのパルス信号数の減少に伴って、画素レベルが変化している画素は、クラスター状の欠陥の隣接画素であることがわかるため、補正対象にすることができる。即ち、欠陥画素検出部108の検出部201は、補正対象の画素か否かの判定をする場合、第1のモードから第2のモードに切り換わった際に、補正対象とする画素の周囲に配される画素の画素レベルの変化に基づき判定を行うことができる。尚、モード切替に限らず、上記のようにパルス信号数の減少に伴って、またはパルス信号数が減少したタイミングであってもよい。
【0150】
また、著しく欠陥量が大きい画素の周りは隣接欠陥が発生する可能性が高いため、周囲の画素に比べて著しく欠陥量が大きい画素の周りは隣接欠陥として欠陥画素データに保存してもよい。
【0151】
クラスター状の欠陥画素を検出できると、クラスター状の欠陥の補正不足を防ぐことができる。制御信号CLKのパルス信号数で欠陥量が変化するのは、クラスター状の欠陥の中心画素である画素401aに隣接する隣接画素(画素401aの周囲に配された画素)である。そのため、隣接画素401bの欠陥画素を特定すると、1frame期間の制御信号CLKのパルス信号数を変えた際に行う欠陥検出処理は、隣接画素401bのみを対象に検出を行えばよくなり、検出の処理量を削減することができる。また、同時に欠陥画素データの情報量についても削減可能である。
【0152】
図23は、実施例3における欠陥画素検出部108の内部構成を示している図である。図23に示す欠陥画素検出部108は、図2で説明した欠陥画素検出部108の構成に欠陥画素算出部601が加わった構成である。そのため、欠陥画素算出部601以外の構成については説明を省略する。
【0153】
図17及び図18で示した通り、制御信号CLKのパルス信号数が少ない方がクラスター状の欠陥の隣接画素401bのレベルが小さくなる。そして、制御信号CLKのパルス信号数とクラスター欠陥における中心画素である画素401aに対する隣接画素401bの画素レベルの関係は図18のようになる。
【0154】
欠陥画素算出部(推定部)601は、複数の制御信号CLKのパルス信号数の駆動で取得した欠陥画素データを用いて、他のモードにおける制御設定の欠陥画素データを推定(予測)する。即ち、実施例1、2で示したクロック数の異なる複数のモードで取得した欠陥画素データを用いて、当該複数のモードとはクロック数の異なる他のモードにおける制御設定の欠陥画素データを推定する。具体的には、図18で示した制御信号CLKのパルス信号数とクラスター欠陥における中心の画素である画素401aに対して隣接画素401bの画素レベルの関係に基づき、他の制御設定の欠陥画素データを予測する。例えば、制御信号CLKのパルス信号数N1のときの画素値と制御信号CLKのパルス信号数Nnでの欠陥画素データから隣接画素401bの画素レベルを取得する。
【0155】
図18に示したように、クラスター欠陥における中心画素である画素401aに対する隣接画素401bの画素レベルは、パルス信号数を減らしていくと、次第に小さくなり、パルス信号数が少ないときに下がり幅が特に大きくなるような関数になる。具体的には、以下の式(1)で表される。
【数1】
ここで、Nはパルス信号数であり、xは中心画素の画素レベルであり、xcrossは隣接画素における画素レベルである。この関係を基に、制御信号CLKのパルス信号数N1のときの画素値と制御信号CLKのパルス信号数Nnでの画素値を代入することで、任意の制御信号CLKのパルス信号数においての隣接欠陥の大きさを算出する。
【0156】
欠陥画素算出部601が算出した隣接画素401bの隣接欠陥の大きさを含む欠陥画素データは、検出部201に入れられる。その後、検出部201は、制御信号CLKのパルス信号数の駆動での閾値データと比較を行い、欠陥画素データを作成する。検出部201は、欠陥画素データは、実施例1と同様に所定の形式でRAM105、ROM106に記憶する。そして、欠陥画素補正部109は、実施例1同様の方法で欠陥画素の補正を行う。
【0157】
以上、実施例3の撮像装置1では、複数の駆動モードの欠陥画素データを利用することで、他の制御設定の欠陥画素データを予測し、欠陥検出の処理量を削減及び欠陥画素データの情報量についても削減可能とすることができる。
【0158】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【0159】
本実施形態の開示は、以下の構成、方法、及びプログラムを含む。
【0160】
(構成1)
アバランシェフォトダイオードを有する光電変換素子と、
補正対象となる画素の位置情報に基づいて、前記光電変換素子が取得した信号に対して補正を行う信号処理部と、
1フレーム分の信号を取得する期間におけるパルス信号のパルス数を制御する制御手段と、を有し、
前記信号処理部が前記補正を行う信号か否かを判定するための閾値は、第1のモードと、前記パルス信号のパルス数が前記第1のモードより少ない第2のモードとで異なる、ことを特徴とする撮像装置。
【0161】
(構成2)
前記信号処理部は、予め設定された複数の閾値の中から前記パルス信号のパルス数に応じた閾値を選択することを特徴とする構成1に記載の撮像装置。
【0162】
(構成3)
前記信号処理部は、前記選択された閾値に基づいて、前記信号が補正対象であるか否かを判定することを特徴とする構成2に記載の撮像装置。
【0163】
(構成4)
前記信号処理部は、前記選択された閾値を超えていた画素があった場合、前記閾値を超えた画素を補正対象の画素として出力することを特徴とする構成3に記載の撮像装置。
【0164】
(構成5)
前記第1のモードと前記第2のモードを切り替える切り替え部を更に有し、
前記切り替え部は、少なくとも前記光電変換素子が取得した信号に基づく照度に応じて前記第1のモードと前記第2のモードを切替えることを特徴とする構成1乃至4のいずれか1つに記載の撮像装置。
【0165】
(構成6)
前記補正対象となる画素の位置情報を保持する保持部を更に有することを特徴とする構成1乃至5のいずれか1つに記載の撮像装置。
【0166】
(構成7)
前記信号処理部は、複数の閾値の中から前記第2のモードで閾値を選択する際、前記第1のモードにおける閾値より小さい値の閾値を選択することを特徴とする構成1乃至5のいずれか1つに記載の撮像装置。
【0167】
(構成8)
前記信号処理部は、前記信号にゲインを掛けることができることを特徴とする構成1乃至7のいずれか1つに記載の撮像装置。
【0168】
(構成9)
前記信号処理部は、同一のモードで前記信号にゲインを掛けた際に、前記閾値を大きくすることを特徴とする構成8に記載の撮像装置。
【0169】
(構成10)
前記信号処理部は、前記第1のモードで取得した前記信号と前記第2のモードで取得した前記信号において、モードによって画素レベルが変わる画素を補正対象の画素とすることを特徴とする構成1乃至9のいずれか1つに記載の撮像装置。
【0170】
(構成11)
前記信号処理部は、補正対象となる画素の周囲に配された画素の画素レベルに基づき、前記信号の補正を行うことを特徴とする構成1乃至10のいずれか1つに記載の撮像装置。
【0171】
(構成12)
1フレーム分の信号を取得する期間における前記パルス信号のパルス数が前記第1のモードと前記第2のモードと異なる第3のモードをさらに有し、
前記信号処理部は、前記第1のモードと前記第2のモードにて取得した補正対象の画素のデータに基づき、前記第3のモードで取得した前記信号を補正対象とするか否かを判定すること特徴とする構成1乃至4のいずれか1つに記載の撮像装置。
【0172】
(構成13)
前記パルス信号のパルス数に応じて、前記第1のモードと前記第2のモードと前記第3のモードとを切り替える切替え部を更に有すること特徴とする構成12に記載の撮像装置。
【0173】
(構成14)
前記第1のモードと前記第2のモードで取得した補正対象となる画素の各画素情報に基づき、前記第1のモードと前記第2のモードにおける前記パルス信号のパルス数とは異なるクロック数のモードで補正対象となる画素の各画素情報を推定する推定部を更に有することを特徴とする構成1乃至13のいずれか1つに記載の撮像装置。
【0174】
(構成15)
前記信号処理部は、前記補正対象の画素か否かの判定をする場合、前記第1のモードから前記第2のモードに切り換わった際に、前記補正対象とする画素の周囲に配される画素の画素レベルの変化に基づき判定を行うことを特徴とする構成3乃至11のいずれか1つに記載の撮像装置。
【0175】
(構成16)
前記制御手段は、前記光電変換素子が取得した信号における照度に応じて前記パルス信号のパルス数を変更することを特徴とする構成1乃至15のいずれか1項に記載の撮像装置。
【0176】
(構成17)
撮像装置の制御方法であって、
補正対象となる画素の位置情報に基づいて、アバランシェフォトダイオードを有する光電変換素子が取得した信号に対して補正を行い、
1フレーム分の信号を取得する期間におけるパルス信号のパルス数を制御し、
前記補正を行う際、補正を行う信号か否かを判定するための閾値は、第1のモードと、前記パルス信号のパルス数が前記第1のモードより少ない第2のモードとで異なる、ことを特徴とする撮像装置の制御方法。
【0177】
(構成18)
撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
補正対象となる画素の位置情報に基づいて、アバランシェフォトダイオードを有する光電変換素子が取得した信号に対して補正を行い、
1フレーム分の信号を取得する期間におけるパルス信号のパルス数を制御し、
前記補正を行う際、補正を行う信号か否かを判定するための閾値は、第1のモードと、前記パルス信号のパルス数が前記第1のモードより少ない第2のモードとで異なる、ことを特徴とするプログラム。
【0178】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0179】
1 撮像装置
101 レンズ
102 撮像素子
103 信号処理部
104 制御部
105 RAM
106 ROM
107 出力部
108 欠陥画素検出部
109 欠陥画素補正部
110 映像信号生成部
111 画像処理部

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23