特開2016-225867(P2016-225867A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特開2016-225867撮像装置、および撮像方法、並びにプログラム
<>
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000003
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000004
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000005
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000006
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000007
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000008
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000009
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000010
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000011
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000012
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000013
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000014
  • 特開2016225867-撮像装置、および撮像方法、並びにプログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-225867(P2016-225867A)
(43)【公開日】2016年12月28日
(54)【発明の名称】撮像装置、および撮像方法、並びにプログラム
(51)【国際特許分類】
   H04N 5/361 20110101AFI20161205BHJP
   H04N 5/357 20110101ALI20161205BHJP
   H04N 5/243 20060101ALI20161205BHJP
【FI】
   H04N5/335 610
   H04N5/335 570
   H04N5/243
【審査請求】未請求
【請求項の数】11
【出願形態】OL
【全頁数】20
(21)【出願番号】特願2015-111293(P2015-111293)
(22)【出願日】2015年6月1日
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】萩原 秀平
【テーマコード(参考)】
5C024
5C122
【Fターム(参考)】
5C024AX01
5C024CX31
5C024GY31
5C024GZ36
5C024HX09
5C024HX18
5C024HX21
5C024HX28
5C122DA03
5C122DA04
5C122EA23
5C122FC02
5C122FG11
5C122FH01
5C122HA86
5C122HA88
5C122HB01
5C122HB06
(57)【要約】
【課題】黒沈みしない安定した画像を撮像できるようにする。
【解決手段】有効画素とOB(Optical Black)画素とを含むイメージセンサが設けられており、OB画素の画素値の分布に基づいて、クランプ値を設定し、有効画素の画素信号を、設定されたクランプ値で調整し、調整した画素信号にゲインを掛けて増幅し、ゲインに応じた黒レベルを、ゲインを掛けた画素信号に加算するようにした。これにより半波整流の発生が抑制されて黒レベルの平均値の上昇を抑制できるので、黒沈みを抑制できる。本技術は、撮像装置に適用することができる。
【選択図】図4
【特許請求の範囲】
【請求項1】
有効画素とOB(Optical Black)画素とを含むイメージセンサと、
前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、
前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
前記調整された画素信号にゲインを掛けて増幅する増幅部と、
前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部と
を含む撮像装置。
【請求項2】
前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルである
請求項1に記載の撮像装置。
【請求項3】
前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含み、
前記加算部は、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算する
請求項1に記載の撮像装置。
【請求項4】
前記制御部は、
前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含み、
前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算する
請求項3に記載の撮像装置。
【請求項5】
前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含む
請求項3に記載の撮像装置。
【請求項6】
前記制御部は、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給する
請求項5に記載の撮像装置。
【請求項7】
前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含み、
前記減算部は、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算する
請求項5に記載の撮像装置。
【請求項8】
前記増幅部が複数のゲインに切り替えて撮像された画素信号より生成される複数の画像を合成する場合、
前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
前記複数のゲインのそれぞれの条件で撮像された画素信号より生成される複数の画像を、それぞれのゲイン比で合成する合成部をさらに含む
請求項1に記載の撮像装置。
【請求項9】
前記増幅部が複数のゲインに切り替えて撮像された画素信号より生成される複数の画像を合成する場合、
前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成される
請求項1に記載の撮像装置。
【請求項10】
有効画素とOB(Optical Black)画素とを含むイメージセンサを含む撮像装置の撮像方法であって、
前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
前記有効画素の画素信号を、設定されたクランプ値で調整し、
前記調整された画素信号にゲインを掛けて増幅し、
前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算する
ステップを含む撮像方法。
【請求項11】
有効画素とOB(Optical Black)画素とを含むイメージセンサと、
前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と
前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、
前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、撮像装置、および撮像方法、並びにプログラムに関し、特に、黒沈みしない安定した画像を撮像できるようにした撮像装置、および撮像方法、並びにプログラムに関する。
【背景技術】
【0002】
CCD(Charge Coupled Device)等の固体撮像素子を使った画像処理では、画素部を遮光した画素(OB(Optical Black)画素)の画素値を黒レベルの基準として画像処理を行う。この黒レベルの生成では、OB画素の画素値を積分し、DAC(Digital Analog Converter)を介してCDS(Correlated Double Sampling)にフィードバックすることで、黒レベルをクランプしている。
【0003】
ところが、固体撮像素子の出力は、ノイズを含んでおり、イメージセンサの動作条件によってその量は異なる。ノイズには、ランダムノイズやシェーディング等の固定パターンノイズなどがある。
【0004】
そこで、OB画素が水平方向にシェーディングをしているときに、垂直方向のOB画素の水平方向に基準点をとって、シェーディングに合わせた基準点と比較することで黒沈みを防ぐようにする技術が提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−347956号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述したようなクランプループでは、ゲインによりノイズが増幅されることでOB画素の画素値の一部が半端整流となり、正しくAD(Analog/Digital)変換できず、OB画素値の平均値が実際より大きく出てしまう。
【0007】
通常、OB画素の画素値の平均値を使って黒レベルを設定するが、ゲインアンプによりノイズが増幅されることで平均値が実際の黒レベルより大きくなることで黒沈みが発生してしまう。また、画像処理部(ISP)でもOB画素の画素値の情報をもとに黒レベルを合わせるが、OB画素の画素値の平均値を使用すると、ゲインアンプによりノイズが増幅されて、より大きな値になるため、実際の黒レベル以上に高い値が黒レベルとして引かれてしまい、黒が沈んだ画になってしまう。
【0008】
本技術は、このような状況に鑑みてなされたものであり、特に、黒沈みしない安定した画像を撮像できるようにするものである。
【課題を解決するための手段】
【0009】
本技術の一側面の情報処理装置は、有効画素とOB(Optical Black)画素とを含むイメージセンサと、前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、前記調整された画素信号にゲインを掛けて増幅する増幅部と、前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部とを含む撮像装置である。
【0010】
前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルとすることができる。
【0011】
前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含ませるようにすることができ、前記加算部には、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算させるようにすることができる。
【0012】
前記制御部には、前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含ませるようにすることができ、前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算させるようにすることができる。
【0013】
前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含ませるようにすることができる。
【0014】
前記制御部には、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給させるようにすることができる。
【0015】
前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含ませるようにすることができ、前記減算部には、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算させるようにすることができる。
【0016】
前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、前記複数のゲインのそれぞれの条件で撮像された画像を、それぞれのゲイン比で合成する合成部をさらに含ませるようにすることができる。
【0017】
前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成されるようにしてもよい。
【0018】
本技術の一側面の撮像方法は、有効画素とOB(Optical Black)画素とを含むイメージセンサを含む撮像装置の撮像方法であって、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、前記有効画素の画素信号を、設定されたクランプ値で調整し、前記調整された画素信号にゲインを掛けて増幅し、前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算するステップを含む撮像方法である。
【0019】
本技術の一側面のプログラムは、有効画素とOB(Optical Black)画素とを含むイメージセンサと、前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラムである。
【0020】
本技術の一側面においては、有効画素とOB(Optical Black)画素とを含むイメージセンサが設けられ、前記OB画素の画素値の分布に基づいて、クランプ値が設定され、前記有効画素の画素信号が、前記クランプ部により設定されたクランプ値で調整され、前記調整された画素信号にゲインが掛けられて増幅され、前記ゲインに応じた黒レベルが、ゲインが掛けられた画素信号に加算される。
【0021】
本技術の一側面の撮像装置は、それぞれ独立した装置であっても良いし、撮像装置として機能するブロックであっても良い。
【発明の効果】
【0022】
本技術の一側面によれば、黒沈みしない安定した画像を撮像することが可能となる。
【図面の簡単な説明】
【0023】
図1】一般的な撮像装置の構成例を説明する図である。
図2】OBクランプによる黒沈みが生じる原因を説明する図である。
図3】本技術を適用した撮像装置の概要を説明する図である。
図4】本技術を適用した撮像装置の第1の実施の形態の構成例を説明する図である。
図5】PGAのゲインに対する適切な黒レベルを説明する図である。
図6】OBクランプにより黒レベルを調整してもゲインの上昇に伴って黒レベルが上昇することを説明する図である。
図7】黒レベルの設定値毎にゲインを上昇させるときの黒レベルの変化を説明する図である。
図8】キャラブレーション処理を説明するフローチャートである。
図9図4の撮像装置における撮像処理を説明するフローチャートである。
図10】本技術を適用した撮像装置の第2の実施の形態の構成例を説明する図である。
図11図10の撮像装置における撮像処理を説明するフローチャートである。
図12】第2の実施の形態における変形例を説明する図である。
図13】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【0024】
<一般的な撮像装置の構成例>
本技術の撮像装置を説明するにあたって、まず、一般的な撮像装置の構成例について説明する。
【0025】
図1の撮像装置11は、イメージセンサ31、CDS(Correlated Double Sampling)32、PGA(Programming Gain Amplifier)33、ADC(Analog/Digital Converter)34、ISP(Image Signal Processor)35、OB(Optical Black)クランプ部36、およびDAC(Digital/Analog Converter)37を備えている。
【0026】
イメージセンサ31は、CMOS(Complementary Metal Oxide Semiconductor)などの2次元平面に設けられた複数の画素単位のセンサであり、画素単位で入射光に応じた画像信号を生成し、CDS32に出力する。イメージセンサ31は、画像信号として使用する領域の通常画素と、遮光領域の画素からなるOB(Optical Black)画素とが設けられており、画像信号を出力する場合、通常画素からの画素信号を出力し、黒レベルを調整する場合、OB画素の画素信号を出力する。
【0027】
CDS(Correlated Double Sampling)32は、相関二重サンプリングにより、イメージセンサ31の信号電荷が流入する前後の電圧レベルの差を信号として検出することで、熱雑音ノイズを低減した画素信号をPGA33に出力する。この際、DAC37を介してOBクランプ部36より供給されてくるOB画素の画素値の平均値からなる黒レベル分の画素信号を減算した画素信号をPGA33に出力する。
【0028】
PGA(Programming Gain Amplifier)33は、CDS32より供給されてくる画素信号にゲインを掛けて増幅しADC34に出力する。
【0029】
ADC(Analog/Digital Converter)34は、アナログ信号をデジタル信号に変換し、ISP35、およびOBクランプ36に出力する。
【0030】
ISP(Image Signal Processor)35は、通常画素からの画素信号が出力されるとき、図示せぬレンズなど光学系の補正処理や、イメージセンサ31の各画素のばらつきなどから生じる傷補正など、画素単位での信号処理を施して出力する。
【0031】
OB(Optical Black)クランプ部36は、OB画素からの画素信号が出力されるとき、図2の左部で示されるように、黒レベル(黒データ)の画素信号の分布を求め、その分布中心C1として求める。さらに、OBクランプ部36は、図2の中央部で示されるように、黒データの画素信号の分布が信号レベルの最小値と一致するように、すなわち、黒レベルの画素信号の分布中心C1から分布中心C2へとクランプして(OBクランプして)DAC37に出力する。
【0032】
DAC(Digital/Analog Converter)37は、デジタル信号をアナログ信号に変換して、CDS32に適切に調整された黒レベルの画素信号を供給する。
【0033】
この結果、CDS32は、DAC37を介してOBクランプされることで、適切に設定された黒レベルを利用してイメージセンサ31からの画素信号をオフセットした状態で出力する。これにより、イメージセンサ31における各画素の熱雑音ノイズによる黒レベルのずれが補正される。
【0034】
しかしながら、上述したOBクランプにより黒レベルがオフセットされた状態で画素信号がCDS32から出力されると、PGA33でゲインが掛けられることにより、黒レベルの信号のノイズも増幅されることにより、図2の右部で示されるような分布となって出力される。図2の右部における範囲Z2で示される領域の信号については、半波整流となり適切にAD変換することができない信号となるため、黒レベルの信号分布の分布平均は、範囲Z2で示される信号が除去されることにより、ゲインが全体として上昇し、範囲Z1で示されるように、本来の分布平均C2から分布平均C3へと変化する。この結果、適切に黒レベルが調整できない。
【0035】
<本技術の撮像装置の概要>
そこで、本技術を適用した撮像装置においては、PGA33によりゲインが掛けられた後、黒レベルの信号分布の全範囲が出力できるように、OBクランプ部36によるOBクランプのレベルを、例えば、図3の中央部で示されるように、分布中心C2よりも高い分布中心C11となるように調整する。このようにすることで、図3の右部で示されるように、PGA33によりゲインが掛けられた後、黒レベルの信号分布の全範囲が出力されるようにすることができる。この結果、図3の右部で示されるように、信号分布の中心は、分布中心C12となり、分布中心C11とほぼ同一にすることができる。尚、図3の左部は、図2の左部と同一のものである。
【0036】
この後、デジタル信号に変換された後、OBクランプを調整して、分布中心C11とC2との差分となるレベルを減算することで、PGA33によるゲインが掛けられることで上昇する分布中心の変動を避けつつ、適切に黒レベルを補正することが可能となる。
【0037】
<第1の実施の形態>
次に、図4を参照して、本技術を適用した撮像装置の第1の実施の形態の構成例について説明する。
【0038】
図4の撮像装置51は、イメージセンサ71、CDS(Correlated Double Sampling)72、PGA(Programming Gain Amplifier)73、加算器74、ADC(Analog/Digital Converter)75、ISP(Image Signal Processor)76、制御部77、OB(Optical Black)クランプ部78、DAC(Digital/Analog Converter)79、および積分回路80を備えている。
【0039】
イメージセンサ71、CDS72、PGA73、ADC(Analog/Digital Converter)75、OB(Optical Black)クランプ部78、およびDAC(Digital/Analog Converter)79については、図1における撮像装置11におけるイメージセンサ31、CDS32、PGA33、ADC(Analog/Digital Converter)34、OB(Optical Black)クランプ部36、およびDAC(Digital/Analog Converter)37と同一の機能を備えたものであるので、その説明は省略するものとする。
【0040】
制御部77は、撮像装置51の動作の全体を制御する。また、制御部77は、キャリブレーション部77aを備えており、PGA73のゲインに応じて、黒レベルを調整するため、起動時などにPGA73のゲインに応じた適正な黒レベルをキャリブレーションにより求めさせ、制御曲線として記憶させる。
【0041】
より詳細には、上述した図2の中央部で示されるように、OBクランプにより設定される黒レベルの分布中心C2に対して、PGA73でゲインが掛けられることによりノイズも増幅されることで黒レベルの分布が広がって、範囲Z2で示される部分において半波整流が生じることで、範囲Z1で示されるように、黒レベルの分布が上昇して、その中心も分布中心C3へと上昇する。
【0042】
この上昇のレベルは、PGA73のゲインの大きさに応じたものであるので、例えば、黒レベルは、図5で示されるように、PGA73のゲインに対して影響がない範囲(PGAゲインのレベルがG1よりも小さい範囲)においては、デフォルトの黒レベルとして、PGAゲインがG1以降においては、ゲインに比例して黒レベルを上昇するように設定する。ただし、熱雑音ノイズの量によっては、ゲインがある値以上になると黒レベル設定値を上げても半波整流が発生してしまうので、例えば、図5で示されるように、ADC75のレンジに対して、その50%程度となる、ゲインがG2となる黒レベルを上限に設定する。
【0043】
ここで、黒レベルは、設定された値に応じて、PGA73のゲインによる影響の受け方が変化する。すなわち、黒レベルは、図6で示されるように、ある程度のゲインに変化があっても、図中のゲインG11に至るまでのゲインでは、黒レベルの上昇がみられず、所定のゲインG11以降において、半波整流が発生し、黒レベルが上昇する。
【0044】
このゲインG11は、設定された黒レベルに応じて変化する。すなわち、図7で示されるように、黒レベルの設定値が256である場合、範囲Z11で示されるようにゲインが30dB程度で上昇し始める。また、黒レベルの設定値が512である場合、範囲Z12で示されるようにゲインが34dB程度で上昇し始める。さらに、黒レベルの設定値が1200である場合、範囲Z13で示されるようにゲインが41dB程度で上昇し始める。
【0045】
このことから、キャリブレーションにおいては、黒レベル設定値毎に、徐々にゲインを上昇させ、黒レベルが上昇し始めるゲインをプロットすることにより、図5で示されるようなPGA73のゲインに対する適正な黒レベルを示す制御曲線を設定することができる。尚、図5乃至図7においては、横軸がPGA73のゲインであり、縦軸は、OBクランプ部78により設定される黒レベルを示している。ただし、図7においては、図5図6とは異なるスケールが設けられている。
【0046】
制御部77は、キャリブレーション部77aに記憶されているキャリブレーションにより求められた制御曲線の情報を利用して、PGA73のゲインに応じた適正な黒レベルを読み出し、加算器74を制御して、PGA73の出力値にアナログ値の適正な黒レベルを加算させる。また、制御部77は、ISP76に設けられている減算器76aを制御して、加算器74に加算させた適正な黒レベルのアナログ値に相当するデジタル値を、ADC75より出力される信号から減算させる。さらに、制御部77は、OP画素の画素信号がイメージセンサ71より出力されるとき、ISP76、およびOBクランプ部78にOB画素選択パルスを供給する。このOB画素選択パルスにより、ISP76、およびOBクランプ部78は、現在処理されている画素信号がOB画素であることを認識することができ、それ以外のとき有効画素による画素信号であることを認識することができる。
【0047】
積分回路80は、DAC79を介してアナログ信号に変換されたOBクランプ部78より出力されるクランプ値を設定する画素信号を積分して、CDS72に出力する。
【0048】
<キャリブレーション処理>
次に、図8のフローチャートを参照して、キャリブレーション処理について説明する。ここでは、OB画素からの画素信号のみがイメージセンサ71より供給されてくるものとし、制御部77からは、OB画素選択パルスが出力されているものとする。
【0049】
ステップS11において、制御部77のキャリブレーション部77aは、OBクランプ部78を制御して、設定する黒レベルを最小値に設定させると共に、PGA73を制御して、ゲインを最小値に設定させる。
【0050】
ステップS12において、キャリブレーション部77aは、ISP76を制御して、OB画素の画素値の平均値を計算させる。
【0051】
ステップS13において、キャリブレーション部77aは、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値(黒レベル設定値+ε)より大きいか否かを判定し、大きくない場合、処理は、ステップS15に進む。
【0052】
ステップS15において、キャリブレーション部77aは、PGA73のゲインが最大値であるか否かを判定し、最大値ではない場合、処理は、ステップS16に進む。
【0053】
ステップS16において、キャリブレーション部77aは、PGA73のゲインを所定値だけ上げて、処理は、ステップS12に戻る。すなわち、ステップS13において、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値(黒レベル設定値+ε)よりも大きいと判定されるまで、ステップS12,S13,S15,S16の処理が繰り返される。そして、ステップS13において、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値(黒レベル設定値+ε)よりも大きいと判定された場合、処理は、ステップS14に進む。
【0054】
ステップS14において、キャリブレーション部77aは、OB画素の画素値の平均値とPGA73のゲインとを対応付けて記憶し、処理は、ステップS15に進む。
【0055】
すなわち、ステップS12乃至S16の処理が繰り返されることにより、このときの黒レベル設定値に対する、PGA73のゲインと、OB画素の画素値の平均値との変化が記録されていくことになる。そして、ステップS15において、PGA73のゲインが最大値であると判定された場合、処理は、ステップS17に進む。
【0056】
ステップS17において、キャリブレーション部77aは、PGA73のゲインを最小値に設定する。
【0057】
ステップS18において、キャリブレーション部77aは、黒レベル設定値が最大値であるか否かを判定し、最大値ではないと判定された場合、処理は、ステップS19に進む。
【0058】
ステップS19において、キャリブレーション部77aは、OBクランプ部78を制御して、黒レベル設定値を所定値だけ上げて、処理は、ステップS12に進み、以降の処理が繰り返される。
【0059】
すなわち、この黒レベル設定値でステップS12乃至S16の処理が繰り返されることにより、黒レベル設定値毎のPGA73のゲインの変化に対するOB画素の画素値の平均値が求められる。
【0060】
そして、ステップS12乃至S19の処理が繰り返されることにより、各黒レベル設定値において、PGA73のゲインの上昇に伴って、増加するOB画素の画素値の平均値との関係が求められる。
【0061】
そして、ステップS18において、黒レベル設定値が最大値になったと判定された場合、処理は、ステップS20に進む。
【0062】
ステップS20において、キャリブレーション部77aは、黒レベル設定値毎のPGA73のゲインの変化に対する、OB画素の画素値の平均値の変曲点を算出する。すなわち、図7における範囲Z11乃至Z13で示されるような、各黒レベル設定値における、PGA73ゲインに対するOB画素の画素値の平均値の変曲点が求められることになる。
【0063】
ステップS21において、キャリブレーション部77aは、求められた変曲点を用いて制御曲線を算出する。
【0064】
ステップS22において、キャリブレーション部77aは、求められた制御曲線を記憶する。
【0065】
すなわち、図7における範囲Z11乃至Z13で示されるような変曲点から、図5で示されるような制御曲線が求められて、キャリブレーション部77aに記憶される。
【0066】
この制御曲線で示されるPGA73のゲインに応じた黒レベルは、PGA73が、OB画素の画素信号に掛けるゲインに対して、ゲインを掛ける前に設定されたOB画素の画素信号の平均値と、ゲインが掛けられた後のOB画素の画素信号の黒レベルの平均値が変化しない最大の黒レベルを示したものであるともいえる。このように求められた制御曲線を利用することで、PGA73を掛けても黒レベルが変化しない適切な黒レベルを設定することが可能となる。
【0067】
<撮像処理>
次に、図9のフローチャートを参照して、撮像処理について説明する。尚、ここでは、イメージセンサ71における有効画素により撮像された画像信号が供給されてきたときの処理について説明する。また、OB画素の全画素の分布とその平均値となる分布中心については所定の時間間隔で求められているものとし、OBクランプ部78のクランプ値は、この分布中心に設定されているものとする。
【0068】
ステップS51において、イメージセンサ71は、未処理の画素を処理対象画素に設定する。
【0069】
ステップS52において、イメージセンサ71は、処理対象画素の画素値を取得し、CDS72に出力する。
【0070】
ステップS53において、OBクランプ部78は、所定のクランプ値でOBクランプを掛ける。すなわち、図2の左部および中央部で示されるように、OBクランプ部78は、予め求められている分布中心C1を分布中心C2となるように黒レベルのデフォルト値となる画素信号を出力する。
【0071】
ステップS54において、DAC79は、OBクランプ部78からの信号をアナログ信号に変換して出力する。
【0072】
ステップS55において、積分回路80は、DAC79より供給されてきた信号を積分してCDS72、および制御部77に出力する。
【0073】
ステップS56において、CDS72は、処理対象画素についてCDSを掛けた後、積分回路80からのデフォルトの黒レベルが設定された信号を用いて、画素レベルを調整して画素信号を出力する。
【0074】
ステップS57において、PGA73は、CDS72より供給されてくる処理対象画素の画素信号にゲインを掛けて加算器74に出力する。
【0075】
ステップS58において、制御部77は、キャリブレーション部77aに記憶されている制御曲線を利用して、PGA73のゲインに対応する適正な黒レベルを求める。
【0076】
ステップS59において、制御部77は、加算部74を制御して、画素信号に対してアナログ値の適正な黒レベルを加算させて、ADC75に出力する。この処理により、黒レベルの分布は、図2の中央部で示される分布中心C2の状態から、図3の中央部で示される分布中心C11の状態にされる。したがって、この時点で画素信号は、ADC75において半波整流を起こすことなく、適切にデジタル信号に変換できる状態となる。
【0077】
ステップS60において、ADC75は、加算部74より供給されてきた画素信号をデジタル信号に変換し、ISP76に出力する。
【0078】
ステップS61において、制御部77は、ISP76内の減算部76aを制御して、適正な黒レベルをデジタル化し、デジタル信号に変換された画素信号から、デジタル化された適正な黒レベルを減算する。この時点で、OBクランプ部78により設定されたクランプ値に相当する黒レベルに戻される。
【0079】
ステップS62において、ISP76は、画素信号を信号処理して出力する。
【0080】
ステップS63において、イメージセンサ71は、未処理の画素がないか判定し、未処理の画素がある場合、処理は、ステップS51に戻る。すなわち、未処理の画素がなくなるまで、ステップS51乃至S63の処理が繰り返される。そして、ステップS63において、未処理の画素がないと判定された場合、処理が終了する。
【0081】
以上の処理により、PGA73によりゲインが掛けられた後、適切な黒レベルに調整されて、ADC75においてデジタル信号に変換されるため、半波整流によりデジタル信号に変換できないといったことが防止され、黒沈みしない安定した画像を撮像することが可能となる。
【0082】
<第2の実施の形態>
以上においては、単一露光における構成について説明してきたが、WD(Wide Dynamic Range)センサを使用する場合、露光条件に応じたゲインで撮像される複数の画像の枚数に合わせてクランプループを増やす、または、クランプループをトグルさせて制御させるようにしてもよい。
【0083】
図10は、露光条件が2種類であり、それぞれの露光条件のゲインに応じた2系統のクランプループを設けるようにした撮像装置51の構成例を示している。尚、図10の撮像装置51の各構成において、図4における撮像装置51の各構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【0084】
すなわち、図10の撮像装置51においては、図4の撮像装置51におけるクランプループを構成する加算器74、減算器76a、OBクランプ部78、および積分回路80が、それぞれ2個ずつ設けられている。尚、図10においては、2個の構成を区別するため、「−」を付して1または2を付した符号としている。すなわち、加算器74−1,74−2、減算器76a−1,76a−2、OBクランプ部78−1,78−2、および積分回路80−1,80−2とされている。ここで、「−1」が付された構成は、第1のゲインに対応する第1のクランプ値のとき使用される構成であり、「−2」が付された構成は、第2のゲインに対応する第2のクランプ値のとき使用される構成である。
【0085】
また、図10の撮像装置51においては、加算器74−1,74−2、減算器76a−1,76a−2、OBクランプ部78−1,78−2、および積分回路80−1,80−2のクランプループを切り替えるためのスイッチ91−1乃至91−5が設けられている。
【0086】
スイッチ91−1乃至91−5は、端子91a−1乃至91a−5,91b−1乃至91b−5が設けられている。スイッチ91−1乃至91−5は、制御部77により制御されて、第1のゲインに応じた第1のクランプ値に対しては、スイッチ91−1乃至91−5が、いずれもスイッチ91a−1乃至91a−5に接続される。また、スイッチ91−1乃至91−5は、制御部77により制御されて、第2のゲインに応じた第2のクランプ値に対しては、スイッチ91−1乃至91−5が、いずれもスイッチ91b−1乃至91b−5に接続される。
【0087】
また、ISP76は、さらに、合成部76bを備えており、第1のゲインの画像と、第2のゲインの画像とを、PGA73におけるそれぞれのゲイン比で合成する。
【0088】
図10の撮像装置による撮像処理>
次に、図11のフローチャートを参照して、図10の撮像装置51による撮像処理について説明する。
【0089】
ステップS91において、制御部77は、第1のゲインに応じた第1のクランプ値でのクランプループを構成するため、スイッチ91−1乃至91−5をそれぞれ端子91a−1乃至91a−5に接続する。
【0090】
ステップS92において、制御部77は、第1のゲインに応じた第1のクランプ値による撮像処理を実行する。尚、撮像処理については、図9のフローチャートを参照して説明した処理と同一であるので、その説明は省略するものとする。
【0091】
ステップS93において、制御部77は、第2のゲインに応じた第2のクランプ値でのクランプループを構成するため、スイッチ91−1乃至91−5をそれぞれ端子91b−1乃至91b−5に接続する。
【0092】
ステップS94において、制御部77は、第2のゲインに応じた第2のクランプ値による撮像処理を実行する。尚、撮像処理については、図9のフローチャートを参照して説明した処理と同一であるので、その説明は省略するものとする。
【0093】
ステップS95において、ISP76の合成部76bは、PGA73のゲインに基づいて、第1のクランプ値で撮像された画像と、第2のクランプ値で撮像された画像とをゲイン比で合成する。
【0094】
ステップS96において、合成部76bは、合成した画像を出力する。
【0095】
以上の処理により、露光の異なる複数の画像を合成する処理において、前段で個々にそれぞれのゲインを掛けても黒のレベルをずれないようにすることが可能となる。また、黒沈みを防止する際、黒レベルを上昇させることで、黒沈みが防止可能となるが、ダイナミックレンジが小さくなる。しかしながら、上述したように、露光の異なる複数の画像を撮像することで、ダイナミックレンジを確保しつつ、黒沈みを低減させることが可能となる。さらに、以上においては、2種類の露光で2枚の画像を撮像して合成する例について説明してきたが、さらに、大きなダイナミックレンジの画像に対応する場合、より多くの種類の露光からなる3枚以上の画像を撮像して合成するようにしてもよい。
【0096】
<変形例>
以上においては、黒レベルを減算した後の画像をゲイン比で合成する例について説明してきたが、例えば、それぞれのゲインの画像より、それぞれのゲインにおけるOB画素値の平均値を減算して、ゲイン比で合成するようにしてもよい。
【0097】
すなわち、図12で示されるように、ISP76には、第1のゲインに対応するOB画素値平均算出部101−1および減算器102−1、並びに、第2のゲインに対応するOB画素値平均算出部101−2および減算器102−2が設けられており、それぞれの画像を合成する合成部103が設けられている。
【0098】
OB画素値平均算出部101−1は、第1のゲインのクランプループにおけるOB画素の画素値の平均値を算出し、減算器102−1に供給する。減算器102−1は、第1のゲインにおけるクランプループで撮像された画像の各画素より、OB画素値平均算出部101−1より供給されてきたOB画素の画素値の平均値を減算し、合成部103に出力する。
【0099】
OB画素値平均算出部101−2は、第2のゲインのクランプループにおけるOB画素の画素値の平均値を算出し、減算器102−2に供給する。減算器102−2は、第2のゲインにおけるクランプループで撮像された画像の各画素より、OB画素値平均算出部101−2より供給されてきたOB画素の画素値の平均値を減算し、合成部103に出力する。
【0100】
合成部103は、第1のゲインのクランプループで撮像された画像と、第2のゲインのクランプループで撮像された画像とをゲイン比で合成して出力する。
【0101】
この処理により、第1のゲインがゲイン高であり、第2のゲインがゲイン低である場合、ゲイン高における有効データのうち、範囲Z31で示されるように、飽和してしまうことでデータとして切れてしまう部分を無くすことが可能となる。
【0102】
尚、図12の例においては、第2のゲインであるゲイン低の画像については、ゲインが大きくないので、範囲Z32において、半波整流の発生がないので、黒レベルの調整はなされていない。
【0103】
さらに、以上においては、アナログクランプとアナログゲインにおいて黒レベルを調整する例について説明してきたが、ADC後のデジタルデータでクランプすることでも同様の効果を奏することが可能となる。ただし、ゲインによるノイズの増幅分を踏まえてADCの解像度を上げておくことが望ましい。
【0104】
<ソフトウェアにより実行させる例>
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0105】
図13は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタ-フェイス1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
【0106】
入出力インタ-フェイス1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
【0107】
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0108】
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
【0109】
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0110】
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
【0111】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0112】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0113】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0114】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0115】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0116】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0117】
尚、本技術は、以下のような構成も取ることができる。
(1) 有効画素とOB(Optical Black)画素とを含むイメージセンサと、
前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、
前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
前記調整された画素信号にゲインを掛けて増幅する増幅部と、
前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部と
を含む撮像装置。
(2) 前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルである
(1)に記載の撮像装置。
(3) 前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含み、
前記加算部は、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算する
(1)または(2)に記載の撮像装置。
(4) 前記制御部は、
前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含み、
前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算する
(3)に記載の撮像装置。
(5) 前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含む
(3)に記載の撮像装置。
(6) 前記制御部は、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給する
(5)に記載の撮像装置。
(7) 前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含み、
前記減算部は、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算する
(5)に記載の撮像装置。
(8) 前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、
前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
前記複数のゲインのそれぞれの条件で撮像された画像を、それぞれのゲイン比で合成する合成部をさらに含む
(1)乃至(8)のいずれかに記載の撮像装置。
(9) 前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、
前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成される
(1)乃至(8)のいずれかに記載の撮像装置。
(10) 有効画素とOB(Optical Black)画素とを含むイメージセンサを含む撮像装置の撮像方法であって、
前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
前記有効画素の画素信号を、設定されたクランプ値で調整し、
前記調整された画素信号にゲインを掛けて増幅し、
前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算する
ステップを含む撮像方法。
(11) 有効画素とOB(Optical Black)画素とを含むイメージセンサと、
前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と
前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、
前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラム。
【符号の説明】
【0118】
11 撮像装置, 31 イメージセンサ, 32 CDS, 33 PGA, 34 ADC, 35 ISP, 36 OBクランプ部, 37 DAC, 51 撮像装置, 71 イメージセンサ, 72 CDS, 73 PGA, 74 加算器, 75 ADC, 76 ISP, 77 制御部, 78,78−1,78−2 OBクランプ部, 79 DAC, 80,80−1,80−2 積分回路, 91,91−乃至91−5 スイッチ, 91a−1乃至91a−5,91b−1乃至91b−5 端子, 101,101−1,101−2 OB画素値平均算出部, 102,102−1,102−2 減算器, 103 合成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13