知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022184422
(43)【公開日】2022-12-13
(54)【発明の名称】信号処理方法、信号処理装置および撮像装置
(51)【国際特許分類】
H04N 5/361 20110101AFI20221206BHJP
【ＦＩ】
H04N5/361
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021092267
(22)【出願日】2021-06-01
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】立澤 之康
(72)【発明者】
【氏名】小西 隆夫
(72)【発明者】
【氏名】塩谷 吉満
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CX32
5C024GZ37
5C024GZ38
5C024HX21
5C024HX29
5C024HX30
(57)【要約】
【課題】補正による遅延を抑制することの可能な信号処理方法、信号処理装置および撮像装置を提供する。
【解決手段】本開示の一実施の形態に係る信号処理方法は、有効画素領域と周辺画素領域とを備えた撮像装置の信号処理方法である。有効画素領域は、受光面に設けられ、複数の第１画素が行列状に配置された領域である。周辺画素領域は、受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された領域である。この信号処理方法は、以下の２つを含む。
（Ａ）複数の第２画素と、複数の第１画素のうち、周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出すること
（Ｂ）複数の第１画素から得られた複数の画素信号に対して、オフセット量を用いた黒レベル補正を行単位で行うこと
【選択図】図５
【解決手段】本開示の一実施の形態に係る信号処理方法は、有効画素領域と周辺画素領域とを備えた撮像装置の信号処理方法である。有効画素領域は、受光面に設けられ、複数の第１画素が行列状に配置された領域である。周辺画素領域は、受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された領域である。この信号処理方法は、以下の２つを含む。
（Ａ）複数の第２画素と、複数の第１画素のうち、周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出すること
（Ｂ）複数の第１画素から得られた複数の画素信号に対して、オフセット量を用いた黒レベル補正を行単位で行うこと
【選択図】図５
【特許請求の範囲】
【請求項1】
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域とを備えた撮像装置の信号処理方法であって、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出することと、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行うことと
を含む
信号処理方法。
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出することと、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行うことと
を含む
信号処理方法。
【請求項2】
前記複数の第２画素および前記複数の隣接画素における各行の複数の画素信号をライン信号としたとき、前記ライン信号における前記有効画素領域寄りの複数の画素信号の平均値である第１平均値と、前記ライン信号における前記周辺画素領域寄りの複数の画素信号の平均値である第２平均値との差分と、前記ライン信号に含まれる全ての画素信号の積算値とを用いて前記オフセット量を導出することを更に含む
請求項１に記載の信号処理方法。
請求項１に記載の信号処理方法。
【請求項3】
前記差分が大きくなるにつれて大きくなる係数を前記差分に掛けることにより得られる値と、前記積算値とを用いて前記オフセット量を導出することを更に含む
請求項２に記載の信号処理方法。
請求項２に記載の信号処理方法。
【請求項4】
前記ライン信号における前記有効画素領域寄りの複数の画素信号は、前記ライン信号における前記有効画素領域内の複数の第１画素と、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域寄りの複数の第２画素とから得られる複数の画素信号であり、
前記ライン信号における前記周辺画素領域寄りの複数の画素信号は、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域から離れた複数の第２画素から得られる複数の画素信号である
請求項１に記載の信号処理方法。
前記ライン信号における前記周辺画素領域寄りの複数の画素信号は、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域から離れた複数の第２画素から得られる複数の画素信号である
請求項１に記載の信号処理方法。
【請求項5】
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域とを備えた撮像装置における信号処理装置であって、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出するオフセット量算出部と、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行う黒レベル補正部と
を備えた
信号処理装置。
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出するオフセット量算出部と、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行う黒レベル補正部と
を備えた
信号処理装置。
【請求項6】
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、
前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域と、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出するオフセット量算出部と、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行う黒レベル補正部と
を備えた
撮像装置。
前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域と、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出するオフセット量算出部と、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行う黒レベル補正部と
を備えた
撮像装置。
【請求項7】
前記オフセット量算出部は、前記複数の第２画素および前記複数の隣接画素における各行の複数の画素信号をライン信号としたとき、前記ライン信号における前記有効画素領域寄りの複数の画素信号の平均値である第１平均値と、前記ライン信号における前記周辺画素領域寄りの複数の画素信号の平均値である第２平均値との差分と、前記ライン信号に含まれる全ての画素信号の積算値とを用いて前記オフセット量を導出する
請求項６に記載の撮像装置。
請求項６に記載の撮像装置。
【請求項8】
前記オフセット量算出部は、前記差分が大きくなるにつれて大きくなる係数を前記差分に掛けることにより得られる値と、前記積算値とを用いて前記オフセット量を導出する
請求項７に記載の撮像装置。
請求項７に記載の撮像装置。
【請求項9】
前記ライン信号における前記有効画素領域寄りの複数の画素信号は、前記ライン信号における前記有効画素領域内の複数の第１画素と、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域寄りの複数の第２画素とから得られる複数の画素信号であり、
前記ライン信号における前記周辺画素領域寄りの複数の画素信号は、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域から離れた複数の第２画素から得られる複数の画素信号である
請求項６に記載の撮像装置。
前記ライン信号における前記周辺画素領域寄りの複数の画素信号は、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域から離れた複数の第２画素から得られる複数の画素信号である
請求項６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、信号処理方法、信号処理装置および撮像装置に関する。
【背景技術】
【0002】
ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ（撮像素子）を用いて得られる画素信号を補正するための処理の一例として、当該画素信号における黒レベルのずれを補正する所謂クランプ処理がある。クランプ処理では、例えば、メタル等により遮光された所謂ＯＰＢ（Optical Black）領域に設けられた画素から読み出される画素信号に基づき黒レベルを検出し、有効画素領域内の画素から読み出される画素信号が補正される。
【0003】
しかし、高ゲイン時には、ＯＰＢ領域のノイズ特性が悪化するので、黒レベルがフレーム間でばらつくという問題があった。この問題に対して、有効画素領域における黒レベルの画素信号を用いて、有効画素領域内の画素から読み出される画素信号を補正することが、例えば、下記特許文献１に開示されている。このように、ＯＰＢ領域の画素だけでなく、有効画素領域内の画素を利用することにより、ＯＰＢ領域の画素数を大幅に増やすことなく、フレーム間での黒レベルのばらつきを抑えることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００２－６７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上記特許文献１に記載の発明では、次フレームの画素信号を補正することになり、補正に対して１フレーム分の遅延が発生する。フレームメモリを設けることで遅延を回避することも理論的には可能であるが、回路規模や演算処理量の観点から、フレームメモリを設けることは現実的ではない。従って、補正による遅延を抑制することの可能な信号処理方法、信号処理装置および撮像装置を提供することが望ましい。
【課題を解決するための手段】
【0006】
本開示の一実施の形態に係る信号処理方法は、有効画素領域と周辺画素領域とを備えた撮像装置の信号処理方法である。ここで、有効画素領域は、受光面に設けられ、複数の第１画素が行列状に配置された領域である。周辺画素領域は、受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された領域である。この信号処理方法は、以下の２つを含む。
（Ａ）複数の第２画素と、有効画素領域のうち、周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出すること
（Ｂ）複数の第１画素から得られた複数の画素信号に対して、オフセット量を用いた黒レベル補正を行単位で行うこと
（Ａ）複数の第２画素と、有効画素領域のうち、周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出すること
（Ｂ）複数の第１画素から得られた複数の画素信号に対して、オフセット量を用いた黒レベル補正を行単位で行うこと
【0007】
本開示の一実施の形態に係る信号処理装置は、有効画素領域と周辺画素領域とを備えた撮像装置における信号処理装置である。ここで、有効画素領域は、受光面に設けられ、複数の第１画素が行列状に配置された領域である。周辺画素領域は、受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された領域である。この信号処理装置は、オフセット量算出部と黒レベル補正部とを備える。オフセット量算出部は、複数の第２画素と、有効画素領域のうち、周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出する。黒レベル補正部は、複数の第１画素から得られた複数の画素信号に対して、オフセット量を用いた黒レベル補正を行単位で行う。
【0008】
本開示の一実施の形態に係る撮像装置は、有効画素領域と周辺画素領域とを備える。ここで、有効画素領域は、受光面に設けられ、複数の第１画素が行列状に配置された領域である。周辺画素領域は、受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された領域である。この撮像装置は、更に、オフセット量算出部と黒レベル補正部とを備える。オフセット量算出部は、複数の第２画素と、有効画素領域のうち、周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出する。黒レベル補正部は、複数の第１画素から得られた複数の画素信号に対して、オフセット量を用いた黒レベル補正を行単位で行う。
【0009】
本開示の一実施の形態に係る信号処理方法、信号処理装置および撮像装置では、有効画素領域の行方向に隣接する周辺画素領域内の複数の第２画素と、有効画素領域のうち、周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号を処理することにより、黒レベルのオフセット量が算出される。これにより、周辺画素領域の画素数を大幅に増やすことなく、フレーム間での黒レベルのばらつきを抑えることができる。また、本実施の形態では、黒レベルのオフセット量が行単位で算出される。これにより、１フレーム分の遅延を発生させることなく、黒レベル補正を行うことができる。
【図面の簡単な説明】
【0010】
【図1】従来のイメージセンサの画素アレイ部の概略構成例を表す図である。
【図2】本開示の一実施の形態に係るカメラモジュールの概略構成例を表す図である。
【図6】比較例に係るオフセット量の変化の一例を表す図である。
【図7】補正係数の一例を表す図である。
【図8】（Ａ）補正係数の変化の一例を表す図である。（Ｂ）オフセット量の変化の一例を表す図である。
【図10】補正係数の一変形例を表す図である。
【図11】補正係数の一変形例を表す図である。
【図12】補正係数の一変形例を表す図である。
【図13】補正係数の一変形例を表す図である。
【図15】オフセット量の算出式の一例を表す図である。
【図18】車両制御システムの概略的な構成の一例を示すブロック図である。
【図19】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図20】内視鏡手術システムの概略的な構成の一例を示す図である。
【図21】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。また、本開示は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。なお、説明は以下の順序で行う。
１．クランプ処理
２．実施の形態
列方向に隣接するＨＯＰＢ領域を設けた例（図１～図９）
３．変形例
変形例Ａ：補正係数のバリエーション（図１０～図１３）
変形例Ｂ：列方向の両側にＯＰＢ領域を設けた例（図１４、図１５）
変形例Ｃ：行方向に隣接するＶＯＰＢ領域を設けた例（図１６、図１７）
４．応用例
移動体への応用例（図１８、図１９）
内視鏡手術システムへの応用例（図２０、図２１）
１．クランプ処理
２．実施の形態
列方向に隣接するＨＯＰＢ領域を設けた例（図１～図９）
３．変形例
変形例Ａ：補正係数のバリエーション（図１０～図１３）
変形例Ｂ：列方向の両側にＯＰＢ領域を設けた例（図１４、図１５）
変形例Ｃ：行方向に隣接するＶＯＰＢ領域を設けた例（図１６、図１７）
４．応用例
移動体への応用例（図１８、図１９）
内視鏡手術システムへの応用例（図２０、図２１）
【0012】
＜１．クランプ処理＞
クランプ処理と呼ばれる、黒レベルを補正するための処理の概要について説明する。
クランプ処理と呼ばれる、黒レベルを補正するための処理の概要について説明する。
【0013】
一般的にイメージセンサでは、シリコン基板上に作り込まれたフォトダイオードに対して光が照射されることにより、光エネルギーによって励起されたシリコン内部の電子を、画像信号として読み出す。このような特性から、フォトダイオードに対して光が入力されていない状態においては、当該フォトダイオードから読み出される画像信号の信号レベルは０となっていることが望ましい。なお、フォトダイオードに対して光が入力されていない状態において、当該フォトダイオードから読み出される画像信号の信号レベルが「黒レベル」に相当する。
【0014】
しかしながら、フォトダイオードに入射する光を完全に遮光した場合においても、当該フォトダイオードから読み出される信号が０にならない場合がある。具体的な一例として、暗電流や読み出しノイズの影響により、フォトダイオードから読み出される信号が０とならない場合がある。この暗電流や読み出しノイズは、例えば、温度や電源の状態に応じて刻々と変化するため、あらかじめ測定しておくことが困難である。このような状況を鑑み、イメージセンサでは、開口した領域（以降では、「有効画素領域」とも称する）の近傍に、メタル等により遮光されたＯＰＢ（Optical Black）領域と呼ばれる領域が設けられる場合がある。
【0015】
図１は、従来のイメージセンサの画素アレイ部１１１０の概略構成例を表す図である。図１に示したように、画素アレイ部１１１０には、有効画素領域１１１１と、ＯＰＢ領域１１１２とが設けられている。有効画素領域１１１１において、ハッチングが施された部分が、フォトダイオードを含む複数の画素１１１１ａ（以降では、「有効画素」とも称する）が設けられた部分を示している。ＯＰＢ領域１１１２において、ハッチングが施された部分が、フォトダイオードを含む複数の画素１１１２ａ（以降では、「周辺画素」とも称する）が設けられた部分を示している。有効画素領域１１１１に設けられた複数の画素１１１１ａから読み出された画素信号に基づいて１フレーム分の画像データが得られる。
【0016】
上記のようにＯＰＢ領域１１１２を設けることで、例えば、ＯＰＢ領域１１１２に設けられた画素１１１２ａから出力される画素信号のレベルを測定することにより、光が入射していない状態における暗電流や読み出しノイズの影響を含んだ信号の信号レベル（オフセット量）を認識することが可能となる。即ち、有効画素領域１１１１中の画素１１１１ａから読み出された画素信号の信号レベルから、ＯＰＢ領域１１１２中の画素１１１２ａから出力される画素信号の信号レベル（オフセット量）を減算することで、理想的には黒レベルを０に補正することが可能となる。このように、画素信号の黒レベルを０に補正するための処理が、クランプ処理と称される。
【0017】
ところが、イメージセンサのサイズ（即ち、チップサイズ）の制約から、ＯＰＢ領域１１１２の広さが制限される傾向にある。そのため、ＯＰＢ領域１１１２中の画素１１１２ａの数が制限される。その結果、ＯＰＢ領域１１１２中の複数の画素１１１２ａから得られた画素信号の平均をとったとしても、特に高ゲイン時には、ノイズの影響を完全に除去することが難しく、結果としてオフセット量がフレームごとにばらついてしまう。
【0018】
そこで、例えば、上記特許文献１に記載の発明では、上記クランプ処理がなされた画素信号に対して、有効画素領域１１１１における黒レベルの画素信号を用いたクランプ処理を更に実行することで、画素信号の信号レベルを補正することが提案されている。確かに、これにより、オフセット量のフレームごとのばらつきを抑えることができる。しかし、このようにした場合には、次フレームの画素信号を補正することになり、補正に対して１フレーム分の遅延が発生する。フレームメモリを設けることで遅延を回避することも理論的には可能であるが、回路規模や演算処理量の観点から、フレームメモリを設けることは現実的ではない。そこで、本願発明者は、フレームメモリを用いなくても、補正による遅延を抑制することの可能な新たな手法について以下に提案する。
【0019】
＜２．実施の形態＞
[構成]
まず、図２を参照して、本開示の一実施形態に係るカメラモジュール１の概略構成について、特に、撮像結果を画像データとして出力する部分の構成に着目して説明する。図２は、カメラモジュール１の概略構成例を表す図である。
[構成]
まず、図２を参照して、本開示の一実施形態に係るカメラモジュール１の概略構成について、特に、撮像結果を画像データとして出力する部分の構成に着目して説明する。図２は、カメラモジュール１の概略構成例を表す図である。
【0020】
カメラモジュール１は、例えば、図２に示したように、イメージセンサ１００および信号処理ＬＳＩ（Large Scale Integration）２００を備える。
【0021】
イメージセンサ１００は、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子であり、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサである。イメージセンサ１００は、画素アレイ部１１０を含んで構成される。画素アレイ部１１０は、例えば、図３に示したように、複数の画素１１１ａが行列（アレイ）状に配置された画素アレイ部１１１を有する。イメージセンサ１００において画素アレイ部１１０が設けられた領域がイメージセンサ１００の受光面に相当し、有効画素領域に相当する。
【0022】
画素アレイ部１１０は、さらに、例えば、図３に示したように、画素アレイ部１１１の行方向に隣接する画素アレイ部１１２を含んで構成される。画素アレイ部１１２は、例えば、図３に示したように、画素アレイ部１１１の、行方向における両側にそれぞれ配置される。画素アレイ部１１２は、例えば、図４に示したように、画素アレイ部１１１の、行方向におけるいずれか一方側だけに配置されてもよい。画素アレイ部１１２では、複数の画素１１２ａが行列（アレイ）状に配置される。イメージセンサ１００において画素アレイ部１１２が設けられた領域は、イメージセンサ１００の受光面に隣接する周辺画素領域であって、かつメタル等で遮光された領域（ＨＯＰＢ（Horizontal Optical Black）領域）に相当する。
【0023】
各画素１１１ａおよび各画素１１２ａは、それぞれ、光電変換を行うフォトダイオードを含んで構成される。画素１１１ａと画素１１２ａとは、互いに等しい構成となっていてもよいし、互いに異なる構成となっていてもよい。イメージセンサ１００は、光学系を介して入射した光を各画素１１１ａで光電変換し、各画素１１１ａの画素値をＡ／Ｄ変換することで、被写体の撮像画像を示す画像データ（以降では、「第１画像データ」と称する）を生成する。第１画像データは、各画素１１１ａから得られた複数の画素信号（デジタル信号）によって構成される。イメージセンサ１００は、さらに、各画素１１２ａでの光電変換により得られた各画素１１２ａの画素値をＡ／Ｄ変換することで、黒レベルもしくは黒レベルに近いレベルの画像データ（以降では、「第２画像データ」と称する）を生成する。第２画像データは、各画素１１２ａから得られた複数の画素信号（デジタル信号）によって構成される。イメージセンサ１００は、生成した画像データ（第１画像データおよび第２画像データ）を信号処理ＬＳＩ２００に出力する。
【0024】
信号処理ＬＳＩ２００は、イメージセンサ１００から出力された画像データ（第１画像データおよび第２画像データ）を取得する。信号処理ＬＳＩ２００は、取得した第１画像データに対して所定の信号処理を施し、信号処理後の画像データを、例えば、表示部に画像として表示させる。これにより、ユーザは、撮像された画像を、表示部を介して確認することが可能となる。また、信号処理ＬＳＩ２０は、信号処理後の画像データを、例えば、図示しない記憶部に画像データとして記憶させてもよい。
【0025】
信号処理ＬＳＩ２００は、画像データ（第１画像データおよび第２画像データ）を用いた黒レベル補正（クランプ処理）を行う信号処理部２１０を有する。図５は、信号処理部２１０における黒レベル補正（クランプ処理）を説明するための図である。
【0026】
ここで、有効画素領域（画素アレイ部１１１）における複数の画素１１１ａのうち、ＨＯＰＢ領域（画素アレイ部１１２）に隣接する領域内の複数の画素１１１ａを複数の画素１１１ａ’と称するものとする。また、ＨＯＰＢ領域における複数の画素１１２ａおよび有効画素領域における複数の画素１１１ａ’における各行の複数の画素信号をライン信号Ｓｌと称するものとする。ライン信号Ｓｌには、複数の画素１１２ａから得られる複数のＨＯＰＢ信号Ｓｈと、複数の画素１１１ａ’から得られる複数の有効画素信号Ｓｖとが含まれる。
【0027】
ここで、ＨＯＰＢ信号Ｓｈと有効画素信号Ｓｖとの間には所定の相関関係がある。例えば、ＨＯＰＢ信号Ｓｈと有効画素信号Ｓｖとの差分の値が大きい場合には、有効画素領域に光が入射していることが考えられる。一方で、例えば、ＨＯＰＢ信号Ｓｈと有効画素信号Ｓｖとの差分の値が小さい場合には、ＨＯＰＢ信号Ｓｈが想定よりも大きな値となっているときであっても、それは有効画素領域に光が入射している訳ではないと考えられる。従って、ＨＯＰＢ信号Ｓｈと有効画素信号Ｓｖとの差分の値を用いることで、有効画素領域に光が入射しているか否かの判断を行うことが可能である。
【0028】
ライン信号Ｓｌに含まれる画素信号の総数（総サンプル数）を、総数Ｎｍと称するものとする。総数Ｎｍは、例えば、２５６となっている。ライン信号Ｓｌに含まれる周辺画素信号Ｓｈの数（サンプル数）は、例えば、２００となっている。また、ライン信号Ｓｌに含まれる有効画素信号Ｓｖの数（サンプル数）は、例えば、５６となっている。このとき、ライン信号Ｓｌに含まれる周辺画素信号Ｓｈの数（サンプル数）は、ライン信号Ｓｌに含まれる有効画素信号Ｓｖの数（サンプル数）よりも多くなっている。
【0029】
ライン信号Ｓｌにおける有効画素領域寄りの複数の画素信号を、内側信号Ｓａと称するものとする。また、ライン信号ＳｌにおけるＨＯＰＢ領域寄りの複数の画素信号を、外側信号Ｓｂと称するものとする。ライン信号Ｓｌにおける複数の内側信号Ｓａは、ライン信号Ｓｌにおける有効画素領域内の複数の画素１１１ａ’と、ライン信号ＳｌにおけるＨＯＰＢ領域内の複数の画素１１２ａであって、かつ有効画素領域寄りの複数の画素１１２ａとから得られる複数の画素信号である。ライン信号Ｓｌにおける複数の内側信号Ｓａに、ＨＯＰＢ領域内の複数の画素１１２ａが含まれるのは、遮光されているＨＯＰＢ領域に対して光漏れが生じる可能性があるからである。一方、ライン信号Ｓｌにおける複数の外側信号Ｓｂは、ライン信号ＳｌにおけるＨＯＰＢ領域内の複数の画素１１２ａであって、かつ有効画素領域から離れた複数の画素１１２ａから得られる複数の画素信号である。
【0030】
ライン信号Ｓｌに含まれる内側信号Ｓａの数（サンプル数）は、例えば、６４となっている。ライン信号Ｓｌに含まれる外側信号Ｓｂの数（サンプル数）は、例えば、１２８となっている。このとき、ライン信号Ｓｌに含まれる外側信号Ｓｂの数（サンプル数）は、ライン信号Ｓｌに含まれる内側信号Ｓａの数（サンプル数）よりも多くなっている。ライン信号Ｓｌにおける複数の内側信号Ｓａの平均値を、内側信号平均値Ｓａ＿ａｖｇと称するものとする。ライン信号Ｓｌにおける複数の外側信号Ｓｂの平均値を、外側信号平均値Ｓｂ＿ａｖｇと称するものとする。内側信号平均値Ｓａ＿ａｖｇと、外側信号平均値Ｓｂ＿ａｖｇとの差分を、平均値差ΔＡＶＧ（＝Ｓａ＿ａｖｇ－Ｓｂ＿ａｖｇ）と称するものとする。
【0031】
信号処理部２１０は、ＨＯＰＢ領域における複数の画素１１２ａと、有効画素領域における複数の画素１１１ａ’とから得られる複数の画素信号を行単位で処理することにより、黒レベルのオフセット量Ｓｏを行単位で算出する。信号処理部２１０は、平均値差ΔＡＶＧと、ライン信号Ｓｌに含まれる全ての画素信号の積算値Ｓｓとを用いて黒レベルのオフセット量Ｓｏを導出する。
【0032】
ところで、図６に示したように、内側信号平均値Ｓａ＿ａｖｇと、外側信号平均値Ｓｂ＿ａｖｇとの差分（平均値差ΔＡＶＧ（＝Ｓａ＿ａｖｇ－Ｓｂ＿ａｖｇ））が所定の閾値Ｓｔｈを超えたか否かで、オフセット量Ｓｏの導出方法を切り替えるとする。例えば、平均値差ΔＡＶＧが所定の閾値Ｓｔｈ以下のときは、オフセット量Ｓｏとしてライン信号Ｓｌの平均値Ｓｌ＿ａｖｇを用い、平均値差ΔＡＶＧが所定の閾値Ｓｔｈを超えたときは、オフセット量Ｓｏとして外側信号平均値Ｓｂ＿ａｖｇを用いるとする。このようにした場合には、例えば、図６に示したような段差が生じてしまう。その結果、段差の生じた箇所を境界とする黒ずれが１フレーム分の画像の中に生じてしまう。
【0033】
そこで、本実施の形態では、信号処理部２１０は、この段差を緩和するために補正係数Ｌを用いる。信号処理部２１０は、例えば、平均値差ΔＡＶＧが大きくなるにつれて大きくなる補正係数Ｌ（図７参照）を平均値差ΔＡＶＧに掛けることにより得られる値と、積算値Ｓｓとを用いて黒レベルのオフセット量Ｓｏを導出する。補正係数Ｌは、例えば、図７に示したように、平均値差ΔＡＶＧが所定の閾値Ｖｔｈ１よりも小さいとき０となり、平均値差ΔＡＶＧが所定の閾値Ｖｔｈ２（＞Ｖｔｈ１）よりも大きいとき、ライン信号Ｓｌにおける内側信号Ｓａの数Ｎａ（サンプル数）となる。さらに、補正係数Ｌは、例えば、図７に示したように、平均値差ΔＡＶＧが所定の閾値Ｖｔｈ１以上、所定の閾値Ｖｔｈ２以下のとき、平均値差ΔＡＶＧが大きくなるにつれて線形で大きくなる値となっている。
【0034】
閾値Ｖｔｈ１には、例えば、ランダムノイズ等の平均値のばらつきよりも大きな値が設定され得る。これは、ランダムノイズ等によってオフセット量Ｓｏが敏感に変位するのを防ぐためである。閾値Ｖｔｈ２は、補正係数Ｌが線形で変位する箇所の傾きの大きさに応じて設定され得る。
【0035】
信号処理部２１０は、例えば、以下の式を用いて、黒レベルのオフセット量Ｓｏを導出する。その結果、補正係数Ｌは、例えば、図８（Ａ）に示したような変化を示し、オフセット量Ｓｏは、例えば、図８（Ｂ）に示したようななだらかな変化を示す。
【0036】
Ｓｏ＝｛Ｓｓ－Ｌ×ΔＡＶＧ｝／Ｎｍ
Ｓｓ：ライン信号Ｓｌに含まれる全ての画素信号の積算値
Ｌ：補正係数
ΔＡＶＧ：内側信号平均値Ｓａ＿ａｖｇと外側信号平均値Ｓｂ＿ａｖｇとの差分
Ｎｍ：ライン信号Ｓｌに含まれる画素信号の総数
Ｓｓ：ライン信号Ｓｌに含まれる全ての画素信号の積算値
Ｌ：補正係数
ΔＡＶＧ：内側信号平均値Ｓａ＿ａｖｇと外側信号平均値Ｓｂ＿ａｖｇとの差分
Ｎｍ：ライン信号Ｓｌに含まれる画素信号の総数
【0037】
図９は、信号処理部２１０の概略構成例を表す図である。信号処理部２１０は、例えば、全体積算部２１１、内側平均値算出部２１２、外側平均値算出部２１３、減算部２１４、補正係数算出部２１５、乗算部２１６、減算部２１７、平均値算出部２１８および補正部２１９を有する。
【0038】
全体積算部２１１は、ＨＯＰＢ領域における複数の画素１１２ａと、有効画素領域における複数の画素１１１ａ’とから得られる複数の画素信号を行単位で積算することにより、積算値Ｓｓを行単位で算出する。全体積算部２１１は、積算値Ｓｓが得られるたびに、積算値Ｓｓを減算部２１７に出力する。
【0039】
内側平均値算出部２１２は、複数の内側信号Ｓａの平均値（内側信号平均値Ｓａ＿ａｖｇ）を行単位で算出する。内側平均値算出部２１２は、内側信号平均値Ｓａ＿ａｖｇが得られるたびに、内側信号平均値Ｓａ＿ａｖｇを減算部２１４に出力する。外側平均値算出部２１３は、複数の外側信号Ｓｂの平均値（外側信号平均値Ｓｂ＿ａｖｇ）を行単位で算出する。外側平均値算出部２１３は、外側信号平均値Ｓｂ＿ａｖｇが得られるたびに、外側信号平均値Ｓｂ＿ａｖｇを減算部２１４に出力する。
【0040】
減算部２１４は、内側信号平均値Ｓａ＿ａｖｇから外側信号平均値Ｓｂ＿ａｖｇを減じることにより平均値差ΔＡＶＧを行単位で算出する。減算部２１４は、算出した平均値差ΔＡＶＧを補正係数算出部２１５および乗算部２１６に出力する。補正係数算出部２１５は、平均値差ΔＡＶＧに基づいて補正係数Ｌを導出する。補正係数算出部２１５は、導出した補正係数Ｌを乗算部２１６に出力する。乗算部２１６は、補正係数Ｌを平均値差ΔＡＶＧに掛け、それにより得られた値（Ｌ×ΔＡＶＧ）を減算部２１７に出力する。
【0041】
減算部２１７は、積算値ＳｓからＬ×ΔＡＶＧを減じ、それにより得られた値（Ｓｓ－Ｌ×ΔＡＶＧ）を平均値算出部２１８に出力する。平均値算出部２１８は、減算部２１７から入力された値（Ｓｓ－Ｌ×ΔＡＶＧ）を、ライン信号Ｓｌに含まれる画素信号の総数Ｎｍで除算することにより、行単位でオフセット量Ｓｏを算出する。平均値算出部２１８は、得られたオフセット量Ｓｏを補正部２１９に出力する。補正部２１９は、有効画素領域における各画素１１１ａから得られた画素信号に対して、オフセット量Ｓｏを用いた黒レベル補正を行単位で行う。補正部２１９は、有効画素領域における各画素１１１ａから得られた画素信号からオフセット量Ｓｏを減じる処理を行単位で実行する。補正部２１９は、このようにして黒レベルを補正した画素信号を信号処理ＬＳＩ２００に出力する。
【0042】
[効果]
次に、カメラモジュール１の効果について説明する。
次に、カメラモジュール１の効果について説明する。
【0043】
本実施の形態では、ＨＯＰＢ領域内の複数の画素１１２ａと、有効画素領域内の複数の画素１１１ａ’とから得られる複数の画素信号を処理することにより、黒レベルのオフセット量が算出される。これにより、ＨＯＰＢ領域の画素数を大幅に増やすことなく、フレーム間での黒レベルのばらつきを抑えることができる。また、本実施の形態では、黒レベルのオフセット量が行単位で算出される。これにより、１フレーム分の遅延を発生させることなく、黒レベル補正を行うことができる。その結果、補正による遅延を抑制することができる。
【0044】
また、本実施の形態では、ライン信号Ｓｌにおける有効画素領域寄りの複数の画素信号(内側信号Ｓａ)の平均値（Ｓｖ＿ａｖｇ）と、ライン信号ＳｌにおけるＨＯＰＢ領域寄りの複数の画素信号（外側信号Ｓｂ）の平均値（Ｓｂ＿ａｖｇ）との差分（ΔＡＶＧ）と、ライン信号Ｓｌに含まれる全ての画素信号の積算値Ｓｓとを用いてオフセット量Ｓｏが導出される。これにより、有効画素領域に光が入射する場合においても適切に有効画素領域における黒レベルのオフセット量Ｓｏを推定することが可能である。
【0045】
また、本実施の形態では、平均値差ΔＡＶＧが大きくなるにつれて大きくなる補正係数Ｌを平均値差ΔＡＶＧに掛けることにより得られる値と、積算値Ｓｓとを用いてオフセット量Ｓｏが導出される。これにより、オフセット量Ｓｏに生じる段差を緩和することができる。その結果、オフセット量Ｓｏに起因する黒ずれが１フレーム分の画像の中に生じるのを低減することができる。
【0046】
また、本実施の形態では、平均値差ΔＡＶＧを求める際に用いる内側信号Ｓａに、ＨＯＰＢ領域内の複数の画素１１２ａが含まれる。これにより、遮光されているＨＯＰＢ領域に対して光漏れが生じている場合であっても、その影響を抑えつつ、有効画素領域における黒レベルのオフセット量Ｓｏを行ごとに推定することが可能である。
【0047】
＜３．変形例＞
次に、カメラモジュール１の変形例について説明する。
次に、カメラモジュール１の変形例について説明する。
【0048】
[変形例Ａ]
上記実施の形態において、補正係数Ｌは、例えば、図１０に示したように、平均値差ΔＡＶＧが所定の閾値Ｖｔｈ１以上、所定の閾値Ｖｔｈ２以下のとき、平均値差ΔＡＶＧが大きくなるにつれて折れ線状に大きくなる値となっていてもよい。このようにした場合には、画素アレイ部１００の特性に応じてオフセット量Ｓｏを適切に調整することが可能となる。
上記実施の形態において、補正係数Ｌは、例えば、図１０に示したように、平均値差ΔＡＶＧが所定の閾値Ｖｔｈ１以上、所定の閾値Ｖｔｈ２以下のとき、平均値差ΔＡＶＧが大きくなるにつれて折れ線状に大きくなる値となっていてもよい。このようにした場合には、画素アレイ部１００の特性に応じてオフセット量Ｓｏを適切に調整することが可能となる。
【0049】
上記実施の形態において、補正係数Ｌは、例えば、図１１に示したように、平均値差ΔＡＶＧが所定の閾値Ｖｔｈ１以上、所定の閾値Ｖｔｈ２以下のとき、平均値差ΔＡＶＧが大きくなるにつれてＳ字状に大きくなる値となっていてもよい。このようにした場合には、回路コストが増大するものの、オフセット量Ｓｏに生じる段差をより一層、緩和することができる。その結果、オフセット量Ｓｏに起因する黒ずれが１フレーム分の画像の中に生じるのをより一層、低減することができる。
【0050】
上記実施の形態において、補正係数Ｌは、例えば、図１２に示したように、平均値差ΔＡＶＧが所定の閾値Ｖｔｈ１以上、所定の閾値Ｖｔｈ２以下のとき、平均値差ΔＡＶＧが大きくなるにつれて放物線状に大きくなる値となっていてもよい。このようにした場合には、有効画素領域への光入射の影響を急速に低減することができる。
【0051】
上記実施の形態において、補正係数Ｌは、例えば、図１３に示したように、平均値差ΔＡＶＧが０以上、所定の閾値Ｖｔｈ２以下のとき、平均値差ΔＡＶＧが大きくなるにつれて線形状に大きくなる値となっていてもよい。このようにした場合には、有効画素領域への光入射の影響の可能性を最大限、なくすことができる。
【0052】
[変形例Ｂ]
上記実施の形態およびその変形例において、画素アレイ部１１２が、例えば、図３に示したように、画素アレイ部１１１の、行方向における両側にそれぞれ配置されている場合には、信号処理部２１０は、例えば、図１４に示したように、左側検出部２１０Ａと、右側検出部２１０Ｂとを有していてもよい。
上記実施の形態およびその変形例において、画素アレイ部１１２が、例えば、図３に示したように、画素アレイ部１１１の、行方向における両側にそれぞれ配置されている場合には、信号処理部２１０は、例えば、図１４に示したように、左側検出部２１０Ａと、右側検出部２１０Ｂとを有していてもよい。
【0053】
このとき、左側検出部２１０Ａは、画素アレイ部１１１の、行方向における左側に配置された画素アレイ部１１２を用いた信号検出を行うものである。左側検出部２１０Ａは、例えば、全体積算部２１１、内側平均値算出部２１２、外側平均値算出部２１３、減算部２１４、補正係数算出部２１５、乗算部２１６、減算部２１７および平均値算出部２１８を有する。右側検出部２１０Ｂは、画素アレイ部１１１の、行方向における右側に配置された画素アレイ部１１２を用いた信号検出を行うものである。左側検出部２１０Ｂは、例えば、全体積算部２１１、内側平均値算出部２１２、外側平均値算出部２１３、減算部２１４、補正係数算出部２１５、乗算部２１６、減算部２１７および平均値算出部２１８を有する。
【0054】
信号処理部２１０は、さらに、例えば、図１４に示したように、補正部２１９および左右間補間部２２０を有していてもよい。このとき、左右間補間部２２０は、左側検出部２１０Ａで得られたオフセット量Ｓｏ（＝ＳｏＬ）と、右側検出部２１０Ｂで得られたオフセット量Ｓｏ（＝ＳｏＲ）との間に差異がある場合に、その差異を考慮した新たなオフセット量Ｓｏ’を導出する。左右間補間部２２０は、例えば、図１５に示したように、効画素領域における左端の画素１１１ａをＸ＝０とし、効画素領域における右端の画素１１１ａをＸ＝Ｎとする以下の式で導出される値をオフセット量Ｓｏ’としてもよい。
Ｓｏ’＝（（ＳｏＲ－ＳｏＬ）／Ｎ）×Ｘ＋ＳｏＬ
Ｓｏ’＝（（ＳｏＲ－ＳｏＬ）／Ｎ）×Ｘ＋ＳｏＬ
【0055】
補正部２１９は、有効画素領域における各画素１１１ａから得られた画素信号からオフセット量Ｓｏ’を減じる処理を行単位で実行する。補正部２１９は、このようにして黒レベルを補正した画素信号を信号処理ＬＳＩ２００に出力する。このようにした場合には、有効画素の黒レベルがＸ方向（行方向）に傾斜をもっていた場合であっても、黒レベルを精度よく補正することができる。
【0056】
[変形例Ｃ]
上記実施の形態およびその変形例において、画素アレイ部１１０が、例えば、図１５に示したように、画素アレイ部１１１の、列方向に隣接する画素アレイ部１１３を更に含んで構成されていてもよい。このとき、画素アレイ部１１３では、複数の画素１１３ａが行列（アレイ）状に配置される。各画素１１３ａは、光電変換を行うフォトダイオードを含んで構成される。イメージセンサ１００において画素アレイ部１１３が設けられた領域は、イメージセンサ１００の受光面に隣接する周辺画素領域であって、かつメタル等で遮光された領域（ＶＯＰＢ（Vertical Optical Black）領域）に相当する。
上記実施の形態およびその変形例において、画素アレイ部１１０が、例えば、図１５に示したように、画素アレイ部１１１の、列方向に隣接する画素アレイ部１１３を更に含んで構成されていてもよい。このとき、画素アレイ部１１３では、複数の画素１１３ａが行列（アレイ）状に配置される。各画素１１３ａは、光電変換を行うフォトダイオードを含んで構成される。イメージセンサ１００において画素アレイ部１１３が設けられた領域は、イメージセンサ１００の受光面に隣接する周辺画素領域であって、かつメタル等で遮光された領域（ＶＯＰＢ（Vertical Optical Black）領域）に相当する。
【0057】
本変形例において、ライン信号Ｓｌに含まれる画素信号の総数Ｎｍは、例えば、２００となっている。ライン信号Ｓｌに含まれる周辺画素信号Ｓｈの数（サンプル数）は、例えば、１６となっている。ライン信号Ｓｌに含まれる有効画素信号Ｓｖの数（サンプル数）は、例えば、１８４となっている。ライン信号Ｓｌに含まれる内側信号Ｓａの数（サンプル数）は、例えば、８となっている。ライン信号Ｓｌに含まれる外側信号Ｓｂの数（サンプル数）は、例えば、１９２となっている。
【0058】
イメージセンサ１００は、各画素１１３ａでの光電変換により得られた各画素１１３ａの画素値をＡ／Ｄ変換することで、黒レベルもしくは黒レベルに近いレベルの画像データ（以降では、「第３画像データ」と称する）を生成する。第３画像データは、各画素１１３ａから得られた複数の画素信号（デジタル信号）によって構成される。イメージセンサ１００は、生成した画像データ（第１画像データ、第２画像データおよび第３画像データ）を信号処理ＬＳＩ２００に出力する。
【0059】
信号処理ＬＳＩ２００は、イメージセンサ１００から出力された画像データ（第１画像データ、第２画像データおよび第３画像データ）を取得する。信号処理ＬＳＩ２００は、取得した第１画像データに対して所定の信号処理を施し、信号処理後の画像データを、例えば、表示部に画像として表示させる。これにより、ユーザは、撮像された画像を、表示部を介して確認することが可能となる。
【0060】
信号処理部２１０は、画像データ（第１画像データ、第２画像データおよび第３画像データ）を用いた黒レベル補正（クランプ処理）を行う。信号処理部２１０は、例えば、図１６に示したように、左側検出部２１０Ａと右側検出部２１０Ｂとを有していてもよい。
【0061】
このとき、左側検出部２１０Ａは、画素アレイ部１１１の、行方向における左側に配置された画素アレイ部１１２と、画素アレイ部１１３とを用いた信号検出を行うものである。左側検出部２１０Ａは、例えば、全体平均値算出部２２１、ＶＯＰＢ平均値算出部２２２、内側平均値算出部２１２、外側平均値算出部２１３、減算部２１４、補正係数算出部２１５およびブレンド部２２３を有する。
【0062】
右側検出部２１０Ｂは、画素アレイ部１１１の、行方向における右側に配置された画素アレイ部１１２と、画素アレイ部１１３とを用いた信号検出を行うものである。左側検出部２１０Ｂは、例えば、全体平均値算出部２２１、ＶＯＰＢ平均値算出部２２２、内側平均値算出部２１２、外側平均値算出部２１３、減算部２１４、補正係数算出部２１５およびブレンド部２２３を有する。
【0063】
左側検出部２１０Ａにおいて、全体平均値算出部２２１は、ＨＯＰＢ領域における複数の画素１１２ａと、有効画素領域における複数の画素１１１ａ’とから得られる複数の画素信号の平均値Ｓ＿ａｖｇ１を行単位で算出する。右側検出部２１０Ｂにおいて、全体平均値算出部２２１は、ＨＯＰＢ領域における複数の画素１１２ａと、有効画素領域における複数の画素１１１ａ’とから得られる複数の画素信号の平均値Ｓ＿ａｖｇ２を行単位で算出する。左側検出部２１０Ａおよび右側検出部２１０Ｂにおいて、平均値算出部２２２は、ＶＯＰＢ領域における複数の画素１１３ａから得られる複数の画素信号の平均値Ｓ＿ａｖｇ３を算出する。
【0064】
左側検出部２１０Ａにおいて、ブレンド部２２３は、平均値Ｓ＿ａｖｇ１、平均値Ｓ＿ａｖｇ３、および補正係数Ｌを用いて、オフセット量Ｓｏを導出する。ブレンド部２２３は、例えば、以下の式を用いてオフセット量Ｓｏを導出する。
Ｓｏ＝（Ｓ＿ａｖｇ１×（Ｎａ－Ｌ）＋Ｓ＿ａｖｇ３×Ｌ）／Ｎａ
Ｓｏ＝（Ｓ＿ａｖｇ１×（Ｎａ－Ｌ）＋Ｓ＿ａｖｇ３×Ｌ）／Ｎａ
【0065】
この式からは、有効画素領域内の全ての画素１１１ａ’に光が入射している場合、有効画素領域における複数の画素１１１ａ’をオフセット量Ｓｏの導出に使わず、ＶＯＰＢ領域における複数の画素１１３ａをオフセット量Ｓｏの導出に使うことがわかる。つまり、ブレンド部２２３は、有効画素領域に対する光入射に応じて、有効画素領域をオフセット量Ｓｏの導出に用いるか否かを判定するようになっていてもよい。
【0066】
本変形例では、ＶＯＰＢ領域における複数の画素１１３ａから得られる複数の画素信号もオフセット量Ｓｏの導出に用いられる。これにより、上記で例示したように、ＨＯＰＢ領域の画素数を少なくせざるを得ない場合であっても、黒レベルを精度よく補正することができる。
【0067】
[変形例Ｄ]
上記実施の形態およびその変形例において、ライン信号Ｓｌに含まれる周辺画素信号Ｓｈの数（サンプル数）が、ライン信号Ｓｌに含まれる有効画素信号Ｓｖの数（サンプル数）よりも少なくなっていてもよい。この場合、総数Ｎｍは、例えば、２００となっている。ライン信号Ｓｌに含まれる周辺画素信号Ｓｈの数（サンプル数）は、例えば、６４となっている。また、ライン信号Ｓｌに含まれる有効画素信号Ｓｖの数（サンプル数）は、例えば、１３６となっている。
上記実施の形態およびその変形例において、ライン信号Ｓｌに含まれる周辺画素信号Ｓｈの数（サンプル数）が、ライン信号Ｓｌに含まれる有効画素信号Ｓｖの数（サンプル数）よりも少なくなっていてもよい。この場合、総数Ｎｍは、例えば、２００となっている。ライン信号Ｓｌに含まれる周辺画素信号Ｓｈの数（サンプル数）は、例えば、６４となっている。また、ライン信号Ｓｌに含まれる有効画素信号Ｓｖの数（サンプル数）は、例えば、１３６となっている。
【0068】
ライン信号Ｓｌに含まれる周辺画素信号Ｓｈの数（サンプル数）が、例えば、更に少ない１６となっており、ライン信号Ｓｌに含まれる有効画素信号Ｓｖの数（サンプル数）が、例えば、１９２となっていてもよい。このようにした場合、変形例Ｃに記載したように、ＶＯＰＢ領域に複数の画素１１３ａを設け、ＶＯＰＢ領域における複数の画素１１３ａから得られる複数の画素信号もオフセット量Ｓｏの導出に用いることが好ましい。その結果、オフセット量Ｓｏを精度よく推定することができる。
【0069】
＜４．応用例＞
[応用例１]
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
[応用例１]
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0070】
図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0071】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【0072】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0073】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0074】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0075】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0076】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0077】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【0078】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0079】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検出した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0080】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0081】
図１９は、撮像部１２０３１の設置位置の例を示す図である。
【0082】
車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【0083】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0084】
なお、図１９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0085】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0086】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0087】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0088】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0089】
以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像装置３は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、高画質な撮影画像を得ることができるので、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。
【0090】
[応用例２]
図２０は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図２０は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【0091】
図２０では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【0092】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【0093】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0094】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ： Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。
【0095】
ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【0096】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【0097】
光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【0098】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【0099】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0100】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0101】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0102】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【0103】
【0104】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【0105】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【0106】
撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【0107】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【0108】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【0109】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【0110】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【0111】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
【0112】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【0113】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【0114】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【0115】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【0116】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【0117】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【0118】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0119】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【0120】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、内視鏡１１１００のカメラヘッド１１１０２に設けられた撮像部１１４０２に好適に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、高画質な撮影画像を得ることができるので、高画質な内視鏡１１１００を提供することができる。
【0121】
以上、実施の形態およびその変形例、適用例および応用例を挙げて本開示を説明したが、本開示は実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
【0122】
また、本開示は、以下のような構成を取ることも可能である。
（１）
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域とを備えた撮像装置の信号処理方法であって、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出することと、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行うことと
を含む
信号処理方法。
（２）
前記複数の第２画素および前記複数の隣接画素における各行の複数の画素信号をライン信号としたとき、前記ライン信号における前記有効画素領域寄りの複数の画素信号の平均値である第１平均値と、前記ライン信号における前記周辺画素領域寄りの複数の画素信号の平均値である第２平均値との差分と、前記ライン信号に含まれる全ての画素信号の積算値とを用いて前記オフセット量を導出することを更に含む
（１）に記載の信号処理方法。
（３）
前記差分が大きくなるにつれて大きくなる係数を前記差分に掛けることにより得られる値と、前記積算値とを用いて前記オフセット量を導出することを更に含む
（２）に記載の信号処理方法。
（４）
前記ライン信号における前記有効画素領域寄りの複数の画素信号は、前記ライン信号における前記有効画素領域内の複数の第１画素と、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域寄りの複数の第２画素とから得られる複数の画素信号であり、
前記ライン信号における前記周辺画素領域寄りの複数の画素信号は、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域から離れた複数の第２画素から得られる複数の画素信号である
（１）ないし（３）のいずれかつに記載の信号処理方法。
（５）
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域とを備えた撮像装置における信号処理装置であって、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出するオフセット量算出部と、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行う黒レベル補正部と
を備えた
信号処理装置。
（６）
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、
前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域と、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出するオフセット量算出部と、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行う黒レベル補正部と
を備えた
撮像装置。
（７）
前記オフセット量算出部は、前記複数の第２画素および前記複数の隣接画素における各行の複数の画素信号をライン信号としたとき、前記ライン信号における前記有効画素領域寄りの複数の画素信号の平均値である第１平均値と、前記ライン信号における前記周辺画素領域寄りの複数の画素信号の平均値である第２平均値との差分と、前記ライン信号に含まれる全ての画素信号の積算値とを用いて前記オフセット量を導出する
（６）に記載の撮像装置。
（８）
前記オフセット量算出部は、前記差分が大きくなるにつれて大きくなる係数を前記差分に掛けることにより得られる値と、前記積算値とを用いて前記オフセット量を導出する
（７）に記載の撮像装置。
（９）
前記ライン信号における前記有効画素領域寄りの複数の画素信号は、前記ライン信号における前記有効画素領域内の複数の第１画素と、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域寄りの複数の第２画素とから得られる複数の画素信号であり、
前記ライン信号における前記周辺画素領域寄りの複数の画素信号は、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域から離れた複数の第２画素から得られる複数の画素信号である
（６）ないし（８）のいずれかつに記載の撮像装置。
（１）
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域とを備えた撮像装置の信号処理方法であって、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出することと、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行うことと
を含む
信号処理方法。
（２）
前記複数の第２画素および前記複数の隣接画素における各行の複数の画素信号をライン信号としたとき、前記ライン信号における前記有効画素領域寄りの複数の画素信号の平均値である第１平均値と、前記ライン信号における前記周辺画素領域寄りの複数の画素信号の平均値である第２平均値との差分と、前記ライン信号に含まれる全ての画素信号の積算値とを用いて前記オフセット量を導出することを更に含む
（１）に記載の信号処理方法。
（３）
前記差分が大きくなるにつれて大きくなる係数を前記差分に掛けることにより得られる値と、前記積算値とを用いて前記オフセット量を導出することを更に含む
（２）に記載の信号処理方法。
（４）
前記ライン信号における前記有効画素領域寄りの複数の画素信号は、前記ライン信号における前記有効画素領域内の複数の第１画素と、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域寄りの複数の第２画素とから得られる複数の画素信号であり、
前記ライン信号における前記周辺画素領域寄りの複数の画素信号は、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域から離れた複数の第２画素から得られる複数の画素信号である
（１）ないし（３）のいずれかつに記載の信号処理方法。
（５）
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域とを備えた撮像装置における信号処理装置であって、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出するオフセット量算出部と、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行う黒レベル補正部と
を備えた
信号処理装置。
（６）
受光面に設けられ、複数の第１画素が行列状に配置された有効画素領域と、
前記受光面の行方向に隣接する遮光領域に設けられ、複数の第２画素が行列状に配置された周辺画素領域と、
前記複数の第２画素と、前記有効画素領域のうち、前記周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号とを行単位で処理することにより、黒レベルのオフセット量を行単位で算出するオフセット量算出部と、
前記複数の第１画素から得られた複数の画素信号に対して、前記オフセット量を用いた黒レベル補正を行単位で行う黒レベル補正部と
を備えた
撮像装置。
（７）
前記オフセット量算出部は、前記複数の第２画素および前記複数の隣接画素における各行の複数の画素信号をライン信号としたとき、前記ライン信号における前記有効画素領域寄りの複数の画素信号の平均値である第１平均値と、前記ライン信号における前記周辺画素領域寄りの複数の画素信号の平均値である第２平均値との差分と、前記ライン信号に含まれる全ての画素信号の積算値とを用いて前記オフセット量を導出する
（６）に記載の撮像装置。
（８）
前記オフセット量算出部は、前記差分が大きくなるにつれて大きくなる係数を前記差分に掛けることにより得られる値と、前記積算値とを用いて前記オフセット量を導出する
（７）に記載の撮像装置。
（９）
前記ライン信号における前記有効画素領域寄りの複数の画素信号は、前記ライン信号における前記有効画素領域内の複数の第１画素と、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域寄りの複数の第２画素とから得られる複数の画素信号であり、
前記ライン信号における前記周辺画素領域寄りの複数の画素信号は、前記ライン信号における前記周辺画素領域内の複数の第２画素であって、かつ前記有効画素領域から離れた複数の第２画素から得られる複数の画素信号である
（６）ないし（８）のいずれかつに記載の撮像装置。
【0123】
本開示の一実施の形態に係る信号処理方法、信号処理装置および撮像装置では、有効画素領域の行方向に隣接する周辺画素領域内の複数の第２画素と、有効画素領域のうち、周辺画素領域に隣接する領域内の複数の第１画素である複数の隣接画素とから得られる複数の画素信号を処理することにより、黒レベルのオフセット量が算出される。これにより、周辺画素領域の画素数を大幅に増やすことなく、フレーム間での黒レベルのばらつきを抑えることができる。また、本実施の形態では、黒レベルのオフセット量が行単位で算出される。これにより、１フレーム分の遅延を発生させることなく、黒レベル補正を行うことができる。その結果、補正による遅延を抑制することができる。
【符号の説明】
【0124】
１…カメラモジュール、１００…イメージセンサ、１１０，１１１，１１２，１１３…画素アレイ部、１１１ａ，１１２ａ，１１３ａ…画素、２００…信号処理ＬＳＩ、２１０…信号処理部、２１０Ａ…左側検出部、２１０Ｂ…右側検出部、２１１…全体積算部、２１２…内側平均値算出部、２１３…外側平均値算出部、２１４…減算部、２１５…補正係数算出部、２１６…乗算部、２１７…減算部、２１８…平均値算出部、２１９…補正部、２２０…左右間補間部、２２１…全体平均値算出部、２２２…ＶＯＰＢ平均値算出部、２２３…ブレンド部、１１１０…画素アレイ部、１１１１…有効画素領域、１１１１ａ，１１１２ａ…画素、１１１２…ＯＰＢ領域、Ｌ…補正係数、Ｎａ…内側信号サンプル数、Ｓａ…内側信号、Ｓａ＿ａｖｇ…内側信号平均値、Ｓｂ…外側信号、Ｓｂ＿ａｖｇ…外側信号平均値、Ｓｈ…周辺画素信号、Ｓｌ…ライン信号、Ｓｌ＿ａｖｇ…ライン平均値、Ｓｏ…オフセット量、Ｓｖ…有効画素信号、Ｖｔｈ１，Ｖｔｈ２，Ｖｔｈ３，Ｖｔｈ４…閾値、ΔＡＶＧ…平均値差。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】