(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022143220
(43)【公開日】2022-10-03
(54)【発明の名称】撮像装置、撮像方法及び電子機器
(51)【国際特許分類】
H04N 5/232 20060101AFI20220926BHJP
G02B 5/20 20060101ALI20220926BHJP
H04N 5/225 20060101ALI20220926BHJP
H01L 27/146 20060101ALI20220926BHJP
【ＦＩ】
H04N5/232
G02B5/20 101
H04N5/225 400
H04N5/232 290
H01L27/146 D
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2021043627
(22)【出願日】2021-03-17
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】ダンダムディ サトヤナラヤナ
【テーマコード（参考）】
2H148
4M118
5C122
【Ｆターム（参考）】
2H148BD02
2H148BD03
2H148BD06
2H148BG11
4M118AA04
4M118AB01
4M118BA14
4M118DD12
4M118FA06
4M118FA33
4M118GC08
4M118GC13
4M118GC14
4M118GC17
4M118GD02
4M118GD07
5C122DA13
5C122DA14
5C122DA26
5C122EA54
5C122FB16
5C122FC02
5C122FC06
5C122FF11
5C122FH02
5C122FH09
5C122FH11
5C122FH18
5C122HA86
5C122HB01
(57)【要約】
【課題】被写体の色を細かく精度よく検出しつつ、小型化が可能で、且つ、消費電力の増加を抑えることができる撮像装置を提供する。
【解決手段】第１の帯域の波長を有する光を透過する第１のフィルタ領域と、第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、を備える、撮像装置を提供する。
【選択図】図１
【解決手段】第１の帯域の波長を有する光を透過する第１のフィルタ領域と、第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、を備える、撮像装置を提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
を備える、撮像装置。
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
を備える、撮像装置。
【請求項2】
前記制御部は、前記第１の画素アレイ領域と前記第２の画素アレイ領域との位置関係に基づき、制御する前記画素を選択する、請求項１に記載の撮像装置。
【請求項3】
前記第２のフィルタ領域及び前記第２の画素アレイ領域を複数個有し、
前記各第２のフィルタは、互いに異なる帯域の波長の光を透過する、
請求項１に記載の撮像装置。
前記各第２のフィルタは、互いに異なる帯域の波長の光を透過する、
請求項１に記載の撮像装置。
【請求項4】
前記制御部は、前記対象領域の色彩に応じて、複数の第２の画素アレイ領域から、制御する１つ以上の前記第２の画素アレイ領域を選択する、請求項３に記載の撮像装置。
【請求項5】
前記第１及び第２のフィルタ領域は、前記カラーフィルタの同一面内に所定の配列パターンで配列する、互いに異なる波長の光を透過する複数のサブフィルタから構成される、請求項１に記載の撮像装置。
【請求項6】
前記第１のフィルタ領域を構成する前記サブフィルタの面積は、前記第２のフィルタ領域を構成する前記サブフィルタの面積と異なる、請求項５に記載の撮像装置。
【請求項7】
前記第１のフィルタ領域を構成する前記サブフィルタの数は、前記第２のフィルタ領域を構成する前記サブフィルタの数と異なる、請求項５に記載の撮像装置。
【請求項8】
前記第１のフィルタ領域は、ベイヤー配列で配列する、赤色光を透過する第１のサブフィルタと、緑色光を透過する第２のサブフィルタと、青色光を透過する第３のサブフィルタとから構成される、請求項５に記載の撮像装置。
【請求項9】
前記第１及び第２の画素アレイ領域は、基板上にマトリックス状に配置された複数の画素から構成される、請求項１に記載の撮像装置。
【請求項10】
前記第１の画素アレイ領域を構成する前記画素の面積は、前記第２の画素アレイ領域を構成する前記画素の面積と異なる、請求項９に記載の撮像装置。
【請求項11】
前記第１の画素アレイ領域を構成する前記画素の数は、前記第２の画素アレイ領域を構成する前記画素の数と異なる、請求項９に記載の撮像装置。
【請求項12】
前記カラーフィルタに光を導くレンズ部をさらに備える、請求項１に記載の撮像装置。
【請求項13】
前記レンズ部は、前記第１及び第２のフィルタ領域にそれぞれ対応する複数のレンズから構成される、請求項１２に記載の撮像装置。
【請求項14】
前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスと、前記第２のフィルタ領域に対応する前記レンズによるフォーカスとを、独立して、又は、同時に、調整する、請求項１３に記載の撮像装置。
【請求項15】
前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスの調整結果と前記第２のフィルタ領域に対応する前記レンズによるフォーカスの調整結果との組み合わせに基づいて、第１の画素アレイ領域の対象物と前記第２の画素アレイ領域の対象物との相対距離情報を取得する、請求項１３に記載の撮像装置。
【請求項16】
前記処理部は、前記対象領域として物体を検出する、請求項１に記載の撮像装置。
【請求項17】
前記処理部は、前記対象領域として顔画像の領域を検出する、請求項１６に記載の撮像装置。
【請求項18】
前記第１の画像と前記第２の画像とは、異なる撮像条件で取得される、請求項１に記載の撮像装置。
【請求項19】
前記第１の画像と前記第２の画像とを合成する合成部をさらに備える、請求項１に記載の撮像装置。
【請求項20】
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
を有する撮像装置を用いた撮像方法であって、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出し、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する、
ことを含む撮像方法。
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
を有する撮像装置を用いた撮像方法であって、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出し、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する、
ことを含む撮像方法。
【請求項21】
撮像装置を搭載する電子機器であって、
前記撮像装置は、
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
を有する、
電子機器。
前記撮像装置は、
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
を有する、
電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置、撮像方法及び電子機器に関する。
【背景技術】
【0002】
一般的に使用されている撮像装置は、ＲＧＢカメラ（可視光カメラ）であり、幅広い範囲の波長を有する光を３つのＲＧＢ原色として検出することができる。しかしながら、ＲＧＢカメラでは、人間の目には見えない微妙な色の違いを捉えることが難しい。そこで、被写体の色を精度よく検出、再現するために、光の波長を細かく複数に分けて検出することが可能なマルチスペクトルカメラを利用する場合がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２００９／１５１９０３号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記マルチスペクトルカメラでは、被写体象に係る光の波長を細かく複数に分けて検出するために、回折格子、複数のカラーフィルタ、複数の受光部等の多数の光学部品や撮像部品を必要とすることから、構成が複雑になりやすく、製造コストが増加することを避けることが難しい。さらに、マルチスペクトルカメラでは、構成が複雑であることから、小型化が難しく、且つ、消費電力の増加を抑えることは難しい。
【0005】
そこで、本開示では、被写体の色を細かく精度よく検出しつつ、小型化が可能で、且つ、消費電力の増加を抑えることができる、撮像装置、撮像方法及び電子機器を提案する。
【課題を解決するための手段】
【0006】
本開示によれば、第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部とを備える撮像装置が提供される。
【0007】
また、本開示によれば、第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部とを有する撮像装置を用いた撮像方法であって、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出し、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する、ことを含む撮像方法が提供される。
【0008】
さらに、本開示によれば、撮像装置を搭載する電子機器であって、前記撮像装置は、第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部とを有する、電子機器が提供される。
【図面の簡単な説明】
【0009】
【図1】本開示の実施形態に係る撮像装置１０の構成の一例を示す模式図である。
【図7】本開示の実施形態に係る撮像方法のフローチャート図である。
【図8】本開示の実施形態に係る撮像方法を説明するための説明図（その１）である。
【図9】本開示の実施形態に係る撮像方法を説明するための説明図（その２）である。
【図10】本開示の実施形態に係る撮像方法を説明するための説明図（その３）である。
【図11】本開示の実施形態に係る撮像方法で使用されるテーブル４３２の一例を説明するための説明図である。
【図12】スマートフォンの概略的な機能構成の一例を示すブロック図である。
【図13】無人飛行体の外観の模式図である。
【図14】無人飛行体の概略的な機能構成の一例を示すブロック図である。
【図15】内視鏡手術システムの概略的な構成の一例を示す図である。
【図16】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図17】車両制御システムの概略的な構成の一例を示すブロック図である。
【図18】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0010】
以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0011】
なお、説明は以下の順序で行うものとする。
１． 本開示の実施形態を創作するに至る背景
２． 実施形態
２．１ 詳細構成
２．２ 撮像方法
３． まとめ
４． 応用例
４．１ スマートフォンへの応用例
４．２ 無人飛行体への応用例
４．３ 内視鏡手術システムへの応用例
４．４ 車両等の移動体への応用例
５． 補足
１． 本開示の実施形態を創作するに至る背景
２． 実施形態
２．１ 詳細構成
２．２ 撮像方法
３． まとめ
４． 応用例
４．１ スマートフォンへの応用例
４．２ 無人飛行体への応用例
４．３ 内視鏡手術システムへの応用例
４．４ 車両等の移動体への応用例
５． 補足
【0012】
＜＜１． 本開示の実施形態を創作するに至る背景＞＞
まずは、本開示の実施形態を説明する前に、本発明者が本開示の実施形態を創作するに至る背景について説明する。
まずは、本開示の実施形態を説明する前に、本発明者が本開示の実施形態を創作するに至る背景について説明する。
【0013】
先に説明したように、一般的に使用されている撮像装置は、ＲＧＢカメラであり、幅広い範囲の波長を有する光を３つのＲＧＢ原色として検出することができる。しかしながら、ＲＧＢカメラでは、人間の目には見えない微妙な色の違いを捉えることが難しく、被写体の色を精度よく検出、再現することに限界がある。そこで、被写体の色を精度よく検出、再現するために、光の波長を細かく複数に分けて検出する（高分解能で検出する）ことが可能なマルチスペクトルカメラを利用する場合がある。
【0014】
上記マルチスペクトルカメラでは、被写体象に係る光の波長を３つではなく、細かく複数に分けて検出するために、回折格子、複数のカラーフィルタ、複数の受光部等の多数の光学部品や撮像部品を必要とすることから、構成が複雑になりやすく、製造コストが増加することを避けることが難しい。さらに、マルチスペクトルカメラでは、構成が複雑であることから、小型化が難しく、且つ、消費電力の増加を抑えることは難しいことから、スマートフォン等の携帯端末に搭載することが難しかった。
【0015】
そこで、本発明者は、このような状況を鑑みて、以下に説明する本開示の実施形態を創作するに至った。本発明者が創作した本開示の実施形態においては、撮像装置の有する１つのカラーフィルタは、広帯域の波長の光を透過する領域と、狭帯域の波長の光を透過する１つ又は複数の領域とを含む。さらに、本実施形態に係る撮像装置の受光部（画素アレイ部）は、各フィルタ領域を透過した光を受光する複数の領域を有する。さらに、本実施形態においては、狭帯域の波長の光を透過するカラーフィルタの領域は、狭帯域の波長の光を細かく分けて検出できるような構成を有する。従って、このような本開示の実施形態によれば、撮像装置は、シンプル、且つ、コンパクトな構成でありながら、所定の帯域の波長の光を細かく検出することができることから、被写体の色を精度よく検出、再現することが可能となる。さらに、本発明者が創作した本実施形態においては、特に色を精度よく検出したい箇所を予め検出し、当該箇所に応じた画素のみを制御することにより、出力される画像データの増加を抑え、ひいては消費電力の増加を抑えることができる。
【0016】
すなわち、本開示の実施形態によれば、被写体の色を細かく精度よく検出しつつ、撮像装置の小型化が可能であり、且つ、消費電力の増加を抑えることができる。以下に、本発明者が創作した本開示の実施形態の詳細を順次説明する。
【0017】
＜＜２． 実施形態＞＞
＜２．１ 詳細構成＞
（撮像装置１０）
まずは、図１から図６を参照して、本発明者が創作した本開示の実施形態に係る撮像装置１０の詳細構成を説明する。図１は、本実施形態に係る撮像装置１０の構成の一例を示す模式図である。図１に示すように、本開示に係る撮像装置１０は、被写体８００からの光を集光するレンズ部１００と、特定の波長の光を透過するカラーフィルタ２００とを有する。さらに、当該撮像装置１０は、カラーフィルタ２００を透過した光を受光して光電変換し画素信号を出力する撮像部３００と、撮像部３００を制御したり、上記画素信号を処理したりする処理ユニット４００とを主に有する。以下、本実施形態に係る撮像装置１０の各ブロックの詳細構成を順次説明する。
＜２．１ 詳細構成＞
（撮像装置１０）
まずは、図１から図６を参照して、本発明者が創作した本開示の実施形態に係る撮像装置１０の詳細構成を説明する。図１は、本実施形態に係る撮像装置１０の構成の一例を示す模式図である。図１に示すように、本開示に係る撮像装置１０は、被写体８００からの光を集光するレンズ部１００と、特定の波長の光を透過するカラーフィルタ２００とを有する。さらに、当該撮像装置１０は、カラーフィルタ２００を透過した光を受光して光電変換し画素信号を出力する撮像部３００と、撮像部３００を制御したり、上記画素信号を処理したりする処理ユニット４００とを主に有する。以下、本実施形態に係る撮像装置１０の各ブロックの詳細構成を順次説明する。
【0018】
（レンズ部１００)
まずは、図２を参照して、本実施形態に係るレンズ部１００の詳細構成を説明する。図２は、図１に示すレンズ部１００の構成の一例を示す模式図である。レンズ部１００は、先に説明したように、被写体８００からの光をカラーフィルタ２００へ導き、撮像部３００に集光することができる。
まずは、図２を参照して、本実施形態に係るレンズ部１００の詳細構成を説明する。図２は、図１に示すレンズ部１００の構成の一例を示す模式図である。レンズ部１００は、先に説明したように、被写体８００からの光をカラーフィルタ２００へ導き、撮像部３００に集光することができる。
【0019】
図２においては、撮像部３００の画素アレイ部３０２の各領域３０４ａ～３０４ｄ（図５ 参照）と対になるカラーフィルタ２００の各領域２０２ａ～２０２ｄに対して、複数のレンズ１０２がそれぞれ設けられているような構成が示されている。そして、本実施形態においては、各レンズ１０２は、画素アレイ部３０２の各領域３０４ａ～３０４ｄが、同一の画像を捉えることができるような構成であることが好ましく、例えば、同一の材料、形状及びサイズを持つ。なお、本実施形態においては、カラーフィルタ２００の各領域２０２及び画素アレイ部３０２の各領域３０４に対応するように複数のレンズ１０２が設けられているような構成に限定されるものではなく、例えば、１つのレンズ１０２が設けられていてもよい。また、レンズ１０２は、例えば、凸レンズであってもよく、半球状の非対称レンズであってもよく、特に限定されるものではない。さらに、レンズ１０２は、酸化シリコン（ＳｉＯ２）、窒化シリコン（ＳｉＮ）、スチレン系樹脂、アクリル系樹脂、スチレン－アクリル共重合系樹脂、又は、シロキサン系樹脂等の樹脂系材料によって形成することができる。
【0020】
また、本実施形態においては、カラーフィルタ２００の各領域２０２ａ～２０２ｄ及び画素アレイ部３０２の各領域３０４ａ～３０４ｄに対応するように複数のレンズ１０２が設けられているような構成の場合には、各レンズ１０２は、独立して、又は、同時に、制御され、フォーカス等が調整されてもよい。さらに、本実施形態においては、レンズ部１００は、図示しない１つ又は複数の光学系を有していてもよい。このような場合には、当該光学系は、レンズ１０２と、他の光学系と、独立して制御されてもよい。なお、本実施形態においては、レンズ部１００の構成は、図２に示される構成に限定されるものではない。
【0021】
（カラーフィルタ２００）
次に、図３を参照して、本実施形態に係るカラーフィルタ２００の詳細構成を説明する。図３は、図１に示すカラーフィルタ２００の構成の一例を示す模式図である。カラーフィルタ２００は、先に説明したように、特定の波長の光を透過することができる。
次に、図３を参照して、本実施形態に係るカラーフィルタ２００の詳細構成を説明する。図３は、図１に示すカラーフィルタ２００の構成の一例を示す模式図である。カラーフィルタ２００は、先に説明したように、特定の波長の光を透過することができる。
【0022】
詳細には、図３に示すように、カラーフィルタ２００は、互いに異なる帯域の波長を有する光を透過する複数のフィルタ領域（第１のフィルタ領域、第２のフィルタ領域）２０２ａ～２０２ｄを有する。本実施形態においては、フィルタ領域２０２ａ～２０２ｄは、同一面内に位置しており、すなわち、これらフィルタ領域２０２ａ～２０２ｄが同一面内に配置されることにより、１つのカラーフィルタを構成している。なお、図３では、カラーフィルタ２００の有するフィルタ領域２０２ａ～２０２ｄの数は４つとなっているが、本実施形態においては、２つ以上のフィルタ領域２０２があれば特に限定されるものではない。
【0023】
例えば、図３のフィルタ領域（第１のフィルタ領域）２０２ｂは、例えば、４５０ｎｍ～７５０ｎｍの波長をもつ光を透過することができる。より具体的には、例えば、フィルタ領域２０２ｂは、赤色光（例えば、波長６２０ｎｍ～７５０ｎｍ）を透過するカラーフィルタブロック（第１のサブフィルタ）２０４と、緑色光（例えば、波長４９５ｎｍ～５７０ｎｍ）を透過するカラーフィルタブロック（第２のサブフィルタ）２０４と、青色光（例えば、波長４５０ｎｍ～４９５ｎｍ）を透過するカラーフィルタブロック（第３のサブフィルタ）２０４とからなるベイヤー配列から構成される。ここで、ベイヤー配列とは、緑色光を透過するカラーフィルタブロック２０４が市松状に並び、残りの部分に、赤色光を透過するカラーフィルタブロック２０４と、青色光を透過するカラーフィルタブロック２０４とが一列ごとに交互に並ぶような、配列パターンである。本実施形態においては、フィルタ領域２０２ｂは上述のような構成を持つことから、撮像装置１０は、フィルタ領域２０２ｂを用いて撮像することで、一般的な可視光カメラ（ＲＧＢカメラ）と同様の広い帯域の光を捉えることが可能となる。なお、本実施形態においては、フィルタ領域２０２ｂは、ベイヤー配列に限定されるものではなく、さらには、上記波長に限定されるものではない。
【0024】
また、例えば、図３のフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄは、フィルタ領域２０２ｂを透過する光の波長の帯域に比べて狭い帯域の波長の光を透過する。フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、例えば、６００ｎｍ～７００ｎｍの波長をもつ光を透過することができる。また、フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、互いに対応する帯域や帯域幅が異なっていてもよい。さらに、図３においては、フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄは３つ存在するが、本実施形態においては、３つに限定されるものではなく、１つ以上であれば特に限定されるものではない。
【0025】
また、フィルタ領域２０２ｂと同様に、各フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄは、互いに異なる波長の光を透過する、複数のカラーフィルタブロック（サブフィルタ）２０４が所定の配列パターンで配列することにより構成される。詳細には、フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、狭い帯域内の波長の光を複数に細かく分けて検出できるような、透過する光の波長が段階的に異なる、複数のカラーフィルタブロック２０４から構成される。例えば、人の肌色を細かく検出したい場合は、人の肌の色の分布範囲に応じた帯域幅を複数に区分し、フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、各区分の波長の光をそれぞれ透過する複数のカラーフィルタブロック２０４から構成されることとなる。なお、本実施形態においては、フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、例えば、ベイヤー配列であってもよく、もしくは、所定の単色光（所定の波長の赤外光や近赤外光）を透過するフィルタであってもよい。すなわち、本実施形態に係るフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄにおいては、カラーフィルタブロック２０４が透過する光の波長や、カラーフィルタブロック２０４の配列も、目的に応じて選択することができ、特に限定されるものではない。
【0026】
より具体的には、例えば、各フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、人の肌の色に最適化されたカラーフィルタブロック２０４及び配列パターンを有することができる。例えば、フィルタ領域２０２ａは、例えば白色の肌に最適化され、フィルタ領域２０２ｃは、例えば黒褐色の肌に最適化され、フィルタ領域２０２ｄは、白色と黒褐色との中間程度の色の肌に最適化されることができる。これら各フィルタ領域２０２ａ、２０２ｃ、２０２ｄは、それぞれの肌の色に最適化された狭い帯域の波長の光を透過するカラーフィルタブロック２０４によって構成されることができることから、撮像装置１０は、肌色に対する解像度が向上し、これまで難しかった人の肌の色をより正確に検出することが可能となる。
【0027】
また、図３においては、各カラーフィルタブロック２０４のサイズは同一であるが、本実施形態においては、互いに異なっていてもよく、特に限定されるものではない。例えば、フィルタ領域（第１のフィルタ領域）２０２ｂを構成するカラーフィルタブロック２０４のサイズ（面積）は、フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを構成するカラーフィルタブロック２０４のサイズと異なっていてもよい。さらに、例えば、各フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを構成するカラーフィルタブロック２０４のサイズも互いに異なっていてもよい。また、例えば、フィルタ領域（第１のフィルタ領域）２０２ｂを構成するカラーフィルタブロック２０４の数は、フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを構成するカラーフィルタブロック２０４の数と異なっていてもよい。さらに、例えば、各フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを構成するカラーフィルタブロック２０４の数も互いに異なっていてもよい。
【0028】
また、本実施形態においては、例えば、カラーフィルタ２００は、例えば、シリコーン等の透明バインダ中に顔料又は染料が分散させた材料から形成することができる。また、本実施形態においては、カラーフィルタ２００は、表面プラズモン共鳴を利用することができる、周期的なホールアレイを有するカラーフィルタから形成することもでき、特に限定されるものではない。なお、本実施形態においては、カラーフィルタ２００の構成は、図３に示す構成に限定されるものではない。
【0029】
（撮像部３００）
次に、図４及ぶ図５を参照して、本実施形態に係る撮像部３００の詳細構成を説明する。図４は、図１に示す撮像部３００の構成の一例を示す模式図であり、図５は、図４に示す撮像部３００の画素アレイ部３０２の構成の一例を示す模式図である。撮像部３００は、先に説明したように、カラーフィルタ２００を透過した光を受光して光電変換し画素信号を出力することができる。
次に、図４及ぶ図５を参照して、本実施形態に係る撮像部３００の詳細構成を説明する。図４は、図１に示す撮像部３００の構成の一例を示す模式図であり、図５は、図４に示す撮像部３００の画素アレイ部３０２の構成の一例を示す模式図である。撮像部３００は、先に説明したように、カラーフィルタ２００を透過した光を受光して光電変換し画素信号を出力することができる。
【0030】
まずは、図４を参照して、撮像部３００の概略構成について説明する。図４に示すように、撮像部３００は、例えばシリコンからなる半導体基板３１０上に、画素３０６がマトリック状に配置されている画素アレイ部３０２と、当該画素アレイ部３０２を取り囲むように設けられた周辺回路部とを有する。さらに、上記撮像部３００には、当該周辺回路部として、垂直駆動回路部３３２、カラム信号処理回路部３３４、水平駆動回路部３３６、出力回路部３３８、制御回路部３４０等が含まれる。以下、撮像部３００の各ブロックの詳細について説明する。
【0031】
画素アレイ部３０２は、半導体基板３１０上に、行方向及び列方向に沿ってマトリックス状に２次元配置された複数の画素３０６を有する。各画素３０６は、入射された光に対して光電変換を行う素子であって、光電変換部（図示省略）と、複数の画素トランジスタ（例えばＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタ）（図示省略）とを有している。また、例えば、画素３０６の一辺の長さは約１μｍとし、隣り合う画素３０６の間隔は約１μｍとすることができる。そして、当該画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタの４つのＭＯＳトランジスタを含む。なお、本実施形態における、画素アレイ部３０２の詳細構成については後述する。
【0032】
垂直駆動回路部３３２は、例えばシフトレジスタによって形成され、画素駆動配線３４２を選択し、選択された画素駆動配線４２に画素３０６を駆動するためのパルスを供給し、行単位で画素３０６を駆動する。すなわち、垂直駆動回路部３３２は、画素アレイ部３０２の各画素３０６を行単位で順次垂直方向（図４中の上下方向）に選択走査し、各画素３０６の光電変換部（図示省略）の受光量に応じて生成された信号電荷に基づく画素信号を、垂直信号線３４４を通して後述するカラム信号処理回路部３３４に供給する。
【0033】
カラム信号処理回路部３３４は、画素３０６の列ごとに配置されており、１行分の画素３０６から出力される画素信号に対して画素３０６列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路部３３４は、画素３０６固有の固定パターンノイズを除去するためにＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング)およびＡＤ（Ａｎａｌｏｇ－Ｄｅｇｉｔａｌ）変換等の信号処理を行う。
【0034】
水平駆動回路部３３６は、例えばシフトレジスタによって形成され、水平走査パルスを順次出力することによって、上述したカラム信号処理回路部３３４の各々を順番に選択し、カラム信号処理回路部３３４の各々から画素信号を水平信号線３４６に出力させる。
【0035】
出力回路部３３８は、上述したカラム信号処理回路部３３４の各々から水平信号線３４６を通して順次に供給される画素信号に対し、信号処理を行って出力する。出力回路部３３８は、例えば、バッファリング（ｂｕｆｆｅｒｉｎｇ）を行う機能部として機能してもよく、もしくは、黒レベル調整、列ばらつき補正、各種デジタル信号処理等の処理を行ってもよい。なお、バッファリングとは、画素信号のやり取りの際に、処理速度や転送速度の差を補うために、一時的に画素信号を保存することをいう。さらに、入出力端子３４８は、外部装置との間で信号のやり取りを行うための端子である。
【0036】
制御回路部３４０は、入力クロックと、動作モード等を指令するデータを受け取り、画素アレイ部３０２へ信号を出力する。すなわち、制御回路部３４０は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路部３３２、カラム信号処理回路部３３４及び水平駆動回路部３３６等の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路部３４０は、生成したクロック信号や制御信号を、垂直駆動回路部３３２、カラム信号処理回路部３３４及び水平駆動回路部３３６等に出力する。
【0037】
さらに、本実施形態においては、画素アレイ部３０２は、図５に示すように、フィルタ領域（第１のフィルタ領域）２０２ａを透過した光を受光する複数の画素３０６からなる画素アレイ領域（第１の画素アレイ領域）３０４ａと、各フィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを透過した光を受光する複数の画素３０６からなる、各画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄとを有する。すなわち、画素アレイ部３０２は、各フィルタ領域２０２ａ～２０２ｄに対応する各画素アレイ領域３０４ａ～３０４ｄを有する。また、本実施形態においては、画素アレイ領域３０４ａ～３０４ｄは、１つの半導体基板３１０の同一面内に位置しており、すなわち、これら画素アレイ領域３０４ａ～３０４ｄが同一面内に配置されることにより、１つの画素アレイ部３０２を構成している。なお、図５では、画素アレイ部３０２は、４つの画素アレイ領域３０４ａ～３０４ｄを有するものとして図示されている。しかしながら、本実施形態においては、カラーフィルタ２００のフィルタ領域２０２ａ～２０２ｄの数と同じであり、且つ、２つ以上の画素アレイ領域３０４があれば、画素アレイ領域３０４の数は特に限定されるものではない。
【0038】
また、図５においては、各画素アレイ領域３０４ａ～３０４ｄのサイズは同一であるが、本実施形態においては、各画素アレイ領域３０４ａ～３０４ｄのサイズは、互いに異なっていてもよい。詳細には、例えば、画素アレイ領域（第１の画素アレイ領域）３０４ｂのサイズ（面積）は、画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄのサイズと異なっていてもよい。さらに、例えば、各画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄのサイズも互いに異なっていてもよい。また、本実施形態においては、画素アレイ領域（第１の画素アレイ領域）３０４ｂを構成する画素３０６の数は、画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄを構成する画素３０６の数と異なっていてもよい。さらに、例えば、各画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄを構成する画素３０６の数も互いに異なっていてもよい。加えて、各画素アレイ領域３０４ａ～３０４ｄを構成する画素３０６のサイズ（面積）も互いに異なっていてもよい。すなわち、本実施形態においては、各画素アレイ領域３０４ａ～３０４ｄは、互いに異なるピクセル解像度で撮像してもよい。
【0039】
本実施形態においては、具体的には、例えば、画素アレイ領域３０４ｂは、広帯域の波長の光を透過するフィルタ領域２０２ｂと協働して、被写体８００全体を撮像することができる。また、各画素アレイ領域３０４ａ、３０４ｃ、３０４ｄは、被写体８００の一部の色彩に最適化した、狭帯域の波長の光を透過するフィルタ領域２０２ａ、２０２ｃ、２０２ｄと協働して、被写体８００の一部（例えば、顔面）を撮像することができる。本実施形態においては、１つの画素アレイ部３０２により、被写体８００の全体だけでなく、被写体８００の一部の色彩の特徴に合わせて被写体８００の一部を撮像することができる。従って、本実施形態によれば、撮像装置１０は、被写体８００の一部の色彩に対する解像度が向上し、被写体８００の一部の色彩をより正確に検出することができる。
【0040】
【0041】
（処理ユニット４００）
次に、図６を参照して、本実施形態に係る処理ユニット４００の詳細構成を説明する。図６は、図１に示す処理ユニット４００の概略的な機能構成の一例を示すブロック図である。処理ユニット４００は、先に説明したように、撮像部３００を制御したり、上記画素信号を処理したりすることができる。例えば、処理ユニット４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、撮像装置１０の動作を統括的に制御したり、画素信号に基づく画像を出力するため、各種の画像処理を施したりすることができる。また、図６に示すように、処理ユニット４００は、処理部４１０と、制御部４２０と、記憶部４３０と、出力部４４０とを主に有する。以下、処理ユニット４００の各ブロックの詳細について説明する。
次に、図６を参照して、本実施形態に係る処理ユニット４００の詳細構成を説明する。図６は、図１に示す処理ユニット４００の概略的な機能構成の一例を示すブロック図である。処理ユニット４００は、先に説明したように、撮像部３００を制御したり、上記画素信号を処理したりすることができる。例えば、処理ユニット４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、撮像装置１０の動作を統括的に制御したり、画素信号に基づく画像を出力するため、各種の画像処理を施したりすることができる。また、図６に示すように、処理ユニット４００は、処理部４１０と、制御部４２０と、記憶部４３０と、出力部４４０とを主に有する。以下、処理ユニット４００の各ブロックの詳細について説明する。
【0042】
処理部４１０は、画素アレイ部３０２からの画素信号を処理して画像（第１の画像、第２の画像）を取得することができる。そして、処理部４１０は、上記画像のデータ、後述する出力部４４０に出力することができる。
【0043】
また、処理部４１０は、例えば、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）から、所定の被写体（物体）８００又は被写体８００の一部を、ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）（対象領域）として検出することができる。なお、本実施形態においては、検出されるＲＯＩは１つに限定されるものではなく、複数であってもよい。詳細には、本実施形態においては、例えば、処理部４１０は、上記画像を２値化処理して生成した２段階色調画像内に含まれる輪郭から、所定の特徴を有する輪郭を検出することにより、ＲＯＩを検出してもよい。また、本実施形態においては、処理部４１０は、２段階色調画像を用いることなく、上記画像から所定の特徴点（形状、色彩等）を抽出することにより、ＲＯＩを直接検出してもよい。さらに、本実施形態においては、処理部４１０は、２段階色調画像を用いることなく、上記画像内の、ユーザが予め指定した所定の領域に基づいて、ＲＯＩを検出してもよい。例えば、処理部４１０は、上記画像から目を抽出し、ＲＯＩとして顔画像の領域を検出することができる。また、本実施形態においては、例えば、タッチパネル（図示省略）と重畳された表示装置（図示省略）に表示された、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）に対して、ユーザがタッチ操作を行って範囲を指定した場合（タッチ操作は、リアルタイムに行われてもよい）には、処理部４１０は、当該指定範囲に基づいて、ＲＯＩを設定してもよい。さらに、本実施形態においては、処理部４１０は、例えば、レンズ部１００の焦点が合っている領域を、ＲＯＩ（被写体８００）として設定してもよい。
【0044】
また、制御部４２０は、ＲＯＩ（対象領域）に対応する被写体８００又は被写体８００の一部の画像（第２の画像）を取得するために、ＲＯＩの位置に基づいて、画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄ内に位置する複数の画素３０６の一部を制御することができる。
【0045】
より具体的には、例えば、制御部４２０は、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）から検出されたＲＯＩの色彩や色彩分布に応じて、使用するフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを選択する。例えば、制御部４２０は、ＲＯＩ内の色彩分布を、後述する記憶部４３０内に格納されたテーブル４３２（図１１ 参照）と参照して、使用するフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを選択することができる。次に、制御部４２０は、上記画像（第１の画像）内におけるＲＯＩの位置座標（詳細、ＲＯＩを撮像した各画素３０６のＸＹ座標）を特定する。そして、制御部４２０は、画素アレイ領域３０４ｂと、選択されたフィルタ領域２０２ａ、２０２ｃ、２０２ｄに対応する画素アレイ領域３０４ａ、３０４ｃ、３０４ｄとの既知の相対的位置関係に基づき、特定したＲＯＩの位置座標を修正する。さらに、制御部４２０は、修正されたＲＯＩの位置座標に基づき、選択された画素アレイ領域３０４ａ、３０４ｃ、３０４ｄ内で制御する複数の画素３０６を選択する。詳細には、制御部４２０は、ＲＯＩの撮影に際に画素信号を読み出す画素３０６を選択する。本実施形態においては、このように、ＲＯＩに応じて、画素アレイ領域３０４ａ、３０４ｃ、３０４ｄ内の一部の画素３０６を制御することから、処理する画素信号のデータ量の増加を抑え、ひいては撮像装置１０の消費電力の増加を抑えることができる。
【0046】
さらに、制御部４２０は、撮像装置１０により撮像する際の撮像条件を調整してもよい。本実施形態においては、例えば、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）と、画素アレイ領域（第２の画素アレイ領域）３０４ａ、３０４ｃ、３０４ｄ内の複数の画素３０６からの画素信号に基づく画像（第２の画像）とは、異なる撮像条件で取得されてもよい。また、本実施形態においては、複数のＲＯＩが検出される場合には、ＲＯＩごとに異なる撮像条件で、画素アレイ領域３０４ａ、３０４ｃ、３０４ｄ内の複数の画素３０６からの画素信号に基づく画像を取得してもよい。より具体的には、例えば、制御部４２０は、ＲＯＩに応じて、レンズ部１００、撮像部３００やシャッタ機構（図示省略）等を制御して、シャッタ速度（露光時間）、露出値、倍率、フォーカス等を調整してもよい。また、本実施形態においては、制御部４２０は、画素アレイ領域３０４ａ～３０４ｄごとに、対応するレンズ１０２、シャッタ機構（図示省略）、光学系（図示省略）を個別に制御してもよい。本実施形態においては、このように制御することにより、全体画像（第１の画像）やＲＯＩに応じて好適に撮像することができる。また、本実施形態においては、画素アレイ領域３０４ａ、３０４ｃ、３０４ｄごとに、各レンズ１０２を調整して、フォーカスを合わせることから、制御部４２０は、各レンズ１０２の調整結果の組み合わせに基づいて、画素アレイ領域３０４ａ、３０４ｃ、３０４ｄごとの被写体の相対的な距離の違い（深さ情報）を取得してもよい。
【0047】
また、本実施形態においては、制御部４２０は、全体画像（第１の画像）からＲＯＩを除外した領域であるＲＯＵＩ（Ｒｅｇｉｏｎ ｏｆ Ｕｎｉｎｔｅｒｅｓｔ）（非対象領域）を撮像するように、画素アレイ部３０２等を制御してもよい。例えば、制御部４２０は、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６の一部を制御して、上記ＲＯＵＩを撮像してもよい。この場合、ＲＯＵＩは、高い解像度で撮像する必要がないため、制御部４２０は、ＲＯＩに比べて低い解像度で撮像するように、画素アレイ部３０２等を制御してもよい。
【0048】
また、記憶部４３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成され、制御部４２０等の制御において用いられるデータ等を格納する。例えば、記憶部４３０は、色彩の分布とそれに対応するフィルタ領域２０２との関係を規定する上記テーブル４３２（図１１ 参照）を格納することができる。
【0049】
出力部４４０は、処理部４１０からの画像データを取得し、例えば、合成部５００へ出力することができる。例えば、合成部５００は、図６に示すように、撮像装置１０内に設けられた、処理ユニット４００以外のＣＰＵやＧＰＵ等によって構成されもよく、もしくは、当該処理ユニット４００内に設けられてもよい。詳細には、合成部５００は、画素アレイ領域（第１の画素アレイ領域）３０４ｂ内の複数の画素３０６からの画素信号に基づく画像（第１の画像）と、ＲＯＩ（対象領域）に対応する被写体８００又は被写体８００の一部の画像（第２の画像）とを合成してもよい。もしくは、合成部５００は、ＲＯＩに対応する被写体８００又は被写体８００の一部の画像と、ＲＯＵＩ（非対象領域）に対応する被写体８００又は被写体８００の一部の画像とを合成してもよい。本実施形態によれば、例えば、ＲＯＩとして人の顔を指定した場合には、ＲＯＩである人の顔面の肌色を高い解像度で検出することができることから、上記合成部５００によって得られたポートレートにおいて、再現が難しかった肌色をより正確に再現することができる。
【0050】
なお、本実施形態においては、出力部４４０は、上述した合成部５００へ画像データを出力することに限定されるものではなく、画像解析を行う解析部（図示省略）へ画像データを出力してもよい。この場合、解析部では、ＲＯＩとして得られた被写体の色彩を高解像度で解析し、被写体の状態を検出することができる。例えば、ＲＯＩとして人の顔面に指定した場合には、上記解析部は、高解像度で検出した顔面の肌の色彩に基づき、該当する人物の生理状態や心理状態等を解析することができる。また、例えば、ＲＯＩとして穀物畑を指定した場合には、上記解析部は、高解像度で検出した穀物畑の画像の色彩に基づき、穀物の生育状況等を解析することができる。
【0051】
また、本実施形態においては、例えば、フィルタ領域２０２ａ、２０２ｃ、２０２ｄを、所定の波長の赤外光や近赤外光を透過するフィルタとして構成し、当該フィルタ領域２０２ａ、２０２ｃ、２０２ｄに対応する画素アレイ領域３０４ａ、３０４ｃ、３０４ｄを測距センサ（ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ）として機能させてもよい。また、本実施形態においては、上述したＲＯＩの検出法を利用して、同一の被写体８００までの距離を測定するステレオカメラのように、２つの画素アレイ領域３０４を機能させてもよい。また、本実施形態においては、このようにして得られた被写体８００との間の距離と、後述する記憶部４３０内に格納されたテーブル（図示省略）とを参照することにより、ＲＯＩの位置座標をより精度よく修正してもよい。
【0052】
【0053】
＜２．２ 撮像方法＞
次に、図７から図１１を参照して、本実施形態に係る撮像方法を説明する。図７は、本実施形態に係る撮像方法のフローチャート図であり、図８から図１０は、本開示の実施形態に係る撮像方法を説明するための説明図であり、図１１は、本実施形態に係る撮像方法で使用されるテーブル４３２の一例を説明するための説明図である。
次に、図７から図１１を参照して、本実施形態に係る撮像方法を説明する。図７は、本実施形態に係る撮像方法のフローチャート図であり、図８から図１０は、本開示の実施形態に係る撮像方法を説明するための説明図であり、図１１は、本実施形態に係る撮像方法で使用されるテーブル４３２の一例を説明するための説明図である。
【0054】
図７に示すように、本実施形態に係る撮像方法は、ステップＳ１０１からステップＳ１０７の複数のステップを含む。以下、当該撮像方法に含まれる各ステップの詳細を順次説明する。
【0055】
まずは、撮像装置１０は、画素アレイ領域３０４ｂ内の複数の画素３０６からの画素信号に基づく全体画像を撮像するために、撮像条件を設定する（ステップＳ１０１）。
【0056】
次に、撮像装置１０は、図８に示すように、上述したステップＳ１０１で設定された撮像条件下で、被写体８０２全体を撮像する（ステップＳ１０２）。
【0057】
そして、撮像装置１０は、図９に示すように、上述したステップＳ１０２で得られた全体画像８０８からＲＯＩ８１０ａ～８１０ｃを特定する（ステップＳ１０３）。例えば、図９の例では、撮像装置１０は、全体画像から目を抽出し、ＲＯＩ８１０ａ～８１０ｃとして２つの顔画像の領域を検出している。
【0058】
次に、撮像装置１０は、ＲＯＩ８１０ａ～８１０ｃ内の色彩分布に基づき、図１１に示されるテーブル４３２を参照して、使用するフィルタ領域（第２のフィルタ領域）２０２ａ、２０２ｃ、２０２ｄを選択する（ステップＳ１０４）。上記テーブル４３２は、先に説明したように、色彩の分布とそれに対応するフィルタ領域２０２との関係を規定する情報を含む。撮像装置１０は、図９の例では、ＲＯＩ８１０ａで捉えられた人物の顔面の肌の色に応じて、フィルタ領域２０２ａを選択し、ＲＯＩ８１０ｃで捉えられた人物の顔面の肌の色に応じて、フィルタ領域２０２ｃを選択し、ＲＯＩ８１０ｄで捉えられた人物の顔面の肌の色に応じて、フィルタ領域２０２ｄを選択する。
【0059】
そして、撮像装置１０は、全体画像８０８内におけるＲＯＩ８１０ａ～８１０ｃの位置に基づき、制御する画素３０６を選択する（ステップＳ１０５）。詳細には、撮像装置１０は、全体画像８０８内におけるＲＯＩ８１０ａ～８１０ｃを撮像した各画素３０６のＸＹ座標を特定する。そして、撮像装置１０は、画素アレイ領域３０４ｂと、選択されたフィルタ領域２０２ａ、２０２ｃ、２０２ｄに対応する画素アレイ領域３０４ａ、３０４ｃ、３０４ｄとの既知の相対的位置関係に基づき、特定した各画素３０６のＸＹ座標を修正する。さらに、撮像装置１０は、図１０に示すように、修正されたＸＹ座標に基づき、選択された画素アレイ領域３０４ａ、３０４ｃ、３０４ｄ内で制御する複数の画素３０６を選択する。より具体的には、撮像装置１０は、画素信号を読み出す画素３０６を選択する。
【0060】
そして、撮像装置１０は、ＲＯＩ８１０ａ～８１０ｃを撮像するために、撮像条件を設定する（ステップＳ１０６）。
【0061】
さらに、撮像装置１０は、上述したステップＳ１０６で設定された撮像条件下で、ＲＯＩ８１０ａ～８１０ｃを撮像する（ステップＳ１０７）。なお、この際、撮像装置１０は、全体画像８０８からＲＯＩ８１０ａ～８１０ｃを除外した領域ＲＯＵＩ（図示省略）を撮像してもよい。
【0062】
＜＜３． まとめ＞＞
以上のように、本開示の実施形態によれば、被写体８００、８０２又は被写体８００、８０２の一部の色彩を高い解像度で精度よく検出が可能であり、撮像装置１０の小型化が可能であり、且つ、消費電力の増加を抑えることができる。詳細には、本開示の実施形態によれば、撮像装置１０は、シンプル、且つ、コンパクトな構成でありながら、所定の帯域の波長の光を高解像度で検出することができることから、被写体８００、８０２の色を精度よく検出、再現することが可能となる。さらに、本実施形態においては、特に色を精度よく検出したい箇所を予め検出し、当該箇所に応じた画素のみを制御することにより、出力される画像データの増加を抑え、ひいては消費電力の増加を抑えることができる。
以上のように、本開示の実施形態によれば、被写体８００、８０２又は被写体８００、８０２の一部の色彩を高い解像度で精度よく検出が可能であり、撮像装置１０の小型化が可能であり、且つ、消費電力の増加を抑えることができる。詳細には、本開示の実施形態によれば、撮像装置１０は、シンプル、且つ、コンパクトな構成でありながら、所定の帯域の波長の光を高解像度で検出することができることから、被写体８００、８０２の色を精度よく検出、再現することが可能となる。さらに、本実施形態においては、特に色を精度よく検出したい箇所を予め検出し、当該箇所に応じた画素のみを制御することにより、出力される画像データの増加を抑え、ひいては消費電力の増加を抑えることができる。
【0063】
＜＜４． 応用例＞＞
＜４．１ スマートフォンへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、カメラ、スマートフォン、生産ラインに設けられる産業用カメラといった各種の電子機器に適用することができる。そこで、図１２を参照して、本技術を適用した電子機器としての、スマートフォン９００の構成例について説明する。図１２は、スマートフォンの概略的な機能構成の一例を示すブロック図である。
＜４．１ スマートフォンへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、カメラ、スマートフォン、生産ラインに設けられる産業用カメラといった各種の電子機器に適用することができる。そこで、図１２を参照して、本技術を適用した電子機器としての、スマートフォン９００の構成例について説明する。図１２は、スマートフォンの概略的な機能構成の一例を示すブロック図である。
【0064】
図１２に示すように、スマートフォン９００は、ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３を含む。また、スマートフォン９００は、ストレージ装置９０４、通信モジュール９０５、及びセンサモジュール９０７を含む。さらに、スマートフォン９００は、測距モジュール９０８、上述した撮像装置１０が適用される撮像装置９０９、表示装置９１０、スピーカ９１１、マイクロフォン９１２、入力装置９１３、及びバス９１４を含む。また、スマートフォン９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の処理回路を有してもよい。
【0065】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、又はストレージ装置９０４等に記録された各種プログラムに従って、スマートフォン９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９１４により相互に接続されている。また、ストレージ装置９０４は、スマートフォン９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス等により構成される。このストレージ装置９０４は、ＣＰＵ９０１が実行するプログラムや各種データ、及び外部から取得した各種のデータ等を格納する。
【0066】
通信モジュール９０５は、例えば、通信ネットワーク９０６に接続するための通信デバイスなどで構成された通信インタフェースである。通信モジュール９０５は、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等であり得る。また、通信モジュール９０５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は、各種通信用のモデム等であってもよい。通信モジュール９０５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号等を送受信する。また、通信モジュール９０５に接続される通信ネットワーク９０６は、有線又は無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信又は衛星通信等である。
【0067】
センサモジュール９０７は、例えば、モーションセンサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ等）、生体情報センサ（例えば、脈拍センサ、血圧センサ、指紋センサ等）、又は位置センサ（例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機等）等の各種のセンサを含む。
【0068】
測距システム６１１は、スマートフォン９００の表面に設けられ、例えば、当該表面と向かい合う、被写体の距離や３次元形状を測距結果として取得することができる。なお、本実施形態においては、撮像装置９０９が測距センサを兼ねることができる場合には、測距システム６１１は設けられていなくてもよい。
【0069】
撮像装置９０９は、スマートフォン９００の表面に設けられ、スマートフォン９００の周囲に位置する対象物等を撮像することができる。すなわち、本開示の実施形態に係る撮像装置１０は、上記撮像装置９０９に適用される。詳細には、撮像装置９０９は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサ等の撮像素子（図示省略）と、撮像素子で光電変換された信号に対して撮像信号処理を施す信号処理回路（図示省略）とを含んで構成することができる。さらに、撮像装置９０９は、撮像レンズ、絞り機構、ズームレンズ、及びフォーカスレンズ等により構成される光学系機構（図示省略）及び、上記光学系機構の動作を制御する駆動系機構（図示省略）をさらに有することができる。そして、上記撮像素子は、被写体からの入射光を光学像として集光し、上記信号処理回路は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出し、画像処理することにより撮像画像を取得することができる。
【0070】
表示装置９１０は、スマートフォン９００の表面に設けられ、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置であることができる。表示装置９１０は、操作画面や、上述した撮像装置９０９が取得した撮像画像などを表示することができる。
【0071】
スピーカ９１１は、例えば、通話音声や、上述した表示装置９１０が表示する映像コンテンツに付随する音声等を、ユーザに向けて出力することができる。
【0072】
マイクロフォン９１２は、例えば、ユーザの通話音声、スマートフォン９００の機能を起動するコマンドを含む音声や、スマートフォン９００の周囲環境の音声を集音することができる。
【0073】
入力装置９１３は、例えば、ボタン、キーボード、タッチパネル、マウス等、ユーザによって操作される装置である。入力装置９１３は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１３を操作することによって、スマートフォン９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0074】
以上、スマートフォン９００の構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
【0075】
スマートフォン９００に本開示に係る技術を適用することにより、例えば、ユーザの顔をスマートフォン９００に搭載された撮像装置１０により撮像し、当該ユーザの顔の肌色を正確に検出することができる。従って、本開示に係る技術を適用することにより、肌色の検出結果に応じて、例えば、化粧品や化粧方法の提案や、洋服のカラーコーディネート等の提案等を行うサービスを提供することができる。さらに、本開示に係る技術を適用したスマートフォン９００によれば、肌色の検出結果を解析して、ユーザの生理状態や心理状態を認識し、治療や健康増進のための提案や、商品、サービス等の提案を行うこともできる。
【0076】
＜４．２ 無人飛行体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、無人飛行体に搭載するカメラに適用することができる。そこで、図１３及び図１４を参照して、本開示の実施形態に係る撮像装置１０を搭載し得る無人飛行体について説明する。図１３は、無人飛行体の外観の模式図であり、詳細には、無人飛行体９２０をその正面９５０から見た場合の模式図である。また、図１４は、無人飛行体９２０の概略的な機能構成の一例を示すブロック図である。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、無人飛行体に搭載するカメラに適用することができる。そこで、図１３及び図１４を参照して、本開示の実施形態に係る撮像装置１０を搭載し得る無人飛行体について説明する。図１３は、無人飛行体の外観の模式図であり、詳細には、無人飛行体９２０をその正面９５０から見た場合の模式図である。また、図１４は、無人飛行体９２０の概略的な機能構成の一例を示すブロック図である。
【0077】
無人飛行体９２０は、無人の小型飛行機であって、自律飛行機能および自立姿勢制御機能等により飛行することができる。当該無人飛行体９２０は、プロペラ９３０と、プロペラ駆動部９３２と、飛行制御部９３４と、測位ユニット９４０と、飛行制御用通信部９５０とを主に有する。以下に、無人飛行体９２０の各機能ユニットについて説明する。
【0078】
プロペラ９３０は、図１３に示すように無人飛行体９２０の上部に複数設けられ、無人飛行体９２０の内部に設けられたプロペラ駆動部９３２から伝達された動力により回転することにより、無人飛行体９２０に推進力を与えたり、無人飛行体９２０の姿勢を水平に保持したりする。また、プロペラ駆動部９３２は、無人飛行体９２０の内部に設けられ、後述する飛行制御部９３４からの制御に従って、各プロペラ９３０を回転させる。
【0079】
測位ユニット９４０は、無人飛行体９２０の内部に設けられ、無人飛行体９２０の位置情報である二次元位置情報（経度情報、緯度情報）及び高度情報と、無人飛行体９２０の姿勢情報及び加速度情報とを取得し、後述する飛行制御部９３４に出力する。出力された位置情報や姿勢情報等は、無人飛行体９２０を所望する場所へ飛行させたり、無人飛行体９２０を水平姿勢に維持したりするために用いられる。
【0080】
測位ユニット９４０は、図１４に示すように、姿勢検出部９４２、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット９４４及び高度計９４６を主に有する。詳細には、姿勢検出部９４２は、例えば、加速度センサ及び角速度センサが組み合わされたジャイロセンサ等を含み、無人飛行体９２０の姿勢（傾き、向き等）及び加速度を検出する。ＧＰＳユニット９４４は、ＧＰＳ衛星からのＧＰＳ信号を用いて計測を行う現在位置計測装置からなり、無人飛行体９２０の地表における二次元位置情報（緯度情報、経度情報）を取得することができる。高度計９４６は、無人飛行体９２０の高度情報（地表からの高さ）を取得することができる。
【0081】
なお、測位ユニット９４０は、ＧＰＳユニット９４４によって十分な精度を持つ高度情報を取得することができる場合には、高度計９４６を含まなくてもよい。しかしながら、ＧＰＳユニット９４４によって得られる高度情報は、測位状態によっては精度が低い場合があり、この場合、無人飛行体９２０の飛行等に用いる高度情報としては、十分な精度を持っていないことがある。従って、十分な精度を持つ高度情報を取得するために、測位ユニット９４０は高度計９４６を含んでいることが好ましい。
【0082】
飛行制御部９３４は、操縦者が有する操縦装置（図示省略）からの制御信号を受信した場合には、上述の測位ユニット９４０で取得した位置情報及び姿勢情報等を利用しつつ、上記制御信号の飛行指示に従ってプロペラ駆動部９３２を制御する。
【0083】
飛行制御用通信部９５０は、操縦者が有する操縦装置（図示省略）との間で無線通信し、無人飛行体９２０の飛行に用いられる制御信号等の送受信を行う。例えば、飛行制御用通信部９５０は、所定の時間おきに、上記操縦装置から制御信号を受信し、受信した制御信号を上述した飛行制御部９３４に出力する。
【0084】
無人飛行体９２０に本開示に係る技術を適用することにより、例えば、無人飛行体９２０に搭載された撮像装置１０により、上空から穀物畑を撮像し、穀物畑の画像の色彩を高解像度で解析することにより、穀物の生育状況を認識することができる。
【0085】
＜４．３ 内視鏡手術システムへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【0086】
図１５は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【0087】
図１５では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【0088】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【0089】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0090】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ:Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。
【0091】
ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【0092】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【0093】
光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【0094】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【0095】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0096】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0097】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0098】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【0099】
【0100】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【0101】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【0102】
撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【0103】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【0104】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【0105】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【0106】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【0107】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
【0108】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【0109】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【0110】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【0111】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【0112】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【0113】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【0114】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0115】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【0116】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００のカメラヘッド１１１０２の撮像部１１４０２等に適用され得る。
【0117】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、例えば、顕微鏡手術システム等に適用されてもよい。例えば、本開示に係る技術を顕微鏡に適用した場合には、染色された術部の微妙な色の違いを精度よく認識することができることから、正確に術部に対して手術を施すことが可能となる。
【0118】
＜４．４ 車両等の移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0119】
図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0120】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【0121】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0122】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0123】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0124】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0125】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0126】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【0127】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0128】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0129】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0130】
図１８は、撮像部１２０３１の設置位置の例を示す図である。
【0131】
図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【0132】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0133】
なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0134】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0135】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0136】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0137】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0138】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用することができる。
【0139】
＜＜５． 補足＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0140】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0141】
なお、本技術は以下のような構成も取ることができる。
（１）
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
を備える、撮像装置。
（２）
前記制御部は、前記第１の画素アレイ領域と前記第２の画素アレイ領域との位置関係に基づき、制御する前記画素を選択する、上記（１）に記載の撮像装置。
（３）
前記第２のフィルタ領域及び前記第２の画素アレイ領域を複数個有し、
前記各第２のフィルタは、互いに異なる帯域の波長の光を透過する、
上記（１）に記載の撮像装置。
（４）
前記制御部は、前記対象領域の色彩に応じて、複数の第２の画素アレイ領域から、制御する１つ以上の前記第２の画素アレイ領域を選択する、上記（３）に記載の撮像装置。
（５）
前記第１及び第２のフィルタ領域は、前記カラーフィルタの同一面内に所定の配列パターンで配列する、互いに異なる波長の光を透過する複数のサブフィルタから構成される、上記（１）～（４）のいずれか１つに記載の撮像装置。
（６）
前記第１のフィルタ領域を構成する前記サブフィルタの面積は、前記第２のフィルタ領域を構成する前記サブフィルタの面積と異なる、上記（５）に記載の撮像装置。
（７）
前記第１のフィルタ領域を構成する前記サブフィルタの数は、前記第２のフィルタ領域を構成する前記サブフィルタの数と異なる、上記（５）又は（６）に記載の撮像装置。
（８）
前記第１のフィルタ領域は、ベイヤー配列で配列する、赤色光を透過する第１のサブフィルタと、緑色光を透過する第２のサブフィルタと、青色光を透過する第３のサブフィルタとから構成される、上記（５）～（７）のいずれか１つに記載の撮像装置。
（９）
前記第１及び第２の画素アレイ領域は、基板上にマトリックス状に配置された複数の画素から構成される、上記（１）～（８）のいずれか１つに記載の撮像装置。
（１０）
前記第１の画素アレイ領域を構成する前記画素の面積は、前記第２の画素アレイ領域を構成する前記画素の面積と異なる、上記（９）に記載の撮像装置。
（１１）
前記第１の画素アレイ領域を構成する前記画素の数は、前記第２の画素アレイ領域を構成する前記画素の数と異なる、上記（９）又は（１０）に記載の撮像装置。
（１２）
前記カラーフィルタに光を導くレンズ部をさらに備える、上記（１）～（１１）のいずれか１つに記載の撮像装置。
（１３）
前記レンズ部は、前記第１及び第２のフィルタ領域にそれぞれ対応する複数のレンズから構成される、上記（１２）に記載の撮像装置。
（１４）
前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスと、前記第２のフィルタ領域に対応する前記レンズによるフォーカスとを、独立して、又は、同時に、調整する、上記（１３）に記載の撮像装置。
（１５）
前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスの調整結果と前記第２のフィルタ領域に対応する前記レンズによるフォーカスの調整結果との組み合わせに基づいて、第１の画素アレイ領域の対象物と前記第２の画素アレイ領域の対象物との相対距離情報を取得する、上記（１３）又は（１４）に記載の撮像装置。
（１６）
前記処理部は、前記対象領域として物体を検出する、上記（１）～（１５）のいずれか１つに記載の撮像装置。
（１７）
前記処理部は、前記対象領域として顔画像の領域を検出する、上記（１６）に記載の撮像装置。
（１８）
前記第１の画像と前記第２の画像とは、異なる撮像条件で取得される、上記（１）～（１７）のいずれか１つに記載の撮像装置。
（１９）
前記第１の画像と前記第２の画像とを合成する合成部をさらに備える、上記（１）～（１８）のいずれか１つに記載の撮像装置。
（２０）
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
を有する撮像装置を用いた撮像方法であって、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出し、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する、
ことを含む撮像方法。
（２１）
撮像装置を搭載する電子機器であって、
前記撮像装置は、
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
を有する、
電子機器。
（１）
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
を備える、撮像装置。
（２）
前記制御部は、前記第１の画素アレイ領域と前記第２の画素アレイ領域との位置関係に基づき、制御する前記画素を選択する、上記（１）に記載の撮像装置。
（３）
前記第２のフィルタ領域及び前記第２の画素アレイ領域を複数個有し、
前記各第２のフィルタは、互いに異なる帯域の波長の光を透過する、
上記（１）に記載の撮像装置。
（４）
前記制御部は、前記対象領域の色彩に応じて、複数の第２の画素アレイ領域から、制御する１つ以上の前記第２の画素アレイ領域を選択する、上記（３）に記載の撮像装置。
（５）
前記第１及び第２のフィルタ領域は、前記カラーフィルタの同一面内に所定の配列パターンで配列する、互いに異なる波長の光を透過する複数のサブフィルタから構成される、上記（１）～（４）のいずれか１つに記載の撮像装置。
（６）
前記第１のフィルタ領域を構成する前記サブフィルタの面積は、前記第２のフィルタ領域を構成する前記サブフィルタの面積と異なる、上記（５）に記載の撮像装置。
（７）
前記第１のフィルタ領域を構成する前記サブフィルタの数は、前記第２のフィルタ領域を構成する前記サブフィルタの数と異なる、上記（５）又は（６）に記載の撮像装置。
（８）
前記第１のフィルタ領域は、ベイヤー配列で配列する、赤色光を透過する第１のサブフィルタと、緑色光を透過する第２のサブフィルタと、青色光を透過する第３のサブフィルタとから構成される、上記（５）～（７）のいずれか１つに記載の撮像装置。
（９）
前記第１及び第２の画素アレイ領域は、基板上にマトリックス状に配置された複数の画素から構成される、上記（１）～（８）のいずれか１つに記載の撮像装置。
（１０）
前記第１の画素アレイ領域を構成する前記画素の面積は、前記第２の画素アレイ領域を構成する前記画素の面積と異なる、上記（９）に記載の撮像装置。
（１１）
前記第１の画素アレイ領域を構成する前記画素の数は、前記第２の画素アレイ領域を構成する前記画素の数と異なる、上記（９）又は（１０）に記載の撮像装置。
（１２）
前記カラーフィルタに光を導くレンズ部をさらに備える、上記（１）～（１１）のいずれか１つに記載の撮像装置。
（１３）
前記レンズ部は、前記第１及び第２のフィルタ領域にそれぞれ対応する複数のレンズから構成される、上記（１２）に記載の撮像装置。
（１４）
前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスと、前記第２のフィルタ領域に対応する前記レンズによるフォーカスとを、独立して、又は、同時に、調整する、上記（１３）に記載の撮像装置。
（１５）
前記制御部は、前記第１のフィルタ領域に対応する前記レンズによるフォーカスの調整結果と前記第２のフィルタ領域に対応する前記レンズによるフォーカスの調整結果との組み合わせに基づいて、第１の画素アレイ領域の対象物と前記第２の画素アレイ領域の対象物との相対距離情報を取得する、上記（１３）又は（１４）に記載の撮像装置。
（１６）
前記処理部は、前記対象領域として物体を検出する、上記（１）～（１５）のいずれか１つに記載の撮像装置。
（１７）
前記処理部は、前記対象領域として顔画像の領域を検出する、上記（１６）に記載の撮像装置。
（１８）
前記第１の画像と前記第２の画像とは、異なる撮像条件で取得される、上記（１）～（１７）のいずれか１つに記載の撮像装置。
（１９）
前記第１の画像と前記第２の画像とを合成する合成部をさらに備える、上記（１）～（１８）のいずれか１つに記載の撮像装置。
（２０）
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
を有する撮像装置を用いた撮像方法であって、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出し、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する、
ことを含む撮像方法。
（２１）
撮像装置を搭載する電子機器であって、
前記撮像装置は、
第１の帯域の波長を有する光を透過する第１のフィルタ領域と、前記第１の帯域に比べて狭い第２の帯域の波長を有する光を透過する第２のフィルタ領域とを有するカラーフィルタと、
前記第１のフィルタ領域を透過した光を受光する第１の画素アレイ領域と、前記第２のフィルタ領域を透過した光を受光する第２の画素アレイ領域とを有する画素アレイ部と、
前記第１の画素アレイ領域内に位置する複数の画素からの画素信号を処理することにより得られた第１の画像から、対象領域を検出する処理部と、
前記対象領域に対応する対象物の第２の画像を取得するために、前記対象領域の位置に基づいて、前記第２の画素アレイ領域内に位置する複数の画素の一部を制御する制御部と、
を有する、
電子機器。
【符号の説明】
【0142】
１０ 撮像装置
１００ レンズ部
１０２、１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ レンズ
２００ カラーフィルタ
２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ フィルタ領域
２０４ カラーフィルタブロック
３００ 撮像部
３０２ 画素アレイ部
３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ 画素アレイ領域
３０６ 画素
３１０ 半導体基板
３３２ 垂直駆動回路部
３３４ カラム信号処理回路部
３３６ 水平駆動回路部
３３８ 出力回路部
３４０ 制御回路部
３４２ 画素駆動配線
３４４ 垂直信号線
３４６ 水平信号線
３４８ 入出力端子
４００ 処理ユニット
４１０ 処理部
４２０ 制御部
４３０ 記憶部
４３２ テーブル
４４０ 出力部
５００ 合成部
８００、８０２ 被写体
８０８ 全体画像
８１０ａ、８１０ｃ、８１０ｄ ＲＯＩ
１００ レンズ部
１０２、１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ レンズ
２００ カラーフィルタ
２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ フィルタ領域
２０４ カラーフィルタブロック
３００ 撮像部
３０２ 画素アレイ部
３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ 画素アレイ領域
３０６ 画素
３１０ 半導体基板
３３２ 垂直駆動回路部
３３４ カラム信号処理回路部
３３６ 水平駆動回路部
３３８ 出力回路部
３４０ 制御回路部
３４２ 画素駆動配線
３４４ 垂直信号線
３４６ 水平信号線
３４８ 入出力端子
４００ 処理ユニット
４１０ 処理部
４２０ 制御部
４３０ 記憶部
４３２ テーブル
４４０ 出力部
５００ 合成部
８００、８０２ 被写体
８０８ 全体画像
８１０ａ、８１０ｃ、８１０ｄ ＲＯＩ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
