IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-09
(45)【発行日】2025-01-20
(54)【発明の名称】撮像装置及び撮像センサ
(51)【国際特許分類】
   H04N 25/704 20230101AFI20250110BHJP
   H04N 25/46 20230101ALI20250110BHJP
   H04N 25/70 20230101ALI20250110BHJP
   H04N 25/702 20230101ALI20250110BHJP
   G02B 7/34 20210101ALI20250110BHJP
   G03B 13/36 20210101ALI20250110BHJP
【FI】
H04N25/704
H04N25/46
H04N25/70
H04N25/702
G02B7/34
G03B13/36
【請求項の数】 11
(21)【出願番号】P 2023190812
(22)【出願日】2023-11-08
(62)【分割の表示】P 2022503139の分割
【原出願日】2021-01-13
(65)【公開番号】P2024020319
(43)【公開日】2024-02-14
【審査請求日】2023-11-08
(31)【優先権主張番号】P 2020034192
(32)【優先日】2020-02-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】田中 康一
(72)【発明者】
【氏名】河合 智行
(72)【発明者】
【氏名】北川 潤也
(72)【発明者】
【氏名】西尾 祐也
【審査官】堀井 康司
(56)【参考文献】
【文献】国際公開第2015/111269(WO,A1)
【文献】特開2011-101325(JP,A)
【文献】特開2015-128215(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30-5/33
H04N 23/11
H04N 23/20-23/30
H04N 25/00
H04N 25/20-25/61
H04N 25/615-25/79
G02B 7/34
G03B 13/36
(57)【特許請求の範囲】
【請求項1】
複数の画素が配列され、撮像レンズを介して光が入射する画素領域と、
前記画素領域からの画素信号の読み出しを制御する制御部と、を備え、
前記画素領域には、光電変換素子と、前記光電変換素子に入射する光の一部を遮光する遮光層とを含む位相差画素が、第1方向に沿って配列されており、
前記第1方向の一方側を第1側とし、他方側を第2側とした場合において、
前記画素領域は、前記第1側の第1側領域に、前記光電変換素子の前記第1側が前記遮光層により遮光された複数の前記位相差画素を含む第1位相差画素群と、前記光電変換素子の前記第2側が前記遮光層により遮光された複数の前記位相差画素を含む第2位相差画素群と、を有し、
前記第1位相差画素群は、第1A画素と、前記第1A画素よりも前記遮光層による前記光電変換素子の遮光面積が小さい第1B画素とを含み、
前記制御部は、前記撮像レンズから前記撮像レンズの光学特性の情報を取得し、取得した前記光学特性に応じて、前記第1A画素の画素信号と前記第1B画素の画素信号との少なくともいずれか一方に重みを付けた加算読み出し処理を行う、
撮像装置であって、
前記制御部は、前記撮像レンズから前記光学特性の情報を取得できない場合に、前記重みを既定の値とした前記加算読み出し処理を行う
撮像装置。
【請求項2】
前記第2位相差画素群は、第2A画素と、前記第2A画素よりも前記遮光層による前記光電変換素子の遮光面積が大きい第2B画素とを含み、
前記制御部は、取得された前記光学特性に応じて、前記第1A画素と前記第2A画素のセットと、前記第1B画素と前記第2B画素のセットとのいずれか一方に重みを付けた加算読み出し処理を行う、
請求項1に記載の撮像装置。
【請求項3】
前記画素領域は、
前記第1A画素を含み、かつ複数の画素が前記第1方向に配列された第A画素ラインと、
前記第1B画素を含み、かつ複数の画素が前記第1方向に配列された第B画素ラインと、を有し、
前記第A画素ラインと前記第B画素ラインとは、前記第1方向に交差する第2方向に配列されており、
前記制御部は、取得された前記光学特性に応じて、前記第A画素ライン及び前記第B画素ラインのいずれか一方に重みを付けた加算読み出し処理を行う、
請求項1に記載の撮像装置。
【請求項4】
前記第1位相差画素群は、前記画素領域の前記第1方向に関して中央に位置する中央領域にも含まれており、
前記第A画素ラインにおいて、前記第1側領域に含まれる前記第1A画素の遮光面積は、前記中央領域に含まれる前記第1A画素の遮光面積よりも大きく、
前記第B画素ラインにおいて、前記第1側領域に含まれる前記第1B画素の遮光面積は、前記中央領域に含まれる前記第1B画素の遮光面積と等しい、
請求項3に記載の撮像装置。
【請求項5】
前記第A画素ラインに含まれる複数の前記第1A画素の遮光面積は、前記第1側領域から前記中央領域に近づくに連れて減少する、
請求項4に記載の撮像装置。
【請求項6】
前記第A画素ラインと前記第B画素ラインとは、前記第2方向に隣接している、
請求項3から請求項5のうちいずれか1項に記載の撮像装置。
【請求項7】
前記画素領域には、前記第2側の第2側領域に、前記第1位相差画素群に含まれる前記位相差画素が形成されており、
前記第A画素ラインにおいて、前記第2側領域に含まれる前記第1A画素の遮光面積は、前記第1側領域に含まれる前記第1A画素の遮光面積よりも小さい、
請求項3から請求項6のうちいずれか1項に記載の撮像装置。
【請求項8】
前記光学特性は、前記画素領域に対する前記光の入射角度、前記撮像レンズの焦点距離、又は前記撮像レンズのズーム倍率である、
請求項1から請求項7のうちいずれか1項に記載の撮像装置。
【請求項9】
前記撮像レンズは、焦点距離が変更可能であり、
前記制御部は、前記焦点距離が変更され、かつ変更が停止した場合に前記重みを変更する
請求項8に記載の撮像装置。
【請求項10】
前記画素領域は、
前記第1方向に延在し、かつ前記画素信号を読み出す前記光電変換素子を選択するゲート線と、
前記第1方向に交差する第2方向に延在し、かつ前記光電変換素子から画素信号が出力される信号線と、を備える、
請求項1から請求項9のうちいずれか1項に記載の撮像装置。
【請求項11】
前記加算読み出し処理には、前記重みをゼロとすることにより、前記重みがゼロとされた画素信号を間引き、かつ前記重みづけがゼロでない画素信号を読み出す、間引き読み出し処理が含まれる、
請求項1から請求項10のうちいずれか1項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、撮像装置及び撮像センサに関する。
【背景技術】
【0002】
撮像装置の自動焦点検出方式として、コントラスト検出方式と位相差検出方式とがある。位相差検出方式では、撮像レンズの射出瞳を通過した光束を2分割し、2分割した光束を一対の位相差画素(焦点検出用画素とも称される。)でそれぞれ受光する。
【0003】
特開2011-101325号公報には、複数の撮像用画素の他に、受光分布が異なる複数種類の位相差画素を有する撮像装置が開示されている。特開2011-101325号公報に記載の撮像装置は、複数の画素を間引いて読み出す場合に、間引く位相が異なる複数の間引き読み出しモードから1つの間引き読み出しモードを選択可能とする。複数種類の位相差画素は、選択された間引き読み出しモードに応じて、1つの種類の位相差画素の信号のみが読み出される。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示の技術に係る一つの実施形態は、撮像レンズの光学特性に応じた適切な位相差画素の画素信号を用いて合焦制御を行うことを可能とする撮像装置及び撮像センサを提供する。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本開示の撮像装置は、複数の画素が配列され、撮像レンズを介して光が入射する画素領域と、画素領域からの画素信号の読み出しを制御する制御部と、を備え、画素領域には、光電変換素子と、光電変換素子に入射する光の一部を遮光する遮光層とを含む位相差画素が、第1方向に沿って配列されており、第1方向の一方側を第1側とし、他方側を第2側とした場合において、画素領域は、第1側の第1側領域に、光電変換素子の第1側が遮光層により遮光された複数の位相差画素を含む第1位相差画素群と、光電変換素子の第2側が遮光層により遮光された複数の位相差画素を含む第2位相差画素群と、を有し、第1位相差画素群は、第1A画素と、第1A画素よりも遮光層による光電変換素子の遮光面積が小さい第1B画素とを含み、制御部は、撮像レンズの光学特性に応じて、第1A画素の画素信号と第1B画素の画素信号との少なくともいずれか一方に重みを付けた加算読み出し処理を行う、撮像装置である。
【0006】
第2位相差画素群は、第2A画素と、第2A画素よりも遮光層による光電変換素子の遮光面積が大きい第2B画素とを含み、制御部は、撮像レンズの光学特性に応じて、第1A画素と第2A画素のセットと、第1B画素と第2B画素のセットとのいずれか一方に重みを付けた加算読み出し処理を行うことが好ましい。
【0007】
画素領域は、第1A画素を含み、かつ複数の画素が第1方向に配列された第A画素ラインと、第1B画素を含み、かつ複数の画素が第1方向に配列された第B画素ラインと、を有し、第A画素ラインと第B画素ラインとは、第1方向に交差する第2方向に配列されており、制御部は、撮像レンズの光学特性に応じて、第A画素ライン及び第B画素ラインのいずれか一方に重みを付けた加算読み出し処理を行うことが好ましい。
【0008】
第1位相差画素群は、画素領域の第1方向に関して中央に位置する中央領域にも含まれており、第A画素ラインにおいて、第1側領域に含まれる第1A画素の遮光面積は、中央領域に含まれる第1A画素の遮光面積よりも大きく、第B画素ラインにおいて、第1側領域に含まれる第1B画素の遮光面積は、中央領域に含まれる第1B画素の遮光面積と等しいことが好ましい。
【0009】
第A画素ラインに含まれる複数の第1A画素の遮光面積は、第1側領域から中央領域に近づくに連れて減少することが好ましい。
【0010】
第A画素ラインと第B画素ラインとは、第2方向に隣接していることが好ましい。
【0011】
画素領域には、第2側の第2側領域に、第1位相差画素群に含まれる位相差画素が形成されており、第A画素ラインにおいて、第2側領域に含まれる第1A画素の遮光面積は、第1側領域に含まれる第1A画素の遮光面積よりも小さいことが好ましい。
【0012】
光学特性は、画素領域に対する光の入射角度、撮像レンズの焦点距離、又は撮像レンズのズーム倍率であることが好ましい。
【0013】
撮像レンズは、焦点距離が変更可能であり、制御部は、焦点距離が変更され、かつ変更が停止した場合に重みを変更することが好ましい。
【0014】
制御部は、撮像レンズから光学特性を取得し、取得した光学特性に基づいて重みを決定することが好ましい。
【0015】
制御部は、撮像レンズから光学特性を取得できない場合に、第1A画素及び第1B画素に対する光の露光量に基づいて重みを決定することが好ましい。
【0016】
第2位相差画素群は、第2A画素と、第1B画素と遮光面積が等しい第2B画素とを含み、制御部は、撮像レンズの光学特性を取得できない場合に、第1A画素と第2A画素とのセットに対する重みをゼロとしてもよい。
【0017】
画素領域は、第1方向に延在し、かつ画素信号を読み出す光電変換素子を選択するゲート線と、第1方向に交差する第2方向に延在し、かつ光電変換素子から画素信号が出力される信号線と、を備えることが好ましい。
【0018】
加算読み出し処理には、重みをゼロとすることにより、重みがゼロとされた画素信号を間引き、かつ重みづけがゼロでない画素信号を読み出す、間引き読み出し処理が含まれることが好ましい。
【0019】
本開示の撮像センサは、複数の画素が配列された画素領域を備え、画素領域には、光電変換素子と、光電変換素子に入射する光の一部を遮光する遮光層とを含む位相差画素が、第1方向に沿って配列されており、第1方向の一方側を第1側とし、他方側を第2側とした場合において、画素領域は、第1側の第1側領域に、光電変換素子の第1側が遮光層により遮光された複数の位相差画素を含む第1位相差画素群と、光電変換素子の第2側が遮光層により遮光された複数の位相差画素を含む第2位相差画素群と、を有し、第1位相差画素群は、第1A画素と、第1A画素よりも遮光層による光電変換素子の遮光面積が小さい第1B画素とを含み、第2位相差画素群は、第2A画素と、第2A画素よりも遮光層による光電変換素子の遮光面積が大きい第2B画素とを含む、撮像センサである。
【0020】
画素領域は、カラーフィルタと光電変換素子を有する撮像画素を含んでおり、第1A画素と第2A画素とは、3つ以下の撮像画素を挟んで配置されており、第1B画素と第2B画素とは、3つ以下の撮像画素を挟んで配置されていることが好ましい。
【0021】
画素領域は、第1A画素を含み、かつ複数の画素が第1方向に配列された第A画素ラインと、第1B画素を含み、かつ複数の画素が第1方向に配列された第B画素ラインと、を有し、第A画素ラインと第B画素ラインとは、第1方向に交差する第2方向に配列されていることが好ましい
【0022】
第1位相差画素群と第2位相差画素群とは、画素領域の第2側の第2側領域にも配置されており、第2側領域において、第1A画素の遮光面積は、第1B画素の遮光面積よりも小さく、第2側領域において、第2A画素の遮光面積は、第2B画素の遮光面積よりも大きいことが好ましい。
【0023】
第1側領域において、第1位相差画素群は、第1B画素よりも遮光層による光電変換素子の遮光面積が小さい第1C画素を含み、第1側領域において、第2位相差画素群は、第2B画素よりも遮光層による光電変換素子の遮光面積が大きい第2C画素を含むことが好ましい。
【0024】
画素領域は、第1方向に延在し、かつ画素信号を読み出す光電変換素子を選択するゲート線と、第1方向に交差する第2方向に延在し、かつ光電変換素子から画素信号が出力される信号線と、を備えることが好ましい。
【図面の簡単な説明】
【0025】
図1】撮像装置の前面側を示す概略斜視図である。
図2】撮像装置の背面側を示す概略斜視図である。
図3】撮像装置の内部構成を示す概略図である。
図4】レンズ情報の一例を示す図である。
図5】主光線角度について説明する模式図である。
図6】撮像センサの構成例を示す図である。
図7】加算読み出しの一例を示す図である。
図8】加算読み出しモードと重みとの関係を示す図である。
図9】画素領域に含まれる画素の種類を示す図である。
図10】撮像画素の構成を示す図である。
図11】位相差画素の構成を示す図である。
図12】画素領域の各領域に含まれる位相差画素の種類を示す図である。
図13】第A画素ラインに含まれる位相差画素の構成を示す図である。
図14】第B画素ラインに含まれる位相差画素の構成を示す図である。
図15】第C画素ラインに含まれる位相差画素の構成を示す図である。
図16】画素領域に含まれる位相差画素の全体構成を示す図である。
図17】主制御部により実行される処理の手順を示すフローチャートである。
図18】レンズ情報に基づいて加算読み出しモードを選択する手順を説明する図である。
図19】第5加算読み出しモードについて説明する図である。
図20】第6加算読み出しモードについて説明する図である。
図21】周辺主光線角度を関連付けたテーブルを例示する図である。
図22】第4実施形態に係る重みの変更処理を説明するフローチャートである。
図23】光学特性の差異により生じる位相差画素の露光量の差を例示する図である。
図24】第5実施形態に係る重みの決定処理を説明するフローチャートである。
【発明を実施するための形態】
【0026】
添付図面に従って本開示の技術に係る実施形態の一例について説明する。
【0027】
先ず、以下の説明で使用される文言について説明する。
【0028】
以下の説明において、「CPU」は“Central Processing Unit”の略称である。「ROM」は、“Read Only Memory”の略称である。「RAM」は、“Random Access Memory”の略称である。「CMOS」は、“Complementary Metal Oxide Semiconductor”の略称である。「FPGA」は、“Field-Programmable Gate Array”の略称である。「PLD」は、“Programmable Logic Device”の略称である。「ASIC」は、“Application Specific Integrated Circuit”の略称である。
【0029】
本開示において、本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。本開示において、「等しい」とは、完全に等しいことの他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いで実質的に等しいことを含む。
【0030】
[第1実施形態]
撮像装置の第1実施形態として、レンズ交換式のデジタルカメラを例に挙げて本開示の技術を説明する。
【0031】
図1に示すように、撮像装置10は、レンズ交換式のデジタルカメラである。撮像装置10は、本体11と、本体11に交換可能に装着される撮像レンズ12とを備えている。
【0032】
本体11の前面11Cには、カメラ側マウント11Aが設けられている。撮像レンズ12には、後端側にレンズ側マウント12Aが設けられている。レンズ側マウント12Aをカメラ側マウント11Aに取り付けることにより、撮像レンズ12が本体11に接続される。
【0033】
本実施形態では、撮像レンズ12を、焦点距離が固定された単焦点レンズとする。本体11には、焦点距離が異なる複数種類の撮像レンズ12を取り付けることが可能である。
【0034】
本体11には、撮像センサ20が設けられている。撮像センサ20は、受光面20Aがカメラ側マウント11Aの開口から露出している。撮像レンズ12が本体11に装着された場合に、被写体からの光束は、撮像レンズ12を通過して撮像センサ20の受光面20Aに結像される。撮像センサ20は、受光面20Aに結像された光束を撮像し、撮像信号を生成する。
【0035】
本体11の上面には、ダイヤル13及びレリーズボタン14が設けられている。ダイヤル13は、動作モード等の設定の際に操作される。撮像装置10の動作モードとして、例えば、静止画撮像モード、及び動画撮像モードが含まれる。レリーズボタン14は、静止画撮像モード又は動画撮像モードにおいて、撮像を開始する際に操作される。
【0036】
図2に示すように、本体11の背面11Dには、ディスプレイ15及び指示キー16が設けられている。ディスプレイ15には、撮像により得られた画像データに基づく画像、及び各種のメニュー画面等が表示される。
【0037】
指示キー16は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、1つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、オートフォーカスモード、マニュアルフォーカスモード、及びコマ送り等の各種の指示等を指す。また、この他、本体11には、電源スイッチ等が設けられている。
【0038】
図3は、撮像レンズ12を本体11に装着した状態における撮像装置10の内部構成を示す。本体11と撮像レンズ12とは、カメラ側マウント11Aに設けられた電気接点11Bと、レンズ側マウント12Aに設けられた電気接点12Bとが接触することにより電気的に接続される。
【0039】
撮像レンズ12は、対物レンズ30、フォーカスレンズ31、後端レンズ32、及び絞り33を含む。各々部材は、撮像レンズ12の光軸OPに沿って、対物側から、対物レンズ30、絞り33、フォーカスレンズ31、後端レンズ32の順に配列されている。対物レンズ30、フォーカスレンズ31、及び後端レンズ32が、撮像光学系を構成している。撮像光学系を構成するレンズの種類、数、及び配列順序は、図3に示す例に限定されない。
【0040】
また、撮像レンズ12は、レンズ駆動制御部34及びメモリ35を有する。レンズ駆動制御部34は、CPU、RAM、及びROM等により構成されている。レンズ駆動制御部34は、電気接点12B及び電気接点11Bを介して、本体11内の主制御部40と電気的に接続されている。
【0041】
レンズ駆動制御部34は、主制御部40から送信される制御信号に基づいて、フォーカスレンズ31及び絞り33を駆動する。レンズ駆動制御部34は、撮像レンズ12の合焦位置を調節するために、主制御部40から送信される合焦制御用の制御信号に基づいて、フォーカスレンズ31の駆動制御を行う。主制御部40は、位相差方式により合焦制御を行う。
【0042】
絞り33は、光軸OPを中心として開口径が可変である開口を有する。レンズ駆動制御部34は、撮像センサ20の受光面20Aへの入射光量を調節するために、主制御部40から送信される絞り調整用の制御信号に基づいて、絞り33の駆動制御を行う。
【0043】
メモリ35は、フラッシュメモリ等の不揮発性メモリである。メモリ35には、撮像レンズ12の光学特性に関するレンズ情報35Aが記憶されている。このレンズ情報35Aは、撮像レンズ12の種類ごとに異なる情報である。レンズ情報35Aは、撮像センサ20の受光面20Aに対する主光線の入射角度(以下、主光線角度という。)に関する情報を含んでいる。
【0044】
本体11には、撮像センサ20、主制御部40、画像処理部41、操作部42、及びディスプレイ15を有する。撮像センサ20、画像処理部41、操作部42、及びディスプレイ15は、主制御部40により動作が制御される。主制御部40は、CPU、RAM、及びROM等により構成されている。
【0045】
撮像センサ20は、例えば、CMOS型イメージセンサである。撮像センサ20は、光軸OPが受光面20Aに直交し、かつ光軸OPが受光面20Aの中心に位置するように配置されている。受光面20Aには、撮像レンズ12の射出瞳EPを通過した光束LFが入射する。受光面20Aには、光電変換を行うことにより画素信号を生成する画素が複数形成されている。撮像センサ20は、各画素に入射した光を光電変換することにより、各画素の画素信号で構成される撮像信号を生成する。
【0046】
画像処理部41は、撮像信号に対して種々の画像処理を施すことにより、既定のファイル形式(例えば、JPEG形式等)の画像データを生成する。ディスプレイ15は、画像処理部41が生成した画像データに基づき、画像を表示する。画像には、静止画、動画、ライブビュー画像が含まれる。ライブビュー画像は、画像処理部41で生成された画像データを、ディスプレイ15に順次出力することにより、ディスプレイ15にリアルタイム表示される画像である。
【0047】
画像処理部41が生成した画像データは、本体11に内蔵された内部メモリ(図示せず)、又は本体11に着脱可能な記憶媒体(メモリカード等)に保存することが可能である。
【0048】
操作部42は、前述のダイヤル13、レリーズボタン14、及び指示キー16(図1及び図2参照)を含む。主制御部40は、操作部42の操作に応じて、本体11内の各部と、撮像レンズ12内のレンズ駆動制御部34とを制御する。
【0049】
また、主制御部40は、撮像レンズ12が本体11に接続された際に、レンズ駆動制御部34を介してメモリ35に格納されたレンズ情報35Aを取得する。本実施形態では、主制御部40は、レンズ情報35Aに含まれる主光線角度情報に基づいて、位相差方式による合焦制御を行う。
【0050】
図4は、メモリ35に格納されたレンズ情報35Aの一例である。レンズ情報35Aには、主光線角度θは、像高Hとの関係を表す数値として記録されている。レンズ情報35Aには、主光線角度θに加えて、上光線角度及び下光線角度等が含まれていてもよい。これらの情報は、撮像レンズ12に固有の情報であり、撮像光学系の設計データから得られる。
【0051】
図5は、主光線角度θについて説明する模式図である。図5に示すように、主光線角度θは、射出瞳EPの中心を通る主光線PRと、結像点IPにおける受光面20Aの法線とのなす角度である。像高Hは、光軸OPから結像点IPまでの距離を表す。
【0052】
主光線角度θは、結像点IPが受光面20Aの中心に一致する場合(すなわち、H=0の場合)には、「0」となる。主光線角度θは、結像点IPが受光面20Aの中心から離れる(すなわち、像高Hが大きくなる)にしたがって、大きくなる。なお、図5中の符号URは上光線を表し、符号LRは下光線を表している。
【0053】
図6は、撮像センサ20の構成の一例を示す。撮像センサ20は、画素領域21、垂直走査回路22、ラインメモリ23、水平走査回路24、及び出力アンプ25を有する。画素領域21には、複数の画素26が、X方向及びY方向に沿って二次元マトリクス状に配列されている。画素26は、入射光を信号電荷に変換して蓄積する光電変換素子27を含む。光電変換素子27は、フォトダイオードにより構成される。また、画素26には、信号電荷を電圧信号(以下、画素信号という。)に変換するアンプ、及びリセットスイッチ等が含まれている。画素26は、入射光の光量に応じた画素信号Sを出力する。
【0054】
ここで、Y方向は、X方向に直交している。X方向は、本開示の技術に係る「第1方向」の一例である。Y方向は、本開示の技術に係る「第2方向」の一例である。
【0055】
垂直走査回路22には、X方向に延在した複数のゲート線22Aが接続されている。ラインメモリ23には、Y方向に延在した複数の信号線23Aが接続されている。複数のゲート線22Aと、複数の信号線23Aとは、画素領域21において互いに交差している。各画素26は、ゲート線22Aと信号線23Aとが交差する箇所に設けられている。各画素26は、スイッチとしてのトランジスタ28を介して信号線23Aに接続されている。トランジスタ28のゲート電極は、ゲート線22Aに接続されている。
【0056】
画素領域21内の画素26は、垂直走査回路22からゲート線22Aに与えられる選択信号により一行ごとに選択される。垂直走査回路22によりゲート線22Aに選択信号が与えられると、当該ゲート線22Aに接続された各画素26から信号線23Aに、画素信号Sが出力される。以下、X方向に並ぶ複数の画素26を単に「行」と称することもある。
【0057】
ラインメモリ23は、一行分の画素26から出力された画素信号Sを記憶する。ラインメモリ23は、キャパシタ等により構成されている。ラインメモリ23は、スイッチとしてのトランジスタ29を介して水平出力線24Aに接続されている。出力アンプ25は、水平出力線24Aの端部に接続されている。水平走査回路24は、トランジスタ29を順に選択する水平走査を行うことにより、ラインメモリ23に記憶された一行分の画素信号Sを順に水平出力線24Aに出力させる。水平出力線24Aに出力された画素信号Sは、出力アンプ25を介して、撮像信号として外部の画像処理部41へ出力される。
【0058】
垂直走査回路22、ラインメモリ23、及び水平走査回路24の動作は、主制御部40により制御される。主制御部40は、垂直走査回路22を制御することにより、「順次読み出し方式」又は「加算読み出し方式」により、画素信号Sの読み出しを可能とする。順次読み出し方式は、ゲート線22AをY方向へ順に選択することにより、一行ずつ画素信号Sを読み出す方式である。
【0059】
加算読み出し方式は、複数のゲート線22Aに対してそれぞれ重みを付けることにより、複数行分の画素信号Sを重みに応じて加算して読み出す方式である。なお、加算読み出しとは、少なくとも1つのゲート線22Aに対する重みをゼロとすることにより、重みがゼロとされた行に含まれる画素信号Sを読み出さない(すなわち間引く)、間引き読み出しも含まれる。
【0060】
なお、撮像センサ20には、デジタル化された撮像信号を出力するために、A/D変換器が含まれていてもよい。主制御部40は、本開示の技術に係る「制御部」の一例である。撮像センサ20には、主制御部40とは別に、垂直走査回路22、ラインメモリ23、及び水平走査回路24を制御するための制御部が内蔵されていてもよい。
【0061】
図7は、加算読み出しの一例を示す。図7は、Y方向に4行ごとに重みを付けた加算読み出しを行うことにより、撮像信号の信号量を1/4倍に削減する例を示している。本例では、4行のうちの1行から画素信号Sを読み出す「1/4画素間引き読み出し」について説明する。
【0062】
図7に示すように、ゲート線22Aのアドレス(以下、行アドレスという。)は、順に0,1,2,3,・・・とする。本例では、主制御部40は、各行アドレスに、「0」又は「1」の重みが設定される。行アドレスが4nの行の重みをW0とし、行アドレスが4n+1の行の重みをW1とし、行アドレスが4n+2の行の重みをW2とし、行アドレスが4n+3の行の重みをW3とする。ここで、nは、0を含む自然数である(すなわち、n=0,1,2,3,・・・)。
【0063】
本例では、主制御部40は、W0=1,W1=0,W2=0,及びW3=0と設定する。そして、垂直走査回路22は、設定された重みW0~W3に基づいて、行アドレス4n~4n+3を一組として加算読み出しを行う。加算読み出しを行う際に、垂直走査回路22は、重みが「1」の行については選択信号を与えてトランジスタ28をオンとし、かつ、重みが「0」の行については選択信号を与えずにトランジスタ28をオフとする。これにより、行アドレス4n~4n+3のうち、行アドレス4nの行からのみ画素信号Sが読み出される。したがって、本例では、行アドレス0,4,8,・・・の順に、4行ごとに画素信号Sが信号線23Aに出力される。
【0064】
主制御部40は、重みW0~W3を変更することにより、4種の加算読み出しモードから1つのモードを実行可能とする。図8は、第1加算読み出しモードM1、第2加算読み出しモードM2、第3加算読み出しモードM3、及び第4加算読み出しモードM4のそれぞれに対応する重みW0~W3を示している。第1加算読み出しモードM1は、図7で示した読み出し方式に対応し、画素信号Sが読み出される読み出し行アドレスは「4n」である。
【0065】
第2加算読み出しモードM2は、重みW1を「1」、その他の重みW0,W2,W3を「0」とすることにより実行され、読み出し行アドレスは「4n+1」である。第3加算読み出しモードM3は、重みW2を「1」、その他の重みW0,W1,W3を「0」とすることにより実行され、読み出し行アドレスは「4n+2」である。第4加算読み出しモードM4は、重みW3を「1」、その他の重みW0,W1,W2を「0」とすることにより実行され、読み出し行アドレスは「4n+3」である。
【0066】
図9は、画素領域21に含まれる画素26(図6参照)の種類を示す。図9中の符号R,G,Bは、画素26に設けられたカラーフィルタの色を表している。これらのカラーフィルタが設けられた画素26は、画像を生成するための撮像に用いられる画素であるので、以下では、撮像画素Nと呼ぶ。
【0067】
図9に示すカラーフィルタの色配列は、いわゆるベイヤ配列である。ベイヤ配列は、2×2の4画素のうち、対角の2画素にG(緑色)のカラーフィルタを配置し、他の2画素にR(赤色)とB(青色)のカラーフィルタを配置した色配列である。なお、カラーフィルタの色配列は、ベイヤ配列に限定されず、他の色配列であってもよい。
【0068】
また、図9中の符号Fは、位相差画素を示している。位相差画素Fには、カラーフィルタは設けられていない。詳しくは後述するが、位相差画素Fは、主光線を中心としてX方向に分割された光束の一方を受光する。
【0069】
位相差画素Fは、ベイヤ配列の一部の撮像画素Nを置き換えることにより、画素領域21内に配置されている。例えば、位相差画素Fは、X方向に3画素ごと(すなわち、2画素おき)に配列されている。また、複数の位相差画素Fは、第1位相差画素群F1と第2位相差画素群F2とに分けられる。第1位相差画素群F1は、主光線を中心としてX方向に分割された光束の一方を受光する位相差画素Fにより構成される。第2位相差画素群F2は、主光線を中心としてX方向に分割された光束の他方を受光する位相差画素Fにより構成される。
【0070】
また、第1位相差画素群F1及び第2位相差画素群F2は、撮像レンズ12の光学特性に応じて異なる受光特性を有する複数種の位相差画素Fに分けられる。図9には、第1光学特性に対応した位相差画素Fが配列された第A画素ラインLAと、第2光学特性に対応した位相差画素Fが配列された第B画素ラインLBと、第3光学特性に対応した位相差画素Fが配列された第C画素ラインLCとが設けられている。本例では、第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCは、この順にY方向に隣接して配置されている。
【0071】
例えば、第A画素ラインLAは、行アドレス4nの行に配置されており、第B画素ラインLBは、行アドレス4n+1の行に配置されており、第C画素ラインLCは、行アドレス4n+2の行に配置されている。また、本例では、第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCは、それぞれ複数設けられている。図9は、Y方向にm行離れた位置に設けられた2組の第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCを示している。
【0072】
第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCは、前述の加算読み出しモード(図9参照)により選択的に読み出される。具体的には、第A画素ラインLAは、第1加算読み出しモードM1により読み出される。第B画素ラインLBは、第2加算読み出しモードM2により読み出される。第C画素ラインLCは、第3加算読み出しモードM3により読み出される。すなわち、加算読み出しモードを選択することにより、撮像レンズ12の光学特性に対応した位相差画素Fが含まれる画素ラインを読み出すことが可能である。
【0073】
図10は、撮像画素Nの構成を示す。撮像画素Nは、光電変換素子27、カラーフィルタCF、及びマイクロレンズMLを含んで構成されている。カラーフィルタCFは、光電変換素子27とマイクロレンズMLとの間に配置されている。カラーフィルタCFは、R,G,Bのいずれかの色の光を透過させるフィルタである。
【0074】
マイクロレンズMLは、射出瞳EPから入射する光束を、カラーフィルタCFを介して光電変換素子27に集光する。マイクロレンズMLは、像高Hが大きいほど、光電変換素子27の中心からずれた位置に配置されている。具体的には、H=0の位置を基準として、X方向の一方側(以下、第1側という。)に位置するマイクロレンズMLは、光電変換素子27の中心から、X方向の他方側(以下、第2側という。)にずれた位置に配置されている。逆に、H=0の位置を基準として、X方向の第2側に位置するマイクロレンズMLは、光電変換素子27の中心から第1側にずれた位置に配置されている。
【0075】
射出瞳EPから入射する光束の主光線PRの入射角度である主光線角度θは、像高Hが大きいほど大きくなるため、上述のようにマイクロレンズMLをずらすことにより、主光線PRを光電変換素子27のほぼ中心に入射させることができる。なお、マイクロレンズMLは、Y方向についても同様に、像高Hが大きいほど、光電変換素子27の中心からずれた位置に配置されている。このように、マイクロレンズMLをずらすことにより、画素領域21(図6参照)の周辺領域における受光量の減少を改善することができる。
【0076】
図11は、位相差画素Fの構成を示す。具体的には、図11は、画素領域21のX方向に関して中央に位置する中央領域における第1位相差画素群F1及び第2位相差画素群F2に含まれる位相差画素Fの構成を示している。
【0077】
位相差画素Fは、光電変換素子27、遮光層SF、及びマイクロレンズMLを含んで構成されている。マイクロレンズMLは、撮像画素Nと同様の位置に配置されている。すなわち、マイクロレンズMLは、像高Hが大きいほど、光電変換素子27の中心からずれた位置に配置されている。図11に示す位相差画素Fは、画素領域21の中央領域(すなわち、像高Hはほぼ0)に位置するので、光電変換素子27の中心に対するマイクロレンズMLのずれ量はほぼ0である。
【0078】
遮光層SFは、金属膜等で形成され、光電変換素子27とマイクロレンズMLとの間に配置されている。遮光層SFは、マイクロレンズMLを介して光電変換素子27に入射する光束LFの一部を遮光する。
【0079】
画素領域21の中央部では、主光線角度θがほぼ0であるので、第1位相差画素群F1に含まれる位相差画素Fと、第2位相差画素群F2に含まれる位相差画素Fとは、X方向に関して対称な構造を有する。
【0080】
第1位相差画素群F1に含まれる位相差画素Fでは、遮光層SFは、光電変換素子27の中心を基準として第1側を遮光する。すなわち、第1位相差画素群F1に含まれる位相差画素Fでは、遮光層SFは、第1側の射出瞳EP1からの光束を光電変換素子27に入射させ、かつ、第2側の射出瞳EP2からの光束を遮光する。
【0081】
第2位相差画素群F2に含まれる位相差画素Fでは、遮光層SFは、光電変換素子27の中心を基準として第2側を遮光する。すなわち、第2位相差画素群F2に含まれる位相差画素Fでは、遮光層SFは、第2側の射出瞳EP2からの光束を光電変換素子27に入射させ、かつ、第1側の射出瞳EP1からの光束を遮光する。
【0082】
図12は、画素領域21の各領域に含まれる位相差画素Fの種類を示す。まず、画素領域21のX方向の中央に位置する中央領域において、第1位相差画素群F1には、第1A画素1AC、第1B画素1BC、及び第1C画素1CCが含まれ、第2位相差画素群F2には、第2A画素2AC、第2B画素2BC、及び第2C画素2CCが含まれる。第1A画素1AC及び第2A画素2ACは、第A画素ラインLAに配置されている。第1B画素1BC及び第2B画素2BCは、第B画素ラインLBに配置されている。第1C画素1CC及び第2C画素2CCは、第C画素ラインLCに配置されている。
【0083】
画素領域21のX方向の第1側に位置する第1側領域において、第1位相差画素群F1には、第1A画素1AL、第1B画素1BL、及び第1C画素1CLが含まれ、第2位相差画素群F2には、第2A画素2AL、第2B画素2BL、及び第2C画素2CLが含まれる。第1A画素1AL及び第2A画素2ALは、第A画素ラインLAに配置されている。第1B画素1BL及び第2B画素2BLは、第B画素ラインLBに配置されている。第1C画素1CL及び第2C画素2CLは、第C画素ラインLCに配置されている。
【0084】
画素領域21のX方向の第2側に位置する第2側領域において、第1位相差画素群F1には、第1A画素1AR、第1B画素1BR、及び第1C画素1CRが含まれ、第2位相差画素群F2には、第2A画素2AR、第2B画素2BR、及び第2C画素2CRが含まれる。第1A画素1AR及び第2A画素2ARは、第A画素ラインLAに配置されている。第1B画素1BR及び第2B画素2BRは、第B画素ラインLBに配置されている。第1C画素1CR及び第2C画素2CRは、第C画素ラインLCに配置されている。
【0085】
例えば、第1側領域及び第2側領域は、画素領域21の周辺に位置する周辺領域である。第1側領域と第2側領域とは、中央領域を基準としてX方向に対称な位置に設けられている。例えば、第1側領域及び第2側領域は、例えば、像高Hが「1」となる位置に設けられる。
【0086】
図13は、第A画素ラインLAに含まれる位相差画素Fの構成を示す。以下の説明では、光電変換素子27が遮光層SFにより遮光される面積を遮光面積と称する。
【0087】
第A画素ラインLAには、第1光学特性に対応した位相差画素Fが含まれる。第1光学特性は、画素領域21の周辺領域における主光線角度(以下、周辺主光線角度という。)が0という特徴を有する。すなわち、第1光学特性では、主光線角度θが像高Hに依存せず、すべての主光線PRが光軸OPと平行である。なお、周辺主光線角度とは、第1側領域及び第2側領域における主光線角度であり、例えば、H=1に対応する主光線角度である。以下、第1光学特性の周辺主光線角度は、第1周辺主光線角度θ1という。
【0088】
中央領域に含まれる第1A画素1AC及び第2A画素2ACは、図11に示す一対の位相差画素Fと同様の構成である。第1A画素1ACと第2A画素2ACは、X方向に関して対称な構造を有する。したがって、第1A画素1ACの遮光面積S1ACは、第2A画素2ACの遮光面積S2ACと等しい。
【0089】
第1側領域に含まれる第1A画素1AL及び第2A画素2ALでは、上述の撮像画素Nと同様に、マイクロレンズMLは、光電変換素子27の中心から中央領域の方向(第2側)へずれた位置に配置されている。第1光学特性では、θ1=0であるので、主光線PRは、光電変換素子27の中心から、マイクロレンズMLのずれ量に対応する距離だけずれた位置に入射する。
【0090】
第1A画素1ALでは、遮光層SFは、射出瞳EP2からの光束を遮光するように、光電変換素子27の主光線PRの入射位置から第1側に配置されている。第2A画素2ALでは、遮光層SFは、射出瞳EP1からの光束を遮光するように、光電変換素子27の主光線PRの入射位置から第2側に配置されている。
【0091】
したがって、第1A画素1ALの遮光面積S1ALは、中央領域に含まれる第1A画素1ACの遮光面積S1ACよりも大きい。一方、第2A画素2ALの遮光面積S2ALは、中央領域に含まれる第2A画素2ACの遮光面積S2ACよりも小さい。
【0092】
第2側領域に含まれる第1A画素1ARは、第1側領域に含まれる第2A画素2ALと、X方向に関して対称な構造を有する。第2側領域に含まれる第2A画素2ARは、第1側領域に含まれる第1A画素1ALと、X方向に関して対称な構造を有する。したがって、第1A画素1ARの遮光面積S1ARは、中央領域に含まれる第1A画素1ACの遮光面積S1ACよりも小さい。一方、第2A画素2ARの遮光面積S2ARは、中央領域に含まれる第2A画素2ACの遮光面積S2ACよりも大きい。
【0093】
図14は、第B画素ラインLBに含まれる位相差画素Fの構成を示す。第B画素ラインLBには、第2光学特性に対応した位相差画素Fが含まれる。第2光学特性では、周辺主光線角度が0よりも大きいという特徴を有する。以下、第2光学特性の周辺主光線角度は、第2周辺主光線角度θ2という。
【0094】
中央領域に含まれる第1B画素1BC及び第2B画素2BCは、第A画素ラインLAの中央領域に含まれる第1A画素1AC及び第2A画素2ACと同様の構成である。第1B画素1BCと第2B画素2BCは、X方向に関して対称な構造を有する。したがって、第1B画素1BCの遮光面積S1BCは、第2B画素2BCの遮光面積S2BCと等しい。
【0095】
第1側領域に含まれる第1B画素1BL及び第2B画素2BLでは、マイクロレンズMLは、光電変換素子27の中心から中央領域の方向(第2側)へずれた位置に配置されている。第2光学特性では、第1側領域において、主光線PRは、光電変換素子27のほぼ中心に入射する。
【0096】
第1B画素1BLでは、遮光層SFは、射出瞳EP2からの光束を遮光するように、光電変換素子27の主光線PRの入射位置から第1側に配置されている。第2B画素2BLでは、遮光層SFは、射出瞳EP1からの光束を遮光するように、光電変換素子27の主光線PRの入射位置から第2側に配置されている。
【0097】
したがって、第1B画素1BLの遮光面積S1BLは、中央領域に含まれる第1B画素1BCの遮光面積S1BCと等しい。また、第2B画素2BLの遮光面積S2BLは、中央領域に含まれる第2B画素2BCの遮光面積S2BCと等しい。
【0098】
第2側領域に含まれる第1B画素1BRは、第1側領域に含まれる第2B画素2BLと、X方向に関して対称な構造を有する。第2側領域に含まれる第2B画素2BRは、第1側領域に含まれる第1B画素1BLと、X方向に関して対称な構造を有する。したがって、第1B画素1BRの遮光面積S1BRは、中央領域に含まれる第1B画素1BCの遮光面積S1BCと等しい。また、第2B画素2BRの遮光面積S2BRは、中央領域に含まれる第2B画素2BCの遮光面積S2BCと等しい。
【0099】
図15は、第C画素ラインLCに含まれる位相差画素Fの構成を示す。第C画素ラインLCには、第3光学特性に対応した位相差画素Fが含まれる。第3光学特性では、周辺主光線角度が第2光学特性の場合よりも大きいという特徴を有する。以下、第3光学特性の周辺主光線角度は、第3周辺主光線角度θ3という。
【0100】
中央領域に含まれる第1C画素1CC及び第2C画素2CCは、第B画素ラインLBの中央領域に含まれる第1B画素1BC及び第2B画素2BCと同様の構成である。第1C画素1CCと第2C画素2CCは、X方向に関して対称な構造を有する。したがって、第1C画素1CCの遮光面積S1CCは、第2C画素2CCの遮光面積S2CCと等しい。
【0101】
第1側領域に含まれる第1C画素1CL及び第2C画素2CLでは、マイクロレンズMLは、光電変換素子27の中心から中央領域の方向(第2側)へずれた位置に配置されている。第3光学特性では、θ3>θ2であることにより、第1側領域では、主光線PRは、光電変換素子27の中心よりも第1側に入射する。
【0102】
第1C画素1CLでは、遮光層SFは、射出瞳EP2からの光束を遮光するように、光電変換素子27の主光線PRの入射位置から第1側に配置されている。第2C画素2CLでは、遮光層SFは、射出瞳EP1からの光束を遮光するように、光電変換素子27の主光線PRの入射位置から第2側に配置されている。
【0103】
したがって、第1C画素1CLの遮光面積S1CLは、中央領域に含まれる第1C画素1CCの遮光面積S1CCよりも小さい。一方、第2C画素2CLの遮光面積S2CLは、中央領域に含まれる第2C画素2CCの遮光面積S2CCよりも大きい。
【0104】
第2側領域に含まれる第1C画素1CRは、第1側領域に含まれる第2C画素2CLと、X方向に関して対称な構造を有する。第2側領域に含まれる第2C画素2CRは、第1側領域に含まれる第1C画素1CLと、X方向に関して対称な構造を有する。したがって、第1C画素1CRの遮光面積S1CRは、中央領域に含まれる第1C画素1CCの遮光面積S1CCよりも大きい。また、第2C画素2CRの遮光面積S2CRは、中央領域に含まれる第2C画素2CCの遮光面積S2CCよりも小さい。
【0105】
以上の関係から、遮光面積を比較すると、第A画素ラインLAについては、「S1AL>S1AC>S1AR」、及び「S2AL<S2AC<S2AR」の関係が得られる。第B画素ラインLBについては、「S1BL=S1BC=S1BR」、及び「S2BL=S2BC=S2BR」の関係が得られる。第C画素ラインLCについては、「S1CL<S1CC<S1CR」、及び「S2CL>S2CC>S2CR」の関係が得られる。
【0106】
また、第1側領域については、「S1AL>S1BL>S1CL」、及び「S2AL<S2BL<S2CL」の関係が得られる。中央領域については、「S1AC=S1BC=S1CC」、及び「S2AC=S2BC=S2CC」の関係が得られる。第2側領域については、「S1AR<S1BR<S1CR」、及び「S2AR>S2BR>S2CR」の関係が得られる。
【0107】
図16は、画素領域21に含まれる位相差画素Fの全体構成を示す。図16に示すように、画素領域21には、第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCが、Y方向に複数組設けられている。なお、画素領域21には、少なくとも1組の第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCが設けられていればよい。
【0108】
また、上記の説明では、中央領域、第1側領域、及び第2側領域に設けられた位相差画素Fの構成について説明したが、中央領域と第1側領域との間、及び中央領域と第2側領域との間にも、各画素ラインに沿って同様の位相差画素Fが設けられている。これらの位相差画素Fは、画素ラインが対応する光学特性に応じて、射出瞳EP1又は射出瞳EP2からの光束を受光するように、遮光層SFが形成されている。
【0109】
第A画素ラインLAに配列された複数の第1A画素の遮光面積は、第1側から第2側に近づくに連れて減少する。なお、第A画素ラインLAに配列された複数の第1A画素の遮光面積は、すべて異なる必要はなく、一部に同一の遮光面積の第1A画素が配列されていてもよい。
【0110】
第A画素ラインLAに配列された複数の第2A画素の遮光面積は、第1側から第2側に近づくに連れて増加する。なお、第A画素ラインLAに配列された複数の第2A画素の遮光面積は、すべて異なる必要はなく、一部に同一の遮光面積の第2A画素が配列されていてもよい。
【0111】
第B画素ラインLBに配列された複数の第1B画素の遮光面積はすべて等しい。同様に、第B画素ラインLBに配列された複数の第2B画素の遮光面積はすべて等しい。
【0112】
第C画素ラインLCに配列された複数の第1C画素の遮光面積は、第1側から第2側に近づくに連れて増加する。なお、第C画素ラインLCに配列された複数の第1C画素の遮光面積は、すべて異なる必要はなく、一部に同一の遮光面積の第1C画素が配列されていてもよい。
【0113】
第C画素ラインLCに配列された複数の第2C画素の遮光面積は、第1側から第2側に近づくに連れて減少する。なお、第C画素ラインLCに配列された複数の第2C画素の遮光面積は、すべて異なる必要はなく、一部に同一の遮光面積の第2C画素が配列されていてもよい。
【0114】
次に、撮像装置10の動作について説明する。図17は、主制御部40により実行される処理の流れの一例を示すフローチャートである。
【0115】
まず、ステップS10で、主制御部40は、本体11に装着された撮像レンズ12からレンズ情報35A(図4参照)を取得する。例えば、主制御部40は、本体11に撮像レンズ12が装着された状態で、電源スイッチがオンとされた場合にレンズ情報35Aを取得する。レンズ情報35Aには、撮像レンズ12の光学特性としての主光線角度情報が含まれる。
【0116】
ステップS11で、主制御部40は、ダイヤル13により動作モードが選択された場合に、選択された動作モードが、動画撮像モードであるか否かを判定する。主制御部40は、選択された動作モードが動画撮像モードである場合には(ステップS11:YES)、処理をステップS12に移行する。主制御部40は、選択された動作モードが動画撮像モードでない、すなわち、静止画撮像モードである場合には(ステップS11:NO)、処理をステップS13に移行する。
【0117】
ステップS12で、主制御部40は、ステップS10で取得したレンズ情報35Aに基づいて、加算読み出しモード(図8参照)の選択を行う。加算読み出しモードの選択は、加算読み出しを行う複数の画素信号Sに対する重みW1~W3の決定に相当する。
【0118】
具体的には、図18に示すように、主制御部40は、レンズ情報35Aを参照することにより、周辺主光線角度θp(例えば、H=1に対応する主光線角度θ)を取得する。主制御部40は、第1周辺主光線角度θ1、第2周辺主光線角度θ2、及び第3周辺主光線角度θ3のうち、レンズ情報35Aから取得した周辺主光線角度θpに最も近い周辺主光線角度に対応した画素ラインに対応する加算読み出しモードを選択する。例えば、主制御部40は、レンズ情報35Aに含まれる周辺主光線角度θpが第2周辺主光線角度θ2に最も近い場合には、第B画素ラインLBに対応する第2加算読み出しモードM2を選択する。第2加算読み出しモードM2の選択は、W1=1,W0=W2=W3=0とすることにより行われる。
【0119】
なお、主制御部40は、指示キー16によりオートフォーカスモードが選択されている場合には、第1加算読み出しモードM1、第2加算読み出しモードM2、及び第3加算読み出しモードM3のうちいずれかを選択する。一方、主制御部40は、指示キー16によりマニュアルフォーカスモードが選択されている場合には、第4加算読み出しモードM4を選択する。
【0120】
図17に戻り、ステップS13では、主制御部40は、画素信号Sを順次読み出し方式で読み出す順次読み出しモードを選択する。
【0121】
次のステップS14では、主制御部40は、レリーズボタン14が操作されることにより、撮像開始指示がなされたか否かを判定する。主制御部40は、撮像開始指示がなされた場合には(ステップS14:YES)、処理をステップS15に移行する。
【0122】
ステップS15では、主制御部40は、ステップS12又はステップS13で選択したモードに基づいて撮像センサ20に撮像動作を行わせる。動画撮像モードが選択されている場合には、主制御部40は、ステップS12で選択した加算読み出しモードに基づいて、画素領域21からの画素信号Sの読み出しを制御する。この結果、画素領域21からは、重みが「1」に設定された行、すなわちステップS12で選択された画素ラインに対応する行から画素信号Sが順に読み出される。
【0123】
例えば、ステップS12で、第B画素ラインLBに対応する第2加算読み出しモードM2が選択されている場合には、第B画素ラインLBを含む行アドレス4n+1の行から画素信号Sが選択的に読み出される。画像処理部41には、撮像画素Nから読み出された画素信号Sと、位相差画素Fから読み出された画素信号Sとが撮像信号として入力される。
【0124】
なお、ステップS12で第4加算読み出しモードM4が選択された場合には、位相差画素Fを含まない行アドレス4n+3の行から画素信号Sが読み出されるので、画像処理部41には、撮像画素Nから読み出された画素信号Sのみが入力される。
【0125】
ステップS16では、画像処理部41により画像処理が行われる。画像処理部41は、撮像画素Nから読み出された画素信号Sに基づいて、デモザイク処理等を行うことにより、被写体像を表す画像データを生成する。なお、画像処理部41は、位相差画素Fからは撮像用の画素信号が得られないため、画像データ内の位相差画素Fの位置に対応する画素値を、その近傍の画素値に基づいて補完処理を行うことにより求める。
【0126】
また、ステップS16では、主制御部40は、位相差画素Fから読み出された画素信号Sに基づいて、位相差方式により合焦制御を行う。具体的には、主制御部40は、第1位相差画素群F1に含まれる位相差画素Fから得られる画素信号Sと、第2位相差画素群F2に含まれる位相差画素Fから得られる画素信号Sとの像の位相差が少なくなるようにフォーカスレンズ31の位置調整を行う。例えば、第B画素ラインLBが選択されている場合には、第1B画素1BL、第1B画素1BC、及び第1B画素1BRの画素信号Sと、第2B画素2BL、第2B画素2BC、及び第2B画素2BRの画素信号Sとの位相差に基づいて合焦制御が行われる。
【0127】
動画撮像モードでは、主制御部40は、ステップS15とステップS16との処理を繰り返し行い、撮像終了指示があった場合に撮像動作を終了する。これにより、撮像信号の信号量が1/4倍に削減された動画データが画像処理部41によって生成される。
【0128】
また、ステップS15では、静止画撮像モードが選択されている場合には、順次読み出しモードに基づいて、画素領域21からの画素信号Sの読み出しを制御する。この結果、画素領域21のすべての画素から画素信号Sが読み出されて画像処理部41に入力される。この場合、ステップS16では、画像処理部41は、静止画データを生成する。なお、静止画撮像モードは、レリーズボタン14の半押しに応じて行われる準備動作時に、動画撮像モードと同様の加算読み出しモードで画素信号Sを読み出すことにより、ライブビュー画像表示及び合焦制御を行ってもよい。
【0129】
以上のように、第1実施形態の撮像装置10によれば、撮像レンズの光学特性に応じた適切な位相差画素の画素信号を用いて合焦制御を行うことができる。
【0130】
[第2実施形態]
次に、本開示の第2実施形態について説明する。第2実施形態では、主制御部40は、第1実施形態で説明した加算読み出しモードに加えて、第5加算読み出しモードM5及び第6加算読み出しモードM6での読み出しを可能とする。第2実施形態の撮像装置のその他の構成は、第1実施形態の撮像装置10の構成と同様である。
【0131】
図19は、第5加算読み出しモードM5について説明する図である。第5加算読み出しモードM5は、ゲート線22Aを2行ずつセットとして順に2つの画素信号Sを加算して読み出す、いわゆる2画素加算読み出し方式である。主制御部40は、第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCに対して、重みを設定することを可能とする。主制御部40は、第1実施形態と同様に、重みに基づいて加算読み出しを行う。
【0132】
第A画素ラインLAに対する重みはWaとし、第B画素ラインLBに対する重みはWbとし、第C画素ラインLCに対する重みはWcとする。第5加算読み出しモードM5では、主制御部40は、Wa=1,Wb=1,Wc=0として、第A画素ラインLAと第B画素ラインLBとをセットとして加算読み出しを行う。この場合、第A画素ラインLAからの画素信号Sと、第B画素ラインLBからの画素信号Sとは、1:1の比で加算平均される。
【0133】
主制御部40は、レンズ情報35Aに含まれる周辺主光線角度θpの値が、第1周辺主光線角度θ1と第2周辺主光線角度θ2との間である場合に、第5加算読み出しモードM5を選択する。第5加算読み出しモードM5では、例えば、第1A画素1ALの画素信号Sと、第1B画素1BLとの画素信号Sとが加算されることにより、下式(1)で表される第4周辺主光線角度θ4に対応した画素信号が得られる。
θ4=(θ1+θ2)/2 ・・・(1)
【0134】
このように、第5加算読み出しモードM5を用いることにより、第1周辺主光線角度θ1と第2周辺主光線角度θ2との間の周辺主光線角度θpを有する撮像レンズ12が本体11に装着された場合においても適切に合焦制御を行うことができる。
【0135】
図20は、第6加算読み出しモードM6について説明する図である。第6加算読み出しモードM6は、第5加算読み出しモードM5と同様に2画素加算読み出し方式であるが、セットとする行が第5加算読み出しモードM5と異なる。
【0136】
第6加算読み出しモードM6では、主制御部40は、Wa=0,Wb=1,Wc=1として、第B画素ラインLBと第C画素ラインLCとをセットとして加算読み出しを行う。この場合、第B画素ラインLBからの画素信号Sと、第C画素ラインLCからの画素信号Sとは、1:1の比で加算平均される。
【0137】
主制御部40は、レンズ情報35Aに含まれる周辺主光線角度θpの値が、第2周辺主光線角度θ2と第3周辺主光線角度θ3との間である場合に、第6加算読み出しモードM6を選択する。第6加算読み出しモードM6では、例えば、第1B画素1BLの画素信号Sと、第1C画素1CLとの画素信号Sとが加算されることにより、下式(2)で表される第5周辺主光線角度θ5に対応した画素信号が得られる。
θ5=(θ2+θ3)/2 ・・・(2)
【0138】
このように、第6加算読み出しモードM6を用いることにより、第2周辺主光線角度θ2と第3周辺主光線角度θ3との間の周辺主光線角度θpを有する撮像レンズ12が本体11に装着された場合においても適切に合焦制御を行うことができる。
【0139】
第5加算読み出しモードM5及び第6加算読み出しモードM6では、2つの画素信号を1:1の比で加算しているが、1:2等のその他の比で加算することも可能である。このように、1:1以外の比で画素加算を行うことを可能とする撮像装置は、例えば、特開2015-128215号公報により知られている。
【0140】
例えば、第5加算読み出しモードM5において、Wa=1及びWb=2と設定することにより、第1A画素1AL及び第1B画素1BLから、下式(3)で表される第6周辺主光線角度θ6に対応した画素信号を取得することができる。
θ6=(θ1+2×θ2)/3 ・・・(3)
【0141】
このように、第5加算読み出しモードM5及び第6加算読み出しモードM6において、重みWa,Wb,Wcの比を変更することにより、種々の周辺主光線角度θpに適切に対応した合焦制御を行うことができる。
【0142】
なお、上記各実施形態では、位相差画素Fを含む画素ラインとして、第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCの3種の画素ラインを設けているが、4種以上の画素ラインを設けてもよい。また、位相差画素Fを含む画素ラインは、少なくとも2種設けられていればよい。
【0143】
また、上記各実施形態では、第1位相差画素群F1に含まれる位相差画素Fと、第2位相差画素群F2に含まれる位相差画素Fとは、X方向に2つの撮像画素Nを挟んで配置されているが、両者は隣接していてもよい。また、第1位相差画素群F1に含まれる位相差画素Fと、第2位相差画素群F2に含まれる位相差画素Fとは、3つ以下の撮像画素Nを挟んで配置されていることが好ましい。
【0144】
また、上記各実施形態では、第1光学特性に対応する位相差画素F、第2光学特性に対応する位相差画素F、及び第3光学特性に対応する位相差画素Fが、それぞれ第A画素ラインLA、第B画素ラインLB、及び第C画素ラインLCに分けて配置されている。これらの複数の光学特性に対応する位相差画素Fが、1つの画素ラインに混在して配置されていてもよい。
【0145】
また、上記各実施形態では、位相差画素Fを含む画素ラインは、X方向に延在しているが、Y方向に延在するように構成されていてもよい。この場合、上述の加算読み出しは、Y方向に代えて、X方向に沿って行えばよい。このように、X方向(水平方向)に加算読み出しを行う構成は、例えば、特開2015-128215号公報により知られている。
【0146】
また、上記各実施形態では、加算読み出しモードにおいて、隣接した2画素について加算を行っているが、X方向又はY方向に少なくとも1画素を挟んで配置された2画素について加算読み出しを行ってもよい。このように、離れた2画素について加算読み出しを行う構成は、例えば、特開2015-128215号公報により知られている。
【0147】
また、上記各実施形態では、主制御部40は、画素領域21の周辺領域における主光線角度である周辺主光線角度に基づいて加算読み出しモードを選択しているが、画素領域21の周辺領域以外の領域に入射する主光線角度に基づいて加算読み出しモードを選択してもよい。
【0148】
[第3実施形態]
次に、本開示の第3実施形態について説明する。第1実施形態では、主制御部40は、撮像レンズ12から取得したレンズ情報35Aに含まれる主光線角度情報に基づいて加算読み出しモードを選択している。第3実施形態では、主制御部40は、撮像レンズ12の焦点距離に基づいて加算読み出しモードを選択する。第3実施形態の撮像装置のその他の構成は、第1実施形態の撮像装置10の構成と同様である。
【0149】
第3実施形態では、撮像レンズ12のメモリ35に記憶されたレンズ情報35Aには、撮像レンズ12に固有の焦点距離に関する情報が含まれている。主制御部40は、例えば、図21に示すように、焦点距離と周辺主光線角度θpを関連付けたテーブルTBを記憶している。一般に、周辺主光線角度θpは、焦点距離が長いほど0に近づく。なお、主制御部40は、テーブルTBに代えて、関数により焦点距離と周辺主光線角度θpの関係を記憶していてもよい。
【0150】
主制御部40は、本体11に装着された撮像レンズ12からレンズ情報35Aを取得した後、テーブルTBを参照することにより、レンズ情報35Aに含まれる焦点距離に対応する周辺主光線角度θpを取得する。そして、主制御部40は、取得した周辺主光線角度θpに基づき、第1実施形態と同様の手法で、加算読み出しモードを選択する(図18参照)。
【0151】
本実施形態によれば、レンズ情報35Aに主光線情報が含まれていない撮像レンズ12が本体11に装着された場合においても、適切な位相差画素の画素信号を用いて合焦制御を行うことができる。
[第4実施形態]
次に、本開示の第4実施形態について説明する。上記各実施形態では、撮像レンズ12を単焦点レンズとしているが、第4実施形態では、撮像レンズ12を、焦点距離が変更可能なズームレンズとする。また、第4実施形態の撮像装置は、撮像レンズ12と本体11とが分離不能に接続された一体型のデジタルカメラであってもよい。第4実施形態の撮像装置のその他の構成は、第1実施形態の撮像装置10の構成と同様である。
【0152】
第4実施形態の撮像装置では、撮像レンズ12に設けられたズームリング(図示せず)、又は指示キー16の操作により焦点距離の変更(すなわち、ズーム倍率の変更)を行うことができる。第4実施形態では、第3実施形態と同様に、主制御部40は、焦点距離と周辺主光線角度θpとの関係を保持している。主制御部40は、ズーム操作による焦点距離の変更に応じて、第3実施形態と同様の手法で、加算読み出しモードを選択する。
【0153】
なお、動画撮像中においてズーム操作が行われた場合に、ズーム操作に連動して常に加算読み出しモードの変更処理を行うと、ユーザに違和感を与える動画像が生成される可能性がある。このため、ズーム操作により焦点距離が変更され、かつ焦点距離の変更が停止した場合に、加算読み出しモードを選択(すなわち、重みを変更)することが好ましい。
【0154】
主制御部40は、例えば、図22に示す手順で重みの変更処理を行う。まず、ステップS20で、主制御部40は、動画撮像が開始したか否かを判定する。主制御部40は、動画撮像が開始したと判定すると(ステップS20:YES)、処理をステップS21に移行する。
【0155】
ステップS21で、主制御部40は、ズーム操作により焦点距離が変更されたか否かを判定する。主制御部40は、焦点距離が変更されたと判定すると(ステップS21:YES)、処理をステップS22に移行する。ステップS22で、主制御部40は、焦点距離の変更が停止したか否かを判定する。主制御部40は、焦点距離の変更が停止したと判定すると(ステップS22:YES)、処理をステップS23に移行する。ステップS23で、主制御部40は、焦点距離の変更が停止した時点における焦点距離に応じた重みを選択することにより、加算読み出しモードを変更する。
【0156】
次のステップS24では、主制御部40は、動画撮像が停止したか否かを判定する。主制御部40は、動画撮像が停止していないと判定すると(ステップS24:NO)、処理をステップS21に戻す。すなわち、主制御部40は、動画撮像が停止していない場合は、ステップS21~ステップS24を繰り返し実行する。そして、主制御部40は、動画撮像が停止したと判定すると(ステップS24:YES)、変更処理を終了する。
【0157】
なお、本実施形態の変更処理は、動画撮像中に限られず、静止画撮像の準備段階に行われるライブビュー画像の表示中に行うことも可能である。
【0158】
[第5実施形態]
次に、本開示の第5実施形態について説明する。第5実施形態では、撮像レンズ12からレンズ情報35A(すなわち光学特性)を取得することができない場合においても、撮像レンズ12の光学特性に適した位相差画素Fを含む画素ラインを選択することを可能とする。第5実施形態の撮像装置のその他の構成は、第1実施形態の撮像装置10の構成と同様である。
【0159】
第5実施形態では、主制御部40は、撮像レンズ12から光学特性を取得できない場合に、第1位相差画素群F1に含まれる位相差画素Fと、第2位相差画素群F2に含まれる位相差画素Fとに対する光の露光量に基づいて、加算読み出しの重みを決定する。
【0160】
図23は、ある撮像レンズ12の光学特性に対する第1A画素1AL及び第2A画素2ALと、第1B画素1BL及び第2B画素1BLとの露光量の差を示している。図23は、図14に示した第2光学特性を有する撮像レンズ12が本体11に装着された場合における主光線PRを示している。
【0161】
第1A画素1AL及び第2A画素2ALは、第A画素ラインLAに配置された位相差画素Fであって、第1光学特性(図13参照)の周辺主光線角度θ1に対応するものである。このため、第1A画素1AL及び第2A画素2ALに、第2光学特性の主光線PRが入射すると、入射光の周辺主光線角度θpが、対応する周辺主光線角度θ1と異なるので、両者の露光量に差異が生じる。ここで、露光量とは、画素信号Sの大きさに相当する。
【0162】
具体的には、第1A画素1ALでは、遮光層SFが、射出瞳EP2からの光束と、射出瞳EP1からの光束の一部を遮光するので、露光量が適正値よりも低下する。これに対して、第2A画素2ALでは、遮光層SFが、射出瞳EP1からの光束の一部のみを遮光するので、光量が適正値よりも増加する。したがって、第1位相差画素群F1に含まれる位相差画素Fである第1A画素1ALと、第2位相差画素群F2に含まれる位相差画素Fである第2A画素2ALとで、露光量差Δが生じる。
【0163】
第1B画素1BL及び第2B画素2BLは、第A画素ラインLAに配置された位相差画素Fであって、第2光学特性(図14参照)の周辺主光線角度θ2に対応するものである。このため、第1A画素1AL及び第2A画素2ALに、第2光学特性の主光線PRが入射すると、入射光の周辺主光線角度θpが、対応する周辺主光線角度θ1と一致するので、露光量差Δは0となる。したがって、第1位相差画素群F1に含まれる位相差画素Fである第1B画素1BLと、第2位相差画素群F2に含まれる位相差画素Fである第2B画素2BLとで、露光量差Δは生じない。
【0164】
このように、主制御部40は、第1位相差画素群F1に含まれる位相差画素Fと、第2位相差画素群F2に含まれる位相差画素Fとの露光量差Δに基づき、露光量差Δが最も小さい画素ラインを選択するように、加算読み出しの重みを決定する。
【0165】
主制御部40は、例えば、図24に示す手順で重みの決定処理を行う。まず、ステップS30で、主制御部40は、撮像レンズ12が本体11に装着された場合に、撮像レンズ12からレンズ情報35Aを取得することが可能であるか否かを判定する。主制御部40は、レンズ情報35Aを取得することが可能である場合には(ステップS30:YES)、重みの決定処理を終了し、第1実施形態で示した手順で重みを決定する。
【0166】
主制御部40は、レンズ情報35Aを取得することができない場合には(ステップS30:NO)、処理をステップS31に移行する。ステップS31では、主制御部40は、例えば、第1側領域の第1位相差画素群F1及び第2位相差画素群F2に含まれる位相差画素Fから画素信号Sを取得する。このとき、撮像センサ20は、均一な光量の下で撮像を行うことが好ましい。
【0167】
次のステップS32では、主制御部40は、第1位相差画素群F1に含まれる位相差画素Fと、第2位相差画素群F2に含まれる位相差画素Fとの露光量差Δを求める。主制御部40は、例えば、第1A画素1ALと第2A画素2ALとの露光量差Δと、第1B画素1BLと第2B画素2BLとの露光量差Δと、第1C画素1CLと第2C画素2CLとの露光量差Δとをそれぞれ求める。
【0168】
次のステップS33では、主制御部40は、ステップS32で求めた露光量差Δのうち、露光量差Δが最も小さい一対の位相差画素Fが含まれる画素ラインを選択するように、加算読み出しの重みを決定する。例えば、第1B画素1BLと第2B画素2BLとの露光量差Δが最も小さい場合には、第B画素ラインLBを選択するように、重みをW1=1,W0=W2=W3=0と決定する(図8参照)。これにより、第2加算読み出しモードM2が選択される。
【0169】
以上により、主制御部40は重みの決定処理を終了する。この後、動画撮像が開始された場合に、主制御部40は、ステップS33で決定した加算読み出しモードを用いて画素信号Sの読み出しを行う。
【0170】
なお、第3実施形態では、撮像レンズ12の光学特性を取得することができない場合に、位相差画素Fの露光量に基づいて重みの決定を行っているが、既定の重みを選択するように構成してもよい。例えば、撮像レンズ12の光学特性を取得することができない場合に、主制御部40は、遮光面積(開口量)が等しい第1B画素1BLと第2B画素2BLとを含む第B画素ラインLBを選択するように、重みをW1=1,W0=W2=W3=0と決定する(図8参照)。これにより、第2加算読み出しモードM2が選択される。
【0171】
第1B画素1BLと第2B画素2BLは、遮光面積が等しいので、撮像レンズ12の光学特性が不明である場合に最も適している。これにより、撮像レンズ12の光学特性を取得することができず、かつ重みを決定するための撮像が行えない状況に対応することができる。
【0172】
なお、上記各実施形態では、像高Hに応じてマイクロレンズMLを光電変換素子27の中心からずらしているが、本開示の技術において、マイクロレンズMLをずらすことは必須ではない。
【0173】
上記各実施形態において、主制御部40を一例とする制御部のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、ソフトウェア(プログラム)を実行して機能する汎用的なプロセッサであるCPUに加えて、FPGAなどの製造後に回路構成を変更可能なプロセッサであるPLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0174】
制御部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の制御部は1つのプロセッサで構成してもよい。
【0175】
複数の制御部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第2に、システムオンチップ(System On Chip:SOC)などに代表されるように、複数の制御部を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、制御部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成できる。
【0176】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
【0177】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0178】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24