知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6364259
(24)【登録日】2018年7月6日
(45)【発行日】2018年7月25日
(54)【発明の名称】撮像装置、画像処理方法、及び画像処理プログラム
(51)【国際特許分類】
H04N 9/07 20060101AFI20180712BHJP
H04N 5/357 20110101ALI20180712BHJP
【ＦＩ】
H04N9/07 C
H04N5/357
【請求項の数】10
【全頁数】25
(21)【出願番号】特願2014-136976(P2014-136976)
(22)【出願日】2014年7月2日
(65)【公開番号】特開2016-15634(P2016-15634A)
(43)【公開日】2016年1月28日
【審査請求日】2017年4月25日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100109830
【弁理士】
【氏名又は名称】福原 淑弘
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100140176
【弁理士】
【氏名又は名称】砂川 克
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100124394
【弁理士】
【氏名又は名称】佐藤 立志
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(74)【代理人】
【識別番号】100111073
【弁理士】
【氏名又は名称】堀内 美保子
(72)【発明者】
【氏名】岡澤 淳郎
【審査官】
松永 隆志
(56)【参考文献】
【文献】
国際公開第2012/127699（ＷＯ，Ａ１）
【文献】
国際公開第2014/046037（ＷＯ，Ａ１）
【文献】
国際公開第2014/006785（ＷＯ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２２５−５／３７８
Ｈ０４Ｎ ９／００−９／１１
(57)【特許請求の範囲】
【請求項1】
撮像のための通常画素と、撮像以外の機能を有する機能性画素とを含む、２次元に配置されている複数の画素を有しており、前記機能性画素は、所定の第１の方向には不均等な間隔で配置されている撮像素子と、
前記撮像素子における前記機能性画素の配置が記録された記録部と、
前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する補間方向判断部と、
前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する重み算出部と、
前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う補間処理部と
を備える撮像装置。
前記撮像素子における前記機能性画素の配置が記録された記録部と、
前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する補間方向判断部と、
前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する重み算出部と、
前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う補間処理部と
を備える撮像装置。
【請求項2】
前記機能性画素は、焦点検出のための位相差検出画素である、請求項１に記載の撮像装置。
【請求項3】
前記補間方向判断部は、前記撮像素子に配置されたカラーフィルタの種別毎にそれぞれ対応する前記第１の方向となる前記方向情報を取得し、
前記重み算出部は、前記方向情報を用いて前記第１の重みと前記第２の重みとを算出する、
請求項２に記載の撮像装置。
前記重み算出部は、前記方向情報を用いて前記第１の重みと前記第２の重みとを算出する、
請求項２に記載の撮像装置。
【請求項4】
前記重み算出部は、前記撮像素子による画像取得時での撮像モードに応じた画素加算を行う際に、加算対象となる１組に含まれる画素数に応じて、前記第１の重みと前記第２の重みとを算出する、請求項３に記載の撮像装置。
【請求項5】
前記重み算出部は、前記撮像素子による画像取得時での撮像モードに応じた画素加算を行う際に、加算対象となる１組に含まれる画素数に応じて、前記第１の重みと前記第２の重みとを算出する、請求項２に記載の撮像装置。
【請求項6】
前記第１の方向における前記機能性画素の間隔は、４画素以上である、請求項１に記載の撮像装置。
【請求項7】
前記重み算出部は、前記撮像素子による画像取得時での撮像モードに応じた画素加算を行う際に、加算対象となる１組に含まれる画素についての前記第１の方向の画素数が、前記第１の方向における前記機能性画素の間隔よりも小さいときに、前記第１の重みと前記第２の重みとを算出する、請求項１に記載の撮像装置。
【請求項8】
前記第２の重みが零ではない、請求項１に記載の撮像装置。
【請求項9】
撮像のための通常画素と、撮像以外の機能を有する機能性画素とを含む、２次元に配置されている複数の画素を有しており、前記機能性画素は、所定の第１の方向には不均等な間隔で配置されている撮像素子を用いて得られた画像データに対して施す画像処理方法であって、
前記撮像素子における前記機能性画素の配置が記録された記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する工程と、
前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する工程と、
前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う工程と
を含む画像処理方法。
前記撮像素子における前記機能性画素の配置が記録された記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する工程と、
前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する工程と、
前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う工程と
を含む画像処理方法。
【請求項10】
撮像のための通常画素と、撮像以外の機能を有する機能性画素とを含む、２次元に配置されている複数の画素を有しており、前記機能性画素は、所定の第１の方向には不均等な間隔で配置されている撮像素子を用いて得られた画像データに対して施す画像処理をコンピュータに実行させるための画像処理プログラムであって、
前記撮像素子における前記機能性画素の配置が記録された記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する工程と、
前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する工程と、
前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う工程と
をコンピュータに実行させるための画像処理プログラム。
前記撮像素子における前記機能性画素の配置が記録された記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する工程と、
前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する工程と、
前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う工程と
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
光学系により結像された光学像を電気信号に変換する撮像素子において、一部の画素が焦点検出のための信号を出力するように構成された撮像素子が知られている。例えば特許文献１には、一部の画素に瞳位相差方式による測距機能を持たせるため、当該画素の受光面の一部が遮光されている撮像素子に係る技術が開示されている。このような測距機能を有する位相差画素によって取得された情報は、例えば光学系を合焦状態に設定するオートフォーカス処理に用いられる。
【0003】
位相差検出画素は、あらゆる周波数の被写体について正しい合焦を得るために、撮像素子の全面に配置されていることが望ましい。しかしながら、位相差検出画素を多数配置すると、画像を構成する画素が著しく減少してしまい、多大な画質劣化が生じる。そこで、離散的に位相差検出画素を配置する方式が提案されている。
【0004】
位相差検出画素の離散的な配置方法は、あらゆる周波数の位相差を検知するために、例えば、横線を検知するための画素であれば、垂直方向に極力隙間がないように配置することが望ましい。そのために、位相差検知方向とは異なる方向には、高密度に配置されるように、段差をつけて位相差検出画素を配置する工夫が提案されている。
【0005】
位相差検出画素の出力は、そのままでは画像データとして使用できない。このため、出力値の補正が必要となる。そこで、位相差検出画素の出力値をその周辺の画素の出力値で補正することが考えられる。ここで、位相差検出画素の出力値を単に周辺の画素の出力値の平均に基づいて補正すると、画質の劣化が生じ得る。特に、段差を設けて位相差検出画素が配置されている場合、不規則なパターンが発生する。
【0006】
一方で、例えば特許文献２には、次のような補正の方法が開示されている。すなわち、位相差検出画素の周辺の画素から出力される値の標準偏差に基づいて、高周波成分か否かが判断され、位相差検出画素の出力値とその周辺の画素の出力値との利用割合が調整される。ただし、このように、周辺の画素値に応じて適応的にフィルタ係数が調整されるアルゴリズムが用いられると、回路規模は大きくなり消費電力は大きくなりがちである。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０００−１５６８２３号公報
【特許文献2】特開２０１０−０６２６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、位相差検出画素のような撮像以外の機能を有する機能性画素を含む撮像素子によって得られた画像データに対して、演算量を抑えつつ画質を向上させる画像処理を施す撮像装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
前記目的を果たすため、本発明の一態様によれば、撮像装置は、撮像のための通常画素と、撮像以外の機能を有する機能性画素とを含む、２次元に配置されている複数の画素を有しており、前記機能性画素は、所定の第１の方向には不均等な間隔で配置されている撮像素子と、前記撮像素子における前記機能性画素の配置が記録された記録部と、前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する補間方向判断部と、前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する重み算出部と、前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う補間処理部とを備える。
【0010】
前記目的を果たすため、本発明の一態様によれば、画像処理方法は、撮像のための通常画素と、撮像以外の機能を有する機能性画素とを含む、２次元に配置されている複数の画素を有しており、前記機能性画素は、所定の第１の方向には不均等な間隔で配置されている撮像素子を用いて得られた画像データに対して施す画像処理方法であって、前記撮像素子における前記機能性画素の配置が記録された記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する工程と、前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する工程と、前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う工程とを含む。
【0011】
前記目的を果たすため、本発明の一態様によれば、画像処理プログラムは、撮像のための通常画素と、撮像以外の機能を有する機能性画素とを含む、２次元に配置されている複数の画素を有しており、前記機能性画素は、所定の第１の方向には不均等な間隔で配置されている撮像素子を用いて得られた画像データに対して施す画像処理をコンピュータに実行させるための画像処理プログラムであって、前記撮像素子における前記機能性画素の配置が記録された記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向となる方向情報を取得する工程と、前記記録部から取得した前記機能性画素の前記配置に基づいて、前記第１の方向での重みづけ量である第１の重みと、前記第１の方向とは異なる方向での重みづけ量であり、前記第１の重みよりも小さい、少なくとも１つの重みづけ量である第２の重みとをそれぞれ算出する工程と、前記撮像素子で得られた画像データについて、前記第１の方向に配置された前記通常画素により得られた画素値に対して前記第１の重みを適用し、前記第１の方向とは異なる方向に配置された前記通常画素により得られた画素値に対して前記第２の重みを適用し、前記機能性画素の画素値を当該機能性画素の周囲の前記通常画素により得られた前記画素値に基づいて補間する画素補間を行う工程とをコンピュータに実行させる。
【発明の効果】
【0012】
本発明によれば、位相差検出画素のような撮像以外の機能を有する機能性画素を含む撮像素子によって得られた画像データに対して、演算量を抑えつつ画質を向上させる画像処理を施す撮像装置、画像処理方法、及び画像処理プログラムを提供できる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係る撮像装置の構成例の概略を示すブロック図。
【図2】一実施形態に係る撮像素子の構成例の概略を示す図。
【図3A】一実施形態に係る撮像素子を用いた位相差法による焦点検出の原理について説明するための図。
【図3B】一実施形態に係る撮像素子を用いた位相差法による焦点検出の原理について説明するための図。
【図4】一実施形態に係る撮像制御回路の構成例の概略を示すブロック図。
【図5】一実施形態に係る動画記録処理の一例を示すフローチャート。
【図6A】一実施形態に係る撮像素子の構成例の概略を示す図であり、左開口位相差検出画素及び右開口位相差検出画素の配置例を示す図。
【図6B】一実施形態に係る撮像素子の構成例の概略を示す図であり、上開口位相差検出画素及び下開口位相差検出画素の配置例を示す図。
【図7A】画素補間について説明するための図であり、被写体像の概略を示す模式図。
【図7B】画素補間について説明するための図であり、左開口位相差検出画素又は右開口位相差検出画素の水平方向に隣接する通常画素の画素値を用いて補間することを説明するための模式図。
【図7C】画素補間について説明するための図であり、水平方向に隣接する通常画素の画素値を用いて補間した場合に得られる画像の概略を示す模式図。
【図8A】画素補間について説明するための図であり、左開口位相差検出画素又は右開口位相差検出画素の垂直方向に隣接する通常画素の画素値を用いて補間することを説明するための模式図。
【図8B】画素補間について説明するための図であり、垂直方向に隣接する通常画素の画素値を用いて補間した場合に得られる画像の概略を示す模式図。
【図9A】画素補間について説明するための図であり、被写体像の概略を示す模式図。
【図9B】画素補間について説明するための図であり、左開口位相差検出画素又は右開口位相差検出画素の垂直方向に隣接する通常画素の画素値を用いて補間することを説明するための模式図。
【図9C】画素補間について説明するための図であり、垂直方向に隣接する通常画素の画素値を用いて補間した場合に得られる画像の概略を示す模式図。
【図10A】画素補間について説明するための図であり、被写体像の概略を示す模式図。
【図10B】画素補間について説明するための図であり、上開口位相差検出画素又は下開口位相差検出画素の垂直方向に隣接する通常画素の画素値を用いて補間することを説明するための模式図。
【図10C】画素補間について説明するための図であり、垂直方向に隣接する通常画素の画素値を用いて補間した場合に得られる画像の概略を示す模式図。
【図11A】画素補間について説明するための図であり、上開口位相差検出画素又は下開口位相差検出画素の水平方向に隣接する通常画素の画素値を用いて補間することを説明するための模式図。
【図11B】画素補間について説明するための図であり、水平方向に隣接する通常画素の画素値を用いて補間した場合に得られる画像の概略を示す模式図。
【図12A】画素補間について説明するための図であり、被写体像の概略を示す模式図。
【図12B】画素補間について説明するための図であり、上開口位相差検出画素又は下開口位相差検出画素の水平方向に隣接する通常画素の画素値を用いて補間することを説明するための模式図。
【図12C】画素補間について説明するための図であり、水平方向に隣接する通常画素の画素値を用いて補間した場合に得られる画像の概略を示す模式図。
【図13A】右開口位相差検出画素の画素補間について説明するための図。
【図13B】上開口位相差検出画素の画素補間について説明するための図。
【図14】一実施形態に係る撮像素子の構成例の概略を示す図であり、機能性画素の配置の一例を示す模式図。
【図15A】画素加算について説明するための図である。
【図15B】画素加算について説明するための図である。
【発明を実施するための形態】
【0014】
本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ１の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。
【0015】
図１に示すデジタルカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２３及び撮像制御回路２５を含む撮像部２１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、現像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４３と、記録媒体４５とを有する。
【0016】
撮影レンズ１１は、被写体１００の像を撮像素子２３に形成するための単一又は複数のレンズから構成された光学系である。撮影レンズ１１は、単焦点レンズでもズームレンズでもよい。絞り１３は、撮影レンズ１１の光軸上に配置され、その口径が変化し得るように構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の量を制限する。メカシャッタ１５は、絞り１３の後方に配置され、開閉自在に構成されている。メカシャッタ１５は、その開放時間が調節されることにより、被写体１００から到来する被写体光束の撮像素子２３への入射時間を調節する。すなわち、メカシャッタ１５は、撮像素子２３の露光時間を調整する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１の焦点調節、絞り１３の開口径制御、及びメカシャッタ１５の開閉制御を行う。
【0017】
操作部１９は、電源ボタン、レリーズボタン、再生ボタン、メニューボタンといった各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部１９への入力は、ＣＰＵ２９による処理によって認識され得る。
【0018】
撮像素子２３は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２３は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。撮像素子２３を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。ここで、本実施形態における撮像素子２３は、複数の異なる電荷の読み出し方式を有している。撮像素子２３に蓄積された電荷は、撮像制御回路２５からの制御信号に従って読み出される。
【0019】
画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有している。
【0020】
また、本実施形態における撮像素子２３では、一部に位相差検出画素が配置されている。すなわち、撮像素子２３には、記録や表示のための画像を取得するための撮像画素の他に、位相差検出画素が設けられている。位相差検出画素では、他の画素と異なり、一部の領域が遮光されている。この位相差検出画素は、焦点検出に用いられる焦点検出画素として機能する。
【0021】
図２を用いて、撮像素子２３の構成例について説明する。図２は、撮像素子２３の画素配列例を示した模式図である。図２において、「Ｒ」は、赤色のカラーフィルタが設けられたＲ画素を示し、「Ｇ」は、緑色のカラーフィルタが設けられたＧ画素を示し、「Ｂ」は、青色のカラーフィルタが設けられたＢ画素を示す。また、黒色に塗りつぶされた領域は、遮光されている領域を示す。図２は、ベイヤ配列の例を示しているが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が用いられ得る。
【0022】
前述したように、ベイヤ配列の撮像素子２３は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有している。言い換えれば、ベイヤ配列の撮像素子２３は、Ｇｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。
【0023】
本実施形態においては、赤色フィルタ、緑色フィルタ又は青色フィルタが設けられた通常画素２３ａに混じって、遮光膜が設けられた位相差検出画素が配置されている。位相差検出画素は、例えば上下左右の何れかの領域が遮光膜によって遮光された画素である。図２の例では、左半面を遮光した位相差検出画素である右開口位相差検出画素２３Ｒと、右半面を遮光した位相差検出画素である左開口位相差検出画素２３Ｌと、上半面を遮光した位相差検出画素である下開口位相差検出画素２３Ｂと、下半面を遮光した位相差検出画素である上開口位相差検出画素２３Ｔとが設けられている。
【0024】
高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えられる。したがって、図２に示すように位相差検出画素が配置されることにより、近接する右開口位相差検出画素２３Ｒと左開口位相差検出画素２３Ｌとの対で位相差が検出され得る。右開口位相差検出画素２３Ｒと左開口位相差検出画素２３Ｌとの対によれば、水平方向の位相差が検出され得る。同様に、近接する下開口位相差検出画素２３Ｂと上開口位相差検出画素２３Ｔとの対で位相差が検出され得る。下開口位相差検出画素２３Ｂと上開口位相差検出画素２３Ｔとの対によれば、垂直方向の位相差が検出され得る。
【0025】
なお、ある程度の面積を有していれば遮光面積も画素領域の１／２でなくともよい。さらに、図２に示した例では右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌは、Ｇｒ画素に配置されており、下開口位相差検出画素２３Ｂ及び上開口位相差検出画素２３Ｔは、Ｂ画素に配置されているが、これらの配置は適宜に変更され得る。
【0026】
また、図２の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割がされてもよい。
【0027】
図２に示したような撮像素子を用いた位相差法による焦点検出の原理について図３Ａ及び図３Ｂを参照して説明する。ここで、図３Ａは、通常画素２３ａにおける結像状態を示す。図３Ｂは、位相差検出画素２３ｐにおける結像状態を示す。
【0028】
被写体が点光源であるとすると、撮影レンズ１１が合焦状態であるとき、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は、撮像素子２３上の同一の位置に結像する。
【0029】
一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２３上の異なる位置に結像する。言い換えれば、これらの対をなす被写体光束によって形成される像の間には位相差が生じる。この位相差を、例えば右開口位相差検出画素２３Ｒと左開口位相差検出画素２３Ｌとでそれぞれ検出される像の相関関係から検出することにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向が検出され得る。
【0030】
なお、位相差検出画素２３ｐは、一部の領域が遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素２３ｐに形成された遮光膜の面積の他、遮光膜の位置、位相差検出画素２３ｐに入射する光の角度、像高によっても異なるものである。
【0031】
撮像制御回路２５は、ＣＰＵ２９からの制御信号に従って、撮像素子２３の読み出し方式を設定し、設定した読み出し方式に従って撮像素子２３からの画像信号の読み出しを制御する。この際、撮像制御回路２５は、位相差検出画素２３ｐで取得された信号について補間する処理を行う。撮像素子２３からの画素データの読み出し方式は、デジタルカメラ１の撮像モードに応じて設定されるものである。例えば、撮像素子２３からの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出したり、特定の画素の画素データを間引いて読み出したりする。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。
【0032】
撮像制御回路２５についてさらに説明する。撮像制御回路２５の構成例の概略を図４に示す。撮像制御回路２５は、Ａ−ＡＭＰ１０２と、ＡＤＣ１０４と、画素補間処理部１１０と、画素間引き処理部１２２と、画素混合処理部１２４とを有する。
【0033】
Ａ−ＡＭＰ１０２は、撮像素子２３から出力された画像信号のアナログゲイン調整を行う。ＡＤＣ１０４は、アナログデジタル変換器であり、Ａ−ＡＭＰ１０２によってアナログゲイン調整された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。また、画素データによって示される各々の画素に係る値を画素値と記す。
【0034】
画素補間処理部１１０は、位相差検出画素２３ｐにおいて取得される画像データの補間に係る処理を行う。すなわち、位相差検出画素２３ｐは、その一部が遮光されている。このため、位相差検出画素２３ｐにおいて取得される画像データは、通常画素２３ａにおいて取得される画像データと異なる。そこで、画像を取得する露光の際には、画素補間処理部１１０は、位相差検出画素２３ｐにおいて取得される画像データを周辺の通常画素２３ａにおいて取得される画像データによって補間する。なお、焦点検出用露光の際には、位相差検出画素２３ｐで取得された画像データは、そのままＤＲＡＭ４１に書き込まれる。
【0035】
画素補間処理部１１０は、補間方向判断部１１２と、重み算出部１１４と、補間処理部１１６とを有する。補間方向判断部１１２は、位相差検出画素２３ｐの画像データの補間に用いる通常画素２３ａの方向を決定する。すなわち、補間の対象となる位相差検出画素２３ｐに対してどちらの方向にある通常画素２３ａの画素値を用いて補間を行うかを決定する。重み算出部１１４は、補間に用いる画素の画素値を混合する際に、混合する画素のそれぞれの重みを決定する。補間処理部１１６は、重み算出部１１４で算出された重み値に基づいた加算平均を行い、画素値を算出する。補間処理部１１６は、算出した画素値で補間対象画素の画素値を置き換える。
【0036】
画素間引き処理部１２２は、画素データの間引き読み出しに係る処理を行う。画素混合処理部１２４は、画素データの混合読み出しに係る処理を行う。このようにして、撮像制御回路で作成された撮像データは、ＤＲＡＭ４１に書き込まれる。
【0037】
ＣＰＵ２９は、後述するＲＯＭ４３に記憶されているプログラムに従って、デジタルカメラ１の全体制御を行う。
【0038】
現像処理部３１は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって構成される。現像処理部３１は、ＤＲＡＭ４１から画像データを読み出して、現像処理を行い、表示用画像データとしてＤＲＡＭに書き戻す。例えば現像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、現像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、現像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。
【0039】
焦点検出回路３３は、例えばＡＳＩＣによって構成される。焦点検出回路３３は、ＤＲＡＭ４１から位相差検出画素２３ｐで取得されたデータを読み出す。焦点検出回路３３は、位相差検出画素２３ｐで取得されたデータに基づいて、焦点位置の検出に係る処理を行う。
【0040】
ビデオエンコーダ３５は、現像処理部３１によって生成されＤＲＡＭ４１に一時記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部３７に出力する。
【0041】
表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばデジタルカメラ１の背面等に配置される。この表示部３７は、ビデオエンコーダ３５から入力されてきた表示用画像データに従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。
【0042】
バス３９は、撮像制御回路２５、ＣＰＵ２９、現像処理部３１、焦点検出回路３３、ビデオエンコーダ３５、ＤＲＡＭ４１、ＲＯＭ４３、及び記録媒体４５に接続されている。これら各部で発生した各種のデータは、バス３９を介して転送される。
【0043】
ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としては、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられてもよい。
【0044】
記憶部の一例として機能するＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用するプログラム、デジタルカメラ１の調整値等の各種データを記憶している。
【0045】
記録媒体４５は、デジタルカメラ１に内蔵又は装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。
【0046】
本実施形態に係るデジタルカメラ１の動作を説明する。本実施形態に係るデジタルカメラ１による動画記録の処理の一例を図５に示すフローチャートを参照して説明する。動画記録は、例えば動画撮影モード中にレリーズボタンが押圧されたときに開始する。また、ここでは、動画記録の処理について説明するが、静止画記録の動作においても同様の処理が行われ得る。なお、図５を参照して説明する処理はＲＯＭ４３に記憶されているプログラムに従ってＣＰＵ２９が実行したり、ＡＳＩＣが実行したりする。これら処理に係るプログラムは、光ディスクや磁気ディスクや半導体メモリ等、各種記録媒体にも記録され得る。
【0047】
ステップＳ１０１において、ＣＰＵ２９は、次に行う露光が焦点検出用露光か記録のための画像取得用の露光かを設定する。
【0048】
ステップＳ１０２において、ＣＰＵ２９は、ステップＳ１０１で設定された露光が焦点検出用露光であるか否かを判定する。焦点検出用露光であるとき、処理はステップＳ１０３に進む。
【0049】
ステップＳ１０３において、撮像部２１は、撮像取り込みを行う。すなわち、撮像素子２３は、光電変換を行い、撮像制御回路２５は、デジタル化したデータをＤＲＡＭ４１に配置する。
【0050】
ステップＳ１０４において、焦点検出回路３３は、位相差検出画素２３ｐで取得されたデータに基づいて、位相差を利用した焦点検出を行う。ＣＰＵ２９は、焦点検出の結果に基づいて、合焦のために駆動部１７に撮影レンズ１１を駆動させる。その後、処理はステップＳ１１１に進む。
【0051】
ステップＳ１０２において、焦点検出用露光でないと判定されたとき、処理はステップＳ１０５に進む。
【0052】
ステップＳ１０５において、撮像部２１は、撮像動作を行う。すなわち、撮像素子２３は、光電変換を行い、Ａ−ＡＭＰ１０２がアナログゲイン調整をし、ＡＤＣ１０４がアナログ信号をデジタル信号に変換する。
【0053】
ステップＳ１０６において、撮像部２１の画素補間処理部１１０は、位相差検出画素２３ｐについて画素補間処理を行う。この画素補間処理については、後述する。
【0054】
ステップＳ１０７において、撮像部２１の画素間引き処理部１２２は、必要な画素の間引き処理を行い、撮像部２１の画素混合処理部１２４は、必要な画素の混合処理を行う。撮像部２１は、以上のようにして生成した画像データをＤＲＡＭ４１に書き込む。
【0055】
ステップＳ１０８において、現像処理部３１は、ＤＲＡＭ４１から画像データを読み出し、現像処理を行う。
【0056】
ステップＳ１０９において、現像処理部３１は、現像処理後のデータに対して記録用の画像処理を行う。
【0057】
ステップＳ１１０において、ＣＰＵ２９は、ステップＳ１０９で作成された記録用の画像を記録媒体４５に記録する。その後、処理はステップＳ１１１に進む。
【0058】
Ｓ１１１において、ＣＰＵ２９は、動画記録停止の指示が入力されたか否かを判定する。動画記録停止の指示は、例えば、動画記録動作中にレリーズボタンが押圧されることで入力される。動画記録停止の指示が入力されていないとき、処理はステップＳ１０１に戻る。一方、動画記録停止の指示が入力されたとき、本動画記録処理は終了する。
【0059】
次にステップＳ１０６で行われる位相差検出画素２３ｐに係る画素補間について詳述する。まず、位相差検出画素２３ｐの配置について図６Ａ及び図６Ｂを参照してさらに説明する。図６Ａは、図２に示した図において、位相差検出画素２３ｐのうち、水平方向の位相差を検出するために設けられた右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌを表示した図である。図６Ａは、垂直方向の位相差を検出するために設けられた下開口位相差検出画素２３Ｂ及び上開口位相差検出画素２３Ｔを表示しない。一方、図６Ｂは、下開口位相差検出画素２３Ｂ及び上開口位相差検出画素２３Ｔを表示し、右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌを表示しない。
【0060】
まず、右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌの配置について説明する。図６Ａから明らかなように、右開口位相差検出画素２３Ｒは、水平方向にＲ画素とＧ（Ｇｒ）画素とが交互に配置された行に、等間隔に配置されている。右開口位相差検出画素２３Ｒの間隔は４画素である。右開口位相差検出画素２３Ｒが配置されている行には、左開口位相差検出画素２３Ｌは配置されていない。同様に、左開口位相差検出画素２３Ｌは、水平方向にＲ画素とＧ（Ｇｒ）画素とが交互に配置された行に、４画素毎に等間隔に配置されている。左開口位相差検出画素２３Ｌが配置されている行には、右開口位相差検出画素２３Ｒは配置されていない。
【0061】
一方、垂直方向に見ると、右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌのそれぞれの間隔は不均等である。すなわち、図６Ａにおいて、右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌが配置されている列を上から順に数えると、右開口位相差検出画素２３Ｒから４画素目に左開口位相差検出画素２３Ｌが配置されているが、左開口位相差検出画素２３Ｌから８画素目に右開口位相差検出画素２３Ｒが配置されている。
【0062】
以上のように、右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌは、水平方向（行方向）には均等に配置されているが、垂直方向（列方向）には不均等に配置されている。位相差検出画素２３ｐの配置が不均等になっているのは、撮像素子２３によって得られる画像データについて、位相差検出画素２３ｐが存在することにより発生する画像劣化をできるだけ抑えるため、位相差検出画素２３ｐの数を削減していることに起因する。
【0063】
次に、上開口位相差検出画素２３Ｔ及び下開口位相差検出画素２３Ｂの配置について説明する。図６Ｂから明らかなように、上開口位相差検出画素２３Ｔは、垂直方向にＢ画素とＧ（Ｇｂ）画素とが交互に配置された列に、４画素毎に等間隔に配置されている。上開口位相差検出画素２３Ｔが配置されている列には、下開口位相差検出画素２３Ｂは配置されていない。同様に、下開口位相差検出画素２３Ｂは、垂直方向にＢ画素とＧ（Ｇｂ）画素とが交互に配置された列に、４画素毎に等間隔に配置されている。下開口位相差検出画素２３Ｂが配置されている列には、上開口位相差検出画素２３Ｔは配置されていない。
【0064】
一方、水平方向に見ると、上開口位相差検出画素２３Ｔと下開口位相差検出画素２３Ｂとの間隔は不均等である。すなわち、図６Ｂにおいて、上開口位相差検出画素２３Ｔ及び下開口位相差検出画素２３Ｂが配置されている行を左から順に数えると、上開口位相差検出画素２３Ｔから４画素目に下開口位相差検出画素２３Ｂが配置されているが、下開口位相差検出画素２３Ｂから８画素目に上開口位相差検出画素２３Ｔが配置されている。
【0065】
以上のように、上開口位相差検出画素２３Ｔ及び下開口位相差検出画素２３Ｂは、垂直方向（列方向）には均等に配置されているが、水平方向（行方向）には不均等に配置されている。
【0066】
次に、以上のように配置された位相差検出画素２３ｐで取得された輝度に係る値（画素値）を周辺の通常画素２３ａで得られた画素値を用いて補間することについて説明する。
【0067】
まず、図６Ａに示したような右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌの場合を考える。例えば図７Ａに模式的に示すように、撮像素子２３を用いて縦縞の被写体像を撮像するものとする。ここで、図７Ａにおいて、斜線が付されている画素は被写体像において光量が低く暗い場所を示すものとし、斜線が付されていない画素は被写体像において光量が高く明るい場所を示すものとする。
【0068】
図７Ａに示したような被写体像が入射したときに得られる補間後の画素毎の画素値について模式的に図７Ｂに示す。図７Ｂでは、間隔が狭い斜線が付されている画素は画素値が低いものとし、間隔が広い斜線が付されている画素はそれよりも画素値が高く、斜線が付されていない画素はさらに画素値が高いものとする。通常画素２３ａでは、被写体像に応じた画素値が得られる。一方で、位相差検出画素２３ｐでは、画素の一部が遮蔽されているために正しい画素値が得られないので、位相差検出画素２３ｐの画素値を周囲に存在する通常画素２３ａの画素値を用いて補間する。ここでは、位相差検出画素２３ｐの画素値を左右に存在（水平方向・行方向に隣接）する通常画素２３ａの画素値を用いて補間したとする。すると、図７Ｂに示すように、本来得られるべき画素値と異なる画素値によって補間がなされてしまう。
【0069】
その結果、得られる画像を模式的に図７Ｃに示す。図７Ｃは、Ｇｒ画素、Ｒ画素、Ｂ画素、Ｇｂ画素の４つの画素で得られた画素値に基づいて、１つの画素値が決定される場合を示している。ここで、図７Ｃでは、間隔が狭い斜線が付されている画素は画素値が低いものとし、間隔が広い斜線が付されている画素はそれよりも画素値が高く、斜線が付されていない画素はさらに画素値が高いものとする。図７Ｃに示すように、縦縞の被写体像を撮像したときに、縞模様に「ちぢれ」模様が入ることになってしまう。すなわち、縦縞が、図７Ｃにおける上側の４段は左側にずれるようになり、下側の４段は右側にずれるようになり、ギザギザになる。このように、位相差検出画素２３ｐの左右に存在する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間した場合、得られる画像は非常に画質が劣化したものとなる。
【0070】
図７Ｂ及び図７Ｃに示す例では、位相差検出画素２３ｐの左右に存在する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間した場合を示したが、位相差検出画素２３ｐの上下に存在（垂直方向・列方向に隣接）する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間した場合を次に示す。位相差検出画素２３ｐの上下に存在する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間した場合、図７Ｂに相当する図は図８Ａのようになる。その結果、図７Ｃに相当する図は、図８Ｂのようになる。このとき、図７Ｃで認められるような、縞模様に「ちぢれ」模様が入ることはなく、きれいな縦縞模様が得られる。すなわち、位相差検出画素２３ｐの上下に存在する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間した場合、得られる画像に劣化は認められない。
【0071】
横縞の被写体像を撮像する場合も同様に考える。すなわち図７Ａに示す図に相当する被写体像を示す図を図９Ａに示す。このとき、位相差検出画素２３ｐの上下に存在する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間すると次のようになる。すなわち、図７Ｂ及び図８Ａに相当する図は、図９Ｂのようになる。また、図７Ｃ及び図８Ｂに相当する図は、図９Ｃのようになる。この場合、図９Ｃに示すように、得られる画像は若干劣化するが、縞模様の境界がややにじむようにあいまいになるだけである。すなわち、図９Ｃに示す図の場合、横縞の模様は維持され、上下にずれて「ちぢれ」模様が入るような大きな画質の劣化は認められない。
【0072】
以上のように、右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌは、水平方向（行方向）には均等に配置されているが、垂直方向（列方向）には不均等に配置されている。この場合、位相差検出画素２３ｐの画素値を補間するには、当該位相差検出画素２３ｐの垂直方向（列方向）に隣接する通常画素２３ａの画素値を用いて補間すると画質の劣化が防止される。すなわち、位相差検出画素２３ｐの補間を行う際には、不均等に配置された方向の通常画素２３ａを用いて補間されると画質の劣化が防止される。
【0073】
同様に、図６Ｂに示したような上開口位相差検出画素２３Ｔ及び下開口位相差検出画素２３Ｂの場合を考える。例えば図１０Ａに模式的に示すように、撮像素子２３を用いて横縞の被写体像を撮像するものとする。このとき、位相差検出画素２３ｐの上下に存在（垂直方向・列方向に隣接）する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間すると、図１０Ｂに示すように補間がされ、図１０Ｃに示すような画像が得られる。すなわち、得られる画像において画質は、横縞模様に「ちぢれ」模様が入って、非常に劣化したものとなる。
【0074】
横縞の被写体像を撮像し、位相差検出画素２３ｐの左右に存在（水平方向・行方向に隣接）する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間するものとする。このとき、図１１Ａに示すように補間がされ、図１１Ｂに示すような画像が得られる。すなわち、得られる画像において画質の劣化は認められない。
【0075】
また、図１２Ａに示すように、縦縞の被写体像を撮像し、位相差検出画素２３ｐの左右に存在（水平方向・行方向に隣接）する通常画素２３ａの画素値を用いて位相差検出画素２３ｐの画素値を補間するものとする。このとき、図１２Ｂに示すように補間がされ、図１２Ｃに示すような画像が得られる。すなわち、得られる画像において大きな画質の劣化は認められない。
【0076】
以上のように、上開口位相差検出画素２３Ｔ及び下開口位相差検出画素２３Ｂは、垂直方向（列方向）には均等に配置されているが、水平方向（行方向）には不均等に配置されている。この場合、位相差検出画素２３ｐの画素値を補間するには、当該位相差検出画素２３ｐの水平方向（行方向）に隣接する通常画素２３ａの画素値を用いて補間すると画質の劣化が防止される。すなわち、位相差検出画素２３ｐの補間を行う際には、不均等に配置された方向の通常画素２３ａを用いて補間されると画質の劣化が防止される。
【0077】
以上のことから、本実施形態では、左開口位相差検出画素２３Ｌ及び右開口位相差検出画素２３Ｒの画素値が周辺の通常画素２３ａで得られた画素値を用いて補間されるとき、水平方向と垂直方向とのうち左開口位相差検出画素２３Ｌ及び右開口位相差検出画素２３Ｒが不均等に配置された方向に隣接する通常画素２３ａの画素値を用いて、位相差検出画素２３ｐの画素値の補間が行われる。同様に、上開口位相差検出画素２３Ｔ及び下開口位相差検出画素２３Ｂの画素値が周辺の通常画素２３ａで得られた画素値を用いて補間されるとき、水平方向と垂直方向とのうち上開口位相差検出画素２３Ｔ及び下開口位相差検出画素２３Ｂが不均等に配置された方向に隣接する通常画素２３ａの画素値を用いて、位相差検出画素２３ｐの画素値の補間が行われる。
【0078】
補間における画素値の算出方法はさまざま考えられる。上述の図７Ａ乃至図１２Ｃを用いた説明では、補間対象である位相差検出画素２３ｐの上下の通常画素２３ａと左右の通常画素２３ａとのうち何れか一方が用いられる場合を例に挙げて説明したが、上下の通常画素２３ａと左右の通常画素２３ａとの両方を用いて、これらの重みづけが異なるようにしてもよい。
【0079】
例えば図１３Ａに示すように、右開口位相差検出画素２３Ｒの画素値を周辺のＧ画素の画素値に基づいて補間する場合を考える。当該右開口位相差検出画素２３Ｒの上隣りのＧ画素の画素値をＧ１とし、下隣りのＧ画素の画素値をＧ２とし、左隣りのＧ画素の画素値をＧ３とし、右隣りのＧ画素の画素値をＧ４とする。位相差検出画素２３ｐの配置が図２に示した配置である場合、右開口位相差検出画素２３Ｒの配置は列方向に不均等であるので、上下の通常画素２３ａの画素値が用いられる。したがって、補間後の画素値Ｉは、例えば、Ｉ＝（Ｇ１＋Ｇ２）／２
で与えられる。
【0080】
また、補間後の画素値Ｉは、例えば、Ｉ＝（Ｋ１Ｇ１＋Ｋ１Ｇ２＋Ｋ２Ｇ３＋Ｋ２Ｇ４）／（Ｋ１＋Ｋ１＋Ｋ２＋Ｋ２）
で与えられてもよい。ここで、Ｋ１とＫ２とは重み係数であり、
Ｋ１＞Ｋ２
とする。なお、Ｉ＝（Ｇ１＋Ｇ２）／２は、Ｋ１＝１、Ｋ２＝０の場合であるとも言える。
【0081】
同様に、例えば図１３Ｂに示すように、上開口位相差検出画素２３Ｔの画素値を周辺のＢ画素の画素値に基づいて補間する場合を考える。当該上開口位相差検出画素２３Ｔの左隣りのＢ画素の画素値をＢ１とし、右隣りのＢ画素の画素値をＢ２とし、上隣りのＢ画素の画素値をＢ３とし、下隣りのＢ画素の画素値をＢ４とする。位相差検出画素２３ｐの配置が図２に示した配置である場合、上開口位相差検出画素２３Ｔの配置は行方向に不均等であるので、左右の通常画素２３ａの画素値が用いられる。したがって、補間後の画素値Ｉは、例えば、Ｉ＝（Ｂ１＋Ｂ２）／２
で与えられる。
【0082】
また、補間後の画素値Ｉは、例えば、Ｉ＝（Ｋ３Ｂ１＋Ｋ３Ｂ２＋Ｋ４Ｂ３＋Ｋ４Ｂ４）／（Ｋ３＋Ｋ３＋Ｋ４＋Ｋ４）
で与えられてもよい。ここで、Ｋ３とＫ４とは重み係数であり、
Ｋ３＞Ｋ４
とする。
【0083】
上述の重み係数Ｋ１、Ｋ２、Ｋ３及びＫ４は、予め決められており、例えばいつも同じ重み係数が用いられる。すなわち、撮像素子２３における位相差検出画素２３ｐの配列は固定されているので、その配列等に基づいて最適な重み係数が予め求められており、この重み係数を用いて補間がなされることで最適な補間が実現され得る。
【0084】
撮像素子２３における位相差検出画素２３ｐの配置や、画素補間を行う場合の補間される位相差検出画素２３ｐと補間に用いられる通常画素２３ａとの位置関係や、重み係数等の情報は、例えばＲＯＭ４３に予め記録されている。このように、例えばＲＯＭ４３は、撮像素子における機能性画素の配置が記録された記録部として機能する。
【0085】
なお、画素値Ｉの算出方法は、加算平均に限らない。また、画素値Ｉの算出では、画像としてそのまま利用できない値ではあるものの位相差検出画素２３ｐでも画素値が取得されているので、補間される位相差検出画素２３ｐで取得された画素値が用いられてもよい。すなわち、上述の説明は、位相差検出画素２３ｐの画素値が用いられない場合に限らず、位相差検出画素２３ｐの画素値が用いられる場合にも適用される。このように、補間というとき、位相差検出画素２３ｐの画素値が用いられずに他の画素の画素値によって画素値が決定される場合のみならず、当該位相差検出画素２３ｐの画素値が用いられる場合も含まれる。
【0086】
位相差検出画素が不均等な間隔で配置されている方向を第１の方向とするとき、画素補間では、まず第１の方向が取得される。続いて、第１の方向の重みづけを第１の重みとし、第１の方向と異なる方向の重みづけを第２の重みとしたときに、第１の重みと第２の重みとが決定される。ここで、第１の重みは第２の重みよりも大きい。その後、第１の重みと第２の重みとを用いて補間処理が行われる。
【0087】
本実施形態によれば、撮像素子２３の撮像面に位相差検出画素２３ｐが設けられていることによって必要となる画素補間を含む画素補間においても、画質の劣化が防止される。また、例えば位相差検出画素２３ｐの周辺の画素値に応じて適応的に補間に用いるパラメータを変更することによって画質劣化を抑制する場合等と比較して、本実施形態によれば、回路規模を小さくすることができ、また、消費電力も小さくすることができる。このことは、動画記録やライブビュー表示時に、特に効果を奏する。
【0088】
なお、上述の例では、図６Ａ及び図６Ｂに示すように、位相差検出画素２３ｐの均等に並んでいる方向の間隔は４画素である。間隔が４画素以上であるときにちぢれの影響は現れやすいので、間隔が４画素以上のときに本実施形態は特に効果を奏する。
【0089】
なお、上述の例では、位相差検出画素２３ｐの上下左右の通常画素２３ａの画素値を用いて画素補間する例を示したが、これ以外の方向に配置された通常画素２３ａの画素値を用いて画素補間されてもよい。この場合も、位相差検出画素２３ｐが不均等な間隔で配置されている方向についての重みが大きく設定され、それ以外の方向の重みは小さく設定されることで画質の劣化は防止される。
【0090】
［第１の変形例］上述の実施形態の変形例について説明する。ここでは、上述の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。上述の実施形態では、位相差検出画素について画素値を補間する例を示した。しかしながら画素値を補間する対象は位相差検出画素に限らず、撮像素子内に撮像以外の機能を有した画素が配置され補間される必要があるときは上述の実施形態が適用され得る。撮像以外の機能を有した画素として、例えば測光用の画素が配置されることが考えられる。このように撮像以外の機能を有した画素を機能性画素と称することにする。
【0091】
図１４に機能性画素の配置例を示す。図１４において黒塗りで示された画素には、撮像以外の機能を有する機能性画素２３ｆが設けられている。機能性画素２３ｆでは、画像データを取得することができないので、当該機能性画素２３ｆの画素値は、周囲の通常画素２３ａにより得られた画素値を用いて補間される必要がある。そこで上述の実施形態が適用され得る。
【0092】
図１４に示す画素配置の例では、機能性画素２３ｆは、水平方向には均等に配置されており、垂直方向には不均等に配置されている。したがって、補間においては、水平方向に配置された画素の画素値よりも垂直方向に配置された画素の画素値に大きな重みをもたせて補間が行われるとよい。このような重みづけがなされると、補間による画質の劣化が抑制される。
【0093】
［第２の変形例］上述の実施形態の変形例について説明する。ここでは、上述の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本変形例では、画素加算が行われる場合を考える。右開口位相差検出画素２３Ｒ及び左開口位相差検出画素２３Ｌの配列として図６Ａに示したような配置で機能性画素２３ｆが配置された撮像素子２３を例に挙げて説明する。Ｇｒ・Ｒ・Ｂ・Ｇｂの４画素が縦２つ及び横２つで１組として画素加算が行われる場合を考える。この場合の画素の位置関係の一例を図１５Ａに示す。図１５Ａにおいて、太線は画素加算する１組の画素を示し、太線で示した枠内の同色の画素値について加算がなされるものとする。同様に、Ｇｒ・Ｒ・Ｂ・Ｇｂの４画素が縦３つ及び横３つで１組として画素加算が行われる場合の画素の位置関係の一例を図１５Ｂに示す。図１５Ｂにおいて、太線は画素加算される１組の画素を示し、太線で示した枠内の同色の画素の画素値について加算がなされるものとする。画素加算される１組に含まれる画素数は、撮像モードによって変更され得る。
【0094】
図１５Ａから明らかなように、２×２を１組として画素加算する場合、この１組の画素に含まれる機能性画素２３ｆは、それぞれ１画素となる。これは、機能性画素２３ｆの間隔が４画素であり、１組に含まれる画素が４画素×４画素となることに起因する。これに対して、図１５Ｂに示すように３×３を１組として画素加算する場合、この１組の画素に含まれる機能性画素２３ｆは、１画素であったり２画素であったり４画素であったりする。画素加算する範囲の組み合わせによっては、１組に含まれる機能性画素２３ｆは、３画素ともなりうる。このように、画素加算する画素数が異なると、１組の画素に含まれる機能性画素２３ｆの数が異なり得る。
【0095】
画素加算する１組の画素に含まれる機能性画素２３ｆの数が異なると、周囲の通常画素２３ａの画素値を用いた機能性画素２３ｆの画素値の補間が１組の画素の画素加算の結果に与える影響が組毎に異なることになる。
【0096】
そこで、本変形例では、加算する画素数に応じて、例えば上述の重み係数Ｋ１、Ｋ２、Ｋ３及びＫ４が異なるものに設定される。すなわち、機能性画素２３ｆの補間において、次の処理が行われる。まず、加算画素数が判定される。その判定結果に基づいて、重み係数など機能性画素２３ｆの補間に係るパラメータが決定される。決定されたパラメータを用いて画素補間が行われる。
【0097】
本変形例によれば、画素加算において、加算される画素数に応じて最適な機能性画素２３ｆの画素値の補間が行われる。その結果、当該補間による画質の劣化が抑制される。
【0098】
なお、補間されるべき機能性画素２３ｆが不均等な間隔で配置されている方向を第１の方向とする。このとき、画素加算において加算対象となる１組の画素の第１の方向の画素数が、第１の方向における機能性画素２３ｆの間隔よりも小さいとき、補間によって画像にちぢれが生じやすい。したがって、１組の画素の第１の方向の画素数が、第１の方向における機能性画素２３ｆの間隔よりも小さいとき、重み係数Ｋ１と重み係数Ｋ２とが異なる値に設定されることは特に効果を奏する。
【0099】
上述のような補間処理では、機能性画素の密度が疎なときには、画素加算後に補間が行われてもよい。機能性画素が密に配置されているときは、画素加算をする１組の画素の中に必ず１つ以上の機能性画素が含まれることになる。したがって、機能性画素の密度が密なときには、機能性画素の画素値の補間は画素加算前に行われることが好ましい。
【0100】
なお、上述の実施形態及びその変形例ではベイヤ配列が用いられる場合を例に挙げて説明した。しかしながらベイヤ配列に限らず、機能性画素の配列が均等な方向と不均等な方向とがあるとき、上述の技術は適用され得る。したがって、水平方向又は垂直方向に限らず、斜めの方向など種々の方向に対して適用され得る。
【0101】
以上のように、本技術は、撮像のための通常画素と撮像以外の機能を有する機能性画素とを含む撮像素子であって、機能性画素がある第１の方向には不均等な間隔で配置されている場合を対象としている。この場合に、機能性画素の画素値を周辺の通常画素の画素値で補間するとき、第１の方向に配置された通常画素の画素値の重みづけを大きくし、第１の方向以外の方向に配置された通常画素の重みづけを小さくする。このようにすると画質の劣化が抑えられた画素補間が実現され得る。
【符号の説明】
【0102】
１…デジタルカメラ、１１…撮影レンズ、１３…絞り、１５…メカシャッタ、１７…駆動部、１９…操作部、２１…撮像部、２３…撮像素子、２３ａ…通常画素、２３Ｌ…左開口位相差検出画素、２３Ｒ…右開口位相差検出画素、２３Ｔ…上開口位相差検出画素、２３Ｂ…下開口位相差検出画素、２３ｐ…位相差検出画素、２３ｆ…機能性画素、２５…撮像制御回路、２９…ＣＰＵ、３１…現像処理部、３３…焦点検出回路、３５…ビデオエンコーダ、３７…表示部、３９…バス、４１…ＤＲＡＭ、４３…ＲＯＭ、４５…記録媒体、１１０…画素補間処理部、１１２…補間方向判断部、１１４…重み算出部、１１６…補間処理部、１２２…画素間引き処理部、１２４…画素混合処理部。