特開 2024-38222 撮像装置、撮像方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024038222

(43)【公開日】2024-03-19

(54)【発明の名称】撮像装置、撮像方法、及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240312BHJP

   H04N 23/12 20230101ALI20240312BHJP

   G06T 3/4015 20240101ALI20240312BHJP

【ＦＩ】

H04N23/60 500

H04N23/12

G06T3/4015

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023223033

(22)【出願日】2023-12-28

(62)【分割の表示】P 2023510510の分割

【原出願日】2022-01-18

(31)【優先権主張番号】P 2021056872

(32)【優先日】2021-03-30

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】斎藤 太郎

(72)【発明者】

【氏名】河口 武弘

(72)【発明者】

【氏名】藤原 慎也

(72)【発明者】

【氏名】西山 幸徳

(57)【要約】      （修正有）

【課題】画像に生じるモアレを抑制する撮像装置、撮像方法及びプログラムを提供する。
【解決手段】撮像装置は、イメージセンサ及びプロセッサを備える。プロセッサは、イメージセンサにより撮像されることで得られた撮像画像データに対して画像補間処理（モザイク処理）を行い、撮像画像データに基づいて表される撮像画像に含まれる複数の画素について、撮像装置と被写体との間の距離を表す距離データを取得し、距離データに基づいて、複数の画素から補正対象画素を特定し、補正対象画素の補正対象画素データに対して、画像補間処理により発生する偽信号を補正する補正処理を行う。
【選択図】図７

【特許請求の範囲】

【請求項1】

イメージセンサ及びプロセッサを備えた撮像装置であって、
前記プロセッサは、
前記イメージセンサにより撮像されることで得られた撮像画像データに対して画像補間処理を行い、
前記撮像画像データに基づいて表される撮像画像に含まれる複数の画素について、前記撮像装置と被写体との間の距離を表す距離データを取得し、
前記距離データに基づいて、前記複数の画素から補正対象画素を特定し、
前記補正対象画素の補正対象画素データに対して、前記画像補間処理により発生する偽信号を補正する補正処理を行う
撮像装置。

【請求項2】

前記補正対象画素は、前記複数の画素のうち、第１既定周波数よりも高い第１高周波成分の画素データに対応する画素である
請求項１に記載の撮像装置。

【請求項3】

前記プロセッサは、前記撮像画像データ及び前記距離データに基づいて、前記複数の画素から、前記第１高周波成分の画素データに対応する画素を特定する
請求項２に記載の撮像装置。

【請求項4】

前記補正処理は、彩度を下げる処理、又はフィルタリング処理である
請求項１から請求項３のいずれか一項に記載の撮像装置。

【請求項5】

前記プロセッサは、前記画像補間処理によって得られる画像補間画像と、前記距離データに基づいて得られる距離画像との類似度が既定類似度以上である場合には、前記複数の画素のうち、前記画像補間画像の類似領域に含まれる画素を前記補正対象画素として特定する
請求項１から請求項３の何れか一項に記載の撮像装置。

【請求項6】

前記プロセッサは、前記類似度が既定類似度以上であれば、前記複数の画素のうち、前記距離画像内の連続している画素に対応する画素を前記補正対象画素として特定する
請求項５に記載の撮像装置。

【請求項7】

前記補正処理は、前記補正対象画素以外に前記類似領域に含まれる画素の色で前記補正対象画素の色を補間する処理である
請求項５又は請求項６に記載の撮像装置。

【請求項8】

前記プロセッサは、
前記距離データから信頼度が第１信頼度以上である第１距離データを取得し、
前記複数の画素のうち、前記第１距離データに対応する画素を前記補正対象画素として特定する
請求項１から請求項７のいずれか一項に記載の撮像装置。

【請求項9】

イメージセンサ及びプロセッサを備えた撮像装置であって、
前記プロセッサは、
前記イメージセンサにより撮像されることで得られた撮像画像に含まれる複数の画素について、前記撮像装置と被写体との間の距離に関する距離データを取得し、
前記距離データに対して方向判別処理を行い、
前記方向判別処理の結果に基づいて、前記撮像画像を表す撮像画像データに対する画像補間処理を行う
撮像装置。

【請求項10】

前記プロセッサは、
前記距離データから信頼度が第２信頼度以上である第２距離データを取得し、
前記第２距離データに対して前記方向判別処理を行う
請求項９に記載の撮像装置。

【請求項11】

前記イメージセンサは、複数の位相差画素を有し、
前記プロセッサは、前記撮像画像データから、前記位相差画素の位相差画素データに基づいて前記距離データを取得する
請求項１から請求項１０の何れか一項に記載の撮像装置。

【請求項12】

前記位相差画素は、非位相差画素データと、前記位相差画素データとを選択的に出力する画素であり、
前記非位相差画素データは、前記位相差画素の全領域によって光電変換が行われることで得られる画素データであり、
前記位相差画素データは、前記位相差画素の一部の領域によって光電変換が行われることで得られる画素データである
請求項１１に記載の撮像装置。

【請求項13】

撮像装置のイメージセンサにより撮像されることで得られた撮像画像データに対して画像補間処理を行うこと、
前記撮像画像データに基づいて表される撮像画像に含まれる複数の画素について、前記撮像装置と被写体との間の距離を表す距離データを取得すること、
前記距離データに基づいて、前記複数の画素から補正対象画素を特定すること、及び、
前記補正対象画素の補正対象画素データに対して、前記画像補間処理により発生する偽信号を補正する補正処理を行うこと
を備える撮像方法。

【請求項14】

撮像装置のイメージセンサにより撮像されることで得られた撮像画像に含まれる複数の画素について、前記撮像装置と被写体との間の距離に関する距離データを取得すること、
前記距離データに対して方向判別処理を行うこと、及び、
前記方向判別処理の結果に基づいて、前記撮像画像を表す撮像画像データに対する画像補間処理を行うこと
を備える撮像方法。

【請求項15】

コンピュータに、
撮像装置のイメージセンサにより撮像されることで得られた撮像画像データに対して画像補間処理を行うこと、
前記撮像画像データに基づいて表される撮像画像に含まれる複数の画素について、前記撮像装置と被写体との間の距離を表す距離データを取得すること、
前記距離データに基づいて、前記複数の画素から補正対象画素を特定すること、及び、
前記補正対象画素の補正対象画素データに対して、前記画像補間処理により発生する偽信号を補正する補正処理を行うこと
を含む処理を実行させるためのプログラム。

【請求項16】

コンピュータに、
撮像装置のイメージセンサにより撮像されることで得られた撮像画像に含まれる複数の画素について、前記撮像装置と被写体との間の距離に関する距離データを取得すること、
前記距離データに対して方向判別処理を行うこと、及び、
前記方向判別処理の結果に基づいて、前記撮像画像を表す撮像画像データに対する画像補間処理を行うこと
を含む処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、撮像装置、撮像方法、及びプログラムに関する。

【背景技術】

【0002】

特開２００６－１４２６１号公報に記載の画像処理装置は、画像データから白とび画素を検出する白とび検出部と、白とび検出部の検出した白とび画素の周囲に偽色画素検出領域を設定する偽色画素検出領域設定部と、偽色画素検出領域設定部の設定した領域内において、偽色に対応する色を有する画素を偽色画素として特定する偽色検出部と、偽色検出部の検出した偽色画素について、周囲画素値に基づく画素値補正処理を実行する画素値補正部と、を有する。

【0003】

特開２００９－３３６９９号公報に記載の画像処理装置は、異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する画像処理装置であって、色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解部と、色プレーン分解部により分解された複数の色プレーン毎に、色プレーンによって値の異なる係数を用いて、色モザイク画像から生成されるカラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標であって色プレーン毎に異なるサンプリング座標をそれぞれ算出する座標変換部と、色プレーン分解部により分解された複数の色プレーン毎に、座標変換部により算出されたサンプリング座標における画素値を、色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング部と、サンプリング部により補間生成された各色プレーンの補間値を合成することによりカラー画像を生成する色生成部と、を備える。

【0004】

国際公開第２０１４／１２２８０４号パンフレットに記載の画像処理装置は、撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理手段と、デモザイク処理手段により得られたデモザイク画像データに基づいて、輝度に関する画像データである輝度系画像データを取得する輝度系画像データ取得手段と、輝度系画像データ取得手段により取得された輝度系画像データに対して、点像復元処理を行う点像復元処理実行手段と、被写体の撮影条件に関する撮影情報に基づいて、点像復元処理の実行に関する制御情報を取得する情報取得手段と、情報取得手段により取得した制御情報に基づいて、点像復元処理実行手段の処理動作を制御する点像復元処理制御手段と、を備える。

【発明の概要】

【0005】

本開示の技術に係る一つの実施形態は、従来既知のデモザイク処理のみが行われる場合に比して、画像に生じるモアレを抑制することができる撮像装置、撮像方法、及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の第１態様は、イメージセンサ及びプロセッサを備えた撮像装置であって、プロセッサは、イメージセンサにより撮像されることで得られた撮像画像データに対して画像補間処理を行い、撮像画像データに基づいて表される撮像画像に含まれる複数の画素について、撮像装置と被写体との間の距離を表す距離データを取得し、距離データに基づいて、複数の画素から補正対象画素を特定し、補正対象画素の補正対象画素データに対して、画像補間処理により発生する偽信号を補正する補正処理を行う撮像装置である。

【0007】

本開示の第２態様は、第１態様に係る撮像装置において、補正対象画素は、複数の画素のうち、第１既定周波数よりも高い第１高周波成分の画素データに対応する画素である撮像装置である。

【0008】

本開示の第３態様は、第２態様に係る撮像装置において、プロセッサは、撮像画像データ及び距離データに基づいて、複数の画素から、第１高周波成分の画素データに対応する画素を特定する撮像装置である。

【0009】

本開示の第４態様は、第１態様から第３態様の何れか一つの撮像装置において、補正処理は、彩度を下げる処理、又はフィルタリング処理である撮像装置である。

【0010】

本開示の第５態様は、第１態様から第３態様の何れか一つの撮像装置において、プロセッサは、画像補間処理によって得られる画像補間画像と、距離データに基づいて得られる距離画像との類似度が既定類似度以上である場合には、複数の画素のうち、画像補間画像の類似領域に含まれる画素を補正対象画素として特定する撮像装置である。

【0011】

本開示の第６態様は、第５態様に係る撮像装置において、プロセッサは、類似度が既定類似度以上であれば、複数の画素のうち、距離画像内の連続している画素に対応する画素を補正対象画素として特定する撮像装置である。

【0012】

本開示の第７態様は、第５態様又は第６態様に係る撮像装置において、補正処理は、補正対象画素以外に類似領域に含まれる画素の色で補正対象画素の色を補間する処理である撮像装置である。

【0013】

本開示の第８態様は、第１態様から第７態様の何れか一つの撮像装置において、プロセッサは、距離データから信頼度が第１信頼度以上である第１距離データを取得し、複数の画素のうち、第１距離データに対応する画素を補正対象画素として特定する撮像装置である。

【0014】

本開示の第９態様は、イメージセンサ及びプロセッサを備えた撮像装置であって、プロセッサは、イメージセンサにより撮像されることで得られた撮像画像に含まれる複数の画素について、撮像装置と被写体との間の距離に関する距離データを取得し、距離データに対して方向判別処理を行い、方向判別処理の結果に基づいて、撮像画像を表す撮像画像データに対する画像補間処理を行う撮像装置である。

【0015】

本開示の第１０態様は、第９態様に係る撮像装置において、プロセッサは、距離データから信頼度が第２信頼度以上である第２距離データを取得し、第２距離データに対して方向判別処理を行う撮像装置である。

【0016】

本開示の第１１態様は、第１態様から第１０態様の何れか一つの撮像装置において、イメージセンサは、複数の位相差画素を有し、プロセッサは、撮像画像データから、位相差画素の位相差画素データに基づいて距離データを取得する撮像装置である。

【0017】

本開示の第１２態様は、第１１態様に係る撮像装置において、位相差画素は、非位相差画素データと、位相差画素データとを選択的に出力する画素であり、非位相差画素データは、位相差画素の全領域によって光電変換が行われることで得られる画素データであり、位相差画素データは、位相差画素の一部の領域によって光電変換が行われることで得られる画素データである撮像装置である。

【0018】

本開示の第１３態様は、撮像装置のイメージセンサにより撮像されることで得られた撮像画像データに対して画像補間処理を行うこと、撮像画像データに基づいて表される撮像画像に含まれる複数の画素について、撮像装置と被写体との間の距離を表す距離データを取得すること、距離データに基づいて、複数の画素から補正対象画素を特定すること、及び、補正対象画素の補正対象画素データに対して、画像補間処理により発生する偽信号を補正する補正処理を行うことを備える撮像方法である。

【0019】

本開示の第１４態様は、撮像装置のイメージセンサにより撮像されることで得られた撮像画像に含まれる複数の画素について、撮像装置と被写体との間の距離に関する距離データを取得すること、距離データに対して方向判別処理を行うこと、及び、方向判別処理の結果に基づいて、撮像画像を表す撮像画像データに対する画像補間処理を行うことを備える撮像方法である。

【0020】

本開示の第１５態様は、コンピュータに、撮像装置のイメージセンサにより撮像されることで得られた撮像画像データに対して画像補間処理を行うこと、撮像画像データに基づいて表される撮像画像に含まれる複数の画素について、撮像装置と被写体との間の距離を表す距離データを取得すること、距離データに基づいて、複数の画素から補正対象画素を特定すること、及び、補正対象画素の補正対象画素データに対して、画像補間処理により発生する偽信号を補正する補正処理を行うことを含む処理を実行させるためのプログラムである。

【0021】

本開示の第１６態様は、コンピュータに、撮像装置のイメージセンサにより撮像されることで得られた撮像画像に含まれる複数の画素について、撮像装置と被写体との間の距離に関する距離データを取得すること、距離データに対して方向判別処理を行うこと、及び、方向判別処理の結果に基づいて、撮像画像を表す撮像画像データに対する画像補間処理を行うことを含む処理を実行させるためのプログラムである。

【図面の簡単な説明】

【0022】

【図1】第１実施形態に係る撮像装置の構成の一例を示す概略構成図である。

【図2】第１実施形態に係る撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。

【図3】第１実施形態に係る光電変換素子の構成の一例を示す概略構成図である。

【図4】第１実施形態に係るＣＰＵの機能的な構成の一例を示すブロック図である。

【図5】第１実施形態に係るＣＰＵが実行する画像生成処理の一例を示す説明図である。

【図6】第１実施形態に係るデモザイク処理の一例を示す説明図である。

【図7】第１実施形態に係るＣＰＵが実行する画像生成処理の流れの一例を示すフローチャートである。

【図8】第２実施形態に係るＣＰＵが実行する画像生成処理の一例を示す説明図である。

【図9】第２実施形態に係るＣＰＵが実行する画像生成処理の流れの一例を示すフローチャートである。

【図10】第３実施形態に係るＣＰＵが実行する画像生成処理の一例を示す説明図である。

【図11】第３実施形態に係るＣＰＵが実行する画像生成処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、添付図面に従って本開示の技術に係る撮像装置、撮像方法、及びプログラムの一例について説明する。

【0024】

先ず、以下の説明で使用される文言について説明する。

【0025】

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。ＰＣとは、“Personal Computer”の略称を指す。ＩＳＯとは、“International Organization for Standard”の略称を指す。

【0026】

本明細書において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの平行を指す。また、本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。

【0027】

［第１実施形態］
一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、コントローラ１２、撮像装置本体１６、及び交換レンズ１８を備えている。撮像装置１０は、本開示の技術に係る「撮像装置」の一例であり、コントローラ１２は、本開示の技術に係る「コンピュータ」の一例である。コントローラ１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対する焦点の調整を手動で行う場合に、ユーザ等によって操作される。

【0028】

図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。ただし、本例は、あくまでも一例に過ぎず、撮像装置１０は、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。

【0029】

撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、少なくとも１つの被写体を含む撮像エリアを撮像する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、被写体の画像を示す画像データがイメージセンサ２０によって生成される。

【0030】

第１実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

【0031】

撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。

【0032】

レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。

【0033】

撮像装置本体１６の背面には、指示キー２６及びタッチパネル・ディスプレイ３２が設けられている。タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。

【0034】

ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。

【0035】

ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。

【0036】

タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。

【0037】

第１実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

【0038】

指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。

【0039】

一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有する。光電変換素子７２は、受光面７２Ａの中心と交換レンズ１８の光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の画素を有しており、受光面７２Ａは、複数の画素によって形成されている。各画素は、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。

【0040】

交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（物体側）から撮像装置本体１６側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。

【0041】

また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。制御装置３６のＮＶＭは、例えば、ＥＥＰＲＯＭである。ただし、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等を制御装置３６のＮＶＭとして適用してもよい。また、制御装置３６のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。制御装置３６において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像レンズ４０の全体を制御する。

【0042】

なお、ここでは、制御装置３６の一例として、コンピュータを有する装置を挙げているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。

【0043】

第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。

【0044】

第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。

【0045】

なお、ここでは、フォーカス用スライド機構とズーム用スライド機構とが別々に設けられている形態例を挙げているが、これはあくまでも一例に過ぎず、フォーカス及びズームを共に実現可能な一体型のスライド機構であってもよい。また、この場合、フォーカス用モータとズーム用モータとを用いずに、１つのモータによって生成された動力がスライド機構に伝達されるようにすればよい。

【0046】

第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、例えば、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。開口４０Ｄ１の大きさが変化することで、絞り４０Ｄによる絞り量が変化し、これによって露出が調節される。

【0047】

フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、第１実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。したがって、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。

【0048】

撮像装置１０では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動で焦点を合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点の位置が調節される。ＡＦモードでは、ＡＦが行われる。ＡＦとは、イメージセンサ２０から得られる信号に従って焦点の位置を調節する処理を指す。例えば、ＡＦモードでは、撮像装置本体１６によって撮像装置１０と被写体との間の距離が演算され、被写体に焦点が合う位置にフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点の位置が調節される。

【0049】

撮像装置本体１６は、イメージセンサ２０、コントローラ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２及びＡ／Ｄ変換器７４を備えている。

【0050】

入出力インタフェース７０には、コントローラ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。

【0051】

コントローラ１２は、撮像装置１０の全体を制御する。すなわち、図２に示す例では、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がコントローラ１２によって制御される。コントローラ１２は、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。ＣＰＵ６２は、本開示の技術に係る「プロセッサ」の一例であり、ＮＶＭ６４及び／又はＲＡＭ６６は、本開示の技術に係る「メモリ」の一例である。

【0052】

ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、バス６８は、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

【0053】

ＮＶＭ６４は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。各種プログラムには、後述のプログラム６５（図４参照）が含まれる。ＮＶＭ６４は、例えば、ＥＥＰＲＯＭである。ただし、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。ＣＰＵ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラムに従って画像処理を行う。

【0054】

光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

【0055】

交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示す撮像データ７３としてＡ／Ｄ変換器７４に出力する。具体的には、Ａ／Ｄ変換器７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎に撮像データ７３を読み出す。Ａ／Ｄ変換器７４は、光電変換素子７２から読み出されるアナログの撮像データ７３をデジタル化する。

【0056】

ＵＩ系デバイス４８は、ディスプレイ２８を備えている。ＣＰＵ６２は、ディスプレイ２８に対して、画像メモリ４６に記憶された画像データ８０を表示させる。画像データ８０は、後述する通り、撮像データ７３に基づいて生成されたデータである。また、ＣＰＵ６２は、ディスプレイ２８に対して各種情報を表示させる。

【0057】

ＵＩ系デバイス４８は、ユーザからの指示を受け付ける受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。ＣＰＵ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。

【0058】

外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。

【0059】

通信Ｉ／Ｆ５２は、ネットワーク（図示省略）に接続される。通信Ｉ／Ｆ５２は、ネットワーク上のサーバ等の通信装置（図示省略）とコントローラ１２との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、コントローラ１２からの要求に応じた情報を、ネットワークを介して通信装置に送信する。また、通信Ｉ／Ｆ５２は、通信装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してコントローラ１２に出力する。

【0060】

一例として図３に示すように、光電変換素子７２の受光面７２Ａには、複数の感光画素７２Ｂが２次元状に配列されている。各感光画素７２Ｂには、カラーフィルタ（図示省略）、及びマイクロレンズ７２Ｃが配置されている。図３では、受光面７２Ａに平行である１つの方向（例えば、２次元状に配列された複数の感光画素７２Ｂの行方向）をＸ方向とし、Ｘ方向に直交する方向（例えば、２次元状に配列された複数の感光画素７２Ｂの列方向）をＹ方向としている。複数の感光画素７２Ｂは、Ｘ方向及びＹ方向に沿って配列されている。各感光画素７２Ｂは、独立した一対のフォトダイオードＰＤ１及びＰＤ２を含む。

【0061】

フォトダイオードＰＤ１には、撮像レンズ４０を透過した被写体を示す光束（以下、「被写体光束」とも称する）が瞳分割されることで得られた第１光束（例えば、撮像レンズ４０（図２参照）における第１の瞳部分領域を通過する光束）が入射され、フォトダイオードＰＤ２には、被写体光束が瞳分割されることで得られた第２光束（例えば、撮像レンズ４０（図２参照）における第２の瞳部分領域を通過する光束）が入射される。フォトダイオードＰＤ１は、第１光束に対する光電変換を行う。フォトダイオードＰＤ２は、第２光束に対する光電変換を行う。

【0062】

一例として、光電変換素子７２は、１つの感光画素７２Ｂに一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子である。一例として、光電変換素子７２は、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えている。撮像モードにおいて撮像が行われる場合に、光電変換素子７２は、一対のフォトダイオードＰＤ１及びＰＤ２を合わせて１つの感光画素７２Ｂとすることで、非位相差画素データ７３Ａを出力する。また、ＡＦモードでは、光電変換素子７２は、一対のフォトダイオードＰＤ１及びＰＤ２のそれぞれから信号を検出することにより、位相差画素データ７３Ｂを出力する。すなわち、光電変換素子７２に設けられた全ての感光画素７２Ｂは、いわゆる位相差画素である。

【0063】

感光画素７２Ｂは、非位相差画素データ７３Ａと、位相差画素データ７３Ｂとを選択的に出力可能である。非位相差画素データ７３Ａは、感光画素７２Ｂの全領域によって光電変換が行われることで得られる画素データであり、位相差画素データ７３Ｂは、感光画素７２Ｂの一部の領域によって光電変換が行われることで得られる画素データである。ここで、「感光画素７２Ｂの全領域」とは、フォトダイオードＰＤ１とフォトダイオードＰＤ２とを合わせた受光領域である。また、「感光画素７２Ｂの一部の領域」とは、フォトダイオードＰＤ１の受光領域、又はフォトダイオードＰＤ２の受光領域である。

【0064】

なお、非位相差画素データ７３Ａは、位相差画素データ７３Ｂに基づいて生成することも可能である。例えば、位相差画素データ７３Ｂを、一対のフォトダイオードＰＤ１及びＰＤ２に対応する一対の画素信号ごとに加算することにより、非位相差画素データ７３Ａが生成される。また、位相差画素データ７３Ｂには、一対のフォトダイオードＰＤ１及びＰＤ２のうちの一方から出力されたデータのみが含まれていてもよい。例えば、位相差画素データ７３ＢにフォトダイオードＰＤ１から出力されたデータのみが含まれている場合には、非位相差画素データ７３Ａから位相差画素データ７３Ｂを画素ごとに減算することにより、フォトダイオードＰＤ２から出力されるデータを作成することが可能である。

【0065】

感光画素７２Ｂは、本開示の技術に係る「位相差画素」の一例である。複数の感光画素７２Ｂには、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のカラーフィルタ（図示省略）が既定のパターン配列（例えば、ベイヤ配列、ＲＧＢストライプ配列、Ｒ／Ｇ市松配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等）でマトリクス状に配置されている。以下、複数の感光画素７２Ｂに割り当てられたカラーフィルタで複数の感光画素７２Ｂを区別する場合には、赤色のカラーフィルタが割り当てられた感光画素７２ＢをＲ感光画素と称し、緑色のカラーフィルタが割り当てられた感光画素７２ＢをＧ感光画素と称し、青色のカラーフィルタが割り当てられた感光画素７２ＢをＢ感光画素と称する。

【0066】

撮像データ７３は、ＲＡＷデータ８１及び位相差画素データ７３Ｂを含む。撮像データ７３は、本開示の技術に係る「撮像画像データ」の一例である。ＲＡＷデータ８１は、アナログの非位相差画素データ７３ＡがＡ／Ｄ変換されることによって得られる。すなわち、ＲＡＷデータ８１は、光電変換素子７２から出力された非位相差画素データ７３Ａがデジタル化されることによって得られるデータである。ＣＰＵ６２は、Ａ／Ｄ変換器７４からデジタル化された撮像データ７３を取得し、取得した撮像データ７３に基づいて距離データ８２を取得する。例えば、ＣＰＵ６２は、撮像データ７３から位相差画素データ７３Ｂを取得し、取得した位相差画素データ７３Ｂに基づいて距離データ８２を生成する。ＣＰＵ６２（図２参照）は、ＲＡＷデータ８１及び距離データ８２に基づいて、後述する画像生成処理を行うことにより、画像データ８０（図２参照）を生成する。ＣＰＵ６２は、生成した画像データ８０を画像メモリ４６に記憶させる。

【0067】

一例として図４に示すように、ＮＶＭ６４には、プログラム６５が記憶されている。プログラム６５は、本開示の技術に係る「プログラム」の一例である。ＣＰＵ６２は、ＮＶＭ６４からプログラム６５を読み出し、読み出したプログラム６５をＲＡＭ６６上で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラム６５に従って、撮像データ７３（図３参照）に基づいて画像データ８０を生成する画像生成処理を行う。

【0068】

画像生成処理は、ＣＰＵ６２がプログラム６５に従って、ＲＡＷデータ取得部１０１、デモザイク処理部１０２、距離データ取得部１０３、信頼度判定部１０４、高信頼度距離データ取得部１０５、高周波成分判定部１０６、高周波成分データ取得部１０７、補正対象画素特定部１０８、及びモアレ補正処理部１０９として動作することで実現される。

【0069】

一例として図５に示すように、ＲＡＷデータ取得部１０１は、イメージセンサ２０により撮像されることで得られた撮像データ７３に含まれるＲＡＷデータ８１を取得する。

【0070】

デモザイク処理部１０２は、ＲＡＷデータ８１に対してデモザイク処理を行う。デモザイク処理は、本開示の技術に係る「画像補間処理」の一例である。一例として図６には、光電変換素子７２（図３参照）として、Ｒ感光画素、Ｇ感光画素、及びＢ感光画素がベイヤ配列で配列された光電変換素子を用いた場合のデモザイク処理の流れの一例が模式的に示されている。ＲＡＷデータ８１は、各Ｒ感光画素から出力されたＲ画素データと、各Ｇ感光画素から出力されたＧ画素データと、各Ｂ感光画素から出力されたＢ画素データとで構成される。ＲＡＷデータ８１は、ＲＡＷ画像９１を表すデータである。ＲＡＷ画像９１は、Ｒ感光画素に対応するＲ画素、Ｇ感光画素に対応するＧ画素、及びＢ感光画素に対応するＢ画素を有する。Ｒ画素は、「Ｒ」が表示された画素であり、Ｇ画素は、「Ｇ」が表示された画素であり、Ｂ画素は、「Ｂ」が表示された画素である。

【0071】

デモザイク処理は、三板化処理、補間処理、及び合成処理を有する。三板化処理では、ＲＡＷデータ８１が、Ｒ画像データ９２、Ｇ画像データ９３、及びＢ画像データ９４に分割される。Ｒ画像データ９２は、Ｒ感光画素から出力されたＲ画素データによって構成されており、Ｒ画像９５を表すデータである。Ｇ画像データ９３は、Ｇ感光画素から出力されたＧ画素データによって構成されており、Ｇ画像９６を表すデータである。Ｂ画像データ９４は、Ｂ感光画素から出力されたＢ画素データによって構成されており、Ｂ画像９７を表すデータである。

【0072】

補間処理では、Ｒ画像データ９２に対して、足りない画素の周囲に配置されたＧ画素とＢ画素とで足りない画素の赤色の成分を補間する処理が実行される。また、補間処理では、Ｇ画像データ９３に対して、足りない画素の周囲に配置されたＲ画素とＢ画素とで足りない画素の赤色の成分を補間する処理が実行される。また、補間処理では、Ｂ画像データ９４に対して、足りない画素の周囲に配置されたＲ画素とＧ画素とで足りない画素の赤色の成分を補間する処理が実行される。そして、補間処理の後の合成処理では、Ｒ画像データ９２、Ｇ画像データ９３、及びＢ画像データ９４が合成されることにより、デモザイク画像データ８３が生成される。このように、デモザイク処理部１０２でデモザイク処理が行われることにより、デモザイク画像データ８３が得られる。

【0073】

ところで、例えば、被写体像に画素ピッチよりも細かいエッジが含まれる場合には、エッジに対応する非位相差画素データ７３Ａが正確に得られないことがある。この場合には、補間処理を行っても、エッジに起因して偽信号が発生することにより、デモザイク画像データ８３に基づいて表されるデモザイク画像１４０に鮮やかな色調となって見えるモアレが生ずる虞がある。デモザイク画像１４０は、本開示の技術に係る「画像補間画像」の一例である。

【0074】

例えば、図５に示す例は、被写体１３０が２つの線状物１３１を有する例である。図５に示す例では、被写体１３０が撮像されることで得られたＲＡＷデータ８１に対してデモザイク処理を行った結果、デモザイク画像データ８３に基づいて表されるデモザイク画像１４０には、偽信号に起因する偽色画素１４１が生じている。本例では、偽信号に起因する偽色画素１４１が生じる現象をモアレと称する。このようにモアレが発生すると、画質が低下する。

【0075】

そこで、第１実施形態では、画像データ８０に基づいて表される画像１４５にモアレが生じることを抑制するために、ＣＰＵ６２が、距離データ取得部１０３、信頼度判定部１０４、高信頼度距離データ取得部１０５、高周波成分判定部１０６、高周波成分データ取得部１０７、補正対象画素特定部１０８、及びモアレ補正処理部１０９として動作する。

【0076】

距離データ取得部１０３は、撮像データ７３に含まれる位相差画素データ７３Ｂに基づいて距離データ８２を取得する。距離データ８２は、デモザイク画像１４０に含まれる複数の画素のそれぞれについて、撮像装置１０と被写体との間の距離を表すデータである。また、距離データ８２は、距離画像１４３を表すデータである。

【0077】

距離画像１４３には、被写体１３０が有する２つの線状物１３１に対応する２つの線画像１４４が含まれる。２つの線画像１４４は、被写体１３０にピントが合っている合焦画素によって形成されている。一方、距離画像１４３を構成する複数の画素のうち合焦画素以外の画素は、被写体１３０にピントが合っていない非合焦画素である。フォトダイオードＰＤ１から出力された第１信号による被写体の像と、フォトダイオードＰＤ２から出力された第２信号による被写体の像との位相差（すなわち、ずれ量及びずれ方向）が０である画素は被写体１３０にピントが合っている合焦画素であり、位相差が０でない画素は被写体１３０にピントが合っていない非合焦画素である。

【0078】

信頼度判定部１０４は、距離データ８２に信頼度が既定信頼度以上である高信頼度距離データ８４が含まれるか否かを判定する。例えば、信頼度判定部１０４は、距離画像１４３に含まれる複数の画素に、信頼度が既定信頼度以上である画素が含まれるか否かを判定することにより、距離データ８２に信頼度が既定信頼度以上である高信頼度距離データ８４が含まれるか否かを判定する。

【0079】

例えば、信頼度判定部１０４は、複数の画素のそれぞれについて、距離データ８２に基づいて位相差を算出した結果、位相差が既定位相差より小さい画素を信頼度が既定信頼度以上の画素であると判断し、位相差が既定位相差以上である画素を信頼度が既定信頼度より低い画素であると判断する。既定位相差は、例えば、画素の全階調の５％未満の値に設定される。

【0080】

また、信頼度判定部１０４は、複数の画素のそれぞれについて、距離データ８２に基づいて被写体までの距離を算出した結果、合焦している画素の被写体までの距離と対象画素の被写体までの距離との距離の差が既定距離以下である画素を信頼度が既定信頼度以上の画素であると判断する。また、信頼度判定部１０４は、合焦している画素の被写体までの距離と対象画素の被写体までの距離との距離の差が既定距離より大きい画素を信頼度が既定信頼度より低い画素であると判断する。既定距離は、合焦している画素の被写体までの距離の±５％の距離に設定される。

【0081】

また、信頼度判定部１０４は、複数の画素のそれぞれについて、距離データ８２に基づいて画像認識処理を行い、被写体が立体であると認識した画素を信頼度が既定信頼度以上の画素であると判断し、被写体が平面であると認識した画素を信頼度が既定信頼度より低い画素であると判断する。

【0082】

また、信頼度判定部１０４は、フォーカスレンズ４０Ｂが既定位置よりも像側の位置にある条件で撮像が行われた場合の複数の画素の全てを信頼度が既定信頼度以上の画素であると判断し、フォーカスレンズ４０Ｂが既定位置から被写体側の位置にある条件で撮像が行われた場合の複数の画素の全てを信頼度が既定信頼度より低い画素であると判断する。既定位置は、ユーザによって任意に定められてもよいし、撮像条件等に基づいてＣＰＵ６２で算出されてもよい。

【0083】

また、信頼度判定部１０４は、絞り値が既定絞り値以下である条件で撮像が行われた場合の複数の画素の全てを信頼度が既定信頼度以上の画素であると判断し、絞り値が既定絞り値より大きい条件で撮像が行われた場合の複数の画素の全てを信頼度が既定信頼度より低い画素であると判断する。既定絞り値は、ユーザによって任意に定められてもよいし、撮像条件等に基づいてＣＰＵ６２で算出されてもよい。

【0084】

また、信頼度判定部１０４は、ＩＳＯ感度が既定感度以下である条件で撮像が行われた場合の複数の画素の全てを信頼度が既定信頼度以上の画素であると判断し、ＩＳＯ感度が既定感度より大きい条件で撮像が行われた場合の複数の画素の全てを信頼度が既定信頼度より低い画素であると判断する。既定感度は、ユーザによって任意に定められてもよいし、撮像条件等に基づいてＣＰＵ６２で算出されてもよい。

【0085】

そして、信頼度判定部１０４は、距離画像１４３に含まれる複数の画素に信頼度が既定信頼度以上である画素が含まれる場合には、距離データ８２に信頼度が既定信頼度以上である高信頼度距離データ８４が含まれると判定する。一方、信頼度判定部１０４は、複数の画素に信頼度が既定信頼度以上である画素が含まれない場合には、距離データ８２に信頼度が既定信頼度以上である高信頼度距離データ８４が含まれないと判定する。

【0086】

高信頼度距離データ取得部１０５は、信頼度判定部１０４によって距離データ８２に信頼度が既定信頼度以上である高信頼度距離データ８４が含まれると判定された場合、距離データ８２から高信頼度距離データ８４を取得する。

【0087】

例えば、高信頼度距離データ取得部１０５は、信頼度判定部１０４で信頼度が既定信頼度以上であると判断された画素に対応する位相差画素データ７３Ｂを距離データ８２から抽出することにより、抽出した位相差画素データ７３Ｂによって構成された高信頼度距離データ８４を取得する。第１実施形態では、上記要領により、距離データ８２から信頼度が既定信頼度以上である高信頼度距離データ８４が取得される。信頼度が既定信頼度以上である高信頼度距離データ８４は、本開示の技術に係る「信頼度が第１信頼度以上である第１距離データ」の一例である。

【0088】

高周波成分判定部１０６は、高信頼度距離データ８４に周波数が第１既定周波数よりも高い第１高周波成分の画素データ（以下、第１高周波成分データ８５と称する）が含まれるか否かを判定する。第１高周波成分データ８５は、偽信号に対応する信号成分を有するデータである。第１既定周波数は、実験及び又はコンピュータシミュレーション等を用いて任意に設定される。

【0089】

高周波成分判定部１０６は、例えば、フーリエ変換等の周波数解析処理、又はハイパスフィルタ処理等の高周波成分抽出処理を行うことにより、高信頼度距離データ８４に第１高周波成分データ８５が含まれるか否かを判定する。

【0090】

高周波成分データ取得部１０７は、高周波成分判定部１０６によって高信頼度距離データ８４に第１高周波成分データ８５が含まれていると判定された場合、高信頼度距離データ８４から第１高周波成分データ８５を取得する。第１高周波成分データ８５は、本開示の技術に係る「第１高周波成分の画素データ」の一例である。

【0091】

補正対象画素特定部１０８は、デモザイク画像１４０に含まれる複数の画素のうち、第１高周波成分データ８５に対応する画素を、補正の対象である補正対象画素として特定する。デモザイク画像１４０は、本開示の技術に係る「撮像画像」の一例である。

【0092】

モアレ補正処理部１０９は、補正対象画素として特定された画素の非位相差画素データ７３Ａに対して、デモザイク処理により発生する偽信号を補正する補正処理を行う。補正処理は、彩度を下げる処理、ローパスフィルタ処理、又はメディアンフィルタ処理である。彩度を下げる処理は、色差信号（例えば、Ｃｂ信号及びＣｒ信号）のパラメータを調整する処理である。また、補正処理は、補正対象画素として特定された画素及びその周辺の画素から出力される非位相差画素データ７３Ａの最頻値を求める処理又は単純平均値を求める処理でもよい。補正対象画素として特定された画素の非位相差画素データ７３Ａは、本開示の技術に係る「補正対象画素データ」の一例である。ローパスフィルタ処理及びメディアンフィルタ処理は、それぞれ本開示の技術に係る「フィルタリング処理」の一例である。

【0093】

図５に示す例では、モアレ補正処理部１０９によって補正処理が行われることにより、デモザイク画像１４０に含まれる偽色画素１４１が補正され、画像データ８０が表す画像１４５には、モアレが発生せずに、被写体１３０が有する２つの線状物１３１に対応する２つの線画像１４６が正常に表示される。

【0094】

次に、第１実施形態に係る撮像装置１０の作用について図７を参照しながら説明する。図７には、第１実施形態に係る画像生成処理の流れの一例が示されている。図７に示す画像生成処理は、例えば、ＡＦモードにおいてレリーズボタン２２により撮像指示が行われる前のライブビュー画像の表示中に実行される。

【0095】

図７に示す画像生成処理では、先ず、ステップＳ１１で、ＲＡＷデータ取得部１０１は、イメージセンサ２０により撮像されることで得られた撮像データ７３に含まれるＲＡＷデータ８１を取得する。

【0096】

ステップＳ１２で、デモザイク処理部１０２は、ＲＡＷデータ８１に対してデモザイク処理を行う。

【0097】

ステップＳ１３で、距離データ取得部１０３は、撮像データ７３に含まれる位相差画素データ７３Ｂに基づいて距離データ８２を取得する。

【0098】

ステップＳ１４で、信頼度判定部１０４は、距離データ８２に信頼度が既定信頼度以上である高信頼度距離データ８４が含まれるか否かを判定する。ステップＳ１４において、距離データ８２に高信頼度距離データ８４が含まれる場合は、判定が肯定されて、図７に示す処理は、ステップＳ１５に移行する。一方、ステップＳ１４において、距離データ８２に高信頼度距離データ８４が含まれない場合は、判定が否定されて、図７に示す処理は、後述する補正処理を行わずに終了する。

【0099】

ステップＳ１５で、高信頼度距離データ取得部１０５は、距離データ８２から高信頼度距離データ８４を取得する。

【0100】

ステップＳ１６で、高周波成分判定部１０６は、高信頼度距離データ８４に周波数が第１既定周波数よりも高い第１高周波成分データ８５が含まれるか否かを判定する。ステップＳ１６において、高信頼度距離データ８４に第１高周波成分データ８５が含まれる場合は、判定が肯定されて、図７に示す処理は、ステップＳ１７に移行する。一方、ステップＳ１６において、高信頼度距離データ８４に第１高周波成分データ８５が含まれない場合は、判定が否定されて、図７に示す処理は、後述する補正処理を行わずに終了する。

【0101】

ステップＳ１７で、高周波成分データ取得部１０７は、高信頼度距離データ８４から第１高周波成分データ８５を取得する。

【0102】

ステップＳ１８で、補正対象画素特定部１０８は、デモザイク画像１４０に含まれる複数の画素のうち、第１高周波成分データ８５に対応する画素を、補正の対象である補正対象画素として特定する。

【0103】

ステップＳ１９で、モアレ補正処理部１０９は、補正対象画素として特定された画素の非位相差画素データ７３Ａに対して、デモザイク処理により発生する偽信号を補正する補正処理を行う。

【0104】

図７に示す処理は、ステップＳ１９の処理が実行された後、終了する。なお、上述の撮像装置１０の作用として説明した撮像方法は、本開示の技術に係る「撮像方法」の一例である。

【0105】

以上説明したように、第１実施形態に係る撮像装置１０では、ＣＰＵ６２は、イメージセンサ２０により撮像されることで得られた撮像データ７３に対してデモザイク処理を行う。また、ＣＰＵ６２は、デモザイク画像１４０に含まれる複数の画素のそれぞれについて、撮像装置１０と被写体１３０との間の距離を表す距離データ８２を取得し、距離データ８２に基づいて、複数の画素から補正対象画素を特定する。そして、ＣＰＵ６２は、補正対象画素の非位相差画素データ７３Ａに対して、デモザイク処理により発生する偽信号を補正する補正処理を行う。したがって、例えばＲＡＷデータ８１に対するデモザイク処理のみが行われる場合に比して、画像１４５に生じるモアレを抑制することができる。

【0106】

また、ＣＰＵ６２は、距離データ８２から、周波数が第１既定周波数よりも高い第１高周波成分データ８５を取得し、複数の画素のうち、第１高周波成分データ８５に対応する画素を補正対象画素として特定する。したがって、第１高周波成分データ８５に対応する画素に対して、デモザイク処理により発生する偽信号を補正する補正処理を行うことができる。

【0107】

また、ＣＰＵ６２は、距離データ８２から信頼度が既定信頼度以上である高信頼度距離データ８４を取得し、複数の画素のうち、高信頼度距離データ８４に対応する画素を補正対象画素として特定する。したがって、距離データ８２の全体に基づいて補正対象画素を特定する場合に比して、補正処理すべき補正対象画素を特定する精度を向上させることができる。

【0108】

また、補正処理は、彩度を下げる処理、ローパスフィルタ処理、又はメディアンフィルタ処理である。したがって、補正対象画素の非位相差画素データ７３Ａに対して、デモザイク処理により発生する偽信号を補正する補正処理を行うことができる。

【0109】

また、イメージセンサ２０は、位相差画素である複数の感光画素７２Ｂを有し、ＣＰＵ６２は、撮像データ７３から、位相差画素の位相差画素データ７３Ｂに基づいて距離データ８２を取得する。したがって、撮像データ７３から距離データ８２を取得することができる。

【0110】

また、感光画素７２Ｂは、非位相差画素データ７３Ａと、位相差画素データ７３Ｂとを選択的に出力する画素であり、非位相差画素データ７３Ａは、感光画素７２Ｂの全領域によって光電変換が行われることで得られる画素データであり、位相差画素データ７３Ｂは、感光画素７２Ｂの一部の領域によって光電変換が行われることで得られる画素データである。したがって、撮像データ７３から、ＲＡＷデータ８１及び距離データ８２を取得することができる。

【0111】

なお、第１実施形態では、ＣＰＵ６２は、ＲＡＷデータ８１及び距離データ８２から、周波数が第１既定周波数よりも高い第１高周波成分データをそれぞれ取得し、ＲＡＷデータ８１及び距離データ８２に基づいて、複数の画素から、第１高周波成分データを有する画素を補正対象画素として特定してもよい。本変形例では、距離データ８２のみに基づいて補正対象画素を特定する場合に比して、補正処理すべき補正対象画素を特定する精度を向上させることができる。

【0112】

また、第１実施形態では、ＣＰＵ６２は、距離データ８２から高信頼度距離データ８４を取得し、高信頼度距離データ８４から第１高周波成分データ８５を取得するが、距離データ８２から第１高周波成分データ８５を取得してもよい。

【0113】

また、第１実施形態では、ＣＰＵ６２は、光電変換素子７２に含まれる画素の各々に対応する位置について距離を取得するが、必ずしもすべての画素に対応する位置から距離を取得する必要はない。すなわち、距離を取得する画素を間引いてもよい。

【0114】

また、第１実施形態では、光電変換素子７２は、１つの感光画素７２Ｂに一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子であり、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えているが、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えていることには限定されない。光電変換素子７２には、撮像及び位相差に関するデータを出力する機能を有しない画素が含まれていてもよい。また、光電変換素子７２は、１つの感光画素７２Ｂに一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子に限られず、非位相差画素データ７３Ａを取得するための撮像用の画素と、位相差画素データ７３Ｂを取得するための位相差検出用の画素とを含むものであってもよい。この場合、位相差画素は、第１の瞳部分領域と第２の瞳部分領域とのうち一方を受光するように遮光部材が設けられる。

【0115】

また、第１実施形態では、位相差方式の光電変換素子７２により距離データ８２を取得しているが、位相差方式に限定されず、ＴＯＦ方式の光電変換素子を用いて距離データ８２を取得してもよいし、ステレオカメラ又は深度センサを用いて距離データ８２を取得してもよい。なお、距離データ８２は、イメージセンサ２０のフレームレートに合わせて取得されるようにしてもよいし、イメージセンサ２０のフレームレートで規定される時間間隔よりも長い時間間隔又は短い時間間隔で取得されるようにしてもよい。

【0116】

［第２実施形態］
一例として図８に示すように、第２実施形態では、第１実施形態に対して、ＣＰＵ６２の機能的な構成が次のように変更されている。すなわち、ＣＰＵ６２は、ＲＡＷデータ取得部１０１、デモザイク処理部１０２、距離データ取得部１０３、信頼度判定部１０４、高信頼度距離データ取得部１０５、高周波成分判定部１０６、高周波成分データ取得部１０７、類似領域判定部１１０、類似領域データ取得部１１１、補正対象画素特定部１１２、及びモアレ補正処理部１１３として動作する。

【0117】

ＲＡＷデータ取得部１０１、デモザイク処理部１０２、距離データ取得部１０３、信頼度判定部１０４、高信頼度距離データ取得部１０５、高周波成分判定部１０６、及び高周波成分データ取得部１０７は、第１実施形態と同じである。

【0118】

一例として図８には、被写体１５０のバリエーション、並びに、デモザイク画像データ８３によって表されるデモザイク画像、及び距離データ８２によって表される距離画像のバリエーションの一例が示されている。

【0119】

例えば、デモザイク画像の第１例である第１デモザイク画像１６０は、被写体１５０として立体形状物である第１被写体１５１にピントが合っている状態で第１被写体１５１を撮像することで得られた画像である。第１デモザイク画像１６０には、第１被写体１５１が有する２つの線状物１５２及び１５３に対応する２つの線画像１６１及び１６２が含まれる。

【0120】

デモザイク画像の第２例である第２デモザイク画像１６５は、被写体１５０として第１被写体１５１にピントが合っていない状態で第１被写体１５１を撮像することで得られた画像である。第２デモザイク画像１６５には、第１被写体１５１が有する２つの線状物１５２及び１５３が複数の画素の全体に亘ってぼやけた状態で表れている。

【0121】

デモザイク画像の第３例である第３デモザイク画像１６６は、被写体１５０として例えば印刷物等の平面形状物である第２被写体１５４にピントが合っている状態で第２被写体１５４を撮像することで得られた画像である。第２被写体１５４は、第１被写体１５１を撮像することで得られた画像を表示する印刷物等の平面形状物である。第３デモザイク画像１６６には、第２被写体１５４に含まれる２つの線画像１５５及び１５６に対応する２つの線画像１６７及び１６８が含まれる。

【0122】

距離画像の第１例である第１距離画像１７０は、第１被写体１５１にピントが合っている状態で第１被写体１５１を撮像することで得られた画像である。第１距離画像１７０には、第１被写体１５１が有する２つの線状物１５２及び１５３に対応する２つの線画像１７１及び１７２が含まれる。

【0123】

距離画像の第２例である第２距離画像１７３は、第１被写体１５１にピントが合っていない状態で第１被写体１５１を撮像することで得られた画像である。第２距離画像１７３は、複数の画素で第１被写体１５１との距離に差が生じておらず、複数の画素の全体に亘って均一な画像である。

【0124】

距離画像の第３例である第３距離画像１７４は、第２被写体１５４にピントが合っている状態で第２被写体１５４を撮像することで得られた画像である。第３距離画像１７４は、複数の画素で第２被写体１５４との距離に差が生じておらず、複数の画素の全体に亘って均一な画像である。

【0125】

モアレは、被写体像がエッジを有していることに起因して発生するため、合焦時に発生し、非合焦時には発生しない。つまり、第１デモザイク画像１６０には、偽色画素１６３が含まれ、第３デモザイク画像１６６には、偽色画素１６９が含まれるが、第２デモザイク画像１６５には、偽色画素が含まれない。

【0126】

また、デモザイク画像データ８３によって表されるデモザイク画像と、距離データ８２によって表される距離画像とは、被写体１５０の種別及び／又は撮像条件等に応じて、類似する場合と類似しない場合がある。

【0127】

例えば、立体形状物である第１被写体１５１にピントが合っている状態で第１被写体１５１を撮像することで得られた第１デモザイク画像１６０は、第１被写体１５１にピントが合っている状態で第１被写体１５１を撮像することで得られた第１距離画像１７０と類似し、第１被写体１５１にピントが合っていない状態で第１被写体１５１を撮像することで得られた第２距離画像１７３と類似しない。つまり、第１距離画像１７０には、第１デモザイク画像１６０に含まれる２つの線画像１６１及び１６２に対応する２つの線画像１７１及び１７２が含まれるが、第２距離画像１７３には、第１デモザイク画像１６０に含まれる２つの線画像１６１及び１６２に対応する２つの線画像が含まれていない。

【0128】

また、立体形状物である第１被写体１５１にピントが合っていない状態で第１被写体１５１を撮像することで得られた第２デモザイク画像１６５は、第１被写体１５１にピントが合っている状態で第１被写体１５１を撮像することで得られた第１距離画像１７０、及び第１被写体１５１にピントが合っていない状態で第１被写体１５１を撮像することで得られた第２距離画像１７３と類似しない。つまり、第２デモザイク画像１６５には、第１被写体１５１が有する２つの線状物１５２及び１５３が複数の画素の全体に亘ってぼやけた状態で表れているが、第１距離画像１７０及び第２距離画像１７３には、第１被写体１５１が有する２つの線状物１５２及び１５３が表れていない。

【0129】

また、例えば印刷物等の平面形状物である第２被写体１５４にピントが合っている状態で第２被写体１５４を撮像することで得られた第３デモザイク画像１６６は、第２被写体１５４にピントが合っている状態で第２被写体１５４を撮像することで得られた第３距離画像１７４と類似しない。つまり、第３距離画像１７４には、第３デモザイク画像１６６に含まれる２つの線画像１６７及び１６８に対応する２つの線画像が含まれていない。

【0130】

このように、デモザイク画像データ８３によって表されるデモザイク画像と、距離データ８２によって表される距離画像とは、被写体１５０の種別及び／又は撮像条件等に応じて、類似する場合と類似しない場合がある。

【0131】

類似領域判定部１１０は、デモザイク画像データ８３及び高信頼度距離データ８４に基づいて、デモザイク画像と距離画像との類似度が既定類似度以上であるか否かを判定する。既定類似度は、上述のデモザイク画像及び距離画像の類似及び非類似を判別し得る値に設定される。既定類似度は、固定値でもよく、ユーザによって設定された設定値でもよい。類似度の算出には、ボックスフィルタ、平均二乗誤差、及びテンプレートマッチングの少なくともいずれかが用いられてもよい。

【0132】

図８に示す例では、第１被写体１５１にピントが合っている状態で第１被写体１５１が撮像された場合に、第１デモザイク画像１６０に含まれる線画像１６１が、第１距離画像に含まれる線画像１７１と類似する類似領域に相当する。また、第１デモザイク画像１６０に含まれる線画像１６２が、第１距離画像に含まれる線画像１７２と類似する類似領域に相当する。

【0133】

類似領域データ取得部１１１は、デモザイク画像と距離画像との類似度が既定類似度以上であると判定された場合、デモザイク画像データ８３から類似領域に対応するデータ（以下、類似領域データ８６と称する）を取得する。

【0134】

補正対象画素特定部１１２は、類似領域データ８６に基づいて、デモザイク画像の類似領域に含まれる画素を補正対象画素として特定する。

【0135】

図８に示す例では、例えば、補正対象画素特定部１１２は、第１デモザイク画像１６０の類似領域に含まれる画素のうち、第１高周波成分データ８５に対応する画素（すなわち、偽色画素１６３に対応する画素）を、補正の対象である補正対象画素として特定する。

【0136】

モアレ補正処理部１１３は、補正対象画素として特定された画素の非位相差画素データ７３Ａに対して、デモザイク処理により発生する偽信号を補正する補正処理を行う。一例として、補正処理は、補正対象画素以外に類似領域に含まれる画素の色で補正対象画素の色を補間する処理である。

【0137】

図８に示す例では、例えば、モアレ補正処理部１１３は、線画像１６１に含まれる偽色画素１６３に対応する画素の非位相差画素データ７３Ａを、線画像１６１に含まれる画素１６４に対応する画素の非位相差画素データ７３Ａを用いて補正する。同様に、モアレ補正処理部１１３は、線画像１６２に含まれる偽色画素１６３に対応する画素の非位相差画素データ７３Ａを、線画像１６２に含まれる画素１６４に対応する画素の非位相差画素データ７３Ａを用いて補正する。

【0138】

そして、モアレ補正処理部１０９によって補正処理が行われることにより、第１デモザイク画像１６０に含まれる偽色画素１６３が補正され、画像データ８０が表す画像１７５には、モアレが発生せずに、第１被写体１５１が有する２つの線状物１５２及び１５３に対応する２つの線画像１７６及び１７７が正常に表示される。

【0139】

次に、第２実施形態に係る撮像装置１０の作用について図９を参照しながら説明する。図９には、第２実施形態に係る画像生成処理の流れの一例が示されている。図９に示す画像生成処理において、ステップＳ２１～ステップＳ２７は、第１実施形態に係る画像生成処理のステップＳ１１～ステップＳ１７と同様である。

【0140】

図９に示す処理は、ステップＳ２７の後に、ステップＳ２８に移行する。ステップＳ２８で、類似領域判定部１１０は、デモザイク画像データ８３及び高信頼度距離データ８４に基づいて、デモザイク画像と距離画像との類似度が既定類似度以上であるか否かを判定する。ステップＳ２８において、デモザイク画像と距離画像との類似度が既定類似度以上である場合は、判定が肯定されて、図９に示す処理は、ステップＳ２９に移行する。一方、ステップＳ２８において、デモザイク画像と距離画像との類似度が既定類似度未満である場合は、判定が否定されて、図９に示す処理は、後述する補正処理を行わずに終了する。

【0141】

ステップＳ２９で、類似領域データ取得部１１１は、デモザイク画像データ８３から類似領域データ８６を取得する。

【0142】

ステップＳ３０で、補正対象画素特定部１１２は、類似領域データ８６に基づいて、デモザイク画像の類似領域に含まれる画素を補正対象画素として特定する。

【0143】

ステップＳ３１で、モアレ補正処理部１１３は、補正対象画素として特定された画素の非位相差画素データ７３Ａに対して、デモザイク処理により発生する偽信号を補正する補正処理を行う。

【0144】

図９に示す処理は、ステップＳ３１の処理が実行された後、終了する。なお、上述の撮像装置１０の作用として説明した撮像方法は、本開示の技術に係る「撮像方法」の一例である。

【0145】

以上説明したように、第２実施形態に係る撮像装置１０では、ＣＰＵ６２は、デモザイク処理によって得られるデモザイク画像と、距離データ８２に基づいて得られる距離画像との類似度が既定類似度以上である場合には、複数の画素のうち、デモザイク画像の類似領域に含まれる画素を補正対象画素として特定する。したがって、デモザイク画像データ８３の全体に基づいて補正対象画素を特定する場合に比して、補正処理すべき補正対象画素を特定する精度を向上させることができる。

【0146】

なお、補正対象画素特定部１１２は、類似度が既定類似度以上であれば、複数の画素のうち、距離画像内の連続している画素に対応する画素を補正対象画素として特定してもよい。

【0147】

図８に示す例では、例えば、補正対象画素特定部１１２は、複数の画素のうち、第１距離画像１７０内の連続している画素（すなわち、線画像１７１及び１７２を形成する画素）に対応する画素を補正対象画素として特定してもよい。また、この場合に、例えば、モアレ補正処理部１１３は、複数の画素のうち、線画像１７１及び１７２を形成する画素に対応する画素の画素値を平均化することにより補正処理を行ってもよい。この場合には、第１距離画像１７０内の連続している画素に対応する画素の非位相差画素データ７３Ａに対して、デモザイク処理により発生する偽信号を補正する補正処理を行うことができる。

【0148】

また、第２実施形態では、ＣＰＵ６２は、距離データ８２から高信頼度距離データ８４を取得し、高信頼度距離データ８４に基づいて類似領域データ８６を取得するが、距離データ８２に基づいて類似領域データ８６を取得してもよい。

【0149】

また、第２実施形態では、ＣＰＵ６２は、高信頼度距離データ８４から第１高周波成分データ８５を取得し、第１高周波成分データ８５及び類似領域データ８６に基づいて、補正対象画素を特定するが、類似領域データ８６に基づいて、補正対象画素を特定してもよい。

【0150】

［第３実施形態］
一例として図１０に示すように、第３実施形態では、第１実施形態に対して、ＣＰＵ６２の機能的な構成が次のように変更されている。すなわち、ＣＰＵ６２は、ＲＡＷデータ取得部１０１、距離データ取得部１０３、信頼度判定部１０４、高信頼度距離データ取得部１０５、方向判別処理部１１４、及びデモザイク処理部１１５として動作する。

【0151】

ＲＡＷデータ取得部１０１、距離データ取得部１０３、信頼度判定部１０４、及び高信頼度距離データ取得部１０５は、第１実施形態と同じである。

【0152】

方向判別処理部１１４は、高信頼度距離データ８４に対して方向判別処理を行う。一例として、方向判別処理は、ソーベルフィルタ処理である。

【0153】

一例として図１０には、方向判別処理による方向判別処理結果８７の一例が示されている。方向判別処理結果８７は、被写体１８０について得られた高信頼度距離データ８４に対して方向判別処理を行った結果である。第１処理画像１８１は、方向判別処理としてＸ方向のエッジを検出する第１方向判別処理を行った結果を示す画像であり、第２処理画像１８２は、方向判別処理としてＹ方向のエッジを検出する第２方向判別処理を行った結果を示す画像である。

【0154】

方向判別処理を行うことにより、ＲＡＷデータ８１に基づいて表されるＲＡＷ画像９１（図６参照）に含まれる複数の画素のそれぞれについて画素値が得られる。そして、画素値の配列に基づいて、Ｘ方向又はＹ方向に連続する画素（以下、連続画素と称する）によって形成されるエッジの有無、エッジの位置、及びエッジの延びる方向が判別される。例えば、図１０に示す例では、第１方向判別処理により、Ｙ方向に画素値が「０，０，０・・・」で並ぶ結果が得られている。これにより、連続画素によってＹ方向に延びるエッジがあることと、エッジのＸ方向の位置が判別される。また、図１０に示す例では、第２方向判別処理により、Ｘ方向に画素値が「０，０，０・・・」で並ぶ結果が得られている。これにより、連続画素によってＸ方向に延びるエッジがあることと、エッジのＹ方向の位置が判別される。

【0155】

デモザイク処理部１１５は、方向判別処理の結果に基づいて、ＲＡＷデータ８１に対するデモザイク処理を行う。この場合に、デモザイク処理部１１５は、例えば、方向判別処理に基づいて、注目画素がどの方向のエッジに含まれるかを推定し、注目画素の非位相差画素データ７３Ａを、注目画素と同じエッジに含まれる近傍画素の非位相差画素データ７３Ａを優先した加重平均等の処理によって補間する。

【0156】

図１０に示す例では、ＲＡＷデータ８１に対するデモザイク処理において、連続画素に含まれる画素の画素データが補間されることにより、デモザイク画像データ８８が表すデモザイク画像１８３には、モアレが発生せずに、被写体１８０に対応する被写体像が正常に表示される。

【0157】

第３実施形態において、ＲＡＷデータ８１に基づいて表されるＲＡＷ画像９１（図３参照）は、本開示の技術に係る「撮像画像」の一例である。また、信頼度が既定信頼度以上である高信頼度距離データ８４は、本開示の技術に係る「信頼度が第２信頼度以上である第２距離データ」の一例である。

【0158】

次に、第３実施形態に係る撮像装置１０の作用について図１１を参照しながら説明する。図１１には、第３実施形態に係る画像生成処理の流れの一例が示されている。図１１に示す画像生成処理において、ステップＳ３１は、第１実施形態に係る画像生成処理のステップＳ１１と同様である。また、図１１に示す画像生成処理において、ステップＳ３２～ステップＳ３４は、第１実施形態に係る画像生成処理のステップＳ１３～ステップ１５と同様である。

【0159】

図１１に示す処理は、ステップＳ３４の後に、ステップＳ３５に移行する。ステップＳ３５で、方向判別処理部１１４は、高信頼度距離データ８４に対して方向判別処理を行う。

【0160】

ステップＳ３６で、デモザイク処理部１１５は、方向判別処理の結果に基づいて、ＲＡＷデータ８１に対するデモザイク処理を行う。

【0161】

図１１に示す処理は、ステップＳ３６の処理が実行された後、終了する。なお、上述の撮像装置１０の作用として説明した撮像方法は、本開示の技術に係る「撮像方法」の一例である。

【0162】

以上説明したように、第３実施形態に係る撮像装置１０では、ＣＰＵ６２は、イメージセンサ２０により撮像されることで得られたＲＡＷ画像９１（図６参照）に含まれる複数の画素のそれぞれについて、撮像装置１０と被写体１８０との間の距離に関する距離データ８２を取得する。また、ＣＰＵ６２は、距離データ８２に対して方向判別処理を行い、方向判別処理の結果に基づいて、ＲＡＷデータ８１に対するデモザイク処理を行う。したがって、例えば、ＲＡＷデータ８１に対して方向判別処理を行う場合に比して、方向判別の精度を向上させることができる。

【0163】

また、方向判別の精度を向上させることができるので、例えば、ＲＡＷデータ８１に対するデモザイク処理のみが行われる場合に比して、デモザイク画像１８３に生じるモアレを抑制することができる。

【0164】

また、ＣＰＵ６２は、距離データ８２から信頼度が既定信頼度以上である高信頼度距離データ８４を取得し、高信頼度距離データ８４に対して方向判別処理を行う。したがって、距離データ８２の全体に対して方向判別処理を行う場合に比して、補正処理すべき補正対象画素を特定する精度を向上させることができる。

【0165】

なお、第３実施形態では、ＣＰＵ６２は、距離データ８２から高信頼度距離データ８４を取得し、高信頼度距離データ８４に対して方向判別処理を行うが、距離データ８２に対して方向判別処理を行ってもよい。

【0166】

以上、第１実施形態乃至第３実施形態について説明したが、上記実施形態及び変形例は、矛盾が生じない限り互いに組み合わせることが可能である。また、上記実施形態及び変形例が組み合わされた場合に、重複する複数のステップがある場合、各種条件等に応じて複数のステップに優先順位が付与されてもよい。

【0167】

また、上記実施形態では、ＣＰＵ６２を例示したが、ＣＰＵ６２に代えて、又は、ＣＰＵ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

【0168】

また、上記実施形態では、ＮＶＭ６４にプログラム６５が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、プログラム６５がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されているプログラム６５は、撮像装置１０のコントローラ１２にインストールされる。ＣＰＵ６２は、プログラム６５に従って画像生成処理を実行する。

【0169】

また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置にプログラム６５を記憶させておき、撮像装置１０の要求に応じてプログラム６５がダウンロードされ、コントローラ１２にインストールされるようにしてもよい。

【0170】

なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６４にプログラム６５の全てを記憶させておく必要はなく、プログラム６５の一部を記憶させておいてもよい。

【0171】

また、図１及び図２に示す撮像装置１０にはコントローラ１２が内蔵されているが、本開示の技術はこれに限定されず、例えば、コントローラ１２が撮像装置１０の外部に設けられるようにしてもよい。

【0172】

また、上記実施形態では、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を含むコントローラ１２が例示されているが、本開示の技術はこれに限定されず、コントローラ１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

【0173】

また、上記実施形態で説明した画像生成処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、画像生成処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画像生成処理を実行する。

【0174】

画像生成処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、画像生成処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0175】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、画像生成処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、画像生成処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、画像生成処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0176】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の画像生成処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0177】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0178】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0179】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】