特許 7632463 撮像装置、および画像処理方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-10

(45)【発行日】2025-02-19

(54)【発明の名称】撮像装置、および画像処理方法、並びにプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20250212BHJP

   H04N 23/67 20230101ALI20250212BHJP

   G03B 17/18 20210101ALI20250212BHJP

   G03B 17/20 20210101ALI20250212BHJP

【ＦＩ】

H04N23/63 300

H04N23/67

G03B17/18

G03B17/20

H04N23/63 330

【請求項の数】 16

(21)【出願番号】P 2022528528

(86)(22)【出願日】2021-05-19

(86)【国際出願番号】 JP2021018917

(87)【国際公開番号】W WO2021246171

(87)【国際公開日】2021-12-09

【審査請求日】2024-03-28

(31)【優先権主張番号】P 2020097742

(32)【優先日】2020-06-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】110000763

【氏名又は名称】弁理士法人大同特許事務所

(72)【発明者】

【氏名】宮澤 遼太

【審査官】廣田 健介

(56)【参考文献】

【文献】特開２０１０－２１９７４１（ＪＰ，Ａ）

【文献】特開２００５－１１４８５８（ＪＰ，Ａ）

【文献】特開２０１６－０２４４８９（ＪＰ，Ａ）

【文献】特開平０６－１１３１８４（ＪＰ，Ａ）

【文献】特開２００５－１４０９４３（ＪＰ，Ａ）

【文献】特開平０５－１２７２４４（ＪＰ，Ａ）

【文献】特開２００８－２９２６２２（ＪＰ，Ａ）

【文献】特開２０１６－０５９０３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０－２３／７６

Ｇ０３Ｂ １７／１８－１７／２０

Ｇ０３Ｂ １３／００－１３／３６

Ｇ０２Ｂ ７／２８－ ７／４０

(57)【特許請求の範囲】

【請求項1】

画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、
前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像から前記現在画像までの合焦度変化状態を識別可能とした表示データを生成する表示制御部と、
前記表示データを表示する表示部を有する撮像装置。

【請求項2】

前記表示制御部は、
前記現在画像の合焦度、および前記過去画像から前記現在画像までの合焦度変化状態を識別可能とした表示データを生成する請求項１に記載の撮像装置。

【請求項3】

前記合焦度変化解析部は、
画素単位で、各画素が、
（ａ）合焦に近づいている画素
（ｂ）合焦から外れていっている画素
（ｃ）合焦度に変化のない画素
上記（ａ）～（ｃ）のいずれであるかを示す画素分類情報を生成して、前記表示制御部に出力する請求項１に記載の撮像装置。

【請求項4】

前記表示制御部は、
前記現在画像の画素単位で、合焦に近づいている画素、または、合焦から外れていっている画素、または、合焦度に変化のない画素の少なくともいずれかを識別可能とした表示データを生成する請求項１に記載の撮像装置。

【請求項5】

前記表示制御部は、
前記画像センサの出力の現像画像であるスルー画に、合焦に近づいている画素、または、合焦から外れていっている画素、または、合焦度に変化のない画素の少なくともいずれかを識別可能とした合焦度変化判別信号を重畳した表示データを生成する請求項１に記載の撮像装置。

【請求項6】

前記合焦度変化判別信号は、合焦度変化状態に応じて異なる色信号である請求項５に記載の撮像装置。

【請求項7】

前記表示制御部は、
合焦に近づいている画素の合焦度を判別可能なバーインジケータを含む表示データを生成する請求項１に記載の撮像装置。

【請求項8】

前記合焦度変化解析部は、
前記現在画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした現在画像合焦度解析データを生成する第１フィルタ部と、
前記過去画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした過去画像合焦度解析データを生成する第２フィルタ部と、
前記現在画像合焦度解析データと、前記過去画像合焦度解析データを比較して、画素単位、または画素領域単位の合焦度変化を解析し、解析結果に基づいて画素分類情報を生成する画素分類部を有する請求項１に記載の撮像装置。

【請求項9】

前記合焦度変化解析部は、
前記画像センサからの出力画像を格納するメモリを有し、
前記第２フィルタ部は、前記メモリから前記過去画像を入力して、前記過去画像に対するフィルタリング処理を実行する請求項８に記載の撮像装置。

【請求項10】

前記第１フィルタ部、および前記第２フィルタ部は、
ＨＰＦ（ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を適用したフィルタリング処理を実行する請求項８に記載の撮像装置。

【請求項11】

前記第１フィルタ部、および前記第２フィルタ部の利用するＨＰＦは、
高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦである請求項１０に記載の撮像装置。

【請求項12】

前記合焦度変化解析部は、
前記第１フィルタ部の出力を複数画素単位で平均化する第１フィルタ部出力平均化部と、
前記第２フィルタ部の出力を複数画素単位で平均化する第２フィルタ部出力平均化部を有し、
前記画素分類部は、
前記第１フィルタ部出力平均化部の出力と、前記第２フィルタ部出力平均化部の出力を比較して、画素単位、または画素領域単位の合焦度変化を解析し、解析結果に基づいて画素分類情報を生成する画素分類部を有する請求項８に記載の撮像装置。

【請求項13】

前記表示制御部は、
前記画像センサからの出力画像をダウンコンバートして生成したダウンコンバート画像を前記表示部に出力する構成であり、
前記合焦度変化解析部は、
前記ダウンコンバート画像の画素単位の合焦度変化を示す画素分類情報を生成する請求項１に記載の撮像装置。

【請求項14】

前記合焦度変化解析部は、
前記現在画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした現在画像合焦度解析データを生成する第１フィルタ部と、
前記過去画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした過去画像合焦度解析データを生成する第２フィルタ部と、
前記現在画像合焦度解析データと、前記過去画像合焦度解析データをダウンコンバートするダウンコンバート部を有する請求項１３に記載の撮像装置。

【請求項15】

画像処理装置において実行する画像処理方法であり、
合焦度変化解析部が、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析ステップと、
表示制御部が、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像から前記現在画像までの合焦度変化状態を識別可能とした表示データを生成する表示制御ステップと、
表示部が、前記表示データを表示する表示ステップを有する画像処理方法。

【請求項16】

コンピュータに画像処理を実行させるプログラムであり、
画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析させる合焦度変化解析処理手順と、
前記合焦度変化解析処理手順の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像から前記現在画像までの合焦度変化状態を識別可能とした表示データを生成させる表示制御処理手順と、
前記表示データを表示する表示処理手順を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、フォーカス調整処理を実行した際に、合焦状態を確認可能とした情報を生成して表示する撮像装置、および画像処理方法、並びにプログラムに関する。

【背景技術】

【0002】

撮像装置（カメラ）での画像撮影を行う場合、特定の撮影被写体に対するフォーカス調整、すなわち合焦させる処理を行うことが必要となる。昨今は、オートフォーカス機能を持つカメラが多く利用されているが、例えばプロのカメラマン等が利用するカメラの多くは、マニュアルフォーカス調整を可能とした構成を持つものが多い。

【0003】

特に高機能な高解像度の撮像装置には、マニュアルフォーカス調整を可能としたものが多い。ユーザであるカメラマンは、ビューファインダやモニタの画像（スルー画）を見て、画像の解像度レベルの変化を確認して、目的の被写体に対して最適なフォーカス調整がなされたか否かを判定する。

【0004】

しかし、カメラマン用の小さなビューファインダやモニタではフォーカス位置の違いによる解像感の差を認識しづらく、正確なフォーカス合わせをすることが難しいという問題がある。

【0005】

これは、ビューファインダやモニタ等の表示部は、撮像素子（画像センサ）より少ない画素数であることが多く、ビューファインダやモニタ等の表示部に、解像感の変化を十分に表現した画像を出力することができないためである。
結果として、ユーザ（カメラマン）は、微妙なフォーカスレベルの差を識別することが困難となる。

【0006】

このような問題を解決する手法を開示した従来技術として、例えば特許文献１（国際公開ＷＯ２０１６／１６３３２４号公報）や、特許文献２（特開２００９－２７２７８４号公報）がある。

【0007】

特許文献１（国際公開ＷＯ２０１６／１６３３２４号公報）は、撮像素子（画像センサ）の出力画像にＨＰＦ等で生成したピーキング信号、すなわち画像内の合焦度が高い領域を識別するためのピーキング信号を、ビューファインダやモニタ等の表示部の表示画像に重畳して表示する構成を開示している。

【0008】

合焦度が高い領域は高周波信号が多くなり、ＨＰＦによるフィルタリング画像を用いることで、合焦度が高い領域を選択することが可能であり、合焦度が高い領域に例えば赤色信号等のピーキング信号を重畳して表示することで、ユーザは合焦領域を判別することができる。

【0009】

また、特許文献２（特開２００９－２７２７８４号公報）は、スルー画に含まれる高周波成分の割合に応じて、合焦度レベルを判定して、判定された結果をバーの長さで示すバー型の合焦レベル表示部を、スルー画に併せて表示する構成を開示している。

【0010】

しかし、特許文献１に開示されたピーキング信号は合焦させたい対象物に限らず、スルー画全体に重畳表示され、さらにフォーカス調整が終わっても重畳され続けるため、撮像対象が見え難くなるという問題がある。

【0011】

また、特許文献２に開示されたバー表示を行う構成は、フォーカス検出エリア内で元々高周波成分をもつ被写体があると、このような被写体の存在により、合焦度レベルが上昇してしまい、ユーザが本当に合焦させたい被写体の合焦度がバー型の合焦レベル表示部に反映されない場合があるといった問題がある。

【先行技術文献】

【特許文献】

【0012】

【文献】国際公開ＷＯ２０１６／１６３３２４号公報

【文献】特開２００９－２７２７８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0013】

本開示は、例えば上記の問題点に鑑みてなされたものであり、所定の画素領域単位で合焦状態を確認可能とした情報を生成して表示する撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

【課題を解決するための手段】

【0014】

本開示の第１の側面は、
画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、
前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御部と、
前記表示データを表示する表示部を有する撮像装置にある。

【0015】

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
合焦度変化解析部が、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析ステップと、
表示制御部が、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御ステップと、
表示部が、前記表示データを表示する表示ステップを有する画像処理方法にある。

【0016】

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
合焦度変化解析部に、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析させる合焦度変化解析ステップと、
表示制御部に、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成させる表示制御ステップと、
表示部に、前記表示データを表示する表示ステップを実行させるプログラムにある。

【0017】

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

【0018】

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

【0019】

本開示の一実施例の構成によれば、現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法が実現される。
具体的には、例えば、画像センサから出力される現在画像と、現在画像の出力前に画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、合焦度変化解析部の解析結果を利用して、現在画像の画素領域単位で過去画像からの合焦度変化状態を確認可能とした表示データを生成する表示制御部を有する。画素単位で、各画素が、（ａ）合焦に近づいている画素、（ｂ）合焦から外れていっている画素、（ｃ）合焦度に変化のない画素のいずれであるかを示す画素分類情報を生成して表示する。
本構成により、現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

【図面の簡単な説明】

【0020】

【図1】本開示の撮像装置の構成例について説明する図である。

【図2】合焦度変化解析部の構成例について説明する図である。

【図3】画素分類情報について説明する図である。

【図4】表示データの例について説明する図である。

【図5】表示データの例について説明する図である。

【図6】表示データの例について説明する図である。

【図7】合焦度変化解析部の画素分類部が実行する画素解析処理の具体例について説明する図である。

【図8】合焦度変化解析部の画素分類部が実行する画素解析処理の具体例について説明する図である。

【図9】実施例２の合焦度変化解析部の構成例について説明する図である。

【図10】ＨＰＦの特性の具体例と、合焦度変化解析例について説明する図である。

【図11】ＨＰＦの特性の具体例と、合焦度変化解析例について説明する図である。

【図12】実施例３の合焦度変化解析部の構成例について説明する図である。

【発明を実施するための形態】

【0021】

以下、図面を参照しながら本開示の撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の撮像装置の構成例について
２．合焦度変化解析部の詳細構成と処理の具体例について
３．表示データの具体例について
４．画素単位の合焦度変化の解析処理と画素分類処理の具体例について
５．（実施例２）複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部の実施例について
６．合焦度変化解析部において利用する最適なＨＰＦの特性について
７．（実施例３）表示部の画素数に応じたダウンコンバート処理を行う実施例について
８．本開示の構成のまとめ

【0022】

［１．本開示の撮像装置の構成例について］
まず、本開示の撮像装置の構成例について説明する。

【0023】

図１は、本開示の撮像装置１００の主要構成を示すブロック図である。
図１に示すように、撮像装置１００は、入力部１０１、制御部１０２、駆動部１０３、画像センサ（撮像素子）１０４、合焦度変化解析部１０５、表示制御部１０６、表示部１０７を有する。

【0024】

なお、図１は、撮像装置１００の構成中、本開示の処理に利用される主要構成のみを示した図である。撮像装置１００は、この図に示す構成以外にも、レンズ、記憶部等、様々な構成要素を有する。

【0025】

入力部１０１は、ユーザの操作部に相当し、例えばシャッタ、フォーカス調整、その他の様々な操作や設定を行うための入力部である。
制御部１０２は、撮像装置１００において実行する様々な処理の制御を実行する。制御部１０２は、例えば図示しない記憶部に格納されたプログラムに従った処理を実行するプロセッサ等を有する。

【0026】

駆動部１０３は、例えば入力部１０１に対するユーザ操作に基づく駆動処理を実行する。例えばフォーカス調整のためのレンズ駆動処理等を実行する。

【0027】

画像センサ（撮像素子）１０４は、図示しないレンズを介して入力される被写体像を生成するための画像センサである。例えばＣＭＯＳ、ＣＣＤ等によって構成される。
画像センサ（撮像素子）１０４の出力は、図に示す画像センサ（撮像素子）出力画像１２１である。
この画像センサ（撮像素子）出力画像１２１が、合焦度変化解析部１０５に入力される。

【0028】

合焦度変化解析部１０５は、合焦度の時間的変化を例えば画素単位、あるいは所定数の画素領域単位で解析する。
合焦度変化解析部１０５の構成と処理の詳細については、後段で説明するが、例えば、現在の画像センサ出力画像と、１～数フレーム前の過去の画像センサ出力画像を比較して、現在の画像センサ出力画像の各画素について、以下のいずれに該当する画素であるかを分類するための解析処理を実行する。
（１）合焦に近づいている画素
（２）合焦から外れていっている画素
（３）合焦度に変化のない画素
合焦度変化解析部１０５の構成と処理の詳細については、後段で説明する。

【0029】

表示制御部１０６は、画像センサ（撮像素子）出力画像１２１を表示部１０７に表示するための現像処理や、合焦度変化解析部１０５から出力される画素分類情報に基づく合焦度変化状態を示すための画素単位合焦度変化情報の生成処理や、生成した画素単位合焦度変化情報を、画像センサ（撮像素子）出力画像１２１の現像画像に重畳する処理などを行い、表示部１０７に出力する表示画像を生成する。

【0030】

表示部１０７は、表示制御部１０６の生成した表示画像を表示する表示部であり、例えばモニタやビュューファインダによって構成される。具体的には例えばＬＣＤ等の表示部である。

【0031】

［２．合焦度変化解析部の詳細構成と処理の具体例について］
次に、合焦度変化解析部の詳細構成と処理の具体例について説明する。

【0032】

すなわち、図１に示す撮像装置１００の構成要素である合焦度変化解析部１０５の詳細構成と処理の具体例について説明する。

【0033】

図２は、図１に示す撮像装置１００の構成要素である合焦度変化解析部１０５の詳細構成の一例（実施例１）を示すブロック図である。

【0034】

図２に示すように、本実施例１の合焦度変化解析部１０５はメモリ１５１、第１ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）１５２、第２ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）１５３、画素分類部１５４を有する。

【0035】

画像センサ（撮像素子）１０４の出力である画像センサ出力画像１２１は、合焦度変化解析部１０５の第１ＨＰＦ１５２に入力されるとともに、メモリ１５１に格納される。

【0036】

第１ＨＰＦ１５２には、最新の画像センサ出力画像１２１、すなわち現在画像１２２が入力され、第１ＨＰＦ１５２は、現在画像１２２に対するＨＰＦを適用したフィルタリング処理を行う。

【0037】

一般的に、合焦度が高い画素領域は高周波が多く、合焦度が低い画素領域は高周波が少なく低周波信号が多くなるため、ＨＰＦを適用したフィルタリング処理により、現在画像１２２の合焦度の高い領域、低い領域を識別可能としたＨＰＦフィルタリング画像を生成することができる。ＨＰＦフィルタリング画像は、例えば合焦度（高周波成分量）に応じた信号（画素値）が設定された画像である。

【0038】

第１ＨＰＦ１５２は、現在画像ＨＰＦフィルタリング画像を生成し、生成した現在画像ＨＰＦフィルタリング画像を画素分類部１５４に入力する。

【0039】

メモリ１５１は、画像フレームメモリであり、１画像フレーム～数画像フレームを格納することが可能なメモリである。
メモリ１５１には、画像センサ（撮像素子）１０４の出力である画像センサ出力画像１２１が、順次、入力され、格納される。メモリ１５１からは、現在画像１２２より１画像フレーム～数画像フレーム前の過去画像１２３が読み出されて第２ＨＰＦ１５３に入力される。

【0040】

第２ＨＰＦ１５３には、現在画像１２２より１画像フレーム～数画像フレーム前の過去画像１２３が入力され、この過去画像１２３に対するＨＰＦを適用したフィルタリング処理を行う。

【0041】

第２ＨＰＦ１５３は、ＨＰＦを適用したフィルタリング処理により、過去画像１２３の合焦度の高い領域、低い領域を識別可能としたＨＰＦフィルタリング画像を生成し、生成した過去画像ＨＰＦフィルタリング画像を画素分類部１５４に入力する。

【0042】

画素分類部１５４は、以下の２つのＨＰＦフィルタリング画像を入力する。
（１）現在画像１２２に対するＨＰＦフィルタリング画像
（２）過去画像１２３に対するＨＰＦフィルタリング画像

【0043】

画素分類部１５４は、これら２つのＨＰＦフィルタリング画像を比較して、現在画像の各画素の各々が、以下のいずれに該当する画素であるかを分類する。
（１）合焦に近づいている画素
（２）合焦から外れていっている画素
（３）合焦度に変化のない画素

【0044】

画素分類部１５４は、現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像との対応画素領域の高周波信号成分を比較する。
前述したように、高周波成分が多ければ合焦度が高いと判定できる。

【0045】

画素分類部１５４は、現在画像の高周波成分信号が、過去画像の高周波成分信号より上昇し、上昇量が予め規定した閾値以上であれば、その画素は、「合焦に近づいている画素」であると判定する。

【0046】

また、現在画像の高周波成分信号が、過去画像の高周波成分信号より低下し、低下量が予め規定した閾値以上であれば、その画素は、「合焦から外れていっている画素」であると判定する。

【0047】

さらに、現在画像の高周波成分信号と、過去画像の高周波成分信号ととの差分が予め規定した閾値未満であれば、その画素は、「合焦度に変化のない画素」であると判定する。

【0048】

画素分類部１５４は、このように、現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像との対応画素単位で、高周波成分信号の変化を解析し、この解析結果を合焦度の変化状態を示す指標値として、画素単位の画素分類情報、すなわち、各画素が以下の３種類の画素分類のいずれに該当するかを解析し、解析結果を画素分類情報１２４として、表示制御部１０６に出力する。
（１）合焦に近づいている画素
（２）合焦から外れていっている画素
（３）合焦度に変化のない画素

【0049】

このように、画素分類部１５４は、現在画像の高周波成分信号と過去画像の高周波成分信号との差分に基づいて画素分類を行う。従って、例えば元々の画像の信号成分、例えばテクスチャ領域等、高周波成分が多い画素領域であっても、フォーカス調整に応じて高周波成分の変化量が少ない場合は、合焦度の変化がない画素と判定される。すなわち、本開示の処理を適用することで、マニュアルフォーカスの邪魔にならない合焦状態確認データの表示を行うことができる。

【0050】

図３は、画素分類部１５４が生成する画素分類情報１２４について説明する図である。
画素分類情報１２４は、図３に示すように、
（分類１）合焦に近づいている画素
（分類２）合焦から外れていっている画素
（分類３）合焦度に変化のない画素
各画素を上記３種類に分類する。

【0051】

図３に示すように、
（分類１）合焦に近づいている画素は、過去画像より、現在画像の方が、合焦度が、しきい値以上、上昇している画素である。
（分類２）合焦から外れていっている画素は、過去画像より、現在画像の方が、合焦度が、しきい値以上、低下している画素である。
（分類３）合焦度に変化のない画素は、過去画像と、現在画像間で、合焦度の変化が、しきい値未満の画素である。

【0052】

画素分類部１５４が生成した画素分類情報１２４は、表示制御部１０６に出力される。
前述したように、表示制御部１０６は、画像センサ（撮像素子）出力画像１２１を表示部１０７に表示するための現像処理や、合焦度変化解析部１０５から出力される画素分類情報に基づく合焦度変化状態を示すための画素単位合焦度変化情報の生成処理や、生成した画素単位合焦度変化情報を、画像センサ（撮像素子）出力画像１２１の現像画像に重畳する処理などを行い、表示部１０７に出力する表示データ１２５を生成する。
表示部１０７には、表示制御部１０６が生成した表示データ１２５が表示される。

【0053】

［３．表示データの具体例について］
次に、表示データの具体例について説明する。

【0054】

図４を参照して、表示制御部１０６が生成する表示データ１２５の一例について説明する。
図４には、ユーザ（カメラマン）がフォーカス調整を行う過程で、表示部１０７に表示される画像の遷移例を示している。

【0055】

図４（１）は、スルー画であり、画像センサ（撮像素子）出力画像１２１に対する現像処理後の画像である。
ユーザ（カメラマン）は、このスルー画を見ながら、フォーカス調整を開始する。

【0056】

ユーザ（カメラマン）がフォーカス調整を開始すると、画素分類部１５４が、画像内の各画素を以下の３種類に分類する。
（分類１）合焦に近づいている画素
（分類２）合焦から外れていっている画素
（分類３）合焦度に変化のない画素

【0057】

この画素分類情報１２４が表示制御部１０６に入力され、表示制御部１０６はこの分類情報を利用して表示データ１２５を生成する。
図４に示す例は、「（分類１）合焦に近づいている画素」のみを選択して、この「（分類１）合焦に近づいている画素」を識別可能とした表示データの生成例である。

【0058】

ユーザ（カメラマン）がフォーカス調整を行うことで、例えば、図４（２ａ）に示す表示データが生成され、表示部１０７に表示される。
図４（２ａ）画素単位合焦度変化情報重畳画像は、画像内の「家」の画像に、「（分類１）合焦に近づいている画素」を識別可能とするための合焦度変化判別信号（ピーキング信号）、例えば特定の色信号（例えば赤色信号）を重畳した表示データである。

【0059】

ユーザ（カメラマン）は、この表示データを見ることで、画像内の「家」の領域が合焦に近づいていることを確認することができる。

【0060】

さらに、ユーザ（カメラマン）がフォーカス調整を行うことで、表示データは、図４（２ａ）に示す表示データから、図４（２ｂ）に示す表示データに遷移する。
図４（２ｂ）画素単位合焦度変化情報重畳画像は、画像内の「人」の画像に、「（分類１）合焦に近づいている画素」を識別可能とするための合焦度変化判別信号（ピーキング信号）、例えば特定の色信号（例えば赤色信号）を重畳した表示データである。

【0061】

ユーザ（カメラマン）は、この表示データを見ることで、画像内の「人」の領域が合焦に近づいていることを確認することができる。このように「人」領域のみの合焦度確認が容易となる。

【0062】

このように、本開示の処理を適用することで、画像内のどの画素領域が合焦に近づいているかを容易にかつ、確実に確認することができる。
なお、合焦に近づいている領域以外は合焦判定用信号が表示されないため、スルー画が見やすくなるという利点がある。
なお、図４に示す表示データの例は、本開示の処理を分かりやすく説明するための簡易的な説明図である。実際には、家単位や、人単位の合焦度変化判別信号が表示される可能性は低く、家の一部や人の一部など、もっと細かい単位での合焦度変化判別信号（ピーキング信号）が表示される。

【0063】

なお、図４に示す例は、「（分類１）合焦に近づいている画素」のみを識別可能とした合焦度変化判別信号を重畳した表示データの例であるが、表示制御部１０６は、例えば、「（分類２）合焦から外れていっている画素」のみを、識別可能とした合焦度変化判別信号を重畳した表示データを生成して表示部１０７に表示することも可能である。

【0064】

図５は、「（分類２）合焦から外れていっている画素」のみを選択して、この「（分類２）合焦から外れていっている画素」を識別可能とした表示データの生成例である。

【0065】

図５（１）は、スルー画であり、画像センサ（撮像素子）出力画像１２１に対する現像処理後の画像である。
ユーザ（カメラマン）は、このスルー画を見ながら、フォーカス調整を開始する。

【0066】

ユーザ（カメラマン）がフォーカス調整を行うことで、例えば、図５（２ａ）に示す表示データが生成され、表示部１０７に表示される。
図５（２ａ）画素単位合焦度変化情報重畳画像は、画像内の「木」の画像に、「（分類２）合焦から外れていっている画素」を識別可能とするための合焦度変化判別信号、例えば特定の色信号（例えば青色信号）を重畳した表示データである。

【0067】

ユーザ（カメラマン）は、この表示データを見ることで、画像内の「木」の領域が合焦から外れていっていることを確認することができる。

【0068】

さらに、ユーザ（カメラマン）がフォーカス調整を行うことで、表示データは、図４５２ａ）に示す表示データから、図４（２ｂ）に示す表示データに遷移する。
図４（２ｂ）画素単位合焦度変化情報重畳画像は、画像内の「家」の画像に、「（分類２）合焦から外れていっている画素」を識別可能とするための合焦度変化判別信号、例えば特定の色信号（例えば青色信号）を重畳した表示データである。

【0069】

ユーザ（カメラマン）は、この表示データを見ることで、画像内の「家」の領域が合焦から外れていっていることを確認することができる。

【0070】

このように、本開示の処理を適用することで、画像内のどの画素領域が合焦から外れていっているかを容易にかつ、確実に確認することができる。

【0071】

なお、図４は、「（分類１）合焦に近づいている画素」のみの画素領域を識別可能とした画像データの例であり、図５は、「（分類２）合焦から外れていっている画素」のみの画素領域を識別可能とした画像データの例であるが、表示制御部１０６は、この他、「（分類３）合焦度に変化のない画素」のみを識別可能とした画像データを生成することも可能である。

【0072】

さらに、表示制御部１０６は、以下の３種類の画素の全て、あるいは、２種類を併せて識別可能とした表示データを生成することも可能である。
（分類１）合焦に近づいている画素
（分類２）合焦から外れていっている画素
（分類３）合焦度に変化のない画素

【0073】

例えば、「（分類１）合焦に近づいている画素」には、赤色の合焦度変化判別信号を重畳し、
「（分類２）合焦から外れていっている画素」には、青色の合焦度変化判別信号を重畳し、
「（分類３）合焦度に変化のない画素」には、黄色の合焦度変化判別信号を重畳した表示データを生成して表示部１０７に表示する構成としてもよい。

【0074】

ユーザ（カメラマン）は、表示部１０７に表示された表示データを見ることで、画像内の各画素領域についての合焦度変化態様を、容易にかつ確実に識別することが可能となる。

【0075】

さらに、表示制御部１０６は、例えば、合焦に近づいている画素領域の合焦度を、バーインジケータを用いて表示したデータを生成して表示部１０７に出力する構成としてもよい。

【0076】

図６に具体例を示す。
図６（２ｂ），（２ｃ）は、それぞれ画像内の「人」の領域が、「（分類１）合焦に近づいている画素」領域である。
例えば図６（２ａ），（２ｂ）に示すように、画像の下側に、合焦度を示すバーインジケータを表示する。

【0077】

このバーインジケータは、「（分類１）合焦に近づいている画素」領域の合焦度のレベルをバーの長さで示した合焦度のレベルインジケータである。
図６（２ｂ）より、（２ｃ）の方が、バーの長さが長くなっており、ユーザ（カメラマン）は、「（分類１）合焦に近づいている画素」領域である「人」の画素領域の合焦度が、徐々に高くなっていることを正しく認識することが可能となる。

【0078】

このように、本開示の撮像装置１００の合焦度変化解析部１０５は、画素単位の合焦度の変化を解析し、解析結果に基づいて、各画素を以下の３種類の画素に分類する。
（分類１）合焦に近づいている画素
（分類２）合焦から外れていっている画素
（分類３）合焦度に変化のない画素

【0079】

さらに、表示制御部１０６が、この分類結果を用いて、各画素の合焦度変化態様を認識可能とした表示データを生成して表示部１０７に表示する。

【0080】

これらの処理を行うことで、ユーザ（カメラマン）は、表示部１０７に表示された画像を見て、各画素の合焦度の変化を、正確にかつ容易に識別することが可能となる。

【0081】

［４．画素単位の合焦度変化の解析処理と画素分類処理の具体例について］
次に、画素単位の合焦度変化の解析処理と画素分類処理の具体例について説明する。

【0082】

前述したように、合焦度変化解析部１０５は、合焦度の時間的変化を例えば画素単位、あるいは所定数の画素領域単位で解析する。
例えば、現在の画像センサ出力画像と、１～数フレーム前の過去の画像センサ出力画像を比較して、現在の画像センサ出力画像の各画素について、以下のいずれに該当する画素であるかを分類する。
（分類１）合焦に近づいている画素
（分類２）合焦から外れていっている画素
（分類３）合焦度に変化のない画素

【0083】

先に、図２、図３を参照して説明したように、合焦度変化解析部１０５の画素分類部１５４は、現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像、これら２つのＨＰＦフィルタリング画像を比較して、現在画像の各画素の各々が、上記（分類１）～（分類３）のいずれに該当する画素であるかを解析する。

【0084】

図７を参照して、合焦度変化解析部１０５の画素分類部１５４が実行する画素解析処理の具体例について説明する。

【0085】

図７に示すグラフは、横軸に時間、縦軸に合焦度（ＨＰＦ結果）を示すグラフである。
時間ｔ１の撮影画像が過去画像に対応し、時間ｔ２の撮影画像が現在画像に対応する。

【0086】

時間ｔ１の撮影画像である過去画像については、図２に示す第２ＨＰＦ１５３においてＨＰＦによるフィルタリング処理がなされ、各画素単位の高周波成分量が算出される。
一方、時間ｔ２の撮影画像である現在画像については、図２に示す第１ＨＰＦ１５２においてＨＰＦによるフィルタリング処理がなされ、各画素単位の高周波成分量が算出される。

【0087】

画素分類部１５４は、これら現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像、これら２つのＨＰＦフィルタリング画像を比較して、現在画像の各画素の各々が、上記（分類１）～（分類３）のいずれに該当する画素であるかを解析する。

【0088】

例えば、図７に示す画素Ａは、過去画像より、現在画像の合焦度が低く、合焦度差分（高周波成分量差分）が、閾値以上であるため、「合焦から外れていっている画素」に分類される。
また、画素Ｂは、過去画像より、現在画像の合焦度が高く、合焦度差分（高周波成分量差分）が、閾値以上であるため、「合焦に近づいている画素」に分類される。
さらに、画素Ｃは、過去画像と、現在画像の合焦度の差分（高周波成分量差分）が、閾値未満であるため、「合焦度に変化のない画素」に分類される。

【0089】

このように、画素分類部１５４は、現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像、これら２つのＨＰＦフィルタリング画像の対応画素の合焦度差分（＝高周波成分量差分）を算出し、算出差分を予め規定した閾値と比較し、現在画像の各画素の各々が、上記（分類１）～（分類３）のいずれに該当する画素であるかを判定する。

【0090】

なお、合焦度変化解析部１０５における合焦度変化解析処理は、画像センサ（撮像素子）１０４から連続して入力される画像に対して、繰り返し、処理を実行する。
すなわち、最新の入力画像に対する最新の分類結果を生成する処理を、新たな入力画像ごとに繰り返し実行する。

【0091】

図８は、ユーザ（カメラマン）がフォーカス調整を継続して実行している間のある１つの画素、「画素Ａ」の合焦度変化を示すグラフである。
図８に示すグラフは、図７と同様、横軸に時間、縦軸に合焦度（ＨＰＦ結果）を示すグラフである。

【0092】

合焦度変化解析部１０５は、時間ｔ１１，ｔ２１，ｔ３１，ｔ４１において、その直前の撮影画像である時間ｔ１０，ｔ２０，ｔ３０，ｔ４０の過去画像との対応画素の合焦度（＝高周波成分量）を比較し、最新の撮影画像の画素Ａの合焦度変化態様を解析し、解析結果に基づく画素分類処理を行う。

【0093】

時間ｔ１１では、過去画像（ｔ１０撮影画像）と、現在画像（ｔ１１撮影画像）の合焦度の差分（高周波成分量差分）が、閾値未満であるため、「合焦度に変化のない画素」に分類される。

【0094】

次の、時間ｔ２１では、過去画像（ｔ２０撮影画像）より、現在画像（ｔ２１撮影画像）の合焦度が高く、合焦度差分（高周波成分量差分）が、閾値以上であるため、「合焦に近づいている画素」に分類される。

【0095】

次の、時間ｔ３１では、過去画像（ｔ３０撮影画像）より、現在画像（ｔ３１撮影画像）の合焦度が低く、合焦度差分（高周波成分量差分）が、閾値以上であるため、「合焦から外れていっている画素」に分類される。

【0096】

次の、時間ｔ４１では、過去画像（ｔ４０撮影画像）と、現在画像（ｔ４１撮影画像）の合焦度の差分（高周波成分量差分）が、閾値未満であるため、「合焦度に変化のない画素」に分類される。

【0097】

このように、合焦度変化解析部１０５における合焦度変化解析処理は、画像センサ（撮像素子）１０４から連続して入力される画像に対して、繰り返し、処理を実行する。
表示制御部１０６は、合焦度変化解析部１０５から入力する最新の画素分類情報に応じて表示データを、遂次、更新し、新たな表示データを生成して表示部１０７に出力する。
これにより、ユーザ（カメラマン）は、自分の実行しているフォーカス調整による各被写体の合焦度の変化を容易に、かつ確実に把握することが可能となる。

【0098】

例えば、ある画素領域が、あるタイミングで「合焦に近づいている画素」に分類されている場合、赤色の合焦度変化判別信号が重畳された表示データが表示される。さらに、その後のタイミングで、「合焦から外れていっている画素」に分類された場合、青色の合焦度変化判別信号が重畳された表示データが表示されることになる。
ユーザ（カメラマン）は、この重畳信号の色の切り替わり点、すなわち重畳される色が赤色から青色に変わるところが合焦点であると判定することが可能であり、容易に、かつ確実にフォーカス調整を行うことが可能となる。

【0099】

［５．（実施例２）複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部の実施例について］
次に、実施例２として複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部の実施例について説明する。

【0100】

先に図２を参照して説明した合焦度変化解析部１０５は、画素分類部１５４において、１つの画素単位で、各画素が以下のいずれに該当する画素であるかを分類する処理を実行する構成である。
（分類１）合焦に近づいている画素
（分類２）合焦から外れていっている画素
（分類３）合焦度に変化のない画素

【0101】

しかし、撮影画像にノイズや揺れがある場合、画素単位の解析処理結果にはエラーが発生し、正確な分類処理が行えない場合がある。
このような問題を解決するため、複数画素領域単位の平均化データを用いて、画素分類を行う構成が有効となる。

【0102】

図９は、本実施例２の合焦度変化解析部１０５ｂの構成例を示すブロック図である。
すなわち、複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部１０５ｂの構成例を示すブロック図である。

【0103】

図９に示す合焦度変化解析部１０５ｂは、先に図２を参照して説明した合焦度変化解析部１０５に、画素領域単位第１ＨＰＦ出力平均化部２０１と、画素領域単位第２ＨＰＦ出力平均化部２０２を追加した構成である。

【0104】

画素領域単位第１ＨＰＦ出力平均化部２０１は、前段の第１ＨＰＦ１５２から出力される現在画像ＨＰＦフィルタリング画像の各画素値に対して、周囲画素の画素値を用いた平均化処理を行う。例えばＨＰＦフィルタリング画像のある１画素に対して、その画素周辺の９×９画素領域の画素値の平均化画素値を算出し、その１画素の画素値（ＨＰＦフィルタリング結果）とする。

【0105】

同様に、画素領域単位第２ＨＰＦ出力平均化部２０２は、前段の第２ＨＰＦ１５３から出力される過去画像ＨＰＦフィルタリング画像の各画素値に対して、周囲画素の画素値を用いた平均化処理を行う。例えばＨＰＦフィルタリング画像のある１画素に対して、その画素周辺の９×９画素領域の画素値の平均化画素値を算出し、その１画素の画素値（ＨＰＦフィルタリング結果）とする。

【0106】

このように、ＨＰＦフィルタリング画像の構成画素の画素値の平均化処理を行うことで、各画素のノイズや揺れが低減され、分類エラーを減少させることができる。

【0107】

例えばある画素の上下左右１画素の揺れが起きても８×８の画素の値は変わらないため、平均値に対しては影響が少ない。同時に、多くの画素で平均を取ることでランダムノイズも低減される。また、単純平均ではなく、中心画素ほど重みを大きくするような重みづけ平均を行ってもよい。このような処理を行うことで離れた画素の影響を減らすことができる。

【0108】

［６．合焦度変化解析部において利用する最適なＨＰＦの特性について］
次に、合焦度変化解析部において利用する最適なＨＰＦの特性について説明する。

【0109】

先に図２を参照して説明したように、第１ＨＰＦ１５２は、最新の画像センサ出力画像１２１、すなわち現在画像１２２を入力して、現在画像１２２に対するＨＰＦを適用したフィルタリング処理を行い、現在画像１２２対応のＨＰＦフィルタリング画像を生成する。

【0110】

また、第２ＨＰＦ１５３は、現在画像１２２より１画像フレーム～数画像フレーム前の過去画像１２３を入力して、過去画像１２３に対するＨＰＦを適用したフィルタリング処理を行い、過去画像１２３対応のＨＰＦフィルタリング画像を生成する。

【0111】

一般的に、合焦度が高い画素領域は高周波が多く、合焦度が低い画素領域は高周波が少なく低周波信号が多くなるため、ＨＰＦを適用したフィルタリング処理により、合焦度の高い領域、低い領域を識別可能としたＨＰＦフィルタリング画像を生成することができる。

【0112】

しかし、例えば、ある画素について、合焦点に達するまでは「合焦に近づいている画素」と判定される必要があるので、ＨＰＦの周波数特性には工夫が必要になる。
合焦点付近で増加するのはナイキスト周波数付近の高周波成分のみになるが、一般的にレンズや光学ＬＰＦの影響で、ナイキスト周波数付近の高周波成分およびその変化は小さくなる傾向がある。なお、ナイキスト周波数はサンプリング周波数の１／２の周波数に相当する周波数である。

【0113】

このような傾向があっても、「合焦に近づいている画素」と判定するためには、高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦを用いることが好ましい。すなわち、ＨＰＦのフィルタリング結果が、ピークまで大きな傾きをもつようになるような特性を持つＨＰＦとすることが好ましい。

【0114】

ＨＰＦの特性の具体例と、合焦度変化解析例について図を参照して説明する。
図１０には、以下の各図を示している。
（ａ１）ＨＰＦの周波数特性例Ａ
（ａ２）周波数特性例Ａに示す特性を持つＨＰＦを適用した場合の合焦度変化解析例

【0115】

（ａ１）ＨＰＦの周波数特性例Ａに示すグラフは、横軸＝周波数、縦軸＝振幅としたＨＰＦの周波数特性を示すグラフである。
このグラフの示すＨＰＦ特性は、周波数がナイキスト周波数付近に近づくと変化が小さくなる特性である。
このような特性を持つＨＰＦを、本開示の撮像装置の合焦度変化解析部１０５内の第１ＨＰＦ１５２や、第２ＨＰＦ１５３として利用した場合の合焦度変化解析結果が、右側の（ａ２）に示すグラフである。

【0116】

この（ａ２）のグラフは、先に図７や図８を参照して説明したと同様、横軸に時間、縦軸に合焦度（ＨＰＦ結果）を示すグラフである。
縦軸の合焦度（ＨＰＦ結果）は、ＨＰＦフィルタリング結果画像内の高周波成分量の検出量に対応する。

【0117】

ここで、ＨＰＦ特性が、（ａ１）ＨＰＦの周波数特性例Ａのように、ナイキスト周波数付近で変化が小さくなる特性であると、結果として、（ａ２）に示すように、合焦度のピーク付近で、合焦度の変化（＝検出される高周波成分の変化）が小さくなってしまう。

【0118】

このような場合、現在画像と過去画像の合焦度の差分が規程閾値より小さくなり、結果として、合焦に近づいている画素であるにも関わらず、合焦度に変化のない画素として判定されてしまう可能性がある。

【0119】

このような問題を発生させず、合焦度がピークとなる位置で確実に「合焦に近づいている画素」と判定するためには、高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦを用いることが好ましい。すなわち、ＨＰＦのフィルタリング結果が、ピークまで大きな傾きをもつようになるような特性を持つＨＰＦとすることが好ましい。

【0120】

具体的には、図１１（ｂ１）に示すような特性を持つＨＰＦを用いることが好ましい。
図１１には、以下の各図を示している。
（ｂ１）ＨＰＦの周波数特性例Ｂ
（ｂ２）周波数特性例Ｂに示す特性を持つＨＰＦを適用した場合の合焦度変化解析例

【0121】

（ｂ１）ＨＰＦの周波数特性例Ｂに示すグラフは、横軸＝周波数、縦軸＝振幅としたＨＰＦの周波数特性を示すグラフである。
このグラフの示すＨＰＦ特性は、周波数がナイキスト周波数付近に近づくと変化が大きくなる特性である。
このような特性を持つＨＰＦを、本開示の撮像装置の合焦度変化解析部１０５内の第１ＨＰＦ１５２や、第２ＨＰＦ１５３として利用した場合の合焦度変化解析結果が、右側の（ｂ２）に示すグラフである。

【0122】

この（ｂ２）のグラフは、図１０（ａ２）に示すグラフと同様、横軸に時間、縦軸に合焦度（ＨＰＦ結果）を示すグラフである。
縦軸の合焦度（ＨＰＦ結果）は、ＨＰＦフィルタリング結果画像内の高周波成分量の検出量に対応する。

【0123】

ここで、ＨＰＦ特性が、（ｂ１）ＨＰＦの周波数特性例Ｂのように、ナイキスト周波数付近で変化が大きくなる特性であると、結果として、（ｂ２）に示すように、合焦度のピーク付近で、合焦度の変化（＝検出される高周波成分の変化）が大きくなる。

【0124】

このように、合焦度のピーク付近で、大きな合焦度の変化量（＝検出される高周波成分の変化量）を検出できれば、現在画像と過去画像の合焦度の差分が規程閾値より大きくなり、結果として、合焦度ピーク付近でも、「合焦に近づいている画素」として判定することができる。

【0125】

このように、本開示の撮像装置の合焦度変化解析部１０５内の第１ＨＰＦ１５２や、第２ＨＰＦ１５３として利用するＨＰＦは、高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦとすることが好ましい。

【0126】

［７．（実施例３）表示部の画素数に応じたダウンコンバート処理を行う実施例について］
次に、実施例３として、表示部の画素数に応じたダウンコンバート処理を行う実施例について説明する。

【0127】

図１２は、本実施例３の合焦度変化解析部１０５ｂの構成例を示すブロック図である。
すなわち、複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部１０５ｃの構成例を示すブロック図である。

【0128】

図１２に示す構成において、表示部１０７は、画像センサ（撮像素子）１０４の画素数より少ない画素数である。
この場合、表示部１０７に表示する画像は、画像センサ（撮像素子）１０４の出力である画像センサ出力画像１２１の画素数を減少させた画像、すなわち、ダウンコンバートした画像とすることが必要となる。

【0129】

図１２に示す構成中の表示制御部１０６は、画像センサ出力画像１２１のダウンコンバート処理を実行する。
このように、画像センサ出力画像１２１のダウンコンバート画像を表示部１０７に表示する場合、合焦度変化解析部１０５ｃが表示制御部１０６に出力する画素分類情報１２４もダウンコンバート画像の画素位置に対応した画素分類情報とすることが必要となる。

【0130】

図１２に示す合焦度変化解析部１０５ｃは、この処理を実現するための構成を有する。
図１２に示す合焦度変化解析部１０５ｃは、先に実施例２として説明した図９に示す合焦度変化解析部１０５に、第１ＨＰＦ出力ダウンコンバート部２２１と、第２ＨＰＦ出力ダウンコンバート部２２２を追加した構成である。

【0131】

図に示すように、第１ＨＰＦ出力ダウンコンバート部２２１は、第１ＨＰＦ１５２と、画素領域単位第１ＨＰＦ出力平均化部２０１の間に構成される。
第１ＨＰＦ出力ダウンコンバート部２２１は、第１ＨＰＦ１５２から出力される現在画像ＨＰＦフィルタリング画像のダウンコンバート処理を実行する。このダウンコンバート処理のダウンコンバート率（画素数削減率）は、表示制御部１０６が画像センサ出力画像１２１に対して実行するダウンコンバート処理のダウンコンバート率と同様とする。

【0132】

第１ＨＰＦ出力ダウンコンバート部２２１は、第１ＨＰＦ１５２が生成した現在画像ＨＰＦフィルタリング画像のダウンコンバート処理を実行して、現在画像ＨＰＦフィルタリング画像のダウンコンバート画像を生成する。

【0133】

第１ＨＰＦ出力ダウンコンバート部２２１が生成した現在画像ＨＰＦフィルタリング画像のダウンコンバート画像は、画素領域単位第１ＨＰＦ出力平均化部２０１に入力される。
画素領域単位第１ＨＰＦ出力平均化部２０１は、現在画像ＨＰＦフィルタリング画像のダウンコンバート画像に対する処理を実行する。

【0134】

一方、第２ＨＰＦ出力ダウンコンバート部２２２は、第２ＨＰＦ１５３と、画素領域単位第２ＨＰＦ出力平均化部２０２の間に構成される。
第２ＨＰＦ出力ダウンコンバート部２２２は、第２ＨＰＦ１５３から出力される過去画像ＨＰＦフィルタリング画像のダウンコンバート処理を実行する。このダウンコンバート処理のダウンコンバート率（画素数削減率）も、表示制御部１０６が画像センサ出力画像１２１に対して実行するダウンコンバート処理のダウンコンバート率と同様とする。

【0135】

第２ＨＰＦ出力ダウンコンバート部２２２は、第２ＨＰＦ１５３が生成した過去画像ＨＰＦフィルタリング画像のダウンコンバート処理を実行して、過去画像ＨＰＦフィルタリング画像のダウンコンバート画像を生成する。

【0136】

第２ＨＰＦ出力ダウンコンバート部２２２が生成した過去画像ＨＰＦフィルタリング画像のダウンコンバート画像は、画素領域単位第２ＨＰＦ出力平均化部２０２に入力される。
画素領域単位第２ＨＰＦ出力平均化部２０２は、過去画像ＨＰＦフィルタリング画像のダウンコンバート画像に対する処理を実行する。

【0137】

画素分類部１５４には、画素領域単位第１ＨＰＦ出力平均化部２０１と、画素領域単位第２ＨＰＦ出力平均化部２０２が、それぞれ現在画像ＨＰＦフィルタリング画像のダウンコンバート画像と、過去画像ＨＰＦフィルタリング画像のダウンコンバート画像に対する実行結果が入力される。

【0138】

この実行結果は、いずれもＨＰＦフィルタリング画像のダウンコンバート画像に対する結果であり、画素分類部１５４は、ＨＰＦフィルタリング画像のダウンコンバート画像の現在画像と過去画像に対する結果を比較して画素分類を行う。この画素分類対象とする画素数は、表示制御部１０６が画像センサ出力画像１２１に対して実行するダウンコンバート処理によって生成されるダウンコンバート画像の画素数に一致したものとなる。

【0139】

表示制御部１０６は、画像センサ出力画像１２１に対するダウンコンバート処理によって生成したダウンコンバート画像に、合焦度変化解析部１０５ｃから出力されるダウンコンバート画像の画素数に対応した画素分類情報に基づく合焦度変化状態を示す画素単位合焦度変化情報を生成し、これらのデータを含む表示データ１２５を表示部１０７に出力する。

【0140】

なお、図１２に示す合焦度変化解析部１０５ｃの構成では、第１ＨＰＦ出力ダウンコンバート部２２１を、第１ＨＰＦ１５２と、画素領域単位第１ＨＰＦ出力平均化部２０１の間に設定し、第２ＨＰＦ出力ダウンコンバート部２２２を、第２ＨＰＦ１５３と、画素領域単位第２ＨＰＦ出力平均化部２０２の間に設定しているが、

【0141】

合焦度変化解析部１０５ｃ内のダウンコンバート部は、第１ＨＰＦ１５２と、第２ＨＰＦ１５３の後段の位置であれば、図１２に示す位置以外の様々な位置に設定することが可能である。

【0142】

このように合焦度変化解析部内でＨＰＦフィルタ画像に対するダウンコンバート処理を行う構成とすることで、表示部に表示される画像が、画像センサ出力画像１２１のダウンコンバート画像であっても、そのダウンコンバート画像に対応した合焦度変化情報を出力することが可能となる。

【0143】

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

【0144】

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、
前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御部と、
前記表示データを表示する表示部を有する撮像装置。

【0145】

（２）前記表示制御部は、
前記現在画像の合焦度、および前記過去画像から前記現在画像までの合焦度変化状態を確認可能とした表示データを生成する（１）に記載の撮像装置。

【0146】

（３） 前記合焦度変化解析部は、
画素単位で、各画素が、
（ａ）合焦に近づいている画素
（ｂ）合焦から外れていっている画素
（ｃ）合焦度に変化のない画素
上記（ａ）～（ｃ）のいずれであるかを示す画素分類情報を生成して、前記表示制御部に出力する（１）または（２）に記載の撮像装置。

【0147】

（４） 前記表示制御部は、
前記現在画像の画素単位で、合焦に近づいている画素、または、合焦から外れていっている画素、または、合焦度に変化のない画素の少なくともいずれかを識別可能とした表示データを生成する（１）～（３）いずれかに記載の撮像装置。

【0148】

（５） 前記表示制御部は、
前記画像センサの出力の現像画像であるスルー画に、合焦に近づいている画素、または、合焦から外れていっている画素、または、合焦度に変化のない画素の少なくともいずれかを識別可能とした合焦度変化判別信号を重畳した表示データを生成する（１）～（４）いずれかに記載の撮像装置。

【0149】

（６） 前記合焦度変化判別信号は、合焦度変化状態に応じて異なる色信号である（５）に記載の撮像装置。

【0150】

（７） 前記表示制御部は、
合焦に近づいている画素の合焦度を判別可能なバーインジケータを含む表示データを生成する（１）～（６）いずれかに記載の撮像装置。

【0151】

（８） 前記合焦度変化解析部は、
前記現在画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした現在画像合焦度解析データを生成する第１フィルタ部と、
前記過去画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした過去画像合焦度解析データを生成する第２フィルタ部と、
前記現在画像合焦度解析データと、前記過去画像合焦度解析データを比較して、画素単位、または画素領域単位の合焦度変化を解析し、解析結果に基づいて画素分類情報を生成する画素分類部を有する（１）～（７）いずれかに記載の撮像装置。

【0152】

（９） 前記合焦度変化解析部は、
前記画像センサからの出力画像を格納するメモリを有し、
前記第２フィルタ部は、前記メモリから前記過去画像を入力して、前記過去画像に対するフィルタリング処理を実行する（８）に記載の撮像装置。

【0153】

（１０） 前記第１フィルタ部、および前記第２フィルタ部は、
ＨＰＦ（ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を適用したフィルタリング処理を実行する（８）または（９）に記載の撮像装置。

【0154】

（１１） 前記第１フィルタ部、および前記第２フィルタ部の利用するＨＰＦは、
高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦである（１０）に記載の撮像装置。

【0155】

（１２） 前記合焦度変化解析部は、
前記第１フィルタ部の出力を複数画素単位で平均化する第１フィルタ部出力平均化部と、
前記第２フィルタ部の出力を複数画素単位で平均化する第２フィルタ部出力平均化部を有し、
前記画素分類部は、
前記第１フィルタ部出力平均化部の出力と、前記第２フィルタ部出力平均化部の出力を比較して、画素単位、または画素領域単位の合焦度変化を解析し、解析結果に基づいて画素分類情報を生成する画素分類部を有する（８）～（１１）いずれかに記載の撮像装置。

【0156】

（１３） 前記表示制御部は、
前記画像センサからの出力画像をダウンコンバートして生成したダウンコンバート画像を前記表示部に出力する構成であり、
前記合焦度変化解析部は、
前記ダウンコンバート画像の画素単位の合焦度変化を示す画素分類情報を生成する（１）～（１２）いずれかに記載の撮像装置。

【0157】

（１４） 前記合焦度変化解析部は、
前記現在画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした現在画像合焦度解析データを生成する第１フィルタ部と、
前記過去画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした過去画像合焦度解析データを生成する第２フィルタ部と、
前記現在画像合焦度解析データと、前記過去画像合焦度解析データをダウンコンバートするダウンコンバート部を有する（１３）に記載の撮像装置。

【0158】

（１５） 画像処理装置において実行する画像処理方法であり、
合焦度変化解析部が、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析ステップと、
表示制御部が、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御ステップと、
表示部が、前記表示データを表示する表示ステップを有する画像処理方法。

【0159】

（１６） 画像処理装置において画像処理を実行させるプログラムであり、
合焦度変化解析部に、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析させる合焦度変化解析ステップと、
表示制御部に、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成させる表示制御ステップと、
表示部に、前記表示データを表示する表示ステップを実行させるプログラム。

【0160】

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

【0161】

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

【産業上の利用可能性】

【0162】

以上、説明したように、本開示の一実施例の構成によれば、現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法が実現される。
具体的には、例えば、画像センサから出力される現在画像と、現在画像の出力前に画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、合焦度変化解析部の解析結果を利用して、現在画像の画素領域単位で過去画像からの合焦度変化状態を確認可能とした表示データを生成する表示制御部を有する。画素単位で、各画素が、（ａ）合焦に近づいている画素、（ｂ）合焦から外れていっている画素、（ｃ）合焦度に変化のない画素のいずれであるかを示す画素分類情報を生成して表示する。
本構成により、現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法が実現される。

【符号の説明】

【0163】

１００ 撮像装置
１０１ 入力部
１０２ 制御部
１０３ 駆動部
１０４ 画像センサ（撮像素子）
１０５ 合焦度変化解析部
１０６ 表示制御部
１０７ 表示部
１５１ メモリ
１５２ 第１ＨＰＦ
１５３ 第２ＨＰＦ
１５４ 画素分類部
２０１ 画素領域単位第１ＨＰＦ出力平均化部
２０２ 画素領域単位第２ＨＰＦ出力平均化部
２２１ 第１ＨＰＦ出力ダウンコンバート部
２２２ 第２ＨＰＦ出力ダウンコンバート部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】