ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022098947
(43)【公開日】2022-07-04
(54)【発明の名称】画像処理装置、画像処理方法、プログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220627BHJP
G06T 3/00 20060101ALI20220627BHJP
G03B 17/18 20210101ALI20220627BHJP
G02B 7/28 20210101ALI20220627BHJP
【ＦＩ】
H04N5/232 939
G06T3/00 715
H04N5/232 220
H04N5/232 127
G03B17/18 Z
G02B7/28 N
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2020212636
(22)【出願日】2020-12-22
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】綱島 宣浩
(72)【発明者】
【氏名】田原 大資
【テーマコード（参考）】
2H102
2H151
5B057
5C122
【Ｆターム（参考）】
2H102AA33
2H102AA41
2H102AA44
2H102AA45
2H102BB22
2H151DA15
2H151FA68
2H151GA13
2H151GA15
2H151GA17
5B057BA24
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE03
5B057CE08
5B057CE09
5B057CH18
5B057DA08
5B057DA16
5B057DB02
5B057DB03
5B057DB06
5B057DB09
5B057DC01
5C122EA42
5C122FD02
5C122FD13
5C122FH07
5C122FH10
5C122FH12
5C122FH18
5C122FK12
5C122FK28
5C122FK37
5C122FK41
5C122HB01
(57)【要約】
【課題】マニュアルフォーカス操作に好適な画像表示を行う。
【解決手段】画像処理装置が、入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成するフォーカス判定部を備えるようにする。
【選択図】図５
【解決手段】画像処理装置が、入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成するフォーカス判定部を備えるようにする。
【選択図】図５
【特許請求の範囲】
【請求項1】
入力画像データに含まれる被写体の特定部分についての合焦度合いを数値化した合焦判定情報を生成するフォーカス判定部を備えた
画像処理装置。
画像処理装置。
【請求項2】
前記入力画像データに基づく画像に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えた
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記画像合成部は、
前記入力画像データを低解像度化したスルー画像データと、前記合焦判定情報に基づく画像データを合成する
請求項２に記載の画像処理装置。
前記入力画像データを低解像度化したスルー画像データと、前記合焦判定情報に基づく画像データを合成する
請求項２に記載の画像処理装置。
【請求項4】
前記画像合成部は、
前記合焦判定情報に基づく数値画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行う
請求項２に記載の画像処理装置。
前記合焦判定情報に基づく数値画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行う
請求項２に記載の画像処理装置。
【請求項5】
前記画像合成部は、
前記合焦判定情報を形状、又は色、又は輝度、又は濃淡で表現する画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行う
請求項２に記載の画像処理装置。
前記合焦判定情報を形状、又は色、又は輝度、又は濃淡で表現する画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行う
請求項２に記載の画像処理装置。
【請求項6】
前記画像合成部は、
前記入力画像データに基づく画像内で、前記特定部分の近辺に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行う
請求項２に記載の画像処理装置。
前記入力画像データに基づく画像内で、前記特定部分の近辺に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行う
請求項２に記載の画像処理装置。
【請求項7】
前記特定部分の動き検出を行う動き検出部を備え、
前記画像合成部は、
前記合焦判定情報に基づく画像の表示状態を、対応する前記特定部分についての前記動き検出部による動き検出結果に応じて変更する
請求項２に記載の画像処理装置。
前記画像合成部は、
前記合焦判定情報に基づく画像の表示状態を、対応する前記特定部分についての前記動き検出部による動き検出結果に応じて変更する
請求項２に記載の画像処理装置。
【請求項8】
前記画像合成部は、
前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示をオフとする
請求項７に記載の画像処理装置。
前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示をオフとする
請求項７に記載の画像処理装置。
【請求項9】
前記画像合成部は、
前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示態様を変更する
請求項７に記載の画像処理装置。
前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示態様を変更する
請求項７に記載の画像処理装置。
【請求項10】
前記合焦判定情報に基づいて、合焦度合いの時間的変動を示すフォーカス変動情報を生成する変動情報生成部と、
前記入力画像データに基づく画像に、前記フォーカス変動情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えた
請求項１に記載の画像処理装置。
前記入力画像データに基づく画像に、前記フォーカス変動情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えた
請求項１に記載の画像処理装置。
【請求項11】
前記フォーカス変動情報に基づく画像は、形状、又は色、又は輝度、又は濃淡により、合焦度合いの時間的変動を示す画像とされる
請求項１０に記載の画像処理装置。
請求項１０に記載の画像処理装置。
【請求項12】
前記フォーカス変動情報に基づく画像は、
合焦度合いの時間的変動が、合焦に近づく変動であるときと、合焦から遠ざかる変動であるときとで、異なる表示形態となるようにする
請求項１０に記載の画像処理装置。
合焦度合いの時間的変動が、合焦に近づく変動であるときと、合焦から遠ざかる変動であるときとで、異なる表示形態となるようにする
請求項１０に記載の画像処理装置。
【請求項13】
前記フォーカス変動情報に基づく画像は、
合焦状態からの合焦度合いの時間的変動が所定以下の場合は、合焦に近づく変動であるときの表示態様、及び合焦から遠ざかる変動であるときの表示態様とも異なる表示形態となるようにする
請求項１２に記載の画像処理装置。
合焦状態からの合焦度合いの時間的変動が所定以下の場合は、合焦に近づく変動であるときの表示態様、及び合焦から遠ざかる変動であるときの表示態様とも異なる表示形態となるようにする
請求項１２に記載の画像処理装置。
【請求項14】
前記画像合成部は、前記入力画像データに基づく画像と前記特定部分を含む切り出し画像が合成されるようにする合成処理を行う
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項15】
前記入力画像データに基づく画像は前記入力画像データを低解像度化したスルー画像であり、
前記切り出し画像は、前記スルー画像よりも高い解像度の画像である
請求項１４に記載の画像処理装置。
前記切り出し画像は、前記スルー画像よりも高い解像度の画像である
請求項１４に記載の画像処理装置。
【請求項16】
前記合焦判定情報は、
画像データを周波数空間に変換し、周波数空間におけるパワースペクトルを対数変換し、さらに逆フーリエ変換して求めた情報に基づく情報である
請求項１に記載の画像処理装置。
画像データを周波数空間に変換し、周波数空間におけるパワースペクトルを対数変換し、さらに逆フーリエ変換して求めた情報に基づく情報である
請求項１に記載の画像処理装置。
【請求項17】
入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理を画像処理装置が行う
画像処理方法。
画像処理方法。
【請求項18】
入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理を
演算処理装置に実行させるプログラム。
演算処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は画像処理装置、画像処理方法、プログラムに関し、特に撮像画像のフォーカス操作に適した画像を表示する技術に関する。
【背景技術】
【0002】
スチルカメラ、ビデオカメラ等の撮像装置で画像撮像を行うときには、撮像対象にフォーカスを合わせ、背景などのカメラからの距離が異なる物体をぼかすようにすることがある。これは背景をぼかして、撮像対象のみにフォーカスが合っていることで撮像対象を際立たせる効果があるためである。
【0003】
フォーカスを合わせる方法は大きく２つに分けられる。カメラを操作する人間（以下、ユーザという）の操作により目的の被写体にフォーカスを合わせるマニュアルフォーカスと、カメラが自動でフォーカスを合わせるオートフォーカスである。
オートフォーカスは、カメラが自動でフォーカス動作を行うが、反面、ユーザが望んだターゲットに必ずフォーカスが合う訳でない。そのため、映画撮影やテレビジョン放送番組などの画像コンテンツのための撮像時には、ユーザが手作業でフォーカスを合わせるマニュアルフォーカスが使われることが多い。
オートフォーカスは、カメラが自動でフォーカス動作を行うが、反面、ユーザが望んだターゲットに必ずフォーカスが合う訳でない。そのため、映画撮影やテレビジョン放送番組などの画像コンテンツのための撮像時には、ユーザが手作業でフォーカスを合わせるマニュアルフォーカスが使われることが多い。
【0004】
下記特許文献１では、いわゆる山登りＡＦ（オートフォーカス）を行うカメラにおいて、マニュアルフォーカス操作のために合焦評価値を図形表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００７－２４８６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、ユーザがカメラで撮像しながら目視確認でマニュアルフォーカス操作を行う場合、カメラ本体、あるいはその周辺に画像の表示デバイスを備えることが必要となる。カメラを操作する人間は、この表示デバイスに表示されている画像の中の所望のターゲットを見ながら、フォーカスを合わせる操作を行うことになる。
【0007】
近年、カメラで撮像する画像の解像度の精細化が進んでいる。現在のテレビジョン放送の画像の解像度の規格は２Ｋ（１９２０×１０８０ピクセル）が主流であるが、４Ｋ（３８４０×２１６０ピクセル）の放送も開始され、８Ｋ（７６８０×４３２０ピクセル）の撮像も始まっている。
【0008】
これに対して問題になるのが、カメラ本体あるいはその周辺にある表示デバイスの解像度である。カメラのフォーカスを合わせるときにユーザが視認するための表示デバイスは、スペース的な問題で、大型の表示デバイスを設置できず、小型の表示デバイスのみであることが多い。また、カメラに搭載されている小型の表示デバイスの表示解像度を無理に上げても人間の目では画像を精細に視認することは難しい。
このため実際にはカメラ本体やその周辺に設定されている表示デバイスは、２Ｋ（１９２０×１０８０ピクセル）やその半分のハーフＨＤ（９６０×５４０ピクセル）などの場合が多い。すると、４Ｋ以上の画像を撮像する場合、画像と表示デバイスの解像度が合わないので、カメラで撮像した画像を縮小して表示デバイスに表示することになる。撮像画像を縮小してしまうと画像の詳細な部分がつぶれてしまい、その結果、正しくフォーカスを合わせることが難しくなってしまっている。
このため実際にはカメラ本体やその周辺に設定されている表示デバイスは、２Ｋ（１９２０×１０８０ピクセル）やその半分のハーフＨＤ（９６０×５４０ピクセル）などの場合が多い。すると、４Ｋ以上の画像を撮像する場合、画像と表示デバイスの解像度が合わないので、カメラで撮像した画像を縮小して表示デバイスに表示することになる。撮像画像を縮小してしまうと画像の詳細な部分がつぶれてしまい、その結果、正しくフォーカスを合わせることが難しくなってしまっている。
【0009】
また、マニュアルフォーカスのアシスト機能としてピーキング表示も知られている。ピーキング表示とは、画像のエッジ部分の強度情報からフォーカスの合い具合を評価して、フォーカスが合っていそうなエッジに色を付けて、表示する機能である。
但しこのピーキング表示はあくまでも参考であって、ピーキング表示されている個所のフォーカスが完全に合っているわけではないにもかかわらず、エッジの部分に色を付けてしまっているので、目視確認がしにくいことがある。またフォーカスが合っていそうなエッジをすべて色付けしてしまうので、エッジが多いシーンでは、様々な箇所に色付けされてしまい、画像が見にくくなってしまうこともある。
但しこのピーキング表示はあくまでも参考であって、ピーキング表示されている個所のフォーカスが完全に合っているわけではないにもかかわらず、エッジの部分に色を付けてしまっているので、目視確認がしにくいことがある。またフォーカスが合っていそうなエッジをすべて色付けしてしまうので、エッジが多いシーンでは、様々な箇所に色付けされてしまい、画像が見にくくなってしまうこともある。
【0010】
そこで本開示では、マニュアルフォーカス操作に適した状態で撮像画像のモニタリングができるようにする画像処理技術を提案する。
【課題を解決するための手段】
【0011】
本技術に係る画像処理装置は、入力画像データに含まれる被写体の特定部分についての合焦度合いを数値化した合焦判定情報を生成するフォーカス判定部を備える。
例えばフォーカス対象となり得る被写体の特定部分として、人の目（瞳）などを想定する。入力画像データに１又は複数の特定部分が存在するときに、その特定部分の合焦度合いを数値化する。合焦度合いとは、例えば極めてボケた状態からジャストフォーカス状態までの間のどこに相当するかということである。
例えばフォーカス対象となり得る被写体の特定部分として、人の目（瞳）などを想定する。入力画像データに１又は複数の特定部分が存在するときに、その特定部分の合焦度合いを数値化する。合焦度合いとは、例えば極めてボケた状態からジャストフォーカス状態までの間のどこに相当するかということである。
【0012】
上記した本技術に係る画像処理装置においては、前記入力画像データに基づく画像に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えることが考えられる。
即ち合成処理により、入力画像データにおける被写体の特定部分について、合焦度合いが可視化された状態で視認できるような画像を生成する。
即ち合成処理により、入力画像データにおける被写体の特定部分について、合焦度合いが可視化された状態で視認できるような画像を生成する。
【0013】
上記した本技術に係る画像処理装置においては、前記画像合成部は、前記入力画像データを低解像度化したスルー画像データと、前記合焦判定情報に基づく画像データを合成することが考えられる。
例えば撮像画像を低解像度化したスルー画像上で合成判定情報に基づく画像が表示されるようにスルー画像データと合成判定情報に基づく画像データを合成する。
例えば撮像画像を低解像度化したスルー画像上で合成判定情報に基づく画像が表示されるようにスルー画像データと合成判定情報に基づく画像データを合成する。
【0014】
上記した本技術に係る画像処理装置においては、前記画像合成部は、前記合焦判定情報に基づく数値画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行うことが考えられる。
例えば被写体の特定部分に対応して数値が表示されることで、合焦度合いが示されるようにする。
例えば被写体の特定部分に対応して数値が表示されることで、合焦度合いが示されるようにする。
【0015】
上記した本技術に係る画像処理装置においては、前記画像合成部は、前記合焦判定情報を形状、又は色、又は輝度、又は濃淡で表現する画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行うことが考えられる。
例えば被写体の特定部分に対応して合焦判定情報の数値を表現する形状、例えばバーの画像などが表示されることで、合焦度合いが示されるようにする。或いは色や輝度や濃淡が変化するアイコンなどでもよい。
例えば被写体の特定部分に対応して合焦判定情報の数値を表現する形状、例えばバーの画像などが表示されることで、合焦度合いが示されるようにする。或いは色や輝度や濃淡が変化するアイコンなどでもよい。
【0016】
上記した本技術に係る画像処理装置においては、前記画像合成部は、前記入力画像データに基づく画像内で、前記特定部分の近辺に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行うことが考えられる。
例えば被写体の特定部分の近辺に、数値や形状で合焦判定情報を表現する画像が表示されるようにする。
例えば被写体の特定部分の近辺に、数値や形状で合焦判定情報を表現する画像が表示されるようにする。
【0017】
上記した本技術に係る画像処理装置においては、前記特定部分の動き検出を行う動き検出部を備え、前記画像合成部は、前記合焦判定情報に基づく画像の表示状態を、対応する前記特定部分についての前記動き検出部による動き検出結果に応じて変更することが考えられる。
特定部分についての動きの有無に応じて、合焦判定情報の表示態様を変えることで、例えば表示内容の信頼性を表現することなどが可能となる。
特定部分についての動きの有無に応じて、合焦判定情報の表示態様を変えることで、例えば表示内容の信頼性を表現することなどが可能となる。
【0018】
上記した本技術に係る画像処理装置においては、前記画像合成部は、前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示をオフとすることが考えられる。
つまり特定部分についての動きの有無に応じて、合焦判定情報を表現する画像の表示のオン／オフを切り替える。
つまり特定部分についての動きの有無に応じて、合焦判定情報を表現する画像の表示のオン／オフを切り替える。
【0019】
上記した本技術に係る画像処理装置においては、前記画像合成部は、前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示態様を変更することが考えられる。
例えば特定部分についての動きの有無に応じて、合焦判定情報を表現する画像の例えば色、輝度、濃淡、サイズ、形状などを変更する。
例えば特定部分についての動きの有無に応じて、合焦判定情報を表現する画像の例えば色、輝度、濃淡、サイズ、形状などを変更する。
【0020】
上記した本技術に係る画像処理装置においては、前記合焦判定情報に基づいて、合焦度合いの時間的変動を示すフォーカス変動情報を生成する変動情報生成部と、前記入力画像データに基づく画像に、前記フォーカス変動情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えることが考えられる。
フォーカス変動情報は、合焦度合いが、フォーカスが合う方向に遷移しているか、ボケる方向に遷移しているかを示す情報である。合成処理により、入力画像データにおける被写体の特定部分について、このフォーカス変動情報が可視化されて視認できるような画像を生成する。
フォーカス変動情報は、合焦度合いが、フォーカスが合う方向に遷移しているか、ボケる方向に遷移しているかを示す情報である。合成処理により、入力画像データにおける被写体の特定部分について、このフォーカス変動情報が可視化されて視認できるような画像を生成する。
【0021】
上記した本技術に係る画像処理装置においては、前記フォーカス変動情報に基づく画像は、形状、又は色、又は輝度、又は濃淡により、合焦度合いの時間的変動を示す画像とされることが考えられる。
例えば色や輝度や濃淡が変化するアイコンや、形状などにより、合焦度合いが合う方向に遷移しているのか、ボケる方向に遷移しているかを表現する画像とする。
また上記した本技術に係る画像処理装置においては、前記フォーカス変動情報に基づく画像は、合焦度合いの時間的変動が、合焦に近づく変動であるときと、合焦から遠ざかる変動であるときとで、異なる表示形態となるようにすることが考えられる。
また上記した本技術に係る画像処理装置においては、前記フォーカス変動情報に基づく画像は、合焦状態からの合焦度合いの時間的変動が所定以下の場合は、合焦に近づく変動であるときの表示態様、及び合焦から遠ざかる変動であるときの表示態様とも異なる表示形態となるようにすることが考えられる。
これらによりフォーカス変動を表示形態で表現する。
例えば色や輝度や濃淡が変化するアイコンや、形状などにより、合焦度合いが合う方向に遷移しているのか、ボケる方向に遷移しているかを表現する画像とする。
また上記した本技術に係る画像処理装置においては、前記フォーカス変動情報に基づく画像は、合焦度合いの時間的変動が、合焦に近づく変動であるときと、合焦から遠ざかる変動であるときとで、異なる表示形態となるようにすることが考えられる。
また上記した本技術に係る画像処理装置においては、前記フォーカス変動情報に基づく画像は、合焦状態からの合焦度合いの時間的変動が所定以下の場合は、合焦に近づく変動であるときの表示態様、及び合焦から遠ざかる変動であるときの表示態様とも異なる表示形態となるようにすることが考えられる。
これらによりフォーカス変動を表示形態で表現する。
【0022】
上記した本技術に係る画像処理装置においては、前記画像合成部は、前記入力画像データに基づく画像と前記特定部分を含む切り出し画像が合成されるようにする合成処理を行うことが考えられる。
例えば撮像画像を低解像度化したスルー画像と切り出し画像が一画面内で表示されるように、スルー画像データと切り出し画像データを合成する。このような画面上で、合焦判定情報に基づく画像の表示や、フォーカス変動情報に基づく画像の表示が行われるようにする。
例えば撮像画像を低解像度化したスルー画像と切り出し画像が一画面内で表示されるように、スルー画像データと切り出し画像データを合成する。このような画面上で、合焦判定情報に基づく画像の表示や、フォーカス変動情報に基づく画像の表示が行われるようにする。
【0023】
上記した本技術に係る画像処理装置においては、前記入力画像データに基づく画像は前記入力画像データを低解像度化したスルー画像であり、前記切り出し画像は、前記スルー画像よりも高い解像度の画像であることが考えられる。
例えば入力画像データに対して切り出し領域を設定して切り出し処理を行う。或いは入力画像データに対して拡大処理を行った画像データから切り出しを行うことも想定される。さらに或いは入力画像データを縮小した画像データであるがスルー画像データよりも高い解像度となっている画像データから切り出しを行うことも想定される。
例えば入力画像データに対して切り出し領域を設定して切り出し処理を行う。或いは入力画像データに対して拡大処理を行った画像データから切り出しを行うことも想定される。さらに或いは入力画像データを縮小した画像データであるがスルー画像データよりも高い解像度となっている画像データから切り出しを行うことも想定される。
【0024】
上記した本技術に係る画像処理装置においては、前記合焦判定情報は、画像データを周波数空間に変換し、周波数空間におけるパワースペクトルを対数変換し、さらに逆フーリエ変換して求めた情報に基づく情報であることが考えられる。
いわゆるケプストラムに基づく合焦判定情報を求める。
いわゆるケプストラムに基づく合焦判定情報を求める。
【0025】
本技術に係る画像処理方法は、入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理を行う画像処理方法である。
これにより画像自体以外で合焦状態を示す情報を得るようにする。
本技術に係るプログラムは、上記の処理を演算処理装置に実行させるプログラムである。
これにより本技術の画像処理装置を容易に実現できるようにする。
これにより画像自体以外で合焦状態を示す情報を得るようにする。
本技術に係るプログラムは、上記の処理を演算処理装置に実行させるプログラムである。
これにより本技術の画像処理装置を容易に実現できるようにする。
【図面の簡単な説明】
【0026】
【図1】本技術の実施の形態の画像処理装置を搭載可能な撮像装置の斜視図である。
【図2】実施の形態の画像処理装置を搭載可能な撮像装置の背面図である。
【図3】実施の形態の画像処理装置を搭載可能な撮像装置のブロック図である。
【図4】実施の形態の画像処理装置の各種の搭載態様の説明図である。
【図5】第１の実施の形態の画像処理装置のブロック図である。
【図6】実施の形態の表示例の説明図である。
【図7】実施の形態の他の表示例の説明図である。
【図8】第１の実施の形態の処理例のフローチャートである。
【図9】第３の実施の形態の画像処理装置のブロック図である。
【図10】第３の実施の形態の処理例のフローチャートである。
【図11】第４の実施の形態の表示例の説明図である。
【図12】第４の実施の形態の処理例のフローチャートである。
【図13】第４の実施の形態の画像処理装置のブロック図である。
【図14】第５の実施の形態の表示例の説明図である。
【図15】第６の実施の形態の画像処理装置のブロック図である。
【発明を実施するための形態】
【0027】
以下、実施の形態を次の順序で説明する。
<１．画像処理装置の搭載態様>
<２．第１の実施の形態>
<３．第２の実施の形態>
<４．第３の実施の形態>
<５．第４の実施の形態>
<６．第５の実施の形態>
<７．第６の実施の形態>
<８．まとめ及び変形例>
<１．画像処理装置の搭載態様>
<２．第１の実施の形態>
<３．第２の実施の形態>
<４．第３の実施の形態>
<５．第４の実施の形態>
<６．第５の実施の形態>
<７．第６の実施の形態>
<８．まとめ及び変形例>
【0028】
ここで、本開示で用いるいくつかの用語の意味を示しておく。
「画像」とは、「静止画」「動画」のいずれをも含む用語として用いている。
「スルー画像」は、撮像者が被写体側のモニタリングをするために表示される画像である。画像撮像を行う装置やシステムでは、静止画撮像の際には、静止画撮像のために被写体側の画像（動画）をモニタリング表示し、また動画撮像中や動画撮像のスタンバイ中も、モニタリング表示を行うが、本開示ではこれらを総称してスルー画像と呼ぶこととする。
「スルー画像」は表示装置上で表示されている画像を指し、「スルー画像データ」はスルー画像の表示を実行するための画像データを指す。
また実施の形態の場合、特に合焦度合いの判定のために「切り出し画像データ」を用いる。この切り出し画像データは、入力画像データ（又は入力画像データに基づく画像）の一部を切り出した画像データである。なお第５の実施の形態では、「切り出し画像データ」を用いた「切り出し画像」の表示を行う例も示す。
「画像」とは、「静止画」「動画」のいずれをも含む用語として用いている。
「スルー画像」は、撮像者が被写体側のモニタリングをするために表示される画像である。画像撮像を行う装置やシステムでは、静止画撮像の際には、静止画撮像のために被写体側の画像（動画）をモニタリング表示し、また動画撮像中や動画撮像のスタンバイ中も、モニタリング表示を行うが、本開示ではこれらを総称してスルー画像と呼ぶこととする。
「スルー画像」は表示装置上で表示されている画像を指し、「スルー画像データ」はスルー画像の表示を実行するための画像データを指す。
また実施の形態の場合、特に合焦度合いの判定のために「切り出し画像データ」を用いる。この切り出し画像データは、入力画像データ（又は入力画像データに基づく画像）の一部を切り出した画像データである。なお第５の実施の形態では、「切り出し画像データ」を用いた「切り出し画像」の表示を行う例も示す。
【0029】
<１．画像処理装置の搭載態様>
実施の形態の画像処理装置１は、ユーザのフォーカス操作のアシストのための表示に適した画像処理を行うものであり、この画像処理装置１は多様な搭載態様が想定される。まず一例として、撮像装置１００に実施の形態の画像処理装置１が搭載される場合の構成例を図１から図３で説明する。
実施の形態の画像処理装置１は、ユーザのフォーカス操作のアシストのための表示に適した画像処理を行うものであり、この画像処理装置１は多様な搭載態様が想定される。まず一例として、撮像装置１００に実施の形態の画像処理装置１が搭載される場合の構成例を図１から図３で説明する。
【0030】
図１は撮像装置１００の前方からの斜視図、図２は背面図を示している。この例では、撮像装置１００は、いわゆるデジタルスチルカメラとされ、撮像モードを切り換えることで、静止画撮像と動画撮像の両方を実行できるものである。
なお、本実施の形態では撮像装置１００は、デジタルスチルカメラに限定されず、主に動画撮像に用いられるビデオカメラであっても良いし、静止画撮像のみ可能なカメラ、動画撮像のみ可能なカメラであってもよい。もちろん放送局等で用いる業務用のカメラでもよい。
なお、本実施の形態では撮像装置１００は、デジタルスチルカメラに限定されず、主に動画撮像に用いられるビデオカメラであっても良いし、静止画撮像のみ可能なカメラ、動画撮像のみ可能なカメラであってもよい。もちろん放送局等で用いる業務用のカメラでもよい。
【0031】
撮像装置１００は、カメラ本体を構成する本体筐体１０１の前方側にレンズ鏡筒１０２が配置される。
いわゆるレンズ交換式カメラとして構成される場合は、レンズ鏡筒１０２が本体筐体１０１に着脱可能とされ、レンズ交換ができる。
またレンズ鏡筒１０２が本体筐体１０１に対して着脱不能の場合もある。例えばレンズ鏡筒１０２が本体筐体１０１に固定される構成例や、沈胴式としてレンズ鏡筒１０２が本体筐体１０１の前面で沈胴して収納される状態と突出して使用可能となる状態を遷移する構成例がある。
いわゆるレンズ交換式カメラとして構成される場合は、レンズ鏡筒１０２が本体筐体１０１に着脱可能とされ、レンズ交換ができる。
またレンズ鏡筒１０２が本体筐体１０１に対して着脱不能の場合もある。例えばレンズ鏡筒１０２が本体筐体１０１に固定される構成例や、沈胴式としてレンズ鏡筒１０２が本体筐体１０１の前面で沈胴して収納される状態と突出して使用可能となる状態を遷移する構成例がある。
【0032】
撮像装置１００の構成が以上のいずれの構成であってもよいが、レンズ鏡筒１０２には例えばマニュアルフォーカス操作のためのリング１５０が設けられている。
【0033】
撮像装置１００の背面側（使用者側）には、図２に示すように、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネル２０１が設けられる。
またビューファインダー２０２として、ＬＣＤや有機ＥＬディスプレイ等を用いて形成された表示部も設けられる。ビューファインダー２０２は例えば電子式ファインダー（ＥＶＦ：Electronic View Finder）とされる。但し光学式ファインダー（ＯＶＦ：Optical View Finder）でもよく、または透過式液晶を用いるようなハイブリッド式ファインダー（ＨＶＦ：Hybrid View Finder）でもよい。
またビューファインダー２０２として、ＬＣＤや有機ＥＬディスプレイ等を用いて形成された表示部も設けられる。ビューファインダー２０２は例えば電子式ファインダー（ＥＶＦ：Electronic View Finder）とされる。但し光学式ファインダー（ＯＶＦ：Optical View Finder）でもよく、または透過式液晶を用いるようなハイブリッド式ファインダー（ＨＶＦ：Hybrid View Finder）でもよい。
【0034】
ユーザは表示パネル２０１やビューファインダー２０２により、画像や各種情報を視認することができる。この例では撮像装置１００には表示パネル２０１とビューファインダー２０２の両方が設けられているが、これに限定されず、表示パネル２０１とビューファインダー２０２のいずれか一方のみが設けられている構成や、表示パネル２０１とビューファインダー２０２の両方またはいずれか一方が着脱可能な構成であってもよい。
【0035】
撮像装置１００の本体筐体１０１上には、各種の操作子２１０が設けられている。
例えば操作子２１０としては、キー、ダイヤル、押圧／回転の複合操作子などの各種の形態のものが配備され、各種の操作機能を実現している。例えばシャッター操作、メニュー操作、再生操作、モード選択操作、フォーカス操作、ズーム操作、シャッタースピードやＦ値等のパラメータの選択操作などが可能とされる。
例えば操作子２１０としては、キー、ダイヤル、押圧／回転の複合操作子などの各種の形態のものが配備され、各種の操作機能を実現している。例えばシャッター操作、メニュー操作、再生操作、モード選択操作、フォーカス操作、ズーム操作、シャッタースピードやＦ値等のパラメータの選択操作などが可能とされる。
【0036】
【0037】
撮像装置１００は、本体筐体１０１に撮像素子（イメージセンサ）１１２、カメラ信号処理部１１３、記録制御部１１４、表示部１１５、出力部１１６、操作部１１７、カメラ制御部１３０、メモリ部１３１を有する。
またレンズ鏡筒１０２はレンズ系１２１、レンズ系駆動部１２２、鏡筒制御部１２３、リング部１２４を有する。
またレンズ鏡筒１０２はレンズ系１２１、レンズ系駆動部１２２、鏡筒制御部１２３、リング部１２４を有する。
【0038】
レンズ鏡筒１０２におけるレンズ系１２１は、ズームレンズ、フォーカスレンズ等のレンズやアイリス（絞り機構）を備える。このレンズ系１２１により、被写体からの光（入射光）が導かれ、撮像素子１１２に集光される。
【0039】
撮像素子１１２は、例えばＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などとして構成される。
この撮像素子１１２では、受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１１３やカメラ制御部１３０に出力する。
この撮像素子１１２では、受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１１３やカメラ制御部１３０に出力する。
【0040】
カメラ信号処理部１１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１１３は、撮像素子１１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。
【0041】
ここでカメラ信号処理部１１３は、画像処理装置１としての機能を有しているものとしている。ここでいう画像処理装置１は、スルー画像の生成や、フォーカスアシストのための処理を行う。フォーカスアシストのための処理としては、画像データにおける被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理や、合焦判定情報に基づく画像の生成及びその画像のスルー画像との合成等を行う処理機能を指す。
画像処理装置１の構成及び動作については後述する。
画像処理装置１の構成及び動作については後述する。
【0042】
記録制御部１１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像等を記録する処理を行う。
記録制御部１１４の実際の形態は多様に考えられる。例えば記録制御部１１４は、撮像装置１００に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１００に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１００に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
記録制御部１１４の実際の形態は多様に考えられる。例えば記録制御部１１４は、撮像装置１００に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１００に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１００に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
【0043】
表示部１１５は撮像者に対して各種表示を行う表示部であり、具体的には図２に示した表示パネル２０１やビューファインダー２０２を示している。
表示部１１５は、カメラ制御部１３０の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部１１５は、記録制御部１１４において記録媒体から読み出された画像データの再生画像を表示させる。また表示部１１５には、カメラ信号処理部１１３で表示用に解像度変換された撮像画像の画像データが供給されており、表示部１１５はカメラ制御部１３０の指示に応じて、当該撮像画像の画像データに基づいて表示を行う。つまりスルー画像表示を行う。
また表示部１１５はカメラ制御部１３０の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
表示部１１５は、カメラ制御部１３０の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部１１５は、記録制御部１１４において記録媒体から読み出された画像データの再生画像を表示させる。また表示部１１５には、カメラ信号処理部１１３で表示用に解像度変換された撮像画像の画像データが供給されており、表示部１１５はカメラ制御部１３０の指示に応じて、当該撮像画像の画像データに基づいて表示を行う。つまりスルー画像表示を行う。
また表示部１１５はカメラ制御部１３０の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
【0044】
出力部１１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。 例えば外部の表示装置、記録装置、再生装置、情報処理装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
また出力部１１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
【0045】
操作部１１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１１７は本体筐体１０１に設けられた各種の操作子２１０を示している。操作部１１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１３０へ送られる。
この操作部１１７としては操作子２１０だけでなく、タッチパネルを用いてもよい。例えば表示パネル２０１にタッチパネルを形成し、表示パネル２０１に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いは操作部１１７はタッチパッド等によりユーザのタップ操作等を検出する形態もある。
更に操作部１１７は、別体のリモートコントローラ等の外部操作機器の受信部として構成されることもある。
この操作部１１７としては操作子２１０だけでなく、タッチパネルを用いてもよい。例えば表示パネル２０１にタッチパネルを形成し、表示パネル２０１に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いは操作部１１７はタッチパッド等によりユーザのタップ操作等を検出する形態もある。
更に操作部１１７は、別体のリモートコントローラ等の外部操作機器の受信部として構成されることもある。
【0046】
カメラ制御部１３０はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１３１は、カメラ制御部１３０が処理に用いる情報等を記憶する。図示するメモリ部１３１としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１３１はカメラ制御部１３０としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１３０はメモリ部１３１のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１００及びレンズ鏡筒１０２の全体を制御する。
例えばカメラ制御部１３０は、撮像素子１１２のシャッタースピードの制御、カメラ信号処理部１１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ユーザインタフェース動作等について、必要各部の動作を制御する。レンズ系１２１に関しては、カメラ制御部１３０は、例えば自動的に目標の被写体に合焦させるオートフォーカス制御や、ユーザの設定操作に応じたＦ値の変更や、Ｆ値を自動的に制御するオートアイリス制御などを行う。
メモリ部１３１は、カメラ制御部１３０が処理に用いる情報等を記憶する。図示するメモリ部１３１としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１３１はカメラ制御部１３０としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１３０はメモリ部１３１のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１００及びレンズ鏡筒１０２の全体を制御する。
例えばカメラ制御部１３０は、撮像素子１１２のシャッタースピードの制御、カメラ信号処理部１１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ユーザインタフェース動作等について、必要各部の動作を制御する。レンズ系１２１に関しては、カメラ制御部１３０は、例えば自動的に目標の被写体に合焦させるオートフォーカス制御や、ユーザの設定操作に応じたＦ値の変更や、Ｆ値を自動的に制御するオートアイリス制御などを行う。
【0047】
メモリ部１３１におけるＲＡＭは、カメラ制御部１３０のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１３１におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
メモリ部１３１におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
【0048】
本体筐体１０１にレンズ鏡筒１０２が装着された状態では、カメラ制御部１３０は鏡筒制御部１２３に対して通信を行い、各種の指示を行う。
レンズ鏡筒１０２においては、例えばマイクロコンピュータによる鏡筒制御部１２３が搭載されており、カメラ制御部１３０との間で各種のデータ通信が可能とされる。例えばカメラ制御部１３０は、鏡筒制御部１２３に対してズームレンズ、フォーカスレンズ、アイリス（絞り機構）等の駆動指示を行う。鏡筒制御部１２３はこれらの駆動指示に応じてレンズ系駆動部１２２を制御し、レンズ系１２１の動作を実行させる。
レンズ鏡筒１０２においては、例えばマイクロコンピュータによる鏡筒制御部１２３が搭載されており、カメラ制御部１３０との間で各種のデータ通信が可能とされる。例えばカメラ制御部１３０は、鏡筒制御部１２３に対してズームレンズ、フォーカスレンズ、アイリス（絞り機構）等の駆動指示を行う。鏡筒制御部１２３はこれらの駆動指示に応じてレンズ系駆動部１２２を制御し、レンズ系１２１の動作を実行させる。
【0049】
レンズ系駆動部１２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、アイリスのモータに対するモータドライバ等が設けられている。
これらのモータドライバは鏡筒制御部１２３からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、アイリスの絞り羽根の開閉等を実行させることになる。
これらのモータドライバは鏡筒制御部１２３からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、アイリスの絞り羽根の開閉等を実行させることになる。
【0050】
リング部１２４は、図１に示したリング１５０、リング１５０の回転機構、リング１５０の回転角度を検出するためのセンサ等を有する。鏡筒制御部１２３は、リング部１２４におけるリング１５０の回転を検出することに応じて、レンズ系駆動部１２２に駆動指示を出力し、フォーカスレンズを駆動する。
【0051】
なお、以上は撮像装置１００の構成の一例にすぎない。
実施の形態の画像処理装置１がカメラ信号処理部１１３に含まれる例としたが、画像処理装置１は例えばカメラ制御部１３０内においてソフトウェアにより構成されてもよい。また画像処理装置１がカメラ信号処理部１１３やカメラ制御部１３０とは別体のチップ等により構成されてもよい。
実施の形態の画像処理装置１がカメラ信号処理部１１３に含まれる例としたが、画像処理装置１は例えばカメラ制御部１３０内においてソフトウェアにより構成されてもよい。また画像処理装置１がカメラ信号処理部１１３やカメラ制御部１３０とは別体のチップ等により構成されてもよい。
【0052】
また、以上の撮像装置１００では、画像処理装置１を有するとともに、表示パネル２０１やビューファインダー２０２による表示部１１５を備え、スルー画像が表示されるものとした。また画像処理装置１はスルー画像とともにフォーカスアシストのための画像を表示させる処理を行う。このため撮像装置１００では、画像処理装置１の処理に基づいて表示部１１５でスルー画像及び切り出し画像を表示させる構成となる。
【0053】
但し、別体の表示装置にスルー画像や切り出し画像を表示される場合も想定される。
例えば図４Ａは、撮像装置１００に対して別体の表示装置６が接続される構成を示している。撮像装置１００はスルー画像データを表示装置６に送信することで、表示装置６でスルー画像が表示され、ユーザは表示装置６で被写体を確認できる。
このような構成の場合に、撮像装置１００内に画像処理装置１が設けられ、画像処理装置１により被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理や、スルー画像データと合焦判定情報に基づく画像データの合成画像データが生成される。そしてその合成画像データが表示装置６に送信されて表示されることで、表示装置６でスルー画像と、フォーカスアシストのための画像の両方をみることもできる。
例えば図４Ａは、撮像装置１００に対して別体の表示装置６が接続される構成を示している。撮像装置１００はスルー画像データを表示装置６に送信することで、表示装置６でスルー画像が表示され、ユーザは表示装置６で被写体を確認できる。
このような構成の場合に、撮像装置１００内に画像処理装置１が設けられ、画像処理装置１により被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理や、スルー画像データと合焦判定情報に基づく画像データの合成画像データが生成される。そしてその合成画像データが表示装置６に送信されて表示されることで、表示装置６でスルー画像と、フォーカスアシストのための画像の両方をみることもできる。
【0054】
更に図４Ｂのように、表示装置６側に画像処理装置１が設けられてもよい。
即ち、撮像装置１００は撮像画像データを表示装置６に送信する。表示装置６で撮像画像データから解像度変換を行ってスルー画像データを生成し、また合焦判定情報を生成する処理や、合焦判定情報に基づく画像データの合成画像データが生成されるようにする。そしてそれらの表示を行う。これによりユーザは、表示装置６でスルー画像とフォーカスアシストのための画像の両方をみることもできる。
即ち、撮像装置１００は撮像画像データを表示装置６に送信する。表示装置６で撮像画像データから解像度変換を行ってスルー画像データを生成し、また合焦判定情報を生成する処理や、合焦判定情報に基づく画像データの合成画像データが生成されるようにする。そしてそれらの表示を行う。これによりユーザは、表示装置６でスルー画像とフォーカスアシストのための画像の両方をみることもできる。
【0055】
図４Ｃは、撮像装置１００と表示装置６とコントロールユニット７が接続される形態を示している。この場合に、画像処理装置１がコントロールユニット７に設けられる例が考えられる。画像処理装置１がスルー画像データを生成し、また合焦判定情報を生成する処理や、合焦判定情報に基づく画像データの合成画像データが生成されるようにする。そして、それらの合成画像データを生成して表示装置に送信する。これによりユーザは、表示装置６でスルー画像とフォーカスアシストのための画像の両方をみることができる。
もちろんコントロールユニット７が接続される場合でも、画像処理装置１が撮像装置１００内に設けられる例や、表示装置６内に設けられる例も考えられる。
もちろんコントロールユニット７が接続される場合でも、画像処理装置１が撮像装置１００内に設けられる例や、表示装置６内に設けられる例も考えられる。
【0056】
更に図示しないが、画像処理装置１がクラウドサーバに設けられ、ネットワーク通信を介してスルー画像データとフォーカスアシストのための画像データを生成し、それら、或いはそれらの合成画像データを表示装置６に送信して表示させるような例も考えられる。
【0057】
<２．第１の実施の形態>
以下、実施の形態の画像処理装置１について詳細に説明する。
図５は画像処理装置1の構成例を示している。画像処理装置１は画像縮小部１０、画像認識部１１、画像切り出し部１３、画像縮小部１４、画像合成部１５、フォーカス判定部１８を有する。これらはソフトウェアにより構成されてもよいし、ハードウェアにより構成されてもよい。
以下、実施の形態の画像処理装置１について詳細に説明する。
図５は画像処理装置1の構成例を示している。画像処理装置１は画像縮小部１０、画像認識部１１、画像切り出し部１３、画像縮小部１４、画像合成部１５、フォーカス判定部１８を有する。これらはソフトウェアにより構成されてもよいし、ハードウェアにより構成されてもよい。
【0058】
画像処理装置１には入力画像データＤｉｎが入力される。入力画像データＤｉｎは、例えば図３のカメラ信号処理部１１３内で現像処理された撮像画像データであり、例えばスルー画像のために解像度変換される前の画像データが想定される。例えば図４Ｂ、図４Ｃのように撮像装置１００以外に画像処理装置１が搭載される場合も、撮像装置１００から送信されてくる撮像画像データであることが想定される。
より具体的な例としては、入力画像データＤｉｎは、いわゆる４Ｋや８Ｋのような高精細な画像データであるとする。
より具体的な例としては、入力画像データＤｉｎは、いわゆる４Ｋや８Ｋのような高精細な画像データであるとする。
【0059】
入力画像データＤｉｎは、画像縮小部１０、画像切り出し部１３、画像縮小部１４のそれぞれに供給される。
画像縮小部１０では、入力画像データＤｉｎに対して画像サイズの縮小処理が行われる。これは、その後段の画像認識部１１の被写体認識処理を、４Ｋなどの高精細な画像データで処理すると非常に時間がかかってしまうためであり、縮小処理によりＶＧＡ（６４０×４８０ピクセル）やＱＶＧＡ（３２０×２４０ピクセル）のような小さいサイズの画像を用いるようにするものである。
なお画像縮小部１０は、実行した縮小処理における縮小率ＲＳを画像切り出し部１３に通知する。
画像縮小部１０では、入力画像データＤｉｎに対して画像サイズの縮小処理が行われる。これは、その後段の画像認識部１１の被写体認識処理を、４Ｋなどの高精細な画像データで処理すると非常に時間がかかってしまうためであり、縮小処理によりＶＧＡ（６４０×４８０ピクセル）やＱＶＧＡ（３２０×２４０ピクセル）のような小さいサイズの画像を用いるようにするものである。
なお画像縮小部１０は、実行した縮小処理における縮小率ＲＳを画像切り出し部１３に通知する。
【0060】
画像縮小部１０にて縮小された画像に対して、画像認識部１１は被写体認識処理を行う。具体的には画像認識部１１は、被写体として画像に含まれる人や、人のパーツである顔、目、手などを認識することができる。特に画像認識部１１は、入力画像データＤｉｎに含まれている被写体の特定部分を検出し、その座標位置を特定する。
【0061】
ここで特定部分とは、合焦判定や、フォーカスアシストのための画像出力を行う対象とする部分である。合焦判定を行う対象ということは、フォーカス対象となりうる部分でもあることが適切である。具体的な例として、人物の目（瞳）であるとする
【0062】
もちろん、検出する特定部分としては各種考えられ、例えば被写体となっている人物の顔、鼻、耳、口などとしてもよいし、人物以外の動物の目、物体の特定の形状の部分、特定の色の部分などとしてもよい。
ただ、特定部分は、被写体内で合焦度合いの判定を行う対象とする部分であるため、高周波成分を含む画像の部分であることが好適である。また、合焦度合いの比較に適しているようにするため、被写体（例えば人）毎に形状があまり異ならない部分であることが望ましい。具体的には、後述するケプストラムで求める合焦判定情報が、人によって差が出にくく、フォーカス状態の評価自体が反映されやすくなるものがよい。
それらの意味では、目は、高周波成分が多く、また人による差異が少ないと評価でき、特定部分として好適となる。
以下では、目（右目）を特定部分として検出する例で説明していく。
ただ、特定部分は、被写体内で合焦度合いの判定を行う対象とする部分であるため、高周波成分を含む画像の部分であることが好適である。また、合焦度合いの比較に適しているようにするため、被写体（例えば人）毎に形状があまり異ならない部分であることが望ましい。具体的には、後述するケプストラムで求める合焦判定情報が、人によって差が出にくく、フォーカス状態の評価自体が反映されやすくなるものがよい。
それらの意味では、目は、高周波成分が多く、また人による差異が少ないと評価でき、特定部分として好適となる。
以下では、目（右目）を特定部分として検出する例で説明していく。
【0063】
このような被写体認識及び特定部分の検出には、例えばディープラーニング（Deep Learning）を用いる。ディープラーニング技術を用いて画像データから手や足の関節、目、鼻、耳などの人体のパーツを検出することができるため、それらの内で特定部分について検出し、画像内での座標位置を特定する。
【0064】
例えば入力画像データＤｉｎが、被写体人物が３人いる画像である場合、各人物の右目がそれぞれ特定部分として検出され、その座標位置が特定される。
画像認識部１１が検出した１又は複数の特定部分の座標位置は、画像切り出し部１３に送られる。
画像認識部１１が検出した１又は複数の特定部分の座標位置は、画像切り出し部１３に送られる。
【0065】
画像切り出し部１３では、画像認識部１１から送られてきた特定部分の座標位置と、画像縮小部１０から送られてきた縮小率ＲＳから、特定部分の座標位置を、切り出し処理を行う画像における座標位置に変換する。
この例では、画像切り出し部１３は、縮小処理前のオリジナルの画像である入力画像データＤｉｎから切り出し処理を行うものとする。従って画像切り出し部１３は、縮小画像から検出した特定部分の座標位置を、入力画像データＤｉｎにおける座標位置に変換する。
そして画像切り出し部１３は、入力画像データＤｉｎから、特定部分の座標位置を中心に、あらかじめ設定したる画像サイズで画像切り出し処理を行う。
複数の特定部分の座標位置が送られてきている場合は、送られてきた座標位置の数だけ、以上のような画像切り出し処理を行う。
そして画像切り出し部１３は、１又は複数の切り出し画像データＤｃをフォーカス判定部１８に送る。
この例では、画像切り出し部１３は、縮小処理前のオリジナルの画像である入力画像データＤｉｎから切り出し処理を行うものとする。従って画像切り出し部１３は、縮小画像から検出した特定部分の座標位置を、入力画像データＤｉｎにおける座標位置に変換する。
そして画像切り出し部１３は、入力画像データＤｉｎから、特定部分の座標位置を中心に、あらかじめ設定したる画像サイズで画像切り出し処理を行う。
複数の特定部分の座標位置が送られてきている場合は、送られてきた座標位置の数だけ、以上のような画像切り出し処理を行う。
そして画像切り出し部１３は、１又は複数の切り出し画像データＤｃをフォーカス判定部１８に送る。
【0066】
フォーカス判定部１８では、画像切り出し部１３において例えば「右目」を中心に切り出された各切り出し画像データＤｃの合焦度合いを計算する。合焦度合いとはフォーカスの合い具合である。
一般的に、フォーカスが合っていない画像は、ボケ画像と呼ばれている。ボケ画像は、ボケていない画像（原画像）に対して、ＰＳＦ（Point Spread Function）と呼ばれるボケ関数を畳み込んだものとして表現される。ＰＳＦは、ボケているとなだらかになり、ボケていないと急峻になる。ボケ画像から原画像とＰＳＦを分離することができれば、ボケ画像のボケ具合、即ち合焦度合いを判定することができる。
一般的に、フォーカスが合っていない画像は、ボケ画像と呼ばれている。ボケ画像は、ボケていない画像（原画像）に対して、ＰＳＦ（Point Spread Function）と呼ばれるボケ関数を畳み込んだものとして表現される。ＰＳＦは、ボケているとなだらかになり、ボケていないと急峻になる。ボケ画像から原画像とＰＳＦを分離することができれば、ボケ画像のボケ具合、即ち合焦度合いを判定することができる。
【0067】
ボケ画像から原画像とＰＳＦを分離するためにケプストラムと呼ばれる方法を用いる。ケプストラムは次のようにして求める。
処理対象の画像データ（本実施の形態の場合は切り出し画像データＤｃ）に対して２次元フーリエ変換処理を行うことで周波数空間に変換し、周波数空間におけるパワースペクトルを対数変換し、さらに逆フーリエ変換する。このようにして作成したものをケプストラムと呼ぶ。画像データのケプストラムは、原画像データのケプストラムと、ボケ関数（ＰＳＦ）のケプストラムの和で表されており、原画像データのケプストラムは、ボケ画像データのケプストラムよりも小さいので、ボケ画像データのケプストラムが支配的となっている。
処理対象の画像データ（本実施の形態の場合は切り出し画像データＤｃ）に対して２次元フーリエ変換処理を行うことで周波数空間に変換し、周波数空間におけるパワースペクトルを対数変換し、さらに逆フーリエ変換する。このようにして作成したものをケプストラムと呼ぶ。画像データのケプストラムは、原画像データのケプストラムと、ボケ関数（ＰＳＦ）のケプストラムの和で表されており、原画像データのケプストラムは、ボケ画像データのケプストラムよりも小さいので、ボケ画像データのケプストラムが支配的となっている。
【0068】
処理対象の画像データ（例えば切り出し画像データＤｃ）をｇ、原画像データをｆ、ＰＳＦをｈ、処理対象の画像データのケプストラムをｇｃ、原画像データのケプストラムをｆｃ、ＰＳＦのケプストラムをｈｃとした場合のケプストラムの計算式を以下に示す。
【0069】
【数1】
【0070】
ＦＴはフーリエ変換、ＦＴ－１は逆フーリエ変換である。
処理対象の画像データのケプストラムには、原画像データのケプストラムも少ないながらも残っているので、ボケ画像データのケプストラムのみを単純に取り出すことは難しい。しかしながら、ここでいう処理対象の画像データを、切り出し画像データＤｃ、つまり目の領域の画像データに限定することで、原画像データのケプストラムは類似していると考えられる。
また、前述したように原画像データ、この場合は目の領域のケプストラムはＰＳＦのケプストラムよりも小さい。従って、原画像データのケプストラムは非常に小さい定数とみなすことができるので、目の領域のケプストラムから合焦度合いを求めることができる。
処理対象の画像データのケプストラムには、原画像データのケプストラムも少ないながらも残っているので、ボケ画像データのケプストラムのみを単純に取り出すことは難しい。しかしながら、ここでいう処理対象の画像データを、切り出し画像データＤｃ、つまり目の領域の画像データに限定することで、原画像データのケプストラムは類似していると考えられる。
また、前述したように原画像データ、この場合は目の領域のケプストラムはＰＳＦのケプストラムよりも小さい。従って、原画像データのケプストラムは非常に小さい定数とみなすことができるので、目の領域のケプストラムから合焦度合いを求めることができる。
【0071】
ケプストラムは、ＰＳＦとは逆に、ボケが大きいと急峻になり、ボケが少ないとなだらかになる。従って、ＰＳＦのケプストラムの中心部分の値の分散あるいは標準偏差を求めることで、合焦度合いを数値化する。
【0072】
【数2】
【0073】
σが分散の値、ｘｃ，ｙｃは画像の中心の座標を表す。
分散の値は３×３ピクセルでも、もっと大きい領域でもよい。
分散の値はボケていると大きくなり、ボケていないと小さくなる。例えば、画像中央部３×３の領域の分散の計算式を以下に示す。合焦度合いという観点から言うと、数値が大きい方が、フォーカスが合っているようにすることが視覚的にわかりやすい。そこで、次のような変換式によって、ケプストラムの分散値を合焦度合いの数値に変換する。
分散の値は３×３ピクセルでも、もっと大きい領域でもよい。
分散の値はボケていると大きくなり、ボケていないと小さくなる。例えば、画像中央部３×３の領域の分散の計算式を以下に示す。合焦度合いという観点から言うと、数値が大きい方が、フォーカスが合っているようにすることが視覚的にわかりやすい。そこで、次のような変換式によって、ケプストラムの分散値を合焦度合いの数値に変換する。
【0074】
【数3】
【0075】
フォーカス判定部１８は、例えば以上のように求められた合焦度合いの数値を、合焦判定情報ＦＩとする。
フォーカス判定部１８は特定部分毎に合焦判定情報ＦＩを求め、その合焦判定情報ＦＩを画像合成部１５に送る。
なお、合焦判定情報ＦＩは、その合焦度合いの数値と、その特定部分についての座標値や切り出し領域の範囲を示す情報を含むようにすることで、画像合成部１５における合成処理の際に、合焦度合いの数値が、画像のどの部分についての数値であるかが分かるようにされている。
フォーカス判定部１８は特定部分毎に合焦判定情報ＦＩを求め、その合焦判定情報ＦＩを画像合成部１５に送る。
なお、合焦判定情報ＦＩは、その合焦度合いの数値と、その特定部分についての座標値や切り出し領域の範囲を示す情報を含むようにすることで、画像合成部１５における合成処理の際に、合焦度合いの数値が、画像のどの部分についての数値であるかが分かるようにされている。
【0076】
一方、入力画像データＤｉｎについては画像縮小部１４でも縮小処理が行われる。画像縮小部１４は、スルー画像データＤｔｈｒを生成するための縮小処理、つまり低解像度への変換を行う。
従って画像合成部１５には、画像縮小部１４からのスルー画像データＤｔｈｒと、フォーカス判定部１８からの合焦判定情報ＦＩが供給されることになり、画像合成部１５はこれらを用いた合成処理を行う。
従って画像合成部１５には、画像縮小部１４からのスルー画像データＤｔｈｒと、フォーカス判定部１８からの合焦判定情報ＦＩが供給されることになり、画像合成部１５はこれらを用いた合成処理を行う。
【0077】
例えば画像合成部１５では、スルー画像データＤｔｈｒと、合焦判定情報ＦＩとして得られた数値に基づいて描画した画像データを合成した合成画像データＤｍを生成する。
この合成画像データＤｍが表示デバイス（表示装置６、表示パネル２０１，ビューファインダー２０２等）に送られ、ユーザに対して表示される。これによりユーザは、スルー画像上で合焦判定情報ＦＩに基づく画像を視認することができる。
この合成画像データＤｍが表示デバイス（表示装置６、表示パネル２０１，ビューファインダー２０２等）に送られ、ユーザに対して表示される。これによりユーザは、スルー画像上で合焦判定情報ＦＩに基づく画像を視認することができる。
【0078】
図６に表示例を示す。図６では、表示デバイスの画面２０にスルー画像３０が表示されている状態を示している。この例では、被写体として人物５０ａ，５０ｂ，５０ｃが存在し、各人物５０ａ，５０ｂ，５０ｃの右目が特定部分とされて画像切り出し処理が行われ、それぞれの合焦判定情報ＦＩが算出されたとする。
スルー画像３０上には、特定部分に対応してフォーカス枠３１（３１ａ，３１ｂ，３１ｃ）が表示されており、これらの部分がフォーカス制御対象の候補であることを示すものとされる。
また図６は、人物５０ｂに最も合焦している状態としており、より撮像装置１００に近い人物５０ａや、より撮像装置１００から遠い人物５０ｃは、ボケた画像となっている。
スルー画像３０上には、特定部分に対応してフォーカス枠３１（３１ａ，３１ｂ，３１ｃ）が表示されており、これらの部分がフォーカス制御対象の候補であることを示すものとされる。
また図６は、人物５０ｂに最も合焦している状態としており、より撮像装置１００に近い人物５０ａや、より撮像装置１００から遠い人物５０ｃは、ボケた画像となっている。
【0079】
この場合、合焦判定情報ＦＩに基づく画像として、各人物５０のフォーカス枠３１ａ，３１ｂ，３１ｃの近辺に合焦判定値３５（３５ａ，３５ｂ，３５ｃ）が表示されている。合焦判定値３５をフォーカス枠３１の近辺に表示させることで、表示される数値がどの部分の合焦度合いを示しているかわかるようにしている。
【0080】
なお説明上、フォーカス枠、合焦判定値、人物などについて、それぞれ総称する場合は「フォーカス枠３１」「合焦判定値３５」「人物５０」のように表記し、個別に示す場合は「フォーカス枠３１ａ」「合焦判定値３５ａ」「人物５０ａ」のようにアルファベットを付加して特定するものとする。
【0081】
ここでは、合焦判定情報ＦＩが例えば「０．０」から「１．０」をとる値であり、算出された合焦判定情報ＦＩの数値が描画されて合焦判定値３５ａ，３５ｂ，３５ｃとされている。図における合焦判定値３５ａ，３５ｂ，３５ｃは、それぞれ「０．２」「０．８」「０．５」とされており、人物５０ｂに最もフォーカスが合っていることが数字により提示されている。
これによりユーザは、スルー画像３０が低解像度の画像であっても、各被写体の合焦度合いを明確に認識できる。
これによりユーザは、スルー画像３０が低解像度の画像であっても、各被写体の合焦度合いを明確に認識できる。
【0082】
図７に他の表示例を示す。
画像合成部１５は、合焦判定情報ＦＩに基づいてバー形状の画像をスルー画像３０に描画する合成処理を行う。これにより図のように、合焦判定バー３６（３６ａ，３６ｂ，３６ｃ）を表示させるようにする。
この合焦判定バー３６は、合焦判定情報ＦＩの値に応じた長さのバー形状画像とされる。
画像合成部１５は、合焦判定情報ＦＩに基づいてバー形状の画像をスルー画像３０に描画する合成処理を行う。これにより図のように、合焦判定バー３６（３６ａ，３６ｂ，３６ｃ）を表示させるようにする。
この合焦判定バー３６は、合焦判定情報ＦＩの値に応じた長さのバー形状画像とされる。
【0083】
なお、この合焦判定バー３６は、フォーカス枠３１の近辺ではなく、スルー画像３０の下方部分にまとめて示すことで、なるべくスルー画像３０の邪魔にならないようにしている。
ただし、各合焦判定バー３６と、特定部分の対応関係が分かるようにすることが必要である。
そこで例えば色により対応関係を示す。
例えばフォーカス枠３１ａ、３１ｂ、３１ｃをそれぞれ赤色、緑色、青色で表示させ、合焦判定バー３６ａ，３６ｂ，３６ｃをそれぞれ赤色、緑色、青色で表示させることで、同じ色で対応関係を示すようにする。
これにより、例えば最も長い合焦判定バー３６ｂが、フォーカス枠３１ｂに対応することが示され、人物５０ｂに最もフォーカスが合っていることをユーザが認識できる。
もちろん、色以外の手法、例えばマーカー表示などで対応関係を示してもよい。
また位置関係で対応関係を示すこともできる。例えばこの図７では、撮像装置１００に近い順の人物５０ａ、５０ｂ、５０ｃに対応して、合焦判定バー３６ａ，３６ｂ，３６ｃが画面２０の下方から順となるように表示されている。
ただし、各合焦判定バー３６と、特定部分の対応関係が分かるようにすることが必要である。
そこで例えば色により対応関係を示す。
例えばフォーカス枠３１ａ、３１ｂ、３１ｃをそれぞれ赤色、緑色、青色で表示させ、合焦判定バー３６ａ，３６ｂ，３６ｃをそれぞれ赤色、緑色、青色で表示させることで、同じ色で対応関係を示すようにする。
これにより、例えば最も長い合焦判定バー３６ｂが、フォーカス枠３１ｂに対応することが示され、人物５０ｂに最もフォーカスが合っていることをユーザが認識できる。
もちろん、色以外の手法、例えばマーカー表示などで対応関係を示してもよい。
また位置関係で対応関係を示すこともできる。例えばこの図７では、撮像装置１００に近い順の人物５０ａ、５０ｂ、５０ｃに対応して、合焦判定バー３６ａ，３６ｂ，３６ｃが画面２０の下方から順となるように表示されている。
【0084】
また合焦判定バー３６は、画面２０の左端から右端に到達するのが、最も合焦している状態、つまり合焦判定情報ＦＩ＝「１．０」の状態であるとすれば、例えば図７のような状態で、ユーザは、合焦判定バー３６ａは５割程度の値、合焦判定バー３６ｂは８割程度の値、合焦判定バー３６ｃは２割程度の値であると、直感的に認識できる。
【0085】
なお図７の例は合焦判定バー３６としたが、円グラフ状の表示など、他の形状でグラフィカルに合焦度合いを表示する例も考えられる。
また図形、アイコン等の画像の濃淡、輝度、色、サイズなどの変化で合焦判定情報の値を表現するような表示としてもよい。
さらには特定部分自体の色や輝度や濃淡で、合焦判定情報の値を表現するような表示を行ってもよい。
また図形、アイコン等の画像の濃淡、輝度、色、サイズなどの変化で合焦判定情報の値を表現するような表示としてもよい。
さらには特定部分自体の色や輝度や濃淡で、合焦判定情報の値を表現するような表示を行ってもよい。
【0086】
また図６，図７の例では、被写体人物の右目のみを特定部分として合焦度合いを表示しているが、右目と左目を特定部分として、両目が検出されている場合は、両目のそれぞれについて合焦度合いを計算して表示しても良いし、どちらかの目を優先して片目のみを表示しても良い。
【0087】
また、画像合成部１５で合成処理が行われて表示されるものとしたが、スルー画像データＤｔｈｒと合焦判定情報ＦＩに基づく画像データを別々に出力し、それぞれ異なる表示デバイスで表示されるようにしてもよい。
【0088】
図５のような画像処理装置１の構成は、ＤＳＰやマイクロコンピュータにおけるソフトウェアとして実現できる。例えば図８に示す処理を演算処理装置に実行させるプログラムにより、その演算処理装置は実施の形態の画像処理装置１として実現される。
【0089】
このようなプログラムに基づく画像処理装置１の図８の処理を説明する。
図８の処理は、例えば入力画像データＤｉｎの１フレーム毎に行われる。ステップＳ１０１で画像処理装置１は、１フレームの入力画像データＤｉｎを取得する。
図８の処理は、例えば入力画像データＤｉｎの１フレーム毎に行われる。ステップＳ１０１で画像処理装置１は、１フレームの入力画像データＤｉｎを取得する。
【0090】
ステップＳ１０２で画像処理装置１は、入力画像データＤｉｎに対して被写体認識処理のための縮小処理を行う。即ち上述した画像縮小部１０の処理である。
ステップＳ１０３で画像処理装置１は、入力画像データＤｉｎに対してスルー画像データＤｔｈｒの生成のための縮小処理を行う。即ち上述した画像縮小部１４の処理である。
ステップＳ１０３で画像処理装置１は、入力画像データＤｉｎに対してスルー画像データＤｔｈｒの生成のための縮小処理を行う。即ち上述した画像縮小部１４の処理である。
【0091】
ステップＳ１０４で画像処理装置１は画像認識部１１の処理を行う。即ち画像処理装置１は、現フレームの画像解析を行い、被写体認識処理を行い、被写体の特定部分を検出する。例えば右目を特定部分として検出し、特定部分の座標位置を特定する。
【0092】
ステップＳ１０５で画像処理装置１は画像切り出し部１３の処理を行う。即ち画像処理装置１は、検出された１又は複数の特定部分の座標位置に基づいて切り出し領域を設定し、入力画像データＤｉｎからの切り出し処理を実行する。これにより１又は複数の切り出し画像データＤｃを得る。
【0093】
ステップＳ１０６で画像処理装置１はフォーカス判定部１８の処理を行う。即ち画像処理装置１は、１又は複数の切り出し画像データＤｃについて、上述のケプストラムの演算を行い、合焦判定情報ＦＩを生成する。
【0094】
ステップＳ１０７で、画像処理装置１は画像合成部１５の処理を行う。即ち画像処理装置１は、スルー画像データＤｔｈｒと、１又は複数の切り出し画像データＤｃの合焦判定情報ＦＩに基づく画像、例えば合焦判定値３５や合焦判定バー３６などの画像を合成する処理を行い、合成画像データＤｍを生成する。
そしてステップＳ１０８で合成画像データＤｍを出力する。
以上の処理により表示デバイスにおいて図６や図７のような画像表示が行われ、ユーザはスルー画像３０及び合焦度合いを確認しながらマニュアルフォーカス操作を行うことができる。
そしてステップＳ１０８で合成画像データＤｍを出力する。
以上の処理により表示デバイスにおいて図６や図７のような画像表示が行われ、ユーザはスルー画像３０及び合焦度合いを確認しながらマニュアルフォーカス操作を行うことができる。
【0095】
<３．第２の実施の形態>
上述の第１の実施の形態では、目の領域のケプストラムの計算を、フーリエ変換によって行うものとした。ここで、目の領域の画像内での大きさは、撮像装置１００と人との距離などによって大きく変化する。そしてフーリエ変換の対象に目以外の領域が入ってくると、計算されるケプストラムに悪影響を与える可能性がある。
上述の第１の実施の形態では、目の領域のケプストラムの計算を、フーリエ変換によって行うものとした。ここで、目の領域の画像内での大きさは、撮像装置１００と人との距離などによって大きく変化する。そしてフーリエ変換の対象に目以外の領域が入ってくると、計算されるケプストラムに悪影響を与える可能性がある。
【0096】
そこで第２の実施の形態として、画像解析における特定部分の検出の処理で、両目やその他のパーツとの距離で目の大きさを推定し、フーリエ変換に使用する画像サイズ、即ち切り出し画像データＤｃの切り出し領域を変化させることが考えられる。
【0097】
具体的には、目が大きいと画像サイズを大きくし、目が小さいと画像サイズを小さくする。このようにすると、目以外の画像が切り出し画像データＤｃに入り込むことを防止でき、計算されるケプストラムの精度を向上させることができる。
【0098】
あるいは、画像処理でのフーリエ変換で良く用いられるＦＦＴで使用される窓関数の窓サイズを調整して、目の領域だけが入るような窓関数を適用しても良い。
【0099】
<４．第３の実施の形態>
第１の実施の形態では、フォーカスが合っていない、いわゆるピンボケに対するＰＳＦを推定していた。しかし、ボケにはピンボケだけでなく、動きボケもある。動きボケとは、撮像対象の物体がカメラのシャッター間隔に対して、十分に速く動くことで、撮像された画像が撮像対象の動きの方向に流れるようにぶれることである。第１の実施の形態で述べたケプストラムを用いれは動きボケを検出することは不可能ではないが、ピンボケと動きボケが同時に生じた場合、ピンボケと動きボケを分離することは困難である。
第１の実施の形態では、フォーカスが合っていない、いわゆるピンボケに対するＰＳＦを推定していた。しかし、ボケにはピンボケだけでなく、動きボケもある。動きボケとは、撮像対象の物体がカメラのシャッター間隔に対して、十分に速く動くことで、撮像された画像が撮像対象の動きの方向に流れるようにぶれることである。第１の実施の形態で述べたケプストラムを用いれは動きボケを検出することは不可能ではないが、ピンボケと動きボケが同時に生じた場合、ピンボケと動きボケを分離することは困難である。
【0100】
そこで物体が動いているときは、合焦度合いを数値化した結果である合焦判定情報ＦＩの信頼性が低いことを明示できるようにする。
【0101】
具体的には図９のように、画像処理装置１が動き検出部１９を備えるようにする。
動き検出部１９は、画像認識部１１で検出した被写体の特定部分（例えば目）の位置座標と、目の位置を検出した画像、および例えば１フレーム前に撮像された画像を用いて目の領域の移動量を計算する。例えば、ブロックマッチングと呼ばれる手法を用いれば、目の領域の移動量を計算することができる。
そして特定部分の動きが一定以上の速度があるか否かの判定を行い、判定結果を動き検出情報ＭＩとして出力する。
画像合成部１５は、動き検出情報ＭＩに応じて合成処理の内容を切り替える。
動き検出部１９は、画像認識部１１で検出した被写体の特定部分（例えば目）の位置座標と、目の位置を検出した画像、および例えば１フレーム前に撮像された画像を用いて目の領域の移動量を計算する。例えば、ブロックマッチングと呼ばれる手法を用いれば、目の領域の移動量を計算することができる。
そして特定部分の動きが一定以上の速度があるか否かの判定を行い、判定結果を動き検出情報ＭＩとして出力する。
画像合成部１５は、動き検出情報ＭＩに応じて合成処理の内容を切り替える。
【0102】
図１０に処理例を示す。なお図８と同様の処理については同じステップ番号を付し、重複説明を避ける。
画像処理装置１はステップＳ１１０で動き検出情報ＭＩを確認し、被写体の特定部分、つまり合焦判定情報ＦＩに基づく表示を行う部分について所定以上の動きがあったか否かを確認する。
画像処理装置１はステップＳ１１０で動き検出情報ＭＩを確認し、被写体の特定部分、つまり合焦判定情報ＦＩに基づく表示を行う部分について所定以上の動きがあったか否かを確認する。
【0103】
全ての特定部分について、動きが無いと判定されていた場合は、画像処理装置１はステップＳ１０７で、スルー画像データＤｔｈｒと、１又は複数の切り出し画像データＤｃの合焦判定情報ＦＩに基づく画像、例えば合焦判定値３５や合焦判定バー３６などの画像を合成する処理を行い、合成画像データＤｍを生成する。
そしてステップＳ１０８で合成画像データＤｍを出力する。従って表示デバイスにおいて図６や図７のような画像表示が行われる。
そしてステップＳ１０８で合成画像データＤｍを出力する。従って表示デバイスにおいて図６や図７のような画像表示が行われる。
【0104】
一方、１又は複数の特定部分の一部又は全部について所定の速度以上の動きがあると判定されていた場合は、ステップＳ１１１で動き検出対応処理としての画像合成を行う。
そしてステップＳ１０８で合成画像データＤｍを出力する。
そしてステップＳ１０８で合成画像データＤｍを出力する。
【0105】
この場合の動き検出対応処理としての合成処理としては、次のような例が考えられる。
例えば所定の速度以上の動きが検出された特定部分については、合焦判定情報ＦＩに基づく画像の表示を行わないものとする。
例えば３つの特定部分についてそれぞれ合焦判定情報ＦＩが計算されたときに、１つの合焦判定情報ＦＩに対応する特定部分で所定の速度以上の動きありと判定された場合、他の２つの合焦判定情報ＦＩに基づく合焦判定値３５等の表示は行うが動きのある特定部分については合焦判定値３５等の表示はオフとする。
また、例えば３つの特定部分についてそれぞれ合焦判定情報ＦＩが計算されたときに、全ての特定部分で所定の速度以上の動きありと判定された場合、３つの合焦判定情報ＦＩに基づく合焦判定値３５等の表示は行わないようにする。即ち合成処理を行わないようにする。
例えば所定の速度以上の動きが検出された特定部分については、合焦判定情報ＦＩに基づく画像の表示を行わないものとする。
例えば３つの特定部分についてそれぞれ合焦判定情報ＦＩが計算されたときに、１つの合焦判定情報ＦＩに対応する特定部分で所定の速度以上の動きありと判定された場合、他の２つの合焦判定情報ＦＩに基づく合焦判定値３５等の表示は行うが動きのある特定部分については合焦判定値３５等の表示はオフとする。
また、例えば３つの特定部分についてそれぞれ合焦判定情報ＦＩが計算されたときに、全ての特定部分で所定の速度以上の動きありと判定された場合、３つの合焦判定情報ＦＩに基づく合焦判定値３５等の表示は行わないようにする。即ち合成処理を行わないようにする。
【0106】
また、所定の速度以上の動きが検出された特定部分については、合焦判定情報ＦＩに基づく画像の表示が、信頼性が低いものであることを示す表示を行うことも考えられる。
例えば所定の速度以上の動きありと判定された特定部分については、合焦判定情報ＦＩに基づく合焦判定値３５等の表示は行うが、信頼性が低い旨のテキスト、アイコン等を表示させることで、ユーザにその旨を認識させる。
或いは合焦判定値３５等の色を変える、濃淡を変化させ薄くする、輝度を下げるなどの態様で、信頼性が低いことを提示してもよい。
また信頼性が低い旨のメッセージ表示を行うようにしてもよい。
例えば所定の速度以上の動きありと判定された特定部分については、合焦判定情報ＦＩに基づく合焦判定値３５等の表示は行うが、信頼性が低い旨のテキスト、アイコン等を表示させることで、ユーザにその旨を認識させる。
或いは合焦判定値３５等の色を変える、濃淡を変化させ薄くする、輝度を下げるなどの態様で、信頼性が低いことを提示してもよい。
また信頼性が低い旨のメッセージ表示を行うようにしてもよい。
【0107】
これらのようにすることで、動きのある特定部分については合焦判定値３５や合焦判定バー３６等の合焦度合いを示す表示の信頼性が低いことをユーザが認識でき、一時的に表示に頼らないマニュアルフォーカス操作を行うべきと判断できる。結果としてマニュアルフォーカス操作を適正に行うためのガイドになる。
【0108】
<５．第４の実施の形態>
第１の実施の形態で説明したケプストラムに基づく合焦度合いの数値は、おおよそのボケ具合を表現しているが、原画像データの影響が多少なりとも残っているため厳密な値とは言い切れない。そのため合焦判定値３５等の数値として絶対値を見ているだけでは、ユーザが完全にフォーカスが合っている状態にするのが難しいことになる可能性もある。つまり、定数とみなしている原画像データのケプストラムの影響がある場合もある。
しかし、同じ目の領域を写していれば原画像データのケプストラムは同じなので、処理対象としての入力画像データのケプストラムはＰＳＦのケプストラムのみに依存する。従ってＰＳＦの時間変位を見ることは可能であると言える。
第１の実施の形態で説明したケプストラムに基づく合焦度合いの数値は、おおよそのボケ具合を表現しているが、原画像データの影響が多少なりとも残っているため厳密な値とは言い切れない。そのため合焦判定値３５等の数値として絶対値を見ているだけでは、ユーザが完全にフォーカスが合っている状態にするのが難しいことになる可能性もある。つまり、定数とみなしている原画像データのケプストラムの影響がある場合もある。
しかし、同じ目の領域を写していれば原画像データのケプストラムは同じなので、処理対象としての入力画像データのケプストラムはＰＳＦのケプストラムのみに依存する。従ってＰＳＦの時間変位を見ることは可能であると言える。
【0109】
そこで、合焦度合いを数値化した合焦判定情報ＦＩをある一定の時間分保持しておき、保持している時間内で数値が改善しているか悪化しているかという変動状況を表示するようにすることが考えられる。
【0110】
例えば図１１に示すように、フォーカス判定部１８から合焦判定情報ＦＩを入力する変動情報生成部１６を設ける。
変動情報生成部１６は、入力画像データＤｉｎのフレーム毎に特定部分について計算された合焦判定情報ＦＩを例えばリングメモリ形態で一定時間記憶していくようにする。
そして例えば、保持している一定時間を前半／後半の半分に分け、各々の合焦判定情報ＦＩの平均値を算出する。そして前半と後半のそれぞれの平均値を比較して、前半の方が小さければフォーカスが合う方向に進んでいると評価し、前半の方が大きければフォーカスが合わない方向に進んでいると評価する。そしてそのようなフォーカスが合う方向に変動しているか合わない方向に変動しているかを示すフォーカス変動情報ＥＶを画像合成部１５に送る。
変動情報生成部１６は、入力画像データＤｉｎのフレーム毎に特定部分について計算された合焦判定情報ＦＩを例えばリングメモリ形態で一定時間記憶していくようにする。
そして例えば、保持している一定時間を前半／後半の半分に分け、各々の合焦判定情報ＦＩの平均値を算出する。そして前半と後半のそれぞれの平均値を比較して、前半の方が小さければフォーカスが合う方向に進んでいると評価し、前半の方が大きければフォーカスが合わない方向に進んでいると評価する。そしてそのようなフォーカスが合う方向に変動しているか合わない方向に変動しているかを示すフォーカス変動情報ＥＶを画像合成部１５に送る。
【0111】
画像合成部１５は、フォーカス変動情報ＥＶに基づく画像データを生成し、スルー画像データＤｔｈｒに合成する処理を行う。
【0112】
これにより、例えば図１２Ａのような表示を実行させる。
図１２Ａでは、各人物５０ａ，５０ｂ，５０ｃにおいて、目が特定部分とされ、フォーカス枠３１が表示されるが、このフォーカス枠３１がフォーカス変動画像３７として用いられている。
図１２Ａでは、各人物５０ａ，５０ｂ，５０ｃにおいて、目が特定部分とされ、フォーカス枠３１が表示されるが、このフォーカス枠３１がフォーカス変動画像３７として用いられている。
【0113】
人物５０ａのフォーカス変動画像３７ａ（フォーカス枠３１ａ）を破線で示しているが、これは例えば赤色の枠画像であるとする。
人物５０ｂのフォーカス変動画像３７ｂ（フォーカス枠３１ｂ）を実線で示しているが、これは例えば緑色の枠画像であるとする。
人物５０ｃのフォーカス変動画像３７ｃ（フォーカス枠３１ｃ）を一点鎖線で示しているが、これは例えば青色の枠画像であるとする。
人物５０ｂのフォーカス変動画像３７ｂ（フォーカス枠３１ｂ）を実線で示しているが、これは例えば緑色の枠画像であるとする。
人物５０ｃのフォーカス変動画像３７ｃ（フォーカス枠３１ｃ）を一点鎖線で示しているが、これは例えば青色の枠画像であるとする。
【0114】
例えばフォーカスが合う方向に変動していることを青色で示し、合わない方向に変動していることを赤色にする。合焦状態からの変化が少ない場合は緑色で示すこととする。
つまり合焦度合いの時間的変動が、合焦度合いが上昇する変動であり合焦状態に近づいていると評価されるときは青色、合焦度合いが低下する変動であり合焦から遠ざかっていると評価されるときは赤色、合焦状態からの変動量の絶対値が所定以下であって、ほぼ合焦状態と評価できる場合は緑色で示すこととする。
すると、ユーザが人物５０ｂにフォーカスが合っている状況から、ファー方向にマニュアルフォーカス操作を開始したときに、このような表示となる。
これにより、フォーカスが合っている被写体と、マニュアルフォーカス操作により合焦に近づく方向、合焦から遠ざかる方向の各被写体が表現される。
つまり合焦度合いの時間的変動が、合焦度合いが上昇する変動であり合焦状態に近づいていると評価されるときは青色、合焦度合いが低下する変動であり合焦から遠ざかっていると評価されるときは赤色、合焦状態からの変動量の絶対値が所定以下であって、ほぼ合焦状態と評価できる場合は緑色で示すこととする。
すると、ユーザが人物５０ｂにフォーカスが合っている状況から、ファー方向にマニュアルフォーカス操作を開始したときに、このような表示となる。
これにより、フォーカスが合っている被写体と、マニュアルフォーカス操作により合焦に近づく方向、合焦から遠ざかる方向の各被写体が表現される。
【0115】
なお、ここではフォーカス枠３１をフォーカス変動画像３７として利用する例としたが、図６で説明した合焦判定値３５を表示させ、その合焦判定値３５をフォーカス変動画像３７として色が変化するようにすることで、フォーカス変動方向を表現するようにしてもよい。
【0116】
また図１２Ｂに示すように、合焦に近づくことを示すフォーカス変動画像３７ａや、合焦から遠ざかる方向であることを示すフォーカス変動画像３７ｂを、フォーカス枠３１の近傍に表示することなどにより、フォーカス変動方向を提示するようにしてもよい。
【0117】
図１３に処理例を示す。ステップＳ１０１からステップＳ１０６は図８と同様であり、重複説明を避ける。
画像処理装置１はステップＳ１２０、Ｓ１２１で変動情報生成部１６の処理を行う。ステップＳ１２０で画像処理装置１は、今回のフレームの合焦判定情報ＦＩを記憶する。そしてステップＳ１２１で画像処理装置１は、一定時間記憶されている合焦判定情報ＦＩを用いて、各特定部分についてのフォーカス変動方向を判定し、フォーカス変動情報ＥＶを生成する。
画像処理装置１はステップＳ１２０、Ｓ１２１で変動情報生成部１６の処理を行う。ステップＳ１２０で画像処理装置１は、今回のフレームの合焦判定情報ＦＩを記憶する。そしてステップＳ１２１で画像処理装置１は、一定時間記憶されている合焦判定情報ＦＩを用いて、各特定部分についてのフォーカス変動方向を判定し、フォーカス変動情報ＥＶを生成する。
【0118】
画像処理装置１はステップＳ１０７Ａで、１又は複数の特定部分についてのフォーカス変動情報ＥＶに基づく画像データを生成し、スルー画像データＤｔｈｒと合成し、ステップＳ１０８で合成画像データＤｍを出力する。
これによって表示デバイスにおいて例えば図１２Ａのような画像表示が行われる。
これによって表示デバイスにおいて例えば図１２Ａのような画像表示が行われる。
【0119】
このようにすることで、マニュアルフォーカス操作によるフォーカス変動方向が明示されるため、ユーザにとって目標の被写体に対して、ファー／ニアのどちらの方向にフォーカス操作を行ったらよいかがわかりやすいものとなる。
【0120】
<６．第５の実施の形態>
第１の実施の形態で説明した合焦判定値３５（合焦判定情報ＦＩの数値）は、おおよそのボケ具合を表現しているが、原画像の影響が多少なりとも残っているため厳密な値とは言い切れない。そのため、数値の絶対値を見ているだけでは、完全にフォーカスが合っている状態にするのが難しい場合が生じる可能性がある。
そこで、図１４に示すように、スルー画像３０に、より高解像度の切り出し画像４０を合成して表示するとこで、最終的なフォーカス合わせは目視確認できるようにすることが考えられる。
第１の実施の形態で説明した合焦判定値３５（合焦判定情報ＦＩの数値）は、おおよそのボケ具合を表現しているが、原画像の影響が多少なりとも残っているため厳密な値とは言い切れない。そのため、数値の絶対値を見ているだけでは、完全にフォーカスが合っている状態にするのが難しい場合が生じる可能性がある。
そこで、図１４に示すように、スルー画像３０に、より高解像度の切り出し画像４０を合成して表示するとこで、最終的なフォーカス合わせは目視確認できるようにすることが考えられる。
【0121】
具体的には、図５に破線で示すように、１又は複数の特定部分についての切り出し画像データＤｃが画像合成部１５に送られるようにする。画像合成部１５は、スルー画像データＤｔｈｒに対して、合焦判定情報ＦＩに基づく画像（合焦判定値３５）を合成するとともに、切り出し画像データＤｃの合成処理も行って合成画像データＤｍを生成する。
これにより図１４のようにスルー画像３０上に切り出し画像４０が重畳合成された表示を実現できる。もちろんスルー画像３０と切り出し画像４０を一画面内でエリア分割して示すようにしてもよい。
図９，図１１の構成の場合も、破線で示したように切り出し画像データＤｃが画像合成部１５に送られ合成されるようにしてもよい。
これにより図１４のようにスルー画像３０上に切り出し画像４０が重畳合成された表示を実現できる。もちろんスルー画像３０と切り出し画像４０を一画面内でエリア分割して示すようにしてもよい。
図９，図１１の構成の場合も、破線で示したように切り出し画像データＤｃが画像合成部１５に送られ合成されるようにしてもよい。
【0122】
切り出し画像データＤｃは、入力画像データＤｉｎから特定部分の近辺を切り出した画像であり、スルー画像データＤｔｈｒより高解像度である。従って、ユーザは切り出し画像４０によってフォーカス状態を微細に確認でき、フォーカス状態の微調整を行うことが容易となる。
特に撮像画像データ（入力画像データＤｉｎ）の解像度よりも、表示デバイスの解像度が低い場合、縮小処理をしてスルー画像データＤｔｈｒを生成し、スルー画像３０を表示することになる。このため、ユーザにとっては、スルー画像３０のみでは精細なフォーカス状態がわかりにくいことがある。このような状況下でも、切り出し画像４０が、入力画像データＤｉｎの解像度のまま切り出されたものであることで、フォーカス操作の際の目視確認が行いやすくなる。
特に撮像画像データ（入力画像データＤｉｎ）の解像度よりも、表示デバイスの解像度が低い場合、縮小処理をしてスルー画像データＤｔｈｒを生成し、スルー画像３０を表示することになる。このため、ユーザにとっては、スルー画像３０のみでは精細なフォーカス状態がわかりにくいことがある。このような状況下でも、切り出し画像４０が、入力画像データＤｉｎの解像度のまま切り出されたものであることで、フォーカス操作の際の目視確認が行いやすくなる。
【0123】
<７．第６の実施の形態>
第６の実施の形態の画像処理装置１の構成例を図１５に示す。これは上述の図５の構成に拡大／縮小部１７を加えたものである。
拡大／縮小部１７は、入力画像データＤｉｎについて拡大処理、又は縮小処理を行う。そして拡大又は縮小した画像データＤｅｓを画像切り出し部１３に供給する。画像切り出し部１３は、画像データＤｅｓに対して切り出し処理を行って切り出し画像データＤｃを生成する。
第６の実施の形態の画像処理装置１の構成例を図１５に示す。これは上述の図５の構成に拡大／縮小部１７を加えたものである。
拡大／縮小部１７は、入力画像データＤｉｎについて拡大処理、又は縮小処理を行う。そして拡大又は縮小した画像データＤｅｓを画像切り出し部１３に供給する。画像切り出し部１３は、画像データＤｅｓに対して切り出し処理を行って切り出し画像データＤｃを生成する。
【0124】
この場合、縮小処理としては、入力画像データＤｉｎを低解像度化することになるが、この縮小率は、画像縮小部１４によるスルー画像データＤｔｈｒへの縮小率よりは小さくする。即ち、画像データＤｅｓは、スルー画像データＤｔｈｒよりは高解像度であるものとする。
【0125】
これにより、図１４のように切り出し画像４０を表示する場合において、切り出し画像４０がスルー画像３０よりも高解像度であることを維持でき、フォーカス状態の確認に適した画像とすることができる。
【0126】
また切り出し画像４０を、ある程度以上の解像度を保つことで、フォーカス判定部１８における合焦判定情報ＦＩの算出も高い精度を維持できることになる。
【0127】
拡大／縮小部１７では、例えば超解像技術などにより、入力画像データＤｉｎをより高解像度化した画像データＤｅｓを生成するようにしてもよい。
この場合、より精細な切り出し画像４０を表示できることになる。
この場合、より精細な切り出し画像４０を表示できることになる。
【0128】
<８．まとめ及び変形例>
以上の実施の形態によれば次のような効果が得られる。
第１から第６の実施の形態の画像処理装置１は、入力画像データＤｉｎに含まれる被写体の特定部分についての合焦度合いを数値化した合焦判定情報ＦＩを生成するフォーカス判定部１８を備えている。
例えば人の目などの特定部分について合焦度合い、言い換えればボケ度合いを数値化した値を、合焦判定情報ＦＩとして生成することで、合焦度合いを可視化した情報をユーザに提供できるようになる。例えばユーザのフォーカス操作のアシストのために表示することで、ユーザにとって有益な情報を提供できる。
なお、例えば被写体人物の「右目」を特定部分として、複数の被写体人物に対して同じパーツを特定部分とすることで、各被写体人物についての合焦度合いの比較がしやすいものとなる。合焦判定情報の算出の材料となる特定部分が共通するためである。但し、ある人物が横を向いている状態などで、「右目」が検出できないときなどもあるが、その場合、他の特定部分に基づいて合焦判定情報を生成してもよい。例えば、顔のパーツからは右目、左目、右耳、左耳、口、鼻といった優先順位で特定部分とするようにしてもよい。
複数人物が被写体となっている場合は、なるべく共通のパーツを「特定部分」とすることが望ましいが、一部の被写体人物について他の部分（例えば耳）を特定部分としてもよい。また、人物、動物、物体などに応じて「特定部分」が異なるようにしてもよい。
以上の実施の形態によれば次のような効果が得られる。
第１から第６の実施の形態の画像処理装置１は、入力画像データＤｉｎに含まれる被写体の特定部分についての合焦度合いを数値化した合焦判定情報ＦＩを生成するフォーカス判定部１８を備えている。
例えば人の目などの特定部分について合焦度合い、言い換えればボケ度合いを数値化した値を、合焦判定情報ＦＩとして生成することで、合焦度合いを可視化した情報をユーザに提供できるようになる。例えばユーザのフォーカス操作のアシストのために表示することで、ユーザにとって有益な情報を提供できる。
なお、例えば被写体人物の「右目」を特定部分として、複数の被写体人物に対して同じパーツを特定部分とすることで、各被写体人物についての合焦度合いの比較がしやすいものとなる。合焦判定情報の算出の材料となる特定部分が共通するためである。但し、ある人物が横を向いている状態などで、「右目」が検出できないときなどもあるが、その場合、他の特定部分に基づいて合焦判定情報を生成してもよい。例えば、顔のパーツからは右目、左目、右耳、左耳、口、鼻といった優先順位で特定部分とするようにしてもよい。
複数人物が被写体となっている場合は、なるべく共通のパーツを「特定部分」とすることが望ましいが、一部の被写体人物について他の部分（例えば耳）を特定部分としてもよい。また、人物、動物、物体などに応じて「特定部分」が異なるようにしてもよい。
【0129】
第１から第６の実施の形態の画像処理装置１は、入力画像データＤｉｎに基づく画像に、合焦判定情報ＦＩに基づく画像が合成されて表示されるようにする合成処理を行う画像合成部１５を備えている。
合成処理によって、人の目などの特定部分について合焦度合いを可視化した画像を表示できるようにすることで、例えばユーザがマニュアルフォーカス操作時に、その表示内容を頼りに操作を行うことができるようになり、マニュアルフォーカスの目視確認のサポートを行うことができる。
入力画像データＤｉｎに基づく画像とは、入力画像データＤｉｎそのものでもよいし、入力画像データＤｉｎを低解像度化したスルー画像３０でもよい。また入力画像データＤｉｎを高解像度化した画像でもよいし、入力画像データＤｉｎの一部を切り出した画像でもよい。
合成処理によって、人の目などの特定部分について合焦度合いを可視化した画像を表示できるようにすることで、例えばユーザがマニュアルフォーカス操作時に、その表示内容を頼りに操作を行うことができるようになり、マニュアルフォーカスの目視確認のサポートを行うことができる。
入力画像データＤｉｎに基づく画像とは、入力画像データＤｉｎそのものでもよいし、入力画像データＤｉｎを低解像度化したスルー画像３０でもよい。また入力画像データＤｉｎを高解像度化した画像でもよいし、入力画像データＤｉｎの一部を切り出した画像でもよい。
【0130】
実施の形態の画像合成部１５は、入力画像データＤｉｎを低解像度化したスルー画像データＤｔｈｒと、合焦判定情報ＦＩに基づく画像データを合成するものとした。
スルー画像データＤｔｈｒと合焦判定情報ＦＩに基づく画像データを合成した合成画像データＤｍを生成して表示デバイスで表示させることにより、スルー画像３０上で合焦度合いを表現する画像が視認できるようになる。ユーザは、スルー画像３０をみながら、フォーカス目標となる特定部分の合焦状態を確認できることになる。
スルー画像データＤｔｈｒと合焦判定情報ＦＩに基づく画像データを合成した合成画像データＤｍを生成して表示デバイスで表示させることにより、スルー画像３０上で合焦度合いを表現する画像が視認できるようになる。ユーザは、スルー画像３０をみながら、フォーカス目標となる特定部分の合焦状態を確認できることになる。
【0131】
実施の形態の画像合成部１５は、合焦判定情報ＦＩに基づく数値画像が、特定部分に対応づけられて表示されるようにする合成処理を行う例を挙げた。
例えばスルー画像３０上で図６のように合焦度合いに基づく数値画像として合焦判定値３５が表示されることで、ユーザは、その数値により合焦度合いを明確に知ることができ、マニュアルフォーカス操作の適切なガイドとなる。
表示される数値は、合成判定情報の値自体でもよいし、合成判定情報を正規化した値でもよい。また合成判定情報に基づいて合焦度合いをレベル化したときのレベル値のような値でもよい。
例えばスルー画像３０上で図６のように合焦度合いに基づく数値画像として合焦判定値３５が表示されることで、ユーザは、その数値により合焦度合いを明確に知ることができ、マニュアルフォーカス操作の適切なガイドとなる。
表示される数値は、合成判定情報の値自体でもよいし、合成判定情報を正規化した値でもよい。また合成判定情報に基づいて合焦度合いをレベル化したときのレベル値のような値でもよい。
【0132】
実施の形態では、画像合成部１５が、合焦判定情報ＦＩを形状、又は色、又は輝度、又は濃淡で表現する画像が、特定部分に対応づけられて表示されるようにする合成処理を行う例を述べた。
例えばスルー画像３０上で図７のように合焦判定情報ＦＩに応じた長さとされる合焦判定バー３６が表示されることで、ユーザは、その形状（合焦判定バー３６の長さ）により合焦度合いを直感的に知ることができ、マニュアルフォーカス操作の適切なガイドとなる。
なお図７の例は合焦判定バー３６に限らず、円グラフ状の表示など、他の形状の例も考えられる。また図形、アイコン等の画像の濃淡、輝度、色、サイズなどの変化、或いはそれらの複合的な変化で合焦判定情報の値を表現するような表示としてもよい。さらには特定部分自体の色や輝度や濃淡で、合焦判定情報の値を表現するような表示を行ってもよい。これらのグラフィカルな表示で合焦度合いを示すことで、ユーザが直感的に分かりやすいものとすることができる。
例えばスルー画像３０上で図７のように合焦判定情報ＦＩに応じた長さとされる合焦判定バー３６が表示されることで、ユーザは、その形状（合焦判定バー３６の長さ）により合焦度合いを直感的に知ることができ、マニュアルフォーカス操作の適切なガイドとなる。
なお図７の例は合焦判定バー３６に限らず、円グラフ状の表示など、他の形状の例も考えられる。また図形、アイコン等の画像の濃淡、輝度、色、サイズなどの変化、或いはそれらの複合的な変化で合焦判定情報の値を表現するような表示としてもよい。さらには特定部分自体の色や輝度や濃淡で、合焦判定情報の値を表現するような表示を行ってもよい。これらのグラフィカルな表示で合焦度合いを示すことで、ユーザが直感的に分かりやすいものとすることができる。
【0133】
実施の形態では、画像合成部１５が、入力画像データＤｉｎに基づく画像内（例えばスルー画像３０内）で、特定部分の近辺に、合焦判定情報ＦＩに基づく画像が合成されて表示されるように合成処理を行う例を挙げた。
例えば図６のように特定部分である目の近辺（目に対して表示されたフォーカス枠３１の近辺）に合焦判定情報に基づく画像が表示されるようにすることで、ユーザがスルー画像３０をみたときに、どの特定部分がどの程度の合焦度合いであるかを極めて容易に把握できるようになる。
なお図６の例では、特定部分を示すフォーカス枠３１の近傍に合焦判定値３５が表示されているが、フォーカス枠３１と離れて合焦判定値３５等が表示されてもよい。図７の例では、特定部分を示すフォーカス枠３１と合焦判定バー３６が離れて表示されている。
これらのように離れて表示される場合でも、例えばフォーカス枠３１の色と、対応する合焦判定値３５の色を同一にすることで、各合焦判定値３５が、どのフォーカス枠３１の値なのかが分かるようにするなど、対応関係が確認できるようにすればよい。例えば特定部分の近辺に合焦判定情報に基づく画像を表示すると、画面が煩わしくなるような場合は、離れて表示されるようにすることが好適となる。
これを考えると、特定部分の近辺に合焦判定情報に基づく画像を表示する表示モードと、特定部分と離して合焦判定情報に基づく画像を表示するモードをユーザが切り替えることができるようにし、ユースケースや好みに応じて表示状態を選択できるようにすることも有用である。
例えば図６のように特定部分である目の近辺（目に対して表示されたフォーカス枠３１の近辺）に合焦判定情報に基づく画像が表示されるようにすることで、ユーザがスルー画像３０をみたときに、どの特定部分がどの程度の合焦度合いであるかを極めて容易に把握できるようになる。
なお図６の例では、特定部分を示すフォーカス枠３１の近傍に合焦判定値３５が表示されているが、フォーカス枠３１と離れて合焦判定値３５等が表示されてもよい。図７の例では、特定部分を示すフォーカス枠３１と合焦判定バー３６が離れて表示されている。
これらのように離れて表示される場合でも、例えばフォーカス枠３１の色と、対応する合焦判定値３５の色を同一にすることで、各合焦判定値３５が、どのフォーカス枠３１の値なのかが分かるようにするなど、対応関係が確認できるようにすればよい。例えば特定部分の近辺に合焦判定情報に基づく画像を表示すると、画面が煩わしくなるような場合は、離れて表示されるようにすることが好適となる。
これを考えると、特定部分の近辺に合焦判定情報に基づく画像を表示する表示モードと、特定部分と離して合焦判定情報に基づく画像を表示するモードをユーザが切り替えることができるようにし、ユースケースや好みに応じて表示状態を選択できるようにすることも有用である。
【0134】
第３の実施の形態では、特定部分の動き検出を行う動き検出部１９を備え、画像合成部１５は、合焦判定情報ＦＩに基づく画像の表示状態を、対応する特定部分についての動き検出部１９による動き検出結果に応じて変更することを述べた。
動きがある被写体の場合、いわゆる動きボケが生じ、これによって合焦判定情報ＦＩの信頼性が低下する。そのため表示状態を変更することで、動きがある場合に適した表示状態とする。
動きがある被写体の場合、いわゆる動きボケが生じ、これによって合焦判定情報ＦＩの信頼性が低下する。そのため表示状態を変更することで、動きがある場合に適した表示状態とする。
【0135】
第３の実施の形態では、画像合成部１５は、動き検出部１９による所定以上の速さの動きが検出された特定部分については、合焦判定情報に基づく画像の表示をオフとする例を述べた。つまり特定部分についての動きの有無に応じて、合焦判定情報ＦＩを表現する画像の表示のオン／オフを切り替える。
所定以上の速さの動きにより、合焦判定情報ＦＩの信頼性が低下した場合は、その特定部分についての合焦判定情報ＦＩを表現する画像を表示しないようにすることで、信頼性が担保できない情報をユーザに提示しないようにすることができる。
なお、スルー画像３０内で、特定部分の全てに動きがあるとは限らない。複数の特定部分の一部のみに動きがある場合、動きのない（動きの早さが所定未満）特定部分については、合焦判定情報ＦＩを表現する画像の表示を行えばよい。
所定以上の速さの動きにより、合焦判定情報ＦＩの信頼性が低下した場合は、その特定部分についての合焦判定情報ＦＩを表現する画像を表示しないようにすることで、信頼性が担保できない情報をユーザに提示しないようにすることができる。
なお、スルー画像３０内で、特定部分の全てに動きがあるとは限らない。複数の特定部分の一部のみに動きがある場合、動きのない（動きの早さが所定未満）特定部分については、合焦判定情報ＦＩを表現する画像の表示を行えばよい。
【0136】
第３の実施の形態では、画像合成部１５は、動き検出部１９による所定以上の速さの動きが検出された特定部分については、合焦判定情報ＦＩに基づく画像の表示態様を変更する例も述べた。例えば特定部分についての動きの有無に応じて、合焦判定情報ＦＩを表現する画像の例えば色、輝度、濃淡、サイズ、形状などを変更する。
所定以上の速さの動きにより、合焦判定情報ＦＩの信頼性が低下した場合は、その特定部分についての合焦判定情報ＦＩを表現する画像の表示態様を変更することで、その画像については信頼性が担保できないことをユーザに伝えることができる。
所定以上の速さの動きにより、合焦判定情報ＦＩの信頼性が低下した場合は、その特定部分についての合焦判定情報ＦＩを表現する画像の表示態様を変更することで、その画像については信頼性が担保できないことをユーザに伝えることができる。
【0137】
第４の実施の形態では、合焦判定情報ＦＩに基づいて、合焦度合いの時間的変動を示すフォーカス変動情報ＥＶを生成する変動情報生成部１６を備え、画像合成部１５は、入力画像データＤｉｎに基づく画像（例えばスルー画像３０）に、フォーカス変動情報ＥＶに基づく画像が合成されて表示されるようにする合成処理を行う例を述べた。
ユーザのマニュアルフォーカス操作によって、特定部分について、フォーカスが合う方向に変化しているか、ボケる方向に変化しているかが、フォーカス変動画像３７により明示される。これによりマニュアルフォーカス操作の好適なガイドとなる。ユーザは、目的の被写体について、フォーカス変動画像３７が合焦する方向を示すように操作すればよいためである。これは第１の実施の形態のような合焦度合いを示す表示に代えても有用である。
特にフォーカス変動情報ＥＶに基づく画像を、合焦に近づく変動であるときと合焦から遠ざかる変動であるときとで、異なる表示形態となるようにする。さらに合焦状態からの合焦度合いの時間的変動が所定以下の場合も、それらと異なる表示形態となるようにする。このような表示形態の違いにより、フォーカス変動を認識し易いものとすることができる。
ユーザのマニュアルフォーカス操作によって、特定部分について、フォーカスが合う方向に変化しているか、ボケる方向に変化しているかが、フォーカス変動画像３７により明示される。これによりマニュアルフォーカス操作の好適なガイドとなる。ユーザは、目的の被写体について、フォーカス変動画像３７が合焦する方向を示すように操作すればよいためである。これは第１の実施の形態のような合焦度合いを示す表示に代えても有用である。
特にフォーカス変動情報ＥＶに基づく画像を、合焦に近づく変動であるときと合焦から遠ざかる変動であるときとで、異なる表示形態となるようにする。さらに合焦状態からの合焦度合いの時間的変動が所定以下の場合も、それらと異なる表示形態となるようにする。このような表示形態の違いにより、フォーカス変動を認識し易いものとすることができる。
【0138】
第４の実施の形態では、フォーカス変動情報ＥＶに基づく画像は、形状、又は色、又は濃淡により、合焦度合いの時間的変動を示す画像とされる例を挙げた。
図１２の例のように、形状、又は色、又は輝度、又は濃淡、或いはそれらの複合により、フォーカス状態の変動を示すことで、ユーザが、マニュアルフォーカス操作により、各特定部分に対してフォーカスが合う方向に遷移しているか、ボケる方向に遷移しているかが、直感的にわかるようにすることができ、操作性を向上させる。
図１２の例のように、形状、又は色、又は輝度、又は濃淡、或いはそれらの複合により、フォーカス状態の変動を示すことで、ユーザが、マニュアルフォーカス操作により、各特定部分に対してフォーカスが合う方向に遷移しているか、ボケる方向に遷移しているかが、直感的にわかるようにすることができ、操作性を向上させる。
【0139】
第５の実施の形態では、画像合成部１５は、入力画像データＤｉｎに基づく画像（例えばスルー画像３０）と特定部分を含む切り出し画像４０が合成されるようにする合成処理を行う例を挙げた。
切り出し画像データＤｃを合成することで、図１４のようにスルー画像３０と切り出し画像４０が同時に一画面で視認できるようになる。ユーザは、スルー画像３０で被写体側を確認しながら、切り出し画像４０によりキーポイントに対するフォーカス状態を精細に確認できることになる。従って、合焦判定値３５で合焦度合いを認識しながら、実際の画像状態も切り出し画像４０により精細に確認できる。
もちろん、図７のような合焦判定バー３６や、或いは他の形状、色、輝度、サイズにより合焦判定情報に基づく画像が表示される場合に、切り出し画像４０も表示されるようにしてもよい。
さらに、第３の実施の形態のように、動き検出に応じて表示状態を切り替える場合に、切り出し画像４０を表示させてもよい。
さらに第４の実施の形態のように、フォーカス変動情報ＥＶに基づくフォーカス変動画像３７とともに切り出し画像４０を表示させてもよい。
いずれの場合も、合焦判定情報やフォーカス変動情報に基づく表示によるガイドに加えて、切り出し画像４０で実際の画像の状態を確認できる。
切り出し画像データＤｃを合成することで、図１４のようにスルー画像３０と切り出し画像４０が同時に一画面で視認できるようになる。ユーザは、スルー画像３０で被写体側を確認しながら、切り出し画像４０によりキーポイントに対するフォーカス状態を精細に確認できることになる。従って、合焦判定値３５で合焦度合いを認識しながら、実際の画像状態も切り出し画像４０により精細に確認できる。
もちろん、図７のような合焦判定バー３６や、或いは他の形状、色、輝度、サイズにより合焦判定情報に基づく画像が表示される場合に、切り出し画像４０も表示されるようにしてもよい。
さらに、第３の実施の形態のように、動き検出に応じて表示状態を切り替える場合に、切り出し画像４０を表示させてもよい。
さらに第４の実施の形態のように、フォーカス変動情報ＥＶに基づくフォーカス変動画像３７とともに切り出し画像４０を表示させてもよい。
いずれの場合も、合焦判定情報やフォーカス変動情報に基づく表示によるガイドに加えて、切り出し画像４０で実際の画像の状態を確認できる。
【0140】
第５の実施の形態において、切り出し画像４０を合成する、入力画像データＤｉｎに基づく画像とは、入力画像データＤｉｎを低解像度化したスルー画像３０であるとする例を挙げた。
この場合、切り出し画像４０は、スルー画像３０よりも高解像度の画像となる。従って切り出し画像４０は、スルー画像３０よりもフォーカス状態が確認し易いものとなりフォーカスアシストのための画像として好適なものとなる。
この場合、切り出し画像４０は、スルー画像３０よりも高解像度の画像となる。従って切り出し画像４０は、スルー画像３０よりもフォーカス状態が確認し易いものとなりフォーカスアシストのための画像として好適なものとなる。
【0141】
実施の形態における合焦判定情報ＦＩは、画像データを周波数空間に変換し、周波数空間におけるパワースペクトルを対数変換し、さらに逆フーリエ変換して求めた情報に基づく情報であるとした。いわゆるケプストラムに基づく合焦判定情報ＦＩを求める。
目などの特定部分であれば、ケプストラムはボケ具合を数値化する有効な情報となるため、これに基づいて、信頼性の高い合焦判定情報を得ることができる。
目などの特定部分であれば、ケプストラムはボケ具合を数値化する有効な情報となるため、これに基づいて、信頼性の高い合焦判定情報を得ることができる。
【0142】
第１の実施の形態で説明したように、画像認識部１１は、入力画像データＤｉｎを画像縮小部１０で低解像度化した画像データを用いて被写体認識処理を行う。
これにより被写体認識処理の処理負荷を下げることができる。特に入力画像データＤｉｎが８Ｋ、４Ｋなどの高精細画像である場合、そのままでは解析処理負担が重いものであるとともに、例えば２Ｋ程度に低解像度化しても、精度のよい被写体認識処理が可能であるため、画像縮小部１０で低解像度化を行うことが望ましいものとなる。
なお、入力画像データＤｉｎを縮小しないまま、画像認識部１１において被写体認識処理を行うようにしてもよい。画像認識部１１の処理能力が高い場合は、より解像度の高い画像を対象にして被写体認識処理を行うようにすることで、被写体認識精度を高めることもできる。
これにより被写体認識処理の処理負荷を下げることができる。特に入力画像データＤｉｎが８Ｋ、４Ｋなどの高精細画像である場合、そのままでは解析処理負担が重いものであるとともに、例えば２Ｋ程度に低解像度化しても、精度のよい被写体認識処理が可能であるため、画像縮小部１０で低解像度化を行うことが望ましいものとなる。
なお、入力画像データＤｉｎを縮小しないまま、画像認識部１１において被写体認識処理を行うようにしてもよい。画像認識部１１の処理能力が高い場合は、より解像度の高い画像を対象にして被写体認識処理を行うようにすることで、被写体認識精度を高めることもできる。
【0143】
実施の形態のプログラムは、図８、図１０、或いは図１３のような処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、入力画像データＤｉｎに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報ＦＩを生成する処理を演算処理装置に実行させるプログラムである。
このようなプログラムにより、本開示の画像処理装置１を、演算処理装置を用いて容易に実現できる。
即ち実施の形態のプログラムは、入力画像データＤｉｎに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報ＦＩを生成する処理を演算処理装置に実行させるプログラムである。
このようなプログラムにより、本開示の画像処理装置１を、演算処理装置を用いて容易に実現できる。
【0144】
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤ（Hard Disk Drive）や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0145】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0146】
なお本技術は以下のような構成も採ることができる。
（１）
入力画像データに含まれる被写体の特定部分についての合焦度合いを数値化した合焦判定情報を生成するフォーカス判定部を備えた
画像処理装置。
（２）
前記入力画像データに基づく画像に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えた
上記（１）に記載の画像処理装置。
（３）
前記画像合成部は、
前記入力画像データを低解像度化したスルー画像データと、前記合焦判定情報に基づく画像データを合成する
上記（２）に記載の画像処理装置。
（４）
前記画像合成部は、
前記合焦判定情報に基づく数値画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行う
上記（２）又は（３）に記載の画像処理装置。
（５）
前記画像合成部は、
前記合焦判定情報を形状、又は色、又は輝度、又は濃淡で表現する画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行う
上記（２）から（４）のいずれかに記載の画像処理装置。
（６）
前記画像合成部は、
前記入力画像データに基づく画像内で、前記特定部分の近辺に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行う
上記（２）から（５）のいずれかに記載の画像処理装置。
（７）
前記特定部分の動き検出を行う動き検出部を備え、
前記画像合成部は、
前記合焦判定情報に基づく画像の表示状態を、対応する前記特定部分についての前記動き検出部による動き検出結果に応じて変更する
上記（２）から（６）のいずれかに記載の画像処理装置。
（８）
前記画像合成部は、
前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示をオフとする
上記（７）に記載の画像処理装置。
（９）
前記画像合成部は、
前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示態様を変更する
上記（７）に記載の画像処理装置。
（１０）
前記合焦判定情報に基づいて、合焦度合いの時間的変動を示すフォーカス変動情報を生成する変動情報生成部と、
前記入力画像データに基づく画像に、前記フォーカス変動情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えた
上記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記フォーカス変動情報に基づく画像は、形状、又は色、又は輝度、又は濃淡により、合焦度合いの時間的変動を示す画像とされる
上記（１０）に記載の画像処理装置。
（１２）
前記フォーカス変動情報に基づく画像は、
合焦度合いの時間的変動が、合焦に近づく変動であるときと、合焦から遠ざかる変動であるときとで、異なる表示形態となるようにする
上記（１０）又は（１１）に記載の画像処理装置。
（１３）
前記フォーカス変動情報に基づく画像は、
合焦状態からの合焦度合いの時間的変動が所定以下の場合は、合焦に近づく変動であるときの表示態様、及び合焦から遠ざかる変動であるときの表示態様とも異なる表示形態となるようにする
上記（１２）に記載の画像処理装置。
（１４）
前記画像合成部は、前記入力画像データに基づく画像と前記特定部分を含む切り出し画像が合成されるようにする合成処理を行う
上記（２）から（１３）のいずれかに記載の画像処理装置。
（１５）
前記入力画像データに基づく画像は前記入力画像データを低解像度化したスルー画像であり、
前記切り出し画像は、前記スルー画像よりも高い解像度の画像である
上記（１４）に記載の画像処理装置。
（１６）
前記合焦判定情報は、
画像データを周波数空間に変換し、周波数空間におけるパワースペクトルを対数変換し、さらに逆フーリエ変換して求めた情報に基づく情報である
上記（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理を画像処理装置が行う
画像処理方法。
（１８）
入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理を
演算処理装置に実行させるプログラム。
（１）
入力画像データに含まれる被写体の特定部分についての合焦度合いを数値化した合焦判定情報を生成するフォーカス判定部を備えた
画像処理装置。
（２）
前記入力画像データに基づく画像に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えた
上記（１）に記載の画像処理装置。
（３）
前記画像合成部は、
前記入力画像データを低解像度化したスルー画像データと、前記合焦判定情報に基づく画像データを合成する
上記（２）に記載の画像処理装置。
（４）
前記画像合成部は、
前記合焦判定情報に基づく数値画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行う
上記（２）又は（３）に記載の画像処理装置。
（５）
前記画像合成部は、
前記合焦判定情報を形状、又は色、又は輝度、又は濃淡で表現する画像が、前記特定部分に対応づけられて表示されるようにする合成処理を行う
上記（２）から（４）のいずれかに記載の画像処理装置。
（６）
前記画像合成部は、
前記入力画像データに基づく画像内で、前記特定部分の近辺に、前記合焦判定情報に基づく画像が合成されて表示されるようにする合成処理を行う
上記（２）から（５）のいずれかに記載の画像処理装置。
（７）
前記特定部分の動き検出を行う動き検出部を備え、
前記画像合成部は、
前記合焦判定情報に基づく画像の表示状態を、対応する前記特定部分についての前記動き検出部による動き検出結果に応じて変更する
上記（２）から（６）のいずれかに記載の画像処理装置。
（８）
前記画像合成部は、
前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示をオフとする
上記（７）に記載の画像処理装置。
（９）
前記画像合成部は、
前記動き検出部による所定以上の速さの動きが検出された前記特定部分については、前記合焦判定情報に基づく画像の表示態様を変更する
上記（７）に記載の画像処理装置。
（１０）
前記合焦判定情報に基づいて、合焦度合いの時間的変動を示すフォーカス変動情報を生成する変動情報生成部と、
前記入力画像データに基づく画像に、前記フォーカス変動情報に基づく画像が合成されて表示されるようにする合成処理を行う画像合成部を備えた
上記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記フォーカス変動情報に基づく画像は、形状、又は色、又は輝度、又は濃淡により、合焦度合いの時間的変動を示す画像とされる
上記（１０）に記載の画像処理装置。
（１２）
前記フォーカス変動情報に基づく画像は、
合焦度合いの時間的変動が、合焦に近づく変動であるときと、合焦から遠ざかる変動であるときとで、異なる表示形態となるようにする
上記（１０）又は（１１）に記載の画像処理装置。
（１３）
前記フォーカス変動情報に基づく画像は、
合焦状態からの合焦度合いの時間的変動が所定以下の場合は、合焦に近づく変動であるときの表示態様、及び合焦から遠ざかる変動であるときの表示態様とも異なる表示形態となるようにする
上記（１２）に記載の画像処理装置。
（１４）
前記画像合成部は、前記入力画像データに基づく画像と前記特定部分を含む切り出し画像が合成されるようにする合成処理を行う
上記（２）から（１３）のいずれかに記載の画像処理装置。
（１５）
前記入力画像データに基づく画像は前記入力画像データを低解像度化したスルー画像であり、
前記切り出し画像は、前記スルー画像よりも高い解像度の画像である
上記（１４）に記載の画像処理装置。
（１６）
前記合焦判定情報は、
画像データを周波数空間に変換し、周波数空間におけるパワースペクトルを対数変換し、さらに逆フーリエ変換して求めた情報に基づく情報である
上記（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理を画像処理装置が行う
画像処理方法。
（１８）
入力画像データに含まれる被写体の特定部分についての合焦度合い数値化した合焦判定情報を生成する処理を
演算処理装置に実行させるプログラム。
【符号の説明】
【0147】
１ 画像処理装置
６ 表示装置
７ コントロールユニット
１０，１４ 画像縮小部
１１ 画像認識部
１３ 画像切り出し部
１５ 画像合成部
１６ 変動情報生成部
１７ 拡大／縮小部
１８ フォーカス判定部
１９ 動き検出部
２０ 画面
３０ スルー画像
３１，３１ａ，３１ｂ，３１ｃ フォーカス枠
３５，３５ａ，３５ｂ，３５ｃ，合焦判定値
３６，３６ａ，３６ｂ，３６ｃ，合焦判定バー
３７，３７ａ，３７ｂ フォーカス変動画像
４０ 切り出し画像
６ 表示装置
７ コントロールユニット
１０，１４ 画像縮小部
１１ 画像認識部
１３ 画像切り出し部
１５ 画像合成部
１６ 変動情報生成部
１７ 拡大／縮小部
１８ フォーカス判定部
１９ 動き検出部
２０ 画面
３０ スルー画像
３１，３１ａ，３１ｂ，３１ｃ フォーカス枠
３５，３５ａ，３５ｂ，３５ｃ，合焦判定値
３６，３６ａ，３６ｂ，３６ｃ，合焦判定バー
３７，３７ａ，３７ｂ フォーカス変動画像
４０ 切り出し画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】