知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024175256
(43)【公開日】2024-12-18
(54)【発明の名称】情報処理装置および撮像装置
(51)【国際特許分類】
H04N 23/63 20230101AFI20241211BHJP
H04N 23/54 20230101ALI20241211BHJP
H04N 23/60 20230101ALI20241211BHJP
G03B 17/18 20210101ALI20241211BHJP
G03B 15/00 20210101ALI20241211BHJP
【ＦＩ】
H04N23/63 330
H04N23/54
H04N23/60 500
G03B17/18
G03B15/00 Q
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023092891
(22)【出願日】2023-06-06
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【弁理士】
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【弁理士】
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【弁理士】
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】細井 一輝
(72)【発明者】
【氏名】樫山 法史
(72)【発明者】
【氏名】西田 徳朗
(72)【発明者】
【氏名】長谷川 啓行
(72)【発明者】
【氏名】中村 廣輝
【テーマコード（参考）】
2H102
5C122
【Ｆターム（参考）】
2H102AA41
2H102AB23
2H102BB06
2H102BB08
2H102BB26
5C122DA12
5C122EA06
5C122EA47
5C122FA06
5C122FB03
5C122FC01
5C122FC02
5C122FC06
5C122FD03
5C122FD07
5C122FF03
5C122FH14
5C122FK24
5C122FK34
5C122FK37
5C122FK41
5C122HA13
5C122HA35
5C122HA46
5C122HB01
5C122HB05
5C122HB06
5C122HB10
(57)【要約】
【課題】撮像領域のうち対象物の検出に適切な範囲をユーザに分かりやすく表示する。
【解決手段】情報処理装置１０５は、光学系を通して撮像領域を撮像することにより生成された第１画像および光学系の収差に関する第１情報を取得し、第１情報および第１画像から検出する対象物の大きさに関する設定情報に応じて撮像領域のうち第１範囲を決定する。第１画像のうち第１範囲内の領域を第１範囲外の領域と区別可能に表示する又は第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力する。
【選択図】図９
【解決手段】情報処理装置１０５は、光学系を通して撮像領域を撮像することにより生成された第１画像および光学系の収差に関する第１情報を取得し、第１情報および第１画像から検出する対象物の大きさに関する設定情報に応じて撮像領域のうち第１範囲を決定する。第１画像のうち第１範囲内の領域を第１範囲外の領域と区別可能に表示する又は第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力する。
【選択図】図９
【特許請求の範囲】
【請求項1】
光学系を通して撮像領域を撮像することにより生成された第１画像および前記光学系の収差に関する第１情報を取得する取得手段と、
前記第１情報および前記第１画像から検出する対象物の大きさに関する設定情報に応じて前記撮像領域のうち第１範囲を決定する決定手段と、
前記第１画像のうち前記第１範囲内の領域を前記第１範囲外の領域と区別可能に表示する又は前記第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力する処理手段とを有することを特徴とする情報処理装置。
前記第１情報および前記第１画像から検出する対象物の大きさに関する設定情報に応じて前記撮像領域のうち第１範囲を決定する決定手段と、
前記第１画像のうち前記第１範囲内の領域を前記第１範囲外の領域と区別可能に表示する又は前記第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力する処理手段とを有することを特徴とする情報処理装置。
【請求項2】
前記収差は、像面湾曲収差および非点収差のうち少なくとも一方を含むことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記取得手段は、前記光学系の絞り値に関する絞り情報を取得し、
前記決定手段は、前記第１情報、前記絞り情報および前記設定情報に応じて前記第１範囲を決定することを特徴とする請求項１に記載の情報処理装置。
前記決定手段は、前記第１情報、前記絞り情報および前記設定情報に応じて前記第１範囲を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記取得手段は、撮像素子により撮像が行われる場合において、前記対象物を含む被写体に対する前記撮像素子の平行度合いに応じて変化する第２情報を取得し、
前記処理手段は、前記第１範囲内の領域に前記第２情報に応じて前記平行度合いを調整するユーザに対するガイドとなる第３情報を含む前記第２画像を出力することを特徴とする請求項１に記載の情報処理装置。
前記処理手段は、前記第１範囲内の領域に前記第２情報に応じて前記平行度合いを調整するユーザに対するガイドとなる第３情報を含む前記第２画像を出力することを特徴とする請求項１に記載の情報処理装置。
【請求項5】
前記第２画像は、前記第３情報を前記第１範囲内の領域の四隅に含むことを特徴とする請求項４に記載の情報処理装置。
【請求項6】
前記第２情報は、前記被写体に対する前記光学系のフォーカス状態に関する情報または前記撮像素子から前記被写体までの距離に関する情報であることを特徴とする請求項４に記載の情報処理装置。
【請求項7】
前記撮像素子の複数の画素はそれぞれ、前記光学系の瞳のうち互いに異なる領域からの光を受光する複数の光電変換素子を有し、
前記取得手段は、前記複数の画素の前記複数の光電変換素子から出力された信号を用いて生成された対の像信号の位相差から前記第２情報を取得することを特徴とする請求項６に記載の情報処理装置。
前記取得手段は、前記複数の画素の前記複数の光電変換素子から出力された信号を用いて生成された対の像信号の位相差から前記第２情報を取得することを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記処理手段は、ユーザの設定に応じて前記第１範囲を変更することを特徴とする請求項１に記載の情報処理装置。
【請求項9】
前記第２画像から前記対象物を検出する検出手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項10】
前記処理手段は、前記第２画像を、画像の表示が可能な表示手段に出力することを特徴とする請求項１に記載の情報処理装置。
【請求項11】
請求項１から１０のいずれか一項に記載の情報処理装置と、
前記光学系を通した撮像を行う撮像素子とを有することを特徴とする撮像装置。
前記光学系を通した撮像を行う撮像素子とを有することを特徴とする撮像装置。
【請求項12】
光学系を通して撮像領域を撮像することにより生成された第１画像および前記光学系の収差に関する第１情報を取得するステップと、
前記第１情報および前記第１画像から検出する対象物の大きさに関する設定情報に応じて前記撮像領域のうち第１範囲を決定するステップと、
前記第１画像のうち前記第１範囲内の領域を前記第１範囲外の領域と区別可能に表示する又は前記第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力するステップとを有することを特徴とする情報処理方法。
前記第１情報および前記第１画像から検出する対象物の大きさに関する設定情報に応じて前記撮像領域のうち第１範囲を決定するステップと、
前記第１画像のうち前記第１範囲内の領域を前記第１範囲外の領域と区別可能に表示する又は前記第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力するステップとを有することを特徴とする情報処理方法。
【請求項13】
コンピュータに、請求項１２に記載の情報処理方法に従う処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像により得られる画像にＵＩ（User Interface）となる情報を重畳させた画像を生成する情報処理装置に関する。
【背景技術】
【0002】
橋梁やトンネル等の構造物のメンテナンス用点検において、コンクリートのひび割れを検出する手法として、ＡＩ（Artificial Intelligence）を用いたものがある。具体的には、デジタルカメラ等の撮像装置により点検対象物を撮像し、撮像により得られた画像をディープラーニングによって学習されたひび割れ検出ネットワークに入力することでひび割れを検出する。この際、撮像装置内の撮像素子が点検対象物に正対した状態で撮像が行われないと、ひびを検出できなかったりひびの長さが正確に検出されなかったりすることがある。
【0003】
特許文献１には、被写体に対する測距結果からユーザが撮像素子を被写体に平行にするための正対情報をＵＩ（以下、正対ＵＩという）として表示し、撮像素子のあおりを修正する方向をユーザに知らせるカメラが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平０８－１８６７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
撮像装置により光学系を通した撮像を行うと、光学系の収差の影響によって撮像により得られた画像の一部にぼけが生じ、ぼけた部分に対してＡＩを用いたひび検出を行うと、ひび検出精度が低下する。このため、ひびを検出する対象範囲を撮像領域のうちぼけが少ない範囲に収める必要がある。
【0006】
しかしながら、特許文献１では正対ＵＩを撮像領域に対応する表示画像の四隅に表示するだけであるため、撮像領域におけるぼけが少ない範囲をユーザが判別しにくい。
【0007】
本発明は、撮像領域のうち検出対象物の検出に適切な範囲をユーザに分かりやすく表示するための画像を生成できるようにした情報処理装置およびこれを備えた撮像装置等を提供する。
【課題を解決するための手段】
【0008】
本発明の一側面としての情報処理装置は、光学系を通して撮像領域を撮像することにより生成された第１画像および光学系の収差に関する第１情報を取得する取得手段と、第１情報および第１画像から検出する対象物の大きさに関する設定情報に応じて撮像領域のうち第１範囲を決定する決定手段と、第１画像のうち第１範囲内の領域を第１範囲外の領域と区別可能に表示する又は第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力する処理手段とを有することを特徴とする。なお、上記情報処理装置を有する撮像装置も、本発明の他の一側面を構成する。
【0009】
また本発明の他の一側面としての情報処理方法は、光学系を通して撮像領域を撮像することにより生成された第１画像および光学系の収差に関する第１情報を取得するステップと、第１情報および第１画像から検出する対象物の大きさに関する設定情報に応じて撮像領域のうち第１範囲を決定するステップと、第１画像のうち第１範囲内の領域を第１範囲外の領域と区別可能に表示する又は第１画像のうち第１範囲内の領域のみを表示する第２画像を出力するステップとを有することを特徴とする。なお、コンピュータに上記情報処理方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。
【発明の効果】
【0010】
本発明によれば、撮像領域のうち検出対象物の検出に適切な範囲をユーザに分かりやすく表示するための画像を生成することができる。
【図面の簡単な説明】
【0011】
【図1】実施例としての撮像装置の構成を示すブロック図。
【図2】撮像素子の受光面の一部を示す図。
【図3】実施例における距離情報を算出する処理を示すフローチャート。
【図4】相関演算を示す図。
【図5】相関演算を示す別の図。
【図6】実施例１における画像生成および表示処理を示すフローチャート。
【図7】ひび検出メニューの例を示す図。
【図8】撮像領域における有効範囲の例を示す図。
【図9】有効範囲内での正対ＵＩの表示例を示す図。
【発明を実施するための形態】
【0012】
以下、本発明の実施例について図面を参照しながら説明する。まず後述する具体的な実施例１～３の処理を実行する情報処理装置を搭載した撮像装置（デジタルカメラ）について説明する。図１は、撮像装置１００の構成を示している。撮像装置１００は、撮像による画像の取得、画像に対する処理および画像の記録を行う。
【0013】
内部バス１０１には、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、画像処理部１０５、レンズユニット１０６、撮像部１０７、ネットワークモジュール１０８、映像端子１０９、記録媒体Ｉ／Ｆ１１０、表示部１１４および物体検出部１１５が接続されている。内部バス１０１に接続された各部は、内部バス１０１を介して互いにデータのやり取りを行うことができる。
【0014】
レンズユニット１０６は、ズームレンズ、フォーカスレンズおよび絞り機構を含む光学系と、光学系を駆動するモータとを有する。レンズユニット１０６により形成される光学像は、撮像部１０７に含まれるＣＣＤセンサやＣＭＯＳセンサ等の撮像素子によりアナログ電気信号としての撮像信号に変換（すなわち撮像）される。撮像部１０７は、撮像素子から出力される撮像信号をデジタル信号（画像データ）に変換するＡ／Ｄ変換部も含む。撮像素子は、撮像面位相差センサであり、その詳細については後述する。
【0015】
コンピュータとしてのＣＰＵ１０２は、ＲＯＭ１０３に格納されたプログラムに従ってＲＡＭ１０４をワークメモリとして用いて動作することで、撮像装置１００の各部を制御する。
【0016】
ＲＯＭ１０３は、不揮発性のメモリであり、ＣＰＵ１０２を動作させるためのプログラムや各種パラメータ等を記録している。ＲＡＭ１０４は、揮発性のメモリである。フレームメモリ１１１は、画像データを一時的に保存するメモリであり、必要な時に画像データを読み出すことができる。フレームメモリ１１１を使用することで、互いに異なるタイミングでの撮像により得られた画像の合成や撮像により得られた画像から特定の領域を切り出す等の処理を行うことができる。
【0017】
情報処理装置としての画像処理部１０５は、ＣＰＵ１０２による制御に基づいて、撮像部１０７からの画像データまたはフレームメモリ１１１や記録媒体１１２に格納された画像データに対して各種画像処理を行う。画像処理部１０５が行う画像処理には、画像データの画素補間、符号化処理、圧縮処理、デコード処理、拡大／縮小（リサイズ）処理、ノイズ低減処理、色変換処理等が含まれる。また、画像処理部１０５は、撮像素子の複数の画素における性能ばらつきを補正したり、欠陥画素を補正したり、ホワイトバランスを補正したり、輝度を補正したり、レンズ特性により発生する歪みや周辺光量落ちを補正したりする。また画像処理部１０５は、後述する距離情報を生成する処理を行う。さらに画像処理部（検出手段）１０５は、撮像により得られた画像データのうち後述する有効範囲内の画像（第２画像）からＡＩを用いて検出対象物としての「ひび」を検出する処理を行う。
【0018】
なお、画像処理部１０５は画像処理を行う専用の画像処理コンピュータとして構成されてもよいし、画像処理部１０５の機能をＣＰＵ１０２が有してもよい。
【0019】
ＣＰＵ１０２は、画像処理部１０５から得られたレンズ制御用の演算結果に基づいてレンズユニット１０６の各モータを制御して、光学ズーム、フォーカシングおよび絞り調整を行う。またＣＰＵ１０２は、後述する姿勢検出部１１６により検出されたカメラ振れに応じて光学系の一部を構成するレンズを光軸に直交する方向に移動させることで像振れ補正を行ってもよい。
【0020】
操作部１１３は、ユーザによる操作を受け付けてＣＰＵ１０２や画像処理部１０５に該操作に対応する指示を出力する。操作部１１３は、スイッチ、ダイヤルおよびボタン等の操作部材を有する。操作部材には、電源スイッチ、モード切替えダイヤルおよびレリーズボタン等が含まれる。レリーズボタンは、ユーザにより半押し操作されることでＣＰＵ１０２にオートフォーカス（ＡＦ）や露光制御（ＡＥ）等の撮像準備動作の開始を指示する。またレリーズボタンは、ユーザにより全押し操作されることで、ＣＰＵ１０２に記録用画像データを取得するための撮像動作を開始させる。操作部１１３は、表示部１１４に設けられたタッチセンサであってもよい。
【0021】
表示手段としての表示部１１４は、画像処理部１０５で処理された画像や設定メニュー等を表示する。表示部１１４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）等の表示デバイスを有する。また表示部１１４には、前述したタッチセンサが設けられてもよい。
【0022】
ＣＰＵ１０２は、撮像装置１００の設定状態等をユーザに知らせるための文字情報やアイコン、また撮像装置１００の各種設定を行うための設定メニューの画像を生成し、これらを画像処理部１０５で処理された画像に重畳して表示部１１４に表示させる。
【0023】
映像端子１０９は、ＳＤＩ（Serial Digital Interface）やＨＤＭＩ（High Definition Multimedia Interface）（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）等の映像インタフェース用端子である。ＣＰＵ１０２は、映像端子１０９を通じて外部モニタ等に映像（画像データ）を出力することができる。
【0024】
ネットワークモジュール１０８は、画像データや音声信号の入出力を行うためのインタフェースである。ＣＰＵ１０２は、ネットワークモジュール１０８を通じてインターネット等を介して外部機器と通信し、画像データおよび音声信号だけでなく、コマンド等のコントロール信号の送受信を行うこともできる。ネットワークモジュール１０８は、無線通信タイプであってもよいし、有線通信タイプでもよい。
【0025】
記録媒体１１２は、画像データや各種設定データを記録することが可能なＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）等であり、記録媒体Ｉ／Ｆ１１０に着脱可能に装着される。
【0026】
物体検出部１１５は、例えば、ニューラルネットワークを用いたディープラーニングに代表される人工知能を用いて物体を検出する。ディープラーニングによる物体検出では、ＣＰＵ１０２はＲＯＭ１０３に格納されたプログラムやネットワーク構造や重みパラメータ等を物体検出部１１５に送信する。ネットワーク構造には、ＳＳＤ（Single Shot Multibox Detector）やＹＯＬＯ（You Only Look Once）等が挙げられる。物体検出部１１５は、ＣＰＵ１０２から得られる各種パラメータに基づいて、画像データから物体を検出する処理を行い、処理結果をＲＡＭ１０４に送る。
【0027】
姿勢検出部１１６は、角速度センサや加速度センサ等を用いて撮像装置１００の姿勢や振れを検出する。これにより撮像装置１００の傾きや手振れ等によるカメラ振れを検出することができる。
【0028】
図２（Ａ） は、赤（Ｒ）、青（Ｂ）および緑（Ｇｂ、Ｇｒ）の画素がベイヤー配列された撮像素子の一部を模式的に示している。図２（Ｂ）に示すように、各画素は２つの光電変換素子としてのフォトダイオードＡ、Ｂを有しており、該２つフォトダイオードＡ、Ｂには不図示の１つのマイクロレンズが設けられている。この構成により、２つフォトダイオードＡ、Ｂは、レンズユニット１０６の射出瞳のうち互いに異なる２つの領域からの光を受光してＡ信号とＢ信号を出力する。撮像部１０７は、撮像素子上の複数の画素のそれぞれから出力されるＡ信号とＢ信号をそれぞれ合成することで、位相差検出用の対の像信号（Ａ像信号とＢ像信号）が生成される。またＡ像信号とＢ像信号を加算することで、画像データを得るための撮像信号が生成される。
【0029】
撮像部１０７では、各画素からＡ信号とＢ信号を出力する以外に、互いに近接する複数の画素からのＡ信号とＢ信号のそれぞれを加算平均した値を出力することも可能である。加算平均した値を出力することで、撮像部１０７から信号を読み出す時間の短縮や内部バス１０１の帯域の削減ができる。
【0030】
ＣＰＵ１０２は、対の像信号に対する相関演算を行ってそれらの位相差を算出し、該位相差からデフォーカス量の情報を算出する。デフォーカス量は、レンズユニット１０６の合焦状態に対するデフォーカスの度合いを示す。ＣＰＵ１０２は、デフォーカス量が０を含む所定範囲内であれば合焦状態と判定し、デフォーカス量が正の場合と負の場合はそれぞれ前ピン状態と後ピン状態と判定する。ＣＰＵ１０２は、正または負のデフォーカス量に応じてレンズユニット１０６においてフォーカスレンズを駆動するモータを制御することで撮像面位相差ＡＦを行う。なお、ＣＰＵ１０２は算出した位相差の信頼度も算出する。さらにＣＰＵ１０２は、対の像信号間の視差とレンズユニット１０６の光学情報から三角測量の原理を用いて被写体までの距離を算出する。
【0031】
なお、図２（Ｂ）は画素ごとに２つのフォトダイオードが設けられている場合を示したが、画素ごとのフォトダイオードの数は３つ以上であってもよい。また撮像素子に互いに開口位置が異なる複数の画素を設け、該複数の画素を焦点検出における１画素として扱ってもよい。このように撮像素子は、位相差検出用の対の像信号が得られる構成であればよい。
【0032】
【0033】
図３のフローチャートは、画像処理部１０５が、撮像部１０７において撮像が開始されることに応じて、プログラムに従って実行する距離算出処理を示す。まずステップＳ３０１では、画像処理部１０５は、撮像部１０７から出力された撮像信号（Ａ像信号＋Ｂ像信号）とＡ像信号との差を求めることでＢ像信号を算出（取得）する。なお、本ステップでＡ像信号とＢ像信号をそれぞれ撮像部１０７から取得してもよい。この場合、撮像信号としてＡ像信号とＢ像信号を加算した信号を取得することができる。また、ステレオカメラのようにレンズユニットと撮像素子を２つずつ備えている場合は、２つの撮像素子のうち一方からＡ像信号を取得し、他方からＢ像信号を取得してもよい。
【0034】
次にステップＳ３０２では、画像処理部１０５は、Ａ像信号とＢ像信号に対して光学的な要因によるシェーディングの補正を行う。
【0035】
次にステップＳ３０３では、画像処理部１０５は、Ａ像信号とＢ像信号のそれぞれに対してフィルタ処理を行う。フィルタ処理は、例えば、ＦＩＲ（Finite Impulse Response）フィルタを用いるハイパスフィルタ処理である。以下では、ハイパスフィルタ処理が行われたＡ像信号とＢ像信号を用いる場合について説明するが、フィルタ係数を変えたバンドパスフィルタやローパスフィルタを用いたフィルタ処理を行ってもよい。
【0036】
次にステップＳ３０４では、画像処理部１０５は、ステップＳ３０３でフィルタ処理を行ったＡ像信号とＢ像信号のそれぞれを微小ブロックに分割し、分割ブロックごとに相関演算を行う。微小ブロックのサイズや形状について特に制限はなく、近接するブロックの一部同士が重なってもよい。
【0037】
以下、Ａ像信号とＢ像信号の相関演算について説明する。着目画素におけるＡ像信号の信号列をＡ像信号列Ｅ（１）～Ｅ（ｍ）とし、着目画素におけるＢ像信号の信号列をＢ像信号列Ｆ（１）～Ｆ（ｍ）とする。Ａ像信号列Ｅ（１）～Ｅ（ｍ）に対して、Ｂ像信号列Ｆ（１）～Ｆ（ｍ）を相対的にずらしながら、以下の式（１）を用いてこれら対の像信号列間のずれ量ｋにおける相関量Ｃ（ｋ）が演算される。
【0038】
【数1】
【0039】
式（１）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算において、ｎとｎ＋ｋがとる範囲は１からｍの範囲に限定される。ずれ量ｋは、整数値であり、対の像信号列の検出ピッチ（画素配置ピッチ）を単位とした相対的画素ずれ量である。ノイズが存在しない理想的な状態において、対の像信号列の相関が高い場合の式（１）の演算結果を図４に示す。
【0040】
図４に示すように、対の像信号列の相関が高いずれ量（ｋ＝ｋｊ＝０）において、相関量Ｃ（ｋ）が最小になる。離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記する。式（２）～（４）に示す３点内挿処理によって、連続的な相関量に対する最小値Ｃ（ｘ）を与える画素ずれ量（位相差）ｘが算出される。画素ずれ量ｘは実数値であり、単位をｐｉｘｅｌとする。
【0041】
【数2】
【0042】
【数3】
【0043】
【数4】
【0044】
式（４）のＳＬＯＰは、最小かつ極小となる相関量とそれに隣接する相関量における変化の傾きを表す。図４において、具体例として、
Ｃ（ｋｊ）＝Ｃ（０）＝１０００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１７００
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８３０
とする。この例では、ｋｊ＝０である。式（２）～（４）より、
ＳＬＯＰ＝８３０
ｘ＝－０．０７８ｐｉｘｅｌ
となる。合焦状態では、対の像信号列の画素ずれ量ｘは０．００が理想値である。
Ｃ（ｋｊ）＝Ｃ（０）＝１０００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１７００
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８３０
とする。この例では、ｋｊ＝０である。式（２）～（４）より、
ＳＬＯＰ＝８３０
ｘ＝－０．０７８ｐｉｘｅｌ
となる。合焦状態では、対の像信号列の画素ずれ量ｘは０．００が理想値である。
【0045】
一方、ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を図５に示す。図５に示すように、ランダムに分布しているノイズの影響により、対の像信号列間の相関が低下する。相関量Ｃ（ｋ）の最小値は、図４に示す最小値に比べて大きくなり、相関量の曲線は全体的に平坦な形状となる（最大値と最小値との差分の絶対値が小さくなる）。
【0046】
図５において、具体例として、
Ｃ（ｋｊ）＝Ｃ（０）＝１３００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１４８０
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８００
とする。この例では、ｋｊ＝０である。式（２）～（４）より、
ＳＬＯＰ＝５００
ｘ＝－０．３２ｐｉｘｅｌ
となる。
Ｃ（ｋｊ）＝Ｃ（０）＝１３００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１４８０
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８００
とする。この例では、ｋｊ＝０である。式（２）～（４）より、
ＳＬＯＰ＝５００
ｘ＝－０．３２ｐｉｘｅｌ
となる。
【0047】
図４に示すノイズが存在しない状態での演算結果と比べて、画素ずれ量ｘが理想値から離れている。
【0048】
対の像信号列間の相関が低い場合、相関量Ｃ（ｋ）の変化量が小さくなり、相関量の曲線は全体的に平坦な形状となるため、ＳＬＯＰの値が小さくなる。また、被写体像が低コントラストである場合にも、同様に対の像信号列間の相関が低くなり、相関量の曲線が平坦な形状となる。この性質に基づいて、算出された画素ずれ量ｘの信頼性をＳＬＯＰの値で判断することができる。すなわち、ＳＬＯＰの値が大きい場合には対の像信号列間の相関が高く、ＳＬＯＰの値が小さい場合には対の像信号列間に有意な相関が得られなかったと判断することができる。本実施例では、相関演算に式（１）を用いるため、対の像信号列間の相関が最も高いずれ量ｋにおいて相関量Ｃ（ｋ）が最小かつ極小となる。なお、別の方法として、対の像信号列間の相関が最も高いずれ量ｋにおいて相関量Ｃ（ｋ）が最大かつ極大となる相関演算法を用いてもよい。
【0049】
次にステップＳ３０５では、画像処理部１０５は、算出された画素ずれ量ｘの信頼度を算出する。信頼度は、ステップＳ３０４で算出した対の像信号の一致度を示すＣ（ｋｊ）とＳＬＯＰの値とで定義することができる。
【0050】
次にステップＳ３０６では、画像処理部１０５は、補間処理を行う。ステップＳ３０４で相関演算を行うことはできたが、ステップＳ３０５で算出した信頼度が低いために注目画素の画素ずれ量ｘを採用できない場合がある。その場合には、注目画素の周囲の画素で算出された画素ずれ量を用いて、注目画素の画素ずれ量を補間により取得する必要がある。補間の方法としては、周囲の画素で算出された画素ずれ量にメディアンフィルタを掛けてもよいし、画素ずれ量のデータを縮小した後に再度拡大する方法を用いてもよい。また、撮像信号から色データを抽出し、該色データを用いて画素ずれ量を補間してもよい。
【0051】
次にステップＳ３０７では、画像処理部１０５は、ステップＳ３０４で算出された又はステップＳ３０６で補間により取得された画素ずれ量ｘを参照してデフォーカス量を計算する。デフォーカス量（ＤＥＦ）は、以下の式（５）で求めることができる。
【0052】
【数5】
【0053】
式（５）において、Ｐは検出ピッチと対の視差画像（Ａ像信号とＢ像信号）における２つの視点の投影中心間の距離（Ａ像信号を生成する撮像素子の重心とＢ像信号を生成する撮像素子の重心との間の距離）とによって決まる変換係数であり、単位はｍｍ／ｐｉｘｅｌである。
【0054】
次にステップＳ３０８では、画像処理部１０５は、ステップＳ３０７で算出したデフォーカス量から距離を算出する。被写体までの距離をＤａとし、レンズユニット１０６の焦点位置をＤｂ、焦点距離をＦとしたときに近似的に以下の式（６）が成り立つ。
【0055】
【数6】
【0056】
したがって、被写体までの距離Ｄａは、
【0057】
【数7】
【0058】
となる。
ＤＥＦ＝０のときのＤｂをＤｂ０とすると、式（７）は、
ＤＥＦ＝０のときのＤｂをＤｂ０とすると、式（７）は、
【0059】
【数8】
【0060】
となり、被写体までの絶対距離Ｄａ′を求めることができる。相対距離Ｄａ－Ｄａ′は、式（７）と式（８）より、
【0061】
【数9】
【0062】
で求めることができる。
【0063】
以上の図３で示した処理により、Ａ像信号とＢ像信号から画素ずれ量、デフォーカス量および被写体までの距離を取得することができる。
【0064】
このようにして取得される光学系のフォーカス状態に関する情報（画素ずれ量やデフォーカス量等）または撮像素子から被写体までの距離に関する情報（上記相対距離等）は、後述する実施例１では被写体における複数箇所で第２情報として取得される。複数箇所で取得された第２情報は、被写体に対する撮像部（撮像素子の撮像面）１０７の平行度合いに応じて変化する。第２情報は、後述する第３情報としての正対情報の生成に用いられる。以下の説明において、距離に関する情報を距離情報という。なお、フォーカス状態は、距離に応じて変化するものでもあるため、距離に関する情報に含めてもよい。また、フォーカス状態や距離に関する情報は、フォーカス状態や距離自体に限らず、フォーカス状態や距離に変換可能または対応付けられた情報であればよい。
【実施例0065】
具体的な実施例１として、図６～図９を用いて撮像装置１００（ＣＰＵ１０２と画像処理部１０５）が行う処理について説明する。本実施例では、例として、コンクリート壁等の平面の被写体を撮像装置１００の画角（撮像領域）内に収めて撮像し、特に被写体に存在する検出対象物である「ひび」を撮像する場合について説明する。検出対象物は、ひび以外のものであってもよい。
【0066】
図６のフローチャートは、ＣＰＵ１０２と画像処理部１０５がプログラムに従って実行する処理を示している。画像処理部１０５が撮像部１０７から入力画像としての画像データ（第１画像）の取得を開始するとともに、ＣＰＵ１０２がステップＳ６０１からの処理を開始する。画像処理部１０５は、取得手段、決定手段および処理手段として機能する。
【0067】
まずステップＳ６０１において、ＣＰＵ１０２は、オートフォーカス（ＡＦ）モードがコンティニュアスＡＦモードか否かを判定する。コンティニュアスＡＦモードは、レリーズボタンの操作に関わらず常にＡＦを繰り返すモードである。ＡFモードがコンティニュアスAFモードである場合はステップＳ６０４の処理を行い、コンティニュアスAFモードでない場合はステップＳ６０２の処理を行う。
【0068】
ステップＳ６０２では、ＣＰＵ１０２は、レリーズボタンが半押し操作されているか否かを判定する。レリーズボタンが半押し操作されている場合はステップＳ６０４の処理を行い、半押し操作されていない場合はステップＳ６０３の処理を行う。
【0069】
ステップＳ６０３では、ＣＰＵ１０２は、画像処理部１０５に、ステップＳ６０１から後述するステップＳ６１６で表示部１１４に表示される全てのＵＩを非表示にさせる。ここにいうＵＩには、後述する正対情報が含まれる。その後、ステップＳ６０１に戻る。
【0070】
ステップＳ６０４では、画像処理部１０５は、ＣＰＵ１０２を通じてレンズユニット１０６からレンズ情報を取得し、そのレンズ情報から光学系の収差に関する情報（第１情報：以下、収差情報という）を取得する。本実施例における収差情報は、単色収差、すなわち像面湾曲収差や非点収差等に関する情報であり、これらの収差のうちいずれかを含めばよい。収差情報は、収差量を直接示すものだけでなく、収差量に変換可能または対応付けられた情報であってもよい。
【0071】
この後、画像処理部１０５は、ステップＳ６０５の処理を行う。この際、レンズユニット１０６からレンズ情報を取得できない場合には、画像処理部１０５は、レンズユニット１０６が収差情報を有していないものとみなしてステップＳ６０５の処理を行う。
【0072】
ステップＳ６０５では、画像処理部１０５は、ＣＰＵ１０２を通じてレンズユニット１０６の絞りに関する絞り情報として、絞り機構に対して設定されたて絞り値を取得する。絞り情報は、絞り値自体を示すものでもよいし、絞り値に変換可能または対応付けられたものでもよい。
【0073】
画像処理部１０５は、取得した絞り値が撮像により得られる画像内に小絞りぼけを生じさせるような絞り値である場合には、ＣＰＵ１０２を通じて自動的に絞り値を下げてもよいし、小絞りぼけを生じさせる絞り値である旨を伝える警告を表示部１１４に表示してもよい。小絞りぼけは、絞りを絞るほど光の回折現象によって画像全体がぼける現象である。小絞りぼけを生じさせる最も小さい絞り値をプリセット値として保存しておき、取得した絞り値がプリセット値より大きい場合に自動的に絞り値を下げたり警告を表示したりすればよい。
【0074】
次にステップＳ６０６では、画像処理部１０５は、ひび検出精度の設定情報を取得する。ひび検出精度の設定情報は、検出対象物としてのひびの大きさ（幅）に関する情報であり、ひびの幅自体を示すものでもよいし、ひびの幅に変換可能または対応付けられたものでもよい。また、ひび検出精度の設定情報は、プリセット値として保存されている情報であってもよいし、ユーザが表示部１１４に表示された設定メニューを見ながら操作部１１３の操作を通じて任意に設定する情報であってもよい。
【0075】
図７は、表示部１１４に表示されるひび検出精度の設定メニュー７００の例を示している。設定メニュー７００には、ユーザにより選択可能なひびの幅（０．５mm、１mm、２mm、３mm）が表示されている。ひびの幅は、検出対象物の大きさに相当する。ユーザが操作部１１３の操作により選択したいひびの幅上にカーソル７０１を移動させることで、そのひびの幅がひび検出精度として設定される。なお、表示部１１４にタッチセンサが設けられている場合は、表示画面におけるユーザが選択したいひびの幅をタッチすることでひび検出精度として設定される。
【0076】
次にステップＳ６０７では、画像処理部１０５は、ステップＳ６０４で収差情報が取得できたか否かを判定する。収差情報が取得できた場合はステップＳ６０８の処理を行い、収差情報が取得できなかった場合はステップＳ６１２の処理を行う。
【0077】
ステップＳ６１２では、画像処理部１０５は、収差情報が取得できなかった旨を伝える警告を表示部１１４に表示する。その後、ステップＳ６１３に進む。
【0078】
ステップＳ６０８では、画像処理部１０５は、ステップＳ６０４で取得した収差情報とステップＳ６０５で取得した絞り値とステップＳ６０６で取得したひび検出精度の設定情報に応じて撮像画面（撮像領域）内の第１範囲としての有効範囲を決定する。ここにいう有効範囲とは、設定されたひび検出精度に対して光学系の収差（以下、レンズ収差という）と絞り値に応じたぼけが少ない（又は無いとみなせる）範囲であり、高い信頼性でひび検出が可能な範囲である。有効範囲は、設定されたひび検出精度での撮像において撮像画面のうち検出対象物であるひびを収めるべき範囲である。
【0079】
一般に、レンズ収差による画像のぼけは、絞り径を絞ること低減される。また、検出するひびの幅が大きければ、画像がぼけていてもひびの検出は可能である。このため、レンズ収差、絞り値および検出するひびの幅（ひび検出精度）に応じて、信頼性が高いひび検出結果が得られる有効範囲が決まる。
【0080】
画像処理部１０５は、この有効範囲の情報をレンズ収差、絞り値およびひび検出精度の設定情報に応じたプリセット値のデータテーブルとして保持しておく。具体的には、設定されたひび検出精度が高いほど、レンズ収差と絞り値に応じた撮像素子上での被写体像のぼけが少なくなる有効範囲がプリセット値として設定される。画像処理部１０５は、このデータテーブルから撮像時のレンズ収差、絞り値およびひび検出精度の設定情報に対応するプリセット値を読み出す。そして、この読み出したプリセット値が示す範囲をこの後の処理で用いる有効範囲として決定する。
【0081】
有効範囲の情報は、どのような形態の情報であってもよい。例えば、画像データの各画素に対してその画素が有効範囲内の画素か否かを示す２値のフラグデータを有効範囲の情報としてよいし、有効範囲の外縁の画素を示す座標データを有効範囲の情報としてもよい。また有効範囲外の画素に対して有効範囲外であることを示すデータを有効範囲の情報としてもよい。
【0082】
図８（ａ）、（ｂ）は、撮像画面８００内にて決定された有効範囲８０１の例を示し、ステップＳ６０６で取得されたひび検出精度の設定情報に応じて、決定される有効範囲が変化することを示している。撮像画面８００内の斜線部は有効範囲外であることを示す。
【0083】
図８（ａ）では、右側に示すように設定されたひび検出精度（ひびの幅）が１ｍｍである場合の有効範囲を左側に示している。図８（ｂ）では、右側に示すように設定されたひび検出精度が２ｍｍである場合の有効範囲の左側に示している。
【0084】
なお、設定されたひび検出精度だけでなく、ステップＳ６０４で取得された収差情報やステップＳ６０５で取得された絞り値に応じても有効範囲は変化する。
【0085】
また、画像処理部１０５が決定した有効範囲内において、ユーザが操作部１１３の操作を通じて任意の有効範囲を変更してもよい。また、ＣＰＵ１０２は、絞り値やひび検出精度にかかわらず、撮像画面のうちレンズ収差によるぼけが生じている領域を除いた領域を有効範囲として決定してもよい。
【0086】
さらに、画像処理部１０５は、ユーザが操作部１１３の操作を通じて設定した、あるいはデータテーブルから読み出した有効範囲が狭すぎると判定した場合は、光学系のズームや絞り値変更等を促す情報を表示部１１４に表示してもよい。
【0087】
次にステップＳ６０９では、画像処理部１０５は、ステップＳ６０８で決定された有効範囲を表示部１１４に表示する方法を決定する。有効範囲の表示方法としては種々の方法を採ることができる。例えば、表示部１１４に有効範囲の外縁を示す枠を表示してもよいし、有効範囲外を暗く又は網掛けして表示することで有効範囲が分かるように表示してもよい。また、画像データのうち有効範囲内の画像領域のみをクリップして表示部１１４にトリミング表示したり表示部１１４の全体に拡大表示したりすることで、有効範囲を示す枠等を表示しなくてもよい。さらに、後述する正対情報を有効範囲内の画像領域の四隅に表示することにより、有効範囲を示す枠等を表示することなく有効範囲を有効範囲外と区別可能にしてもよい。
【0088】
表示方法は、ユーザが操作部１１３の操作を通じて任意に選択することができる。
【0089】
次にステップＳ６１０では、画像処理部１０５は、ステップＳ６０９で決定された有効範囲の表示方法に応じて、有効範囲内（第１範囲内）を有効範囲外（第１範囲外）と区別可能に表示するか否かを判定する。例えば、決定された表示方法が有効範囲の外縁を示す枠を表示したり有効範囲外を暗く又は網掛けして有効範囲を表示したりする方法である場合は有効範囲内を有効範囲外と区別可能に表示するものとしてステップＳ６１１の処理を行う。一方、有効範囲内の画像領域を表示部１１４の全体に拡大表示する場合は有効範囲内を有効範囲外とを区別可能に表示しないものとしてステップＳ６１３の処理を行う。
【0090】
ステップＳ６１１では、画像処理部１０５は、ステップＳ６０９で決定された表示方法に応じて、有効範囲内を有効範囲外と区別可能な画像（第２画像）を生成し、これを表示部１１４に出力して表示させる。このステップをスキップした画像処理部１０５は、有効範囲内の画像領域を拡大した画像（第２画像）を生成し、これを表示部１１４に出力して表示させる。
【0091】
ステップＳ６１３では、画像処理部１０５に、被写体に対する正対情報を取得（生成）する。正対情報については後述する。
【0092】
次にステップＳ６１４では、画像処理部１０５は、表示部１１４に表示された有効範囲の画像上にステップＳ６１３で取得した正対情報（第３情報）を重畳表示するための重畳画像（第２画像）を生成する。図９（ａ）は、撮像により得られた画像データに応じて表示部１１４に表示された画像に対して、有効範囲８０１の外縁を示す枠が重畳されるとともに有効範囲外が網掛け表示され、さらに有効範囲８０１内の画像の四隅に正対情報９００を重畳した画像の例を示している。画像処理部１０５は、このような表示を行うための重畳画像を生成して表示部１１４に出力する。
【0093】
正対情報９００は、被写体に対する撮像部１０７の平行度合い（正対度合い）が高くなるように撮像装置１００の傾きを調整するユーザにとってガイドとなる情報である。本実施例では、正対情報９００として、図９（ａ）に示すようなＵＩである正対表示マーカを有効範囲８０１内の四隅に表示する。正対情報９００は、前述したように、光学系のフォーカス状態に関する情報または撮像素子から被写体までの距離に関する情報を用いて生成される。
【0094】
図９（ａ）中の正対表示マーカは、被写体に対するフォーカス状態（デフォーカス方向と合焦状態）を表示するフォーカスマーカである。合焦状態にあるときは、図９（ｂ）に示すように、フォーカス状態を検出する領域またはその付近を囲む枠と、頂点同士が一致するように上下で向かい合った２つの三角形が表示される。この合焦状態を示すフォーカスマーカが有効範囲の四隅に表示された状態では、これを見たユーザは撮像部１０７の被写体に対する平行度合いが高い（ほぼ平行である）、すなわち撮像部１０７が被写体に正対していると知ることができる。
【0095】
被写体より近くに合焦している前ピンの状態では、図９（ａ）中の右側上下のフォーカスマーカのように、上記枠と、頂点が互いに上斜め内側を向いた下側の２つの三角形と、頂点が下向きの１つの三角形とが表示される。被写体より遠くに合焦している後ピンの状態では、図９（ａ）中のフォーカスマーカのように、上記枠と、頂点が互いに下斜め内側を向いた上側の２つの三角形と、頂点が上向きの１つの三角形とが表示される。このように右側上下のフォーカスマーカが前ピン状態を示し、左側上下のフォーカスマーカが後ピン状態を示す場合は、これを見たユーザは撮像部１０７が被写体に対して正対していないと知ることができる。この際、ユーザは、撮像部１０７の右側が被写体から離れ、左側が被写体に近づくように傾いていると知ることができる。
【0096】
なお、図９（ａ）、（ｂ）に示したフォーカスマーカとは異なるフォーカスマーカを表示させてもよい。例えば、合焦状態、前ピン状態および後ピン状態で色が異なるフォーカスマーカを表示させたり、図９（ａ）、（ｂ）のフォーカスマーカとは形状が異なるフォーカスマーカを表示させたりしてもよい。また、正対表示マーカをフォーカス状態を示すものではなく、被写体に対する正対状態か非正対状態かを示すものとしてもよいし、被写体に正対させるための撮像装置１００の傾き調整方向を示すものであってもよい。また、撮像部１０７の被写体に対する平行度合いを定量値にして表示してもよい。例えば、距離情報から得られる正対状態（被写体に平行な位置）からのずれ距離を定量値として、有効領域の四隅に表示してもよい。
【0097】
さらに、正対表示マーカを有効範囲の四隅に表示する必要はなく、ユーザによる操作部１１３の操作を通じてユーザが任意に設定してもよい。有効範囲の外縁を示す枠の色や有効範囲内の透過率を変えて正対状態と非正対状態を示してもよい。
【0098】
また、距離情報は、図３に示した処理に限らず、撮像素子とは別に撮像装置１００に設けられた、被写体までの距離を測定可能な測距装置を用いて取得してもよい。測距装置としては、レーダやＬｉＤＡＲ（Light Detection and Ranging）等が挙げられる。
【0099】
次にステップＳ６１５では、ＣＰＵ１０２は、レリーズボタンが全押し操作されたか否かを判定する。レリーズボタンが全押し操作された場合はステップＳ６１６の処理を行い、レリーズボタンが全押し操作されていない場合はステップＳ６０１に戻る。
【0100】
ステップＳ６１６では、ＣＰＵ１０２は、画像処理部１０５に、表示部１１４に表示されていた正対表示マーカを含むＵＩを非表示にさせる。その後、本処理を終了する。この際、全てのＵＩを非表示にしてもよいし、一部のＵＩのみを非表示にしてもよい。また、ＵＩを非表示とすることなく、ＵＩの大きさ、色または透過率を変更してもよい。ＣＰＵ１０２は、本ステップの処理を行うとともに、撮像部１０７に記録用の撮像を行わせる。記録用の撮像においては、有効範囲内の画像データのみをクリップして記録媒体１１２に記録するようにしてもよいし、有効範囲を示す情報をメタデータとして記録画像データに付加してもよい。
【0101】
以上説明した処理を行うことで、撮像画面のうち収差によるぼけが少ない、つまりは検出する対象物を収めるべき適切な有効範囲をユーザに分かりやすく表示することができる。さらに有効範囲内での被写体との正対度合いを正対情報によりユーザに分かりやすく表示することができる。
【0102】
上記実施例では、情報処理装置としての画像処理部１０５が撮像装置１００に内蔵されている場合について説明した。しかし、画像処理部１０５と同様の機能を有する（同様の機能を実現するプログラムに従って動作する）パーソナルコンピュータが、撮像装置とは別の情報処理装置として設けられてもよい。この場合、情報処理装置が、撮像装置から取得される画像に対して有効範囲の決定や正対情報の重畳処理を行い、それらの処理がなされた画像（第２画像）を撮像装置の表示部や外部モニタに出力して表示させるようにしてもよい。
【0103】
以上の実施の形態は、以下の構成を含む。
【0104】
（構成１）
光学系を通して撮像領域を撮像することにより生成された第１画像および前記光学系の収差に関する第１情報を取得する取得手段と、
前記第１情報および前記第１画像から検出する対象物の大きさに関する設定情報に応じて前記撮像領域のうち第１範囲を決定する決定手段と、
前記第１画像のうち前記第１範囲内の領域を前記第１範囲外の領域と区別可能に表示する又は前記第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力する処理手段とを有することを特徴とする情報処理装置。
（構成２）
前記収差は、像面湾曲収差および非点収差のうち少なくとも一方を含むことを特徴とする構成１に記載の情報処理装置。
（構成３）
前記取得手段は、前記光学系の絞り値に関する絞り情報を取得し、
前記決定手段は、前記第１情報、前記絞り情報および前記設定情報に応じて前記第１範囲を決定することを特徴とする構成１または２に記載の情報処理装置。
（構成４）
前記取得手段は、撮像素子により撮像が行われる場合において、前記対象物を含む被写体に対する前記撮像素子の平行度合いに応じて変化する第２情報を取得し、
前記処理手段は、前記第１範囲内の領域に前記第２情報に応じて前記平行度合いを調整するユーザに対するガイドとなる第３情報を含む前記第２画像を出力することを特徴とする構成１から３のいずれか１つに記載の情報処理装置。
（構成５）
前記第２画像は、前記第３情報を前記第１範囲内の領域の四隅に含むことを特徴とする構成４に記載の情報処理装置。
（構成６）
前記第２情報は、前記被写体に対する前記光学系のフォーカス状態に関する情報または前記撮像素子から前記被写体までの距離に関する情報であることを特徴とする構成４または５に記載の情報処理装置。
（構成７）
前記撮像素子の複数の画素はそれぞれ、前記光学系の瞳のうち互いに異なる領域からの光を受光する複数の光電変換素子を有し、
前記取得手段は、前記複数の画素の前記複数の光電変換素子から出力された信号を用いて生成された対の像信号の位相差から前記第２情報を取得することを特徴とする構成６に記載の情報処理装置。
（構成８）
前記処理手段は、ユーザの設定に応じて前記第１範囲を変更することを特徴とする構成１から７のいずれか１つに記載の情報処理装置。
（構成９）
前記第２画像から前記対象物を検出する検出手段を有することを特徴とする構成１から８のいずれか１つに記載の情報処理装置。
（構成１０）
前記処理手段は、前記第２画像を、画像の表示が可能な表示手段に出力することを特徴とする構成１から９のいずれか１つに記載の情報処理装置。
光学系を通して撮像領域を撮像することにより生成された第１画像および前記光学系の収差に関する第１情報を取得する取得手段と、
前記第１情報および前記第１画像から検出する対象物の大きさに関する設定情報に応じて前記撮像領域のうち第１範囲を決定する決定手段と、
前記第１画像のうち前記第１範囲内の領域を前記第１範囲外の領域と区別可能に表示する又は前記第１画像のうち前記第１範囲内の領域のみを表示する第２画像を出力する処理手段とを有することを特徴とする情報処理装置。
（構成２）
前記収差は、像面湾曲収差および非点収差のうち少なくとも一方を含むことを特徴とする構成１に記載の情報処理装置。
（構成３）
前記取得手段は、前記光学系の絞り値に関する絞り情報を取得し、
前記決定手段は、前記第１情報、前記絞り情報および前記設定情報に応じて前記第１範囲を決定することを特徴とする構成１または２に記載の情報処理装置。
（構成４）
前記取得手段は、撮像素子により撮像が行われる場合において、前記対象物を含む被写体に対する前記撮像素子の平行度合いに応じて変化する第２情報を取得し、
前記処理手段は、前記第１範囲内の領域に前記第２情報に応じて前記平行度合いを調整するユーザに対するガイドとなる第３情報を含む前記第２画像を出力することを特徴とする構成１から３のいずれか１つに記載の情報処理装置。
（構成５）
前記第２画像は、前記第３情報を前記第１範囲内の領域の四隅に含むことを特徴とする構成４に記載の情報処理装置。
（構成６）
前記第２情報は、前記被写体に対する前記光学系のフォーカス状態に関する情報または前記撮像素子から前記被写体までの距離に関する情報であることを特徴とする構成４または５に記載の情報処理装置。
（構成７）
前記撮像素子の複数の画素はそれぞれ、前記光学系の瞳のうち互いに異なる領域からの光を受光する複数の光電変換素子を有し、
前記取得手段は、前記複数の画素の前記複数の光電変換素子から出力された信号を用いて生成された対の像信号の位相差から前記第２情報を取得することを特徴とする構成６に記載の情報処理装置。
（構成８）
前記処理手段は、ユーザの設定に応じて前記第１範囲を変更することを特徴とする構成１から７のいずれか１つに記載の情報処理装置。
（構成９）
前記第２画像から前記対象物を検出する検出手段を有することを特徴とする構成１から８のいずれか１つに記載の情報処理装置。
（構成１０）
前記処理手段は、前記第２画像を、画像の表示が可能な表示手段に出力することを特徴とする構成１から９のいずれか１つに記載の情報処理装置。
【0105】
（構成１１）
構成１から１０のいずれか１つに記載の情報処理装置と、
前記光学系を通した撮像を行う撮像素子とを有することを特徴とする撮像装置。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
構成１から１０のいずれか１つに記載の情報処理装置と、
前記光学系を通した撮像を行う撮像素子とを有することを特徴とする撮像装置。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0106】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【0107】
１００ 撮像装置
１０２ ＣＰＵ
１０５ 画像処理部
１０６ レンズユニット
１０７ 撮像部
１１４ 表示部
９００ 正対表示マーカ
１０２ ＣＰＵ
１０５ 画像処理部
１０６ レンズユニット
１０７ 撮像部
１１４ 表示部
９００ 正対表示マーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
