特許 7551302 画像処理装置、撮像装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-06

(45)【発行日】2024-09-17

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240909BHJP

   H04N 23/667 20230101ALI20240909BHJP

   G03B 15/00 20210101ALI20240909BHJP

【ＦＩ】

H04N23/60

H04N23/60 500

H04N23/667

H04N23/60 100

G03B15/00 Q

【請求項の数】 25

(21)【出願番号】P 2020030774

(22)【出願日】2020-02-26

(65)【公開番号】P2021136549

(43)【公開日】2021-09-13

【審査請求日】2023-02-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】高橋 隆弘

(72)【発明者】

【氏名】塩澤 崇史

(72)【発明者】

【氏名】野林 和哉

(72)【発明者】

【氏名】小松 知

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０１５－０４３４９６（ＪＰ，Ａ）

【文献】特開２００５－１４２９３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

撮像手段により撮像された画像および前記画像に関連する被写体の距離情報または被写体の奥行き方向の深さを表す深度情報を取得して計測モードで前記被写体の長さを計測することが可能な画像処理装置であって、
前記計測モードで前記撮像手段により撮像された計測被写体の画像情報と前記計測被写体の距離情報または深度情報を記憶する記憶手段と、
前記撮像手段により撮像された画像内の被写体領域から被写体を検出する検出手段と、
前記検出手段により検出された前記画像内の被写体領域が前記計測被写体に対応する被写体領域である場合、前記計測モードでの前記撮像手段に対する撮影条件または画像生成条件を設定する制御を行う制御手段と、
前記計測モードで前記撮像手段により取得される画像から計測対象である被写体の画像を生成する画像生成手段と、
前記画像生成手段により生成された前記被写体の画像の画像変形処理を行う画像変形手段と、を備え、
前記画像変形手段は、前記記憶手段に記憶されている前記計測被写体の画像における当該計測被写体の向きに、前記画像生成手段により生成された前記被写体の画像における当該被写体の向きが合うように、当該被写体の画像を回転させる処理を行う
ことを特徴とする画像処理装置。

【請求項2】

前記画像変形手段は、前記記憶手段に記憶されている前記計測被写体の画像における当該計測被写体の距離に、前記画像生成手段により生成された前記被写体の画像における当該被写体の距離が合うように、当該被写体の画像を拡大または縮小する処理を行う
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記記憶手段は、前記計測モードで前記撮像手段により撮像された前記計測被写体に係る第１の画像データを記憶しており、
画像処理装置は、前記画像変形処理が行われた第２の画像データと、前記第１の画像データを出力する出力手段を備える
ことを特徴とする請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記検出手段により検出された前記画像内の被写体領域が前記計測被写体に対応する被写体領域である場合、前記計測モードの設定処理を行う設定手段を備える
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記設定手段は、前記検出手段が前記計測被写体に対応する被写体領域を、前記撮像手段により撮像された画像内に検出し、かつ静止画撮影モードである場合、前記計測モードに設定する
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記検出手段は、前記撮像手段により撮像された画像と前記計測被写体の画像との特徴量の比較または類似度の比較によって前記被写体領域を検出する
ことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記計測モードへの設定を指示する指示手段を備え、
前記検出手段により前記被写体領域が検出された場合、前記設定手段は前記指示手段にしたがって前記計測モードに設定する
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記記憶手段は、撮像光学系の焦点距離の情報を記憶する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記画像生成手段は、前記計測被写体に対応する被写体領域の画像情報に合わせて、前記撮像手段により撮像された前記画像内の被写体領域の画像の輝度分布または色分布を変更する
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記画像変形手段は、前記検出手段により検出された前記被写体の画像情報の特徴点と前記計測被写体の画像情報の特徴点を比較して画像変形のパラメータを決定する
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記画像変形手段は、決定した前記パラメータを用いて前記画像生成手段により生成された前記被写体の画像を回転させることにより、前記画像内の被写体領域の画像における被写体の向きを前記計測被写体の画像における当該計測被写体の向きに合わせる処理を行う
ことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記画像変形手段は、決定した前記パラメータを用いて前記画像生成手段により生成された前記被写体の画像の倍率を変更することにより、前記画像内の被写体領域に対応する被写体と前記計測被写体の撮像における距離を合わせる処理を行う
ことを特徴とする請求項１０または請求項１１に記載の画像処理装置。

【請求項13】

前記画像変形手段は、前記画像生成手段により生成された画像内の被写体領域の画像に対する画像変形処理を行うことにより、前記画像処理装置が存在する第１の位置とは異なる第２の位置にて計測対象である前記被写体と正対した位置関係で撮像される場合の画像を生成する
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。

【請求項14】

計測対象である被写体の画像情報および前記距離情報または深度情報を前記記憶手段に登録する登録手段と、
前記検出手段によって前記画像内に被写体領域が検出され、前記被写体領域が前記登録手段によって前記記憶手段に登録されている前記計測被写体に対応する被写体領域である場合、前回の撮影時点からの経過時間を閾値と比較して前記計測モードで撮像を行うか否かを判定する判定手段と、
前記判定手段により前記計測モードで撮像を行うことが判定された場合、前記計測モードで撮像が行われることを報知する報知手段と、を備える
ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。

【請求項15】

前記判定手段は、前記登録手段によって前記記憶手段に登録されている前記計測被写体の種類に対応する前記閾値を用いて前記計測モードでの撮像を行うか否かを判定し、前記経過時間が前記閾値より長い場合に前記計測モードに変更する処理が行われる
ことを特徴とする請求項１４に記載の画像処理装置。

【請求項16】

前記判定手段は、前記計測被写体の種類が人または動物である場合、その年齢が第１の年齢であるときに第１の閾値を設定し、前記第１の年齢よりも小さい第２の年齢であるときには前記第１の閾値よりも小さい第２の閾値を設定する
ことを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

前記判定手段は、前記計測被写体の長さの時間的変化率に対応する前記閾値を設定し、前記時間的変化率が大きいほど前記閾値が小さい
ことを特徴とする請求項１５に記載の画像処理装置。

【請求項18】

前記判定手段は、前記登録手段により前記記憶手段に登録された前記計測被写体が単数である場合、前記撮像手段により前記計測モードでの撮像を行うと判定する
ことを特徴とする請求項１５に記載の画像処理装置。

【請求項19】

前記判定手段は、前記検出手段により計測対象である複数の被写体が検出された場合、前記被写体ごとに判定を行い、前記報知手段は検出された前記被写体ごとに報知を行う
ことを特徴とする請求項１４乃至１８のいずれか１項に記載の画像処理装置。

【請求項20】

前記登録手段は、計測対象である被写体の画像情報を前記記憶手段に記憶し、前記被写体が前記撮像手段により前記計測モードで撮像された後に前記被写体の画像情報を更新する処理を行う
ことを特徴とする請求項１４乃至１９のいずれか１項に記載の画像処理装置。

【請求項21】

前記検出手段によって前記画像内に被写体領域が検出され、計測対象である被写体が前記登録手段によって前記記憶手段に登録されていない被写体であると認識された場合、前記登録手段は計測対象である前記被写体の画像情報を前記記憶手段に登録する処理を行う
ことを特徴とする請求項１４乃至２０のいずれか１項に記載の画像処理装置。

【請求項22】

前記報知手段は、次回に前記計測モードで撮像が行われる期限を報知する
ことを特徴とする請求項１４乃至２１のいずれか１項に記載の画像処理装置。

【請求項23】

請求項１乃至２２のいずれか１項に記載の画像処理装置と、
撮像光学系と、複数のマイクロレンズおよび各マイクロレンズに対応する複数の光電変換部を備える撮像素子を有する前記撮像手段と、を備える撮像装置であって、
前記距離情報または深度情報は、前記複数の光電変換部による複数の画像信号から取得される
ことを特徴とする撮像装置。

【請求項24】

撮像手段により撮像された画像および前記画像に関連する被写体の距離情報または被写体の奥行き方向の深さを表す深度情報を取得して計測モードで前記被写体の長さを計測する画像処理方法であって、
前記計測モードで前記撮像手段により撮像された計測被写体の画像情報と前記計測被写体の距離情報または深度情報を記憶手段に記憶する工程と、
前記撮像手段により撮像された画像内の被写体領域から被写体を検出する検出工程と、
前記検出工程により検出された前記画像内の被写体領域が前記計測被写体に対応する被写体領域である場合、前記計測モードでの前記撮像手段に対する撮影条件または画像生成条件を設定する制御を行う制御工程と、
前記計測モードで前記撮像手段により取得される画像から計測対象である被写体の画像を生成する画像生成工程と、
前記画像生成工程により生成された前記被写体の画像の画像変形処理を行う画像変形工程と、を有し、
前記画像変形工程では、前記記憶手段に記憶されている前記計測被写体の画像における当該計測被写体の向きに、前記画像生成工程により生成された前記被写体の画像における当該被写体の向きが合うように、当該被写体の画像を回転させる処理が行われる
ことを特徴とする画像処理方法。

【請求項25】

請求項２４に記載の各工程をコンピュータに実行させる
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の画像に関連する距離情報を用いた被写体の測長機能を有する画像処理装置に関する。

【背景技術】

【0002】

計測対象までの距離を非接触で測定する方式には、多眼撮像方式や撮像面位相差測距方式、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式等がある。また、撮像装置による同一位置および姿勢での撮影を行うことで定点観測を行う技術がある。特許文献１には土木工事現場での定点観測方法が開示されている。ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓａｔｅｌｌｉｔｅ）情報を利用して撮影位置および高度が取得される。仰角センサを利用して撮影方位および仰角が取得され、専用雲台上に設置された撮像装置によって撮影が行われる。また特許文献２に開示された撮影装置は、撮影時刻やＧＰＳ部による撮影位置の変位、仰角センサ出力の変化を利用して、撮影対象の同一性の判断処理を行う。前回の撮影時の撮影対象と今回の撮影時の撮影対象とが同一である可能性が高いと判断できる場合には、マニュアル設定されて保存されている撮影条件を有効とし、その撮影条件が今回の撮影時に使用される。例えば、同一被写体（子供、ペット、動植物等）の大きさを日々観察して成長記録を行う用途が挙げられる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－０８０３５９号公報

【文献】特開２０１３－０１６９２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、被写体の撮影を継続的に行って画像データを記録する場合、被写体の画像と距離情報を同時に取得して記録する必要がある。そのためには撮像装置のモードとして、撮像画像と距離情報を取得して記録するための専用の撮影モード（以下、計測モードという）に設定して撮影が行われる。例えば、同一被写体の成長を長期間にわたって記録する目的で撮影を行っている間には、ユーザが別の被写体を撮影する可能性がある。その後にユーザが計測モードに設定し忘れた場合、被写体を継続的に撮影して画像記録を行うことができなくなる。

【0005】

また従来技術では、撮像装置を前回の撮影時と同じ場所に設置し、または固定する必要があるので、容易にセッティングを行って撮影することができない。あるいは、ユーザが撮像装置を用いて個別に撮影した画像をただ並べて配置したのでは、被写体の大きさの変化を観察しづらいので不便である。
本発明の目的は、被写体の成長等の時間的な変化の撮影を簡便に行うことが可能な画像処理装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一実施形態の画像処理装置は、撮像手段により撮像された画像および前記画像に関連する被写体の距離情報または被写体の奥行き方向の深さを表す深度情報を取得して計測モードで前記被写体の長さを計測することが可能な画像処理装置であって、前記計測モードで前記撮像手段により撮像された計測被写体の画像情報と前記計測被写体の距離情報または深度情報を記憶する記憶手段と、前記撮像手段により撮像された画像内の被写体領域から被写体を検出する検出手段と、前記検出手段により検出された前記画像内の被写体領域が前記計測被写体に対応する被写体領域である場合、前記計測モードでの前記撮像手段に対する撮影条件または画像生成条件を設定する制御を行う制御手段と、前記計測モードで前記撮像手段により取得される画像から計測対象である被写体の画像を生成する画像生成手段と、前記画像生成手段により生成された前記被写体の画像の画像変形処理を行う画像変形手段と、を備える。前記画像変形手段は、前記記憶手段に記憶されている前記計測被写体の画像における当該計測被写体の向きに、前記画像生成手段により生成された前記被写体の画像における当該被写体の向きが合うように、当該被写体の画像を回転させる処理を行う。

【発明の効果】

【0007】

本発明によれば、被写体の成長等の時間的な変化の撮影を簡便に行うことが可能な画像処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る画像処理装置の構成を示すブロック図である。

【図2】実施形態に係る画像処理装置の構成部分を説明するブロック図である。

【図3】撮像素子の構成を示す模式図である。

【図4】撮像素子を用いた測距原理を説明する模式図である。

【図5】実施形態に係る画像処理装置の処理を説明するフローチャートである。

【図6】距離算出および画像変形の処理を説明するフローチャートである。

【図7】表示部による表示例を示す図である。

【図8】成長記録の画像例を示す模式図である。

【図9】第１の変形例に係る画像変形処理を説明する模式図である。

【図10】第１の変形例に係る画像変形処理を説明するフローチャートである。

【図11】第２の変形例に係る撮像装置の処理を説明するフローチャートである。

【図12】寸法計測位置の入力方法の例を説明する模式図である。

【図13】記録モードでのデータ取得処理を説明する図である。

【図14】未記録期間の判定処理を説明する図である。

【図15】撮像画像の表示および撮影者への報知例を示す模式図である。

【図16】記録モードでのデータ取得処理の別例を説明する図である。

【図17】未記録期間の判定閾値を説明する図である。

【発明を実施するための形態】

【0009】

本発明の実施形態について、図面を参照して詳細に説明する。図１は、本実施形態の画像処理装置の一例としての撮像装置の構成を模式的に示すシステム構成図である。撮像装置１は、撮像光学系（結像光学系）１０、撮像素子１１、制御部１２、画像処理部１３、記憶部１４、入力部１５、表示部１６、通信部１７、記録制御部１８を備える。

【0010】

撮像光学系１０は被写体からの光を結像して撮像素子１１上に像を形成する。撮像光学系１０はレンズ群や絞り等の光学部材により構成され、撮像素子１１から所定距離だけ離れた位置に射出瞳１０１を有する。図１には撮像光学系１０の光軸１０２を１点鎖線で示しており、光軸１０２に平行なｚ軸と、ｘ軸およびｙ軸による３次元直交座標系を定義する。ｘ軸とｙ軸は互いに垂直であり、いずれもｚ軸と直交する。図１では、紙面に垂直な軸をｙ軸とし、紙面内の２軸をｘ軸およびｚ軸として表示している。

【0011】

撮像素子１１は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）を用いたイメージセンサであり、撮像面位相差方式による測距機能を有する。撮像素子１１は、撮像光学系１０を介して形成される被写体像に対して光電変換を行い、被写体像に基づく画像信号、および撮像装置１から被写体までの距離情報を出力する。

【0012】

制御部１２は、例えばＣＰＵ（中央演算処理装置）を備え、撮像装置１の各部を制御する。制御部１２は、オートフォーカス（ＡＦ）制御、フォーカス位置の変更、Ｆ値（絞り値）の変更、画像信号の取り込み等の処理を行う。また制御部１２は画像処理部１３、記憶部１４、入力部１５、表示部１６、通信部１７、記録制御部１８の制御を行う。

【0013】

画像処理部１３は撮像素子１１が出力する撮像信号を取得して画像処理を行う。画像処理部１３の構成については図２を用いて後述する。記憶部１４は不揮発性の記憶媒体を有し、撮像装置１で取得されたデータや被写体の成長記録等に係る画像情報、画像生成条件、撮像装置１で使用されるパラメータデータ等を記憶する。高速な情報の読み書きが可能であって、且つ、大容量の記憶媒体であれば、どのような記憶媒体を使用してもよく、例えば、フラッシュメモリ等が挙げられる。

【0014】

入力部１５は、撮像装置１に対してユーザが情報の入力や設定変更等を行うためのインターフェイス用デバイスを備える。例えば、ユーザはダイヤル、ボタン、スイッチ、タッチパネル等を用いて操作を行うことができる。表示部１６は液晶ディスプレイや有機ＥＬ（エレクトロルミネッセンス）素子等を備える。表示部１６は撮影時の構図確認に使用され、また各種設定画面やメッセージ情報、被写体の成長記録に係る撮像画像等を表示する。通信部１７は、画像処理部１３により生成された撮像画像のデータや、撮影時の設定パラメータ、画像生成パラメータ等を外部装置へ送信する。記録制御部１８は撮像画像データや被写体の距離情報等を記録媒体に記録する制御を行う。

【0015】

図２（Ａ）は本実施例の画像処理部１３の構成を示すブロック図である。画像処理部１３は、画像生成部１３０、距離生成部１３１、検出部１３２、読取部１３３、画像変形部１３４、登録部１３５、設定部１３６、メモリ１３７を有する。

【0016】

画像生成部１３０は、撮像素子１１から出力される信号に関する各種信号処理を行う。例えばノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正が行われる。画像生成部１３０が出力する画像データはメモリ１３７に記憶され、検出部１３２、表示部１６等により使用される。

【0017】

距離生成部１３１は、撮像素子１１が有する測距用画素にて取得された信号を用いて、撮像画像内の被写体の距離情報の分布を表す距離画像を生成する。距離画像の情報は、各画素の示す値が当該画素に対応する撮像画像の領域に存在する被写体の距離情報を表す２次元の情報である。距離情報または被写体の奥行き方向の深さを表す深度情報の例として、像ずれ量マップ、デフォーカス量マップがある。像ずれ量マップは視点の異なる複数の視点画像から算出され、デフォーカス量マップは像ずれ量に所定の変換係数を乗算して算出される。デフォーカス量を被写体の距離情報に換算した距離マップや距離画像は、撮像画像に関連する距離分布を表す。

【0018】

検出部１３２は、画像生成部１３０により生成された画像データに基づき、撮影対象である、成長記録を行う被写体を検出する。検出部１３２は撮像された画像内の被写体領域の位置情報および大きさの情報を取得する。読取部１３３は、成長記録を行う被写体を撮影した際の画像情報および撮影条件、画像生成パラメータ等を記憶部１４から読み出す。

【0019】

画像変形部１３４は、過去に取得された成長記録用の撮像画像との比較結果をユーザが観察しやすいように画像変形処理を行う。登録部１３５は、新たに成長記録用に撮影が行われた際の撮影条件、画像生成条件、観察対象の画像データ等を記憶部１４に記憶する。設定部１３６は所定条件に基づいて計測モードの設定処理を行う。メモリ１３７は画像処理部１３で使用される各種データを記憶する。

【0020】

図２（Ｂ）および図２（Ｃ）は画像処理部１３の別例および記録制御部１８の構成を示すブロック図である。画像処理部１３が備える寸法生成部１３８は撮像画像内の被写体の寸法情報を生成する。記録制御部１８は被写体の認識および情報の登録を行い、寸法情報が付加された被写体画像をユーザに提示する処理を行う。後述する第２の変形例において具体的な処理を説明する。

【0021】

画像処理部１３または記録制御部１８については、論理回路を用いて各部を構成する実施形態と、ＣＰＵおよび、演算処理プログラムを格納するメモリを用いて構成する実施形態がある。

【0022】

次に図３を参照して、撮像素子１１の構成について説明する。撮像素子１１として、撮像面位相差方式による測距機能を有する撮像素子の例を示す。撮像光学系１０を介して撮像素子１１上に結像した被写体像に対して撮像素子１１は光電変換を行って画像信号を出力する。取得された画像信号に対して画像生成部１３０と距離生成部１３１は現像処理を施すことで、観賞用画像と距離情報を生成することができる。例えば、生成された観賞用画像は表示部１６の画面に表示され、または通信部１７を介して外部装置へ画像データが送信される。

【0023】

図３（Ａ）は、撮像素子１１のｘｙ断面図であり、ｚ軸方向（光軸方向）から見た場合の画素配列を模式的に示す。撮像素子１１は、多数の画素部１１０が配列された画素群により構成される。１つの画素部１１０は、異なるカラーフィルタが適用された２行２列の構成を有する。右側の図に示されるように赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、画素部１１０を構成する光電変換素子からＲ、Ｇ、Ｂのいずれかの色に対応する画像信号が出力される。なお、図３（Ａ）では左上のＲ、右下のＢ、左下および右上のＧの各カラーフィルタが配置された例を示すが、カラーフィルタの配置はベイヤー配列に限られない。

【0024】

図３（Ａ）のＩ－Ｉ^＊線における単位画素の断面図を図３（Ｂ）に示す。図３（Ｂ）は１画素分の構成を模式的に示す図である。単位画素は測距可能な構成であり、画像信号と共に測距用信号を出力する。単位画素は導光層１１３と受光層１１４とで構成される。導光層１１３には、入射光束を光電変換部へ効率よく導くためのマイクロレンズ１１１、所定の波長帯域の光を通過させるカラーフィルタ１１２、画像読み出し用配線および画素駆動用配線（不図示）等が配置される。カラーフィルタ１１２はＲ、Ｇ、Ｂのいずれかに対応する波長帯域の光のみを通過させて、第１の光電変換部１１５および第２の光電変換部１１６に導く。

【0025】

受光層１１４に配置された第１の光電変換部１１５と第２の光電変換部１１６は、入射光に対する光電変換を行ってアナログ画像信号をそれぞれ出力する。２つの光電変換部から出力された２種類の信号は測距に用いられる。すなわち、撮像素子１１にて所定方向（水平方向）に並んだ２つの光電変換部のうち、第１の光電変換部１１５から出力された信号で構成される画像信号をＡ像信号とし、第２の光電変換部１１６から出力された信号で構成される画像信号をＢ像信号とする。Ａ像信号およびＢ像信号は、撮像光学系１０の射出瞳１０１の異なる瞳部分領域を通過した光束に係る瞳分割画像の信号である。Ａ像信号とＢ像信号との位相差から距離情報（または深度情報）を取得することができる。またＡ像信号とＢ像信号とを加算した信号（いわゆる加算画像信号）は観賞用画像信号として用いられる。

【0026】

図３に示す構造により、１つの画素部から観賞用画像信号と測距用信号の両方を出力可能である。なお、すべての画素部が２つの光電変換部を有する必要はない。分割されていない光電変換部を有する画素群から観賞用画像信号を取得することも可能である。高密度な距離情報を取得するためには、撮像素子１１を構成する全ての画素部が複数の光電変換部を備える構成が望ましい。１つの画素部に２つの光電変換部が配列された構成例を示したが、これに限らず、１つの画素部が３以上の光電変換部を有する構成でもよい。

【0027】

図４を参照して、撮像面位相差方式の測距原理について説明する。瞳分割画素群をなす第１の光電変換部１１５および第２の光電変換部１１６の各出力に基づいて、被写体の距離情報を導出することが可能である。図４（Ａ）および（Ｂ）は、撮像光学系１０の射出瞳１０１と、撮像素子１１が備える第１の光電変換部１１５および第２の光電変換部１１６との光学的関係の説明図である。

【0028】

図４（Ａ）は、撮像光学系１０の射出瞳１０１と、第１の光電変換部１１５が受光する光束を示す概略図である。図４（Ｂ）は射出瞳１０１と、第２の光電変換部１１６が受光する光束を示す概略図である。図４（Ａ）および（Ｂ）にて、紙面に垂直な方向をｙ方向とし、紙面内にて互いに直交する２方向をｘ方向およびｚ方向とする。

【0029】

図４（Ａ）および（Ｂ）に示すマイクロレンズ１１１は、射出瞳１０１と受光層１１４とが光学的に共役関係になるように配置されている。撮像光学系１０の射出瞳１０１を通過した光束は、マイクロレンズ１１１により集光されて第１の光電変換部１１５または第２の光電変換部１１６に導かれる。この際、第１の光電変換部１１５と第２の光電変換部１１６はそれぞれ図４（Ａ）および（Ｂ）に示される通り、異なる瞳部分領域２１０，２２０をそれぞれ通過した光を主に受光する。第１の光電変換部１１５は第１の瞳部分領域２１０を通過した光を受光し、第２の光電変換部１１６は第２の瞳部分領域２２０を通過した光を受光する。

【0030】

撮像素子１１が備える複数の第１の光電変換部１１５は、Ａ像信号に対応する第１の画像信号を出力する。また、撮像素子１１が備える複数の第２の光電変換部１１６は、Ｂ像信号に対応する第２の画像信号を出力する。第１の画像信号からは、第１の瞳部分領域２１０を通過した光が撮像素子１１上に形成する像の強度分布を取得することができる。また、第２の画像信号からは、第２の瞳部分領域２２０を通過した光が撮像素子１１上に形成する像の強度分布を取得することができる。第１の画像信号と第２の画像信号との間の相対的な位置ズレ量（いわゆる視差量）は、デフォーカス量に応じた値となる。図４（Ｃ）、（Ｄ）、（Ｅ）を参照して、視差量とデフォーカス量との関係について説明する。

【0031】

図４（Ｃ）、（Ｄ）、（Ｅ）は、第１の瞳部分領域２１０を通過する第１の光束２１１と、第２の瞳部分領域２２０を通過する第２の光束２２１を示す。図４（Ｃ）は合焦時の状態を示しており、第１の光束２１１と第２の光束２２１が撮像素子１１の受光面上で収束している。このとき、第１の画像信号と第２の画像信号との視差量はゼロである。

【0032】

図４（Ｄ）は像側にてｚ軸（光軸）の負方向（左方向）に焦点を結んだデフォーカス状態を示している。第１の画像信号と第２の画像信号との視差量は負の値である。図４（Ｅ）は像側にてｚ軸の正方向に焦点を結んだデフォーカス状態を示している。第１の画像信号と第２の画像信号との視差量は正の値である。図４（Ｄ）と図４（Ｅ）との比較から、デフォーカス量の正負に応じて位置ズレの方向が入れ替わることが分かる。またデフォーカス量に応じて、撮像光学系の結像関係（幾何光学的関係）に従って位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との位置ズレ量に相当する視差量は、領域ベースのマッチング法により検出することができる。

【0033】

以上説明したように、撮像面位相差方式の測距機能を有する撮像素子を用いることで、映像情報を利用して撮像光学系から被写体までの距離情報を取得することが可能となる。

【0034】

次に、図５および図６のフローチャートを参照して、撮像装置１における処理例を説明する。被写体の成長記録を目的とする撮影例を示す。以下の処理は、撮像装置１の起動後に初期化動作が行われた後、通常撮影モードとして撮影可能となり、撮影動作が行われた時点から開始する。通常撮影モードとは計測モード以外の撮影モードである。撮影動作は、ユーザがビューファインダを覗き込んだ後、または不図示の撮影スイッチの半押し操作によりＡＦ制御が開始した後に開始される。

【0035】

図５のＳ３０１で読取部１３３は、被写体の成長記録として撮影されて記憶部１４に記憶されている、計測モードで撮影された被写体の画像情報を記憶部１４から読み込む。同一被写体の画像情報が複数存在する場合には、最新の画像情報の読み込みが行われる。画像情報については、成長記録の対象である被写体が写っている領域を表す座標情報（例えば、矩形枠で囲まれる４点の座標）と、その領域の画像または画像全体等の情報であり、特に限定は無い。また、計測対象の被写体（計測被写体）の距離画像も併せて読み込みが行われる。距離画像については、計測対象に対応する距離画像中の被写体領域を表す座標情報と、その領域の距離画像または距離画像全体等であり、特に限定は無い。

【0036】

次にＳ３０２で検出部１３２は、表示部１６の画面に表示されるライブビュー画像から、Ｓ３０１で読み込まれた情報に基づく被写体領域を検出する。具体的には、計測被写体を含む部分画像に対するテンプレートマッチングを行う方法と、画像の局所領域の特徴量記述子を用いたマッチング方法がある。また、画像全体または局所領域の特徴量として、輝度もしくは色の分布、またはＦＦＴ（高速フーリエ変換）等の周波数変換による周波数空間での分布を比較する方法がある。また、ＰＳＮＲ（ピーク信号対雑音比）やＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）等を用いて画像の類似度を比較する方法がある。さらには、画像同士の比較と、焦点距離等の撮影条件との組み合わせに基づく判定方法を採用してもよい。

【0037】

Ｓ３０２で画像内に計測被写体の被写体領域が存在しないと判定された場合、Ｓ３０３の処理に移行する。Ｓ３０３で通常撮影モードでの撮影が行われた後、最初の処理に戻る。またＳ３０２で画像内に計測被写体の被写体領域が存在すると判定された場合、Ｓ３０４へ処理を進める。

【0038】

Ｓ３０４で制御部１２および設定部１３６は、計測モードでの撮影を行うか否かを判定する。本ステップでは、例えば図７（Ａ）に示すように、表示部１６の画面に、計測モードで取得した被写体が検出されたこと、および計測モードでの撮影を行うかどうかの問い合わせメッセージが表示される。この場合、操作者は計測モードでの撮影について、画面上に表示される「はい」または「いいえ」のボタン操作で指示を行うことができる。あるいは、予め定められた条件にしたがって自動的に計測モードに遷移する処理が行われてもよい。予め定められた条件とは、静止画撮影モードであることや、連写モードまたは動画撮影モードでないこと等である。Ｓ３０４で計測モードへ遷移しないことが判定された場合、Ｓ３０３へ移行し、計測モードへ遷移することが判定された場合には、Ｓ３０５の処理へ進む。

【0039】

Ｓ３０５で制御部１２は画像処理部１３に対し、Ｓ３０２で検出された計測被写体を撮影した際の撮影条件および画像生成条件のパラメータを設定する。まず、被写体の成長記録を行うために撮影された画像情報に関連する撮影条件の情報および画像生成パラメータが記憶部１４から読み出される。その中から、焦点距離、ホワイトバランス調整等の各種パラメータが読み出され、制御部１２は焦点距離、ホワイトバランス調整等に用いるパラメータを設定する。また、後述するように、Ｓ３０７において、被写体距離を用いて同一距離で被写体を撮影した大きさへの画像変形が行われる場合には、今回の被写体距離と前回の被写体距離が比較される。今回の被写体距離が前回の被写体距離と大きく乖離している場合（距離差が閾値以上の場合）には、その旨をユーザに通知して撮影位置の移動を促す処理が行われる。

【0040】

Ｓ３０６では、Ｓ３０５で設定された撮影パラメータで撮影が行われる。画像生成部１３０および距離生成部１３１はそれぞれ観賞用画像と距離画像を生成する。図３に示す構成の撮像素子１１は、各画素部が２つの光電変換部１１５，１１６を有し、２つの画像信号Ｓ１およびＳ２が出力される。画像生成では、各画素部の画像信号Ｓ１とＳ２を加算して１つの画像信号とし、ベイヤー配列の画像信号を出力する処理が行われる。ベイヤー配列の画像信号についてはＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の画像信号成分のデモザイキングが行われて観賞用画像が生成される。デモザイキングは撮像素子１１上に配置されたカラーフィルタに応じて可変であり、デモザイキング方法に関して特に制限は無い。またノイズ低減、輝度信号変換、収差補正、ホワイトバランス調整、色補正等の処理が実行される。さらには、ヒストグラム平均化処理や色変換が行われる。ヒストグラム平均化処理は、撮影画像の輝度分布を、記憶部１４に記憶されている計測被写体領域の画像の輝度分布に合わせるための処理である。色変換は、撮影画像の色分布を、記憶部１４に記憶されている計測被写体領域の画像の色分布に合わせるための処理である。最終的な観賞用画像のデータはメモリ１３７に記憶される。

【0041】

Ｓ３０６にて距離生成部１３１は距離画像を生成する。図３に示す構成の撮像素子１１は画素部ごとに画像信号Ｓ１とＳ２を出力し、Ｓ１およびＳ２から距離情報が生成される。距離生成処理については、図６（Ａ）を用いて後述する。Ｓ３０７にて画像変形部１３４は、設定部１３６により設定される計測モードで撮影された画像に対する画像変形処理を行う。画像変形処理については図６（Ｂ）を用いて後述する。

【0042】

Ｓ３０８で表示部１６は、Ｓ３０７で処理された画像を画面に表示する。例えば、記憶部１４に記憶されている、成長記録のための複数の画像が一定時間ごとに切り替えて表示される。あるいはユーザが入力部１５を用いて行った操作指示にしたがって複数の画像の表示が切り替えられる。

【0043】

Ｓ３０９で制御部１２は、再撮影を行うかどうかについての判定処理を実行する。Ｓ３０８での表示結果を判断したユーザが再撮影の操作指示を行わない場合、Ｓ３１０の処理に進み、ユーザが再撮影の操作指示を行った場合にはＳ３０６に戻って撮影を続行する。

【0044】

Ｓ３１０で登録部１３５は登録処理を行い、Ｓ３０６で取得された撮影画像内の計測対象（被写体）領域、距離情報、撮影条件および画像処理条件の情報が記憶部１４に記憶される。本ステップでは、例えば図７（Ｂ）に示すように、表示部１６の画面に、計測モードで取得した被写体のデータの登録を行うかどうかの問い合わせメッセージが表示される。この場合、操作者は画面上に表示される「はい」または「いいえ」のボタン操作で指示を行うことができる。Ｓ３１０の後、一連の処理を終了する。

【0045】

図６（Ａ）は、図５に示すＳ３０６にて距離生成部１３１が行う処理を説明するフローチャートである。Ｓ３０６１では、撮像素子１１の出力する第１の画像信号Ｓ１と第２の画像信号Ｓ２の光量補正が行われる。撮像光学系１０の周辺画角ではヴィネッティングにより、射出瞳における第１の瞳部分領域と第２の瞳部分領域の形状が異なる。そのため、第１の画像信号Ｓ１と第２の画像信号Ｓ２との間で光量バランスが崩れることを抑制するために光量補正が行われる。距離生成部１３１はメモリ１３７に記憶された光量補正値を用いて画像信号Ｓ１およびＳ２の光量補正を行う。撮像光学系１０を構成する光学部材の製造誤差等については、直流成分を遮断し、且つ、高周波成分の通過率が低いバンドパスフィルタが使用される。

【0046】

Ｓ３０６２では画像信号Ｓ１およびＳ２のノイズ低減処理が行われる。具体的には、距離生成部１３１は第１の画像信号Ｓ１と第２の画像信号Ｓ２に対してフィルタ処理を行う。一般に、空間周波数が高い高周波領域ほどＳ／Ｎ比（信号対ノイズ比）が低くなり、相対的にノイズ成分が多くなる。従って、高周波になるほど通過率が低くなるローパスフィルタが使用される。

【0047】

Ｓ３０６３で距離生成部１３１は、第１の画像信号Ｓ１と第２の画像信号Ｓ２との視差量を算出する。具体的には、第１の画像信号Ｓ１に係る画像内に、代表画素情報に対応した注目点を設定し、注目点を中心とする照合領域を設定する処理が行われる。照合領域は、例えば、注目点を中心とする一辺が所定の大きさを有する矩形領域である。次に第２の画像信号Ｓ２に係る画像内に参照点を設定し、参照点を中心とする参照領域を設定する処理が行われる。参照領域は照合領域と同一の大きさおよび形状を有する。参照点を順次移動させながら、照合領域内に含まれる第１の画像信号Ｓ１と参照領域内に含まれる第２の画像信号Ｓ２との相関度が算出され、最も相関度の高い点が注目点に対応する対応点として決定される。注目点と対応点との相対的な位置ズレ量が、注目点における視差量に相当する。注目点を代表画素情報に従って順次変更しながら視差量を算出することで、複数の画素位置における視差量を算出することができる。相関度の算出方法としてＮＣＣ、ＳＳＤ、ＳＡＤ等の方法を用いることができる。ＮＣＣは“Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ”、ＳＳＤは“Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｃｅ”、ＳＡＤは“Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ”の略号である。視差量を計算する位置を、画像にて対応する位置になるよう設定することにより各位置での距離情報を得ることができる。

【0048】

また、所定の変換係数を用いて視差量をデフォーカス量へ変換することができる。デフォーカス量は、撮像素子１１から撮像光学系１０の焦点までの距離に相当する。所定の変換係数をＫ、デフォーカス量をΔＬ、視差量をｄと表記する。下記式（１）により、視差量ｄをデフォーカス量ΔＬに変換することができる。
ΔＬ＝Ｋ×ｄ ・・・式（１）

【0049】

さらに、幾何光学におけるレンズの公式を用いて、デフォーカス量ΔＬを物体距離に変換することができる。
１／Ａ ＋ １／Ｂ＝１／Ｆ ・・・式（２）
式（２）中、Ａは物面から撮像光学系１０の主点までの距離を表す。Ｂは撮像光学系１０の主点から像面までの距離を表し、Ｆは撮像光学系１０の焦点距離を表す。式（２）において、Ｂの値はデフォーカス量ΔＬから算出でき、焦点距離Ｆは撮像光学系１０により得られるので、距離Ａを算出することができる。

【0050】

次に図６（Ｂ）および図８を参照して、図５のＳ３０７に示す画像変形処理について説明する。図６（Ｂ）は画像変形処理のフローチャートである。図８は計測被写体である植物の成長記録の例を示す模式図である。複数の撮影画像に関し、ユーザが被写体の画像中の大きさを相対的に比較しやすいよう画像変形処理が実行される。

【0051】

まず、Ｓ３０７１にて画像変形部１３４は画像内の被写体領域を抽出する。図５（Ａ）のＳ３０２で検出された計測被写体を含む外接矩形の情報が用いられる。図８（Ａ）は撮影時刻の異なる、同一被写体の画像（ａ）および（ｂ）を示す。例えば、画像（ａ）は計測モードにて前回取得された画像であり、画像（ｂ）は計測モードにて今回取得された画像である。

【0052】

次に、Ｓ３０７２では特徴点の抽出処理が行われる。Ｓ３０７１で抽出された計測被写体領域の画像の特徴点がＦＡＳＴ法やＨａｒｒｉｓコーナー検出子等で検出される。図８（Ｂ）に示す画像（ｃ）は画像（ａ）に対応し、画像（ｄ）は画像（ｂ）に対応する。画像（ｃ）および（ｄ）中の黒点は、抽出された特徴点を示している。特徴点の情報は記憶部１４に記憶される。

【0053】

Ｓ３０７３では画像の２次元的な回転、および変倍（拡大または縮小）処理が実行され、計測モードで撮影された画像の変形処理が行われる。まず、画像変形部１３４は画像（ｄ）の特徴点と、記憶部１４から取得した画像（ｃ）の特徴点とを比較し、画像間での被写体の２次元回転量（Ｒ_２と記す）を算出する。具体的には、Ｓ３０７２で抽出された各特徴点について、特徴点同士の対応関係を求めて、被写体画像を中心とする回転量Ｒ_２を算出する処理が行われる。次に画像変形部１３４は、画像同士を相対的に比較するために、今回撮影された画像を変形するための倍率（Ｍと記す）を下記式（３）により算出する。
Ｍ＝Ｄ（ｔ）／Ｄ（ｔ－１） ・・・式（３）
式（３）中のＤ（ｔ）およびＤ（ｔ－１）はそれぞれ、現在の被写体画像の距離と、比較元（例えば前回の被写体画像）の距離を表している。ｔは撮影時刻に対応するパラメータである。

【0054】

倍率Ｍの算出に用いる被写体距離の選択については以下の方法がある。
・画像内の同一被写体に係る全特徴点の距離情報から算出される距離の平均値を用いる方法。
・画像内の同一被写体に係る、互いに対応付けられた対をなす複数の特徴点のうち、特定の特徴点の距離情報または所定数の特徴点の距離情報を用いる方法。

【0055】

最終的に画像変形部１３４は、回転量Ｒ_２および倍率Ｍを用いて被写体画像の画像変形処理（幾何変換）を実行する。図８（Ｃ）に示す画像（ｅ）は画像（ａ）に対応し、画像（ｆ）は画像（ｂ）に対応する。画像（ｂ）に対して回転量Ｒ_２および倍率Ｍを用いた画像変形処理が行われることで画像（ｆ）が生成される。すなわち、計測モードで撮影された複数の画像間で、被写体の向きと距離を合わせた観察しやすい画像を生成することができる。

【0056】

本実施例では、ユーザが撮像装置を用いて簡便に撮影した場合でも、経時的に変化している計測被写体を比較可能な画像を取得できる。経時的に変化している計測被写体は動植物、移動体等であり、記録対象となる被写体である。同一の計測被写体を複数回撮影する場合に、同一または類似の方向から観察した画像であって、かつ計測被写体の大きさの変化を把握することが可能な画像が得られる。

【0057】

撮像面位相差方式を用いた距離情報の取得例を説明したが、多眼撮像方式やＴＯＦ方式等の、他の方式で距離情報を取得してもよく、特定の取得方法に限定されない。このことは以下の変形例でも同じである。

【0058】

［第１の変形例］
次に図９、図１０を参照して、第１の変形例について説明する。計測被写体の距離情報の３次元分布を考慮した画像変形処理例を示す。ユーザが被写体の成長の記録画像を比較する際に、より観察しやすい画像を提供することが可能である。前記実施例にて説明済みの事項についての詳細な説明は省略し、主に相違点を説明する。このような説明の省略方法は後述の変形例でも同じである。

【0059】

図９は画像変形処理を説明する模式図である。図１０は画像変形部１３４が行う処理を説明するフローチャートである。図６（Ｂ）との相違点であるＳ７０１からＳ７０３の処理を説明する。Ｓ３０７２の次にＳ７０１の処理に進む。

【0060】

Ｓ７０１では、Ｓ３０７２で算出された特徴点の座標値と、図５のＳ３０６で生成された距離画像を用いて、特徴点の３次元点群が生成される。次にＳ７０２では、画像変形を行うための射影パラメータの生成処理が行われる。具体的には、３次元点群中の略平面を算出し、その法線を撮像装置の光軸と直交するように変換することで、射影変換行列が算出される。図９を用いて、その概要を説明する。

【0061】

図９には計測被写体に対して、実線で示す撮像装置の位置６０１と、点線で示す撮像装置の位置６０２を示している。複数の特徴点６０３は、撮像装置の位置６０１で計測被写体６００を撮影した画像上で抽出された特徴点である。複数の特徴点６０３は距離情報を利用して物体側へ模式的に描画した３次元点群を示しており、その３次元点群に対して平面で近似を行った３次元平面６０４を示す。３次元平面６０４は、式「ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０」で表現され、法線ベクトル６０５は、ｎ_ｐ＝［ａ，ｂ，ｃ］^Ｔとして表すことができる（Ｔは転置を表す）。ｘ，ｙ，ｚは３次元直交座標系の各座標値を表し、ａ，ｂ，ｃ，ｄはいずれも定数である。法線ベクトル６０５と正対する撮像装置の位置は点線で示す位置６０２である。つまり、位置６０２に撮像装置を実際に配置させなくても、位置６０２に撮像装置を配置したと仮定した場合に取得される画像を生成できれば、計測被写体６００の大きさをより良く観察することができる。

【0062】

画像変形部１３４は、計測被写体６００をより観察しやすい位置で撮影した画像が得られるように、画像変形を行う射影パラメータを算出する。具体的には、位置６０２に想定される撮像装置の光軸方向のベクトルをｎ_ｃ＝［０，０，－１］^Ｔと表記する。光軸方向のベクトルｎ_ｃに対して、３次元平面６０４の法線ベクトルｎ_ｐを正対させるための回転ベクトルをｒと表記する。回転ベクトルｒは下記式（４）で表される。
ｒ＝ｃｏｓ^－１（ｎ_ｐ ^Ｔ＊ｎ_ｃ）＊（ｎ_ｐ×ｎ_ｃ）／｜ｎｔ×ｎｚ｜ ・・・式（４）
式（４）中、ｃｏｓ^－１は逆余弦関数を表し、＊は各要素の積（スカラ―積）を表し、×は外積（ベクトル積）を表し、｜｜はノルムを表す。回転ベクトルｒからロドリゲスの公式を用いることで、回転行列（Ｒ_３と記す）が算出される。回転行列Ｒ_３と、位置６０１での撮像装置のカメラ行列（Ｋと記す）を用いることにより、３次元平面６０４上の点について、位置６０２の撮像装置で撮影した際に光軸と直交するように射影することが可能となる。

【0063】

図１０のＳ７０３で画像変形部１３４は射影変換を行う。回転行列Ｒ_３および３次元座標をカメラ座標系へ射影するためのカメラ行列Ｋを用いることにより、撮像装置が被写体６００と正対した位置関係で撮像される画像を生成することができる。

【0064】

本変形例において、同一の距離の撮影位置から被写体を観察した画像を生成するために倍率Ｍを変更してもよい。また撮像装置の設置位置として想定される３次元位置を変更して射影変換による画像変形処理を行ってもよい。上記の画像変形を行うことで、計測被写体と正対する撮影位置で撮影された場合の画像と等価な画像、つまり計測被写体の大きさの変化をユーザがより観察しやすい画像を取得できる。同一の計測被写体の成長記録等に好適な撮影を実現することができる。

【0065】

［第２の変形例］
図１乃至図３、図１１乃至図１７を参照して、第２の変形例について説明する。撮像画像に計測被写体の寸法情報を付加した画像データを生成し、被写体の成長記録等において撮像または記録の忘れによるデータの欠落を防止する例を示す。図２（Ａ）に示す構成との相違点を主に説明する。

【0066】

図２（Ｂ）は本変形例の画像処理部１３の構成を示すブロック図である。画像処理部１３は、画像生成部１３０、距離生成部１３１、メモリ１３７、寸法生成部１３８を備える。画像生成部１３０によって処理された信号に対応する観賞用画像データはメモリ１３７に記憶される。また、距離生成部１３１は撮像素子１１から取得した複数の測距用信号を用いて、距離情報の分布を表す距離画像を生成し、距離画像データはメモリ１３７に記憶される。寸法生成部１３８は観賞用画像と距離画像に基づいて撮影対象（計測被写体）の寸法を推定する。

【0067】

図２（Ｃ）は記録制御部１８の構成を示すブロック図である。記録制御部１８は、登録部１８０、認識部１８１、判定部１８２、報知部１８３、モード変更部１８４を備える。登録部１８０は、撮像装置１の測長機能によって取得される、撮影対象の成長記録用データを、図１の記憶部１４内に示す撮影対象データベース（以下、ＤＢとも記す）１４０に登録する。撮影対象ＤＢ１４０には識別用情報として被写体の名前、誕生日、種類、認識用画像、成長記録のデータ等が登録される。

【0068】

認識部１８１は、撮影対象ＤＢ１４０に登録されている撮影対象の情報を検索し、画像生成部１３０で生成された画像（例えばプレビュー画像）の中に成長記録の撮影対象の画像が存在するか否かを認識する。判定部１８２は、認識部１８１で認識された撮影対象のデータを撮影対象ＤＢ１４０から検索し、未記録期間を判定閾値と比較して撮影者に測長機能を用いた撮影を促すかどうかを判定する。判定閾値は、図１の記憶部１４内に示す判定閾値ＤＢ１４１から取得される。

【0069】

報知部１８３は、撮影者に成長記録の撮影を促すための報知処理を行う。表示部１６の画面にメッセージやマーク等を用いて視覚的に報知する方法と、報知用の音声または振動を発生させる方法等がある。モード変更部１８４は撮像装置１の撮影モードを切り替える処理を行う。

【0070】

次に図１１を参照して、撮像装置１の測長機能を使用した、被写体の成長記録用の撮影について説明する。図１１は被写体の画像と共に寸法情報を出力する処理を説明するフローチャートである。まず、Ｓ４０１で撮像装置１は設定された焦点位置、絞り、露光時間等に基づく撮影を行う。撮像素子１１の出力信号は画像処理部１３に転送されてメモリ１３７に記憶される。

【0071】

次のＳ４０２では観賞用画像と距離画像が生成される。図３に示す撮像素子１１を構成する各画素部は２つの光電変換部を有しており、２つの画像信号Ｓ１およびＳ２が出力される。観賞用画像の生成処理では、各画素部からの画像信号Ｓ１およびＳ２の出力を加算して１つの画像信号し、ベイヤー配列画像を出力する処理が実行される。Ｒ、Ｇ、Ｂ各色の画像のデモザイキングが行われ、観賞用画像のデータが生成されてメモリ１３７に記憶される。また、距離画像の生成処理は距離生成部１３１により行われる。撮像素子１１からの画像信号Ｓ１およびＳ２を用いて距離情報が生成される。距離情報の生成処理については図６（Ａ）にて説明済みである。

【0072】

Ｓ４０３で寸法生成部１３８は、計測被写体の寸法情報を推定する。寸法情報の推定では、表示部１６の画面に撮像画像が表示され、ユーザは入力部１５により、表示画像中の撮影対象の領域において所望の計測位置を指定する。図１２は計測位置の指定方法の一例を示す模式図である。図１２では、ユーザが２点Ｐ１およびＰ２を指定し、２点間の垂直方向の長さを計測する場合を示している。計測位置の指定方法については、指定された多点のそれぞれの間を線形的に接続する方法や多項式を用いて接続する方法と、ユーザが計測したい部分を手指等でなぞる操作に対応する曲線を用いる方法等がある。撮影対象に応じて適宜に方法を選択することができる。

【0073】

複数の計測位置が指定された後に寸法生成部１３８は、計測位置間の画素数のカウント処理を行い、画像中の画素単位またはサブ画素単位で計測値を取得する。計測値は像空間における長さに相当する。計測された画素単位の長さから物体空間での実際の長さを算出することができる。物体空間での長さに変換するために、まず撮像素子上の１画素サイズの大きさは像空間での国際単位系の長さに変換される。

【0074】

次に寸法生成部１３８は撮影パラメータを利用して撮影倍率（ｍと記す）を求め、計測された像空間での長さと撮影倍率ｍとの積を算出する。これにより、物体空間での実際の長さが算出される。撮影倍率ｍは、撮影時のパラメータである撮像光学系１０の焦点距離Ｆ、対象物体距離（Ｚと記す）を用いて下記式（５）により算出できる。
ｍ＝Ｚ／Ｆ ・・・（式５）
撮像光学系１０のフォーカスレンズの位置と対応するフォーカス距離を予め計測しておき、撮影時のフォーカスレンズの位置を検出して対応するフォーカス距離を対象物体距離Ｚとして取得することができる。対象物体距離Ｚに基づいて複数の計測位置に対応する寸法情報が算出される。

【0075】

Ｓ４０４にて、Ｓ４０３で推定および算出された寸法情報は表示部１６に表示されるとともに記憶部１４に記憶される。推定された寸法情報については、Ｓ４０２で生成された観賞用画像のメタデータとして距離画像のデータと共に保存することが好適である。

【0076】

図１１の処理例では、Ｓ４０３にて、記録モードでの撮影に続いて寸法情報の推定が実施される。この例にかぎらず、寸法情報の推定は撮影時点から時間が経過した後でも行うことができる。その場合には、撮像素子１１による画像信号Ｓ１およびＳ２にそれぞれ対応するＲＡＷデータが記憶部１４に記憶され、事後の推定処理で使用される。

【0077】

図１３を参照して撮像装置１における処理について説明する。撮像装置１の測長機能を使用する撮影モード（計測モード）として記録モードを例にし、測長機能を使用しない撮影モードを標準モードとする。図１３（Ａ）は撮影までのモード切り替えの制御を説明するフローチャートである。撮影者が標準モードでの撮影を意図する場合を想定する。図１３（Ｂ）は撮影前の様子を示す模式図であり、被写体６０のライブビュー画像が表示部１６の画面に表示されている。

【0078】

まず、Ｓ６０１で記録制御部１８は、撮像素子１１からの信号に基づいて表示されている被写体６０の画像と撮影対象ＤＢ１４０に登録されている撮影対象（計測被写体）の画像とが合致（一致または近似）するかどうかを調べる。認識部１８１は、登録部１８０によりあらかじめ登録されている撮影対象ＤＢ１４０のデータを検索して、被写体６０の画像信号について特徴の比較により、登録済みデータとの同一性を判定する。同一性の判定法には固有顔法、ＬＦＡ（Ｌｏｃａｌ Ｆｅａｔｕｒｅ Ａｎａｌｙｓｉｓ）法、グラフマッチング法、ニューラルネットワーク法、制約相互部分空間法、摂動空間法、周波数解析法等がある。Ｓ６０１にて、表示された被写体６０に対して撮影対象ＤＢ１４０に登録されている撮影対象が合致すると判定された場合、Ｓ６０２の処理へ移行し、合致しない場合には処理を終了する。

【0079】

Ｓ６０２で判定部１８２は、Ｓ６０１で認識された撮影対象に関し、現在までの未記録期間を判定閾値と比較することにより判定する。判定処理の詳細については図１４を用いて後述する。Ｓ６０２にて現在までの未記録期間が判定閾値より長いと判定された場合、Ｓ６０３の処理に移行する。一方、現在までの未記録期間の長さが判定閾値以下であると判定された場合には処理を終了する。

【0080】

Ｓ６０３では、撮影者に記録モードへ変更されることが報知される。Ｓ６０４でモード変更部１８４は撮影モードを記録モードに切り替える。記録モードでの撮影では、観賞用画像が寸法計測に用いる距離画像と同時に取得されるので、撮影モードを変更した場合でも、撮影者は違和感なく撮影を続けることができる。Ｓ６０４の後に一連の処理を終了する。

【0081】

図１４（Ａ）は、図１３（Ａ）のＳ６０２に示す判定処理を詳細に説明するフローチャートである。Ｓ６１０では撮影対象ＤＢ１４０から撮影対象の種類、年齢のデータが取得される。種類は撮影対象ＤＢ１４０への登録時に設定される情報であり、あらかじめ設定されている撮影対象の種類から選択される。例えば、種類は人物、動物、植物等であり、次ステップで参照する判定閾値と対応している。

【0082】

次にＳ６１１では判定閾値が取得される。Ｓ６１０で取得された撮影対象の種類と年齢に対応する判定閾値が判定閾値ＤＢ１４１から取得される。図１４（Ｂ）は判定閾値ＤＢ１４１に登録されている判定閾値と年齢との関係の一例を示している。横軸は年齢を表し、縦軸は判定閾値（時間）を表す。撮影対象の種類ごとに判定閾値が判定閾値ＤＢ１４１に登録されている。判定閾値は撮影対象の成長速度を考慮して設定されており、図１４（Ｂ）の例では、撮影対象が人の場合と犬の場合を示す。人と犬を比較した場合、犬は一般的に人と比較して成長速度が速い。そのため、同一年齢での犬の判定閾値は人の判定閾値よりも小さく設定されている。よって犬の場合、ユーザに対して頻繁に撮影および記録を促すことができる。また子供と大人を比較すると、年齢が低いほど同期間における外見の変化は大きい。そのため、低年齢であるほど判定閾値が小さく設定されている。よって人の場合にも、ユーザに対して適切なタイミングで撮影および記録を促すことができる。

【0083】

Ｓ６１２では前回の記録時点から現在までの未記録期間が取得される。未記録期間の取得は撮影対象ＤＢ１４０を参照することにより行われる。判定部１８２は撮影対象の最新の記録データを参照することにより、記録取得日時を検索して前回の記録日時と現在の日時との差から未記録期間を算出する。次にＳ６１３で判定部１８２は未記録期間と判定閾値とを比較する。なお、図１３（Ａ）のＳ６０１で複数の被写体が認識された場合、判定部１８２は複数の被写体に対してＳ６０２の判定処理を繰り返す。いずれかの被写体について１回でも未記録期間の長さが判定閾値を上回った場合には、図１３（Ａ）のＳ６０３の処理に移行する。

【0084】

図１５（Ａ）は、Ｓ６０３での撮影者への報知例を示す模式図である。表示部１６はメッセージを表示し、計測被写体が検出されたこと、および撮影モードの変更（計測モード）を行うことを撮影者に報知する。報知方法には、表示部１６での文字の表示に限らず、画像を表示する方法、音声や振動で伝える方法等がある。

【0085】

図１５（Ｂ）を参照して、計測被写体の成長記録用の撮影を行った後に記録制御部１８が行う処理について説明する。報知部１８３は表示部１６の画面に、成長記録の情報が保存されたこと、および次回の撮影期限を表示する処理を行う。画面には寸法生成部１３８が算出した計測被写体の寸法情報が表示される。報知する撮影期限については図１３（Ａ）のＳ６０２および図１４のＳ６１２で説明した方法と同様の方法を用いて今回の記録日時と判定閾値から算出することができる。計測被写体の撮影後、撮影者に次回の撮影日を報知することで記録忘れを防止することができる。

【0086】

図１１のＳ４０２で生成された観賞用画像は、最新の認識用画像として撮影対象ＤＢ１４０に登録されて、撮影対象ＤＢ１４０のデータが更新される。認識用画像の記録が行われるたびに画像データを更新することで、撮影対象の容姿が成長と共に変化した場合でも認識精度が低下することなく、認識部１８１により撮影対象を認識することができる。

【0087】

上記の説明では、あらかじめ登録されている撮影対象が認識された場合を例にしたが、撮影者が記録モード（計測モード）で撮影を行ったときに認識部１８１は被写体の認識処理を行う。認識された被写体が撮影対象ＤＢ１４０に登録されていない場合、新たな撮影対象として自動的に必要なデータが登録される。

【0088】

撮影画像に撮影対象の寸法情報を付加した成長記録において、撮像装置は撮影対象（計測被写体）を認識した場合に撮影モードを自動的に計測モードへ切り替える処理を実行する。これにより撮り忘れによる成長記録のデータ欠落を防止することが可能となる。

【0089】

次に図１６、図１７を参照して、判定部１８２が撮影対象の寸法情報から判定閾値を決定する例について説明する。図１６（Ａ）は撮影モードの制御を説明するフローチャートである。図１３（Ａ）との相違点はＳ８０２の判定処理であり、Ｓ８０１、Ｓ８０３、Ｓ８０４の各処理についてはＳ６０１、Ｓ６０３、Ｓ６０４と同様であるので、それらの詳細な説明を割愛する。

【0090】

Ｓ８０２で判定部１８２は未記録期間の長さ（前回の撮影および記録時点から現時点までの経過時間）を判定閾値と比較する。判定閾値の取得処理について図１６（Ｂ）、図１７を用いて詳細に説明する。図１６（Ｂ）は未記録期間の判定処理例を説明するフローチャートである。図１７（Ａ）は計測被写体のデータ例を示し、図１７（Ｂ）は判定閾値の説明図である。

【0091】

図１６（Ｂ）のＳ８１０では、撮影対象ＤＢ１４０に登録されている、認識部１８１が認識した撮影対象（計測被写体）の寸法データが取得される。撮影対象ＤＢ１４０において異なる日時に記録された同一被写体の成長記録のデータが２つ以上あるか否かの判定処理が行われる。成長記録のデータの数が複数であると判定された場合、Ｓ８１１の処理に移行し、成長記録のデータの数が単数であると判定された場合、Ｓ８１３の処理に移行する。

【0092】

Ｓ８１１で判定部１８２は、撮影対象の寸法情報の時間的変化率を算出する。図１７（Ａ）は撮影対象ＤＢ１４０に登録された、子供の成長記録のデータ例を示す。ＤＡＴＡ１は撮影日（データ取得日）がＴ１、寸法情報がＬ１であり、ＤＡＴＡ２は撮影日がＴ２、寸法情報がＬ２である。「Ｔ１＜Ｔ２」および「Ｌ１＜Ｌ２」として子供の成長のデータが記録されている。この例のように、登録されている最小点数が２点のデータである場合、寸法情報の時間的変化率（Ｒと記す）は下記式（６）で表すことができる。
Ｒ＝（Ｌ２－Ｌ１）／Ｌ１／（Ｔ２－Ｔ１） ・・・式（６）

【0093】

式（６）では寸法情報の時間的変化率を２点のデータから算出する例を示すが、３点以上のデータを使用することができる。その場合、統計手法やフィッティング法を適用することで、正確に寸法情報の時間的変化率を算出することができる。

【0094】

次に図１６（Ｂ）のＳ８１２で判定部１８２は、寸法情報の時間的変化率Ｒに応じた判定閾値を判定閾値ＤＢ１４１から取得する。図１７（Ｂ）は判定閾値テーブルの例を示すグラフであり、横軸は寸法情報の時間的変化率Ｒを表し、縦軸は判定閾値（時間）を表す。Ｓ８１１で算出された寸法情報の時間的変化率Ｒに対応した判定閾値が算出される。図１７（Ｂ）に例示したグラフ曲線は、寸法情報の時間的変化率Ｒに対して単調減少の曲線であり、時間的変化率Ｒが大きいほど判定閾値は小さい。

【0095】

一方、図１６（Ｂ）のＳ８１３では判定閾値がゼロ以下に設定される。Ｓ８１２、Ｓ８１３の次にＳ８１４の処理に進む。Ｓ８１４で判定部１８２は、前回の記録時点から現在までの未記録期間の長さである経過時間を算出し、Ｓ８１５で経過時間と判定閾値とを比較する。撮影対象ＤＢ１４０から撮影対象の最新の記録データを参照することで記録取得日時が取得され、記録取得日時と現在の日時との差から未記録期間の長さ（経過時間）が算出される。判定閾値はＳ８１２で取得された値、またはＳ８１３ではゼロ以下である。判定閾値がゼロ以下である場合には、経過時間にかかわらず、Ｓ８０２の判定処理にて確実に経過時間が判定閾値以上であると判定される。

【0096】

以上の処理によって、撮影対象（被写体）の種類の情報が撮影対象ＤＢに登録されていない場合でも本発明を適用可能である。被写体の種類が不明であっても、寸法情報の時間的変化率Ｒを算出して判定閾値を決定することにより、適切なタイミングで撮影者に成長記録を促す事ができる。

【0097】

従来の技術では、被写体の成長記録等の目的で撮影を行うユーザにとっては撮影条件や画像処理条件の設定が煩雑である。撮影時刻の異なる撮影画像を単に並べて配置しただけでは観察しにくい。前記実施形態によれば、被写体の成長記録等のための撮影を行い、被写体の時間的な変化の観察を容易にする撮像装置を提供できる。

【0098】

本発明の好ましい実施形態について説明したが、本発明は前記した例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。実施例および変形例に示した複数の事項を適宜組み合わせてもよい。

【0099】

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0100】

１ 撮像装置
１１ 撮像素子
１２ 制御部
１３ 画像処理部
１４ 記憶部
１８ 記録制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】