特開 2024-168624 撮像装置及びその制御方法とプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168624

(43)【公開日】2024-12-05

(54)【発明の名称】撮像装置及びその制御方法とプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20241128BHJP

   H04N 23/60 20230101ALI20241128BHJP

   G03B 15/00 20210101ALI20241128BHJP

   G02B 7/28 20210101ALI20241128BHJP

   G03B 7/091 20210101ALI20241128BHJP

【ＦＩ】

H04N23/63 300

H04N23/60 500

G03B15/00 Q

G02B7/28 N

G03B7/091

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023085462

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】杉本 俊彦

【テーマコード（参考）】

2H002

2H151

5C122

【Ｆターム（参考）】

2H002GA05

2H002GA16

2H151DA15

2H151DA19

5C122FB05

5C122FC06

5C122FD01

5C122FD07

5C122FH11

5C122FH14

5C122FK28

5C122FK37

5C122FK41

5C122HA88

5C122HB01

5C122HB05

5C122HB09

5C122HB10

(57)【要約】

【課題】顔及び顔以外の体部位を含む品質の高い撮影画像を複数の人物ごとに偏り無く取得する。
【解決手段】撮像装置１００は、撮影対象となる複数の被写体を登録する撮れ高テーブルと、撮像素子１０７により取得された撮影画像から取れ高テーブルに登録されている被写体を検出する被写体検出部１４０と、被写体検出部１４０により検出される被写体の状態を評価するための評価基準が設定される評価項目定義テーブル及び点数定義テーブル１～３と、被写体検出部１４０により検出された被写体の顔および顔以外の体部位を評価基準に照らし合わせることにより撮影画像の品質を表す評価値（撮れ高）を撮れ高テーブルに登録された被写体ごとに求める制御部１２１を備える。制御部１２１は、得られた評価値を撮れ高テーブルに登録された被写体ごとに表示部１３１に表示する。
【選択図】図１４

【特許請求の範囲】

【請求項1】

撮像手段と、
撮影対象となる複数の被写体を登録する登録手段と、
前記撮像手段により取得された撮影画像から前記登録手段に登録されている被写体を検出する検出手段と、
前記検出手段により検出される被写体の状態を評価するための評価基準を設定する設定手段と、
前記検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせることにより、前記撮影画像の品質を表す評価値を前記複数の被写体ごとに求める評価手段と、
前記複数の被写体ごとの前記評価値の和を表示装置に表示する制御手段と、を備えることを特徴とする撮像装置。

【請求項2】

撮像手段と、
複数の被写体を登録する登録手段と、
前記撮像手段により取得される画像から前記登録手段に登録されている被写体を検出する検出手段と、
前記検出手段により検出される被写体の状態を評価するための評価基準を設定する設定手段と、
前記画像としての撮影画像から前記検出手段により検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせることにより、前記撮影画像の品質を表す評価値を前記複数の被写体ごとに求める評価手段と、
前記評価値と前記評価基準の少なくとも一方を用いて前記撮像手段を制御する制御手段と、を備えることを特徴とする撮像装置。

【請求項3】

前記評価基準には、前記撮影画像に写っていることが必要とされる顔および顔以外の体部位が定義されていることを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

前記評価基準には更に、前記撮影画像における被写体の合焦状態と前記撮影画像における被写体の撮影サイズの少なくとも一方が定義されていることを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記評価基準として、前記合焦状態と、前記顔および顔以外の体部位と、前記撮影サイズとが定義されると共に、前記合焦状態と、前記顔および顔以外の体部位と、前記撮影サイズのそれぞれに重みが定義され、
前記評価手段は、前記合焦状態、前記体部位および前記撮影サイズのそれぞれについてランク分けされた点数が定義されたテーブルを保持し、
前記評価値は、前記合焦状態、前記体部位および前記撮影サイズのそれぞれについて前記撮影画像ごとに前記テーブルから求められた点数に対して対応する前記重みを乗算して得られる値の和で求められることを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記撮影画像から予め設定された所定数以上の被写体が検出され、且つ、当該被写体のサイズまたは当該被写体の顔のサイズが所定サイズ以下である場合、前記評価手段は、前記評価基準として前記撮影画像における被写体の撮影サイズが定義されている場合であっても、前記評価値を演算しないことを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記制御手段は、前記複数の被写体のうち前記評価値の和が最も小さい被写体が撮影されるように前記撮像手段を制御することを特徴とする請求項２に記載の撮像装置。

【請求項8】

前記制御手段は、前記複数の被写体のうち前記評価値の和が小さい被写体から順に撮影対象を切り換えながら前記撮像手段による連続撮影を行うことを特徴とする請求項２に記載の撮像装置。

【請求項9】

前記評価基準には前記画像に写っていることが必要とされる顔および顔以外の体部位が定義されており、
前記検出手段は、前記画像としてのライブビュー画像における被写体が前記複数の被写体のいずれかである場合に当該被写体の体部位を検出し、
前記制御手段は、前記複数の被写体のうち前記検出手段により検出された体部位が前記評価基準に定義された体部位の条件を満たす被写体の撮影画像を取得するように前記撮像手段を制御することを特徴とする請求項２に記載の撮像装置。

【請求項10】

前記評価基準には前記画像に写っていることが必要とされる顔および顔以外の体部位が定義されており、
前記検出手段は、前記複数の被写体のそれぞれについて前記画像としてのライブビュー画像から前記評価基準に定義されている体部位を検出し、
前記制御手段は、前記ライブビュー画像に前記複数の被写体のうちの２人以上が写っている場合に、前記２人以上の被写体のそれぞれについて検出された体部位の数を前記検出手段により検出された全ての体部位の数で除した値の大きい被写体から優先的にピントを合わせるよう前記撮像手段を制御することを特徴とする請求項２に記載の撮像装置。

【請求項11】

前記制御手段は、前記画像としてのライブビュー画像において、前記複数の被写体のいずれかに隣接して前記登録手段に登録されていない被写体が検出された場合に、当該隣接している被写体に同時にピントが合うように前記撮像手段を制御することを特徴とする請求項２に記載の撮像装置。

【請求項12】

前記制御手段は、前記検出手段が前記画像としてのライブビュー画像において規則的に整列して撮影画角の全域を移動する複数の被写体を検出した場合に、前記登録手段に登録されている被写体に対して前記評価値の和の小さい順にまたは至近判定された順にピントを合わせるよう前記撮像手段を制御することを特徴とする請求項２に記載の撮像装置。

【請求項13】

撮像装置の制御方法であって、
複数の被写体を登録手段に登録するステップと、
前記撮像装置が備える撮像手段により取得される撮影画像における被写体の状態を評価するための評価基準を設定するステップと、
前記撮影画像から前記登録手段に登録された被写体を検出するステップと、
前記検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせて前記撮影画像の品質を表す評価値を前記登録された被写体ごとに求めるステップと、
前記登録された被写体ごとの前記評価値の和を表示手段に表示するステップと、を有することを特徴とする撮像装置の制御方法。

【請求項14】

撮像装置の制御方法であって、
複数の被写体を登録手段に登録するステップと、
前記撮像装置が備える撮像手段により取得される画像における被写体の状態を評価するための評価基準を設定するステップと、
前記画像から前記登録手段に登録された被写体を検出するステップと、
前記画像としての撮影画像から検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせて前記撮影画像の品質を表す評価値を前記登録された被写体ごとに求めるステップと、
前記評価値と前記評価基準の少なくとも一方を用いて前記撮像手段を制御するステップと、を有することを特徴とする撮像装置の制御方法。

【請求項15】

コンピュータを請求項１又は２に記載の撮像装置の前記登録手段、前記検出手段、前記設定手段、前記評価手段および前記制御手段として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びその制御方法とプログラムに関する。

【背景技術】

【0002】

被写体の状態を検出し、被写体が所定の状態になったときに撮影を行い、撮影回数をカウントする撮影装置が知られている。例えば、特許文献１に開示された撮像装置は、被写体の笑顔を検出したときに自動的に撮影を行う。この撮像装置は、笑顔の被写体を捉えた笑顔画像の撮影画像数が基準数に到達すると、それ以降は、被写体の笑顔以外の表情（泣き顔、困り顔等）又は動作（ジェスチャー）が検出されたときに自動的に撮影を行う。

【0003】

また、特許文献２に開示された撮像装置は、撮影画像を取得すると、撮影画像内の被写体認識処理を行い、被写体の状態が予め設定された特定の状態であるか否かを判断し、特定の状態であると判断した被写体の撮影回数をインクリメントして記憶する。これにより、撮影者は、複数の被写体の撮影中に、被写体ごとに特定の状態で撮影された撮影回数を容易に把握することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－２７３２８１号公報

【特許文献2】特開２００９－２９０８１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

撮影者は、人物の顔だけでなく、人物の手足や半身、全身といった顔以外の体部位が顔と共に撮影されている撮影画像を求める場合が多々ある。例えば、運動会等の学校行事において児童の演技や競技を撮影する場合、児童の顔だけでなく、手足の動きや仕草、体全体の動き等もわかる画像が撮影されていることが望まれることが多い。

【0006】

この場合、人物の顔と共に人物の顔以外の情報が同時に撮影されていることが、撮影画像の品質を評価する上で重要となる。つまり、撮影画像の品質評価には、人物の顔に加えて、顔以外の情報を含める必要がある。また、被写体が所望される状態で撮影された撮影画像を複数の人物ごとに均等に取得することが望ましい。そのため、人物ごとに取得された撮影画像の品質を撮影中に容易に把握することができれば、撮影者は品質の高い撮影画像を取得することができていない人物を優先的に撮影することが可能となる。

【0007】

このような要求に対して、特許文献１に記載された撮像装置では、検出されるジェスチャーは、あくび、くしゃみ、ウインク等の顔の動作に限られている。また、特許文献２は、予め規定された条件に合致するか否かの判断に従って撮影回数を加算しているが、撮影画像の品質評価については言及していない。

【0008】

本発明は、顔及び顔以外の体部位を含む品質の高い撮影画像を複数の人物ごとに偏り無く取得することを可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る撮像装置は、撮像手段と、撮影対象となる複数の被写体を登録する登録手段と、前記撮像手段により取得された撮影画像から前記登録手段に登録されている被写体を検出する検出手段と、前記検出手段により検出される被写体の状態を評価するための評価基準を設定する設定手段と、前記検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせることにより、前記撮影画像の品質を表す評価値を前記複数の被写体ごとに求める評価手段と、前記複数の被写体ごとの前記評価値の和を表示装置に表示する制御手段と、を備えることを特徴とする。

【発明の効果】

【0010】

本発明によれば、顔及び顔以外の体部位を含む品質の高い撮影画像を複数の人物ごとに偏り無く取得することが可能となる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る撮像装置の概略構成を示す図である。

【図2】撮像装置が備える撮像素子の画像配列を説明する正面図である。

【図3】１つの撮像画素の正面図と、正面図中の矢視ａ－ａでの断面図である。

【図4】撮像光学系の射出瞳と撮像画素の光電変換部との関係を示す断面図である。

【図5】撮像素子による瞳分割を説明する図である。

【図6】デフォーカス量と焦点検出信号の位相差の関係を説明する模式図である。

【図7】撮像素子が焦点検出信号を取得する焦点検出領域を説明する模式図である。

【図8】撮像装置での撮影動作のフローチャートである。

【図9】Ｓ８０６の撮像処理の詳細を示すフローチャートである。

【図10】被写体ごとの総撮れ高を示す撮れ高テーブルの一例を示す図である。

【図11】評価項目定義テーブル及び評価点定義テーブルの一例を示す図である。

【図12】評価点定義テーブル１で設定される被写体の体部位を説明する図である。

【図13】撮影シーンの一例を示す図である。

【図14】撮れ高テーブルの表示例を示す図である。

【図15】Ｓ８０４の被写体追従ＡＦ処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

【0013】

図１は、実施形態に係る撮像装置１００の概略構成を示す図である。撮像装置１００は、具体的にはデジタルカメラであるが、これに限られず、デジタルビデオカメラであってもよいし、撮像機能と撮影画像の解析を行う機能を備えているスマートフォン等の携帯型端末（電子機器）であってもよい。

【0014】

撮像装置１００は、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、第３レンズ群１０５、光学ローパスフィルタ１０６、ズームアクチュエータ１１１、絞りアクチュエータ１１２及びフォーカスアクチュエータ１１４を備える。撮像装置１００はまた、フォーカス駆動回路１２６、絞り駆動回路１２８、ストロボ装置１１５、ＡＦ補助光発光部１１６、ストロボ制御回路１２２、補助光駆動回路１２３、制御部１２１、撮像素子１０７及び撮像素子駆動回路１２４を備える。撮像装置１００は更に、シャッタ１０８、画像処理部１２５、表示部１３１、操作スイッチ群１３２、フラッシュメモリ１３３、被写体検出部１４０、記憶部１４１、姿勢取得部１４２及び外部装置インタフェース部１４３を備える。

【0015】

第１レンズ群１０１、絞り１０２、第２レンズ群１０３、第３レンズ群１０５及び光学ローパスフィルタ１０６は、撮像光学系を構成する。撮像光学系のうち最も被写体側（前側）に配置された第１レンズ群１０１は、光軸方向に移動可能に保持されている。絞り１０２の開口径を調節することにより撮像素子１０７へ入射する光量を調整することができる。第２レンズ群１０３は、絞り１０２と一体となって光軸方向に移動し、光軸方向に移動する第１レンズ群１０１と共に変倍動作（ズーム動作）を行う。第３レンズ群１０５は、光軸方向に移動して焦点調節を行うフォーカスレンズである。光学ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。

【0016】

ズームアクチュエータ１１１は、カム筒（不図示）を光軸まわりに（光軸を中心として）回転させることにより、カム筒に設けられたカムによって第１レンズ群１０１と第２レンズ群１０３を光軸方向に移動させることにより変倍動作を行う。絞りアクチュエータ１１２は、絞り１０２が備える複数の遮光羽根（不図示）を開閉方向に駆動することにより、撮像素子１０７へ入射する光量を調節する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて、被写体に対する合焦動作（ピント合わせ）を行う。

【0017】

フォーカス駆動回路１２６は、制御部１２１からの制御信号に従ってフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させる。これにより所定の被写体に対する合焦動作が行われる。絞り駆動回路１２８は、制御部１２１からの制御信号に従って絞りアクチュエータ１１２を駆動し、これにより絞り１０２の開口径が調節される。ズーム駆動回路１２９は、撮影者（ユーザ）のズーム操作に従ってズームアクチュエータ１１１を駆動する。本実施形態では、撮像光学系、各アクチュエータ及び各駆動回路は、撮像素子１０７を装備した撮像装置１００の本体部と一体に設けられているものとするが、これに限られず、撮像装置１００の本体部に対して着脱可能な交換レンズとして構成されていてもよい。

【0018】

ストロボ装置１１５は、キセノン管やＬＥＤ等の発光素子を有し、被写体に光を照射する。ＡＦ補助光発光部１１６は、ＬＥＤ等の発光素子を有し、所定の開口パターンを有するマスクの像を投光レンズを介して被写体に投射することで、暗い被写体又は低コントラストの被写体に対する焦点検出性能を向上させる。ストロボ制御回路１２２は、静止画撮影のための露光タイミングに同期させてストロボ装置１１５を発光させる制御を行う。補助光駆動回路１２３は、焦点検出動作に同期させてＡＦ補助光発光部１１６を発光させる制御を行う。

【0019】

制御部１２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ及び通信インタフェース回路等を有し、ＲＯＭに記憶された各種プログラムをＲＡＭに展開することにより、撮像装置１００を構成する各部の動作を統括的に制御する。撮像素子１０７は、撮像光学系により形成される被写体像を光電変換する複数の画素を含む二次元ＣＭＯＳフォトセンサとその周辺回路で構成されており、撮像光学系の結像面に配置されている。撮像素子駆動回路１２４は、制御部１２１からの指令を受けて撮像素子１０７の動作を制御する。これにより、撮像素子１０７は、光電変換により生成されたアナログ信号をＡ／Ｄ変換し、生成されたデジタル信号（画像データ）を制御部１２１へ送信する。

【0020】

シャッタ１０８は、フォーカルプレーンシャッタとシャッタ駆動回路を備え、シャッタ駆動回路が制御部１２１からの制御信号に従ってフォーカルプレーンシャッタを駆動する。フォーカルプレーンシャッタは、撮像素子１０７からの信号の読み出し中は撮像素子１０７を遮光する。撮像素子１０７に対する露光中にはフォーカルプレーンシャッタが開かれて、撮像素子１０７へ入射光が導かれる。

【0021】

画像処理部１２５は、制御部１２１内のＲＡＭに蓄積された画像データに対して所定の画像処理を行う。画像処理部１２５が実行する画像処理としては、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理等の、所謂、現像処理が挙げられ、この他にも信号形式変換処理やスケーリング処理等があるが、これらに限定されるものではない。画像処理部１２５は更に、各被写体の体部位（関節を含む）の位置、固有物体の位置や大きさ情報、被写体の重心、顔や瞳の位置情報等を画像から検出し、検出された各種の情報を画像データと共に制御部１２１内のＲＡＭに保存する。なお、画像処理部１２５が検出した各種の情報を画像処理（例えば、ホワイトバランス調整処理等）に利用するようにしてもよい。

【0022】

表示部１３１は、液晶パネル等の表示装置を有しており、撮像装置１００の撮影モードに関する情報、ライブビュー映像、確認用の撮影画像、焦点検出領域の指標や合焦画像等を表示する。操作スイッチ群１３２は、電源スイッチやレリーズスイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含み、撮影者により操作される。なお、表示部１３１の表示装置にはタッチパネルが重畳配置されており、撮影者はタッチパネルに対するタッチ操作によって各種の操作を行うことが可能となっている。フラッシュメモリ１３３は、撮像装置１００に対して着脱可能な記録媒体であり、撮影画像を記録する。

【0023】

被写体検出部１４０は、機械学習により生成される辞書データに基づいて、ライブビュー画像（以下「ＬＶ画像」と記す）から被写体を検出する（後述するＳ８０４（被写体追従ＡＦ処理）についての説明参照）。また、被写体検出部１４０は、撮影画像（後述するＳ９０５でフラッシュメモリ１３３に記憶される画像）からの被写体検出も行う。被写体検出部１４０は、例えば、機械学習されたそれぞれが異なるＣＮＮ（コンボリューショナル・ニューラル・ネットワーク）により構成され、撮影画像に含まれる被写体の位置等を推定する。被写体検出部１４０は、ＧＰＵ（グラフィックス・プロセッシング・ユニット）やＣＮＮによる推定処理に特化した回路で実現されてもよい。

【0024】

なお、ＣＮＮの機械学習は任意の手法で行われる。例えば、サーバ等の所定のコンピュータがＣＮＮの機械学習を行い、撮像装置１００が学習済みのＣＮＮを所定のコンピュータから取得する構成であってもよい。また、所定のコンピュータが学習用画像データを入力とし、学習用画像データに対応する被写体の位置等を教師データとした教師あり学習を行うことでＣＮＮの学習が行われて、学習済みのＣＮＮが生成されてもよい。ＣＮＮの学習は、撮像装置１００で行われてもよい。

【0025】

本実施形態では、被写体検出部１４０は、被写体としての人物の検出と、人物の顔や瞳、手、足、胴体等の体部位の検出を行う。検出対象とする体部位の例については後述する。被写体検出部１４０は、撮影画像の画像データと辞書データとに基づいて、撮影画像中の被写体位置（人物位置）を推定する。人物全体を検出するための辞書データと人物の顔等の体部位を検出するための辞書データとは、個別に記憶部１４１に記憶されていてもよい。

【0026】

また、被写体検出部１４０は、被写体ごとの辞書データを順次切り替えながら被写体検出を行う。辞書データとは、被写体の特徴が登録されたデータである。被写体ごとの辞書データは記憶部１４１に記憶されている。制御部１２１は、複数の辞書データの中からどの辞書データを用いて被写体検出を行うかを、事前に設定された被写体の優先度や撮像装置１００の設定に基づいて決定する。

【0027】

なお、被写体検出部１４０は、被写体位置に限らず、サイズや信頼度等を推定して、推定した情報を出力してもよいし、他の情報を出力してもよい。また、被写体検出部１４０は、事前に顔が登録された個人を特定すること（個人認証）を行うことで被写体を検出するものであってもよい。その場合、撮像装置１００には認証画像登録モード（顔登録モード）が設けられ、認証画像登録モードでは、登録される人物の少なくとも顔の特徴量を示す特徴情報が辞書データに登録される。個人認証では、先ず、撮影画像に存在する人物の顔及びその器官検出（例えば、目及び口等の器官検出）を行って人物の顔の特徴量が抽出され、予め辞書データに登録されている顔の特徴量との類似度が演算される。そして、得られた類似度が所定の閾値以上である場合に、撮影画像に存在する人物の顔が辞書データに登録された人物の顔であると判定される。

【0028】

また、被写体検出部１４０は、複数の種類の被写体を検出してもよい。この場合、被写体検出部１０４は、種類ごとの辞書データを用いる。各辞書データには、例えば、被写体として、人物を検出するための辞書データ、動物を検出するための辞書データ、乗物を検出するための辞書データ、ボールやグローブ、バット等の道具を検出するための辞書データ等がある。

【0029】

記憶部１４１には、前述したように被写体ごとの辞書データと、被写体認証を行うための被写体認証画像が格納されている。また、記憶部１４１には、撮影画像の品質評価を行う際に参照される評価項目定義テーブル及び点数定義テーブルと、登録された被写体ごとの撮影画像の品質評価結果を表す撮れ高テーブルが記憶されている。これら各種テーブルの詳細については後述する。

【0030】

姿勢取得部１４２は、被写体検出部１４０が検出した複数の被写体それぞれの姿勢を推定し、姿勢情報を取得する。前述したように、被写体検出部１４０はＬＶ画像及び撮影画像からの被写体検出を行うため、姿勢取得部１４２もまたＬＶ画像及び撮影画像から被写体の姿勢情報を取得する。

【0031】

姿勢取得部１４２が取得すべき姿勢情報の内容は、被写体の種類に応じて設定されるが、本実施形態では、人物を被写体として、姿勢取得部１４２は被写体の複数の体部位の位置を取得するものとする。姿勢取得部１４２が取得する被写体の体部位については、図１２等を参照して後述する。なお、姿勢の推定方法は特に限定されるものではなく、例えば、Ｃａｏ，Ｚｈｅらによる下記文献に記載された方法を用いることができる。

【0032】

Cao, Zhe, et al., "Realtime multi-person 2d pose estimation using part affinity fields.", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.

【0033】

外部装置インタフェース部１４３は、外部機器を撮像装置１００と接続して情報のやり取りを行う。外部装置としては、スマートフォンや外部モニタ等が挙げられるが、これらに限定されるものではない。撮像装置１００と外部装置との通信接続は、ＵＳＢ等の有線接続であってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）等の無線信接続であってもよい。撮像装置１００は、撮像装置１００と接続された外部装置に記憶された被写体認証画像や後述する評価項目定義テーブル及び点数定義テーブルを、必要に応じて外部装置から取得するように構成されていてもよい。

【0034】

次に、図２乃至図７を参照して、撮像素子１０７の構成と撮像素子１０７による焦点検出について説明する。図２は、撮像素子１０７の画像配列を説明する正面図であり、撮像素子１０７のうち４画素列×４画素行の範囲の画素配列を光軸方向（ｚ方向）の被写体側から見て示している。１つの画素ユニット２００は、２行×２列に配置された４つの撮像画素を有する。１つの画素ユニット２００は、左上にＲ（赤）の分光感度を有する撮像画素（Ｒ画素２００Ｒ）を、右上と左下にＧ（緑）の分光感度を有する撮像画素（Ｇ画素２００Ｇ）を、右下にＢ（青）の分光感度を有する撮像画素（Ｂ画素２００Ｂ）を有する。各撮像画素は、水平方向（ｘ方向）に分割された第１焦点検出画素２０１と第２焦点検出画素２０２を有する。

【0035】

本実施形態では、撮像素子１０７における撮像画素の画素ピッチＰは４μｍ、撮像画素数Ｎは、水平（ｘ）×垂直（ｙ）＝５５７５列×３７２５行＝約２０７５万画素、となっている。また、焦点検出画素の画素ピッチＰＡＦは２μｍ、焦点検出画素数ＮＡＦは、水平×垂直＝１１１５０列×３７２５行＝約４１５０万画素、となっている。但し、撮像素子１０７のこのような撮像画素数や配置、各撮像画素は一例である。例えば、図２の構成では、各撮像画素は、水平方向に２分割されているが、垂直方向に２分割されていてもよい。また、撮像素子１０７は、各撮像画素が第１焦点検出画素２０１及び第２焦点検出画素２０２を有するが、撮像画素と第１及び第２焦点検出画素とを別々の画素で備えていてもよい。例えば、複数の撮像画素の中に第１及び第２焦点検出画素が離散的に配置されていてもよい。

【0036】

図３（ａ）は、撮像素子１０７を光軸方向の被写体側から見た場合の１つの撮像画素（Ｒ画素２００Ｒ、Ｇ画素２００Ｇ及びＢ画素２００Ｂのどれであってもよい）を示す図である。図３（ｂ）は、図３（ａ）中に示す矢視ａ－ａでの断面図である。

【0037】

１つの撮像画素は、入射光を集光するための１つのマイクロレンズ３０５を有する。また、１つの撮像画素は、ｘ方向にＮ分割（本実施形態では２分割）された光電変換部３０１，３０２を有する。光電変換部３０１，３０２はそれぞれ、第１焦点検出画素２０１及び第２焦点検出画素２０２に相当する。光電変換部３０１，３０２の重心はそれぞれ、マイクロレンズ３０５の光軸に対して、－ｘ側と＋ｘ側に偏心している。

【0038】

撮像画素では、マイクロレンズ３０５と光電変換部３０１，３０２との間にＲＧＢのいずれかの色のカラーフィルタ３０６が設けられている。なお、光電変換部ごとにカラーフィルタの分光透過率を変えてもよいし、カラーフィルタを省略してもよい。撮像光学系から撮像画素に入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後に光電変換部３０１，３０２で受光され、光電変換部３０１，３０２において光電変換されて、アナログ信号が生成される。

【0039】

図４は、撮像光学系の射出瞳と撮像画素の光電変換部３０１，３０２との関係を図３（ａ）中に示す矢視ｂ－ｂでの断面図を用いて表した模式図である。なお、図４中の矢視ｂ－ｂでの断面図と図３（ｂ）の矢視ａ－ａでの断面図とではｘ方向とｙ方向が逆となる。

【0040】

射出瞳のうち＋Ｘ側に重心が偏心した第１瞳領域５０１は、マイクロレンズ３０５によって、撮像画素のうち－ｘ側の光電変換部３０１の受光面と概ね共役な関係とされる領域である。第１瞳領域５０１を通過した光束は、光電変換部３０１（＝第１焦点検出画素２０１）により受光される。また、射出瞳のうち－Ｘ側に重心が偏心した第２瞳領域５０２は、マイクロレンズ３０５によって、撮像画素のうち＋ｘ側の光電変換部３０２の受光面と概ね共役な関係とされる領域である。第２瞳領域５０２を通過した光束は、光電変換部３０２（＝第２焦点検出画素２０２）により受光される。撮像画素全体で受光可能な瞳領域は、光電変換部３０１，３０２（第１焦点検出画素２０１及び第２焦点検出画素２０２）を合わせた瞳領域５００で示される。

【0041】

図５は、撮像素子１０７による瞳分割を説明する図である。第１瞳領域５０１と第２瞳領域５０２をそれぞれ通過した光束は、撮像素子１０７の各撮像画素にそれぞれ異なる角度で入射し、２分割された第１焦点検出画素２０１及び第２焦点検出画素２０２で受光される。本実施形態では、撮像素子１０７の複数の第１焦点検出画素２０１からの出力信号が集められて第１焦点検出信号が生成されると共に、複数の第２焦点検出画素２０２からの出力信号が集められて第２焦点検出信号が生成される。そして、複数の第１焦点検出画素２０１からの出力信号と複数の第２焦点検出画素２０２からの出力信号とが加算されて、撮像画素信号が生成される。また、複数の撮像画素からの撮像画素信号が合成されて、有効画素数Ｎに相当する解像度の画像を生成するための撮像信号が生成される。

【0042】

図６は、撮像光学系のデフォーカス量と撮像素子１０７で生成される第１焦点検出信号及び第２焦点検出信号の位相差（像ずれ量）との関係を説明する模式図である。図４及び図５を参照して説明したように、撮像光学系の射出瞳は第１瞳領域５０１と第２瞳領域５０２に２分割されている。デフォーカス量は、被写体６１０，６２０からの入射光束の結像位置Ｃから撮像素子１０７の撮像面６００までの距離の大きさの絶対値｜ｄ｜で表される。結像位置Ｃが撮像面６００よりも被写体側にある前ピン状態は負符号（－）で表され、結像位置Ｃが撮像面６００より被写体とは反対側にある後ピン状態は正符号（＋）で表されるように定義される。結像位置Ｃが撮像面６００にある合焦状態では、ｄ＝０、となる。図６の例では、撮像光学系は、被写体６１０に対して合焦状態（ｄ＝０）にあり、被写体６２０に対して前ピン状態（ｄ＜０）にある。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせてデフォーカス状態（｜ｄ｜＞０）と言う。

【0043】

前ピン状態（ｄ＜０）では、被写体６２０からの光束のうち第１瞳領域５０１（第２瞳領域５０２）を通過した光束は、一旦集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面６００上でボケ像（ぼやけた像）を形成する。このボケ像は、撮像素子１０７の第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。つまり、第１焦点検出信号（第２焦点検出信号）は、撮像面６００上での光束の重心位置Ｇ１（Ｇ２）において被写体６２０がボケ幅Γ１（Γ２）だけぼやけた被写体像を表す信号となる。

【0044】

このとき、被写体像のボケ幅Γ１（Γ２）は、デフォーカス量｜ｄ｜の大きさの増加に概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号間の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ（｜ｐ｜）も、デフォーカス量｜ｄ｜の大きさの増加に概ね比例して増加する。後ピン状態（ｄ＞０）では、第１焦点検出信号と第２焦点検出信号間の像ずれ方向が前ピン状態とは逆になるが、前ピン状態（ｄ＜０）と同様のことが言える。

【0045】

即ち、デフォーカス量｜ｄ｜の大きさの増加に伴って、第１及び第２焦点検出信号間の像ずれ量の大きさが増加する。本実施形態では、撮像素子１０７を用いて得られた第１及び第２焦点検出信号間の像ずれ量からデフォーカス量を演算する撮像面位相差検出方式の焦点検出が行われる。

【0046】

図７は、撮像素子１０７において第１及び第２焦点検出信号を取得する焦点検出領域を説明する模式図である。図７中、Ａ（ｎ，ｍ）は、撮像素子１０７の有効画素領域７００に設定された複数（ｎ，ｍ＝１，２，３でｘ方向及びｙ方向に３つずつの計９つ）の焦点検出領域のうちｘ方向でｎ番目、ｙ方向でｍ番目の焦点検出領域を示している。焦点検出領域Ａ（ｎ，ｍ）に含まれる複数の第１及び第２焦点検出画素２０１，２０２（図７に不図示）からの出力信号から第１及び第２焦点検出信号が生成される。図７中、Ｉ（ｎ，ｍ）は、表示部１３１において焦点検出領域Ａ（ｎ，ｍ）の位置を表示する指標を示す。

【0047】

なお、図７に示した９つの焦点検出領域Ａ（ｎ，ｍ）（ｎ，ｍ＝１，２，３）は一例であって、焦点検出領域Ａ（ｎ，ｍ）の数、位置及びサイズは限定されない。例えば、撮影者が指定した位置や被写体検出部１４０により検出された被写体位置を中心とした所定の範囲に少なくとも１つの焦点検出領域を設定してもよい。本実施形態では、後述するデフォーカスマップの取得に際して、高い分解能で焦点検出結果が得られるように焦点検出領域が配置される。例えば、撮像素子１０７には、水平１２０分割、垂直８０分割で計９６００点の焦点検出領域が配置される。

【0048】

上記構成は、以下の第１実施形態及び第２実施形態において共通している。

【0049】

＜第１実施形態＞
次に、撮像装置１００による撮影動作、即ち、撮像装置１００の表示部１３１にＬＶ画像を表示し、静止画像を取得するための露光を経て撮影画像を記憶するまでの一連の動作、について説明する。

【0050】

図８は、撮像装置１００での撮影動作のフローチャートである。本フローチャートにＳ番号で示す各処理（ステップ）は、制御部１２１においてＣＰＵがＲＯＭに格納された所定のプログラムをＲＡＭに展開して、撮像装置１００を構成する各部（各ブロック）の動作を統括的に制御することによって実現される。制御部１２１は、撮像装置１００の電源スイッチがオンになったことを検出すると、撮像装置１００の初期化を行い、初期化が完了するとＳ８０１の処理を開始する。

【0051】

Ｓ８０１で制御部１２１は、撮像素子１０７の駆動信号を撮像素子駆動回路１２４に送る。これにより撮像素子１０７が駆動を開始し、制御部１２１は撮像素子１０７から撮像信号を取得する。具体的には、制御部１２１は、図７に示した各焦点検出領域に含まれる複数の第１及び第２焦点検出画素から第１及び第２焦点検出信号を取得する。また、制御部１２１は、撮像素子１０７の全有効画素の第１及び第２焦点検出信号を加算して画像信号を生成し、画像信号に対する画像処理を画像処理部１２５に行わせて、画像処理部１２５から画像データを取得する。なお、撮像画素と第１及び第２焦点検出画素とが別々に設けられている場合、制御部１２１は、焦点検出用画素に対する補完処理を行って画像データを取得する。

【0052】

Ｓ８０２で制御部１２１は、Ｓ８０１で得られた画像データからＬＶ画像を画像処理部１２５に生成させ、生成されたＬＶ画像を表示部１３１に表示する。ＬＶ画像は表示部１３１の解像度に合わせた縮小画像であり、撮影者はＬＶ画像を見ながら撮影構図や露出条件等を調整することが可能になる。制御部１２１は、ＬＶ画像が表示部１３１に表示される際に、画像データから得られた測光値に基づいて露出調整を行う。露出調整は、適宜、露光時間や絞り１０２の開口量、撮像素子１０７からの出力に対するゲイン調整を行うことにより実現される。

【0053】

Ｓ８０３で制御部１２１は、操作スイッチ群１３２に含まれるレリーズスイッチの半押し操作によって撮像準備を開始を指示するスイッチＳＷ１がオンしたか否かを判定する。制御部１２１は、スイッチＳＷ１はオンしていないと判定した場合（Ｓ８０３でＮｏ）、スイッチＳＷ１がオンになるタイミングを監視するため、Ｓ８０３の処理を繰り返す。一方、制御部１２１は、スイッチＳＷ１がオンしたと判定した場合（Ｓ８０３でＹｅｓ）、Ｓ８０４の処理を実行する。

【0054】

Ｓ８０４で制御部１２１は、被写体追従ＡＦ処理を行う。被写体追従ＡＦ処理では、得られた撮像信号及び焦点検出信号を用いた被写体領域の検出及び焦点検出領域の設定と焦点検出処理から実際の露光までのタイムラグの影響を抑制するための予測ＡＦ処理等が行われる。なお、Ｓ８０４の処理の詳細については後述する。

【0055】

Ｓ８０５で制御部１２１は、レリーズスイッチの全押し操作によって、撮像処理の開始を指示するスイッチＳＷ２がオンしたか否かを判定する。制御部１２１は、ＳＷ２はオンしていないと判定した場合（Ｓ８０５でＮｏ）、Ｓ８０３の処理を実行し、ＳＷ２がオンしたと判定した場合（Ｓ８０５でＹｅｓ）、Ｓ８０６の処理を実行する。

【0056】

Ｓ８０６で制御部１２１は、撮像処理（撮像素子１０７による静止画像を取得するための露光から画像データの記憶までの一連の処理）を実行する。なお、Ｓ８０６の処理の詳細については後述する。

【0057】

Ｓ８０７で制御部１２１は、操作スイッチ群１３２に含まれる電源スイッチがオフになったか否かを判定する。制御部１２１は、電源スイッチがオンのままであると判定した場合（Ｓ８０７でＮｏ）、Ｓ８０３の処理を実行し、電源スイッチがオフになったと判定した場合（Ｓ８０７でＹｅｓ）、本処理を終了させる。なお、第１実施形態では、Ｓ８０３でＳＷ１のオンが検出された後に被写体追従ＡＦ処理を行うようにしたが、ＳＷ１がオンされる前の状態で被写体追従ＡＦ処理を行ってもよい。

【0058】

次に、Ｓ８０６の撮像処理の詳細について説明する。図９は、Ｓ８０６の撮像処理の詳細を示すフローチャートである。

【0059】

Ｓ９０１で制御部１２１は、シャッタ速度や絞り値、ＩＳＯ感度等の条件を決定して、露出制御を行う。露出制御は、ＬＶ画像データから取得した輝度情報を用いて行うことができる。制御部１２１は、決定した絞り値を絞り駆動回路１２８に送信して絞り１０２を駆動させる。また、制御部１２１は、決定したシャッタ速度をシャッタ１０８に送信してフォーカルプレーンシャッタを開く動作を行う。更に制御部１２１は、撮像素子駆動回路１２４を介して、露光期間の間、撮像素子１０７に電荷蓄積を行わせる。

【0060】

Ｓ９０２で制御部１２１は、撮像素子１０７の全画素からの撮像信号の読み出し（静止画の読み出し）を撮像素子駆動回路１２４に行わせる。また、制御部１２１は、撮像素子１０７内の焦点検出領域からの第１及び第２焦点検出信号のうち一方の読み出しを撮像素子駆動回路１２４に行わせる。ここで読み出された第１焦点検出信号又は第２焦点検出信号は、後に撮影画像を再生した際に合焦状態の検出に用いられる。なお、第１及び第２焦点検出信号のうち一方の焦点検出信号を撮像信号から差し引くことにより、他方の焦点検出信号を取得することができる。

【0061】

Ｓ９０３で制御部１２１は、Ｓ９０２で撮像素子１０７から読み出されてＡ／Ｄ変換された撮像データに対する欠陥画素補正処理を画像処理部１２５に行わせる。

【0062】

Ｓ９０４で制御部１２１は、Ｓ９０３での欠陥画素の補正処理後の撮像データに対するデモザイク（色補間）処理やホワイトバランス処理、γ補正（階調補正）処理、色変換処理及びエッジ強調処理等の画像処理や符号化処理を画像処理部１２５に行わせる。

【0063】

Ｓ９０５で制御部１２１は、Ｓ９０４での画像処理や符号化処理が行われることにより得られた撮影画像の画像データを画像データファイルとしてフラッシュメモリ１３３に記憶する。撮影画像の画像データファイルには、画像データ本体と、Ｓ９０２で取得した第１焦点検出信号又は第２焦点検出信号が含まれる。

【0064】

Ｓ９０６で制御部１２１は、Ｓ９０５で記憶した撮影画像に対応付けて、撮像装置１００の特性情報をフラッシュメモリ１３３に記憶する。撮像装置１００の特性情報は、例えば以下の第１乃至第６の情報を含む。第１の情報は、撮像条件（絞り値、シャッタ速度、ＩＳＯ感度等）である。第２の情報は、画像処理部１２５が行った画像処理に関する情報である。第３の情報は、撮像素子１０７の撮像画素及び焦点検出画素の受光感度分布に関する情報である。この第３の情報は、撮像素子１０７から光軸上の距離（位置）に応じた撮像素子１０７の感度の情報である。第３の情報は、マイクロレンズ３０５と光電変換部３０１，３０２に依存するため、これらに関する情報であってもよいし、光の入射角度に対する感度の変化の情報であってもよい。第４の情報は、撮像装置１００内での撮影光束のケラレに関する情報である。第５の情報は、撮像装置１００における撮像光学系の取付面から撮像素子１０７までの距離の情報である。第６の情報は、撮像装置１００の製造誤差に関する情報である。

【0065】

Ｓ９０７で制御部１２１は、Ｓ９０５で記憶した画像データに対応付けて、撮像光学系の特性情報としての撮影レンズ特性情報をフラッシュメモリ１３３に記憶する。撮影レンズ特性情報は、例えば、射出瞳に関する情報、光束を蹴る鏡筒等の枠に関する情報、撮像時の焦点距離やＦ値の情報、撮像光学系の収差に関する情報、撮像光学系の製造誤差に関する情報及び撮像時の第３レンズ群１０５の位置（被写体距離）の情報を含む。

【0066】

Ｓ９０８で制御部１２１は、Ｓ９０５で記憶した画像データに関する情報（画像関連情報）をフラッシュメモリ１３３に記憶する。画像関連情報は、例えば、撮像前の焦点検出動作に関する情報、被写体の移動に関する情報、焦点検出精度に関する情報（デフォーカスマップ）を含む。また、Ｓ９０８で制御部１２１は、撮影画像の品質評価（後述する撮れ高の演算）を行い、得られた結果で後述する撮れ高テーブルを更新し、記憶する。

【0067】

Ｓ９０９で制御部１２１は、表示部１３１にて撮影画像のプレビュー表示を行う。これにより、撮影者は撮影画像を簡易的に確認することができる。制御部１２１は、Ｓ９０９の処理を終えると、本サブルーチンを終了してＳ８０７の処理を実行する。

【0068】

次に、撮像装置１００において、Ｓ９０５で記憶した撮影画像の品質（以下「撮影品質」という）を予め設定した撮影方針に基づいて自動評価し、評価結果を表示部１３１に表示する制御について説明する。撮影品質の評価結果は、撮影品質を数値化した評価値（以下「撮れ高」という）で表され、得られた撮れ高で撮れ高テーブルの内容が更新される。

【0069】

撮影者は、撮影対象としている被写体（人物）を撮影する前に、被写体の画像認証を可能とするための認証画像を撮像装置１００に登録する。例えば、フラッシュメモリ１３３には、撮影対象としている被写体の顔（及び必要に応じて上半身または体全体）が撮影された画像が記憶されているものとする。この場合、撮影者は、操作スイッチ群１３２を操作して撮像装置１００を認証画像登録モードにして、撮影対象としている被写体の画像を指定し、認証画像として登録する。なお、認証画像登録モードにおいて、登録したい被写体を撮影し、得られた撮影画像を認証画像として登録するようにしてもよい。

【0070】

図１０は、被写体ごとの総撮れ高及び評価項目（詳細は後述する）ごとの得点数を示す撮れ高テーブルの一例を示す図である。撮れ高テーブルは、フラッシュメモリ１３３に記憶されており、被写体の認証画像（顔画像データ）を保持すると共に総撮れ高を保持する。詳細は後述するが、撮影画像ごとに撮れ高が演算され、得られた撮れ高を対応する被写体ごとに加算することにより、被写体ごとの総取れ高が求められる。

【0071】

図１０の撮れ高テーブルには、前述の認証画像の登録手法を用いて、３人の人物が撮影対象である被写体として登録された例が示されている。撮れ高テーブルは、登録された被写体を一意に特定する値（図１０では、Ａ，Ｂ，Ｃ）と、被写体の登録に用いられた認証画像を含む。撮れ高テーブルにおける「ピント」、「見切れ」及び「サイズ」はそれぞれ、図１１を参照して後述する「項目２」、「項目１」及び「項目３」に対応する。

【0072】

撮れ高テーブルが作成済みである場合には、被写体を追加登録することができ、また、撮れ高テーブルの数値データをリセットしたり撮れ高テーブルを削除したりすることもできる。撮れ高テーブルは、事前登録されていない被写体が撮影画像から発見された場合に、その被写体の撮影画像を用いて自動的に登録されるように構成されていてもよい。撮れ高テーブルは、外部装置インタフェース部１４３を介して接続されたスマートフォン等の外部装置に記憶されていてもよいし、フラッシュメモリ１３３に記憶されていてもよい。

【0073】

続いて、撮影者は、撮影対象としている被写体（人物）を撮影する前に、撮影方針を設定する。第１実施形態では、撮影画像（Ｓ９０５で記憶された画像）を評価し、その結果を撮れ高として求めるため、撮影方針を設定することは、言い替えれば、撮影画像を評価するための基準を設定することである。

【0074】

図１１（ａ）は、評価項目定義テーブルの一例を示す図である。図１１（ｂ）～（ｄ）は、評価項目定義テーブルにある評価項目ごとの点数を定義するための点数定義テーブル１～３の一例を示す図である。

【0075】

撮影方針は、撮影画像の撮影品質を自動評価するための評価項目、各評価項目の重み付け、各評価項目での点数を用いて設定される。第１実施形態では、撮影者は、評価項目定義テーブル及び点数定義テーブル１～３を用いて撮影方針を設定する。

【0076】

撮影者は、操作スイッチ群１３２を操作して、撮像装置１００を撮影方針設定モードにする。図１１（ｂ）～（ｄ）の点数定義テーブル１，２，３は、図１１（ａ）の評価項目定義テーブルにある項目１～３についての詳細な設定を行うための補助的役割を担う。評価項目定義テーブル及び点数定義テーブル１～３は、撮像装置１００の記憶部１４１に保持されるが、これに限らず、フラッシュメモリ１３３や外部装置インタフェース部１４３を介して接続された外部装置に保持されてもよい。

【0077】

評価項目定義テーブルには、撮影画像の品質として重要視する３つの評価項目１～３と、評価項目１～３のうち撮影者がどの評価項目を重要視するかを示す重みが数値で設定される。評価項目定義テーブルには、「項目１」として合焦状態（ピント・ボケ）が、「項目２」として被写体の見切れ状態や被り状態（遮蔽状態）が、「項目３」として被写体の撮影サイズが、取り上げられており、項目１～３の重みがそれぞれ６，３，１に設定されている。これは、撮影者が、合焦状態を最も重要視しており、その次に被写体の見切れや被りがないことが重要視していることを表している。

【0078】

撮影者は、評価項目定義テーブルの重みの値を所定の値に設定することで、所望する撮影方針を設定することができる。２つ以上の項目が定義されている場合には重み付けが行われ、３つ以上の項目が定義されている場合には、少なくとも２つに同じ重み付けが設定されても構わない。

【0079】

図１１（ｂ）の点数定義テーブル１には、被写体の複数の体部位のうち撮影画像に写っていることが重要とされる体部位が設定される。先ず、体部位について説明する。

【0080】

図１２は、点数定義テーブル１において設定される被写体の体部位（体の関節を含む）を説明する図である。図１２において、「ＮＨ」は頭頂部（顔）、「ＮＡ」は腕（肘）、「ＮＢ」は首／肩、「ＮＤ」は手、「ＮＣ」は腰（脚の付け根）、「ＮＬ」は脚（膝）、「ＮＦ」は足を表している。点数定義テーブル１には、これらの体部位に対して、撮影画像に写っていることが望ましい順位が、３つの優先度により設定されている。撮影者は、撮影されていることが必要（優先度：高）か、任意（優先度：中）か、不要（優先度：低）かを、各体部位について「○（優先度：高）」、「△（優先度：中）」、「×（優先度：低）」で点数定義テーブル１において設定している。

【0081】

体部位によって設定可能な優先度は異なり、また、設定可能な優先度の情報も点数定義テーブル１に保持されている。ここでは、頭頂部、首／肩、腕、手、腰、脚及び上半身については「×」を選択することはできなくなっている。このような設定は必須ではない。但し、少なくとも頭頂部（顔）が撮影画像に写っていることは重要であり、よって、頭頂部（顔）については、常に優先度は「高」に設定されるようになっていてもよい。

【0082】

図１１（ｂ）の点数定義テーブル１では、全身、腰、脚及び足が「△」でそれ以外は「○」に設定されている。これは、撮影者が、被写体の全身が写っていることは任意であるが、少なくとも上半身（手、腕、頭頂部）が撮影されていることを重要視していることを示している。なお、図１１（ｂ）の点数定義テーブル１は、図１２に示される体部位の全てについて優先度を設定するよう構成されているが、体部位の一部のみに優先度を設定可能な構成であってもよい。

【0083】

図１３（ａ）は、撮影画像の一例を示す図であり、被写体の脚（ＮＬ）、腰（ＮＣ）及び足（ＮＦ）が遮蔽物１３１０で隠れている。姿勢取得部１４２によって、全身、腰（ＮＣ）、脚（ＮＬ）及び足（ＮＦ）が写っていなくとも、図１１（ｂ）の点数定義テーブル１に設定された条件は満たされていると判断される。なお、姿勢取得部１４２は、例えば、Ｃａｏ，Ｚｈｅらによる前掲の文献等に記載されている公知の姿勢推定の方法を用いて、撮影画像から図１２に示される人の体部位の位置と体部位間の連結状態の情報を認識して取得することができる。

【0084】

図１３（ｂ）は、撮影画像の別の例を示す図であり、被写体の腰（ＮＣ）、脚（ＮＬ）、腰（ＮＣ）及び足（ＮＦ）に加えて、腕（ＮＡ）及び手（ＮＤ）が遮蔽物１３２０（又は他の被写体）で隠れている。この場合、姿勢取得部１４２は、撮影画像に写っていることが必要とされている首／肩（ＮＢ）や腕（ＮＡ）、手（ＮＤ）を取得することができないため、図１１（ｂ）の点数定義テーブル１に設定された条件は満たされていないと判断される。なお、遮蔽物１３１０，１３２０は、他の人物等であってもよい。

【0085】

項目２の点数は、点数定義テーブル１で設定した条件を、満たしていれば「１」、満たしていなければ点数は「０」となる。よって、項目２の点数は図１３（ａ）の撮影画像で「１」、図１３（ｂ）の撮影画像で「ゼロ（０）」となる。

【0086】

なお、点数定義テーブル１の体部位の「全身」を「○（優先度：高）」に設定した場合には、他の体部位についても自動的に「○」が設定されるようになっていてもよい。点数定義テーブル１及び図１２では、体部位として、頭頂部、首／肩、肘、手、腰、膝、足の位置を取得する例を示しているが、体部位の位置はこれらの一部でもよいし、別の位置を取得してもよい。また、体部位の位置だけでなく、体部位同士を結ぶ軸等の情報を用いてもよく、被写体のどの部位が撮影されているかを取得可能な情報であれば、姿勢情報として用いることができる。

【0087】

図１１（ｃ）の点数定義テーブル２には、合焦具合（ピントの合い具合）に対する点数、つまり、項目１の点数が定義される。合焦具合としてボケ量（ぼやけの程度）が「小」、「中」、「大」の３つにランク分けされており、各ランクについてボケ量と点数が定義されている。ボケ量は、Ｓ９０２で読み出されてＳ９０５でフラッシュメモリ１３３に記憶された第１焦点検出信号又は第２焦点検出信号を用いて決定することができる。或いは、撮影時に記憶された撮像装置１００の特性情報に含まれる許容錯乱円径やＦ値に等によって規格化されたデフォーカス量を用いることができる。

【0088】

図１１（ｃ）の点数定義テーブル２では、ボケの程度「小」はボケ量が４以下で点数が「１」、ボケの程度「中」はボケ量を４超１０以下で点数が「０．５」、ボケの程度「大」はボケ量が１０超で点数が「ゼロ（０）」、に設定されている。つまり、ボケ量が小さいほど点数は大きな値に設定される。

【0089】

図１１（ｄ）の点数定義テーブル３では、撮影画像中の被写体のサイズが画角比率に応じてランク分けされ、各ランクに点数が設定されている。つまり、点数定義テーブル３には、項目３の点数がランクごとに定義される。

【0090】

画角比率として、ここでは、被写体の撮影サイズ（画像領域）の縦方向の画角に対する割合（パーセンテージ）が用いられるものとする。被写体の撮影サイズは、撮影画像中の被写体の体部位を検出して演算することができる。撮像装置１００を通常の横姿勢ではなく縦姿勢にして撮像を行う場合、撮像装置１００で縦撮影を検知して、横撮影とは異なる画角を基準画角とすればよい。図１１（ｄ）の点数定義テーブル３では、撮影サイズ「大」は被写体の画角比率が５０％以上の場合でその点数は「１」、撮影サイズ「中」は被写体の画角比率が３０％以上５０％未満の場合で点数は「０．５」に設定されている。また、撮影サイズ「小」は被写体の画角比率が３０％未満の場合で点数が「ゼロ（０）」に設定されている。

【0091】

評価項目定義テーブルの項目１～３に定義された重みと点数定義テーブル１～３の点数を用いて、撮れ高テーブルに登録された被写体ごと且つ撮影画像ごとに、撮れ高Ｔｐが、例えば、各点数に各重みを乗算して得られる値の和として下記式１により求められる。下記式１において、ｆ１，ｆ２，ｆ３はそれぞれ項目１，２，３での得点であり、ｗ１，ｗ２，ｗ３はそれぞれ項目１，２，３の重みである。

【0092】

【数1】

【0093】

なお、図１１に示した項目定義テーブルと点数定義テーブル１～３に示したランクや数値は一例であって、他のランクや数値を用いても構わない。項目定義テーブルと点数定義テーブル１～３の設定は、撮れ高テーブルに登録されている被写体Ａ～Ｃについて、同じ（一括設定が可能）であってもよいし、異なっていても（被写体ごとに個別に設定可能でも）よい。

【0094】

撮像装置１００による撮影中には、ＬＶ画像（又は撮影画像のプレビュー画像）と共に撮れ高テーブル（図１０参照）が表示部１３１に表示される。

【0095】

図１４は、表示部１３１においてＬＶ画像に撮れ高テーブル１４００が重畳表示されている状態の一例を示す図である。なお、ここでは、図１４のＬＶ画像内の撮れ高テーブル１４００についてのみ説明し、ＬＶ画像内の被写体Ｂ，Ｃについては後述する。

【0096】

撮れ高テーブル１４００は、総撮れ高の小さい被写体の順に表示される。各被写体の総撮れ高は、各被写体の撮影画像ごとに求められた撮れ高の和で表される。撮れ高テーブルにおける項目１～３の値は、全画像での合計点数を表している。

【0097】

例えば、撮れ高テーブル１４００において、被写体Ａ～Ｃのそれぞれで、撮影画像数は３枚であるとする。被写体Ｂについては、全ての撮影画像において項目１～３の点数が「１」であったことが示されている。被写体Ａについては、例えば、項目３では全ての撮影画像で１点であったが、項目２と項目１ではそれぞれ１点の撮影画像が２枚（又は１点の撮影画像が１枚で０．５点の撮影画像が２枚）であったことが示されてる。被写体Ｃについては、例えば、項目２では１点の撮影画像が１枚で０点の撮影画像が２枚、項目１，３では１点の撮影画像が１枚で０．５点の撮影画像が２枚（又は１点の撮影画像が２枚で０点の撮影画像が１枚）であったことを示している。

【0098】

撮影者は、撮れ高テーブル１４００に基づき、総撮れ高が最も小さい被写体Ｃを主被写体として次に撮影を行い、適宜、撮影対象を総撮れ高の最も小さい被写体へ移すことで、被写体Ａ～Ｃの総撮れ高の差を小さく抑えた撮影成果を得ることができる。撮影者が総撮れ高の最も小さい被写体をＬＶ画像において把握する手法については後述する。

【0099】

なお、複数の被写体の総撮れ高に差が生じた場合に、常に総撮れ高の小さい被写体を次の主被写体としなければならないというものではない。例えば、総撮れ高が１番目と２番目に小さい被写体間の総撮れ高の差が予め設定された閾値以下であれば、２番目に総取れ高が小さい方の被写体を撮影対象としてもよい。

【0100】

次に、撮影者が手動撮影を行う際に撮像装置１００の制御部１２１がＳ８０４で実行する被写体追従ＡＦ処理について説明する。図１５は、撮像装置１００で実行される被写体追従ＡＦ処理（Ｓ８０４のサブルーチン）のフローチャートである。

【0101】

Ｓ１５０１で制御部１２１は、図７を参照して説明した複数の焦点検出領域のそれぞれで得られた第１及び第２焦点検出信号間の像ずれ量を演算し、得られた像ずれ量から焦点検出領域ごとのデフォーカス量を演算する。前述したように、撮像素子１０７上に水平１２０分割、垂直８０分割の計９６００点に焦点検出領域が配置されており、計９６００点の焦点検出領域から得られた一群の焦点検出結果をデフォーカスマップと称呼する。

【0102】

Ｓ１５０２では、制御部１２１からの指令を受けた被写体検出部１４０が、ＬＶ画像（のフレーム）に対する被写体検出処理を行う。ここで、得られたＬＶ画像の状態によっては被写体を検出することができない場合があり、その場合には、被写体検出部１４０はテンプレートマッチング等の手法を用いた処理を行って被写体の位置を推定する処理が行われる。

【0103】

なお、図１４のＬＶ画像に示されるように、被写体検出処理により人物の顔が検出されると、検出された人物の顔に対して枠が描画される。撮影者による手動撮影の場合、撮影者は少なくとも１人の人物の顔が検出されるように撮影方向を変更することが一般的である。よって、以下の説明では、Ｓ１５０２で少なくとも１人の人物が検出されているものとして説明を続ける。

【0104】

Ｓ１５０３では、制御部１２１からの指令を受けた被写体検出部１４０が、被写体認証処理としての個人認証処理を行う。個人認証処理は、ＬＶ画像に存在する人物の顔が撮れ高テーブルに登録された人物の顔であるか否かを判定することによって行われる。

【0105】

なお、前述したように、Ｓ１５０２において、検出された顔に対して枠が描画される。制御部１２１は、Ｓ１５０３においてＬＶ画像において検出された顔が撮れ高テーブルに登録されていない顔であれば枠を白色で表示し、撮れ高テーブルに登録されている顔であれば枠をオレンジ色で表示する。こうして、検出された顔に対して描画される枠の色を変えることで、撮影者は検出された顔が撮れ高テーブルに登録されている被写体か否かを区別することができる。

【0106】

Ｓ１５０４では、制御部１２１からの指令を受けた姿勢取得部１４２が、被写体検出部１４０が検出した１又は複数の被写体の姿勢情報を取得する。具体的には、姿勢取得部１４２は、ＬＶ画像中におけるＮＨ（頭頂部）、ＮＡ（腕）、ＮＢ（首／肩）、ＮＤ（手）、ＮＣ（腰）、ＮＬ（脚）及びＮＦ（足）それぞれの二次元座標（ｘ，ｙ）を取得する。ここで、二次元座標（ｘ，ｙ）の単位はピクセルである。

【0107】

Ｓ１５０４の処理は、次のＳ１５０５での主被写体の決定処理を考慮して行われるものであるが、必ずしも必要な処理ではない。これは、前述した点数定義テーブル１は、撮影画像の評価基準として設定されたものであって、ＬＶ画像における被写体の状態を評価するために設定されたものではないからである。但し、ＬＶ画像から姿勢情報を検出し、取れ高テーブルに登録されたい被写体の中から点数定義テーブル１において優先度が「高」に設定された体部位の全てを満たす被写体を主被写体に設定する制御を取り入れることは、撮れ高の大きい撮影画像の取得に寄与する。

【0108】

Ｓ１５０５で制御部１２１は、主被写体判定処理、つまり、合焦状態（ピントの合った状態）が保たれるように追尾する対象となる被写体を選択する処理、を行う。Ｓ１５０５では、制御部１２１は、主被写体として選択した人物の顔に重畳表示する枠の色を、例えば、赤色に変更し、或いは、Ｓ１５０３でオレンジ色に表示された枠を点滅させる等の表示制御を行う。これにより、撮影者は、取れ高テーブルに登録された被写体のうちのどの被写体が主被写体として選択されたかを容易に認識することができる。

【0109】

初回のＳ１５０５では、撮れ高テーブルにおいて被写体Ａ～Ｃそれぞれの総撮れ高はゼロ（０）であるため、被写体Ａ～Ｃのうちどの人物が主被写体に選択されても構わない。例えば、被写体Ａ～Ｃのうち、撮れ高が大きくなる可能性が高い人物が主被写体として選択されるようにしてもよい。一例として、Ｓ１５０４で姿勢情報を検出している場合に点数定義テーブル１において優先度が「高」に設定されている体部位の全てを満たしている人物、ＬＶ画像内での専有面積が大きい人物、が挙げられる。

【0110】

２回目以降のＳ１５０５では、原則として、撮れ高テーブルに登録されている複数の被写体の総撮れ高ができる限り均等になるように主被写体が選択される。つまり、制御部１２１は、総撮れ高の最も小さい人物を主被写体として選択する。図１４に示すＬＶ画像の場合、撮れ高テーブル１４００において最も総撮れ高の小さい被写体Ｃが優先的に主被写体として選択される。

【0111】

Ｓ１５０６で制御部１２１は、Ｓ１５０５で判定された主被写体に対する焦点検出領域を設定する。第１実施形態では、Ｓ１５０２で人物の顔を検出しているため、また、顔にボケやブレが生じた撮影画像は望ましくないため、本実施形態では、焦点検出領域は人物の顔（頭部）に設定される。図１４のＬＶ画像において被写体Ｃが主被写体に選定されている場合、図７に示した複数の焦点検出領域のうち、被写体Ｃの頭部を囲むように描画されている枠の内側にある焦点検出領域が選択される。

【0112】

Ｓ１５０７で制御部１２１は、Ｓ１５０６で設定した焦点検出領域での焦点検出信号を取得し、デフォーカス量を演算する。デフォーカス量は、Ｓ１５０６で設定された焦点検出領域の焦点検出結果に限らず、その周囲の複数の焦点検出領域での焦点検出結果を加えて求めてもよい。なお、制御部１２１は、Ｓ１５０６で設定された焦点検出領域でのＳ１５０１での焦点検出結果を取得するようにしてもよく、その際に、その近傍の焦点検出領域の焦点検出結果を併せて取得するようにしてもよい。

【0113】

Ｓ１５０８で制御部１２１は、Ｓ１５０７で得られたデフォーカス量と、過去の焦点検出を行ったタイミングの時系列データである複数のデフォーカス量とを用いて、予測ＡＦ処理を行う。予測ＡＦ制御は、焦点検出タイミングと露光タイミングとの間にタイムラグがある場合に必要となる。予測ＡＦ制御では、焦点検出タイミングから所定時間が経過した露光タイミングでの光軸方向における被写体の像面位置を予測する。被写体の像面位置の予測では、過去の被写体の像面位置と時刻の履歴データを用いて多変量解析（例えば最小二乗法）を行って予測曲線の式を求める。求めた予測曲線の式に撮影画像の露光タイミングの予測時刻を代入することで、被写体の像面予測位置を求めることができる。

【0114】

なお、予測ＡＦ制御の対象となる被写体は、主被写体だけでなく、検出されている複数の被写体とすることが望ましい。また、Ｓ１５０４で体部位の位置を取得している場合、体部位についての焦点検出結果や体部位の位置の時系列データを用いて被写体の位置を予測してもよく、これにより、被写体の顔（頭部）の位置のみならず、被写体の体部位の位置を予測することができる。更に、被写体の三次元での位置を予測してもよい。例えば、画面上をｘｙ方向、光軸方向をｚ方向とした場合に、Ｓ１５０２の被写体検出で得られた被写体のｘｙ位置と、Ｓ１５０７で得られたデフォーカス量に基づくｚ方向位置の時系列データとから、露光タイミングでの被写体の位置を予測してもよい。

【0115】

Ｓ１５０９で制御部１２１は、焦点調節処理を行う。具体的には、制御部１２１は、Ｓ１５０５での主被写体判定結果と、Ｓ１５０７で得られたデフォーカス量と、Ｓ１５０８での予測ＡＦ処理の結果を用いて、フォーカスレンズの駆動量を演算する。制御部１２１はフォーカスアクチュエータ１１４を駆動する制御信号を生成してフォーカスアクチュエータ１１４へ送信し、フォーカスアクチュエータ１１４がフォーカスレンズである第３レンズ群１０５を光軸方向に移動させる。これにより、Ｓ１５０８で求めた被写体の予測位置に焦点を合わせることができる。

【0116】

制御部１２１は、Ｓ１５０９の処理が終了すると、ＡＦ制御のサブルーチンを終了して、Ｓ８０５（図８参照）の処理を実行する。制御部１２１は、Ｓ８０５でスイッチＳＷ２がオンになったことを検出すると、撮像指令信号を撮像素子駆動回路１２４へ送り、これによりＳ８０６で撮像処理が実行される。制御部１２１は、Ｓ８０６内のＳ９０５で撮影画像（画像データ）をフラッシュメモリ１３３等に記憶し、Ｓ８０６内のＳ９０８において評価項目定義テーブル及び点数定義テーブル１～３に基づく撮影画像の品質評価を行う。制御部１２１は、得られた評価結果でフラッシュメモリ１３３に記憶されている撮れ高テーブルの内容を更新する。なお、撮れ高テーブルの更新に伴って、制御部１２１は、次の撮影候補を選択するが、その詳細については後述する。

【0117】

なお、上記説明では、複数の被写体を撮影することを前提としたが、主被写体が１人である場合にも撮れ高テーブルの利用は有用である。つまり、評価項目定義テーブル及び点数定義テーブル１～３に従う総撮れ高を求めて撮れ高テーブルを参照可能とすることにより、撮影者は被写体を所望の状態でどの程度撮影することができているかを容易に判断することが可能になる。また、上記説明では、被写体の顔の表情を点数化して撮れ高に加えることは行っていないが、顔の表情を評価項目として評価項目定義テーブルに加えると共に、顔の表情に関する点数定義テーブルを設けてもよい。

【0118】

以上の通り、第１実施形態によれば、顔と顔以外の手足や半身、全身等の体部位を含めた撮影画像の撮影品質を考慮して、複数の被写体に対して総撮れ高に大きな偏りが生じないように撮影が行われる。これにより、撮影画像における被写体の見切れや被りの発生を抑制して、顔以外の部位の動きを捉えた高品質な撮影を、複数の被写体に対して偏りなく得ることが可能になる。第１実施形態によれば、例えば、運動会等の学校行事で、被写体の顔以外の動作を含めて、被写体ごとの撮影画像数のばらつきを抑制した平等な撮影が求められる場面で有用な撮影補助手段を提供することが可能となる。

【0119】

ところで、昨今、デジタルカメラやデジタルビデオカメラ、スマートフォンの普及が進み、撮影後に動画編集ソフトを用いたレタッチやＡＩ技術の活用したコンピューテーショナルフォトグラフィー等を用いた作画が行われる機会が増えている。その際、撮影画像を画像処理して被写体のボケ（ぼやけ）具合や明るさ等を調整することによって被写体を魅力的に見せたり、情景や景色をきらびやかにしたりすることで、写真の魅力や芸術性、付加価値を高めることができる。

【0120】

コンピューテーショナルフォトグラフィーの使われ方としては、画像のボケ方や明るさ、色味の調整が主である。そのため、撮影画像は、被写体の形状を変更することなく加工することができるように撮影されていることが望ましい。逆に言えば、コンピューテーショナルフォトグラフィーでの処理対象とされない例として、被写体の一部が画像の端部で切り取られているような、所謂、見切れ画像や、被写体同士が重なって撮影されている、所謂、被り画像を挙げることができる。つまり、見切れ画像から被写体の全身が写っている画像への加工や被り画像から被りのない画像への加工等の被写体の形状自体を変更するような処理は、コンピューテーショナルフォトグラフィーで行われることは少ない。

【0121】

このように、コンピューテーショナルフォトグラフィーの対象画像としては、全身が撮影されている画像や見切れのない画像、被写体の被りがない撮影画像が望まれる。よって、上記第１実施形態において、以下の２つの条件のうち少なくとも１つを取り入れることにより、撮影後にコンピューテーショナルフォトグラフィーによる作画に好適な撮影画像を効率よく得ることが可能となる。

【0122】

即ち、第１の条件は、撮れ高テーブルにおける「見切れ」（項目定義テーブルにおける項目２）の重みを大きくして、総撮れ高を考慮しながら撮影を行うことである。第２の条件は、点数定義テーブル１～３は、元々、撮影画像の評価に用いられるものであるが、Ｓ１５０４の処理を必須として、点数定義テーブル１に定義された条件を満たす被写体をＳ１５０５において主被写体として選定することである。この場合には更に、Ｓ１５０９での焦点調節処理において、Ｓ１５０４での被写体の姿勢情報を利用する。これらの条件の少なくとも１つを用いて撮影を行うことにより、見切れの少ない撮影画像を多く取得することができる。

【0123】

＜第２実施形態＞
第２実施形態では、被写体の画像認識結果及び総撮れ高に従って撮像装置１００が自動撮影を行う際の制御について説明する。なお、第１実施形態と第２実施形態とでは撮像装置１００で実行される制御（プログラム）が異なっているため、ここでは、第１実施形態との相違点を中心に説明を行う。

【0124】

撮像装置１００は、自動撮影を行う際には、撮れ高テーブルに登録された被写体を撮影画角内において検出することができない場合に被写体探索を行うことができるように、一般的に撮影方向の変更を自動的に変更可能な自動雲台等に取り付けられる。

【0125】

自動撮影を行う場合、撮影者は、撮像装置１００の操作スイッチ群１３２を操作して、撮像装置１００を自動撮影モードに設定するか、或いは、外部装置から外部装置インタフェース部１４３を介して制御部１２１へ自動撮影の実施を指示する。また、第１実施形態と同様に、撮影者は、撮影方針の設定を事前に行う。自動撮影モードでは図８のフローチャートの処理が自動的に撮影が実行され、自動撮影では撮影者が表示部１３１を見ていないことが多々ある。そのため、図１４に示したようにＬＶ画像に対する撮れ高テーブル１４００の重畳表示は必ずしも必要ではなく、撮れ高テーブル１４００はフラッシュメモリ１３３等に保持（記憶）されていればよい。

【0126】

第１実施形態では、項目定義テーブル及び点数定義テーブル１～３は、原則、撮影画像における被写体の状態を評価するために用いたが、第２実施形態では、点数定義テーブル１～３における定義が撮影条件の決定にも用いられる。なお、撮れ高テーブルは、一部の例外除いて、第１実施形態と同様に撮影画像を評価することによって更新される。

【0127】

以下に、自動撮影でのＳ１５０２において複数の被写体が同時に検出された場合に実行可能な第１乃至第８の制御について説明する。

【0128】

第１の制御では、制御部１２１は、Ｓ１５０４で撮影画角内の人物の姿勢情報を検出し、撮れ高テーブルに登録されている全ての被写体について、点数定義テーブル１において優先度が高に設定されている体部位をカウントする。そして、制御部１２１は、被写体ごとにカウントされた体部位の数を、被写体ごとにカウントされた体部位の合計数で除することにより、被写体ごとの撮影部位率を求める。制御部１２１は更に、求めた撮影部位率の大きい被写体から優先的に主被写体を選択してピントを合わせるＡＦ動作を行う。なお、第１の制御は、実質的に、撮れ高テーブルに登録されている複数の被写体のうち２人以上がＬＶ画像において被写体として検出される場合に行われる。

【0129】

第２の制御では、Ｓ１５０１で取得したデフォーカスマップを参照して、所定のデフォーカス量の範囲内に複数の被写体が入っていると判定された場合に、複数の被写体にピントが合うようにＡＦ動作を実行する。具体的には、制御部１２１は、絞り駆動回路１２８に指令を出して絞りアクチュエータ１１２を駆動し、絞り１０２を絞る（Ｆ値を大きくする）ように駆動して撮影を行う。これは、撮影後に編集者が画像処理を行うことを想定して、被写界深度を確保しておくためである。このとき、複数の被写体のデフォーカス量の差が所定の範囲を超えている場合は、原則として、制御部１２１は、撮れ高テーブルを参照して、総撮れ高の小さい被写体から順にピントを合わせるＡＦ動作を行って撮影を行う。一方、撮像装置１００でのＡＦ速度を優先するために、フォーカスレンズである第３レンズ群１０５の駆動方向が一方向の動作となるように、被写体の撮影順序を変更してもよい。

【0130】

第３の制御では、撮れ高テーブルに登録されている各被写体の総撮れ高に関係なく、撮像装置１００に最も距離的に近い被写体から優先的にピントを合わせるようにＡＦ動作を行う。第３の制御は、例えば、被写体が奥から手前の方向に近付いてくるシーンを撮影するような状況で、評価項目定義テーブルでの項目３（撮影サイズ）の重みが他の項目１，２よりも大きな値に設定されている場合に適用することが望ましい。

【0131】

第４の制御では、予め設定された所定数以上の被写体が検出され、且つ、被写体サイズや被写体の顔のサイズが所定サイズ以下である場合の撮影画像については、評価項目定義テーブルの項目３（撮影サイズ）の重みの設定値に関係なく、撮れ高を演算しない。この制御は、集合写真のように平等に撮影されることを前提としているものを除外したい場合等に適用することが望ましい。

【0132】

第５の制御では、未登録の被写体が登録済みの被写体に隣接して検出された場合に、両者に対して同時にピントを合わせるように絞り１０２を駆動して撮影を行う。これは、登録済みの被写体に隣接する被写体は登録済みの被写体の関係者であると推定され、登録済みの被写体と共に主被写体として選択されることが望ましいと判断されるからである。この場合、登録済みの被写体に隣接して検出された未登録の被写体が自動的に撮れ高テーブルに追加登録される構成とすることも望ましい。

【0133】

第６の制御では、総撮れ高が小さい被写体から順に主被写体を切り替えながら、所定の画像数の連続撮影（連写）を行う。これにより、被写体ごとの撮影画像数に偏りが生じるのを抑制することができる。

【0134】

第７の制御では、ＬＶ画像において、複数の被写体が規則的に整列して撮影画角の全域を移動するような大きな動きがある場合、撮れ高テーブルに登録されている被写体に対して、総撮れ高の小さい順に、又は、至近判定された順に、ピントを合わせる。このようなＡＦ制御に適した撮影シーンとしては、例えば、運動会での行進の撮影が挙げられる。一方、被写体に大きな動きがない場合には、デフォーカスマップや姿勢取得部１４２が取得した被写体の体部位の情報を用いて、所定サイズ以上の被写体の交差や遮蔽を判定し、交差や遮蔽が無いタイミングを判定して総撮れ高に従う撮影を行ってもよい。このようなＡＦ制御に適した撮影シーンとしては、例えば、運動会での集団競技の撮影が挙げられる。

【0135】

第８の制御では、姿勢取得部１４２が取得した被写体の体部位の情報を用いて四肢の位置関係を判定し、手足を動かしていると判定された被写体を優先的にピントを合わせて撮影を行う。このような制御は、静止している被写体よりも動作を行っている被写体を優先して撮影したい場合等で適用されることが望ましい。また、姿勢取得部１４２が取得した被写体の体部位の情報から、複数の被写体が上下の位置関係にあると判定された場合には、上側の被写体に優先してピントを合わせて撮影を行うことが望ましい。これは、例えば、運動会で数名が行う演技や競技では上側の人物が主役であることが多いからである。

【0136】

このように、第２実施形態によれば、予め撮影方針を設定した自動撮影において、撮影画角内の被写体の状態（撮影シーン）に応じたＡＦ制御や撮影品質の評価を行う。これにより、自動撮影において、予め設定された撮影方針に沿った撮影画像の取得効率を高めることができる。

【0137】

ところで、近年では自動雲台やジンバル等を活用して自動撮影を行う機会が増えている。自動撮影では、見切れや被りが無い状態で撮影できてさえいれば、コンピューテーショナルフォトグラフィー等を活用することで、撮影後に編集者が望む状態へ撮影画像を加工したり編集したりすることができる。このような要望に対して、第２実施形態によれば、自動撮影により見切れや被りのない画像を第１実施形態よりも効率的に取得することができるため、撮影後にコンピューテーショナルフォトグラフィー等を活用したい要望に適う撮影手法を提供することができる。

【0138】

上記実施形態の開示は、以下の構成および方法を含む。
（構成１）撮像手段と、撮影対象となる複数の被写体を登録する登録手段と、前記撮像手段により取得された撮影画像から前記登録手段に登録されている被写体を検出する検出手段と、前記検出手段により検出される被写体の状態を評価するための評価基準を設定する設定手段と、前記検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせることにより、前記撮影画像の品質を表す評価値を前記複数の被写体ごとに求める評価手段と、前記複数の被写体ごとの前記評価値の和を表示装置に表示する制御手段と、を備えることを特徴とする撮像装置。
（構成２）撮像手段と、複数の被写体を登録する登録手段と、前記撮像手段により取得される画像から前記登録手段に登録されている被写体を検出する検出手段と、前記検出手段により検出される被写体の状態を評価するための評価基準を設定する設定手段と、前記画像としての撮影画像から前記検出手段により検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせることにより、前記撮影画像の品質を表す評価値を前記複数の被写体ごとに求める評価手段と、前記評価値と前記評価基準の少なくとも一方を用いて前記撮像手段を制御する制御手段と、を備えることを特徴とする撮像装置。
（構成３）前記評価基準には、前記撮影画像に写っていることが必要とされる顔および顔以外の体部位が定義されていることを特徴とする構成１又は２に記載の撮像装置。
（構成４）前記評価基準には更に、前記撮影画像における被写体の合焦状態と前記撮影画像における被写体の撮影サイズの少なくとも一方が定義されていることを特徴とする構成３に記載の撮像装置。
（構成５）前記評価基準として、前記合焦状態と、前記顔および顔以外の体部位と、前記撮影サイズとが定義されると共に、前記合焦状態と、前記顔および顔以外の体部位と、前記撮影サイズのそれぞれに重みが定義され、前記評価手段は、前記合焦状態、前記体部位および前記撮影サイズのそれぞれについてランク分けされた点数が定義されたテーブルを保持し、前記評価値は、前記合焦状態、前記体部位および前記撮影サイズのそれぞれについて前記撮影画像ごとに前記テーブルから求められた点数に対して対応する前記重みを乗算して得られる値の和で求められることを特徴とする構成４に記載の撮像装置。
（構成６）前記撮影画像から予め設定された所定数以上の被写体が検出され、且つ、当該被写体のサイズまたは当該被写体の顔のサイズが所定サイズ以下である場合、前記評価手段は、前記評価基準として前記撮影画像における被写体の撮影サイズが定義されている場合であっても、前記評価値を演算しないことを特徴とする構成４又は５に記載の撮像装置。
（構成７）前記制御手段は、前記複数の被写体のうち前記評価値の和が最も小さい被写体が撮影されるように前記撮像手段を制御することを特徴とする構成２に記載の撮像装置。
（構成８）前記制御手段は、前記複数の被写体のうち前記評価値の和が小さい被写体から順に撮影対象を切り換えながら前記撮像手段による連続撮影を行うことを特徴とする構成２に記載の撮像装置。
（構成９）前記評価基準には前記画像に写っていることが必要とされる顔および顔以外の体部位が定義されており、前記検出手段は、前記画像としてのライブビュー画像における被写体が前記複数の被写体のいずれかである場合に当該被写体の体部位を検出し、前記制御手段は、前記複数の被写体のうち前記検出手段により検出された体部位が前記評価基準に定義された体部位の条件を満たす被写体の撮影画像を取得するように前記撮像手段を制御することを特徴とする構成２に記載の撮像装置。
（構成１０）前記評価基準には前記画像に写っていることが必要とされる顔および顔以外の体部位が定義されており、前記検出手段は、前記複数の被写体のそれぞれについて前記画像としてのライブビュー画像から前記評価基準に定義されている体部位を検出し、前記制御手段は、前記ライブビュー画像に前記複数の被写体のうちの２人以上が写っている場合に、前記２人以上の被写体のそれぞれについて検出された体部位の数を前記検出手段により検出された全ての体部位の数で除した値の大きい被写体から優先的にピントを合わせるよう前記撮像手段を制御することを特徴とする構成２に記載の撮像装置。
（構成１１）前記制御手段は、前記画像としてのライブビュー画像において、前記複数の被写体のいずれかに隣接して前記登録手段に登録されていない被写体が検出された場合に、当該隣接している被写体に同時にピントが合うように前記撮像手段を制御することを特徴とする構成２に記載の撮像装置。
（構成１２）前記制御手段は、前記検出手段が前記画像としてのライブビュー画像において規則的に整列して撮影画角の全域を移動する複数の被写体を検出した場合に、前記登録手段に登録されている被写体に対して前記評価値の和の小さい順にまたは至近判定された順にピントを合わせるよう前記撮像手段を制御することを特徴とする構成２に記載の撮像装置。
（構成１３）コンピュータを構成１乃至１２のいずれか１つに記載の撮像装置の前記登録手段、前記検出手段、前記設定手段、前記評価手段および前記制御手段として機能させることを特徴とするプログラム。
（方法１）撮像装置の制御方法であって、複数の被写体を登録手段に登録するステップと、前記撮像装置が備える撮像手段により取得される撮影画像における被写体の状態を評価するための評価基準を設定するステップと、前記撮影画像から前記登録手段に登録された被写体を検出するステップと、前記検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせて前記撮影画像の品質を表す評価値を前記登録された被写体ごとに求めるステップと、前記登録された被写体ごとの前記評価値の和を表示手段に表示するステップと、を有することを特徴とする撮像装置の制御方法。
（方法２）撮像装置の制御方法であって、複数の被写体を登録手段に登録するステップと、前記撮像装置が備える撮像手段により取得される画像における被写体の状態を評価するための評価基準を設定するステップと、前記画像から前記登録手段に登録された被写体を検出するステップと、前記画像としての撮影画像から検出された被写体の顔および顔以外の体部位を前記評価基準に照らし合わせて前記撮影画像の品質を表す評価値を前記登録された被写体ごとに求めるステップと、前記評価値と前記評価基準の少なくとも一方を用いて前記撮像手段を制御するステップと、を有することを特徴とする撮像装置の制御方法。

【0139】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。即ち、上記実施形態は、撮影シーンや撮影目的、撮影用途、被写体検出結果等に応じて本発明を実施する代表的な数例を挙げたが、本発明は上記の例に限定されるものではない。また、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0140】

例えば、図１１（ａ）の評価項目定義テーブルでは項目１～３が定義されているが、少なくとも１つの項目が定義されていればよい。これは、項目が１つしか設定されていない場合において、例えば、撮影を続けても総取れ高が大きくならない場合には、撮影者は目的とする撮影画像が得られていないことを認識することができるからである。

【0141】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0142】

１００ 撮像装置
１０７ 撮像素子
１２１ 制御部
１２５ 画像処理部
１３１ 表示部
１４０ 被写体検出部
１４１ 記憶部
１４２ 姿勢取得部
１４００ 撮れ高テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】