特開 2024-65384 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024065384

(43)【公開日】2024-05-15

(54)【発明の名称】撮像装置、画像処理装置、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240508BHJP

   G03B 17/18 20210101ALI20240508BHJP

   G02B 7/28 20210101ALI20240508BHJP

   G03B 15/00 20210101ALI20240508BHJP

   G03B 13/36 20210101ALI20240508BHJP

   H04N 23/611 20230101ALI20240508BHJP

   H04N 23/63 20230101ALI20240508BHJP

   H04N 23/62 20230101ALI20240508BHJP

   H04N 23/67 20230101ALI20240508BHJP

【ＦＩ】

H04N23/60 500

G03B17/18 Z

G02B7/28 N

G03B15/00 Q

G03B13/36

H04N23/611

H04N23/63

H04N23/62

H04N23/67 100

【審査請求】未請求

【請求項の数】31

【出願形態】ＯＬ

(21)【出願番号】P 2022174222

(22)【出願日】2022-10-31

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】吉沢 聡

(72)【発明者】

【氏名】熊澤 和泉

(72)【発明者】

【氏名】山崎 博史

(72)【発明者】

【氏名】田代 元

(72)【発明者】

【氏名】鈴木 伸一

(72)【発明者】

【氏名】高橋 和敬

(72)【発明者】

【氏名】山崎 洋輔

(72)【発明者】

【氏名】金子 正樹

(72)【発明者】

【氏名】吉田 有佑

(72)【発明者】

【氏名】降矢 雄飛

【テーマコード（参考）】

2H011

2H102

2H151

5C122

【Ｆターム（参考）】

2H011CA00

2H102AA71

2H102AB00

2H151DD09

5C122EA42

5C122EA61

5C122FD13

5C122FH01

5C122FH02

5C122FH09

5C122FH11

5C122FH22

5C122FJ04

5C122FK29

5C122FK37

5C122FK40

5C122HB01

5C122HB05

(57)【要約】

【課題】被写体を区別して撮像すること。
【解決手段】撮像装置は、被写体数を設定する設定部と、被写体を撮像して画像データを出力する撮像部と、前記撮像部によって撮像された前記被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行う画像処理部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体数を設定する設定部と、
被写体を撮像して画像データを出力する撮像部と、
前記撮像部によって撮像された前記被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行う画像処理部と、
を有する撮像装置。

【請求項2】

請求項１に記載の撮像装置であって、
前記被写体の位置に関する条件は、前記撮像装置と前記被写体との間の被写体距離に基づく条件である、
撮像装置。

【請求項3】

請求項１または２に記載の撮像装置であって、
前記被写体の方向に関する条件は、前記被写体の顔が向いている方向に基づく条件である、
撮像装置。

【請求項4】

請求項１～３のいずれか一項に記載の撮像装置であって、
前記画像処理部は、前記第２被写体が前記第１被写体よりも不鮮明になる画像処理を前記画像データに行う、
撮像装置。

【請求項5】

請求項１～４のいずれか一項に記載の撮像装置であって、
前記撮像部は、時間方向に連続する前記画像データを出力し、
前記画像処理部は、前記撮像部から出力される前記画像データごとに、前記第１被写体と前記第２被写体とで異なる画像処理を行う、
撮像装置。

【請求項6】

請求項５に記載の撮像装置であって、
前記撮像部は、第１画像データを出力し、前記第１画像データよりも時間的に後に第２画像データを出力し、
前記画像処理部は、前記第２画像データにおいて前記被写体とは異なる他の被写体が存在する場合、前記他の被写体が前記第１被写体に該当すれば、前記他の被写体と前記第２被写体とで異なる画像処理を前記第２画像データに行い、前記他の被写体が前記第２被写体に該当すれば、前記第１被写体と前記他の被写体とで異なる画像処理を前記第２画像データに行う、
撮像装置。

【請求項7】

請求項６に記載の撮像装置であって、
前記画像処理部は、前記第２画像データにおいて、前記第１被写体が前記被写体数存在する場合、前記第１被写体と前記他の被写体とで異なる画像処理を、前記第２画像データに行う、
撮像装置。

【請求項8】

請求項６または７に記載の撮像装置であって、
前記画像処理部は、前記第２画像データにおいて、前記第１被写体が前記被写体数存在しない場合、前記他の被写体が前記条件を充足すれば、前記他の被写体と前記第２被写体とで異なる画像処理を前記第２画像データに行い、前記他の被写体が前記条件を充足しなければ、前記第１被写体と前記他の被写体とで異なる画像処理を前記第２画像データに行う、
撮像装置。

【請求項9】

請求項８に記載の撮像装置であって、
前記画像処理部は、第１画像データにおける前記第１被写体の特徴情報と、前記第２画像データにおける前記他の被写体の特徴情報と、を取得し、前記他の被写体の特徴情報と前記第１被写体の特徴情報とが一致すれば、前記他の被写体と前記第２被写体とで異なる画像処理を前記第２画像データに行い、前記他の被写体の特徴情報と前記第１被写体の特徴情報とが一致しなければ、前記第１被写体と前記他の被写体とで異なる画像処理を前記第２画像データに行う、
撮像装置。

【請求項10】

請求項１～９のいずれか一項に記載の撮像装置であって、
前記画像データを記録する記録部と、
前記画像データ内の前記第１被写体の数が前記被写体数になった場合、前記画像データの記録を開始するように前記記録部を制御する記録制御部と、
を有する撮像装置。

【請求項11】

請求項１０に記載の撮像装置であって、
前記記録制御部は、前記第１被写体の顔の検出数が前記被写体数になった場合、前記画像データの記録を開始するように前記記録部を制御する、
撮像装置。

【請求項12】

請求項１１に記載の撮像装置であって、
表示画面を有する表示部を有し、
前記記録制御部は、前記第１被写体の顔の検出数が前記被写体数になっておらず、かつ、一部欠損した顔が検出された場合、前記顔の欠損に関する情報を前記表示画面に表示するように制御する、
撮像装置。

【請求項13】

請求項１～１２のいずれか一項に記載の撮像装置であって、
前記画像データを表示する表示画面を有する表示部と、
前記画像データ内の前記第１被写体の数と前記被写体数とを前記表示画面に表示するように制御する表示制御部と、
を有する撮像装置。

【請求項14】

請求項１３に記載の撮像装置であって、
前記表示制御部は、前記画像データ内の前記第１被写体の数が前記被写体数になった場合、前記第１被写体の数が前記被写体数であることを示す情報を前記表示画面に表示するように制御する、
撮像装置。

【請求項15】

請求項１～１４のいずれか一項に記載の撮像装置であって、
前記第１被写体に合焦するようにフォーカスレンズの位置を制御する撮像制御部と、
を有する撮像装置。

【請求項16】

請求項１５に記載の撮像装置であって、
前記撮像制御部は、第１画像データ内の前記第１被写体に合焦するようにフォーカスレンズの位置を制御し、前記第１画像データよりも時間的に後に前記撮像部から出力される第２画像データにおいて前記被写体とは異なる他の被写体が存在する場合、前記フォーカスレンズの位置を変更しない、
撮像装置。

【請求項17】

請求項１～１６のいずれか一項に記載の撮像装置であって、
前記第１被写体が複数存在する場合、前記撮像装置と前記第１被写体との間の距離に基づいて、複数の前記第１被写体のいずれかに合焦するようにフォーカスレンズの位置を制御する撮像制御部と、
を有する撮像装置。

【請求項18】

請求項１～１７のいずれか一項に記載の撮像装置であって、
前記画像データを表示する表示画面を有する表示部と、
前記画像データ内の特定の被写体の指定を受け付ける受付部と、を有し、
前記設定部は、前記受付部によって指定が受け付けられた前記特定の被写体に基づいて、前記被写体数および前記条件を変更する、
撮像装置。

【請求項19】

請求項１～１８のいずれか一項に記載の撮像装置であって、
前記第１被写体が複数存在する場合、前記撮像装置と前記第１被写体との間の距離に基づいて、被写界深度を制御する撮像制御部と、
を有する撮像装置。

【請求項20】

請求項１～１９のいずれか一項に記載の撮像装置であって、
前記被写体数と、しきい値と、に基づいて、前記画像データのフレームレートを制御する撮像制御部と、
を有する撮像装置。

【請求項21】

請求項１～２０のいずれか一項に記載の撮像装置であって、
音源からの音声を入力する入力部と、
前記入力部によって入力された前記音源からの共通の発話に関する音声の解析結果に基づいて、前記音源の数を特定する解析部と、
前記設定部は、前記解析部によって特定された前記音源の数を前記被写体数に設定する、
撮像装置。

【請求項22】

請求項１～２１のいずれか一項に記載の撮像装置であって、
前記画像データを表示する表示画面を有する表示部と、
前記第１被写体の数が前記被写体数に満たない場合、前記第１被写体の数の不足を前記表示画面に表示するように制御する表示制御部と、
を有する撮像装置。

【請求項23】

請求項１～２２のいずれか一項に記載の撮像装置であって、
前記画像データを記録する記録部と、
前記第１被写体の数が前記被写体数に満たない場合、前記画像データの記録を禁止するように前記記録部を制御する記録制御部と、
を有する撮像装置。

【請求項24】

請求項１～２３のいずれか一項に記載の撮像装置であって、
前記被写体数と、しきい値と、に基づいて、前記画像データを連続的に出力する速度を変更するように制御する撮像制御部と、
を有する撮像装置。

【請求項25】

請求項１～２４のいずれか一項に記載の撮像装置であって、
前記被写体数と、しきい値と、に基づいて、前記画像データを連続的に出力する数を変更するように制御する撮像制御部と、
を有する撮像装置。

【請求項26】

請求項１～２５のいずれか一項に記載の撮像装置であって、
前記画像データを記録する記録部と、
前記被写体数と、しきい値と、に基づいて、前記画像データを記録するとともに、前記画像データよりも時間的に前に取得された画像データを記録するように制御する記録制御部と、
を有する撮像装置。

【請求項27】

請求項１～２６のいずれか一項に記載の撮像装置であって、
前記画像処理部は、前記被写体数と、しきい値と、に基づいて、前記第１被写体と前記第２被写体とで異なる画像処理を前記画像データに行う、
撮像装置。

【請求項28】

請求項１～２７のいずれか一項に記載の撮像装置であって、
前記画像処理部は、前記被写体数と、しきい値と、に基づいて、前記画像データの解像度を変更する、
撮像装置。

【請求項29】

被写体数を設定する設定部と、
画像データに含まれる被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行う画像処理部と、
を有する画像処理装置。

【請求項30】

プロセッサが、
被写体数を設定し、
画像データに含まれる被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行う、
画像処理方法。

【請求項31】

プロセッサに、
被写体数を設定させ、
画像データに含まれる被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行わせる、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、画像処理装置、画像処理方法、および画像処理プログラムに関する。

【背景技術】

【0002】

下記特許文献１は、撮影画像を表示する表示手段と、前記撮影画像から被写体の顔を抽出する顔抽出手段と、前記顔の面積を算出する顔面積算出手段と、前記顔にモザイク処理を行うモザイク処理手段と、前記モザイク処理手段にて前記顔にモザイク処理を行わない前記被写体である主要被写体の数を設定する主要被写体数設定手段と、を有し、前記モザイク処理手段は、前記顔面積算出手段で算出された面積の最も大きい前記顔から大きい順に前記主要被写体数設定手段で設定された数の前記主要被写体の前記顔にモザイク処理を行わず、前記主要被写体以外の前記顔にモザイク処理を行う撮像装置を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－２８４２３５号公報

【発明の概要】

【0004】

第１開示技術の撮像装置は、被写体数を設定する設定部と、被写体を撮像して画像データを出力する撮像部と、前記撮像部によって撮像された前記被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行う画像処理部と、を有する。

【0005】

第２開示技術の画像処理装置は、被写体数を設定する設定部と、画像データに含まれる被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行う画像処理部と、を有する。

【0006】

第３開示技術の画像処理方法は、プロセッサが、被写体数を設定し、画像データに含まれる被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行う。

【0007】

第４開示技術の画像処理プログラムは、プロセッサに、被写体数を設定させ、画像データに含まれる被写体のうち、前記被写体数以内でかつ前記被写体の位置または方向に関する条件を充足する第１被写体と、前記第１被写体に該当しなかった第２被写体と、で異なる画像処理を、前記画像データに行わせる。

【図面の簡単な説明】

【0008】

【図1】図１は、撮像装置のハードウェア構成例を示すブロック図である。

【図2】図２は、撮像装置による撮像例１を示す説明図である。

【図3】図３は、撮像装置による撮像例２を示す説明図である。

【図4】図４は、撮像装置による撮像例３を示す説明図である。

【図5】図５は、撮像装置の機能的構成例を示すブロック図である。

【図6】図６は、撮像装置による撮像処理手順例を示すフローチャートである。

【図7】図７は、主要被写体の変更例１を示す説明図である。

【図8】図８は、主要被写体の変更例２を示す説明図である。

【発明を実施するための形態】

【0009】

＜撮像装置のハードウェア構成例＞
図１は、撮像装置のハードウェア構成例を示すブロック図である。撮像装置１００は、静止画または動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図１では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。

【0010】

撮像装置１００は、プロセッサ１０１と、記憶デバイス１０２と、駆動部１０３と、光学系１０４と、撮像素子１０５と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０７と、操作デバイス１０８と、マイク１０９と、センサ１１０と、表示デバイス１１１と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１２と、スピーカ１１３と、光源１１４と、バス１１５と、を有する。プロセッサ１０１、記憶デバイス１０２、駆動部１０３、ＬＳＩ１０７、操作デバイス１０８、マイク１０９、センサ１１０、表示デバイス１１１、通信ＩＦ１１２、スピーカ１１３および光源１１４は、バス１１５に接続される。

【0011】

プロセッサ１０１は、撮像装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。記憶デバイス１０２は、撮像装置１００に複数実装されてもよく、そのうちの少なくとも１つは、撮像装置１００に対し着脱自在でもよい。

【0012】

駆動部１０３は、光学系１０４を駆動制御する。駆動部１０３は、駆動回路１０３ａと駆動源１０３ｂとを有する。駆動回路１０３ａは、プロセッサ１０１からの指示により駆動源１０３ｂを制御する。駆動源１０３ｂは、たとえば、モータであり、駆動回路１０３ａの制御により、光学系１０４内のズーミングレンズ１４１ｂおよびフォーカシングレンズ１４１ｃを光軸方向に移動させたり、絞り１４２を開閉制御する。

【0013】

光学系１０４は、光軸方向に配列された複数のレンズ（レンズ１４１ａ、ズーミングレンズ１４１ｂ、およびフォーカシングレンズ１４１ｃ）と、絞り１４２と、を含む。光学系１０４は、被写体光を集光し、撮像素子１０５に出射する。

【0014】

撮像素子１０５は、光学系１０４からの被写体光を受光して電気信号に変換する。撮像素子１０５は、たとえば、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））であってもよく、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））であってもよい。

【0015】

撮像素子１０５の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０５の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列（たとえば、ベイヤ配列）に従って配置される。そのため、撮像素子１０５の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。

【0016】

ＡＦＥ１０６は、撮像素子１０５からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。ＡＦＥ１０６は、電気信号のゲイン調整、アナログ信号処理（相関二重サンプリング、黒レベル補正など）、Ａ／Ｄ変換処理、デジタル信号処理（欠陥画素補正など）を順次実行してＲＡＷ画像データを生成し、ＬＳＩ１０７に出力する。上述した駆動部１０３、光学系１０４、撮像素子１０５、およびＡＦＥ１０６は、撮像部１２０を構成する。

【0017】

ＬＳＩ１０７は、ＡＦＥ１０６からのＲＡＷ画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理、記録処理、再生処理など、特定の処理を実行する集積回路である。ＬＳＩ１０７は、具体的には、たとえば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現してもよい。

【0018】

操作デバイス１０８は、コマンドやデータを入力する。操作デバイス１０８としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。マイク１０９は、音声を入力し音声データを生成する。センサ１１０は、情報を検出するデバイスであり、たとえば、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）センサ、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）センサ、ジャイロセンサ、加速度センサ、温度センサなどがある。ＡＦセンサおよびＡＥセンサは撮像部１２０側に配置される場合もある。

【0019】

表示デバイス１１１は、画像データや設定画面を表示する。表示デバイス１１１には、撮像装置１００の背面にある背面モニタと、電子ビューファインダと、がある。通信ＩＦ１１２は、ネットワークと接続し、データを送受信する。スピーカ１１３は、音声を出力する。光源１１４は、光を照射する。

【0020】

撮像部１２０は、光源１１４から照射され被写体に反射された反射光を受光する。光源１１４からの照射光と被写体からの反射光との位相差に基づいて、光源１１４から光が照射され被写体で反射されて撮像部１２０に到達するまでの時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を測定することで、撮像装置１００と被写体との距離（被写体距離）の計測が可能である。被写体距離の計測は、ＬＳＩ１０７または、プログラムを実行するプロセッサ１０１により実行される。なお、撮像部１２０は、撮像素子１０５を使用した像面位相差による被写体距離の測定をおこなうことで、被写体距離を計測してもよい。

【0021】

なお、撮像装置１００から、撮像部１２０を除いた構成を画像処理装置１３０と称す。ただし、画像処理装置１３０は、少なくともプロセッサ１０１、記憶デバイス１０２、ＬＳＩ１０７を有していればよい。

【0022】

＜撮像例＞
撮像装置１００は、画像データにおいて必要な被写体（主要被写体）と不要な被写体（不要被写体）とを区別する処理（以下、区別処理）を実行する。区別処理とは、主要被写体と不要被写体とを区分けする処理であり、たとえば、主要被写体に主要被写体であることを示すアイコンや枠線、色調整を施したり、不要被写体に不要被写体であることを示すアイコンや枠線、色調整を施したりする処理である。色調整としては、たとえば、主要被写体と比較して不要被写体を不鮮明にする画像処理があり、具体的には、ぼかし処理、モザイク処理、輝度調整、色温度調整で実現される。

【0023】

図２は、撮像装置１００による撮像例１を示す説明図である。図３は、撮像装置１００による撮像例２を示す説明図である。図４は、撮像装置１００による撮像例３を示す説明図である。撮像装置１００は、撮像範囲内での撮像により、時系列な画像データＩ０～Ｉ３を生成する。画像データＩｎ（ｎは０以上の整数）は、時間軸２００の時刻ｔｎで撮像された画像データである。画像データＩ０～Ｉ３を区別しない場合は、画像データＩと表記する。

【0024】

撮像装置１００には、画像データＩ０の生成前に、主要被写体数と、主要被写体を決定するための条件（主要被写体条件）と、が設定されている。また、撮像装置１００は、区別処理として不要被写体にぼかし処理を施すものとする。

【0025】

主要被写体とは、画像データ内の被写体のうち、動物であり、かつ、主要被写体条件を充足する被写体である。本例では、動物を人間とする。なお、主要被写体条件を充足しない人間は、不要被写体とする。また、主要被写体条件を充足しても、主要被写体数を超えた分の人間も、不要被写体となる。

【0026】

主要被写体でも不要被写体でもない領域は、背景である。撮像装置１００は、画像データＩ０において、主要被写体に決定した数（以下、決定数）が主要被写体数に達していない場合に主要被写体条件を充足する人間を、主要被写体に決定する。撮像装置１００は、決定数をカウントする。

【0027】

主要被写体数とは、主要被写体の個体数であり、１以上の整数が設定可能である。たとえば、主要被写体数が「５」に設定されている場合、主要被写体条件を充足した５人の人間が主要被写体となる。図２の例では、主要被写体数は「３」とする。決定数の初期値は「０」であり、主要被写体が決定する都度インクリメントされる。

【0028】

主要被写体条件とは、どの人間が主要被写体であるかを決定するための条件である。たとえば、主要被写体条件は、被写体距離によって決定される。具体的には、たとえば、主要被写体条件は、被写体距離がｄ１以下としてもよく、被写体距離がｄ１以上としてもよく、被写体距離がｄ１以上ｄ２（＞ｄ１）以下の範囲としてもよい。本例では、主要被写体条件を「被写体距離がｄ１以下」として説明する。

【0029】

図２において、撮像装置１００は、画像データＩ０において、被写体ｈ１～ｈ７を、顔認識や骨格検出などの既存技術により人間（以下、人間ｈ１～ｈ７と表記する場合もある）と認識する。また、撮像装置１００は、人間ｈ１～ｈ７の被写体距離を測定し、人間ｈ１～ｈ３の被写体距離はｄ１以下であり、人間ｈ４～ｈ７の被写体距離はｄ１よりも大きいと認識する。したがって、撮像装置１００は、人間ｈ１～ｈ３を主要被写体２０１に決定し、人間ｈ４～ｈ７を不要被写体２０２に決定する。

【0030】

撮像装置１００は、主要被写体２０１である人間ｈ１～ｈ３の各々の特徴情報ｆ１～ｆ３を取得する。特徴情報ｆ１～ｆ３は、たとえば、顔検出情報である。そして、撮像装置１００は、不要被写体２０２に対し区別処理を実行する。区別処理が実行された不要被写体２０２を不要被写体２２０とする。

【0031】

時刻ｔ１の画像データＩ１において、通行人として、あらたに被写体ｈ８が撮像されたとする（フレームイン）。撮像装置１００は、被写体ｈ８を顔認識や骨格検出などの既存技術により人間（以下、人間ｈ８と表記する場合もある）と認識する。撮像装置１００は、人間ｈ８の被写体距離を測定し、人間ｈ８の被写体距離はｄ１以下であったとする。しかし、決定数はすでに主要被写体数に達しているため、撮像装置１００は、人間ｈ８を不要被写体２０２に決定する。

【0032】

ただし、決定数が主要被写体数に達していなければ、たとえば、主要被写体数が「４」であれば、撮像装置１００は、人間ｈ８を主要被写体２０１に決定することになる。

【0033】

時刻ｔ２の画像データＩ２において、すでに通行人である人間ｈ８が移動して撮像範囲から外れ、かつ、人間ｈ１も移動して撮像範囲から外れたとする（フレームアウト）。主要被写体２０１の一人である人間ｈ１が撮像範囲から外れたため、すなわち、撮像装置１００は、特徴情報ｆ１を検出しなくなったため、決定数を１減らす。すなわち、決定数は「２」になる。

【0034】

図３では、時刻ｔ３の画像データＩ３ａにおいて、時刻ｔ２の画像データＩ２において撮像範囲から外れた人間ｈ１が撮像範囲内に戻ってきたとする。撮像装置１００は、被写体ｈ１を顔認識や骨格検出などの既存技術により人間と認識する。撮像装置１００は、人間ｈ１の被写体距離を測定し、人間ｈ１の被写体距離はｄ１以下であったとする。この場合、撮像装置１００は、新たにフレームインしてきた人間ｈ１の特徴情報ｆ１を取得する。

【0035】

撮像装置１００は、取得した特徴情報ｆ１に一致する特徴情報が、画像データＩ０で取得した特徴情報ｆ１～ｆ３に存在するか否か判断する。この場合、特徴情報ｆ１が一致するため、撮像装置１００は、決定数を１増加して「３」にし、人間ｈ１を再び主要被写体２０１に決定する。

【0036】

図４では、時刻ｔ３の画像データＩ３ｂにおいて、被写体ｈ９が撮像範囲内に入ってきたとする。撮像装置１００は、被写体ｈ９を顔認識や骨格検出などの既存技術により人間（以下、人間ｈ９と表記する場合もある）と認識する。撮像装置１００は、人間ｈ９の被写体距離を測定し、人間ｈ９の被写体距離はｄ１以下であったとする。この場合、撮像装置１００は、人間ｈ９の特徴情報ｆ９を取得する。

【0037】

撮像装置１００は、取得した特徴情報ｆ９に一致する特徴情報が、画像データＩ０で取得した特徴情報ｆ１～ｆ３に存在するか否か判断する。この場合、特徴情報ｆ９は特徴情報ｆ１～ｆ３に存在しないため、撮像装置１００は、決定数の「２」を維持して、人間ｈ９を不要被写体２０２に決定する。そして、撮像装置１００は、不要被写体２０２（人間ｈ４～ｈ７、ｈ９）に対し区別処理を実行し、不要被写体２２０とする。

【0038】

このようにして、撮像装置１００は、撮影中に主要被写体２０１と不要被写体２０２とを区別して撮影を行うことができる。

【0039】

なお、図２～図４では、主要被写体条件を被写体距離としたが、主要被写体条件は、たとえば、顔検出に必要な顔の部位に欠落がないという条件を含んでもよい。したがって、顔が上下左右または後ろに向いている被写体については、撮像装置１００は、時刻ｔ０において不要被写体２０２と判定してもよい。

【0040】

また、撮像装置１００は、時刻ｔ０よりも前に、主要被写体２０１の決定の開始入力を受け付けた場合に、時刻ｔ０の画像データＩ０において被写体ｈ１～ｈ３が主要被写体２０１に該当し、被写体ｈ４～ｈ７が不要被写体２０２に該当すると判定してもよい。

【0041】

＜撮像装置１００の機能的構成例＞
図５は、撮像装置１００の機能的構成例を示すブロック図である。撮像装置１００は、撮像部１２０と、撮像制御部５０１と、入力部５０２と、解析部５０３と、設定部５０４と、受付部５０５と、表示部５０６と、表示制御部５０７と、記録部５０８と、記録制御部５０９と、画像処理部５１０と、を有する。

【0042】

撮像制御部５０１は、撮像部１２０を制御する。具体的には、たとえば、撮像制御部５０１は、被写体に合焦するようにフォーカシングレンズ１４１ｃを光軸方向に移動するよう駆動回路１０３ａを制御する。たとえば、撮像制御部５０１は、時刻ｔ０において、被写体ｈ１～ｈ３に合焦するようにフォーカシングレンズ１４１ｃを光軸方向に移動するよう駆動回路１０３ａを制御する。

【0043】

また、撮像制御部５０１は、被写体ｈ１～ｈ３のように複数の被写体が存在する場合には、被写体ｈ１～ｈ３の各々の被写体距離に基づいて、被写体ｈ１～ｈ３のいずれかに合焦するようにフォーカシングレンズ１４１ｃを光軸方向に移動するよう駆動回路１０３ａを制御する。具体的には、たとえば、撮像制御部５０１は、被写体ｈ１～ｈ３のうち最短被写体距離の被写体に合焦するよう制御してもよく、最長被写体距離の被写体に合焦するよう制御してもよく、最短でも最長でもない被写体距離の被写体に合焦するよう制御してもよい。

【0044】

このあと、被写体ｈ１～ｈ３以外の被写体が撮像範囲にフレームインしたとしても、撮像制御部５０１は、被写体ｈ１～ｈ３以外の被写体（たとえば、被写体ｈ８、ｈ９）に合焦するよう制御しない。すなわち、撮像制御部５０１は、フォーカシングレンズ１４１ｃの位置を、被写体ｈ１～ｈ３の合焦位置に固定する。被写体ｈ４～ｈ７のいずれかが一旦フレームアウトした後再度フレームインした場合も同様である。

【0045】

また、撮像制御部５０１は、被写体が複数存在する場合、各々の被写体距離に基づいて、被写界深度を制御してもよい。具体的には、たとえば、被写体ｈ１～ｈ３を被写界深度内に収めるため、光学系１０４の絞り値や焦点距離を調整する。

【0046】

また、撮像制御部５０１は、主要被写体数に基づいて、撮像素子１０５のフレームレートを変更してもよい。たとえば、設定された主要被写体数がしきい値以上であれば、撮像制御部５０１は、現在のフレームレートが所定のフレームレート以上になるように変更する。

【0047】

また、決定数がしきい値以上になれば、撮像制御部５０１は、現在のフレームレートが所定のフレームレート以上になるように変更し、決定数がしきい値未満になれば、撮像制御部５０１は、現在のフレームレートが所定のフレームレート未満になるように変更してもよい。すなわち、主要被写体２０１の数が増加するほど主要被写体２０１の動きも増加するため、速いフレームレートに設定することで、滑らかな動画像を得ることができる。

【0048】

入力部５０２は、たとえば、マイク１０９であり、音源からの音声を入力し、音声データを出力する。音源は、たとえば、音声を発する被写体である。

【0049】

解析部５０３は、入力部５０２によって入力された音源からの共通の発話に関する音声の解析結果に基づいて、音源の数を特定する。共通の発話とは、掛け声などの複数人が発話する同一フレーズである。具体的には、たとえば、解析部５０３は、既存の音源分離により、被写体ｈ１～ｈ３からの共通の発話に関する音声を分離することで、被写体ｈ１～ｈ３の数が「３」であると特定する。

【0050】

設定部５０４は、主要被写体数を設定する。具体的には、たとえば、ユーザが操作デバイス１０８を操作して、主要被写体数を入力することで、主要被写体数を設定する。また、設定部５０４は、解析部５０３によって特定された音源の数を主要被写体数に設定してもよい。

【0051】

また、設定部５０４は、ユーザが操作デバイス１０８を操作して、主要被写体数の設定解除を入力することで、主要被写体数の設定を解除してもよい。また、設定部５０４は、動画撮影の終了ボタンの押下または静止画撮影ボタンの押下を検出すると、主要被写体数の設定を解除してもよい。これにより、ユーザは、主要被写体数の設定解除の入力が不要になる。

【0052】

また、設定部５０４は、決定数に関するしきい値を主要被写体数に基づいて自動設定してもよい。決定数に関するしきい値とは、後述する区別処理部５１３が区別処理を実行するか否かを決定するためのしきい値であり、主要被写体数よりも小さい値となる。たとえば、設定部５０４は、主要被写体数の半分の値（主要被写体数が奇数である場合は、切り捨てまたは四捨五入のいずれかを実行）を、決定数に関するしきい値に設定してもよい。

【0053】

受付部５０５は、画像データＩの記録開始や記録終了、記録の一時停止を受け付ける。受付部５０５は、たとえば、操作デバイス１０８であり、たとえば、押下により、動画の記録開始入力、記録終了入力、記録の一時停止入力、静止画の撮影入力を受け付ける。

【0054】

表示部５０６は、たとえば、表示デバイス１１１であり、画像データＩやグラフィカルユーザインタフェースを表示する。

【0055】

表示制御部５０７は、表示部５０６を制御して、表示部５０６の表示画面に画像データＩやグラフィカルユーザインタフェースを表示する。

【0056】

また、表示制御部５０７は、主要被写体条件を充足する被写体の顔の検出数が主要被写体数になっておらず、かつ、一部欠損した顔が検出された場合、顔の欠損に関する情報を表示部５０６の表示画面に表示するように制御する。顔検出において、両目、鼻、口などの顔のパーツのうち一部が欠損している場合、その被写体について、顔の欠損に関する情報が表示される。

【0057】

たとえば、当該被写体と撮像装置１００との間に物体が存在したため、当該物体により、顔のパーツのうち一部が欠損したり、被写体が撮像装置１００に対して正面を向いていない場合、顔のパーツのうち一部が欠損したりする。表示制御部５０７は、顔の欠損に関する情報として、そのような被写体の顔を囲む矩形、顔の色変化、一部欠損した顔であることを示し当該顔に関連付けたアイコンまたは文字列を、表示部５０６の表示画面に表示する。

【0058】

また、表示制御部５０７は、主要被写体数と決定数とを表示部５０６の表示画面に表示してもよい。また、表示制御部５０７は、決定数が主要被写体数に到達した場合、その旨を示す情報（たとえば、アイコンや文字情報）を表示部５０６の表示画面に表示してもよい。また、表示制御部５０７は、決定数が主要被写体数に到達していない場合、その旨を示す情報（たとえば、アイコンや文字情報）を表示部５０６の表示画面に表示してもよい。

【0059】

記録部５０８は、画像データＩを記録する。記録部５０８は、たとえば、記憶デバイス１０２である。

【0060】

記録制御部５０９は、記録部５０８に画像データＩを記録するよう制御する。具体的には、たとえば、記録制御部５０９は、受付部５０５によって記録開始が受け付けられた場合、画像データＩの記録部５０８への記録を開始するように制御する、

【0061】

また、記録制御部５０９は、ライブビューで得られた画像データＩにおいて、主要被写体条件を充足する被写体の数が主要被写体数に到達した場合、画像データＩの記録を開始するように記録部５０８を制御する。

【0062】

また、記録制御部５０９は、ライブビューで得られた画像データＩにおいて、主要被写体条件を充足する被写体の顔の検出数が主要被写体数に到達した場合、画像データＩの記録を開始するように記録部５０８を制御してもよい。

【0063】

また、記録制御部５０９は、決定数が主要被写体数に満たない場合、画像データＩの記録を禁止するように制御してもよい。すなわち、画像データＩの記録の開始前であれば、記録制御部５０９は、決定数が主要被写体数に満たない場合、画像データＩの記録を開始しない。

【0064】

また、画像データＩの記録の開始後であれば、記録制御部５０９は、決定数が主要被写体数に満たない場合、画像データＩの記録を停止する。そして、再度決定数が主要被写体数に到達した場合、画像データＩの記録を再開する。これにより、決定数が主要被写体数に満たない画像データＩの記録を抑制することができる。

【0065】

また、記録制御部５０９は、静止画撮影において、主要被写体数に基づいて、撮影ボタンの押下の時刻ｔｎの画像データＩｎと、当該画像データＩｎに先行する時刻ｔ（ｎ－１）の画像データＩ（ｎ－１）を記録してもよい。すなわち、記録制御部５０９は、画像データＩのプリキャプチャを行う。

【0066】

プリキャプチャでは、たとえば、記録制御部５０９は、操作デバイス１０８の撮影ボタンが半押しされた状態のときに、連続的に画像データＩをバッファメモリに仮保存し、撮影ボタンが全押しされた場合に、全押し時の画像データＩを本記録用のメモリに記録するとともに、仮保存した画像データＩを、本記録用のメモリに転送する処理である。

【0067】

具体的には、たとえば、設定された主要被写体数がしきい値以上であれば、記録制御部５０９は、プリキャプチャを実行する。また、決定数がしきい値以上になれば、記録制御部５０９は、プリキャプチャを実行してもよい。これにより、ユーザは、プリキャプチャの設定をしなくても、撮影ボタンの全押し前の画像データＩを取得することができる。

【0068】

画像処理部５１０は、撮像部１２０によって撮像された被写体のうち、設定部５０４によって設定された主要被写体数以内でかつ被写体の位置または方向に関する条件を充足する第１被写体と、第１被写体に該当しなかった第２被写体と、で異なる画像処理を、画像データに行う。

【0069】

具体的には、たとえば、画像処理部５１０は、撮像部１２０によって撮像された被写体の位置または方向に関する情報と、設定部５０４によって設定された主要被写体数と、に基づいて、撮像部１２０によって撮像された第１被写体と第２被写体とで異なる画像処理を行う。

【0070】

画像処理部５１０は、判定部５１１と、生成部５１２と、区別処理部５１３と、を有する。画像処理部５１０で画像処理された画像データＩは、表示制御部５０７および記録制御部５０９に出力される。

【0071】

判定部５１１は、撮像部１２０によって撮像された被写体の数と、被写体が充足すべき位置または方向に関する主要被写体条件と、に基づいて、被写体が、被写体条件を充足する主要被写体数の主要被写体に該当するか否かを判定する。具体的には、たとえば、判定部５１１は、被写体の位置または方向に関する情報と、設定部５０４によって設定された主要被写体数と、に基づいて、被写体が主要被写体に該当するか否かを判定する。

【0072】

被写体の位置または方向に関する情報とは、たとえば、被写体距離に基づく位置情報である。被写体距離に基づく位置情報とは、撮像装置１００と被写体との間の被写体距離で決まる被写体の位置である。被写体距離が決まる被写体については、たとえば、ＴＯＦによりその被写体距離が測定されているため、撮像範囲内に存在する被写体となる。具体的には、たとえば、被写体距離に基づく位置情報が、主要被写体条件を充足していれば、その被写体は、主要被写体の候補となる。決定数が主要被写体数に到達していなければ、主要被写体の候補は、主要被写体となる。

【0073】

また、被写体の方向に関する情報とは、被写体の顔の向き、または視線方向を示す情報である。具体的には、たとえば、判定部５１１は、被写体の顔が正面を向いていれば、両眼、鼻、口などの顔のパーツに基づき顔検出された場合、当該被写体は、主要被写体の候補となる。また、たとえば、一部の顔のパーツが欠損している場合、判定部５１１は、当該被写体を主要被写体ではないと判定する。

【0074】

また、判定部５１１は、既存技術により、被写体の顔画像、特に両眼の黒目の位置および面積から被写体の視線方向を検出する。判定部５１１は、被写体の視線方向と、その被写体と撮像装置１００とを結ぶ線と、のずれが所定範囲内であれば、被写体が撮像装置１００を見ていると判定する。撮像装置１００を見ていると判定された被写体は、主要被写体の候補となる。決定数が主要被写体数に到達していなければ、主要被写体の候補は、主要被写体となる。

【0075】

また、判定部５１１は、撮像部１２０から出力される時系列な画像データＩごとに、被写体が主要被写体に該当するか否かを判定する。たとえば、判定部５１１は、図２～図４に示した画像データＩ０～Ｉ３の各々について、人間ｈ１～ｈ９が主要被写体であるか否かを判定する。

【0076】

また、判定部５１１は、図２の被写体ｈ８、図３の被写体ｈ１、および図４の被写体ｈ９のように、撮像範囲内にフレームインしてきた被写体が主要被写体に該当するか否かを判定する。図２の被写体ｈ８の場合、決定数が主要被写体数に到達しているため、判定部５１１は、被写体ｈ８を不要被写体に該当すると判定する。

【0077】

図３の被写体ｈ１の場合、時刻ｔ３で撮像範囲内にフレームインしてきた被写体ｈ１の特徴情報ｆ１がすでに取得済みの特徴情報ｆ１と一致するため、判定部５１１は、被写体ｈ１を主要被写体に該当すると判定する。図４の被写体ｈ９の場合、特徴情報ｆ９がいずれの特徴情報ｆ１～ｆ３にも一致しないため、判定部５１１は、被写体ｈ９を不要被写体に該当すると判定する。

【0078】

判定部５１１は、上述した判定後に決定数を更新する。具体的には、たとえば、判定部５１１は、設定部５０４で設定した主要被写体数も「３」であれば、図２の時刻ｔ０の画像データＩ０については、主要被写体条件を充足する主要被写体数が「３」であるため、決定数を「３」に設定する。

【0079】

また、判定部５１１は、図２の時刻ｔ１の画像データＩ１については、被写体ｈ８がフレームインして特徴情報ｆ８が検出されたが、特徴情報ｆ８は特徴情報ｆ１～ｆ３のいずれにも一致せずに被写体ｈ８が不要被写体と判定されたため、決定数「３」を維持する。

【0080】

また、判定部５１１は、図２の時刻ｔ２の画像データＩ２については、主要被写体である被写体ｈ１がフレームアウトして特徴情報ｆ１が検出されなくなったため、決定数を「３」から「２」に更新する。

【0081】

また、判定部５１１は、図３の時刻ｔ３の画像データＩ３ａについては、主要被写体である被写体ｈ１がフレームインして、特徴情報ｆ１が検出されたため、決定数を「２」から「３」に更新する。

【0082】

また、判定部５１１は、図４の時刻ｔ３の画像データＩ３ｂについては、被写体ｈ９がフレームインして特徴情報ｆ９が検出されたが、特徴情報ｆ９は特徴情報ｆ１～ｆ３のいずれにも一致せずに被写体ｈ９が不要被写体と判定されたため、決定数「２」を維持する。

【0083】

生成部５１２は、画像データＩにおいて被写体に関する特徴情報を生成する。具体的には、たとえば、生成部５１２は、上述した特徴情報ｆ１～ｆ３を生成する。

【0084】

区別処理部５１３は、主要被写体と不要被写体とを区別する画像処理を実行する。具体的には、たとえば、区別処理部５１３は、不要被写体に上述した区別処理を実行する。区別処理は、不要被写体が主要被写体よりも相対的に不鮮明になる画像処理である。

【0085】

なお、区別処理部５１３は、決定数が、上述した決定数に関するしきい値以上になった場合に、不要被写体に区別処理を実行してもよい。

【0086】

また、区別処理部５１３は、主要被写体数に基づいて、画像データＩの解像度を変更してもよい。具体的には、たとえば、区別処理部５１３は、設定部５０４によって設定された主要被写体数がしきい値以上であれば、設定部５０４によって設定された主要被写体数がしきい値未満の場合よりも、画像データＩの解像度を高くする。これにより、しきい値以上の主要被写体数については高解像度の画像データＩを生成することができる。

【0087】

また、区別処理部５１３は、決定数に基づいて、画像データＩの解像度を変更してもよい。具体的には、たとえば、区別処理部５１３は、決定数が決定数に関するしきい値以上であれば、決定数が決定数に関するしきい値未満の場合よりも、画像データＩの解像度を高くする。これにより、しきい値以上の決定数になると動的に高解像度の画像データＩを生成することができる。

【0088】

＜撮像処理手順＞
図６は、撮像装置１００による撮像処理手順例を示すフローチャートである。撮像装置１００は、入力部５０２、解析部５０３、設定部５０４および受付部５０５により、各種情報を取得する（ステップＳ６０１）。

【0089】

撮像装置１００は、撮像制御部５０１による撮像制御にしたがって、撮像部１２０で被写体を撮像し、画像データＩを生成する（ステップＳ６０２）。撮像装置１００は、生成部５１２により、画像データＩから特徴情報を生成する（ステップＳ６０３）。

【0090】

撮像装置１００は、判定部５１１により、被写体が主要被写体に該当するか否かを判定し（ステップＳ６０４）、判定結果に基づいて決定数を更新する（ステップＳ６０５）。

【0091】

撮像装置１００は、区別処理部５１３により、画像データＩにおいて主要被写体と不要被写体とを区別する画像処理を実行する（ステップＳ６０６）。

【0092】

撮像装置１００は、表示制御部５０７の表示制御により、表示部５０６に区別処理後の画像データＩを表示し、記録制御部５０９の記録制御により、記録部５０８に区別処理後の画像データＩを記録する（ステップＳ６０７）。

【0093】

撮像装置１００は、ユーザ操作、または、あらかじめ設定した撮像終了時刻の経過により、撮像部１２０による撮像が終了したか否かを判断する（ステップＳ６０８）。撮像終了でない場合（ステップＳ６０８：Ｎｏ）、ステップＳ６０２に戻る。撮像終了である場合（ステップＳ６０８：Ｙｅｓ）、撮像装置１００は、一連の処理を終了する。

【0094】

このように、本実施例によれば、撮像装置１００は、撮影中に特定の個人を主要被写体にするといった処理をすることなく、被写体を、主要被写体条件および主要被写体数を充足する主要被写体２０１と主要被写体には該当しない不要被写体２０２とに分離して、主要被写体２０１と不要被写体２０２とで異なる画像処理を実行する。これにより、主要被写体２０１と不要被写体２０２とを区別した画像データを生成することができる。

【0095】

また、主要被写体を撮影前に決めたい場合であっても主要被写体数を設定しておくことで、主要被写体を自動設定可能な撮影を開始することができる。特に、事前に主要被写体の顔画像を登録しておく必要がないため、撮影開始前に手間がかからず使い勝手の良い撮像装置１００を提供することができる。また、どの被写体を主要被写体にしたいか固定されていない場合であっても、主要被写体条件を満たす主要被写体数以内の被写体であれば主要被写体となるため、撮影対象に応じて自由に主要被写体を変更することができる。

【0096】

また、撮影中に被写体がフレームイン、フレームアウトする場合であっても、一度主要被写体と判定されれば、その後フレームアウトしても、他の被写体がフレームアウトした主要被写体に代わり主要被写体になることはない。また、主要被写体がフレームアウト後にフレームインした場合でも、主要被写体として認識される。したがって、撮影中にフレームインやフレームアウトが発生しても撮影を中断する必要がなく、主要被写体および不要被写体を区別する画像処理を実行することができるため、撮影の円滑化を図ることができる。

【0097】

また、主要被写体２０１よりも不要被写体２０２を不鮮明になるように画像処理することで、たとえば、観光地等で家族または家族以外の同行メンバが鮮明に、他人が鮮明にならないように撮像することができ、撮像した画像データＩを当該他人のプライバシーに配慮しつつ、インターネット上に即座にアップロードすることが可能になる。また、たとえば、街頭インタビューの収録を次々に行う場合や、学校行事等で自分の子供および友達と、それ以外と、をと撮り分けたい場合や、撮像装置１００を貸し借りして撮影する場合にも有用である。

【0098】

なお、上述した実施例において、受付部５０５は、画像データＩの記録開始や記録終了、記録の一時停止を受け付けたが、受付部５０５は、ユーザの指定により表示デバイス１１１上で主要被写体の変更を受け付けてもよい。

【0099】

図７は、主要被写体の変更例１を示す説明図である。表示デバイス１１１の表示画面７００には、画像データＩｘが表示されている。説明の便宜上、画像データＩｘは、図２に示した画像データＩ０と同じ内容とする。

【0100】

受付部５０５は、ユーザ操作により、不要被写体である被写体ｈ４～ｈ７を指定する矩形７０１を生成したとする。この場合、設定部５０４は、主要被写体条件および主要被写体数を、矩形７０１内の被写体ｈ４～ｈ７（不要被写体２２０）が主要被写体２０１になるように変更する。そして、判定部５１１は、矩形７０１内の被写体ｈ４～ｈ７を主要被写体２０１に該当すると判定し、区別処理部５１３は、画像データＩｙにおいて、矩形７０１内の被写体ｈ４～ｈ７を、主要被写体２０１として画像処理する。

【0101】

この場合、矩形７０１内の被写体ｈ４～ｈ７の数である「４」が検出されるため、設定部５０４は、主要被写体数を「３」から「７」に変更する。また、設定部５０４は、主要被写体条件を、被写体ｈ１～ｈ７が充足する内容に変更する。たとえば、変更前の主要被写体条件が被写体距離ｄ１であり、被写体ｈ１～ｈ３が被写体距離ｄｘで、被写体ｈ４～ｈ７の被写体距離が被写体距離ｄ１よりも大きいｄｙであったとする。この場合、設定部５０４は、主要被写体条件を、ｄ１からｄ１以上ｄｙ以下に変更する。そして、判定部５１１は、被写体ｈ１～ｈ７の特徴情報ｆ１～ｆ７を主要被写体の特徴情報として保持する。

【0102】

図８は、主要被写体の変更例２を示す説明図である。図７と異なり、図８では、矩形７０１を指定すると、設定部５０４は、主要被写体条件および主要被写体数を、矩形７０１内の被写体ｈ４～ｈ７（不要被写体２２０）のみが主要被写体２０１になるように変更する。

【0103】

そして、判定部５１１は、矩形７０１内の被写体ｈ４～ｈ７を主要被写体２０１に該当すると判定し、矩形７０１外の被写体ｈ１～ｈ３を不要被写体に該当すると判定し、区別処理部５１３は、画像データＩｚにおいて、矩形７０１内の被写体ｈ４～ｈ７を主要被写体２０１として、矩形７０１外の被写体ｈ１～ｈ３を不要被写体として画像処理する。

【0104】

この場合、矩形７０１内の被写体ｈ４～ｈ７の数である「４」が検出されるため、設定部５０４は、主要被写体数を「３」から「４」に変更する。また、設定部５０４は、主要被写体条件を、被写体ｈ４～ｈ７が充足する内容に変更する。たとえば、変更前の主要被写体条件が被写体距離ｄ１であり、被写体ｈ１～ｈ３が被写体距離ｄｘで、被写体ｈ４～ｈ７の被写体距離が被写体距離ｄ１よりも大きいｄｙであったとする。この場合、設定部５０４は、主要被写体条件を、ｄ１からｄ１より大きくｄｙ以下に変更する。そして、判定部５１１は、被写体ｈ４～ｈ７の特徴情報ｆ４～ｆ７を主要被写体の特徴情報として保持する。

【0105】

なお、図８では、設定部５０４は、主要被写体数および主要被写体条件を変更したが、たとえば、矩形７０１内の被写体がｈ５～ｈ７であったとすると、矩形７０１内の被写体数は「３」であるため、主要被写体数は変更されないが、主要被写体条件は変更される。

【0106】

また、図８では、設定部５０４は、主要被写体数を増加させたが、たとえば、矩形７０１内の被写体がｈ６、ｈ７であったとすると、矩形７０１内の被写体数は「２」であるため、主要被写体数も変更される。そして、判定部５１１は、被写体ｈ６、ｈ７の特徴情報ｆ６，ｆ７を主要被写体の特徴情報として保持する。

【0107】

また、図７および図８においては、矩形７０１内の被写体を被写体ｈ４～ｈ７のように、被写体ｈ１～ｈ３とは主要被写体条件が異なるように指定されたが、被写体ｈ３、ｈ４のように、主要被写体条件が一部一致するような指定でもよい。たとえば、矩形７０１内の被写体が被写体ｈ３、ｈ４であったとすると、設定部５０４は、主要被写体数を「２」に変更し、主要被写体条件を、ｄ１からｄ１以上ｄｙ以下に変更する。そして、判定部５１１は、被写体ｈ３、ｈ４の特徴情報ｆ３、ｆ４を主要被写体の特徴情報として保持する。

【0108】

このような直観的な操作により、主要被写体数および主要被写体条件を変更することができる。なお、図７および図８のいずれの変更処理を適用するかについては、ユーザが撮像装置１００に対して事前に設定しておくことになる。

【0109】

また、上述した実施例では、主要被写体を人間としたが、人間以外の動物、例えば、犬や猫でもよい。たとえば、犬に設定された場合、生成部５１２は犬の特徴情報を生成し、判定部５１１は、犬の特徴情報に基づいて、被写体が主要被写体であるか否かを判定することになる。

【0110】

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。

【符号の説明】

【0111】

１００ 撮像装置、２０１ 主要被写体、２０２ 不要被写体、２２０ 不要被写体、５０１ 撮像制御部、５０２ 入力部、５０３ 解析部、５０４ 設定部、５０５ 受付部、５０６ 表示部、５０７ 表示制御部、５０８ 記録部、５０９ 記録制御部、５１０ 画像処理部、５１１ 判定部、５１２ 生成部、５１３ 区別処理部、７００ 表示画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】