特許 5718502 画像作成装置及び画像作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5718502

(24)【登録日】2015年3月27日

(45)【発行日】2015年5月13日

(54)【発明の名称】画像作成装置及び画像作成方法

(51)【国際特許分類】

   H04N 1/387 20060101AFI20150423BHJP

   G06T 11/80 20060101ALI20150423BHJP

   H04N 5/225 20060101ALI20150423BHJP

【ＦＩ】

   H04N1/387

   G06T11/80 A

   H04N5/225 B

【請求項の数】11

【全頁数】19

(21)【出願番号】特願2014-25772(P2014-25772)

(22)【出願日】2014年2月13日

(62)【分割の表示】特願2009-251336(P2009-251336)の分割

【原出願日】2009年10月30日

(65)【公開番号】特開2014-135732(P2014-135732A)

(43)【公開日】2014年7月24日

【審査請求日】2014年2月13日

(73)【特許権者】

【識別番号】504371974

【氏名又は名称】オリンパスイメージング株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】村山 一

【審査官】 木方 庸輔

(56)【参考文献】

【文献】 特開２００５−１０２１７５（ＪＰ，Ａ）

【文献】 特開２００６−２７９６４３（ＪＰ，Ａ）

【文献】 特開２００８−２７８４５８（ＪＰ，Ａ）

【文献】 特開２００８−２６２４１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ １１／８０

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

画像を表示する表示部と、
上記表示部に表示されている画像中の画像領域に含まれる顔を検出する顔検出部と、
上記顔検出部によって検出された顔を含む顔画像を上記画像領域毎に生成する顔画像生成部と、
上記画像領域に含まれる顔の数に従って上記顔画像生成部で生成された各顔画像の拡大率を決定する拡大率判定部と、
上記表示部の画面大きさに対応した背景画像中に、上記拡大率判定部によって決定された拡大率に応じて拡大した顔画像を合成した合成画像を作成する画像作成部と、
を具備し、
上記拡大した顔画像が選択された場合に、上記拡大した顔画像の記録を行うことを特徴とする画像作成装置。

【請求項2】

画像を表示する表示部と、
上記表示部に表示されている画像中の画像領域に含まれる顔を検出する顔検出部と、
上記顔検出部によって検出された顔を含む顔画像を上記画像領域毎に生成する顔画像生成部と、
上記画像領域に含まれる顔の数に従って上記顔画像生成部で生成された各顔画像の拡大率を決定する拡大率判定部と、
上記表示部の画面大きさに対応した背景画像中に、上記拡大率判定部によって決定された拡大率に応じて拡大した顔画像を合成した合成画像を作成する画像作成部と、
を具備し、
記録の指示に従い、上記合成画像の記録を行うことを特徴とする画像作成装置。

【請求項3】

上記合成画像は拡大合成画像の表示を終了するボタンが合成して作成され、上記ボタンの操作指示に従い、合成画像の表示をスルー画に戻すことを特徴とする請求項１又は２に記載の画像作成装置。

【請求項4】

上記画像作成部は、上記合成画像の作成の際に、上記拡大した顔画像の合成によって上記背景画像に生じる残余の部分に上記表示部に表示されている画像の全体を示す画像を縮小してさらに合成することを特徴とする請求項１乃至３の何れか１項に記載の画像作成装置。

【請求項5】

上記拡大率判定部は、上記各顔画像中の顔の数の比で上記表示部の画面が分割されるように上記各顔画像の拡大率を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像作成装置。

【請求項6】

上記拡大率判定部は、上記各顔画像中において上記表示部の画面の一辺に沿って並ぶ顔の数の比で上記表示部の画面が分割されるように上記各顔画像の拡大率を決定することを特徴とする請求項１乃至５の何れか１項に記載の画像作成装置。

【請求項7】

上記画像領域の位置関係に従って上記顔画像生成部で生成された各顔画像の合成位置を決定する指定位置関係判定部をさらに具備し、
上記指定位置関係判定部は、上記表示部の画面端に対応した上記顔画像の合成位置に上記各顔画像の合成位置を決定することを特徴とする請求項３に記載の画像作成装置。

【請求項8】

上記画像作成部は、上記表示部に表示されている画像の全体を示す画像のアスペクト比を上記残余の部分の形状に応じて変えるように上記縮小を行うことを特徴とする請求項４に記載の画像作成装置。

【請求項9】

被写体を撮像して該被写体に係る画像を取得する撮像部をさらに具備し、
上記顔画像生成部は、上記撮像部で取得された画像から上記顔画像を生成することを特徴とする請求項１乃至８の何れか１項に記載の画像作成装置。

【請求項10】

表示部に表示されている画像中の画像領域に含まれる顔を顔検出部によって検出し、
上記顔検出部によって検出された顔を含む顔画像を上記画像領域毎に生成し、
上記画像領域に含まれる顔の数に従ってトリミング制御部で生成された各顔画像の拡大率を決定し、
上記表示部の画面大きさに対応した背景画像中に、上記決定された拡大率に応じて拡大した顔画像を合成した合成画像を作成し、
上記画像領域が選択された場合に、上記選択された画像の記録を行うことを特徴とする画像作成方法。

【請求項11】

表示部に表示されている画像中の画像領域に含まれる顔を顔検出部によって検出し、
上記顔検出部によって検出された顔を含む顔画像を上記画像領域毎に生成し、
上記画像領域に含まれる顔の数に従ってトリミング制御部で生成された各顔画像の拡大率を決定し、
上記表示部の画面大きさに対応した背景画像中に、上記決定された拡大率に応じて拡大した顔画像を合成した合成画像を作成し、
記録の指示に従い、上記合成画像の記録を行うことを特徴とする画像作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を作成する画像作成装置及びそのための画像作成方法に関する。

【背景技術】

【0002】

近年、デジタルスチルカメラや撮影機能付携帯電話機等の各種の撮影装置において動画像作成機能を有するものが増えてきている。しかしながら、このような撮影装置を用いてユーザが望むような動画像を撮影するのは困難である。これは、一般に動画像の撮影が比較的長時間に及ぶためである。また、ユーザが撮影したいと考える被写体が撮影シーン内に複数存在しているような場合に、何れかの被写体のみに注目して撮影を行うと、注目する被写体を変える毎に撮影装置の向きを変える必要が生じる。これに対し、全ての被写体が撮影されるように画角を広くすると、画像内の個々の被写体の大きさが相対的に小さくなってしまう。

【0003】

特許文献１には、全体画像と個々の被写体の顔の画像とを同時に見られるように表示する技術に関する提案がなされている。この特許文献１においては、入力された画像における顔部分の画像を検出し、検出した顔部分の画像を拡大した上で、もとの全体画像と顔画像とを合成して表示するようにしている。このような技術により、全体画像中の人物と、各人物の顔との対応をユーザが容易に把握することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８―２６２４１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術は、人物の顔画像を１人ずつ拡大表示するようにしており、仮に全体画像中のある狭い画像領域に複数の人物が混在しているような場合であっても、１人ずつ顔画像を拡大表示するようにしている。ここで、狭い画像領域に複数の人物が同時に存在しているような画像においては、それらの人物の間には何らかの関係があると考えられる。したがって、これらの人物についてはその関係性が分かるように、同じ画像領域内に同時に表示できるようにすることが望ましい。また、このような領域が複数存在する場合には、画像領域中の人物の数に応じて各画像領域の大きさを変更することがユーザにとって見易い動画像となると考えられる。

【0006】

本発明は、上記の事情に鑑みてなされたもので、全体画像中に複数の人物被写体が写っている画像領域が存在する場合において、各画像領域の人物の数に応じて画像領域の大きさを変更した画像を作成可能な画像作成装置及びそのための画像作成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、本発明の第１の態様の画像作成装置は、画像を表示する表示部と、上記表示部に表示されている画像中の画像領域に含まれる顔を検出する顔検出部と、上記顔検出部によって検出された顔を含む顔画像を上記画像領域毎に生成する顔画像生成部と、上記画像領域に含まれる顔の数に従って上記顔画像生成部で生成された各顔画像の拡大率を決定する拡大率判定部と、上記表示部の画面大きさに対応した背景画像中に、上記拡大率判定部によって決定された拡大率に応じて拡大した顔画像を合成した合成画像を作成する画像作成部とを具備し、上記拡大した顔画像が選択された場合に、上記拡大した顔画像の記録を行うことを特徴とする。

【0008】

上記の目的を達成するために、本発明の第２の態様の画像作成装置は、画像を表示する表示部と、上記表示部に表示されている画像中の画像領域に含まれる顔を検出する顔検出部と、上記顔検出部によって検出された顔を含む顔画像を上記画像領域毎に生成する顔画像生成部と、上記画像領域に含まれる顔の数に従って上記顔画像生成部で生成された各顔画像の拡大率を決定する拡大率判定部と、上記表示部の画面大きさに対応した背景画像中に、上記拡大率判定部によって決定された拡大率に応じて拡大した顔画像を合成した合成画像を作成する画像作成部とを具備し、記録の指示に従い、上記合成画像の記録を行うことを特徴とする。

【0009】

上記の目的を達成するために、本発明の第３の態様の画像作成方法は、表示部に表示されている画像中の画像領域に含まれる顔を顔検出部によって検出し、上記顔検出部によって検出された顔を含む顔画像を上記画像領域毎に生成し、上記画像領域に含まれる顔の数に従ってトリミング制御部で生成された各顔画像の拡大率を決定し、上記表示部の画面大きさに対応した背景画像中に、上記決定された拡大率に応じて拡大した顔画像を合成した合成画像を作成し、上記画像領域が選択された場合に、上記選択された画像の記録を行うことを特徴とする。

【0010】

上記の目的を達成するために、本発明の第４の態様の画像作成方法は、表示部に表示されている画像中の画像領域に含まれる顔を顔検出部によって検出し、上記顔検出部によって検出された顔を含む顔画像を上記画像領域毎に生成し、上記画像領域に含まれる顔の数に従ってトリミング制御部で生成された各顔画像の拡大率を決定し、上記表示部の画面大きさに対応した背景画像中に、上記決定された拡大率に応じて拡大した顔画像を合成した合成画像を作成し、記録の指示に従い、上記合成画像の記録を行うことを特徴とする。

【発明の効果】

【0011】

本発明によれば、全体画像中に複数の人物被写体が写っている画像領域が存在する場合において、各画像領域の人物の数に応じて画像領域の大きさを変更した画像を作成可能な画像作成装置及びそのための画像作成方法を提供することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る動画像作成装置の一例としてのデジタルカメラの構成を示す図である。

【図2】本発明の一実施形態におけるデジタルカメラの動作の概要を示す図である。

【図3】本発明の一実施形態におけるデジタルカメラの動画像撮影動作を示すフローチャートである。

【図4】顔画像の位置について説明するための図である。

【図5】指定位置関係判定処理について示すフローチャートである。

【図6】指定位置関係判定処理について説明するための図である。

【図7】拡大率判定処理について示すフローチャートである。

【図8】拡大率判定処理について説明するための図である。

【図9】図９（ａ）は顔画像中の全ての顔の数に従って拡大率を決定した場合の図であり、図９（ｂ）は顔画像中の水平方向に並ぶ顔の数のみに従って拡大率を決定した場合の図である。

【図10】拡大率判定処理の変形例について示すフローチャートである。

【図11】拡大率判定処理の変形例について説明するための図である。

【図12】一部拡大スルー画表示処理について示すフローチャートである。

【図13】余白部分について説明するための図である。

【図14】全体画像の合成手法の例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る動画像作成装置の一例としてのデジタルカメラ（以下、単にカメラと記す）の構成を示す図である。図１に示すカメラ１００は、制御部１０１と、撮像部１０２と、顔検出部１０３と、表示部１０４と、位置指定部１０５と、操作部１０６と、記録部１０７と、時計部１０８とを有している。

【0014】

制御部１０１は、カメラ１００の各ブロックの動作を統括的に制御する制御回路である。この制御部１０１は、ユーザによる位置指定部１０５や操作部１０６の操作に応じて、撮像部１０２、顔検出部１０３、表示部１０４等の動作制御を行う。また、制御部１０１は、トリミング制御部１０１１と、トリミング画像合成制御部１０１２と、画像処理部１０１３とを有している。

【0015】

顔画像生成部としての機能を有するトリミング制御部１０１１は、後述する合成動画像を生成するためのトリミング制御を行う。即ち、トリミング制御部１０１１は、表示部１０４において表示された画像においてユーザにより指定された複数のポイントのそれぞれに対応した所定の画像領域であるトリミング範囲を決定し、決定した各トリミング範囲内の画像をスルー画表示用の画像処理がなされた画像又は撮像素子１０２ｃを介して得られた画像からトリミングして顔画像を生成する処理を行う。なお、本実施形態における「顔画像」とは、必ずしも画像中に１人分の顔が写っている画像を示すものではない。トリミング範囲中に複数の顔が存在していた場合にはその複数の顔を含む画像も本実施形態における「顔画像」になる。

【0016】

指定位置関係判定部、拡大率判定部、及び動画像作成部としての機能を有するトリミング画像合成制御部１０１２は、トリミング制御部１０１１によってトリミングされた顔画像と表示部１０４に表示されている画像の全体を示す全体画像とを合成して１枚の合成動画像を生成するための制御を行う。即ち、トリミング画像合成制御部１０１２は、各顔画像の位置関係から各顔画像の合成位置を決定するとともに、各顔画像中の顔の数から各顔画像の拡大率を決定する。そして、トリミング画像合成制御部１０１２は、画像処理部１０１３による顔画像と全体画像との合成動画像の作成を制御する。

【0017】

画像処理部１０１３は、撮像部１０２において得られた画像に対する画像処理を行う。この画像処理には、例えば撮像部１０２において得られた画像に対する色補正処理、階調補正処理、拡大縮小処理、圧縮処理（静止画圧縮又は動画圧縮）、圧縮された画像に対する伸張処理等が含まれる。また、画像処理部１０１３は、トリミング画像合成制御部１０１２とともに動画像作成部としての機能も有し、トリミング画像合成制御部１０１２の制御に従って合成動画像を作成することも行う。さらに、画像処理部１０１３は、トリミング範囲の位置等の種々のデータを記録しておくための仮記録部１０１３ａを有している。この仮記録部１０１３ａは例えばＲＡＭで構成されている。

【0018】

撮像部１０２は、レンズ１０２ａ、絞り１０２ｂ、撮像素子１０２ｃ、Ａ／Ｄ変換器（ＡＤＣ）１０２ｄ等を有している。レンズ１０２ａは、被写体からの光束を撮像素子１０２ｃの光電変換面に結像させるための光学系である。ここで、本実施形態におけるレンズ１０２ａは、ズームレンズを含む光学系であり、該ズームレンズを駆動することによって焦点距離を可変になされている。レンズ１０２ａの焦点距離を変更することによって画角を調整することが可能である。絞り１０２ｂは、撮像素子１０２ｃの光電変換面への光束の入射量を制限する。撮像素子１０２ｃは、画素が２次元状に配置された光電変換面を有し、レンズを介して入射した光束を電気信号（画像信号）に変換する。ＡＤＣ１０２ｄは、撮像素子１０２ｃで得られたアナログの画像信号をデジタルの画像データ（以下、単に画像と言う）に変換する。このような構成を有する撮像部１０２は、制御部１０１の制御に従って被写体を撮像し、被写体に係る画像を取得する。

【0019】

顔検出部１０３は、撮像部１０２で得られた画像における顔を検出する。この顔検出部１０３は、例えば目、鼻、口といった顔パーツの陰影を画像中から検出することで顔を検出する。顔検出部１０３による顔検出結果は、撮像部１０２におけるレンズの焦点調節等に利用される。また、本実施形態における顔検出部１０３は、視線検知部１０３１としての機能も有している。即ち、顔検出部１０３の視線検知部１０３１は、顔の向き及び黒目と白目の位置関係を検知することで、被写体の視線を検知する。

【0020】

表示部１０４は、例えばカメラ１００の背面に設けられた液晶ディスプレイ（ＬＣＤ）や有機エレクトロルミネッセンスディスプレイ（ＥＬＤ）等の表示部である。この表示部１０４は、制御部１０１の制御の下、撮像部１０２で得られた画像等の各種の画像を表示する。

【0021】

位置指定部１０５は、例えば表示部１０４と一体的に構成されたタッチパネルであり、表示部１０４の表示画面上の任意の位置を指定するための操作部である。この位置指定部１０５は、表示部１０４の表示画面へのユーザの指等の接触を検出し、検出位置に応じた信号を制御部１０１に出力する。制御部１０１は、位置指定部１０５からの信号を識別することで、表示部１０４の表示画面上のどの位置へのユーザの指等の接触があったかを認識する。なお、制御部１０１は、位置指定部１０５の出力から、連続的な接触位置変化を検出した場合にユーザの指等がスライドされたことを認識する。

【0022】

操作部１０６は、位置指定部１０５以外の各種の操作部である。この操作部１０６は、電源ボタン、レリーズボタン、ズームスイッチ、モードダイヤル等が含まれる。電源ボタンはカメラ１００の電源のオン又はオフを指示するための操作部である。レリーズボタンはカメラ１００による撮影（記録用の画像取得）を指示するための操作部である。ズームスイッチは撮像部１０２のレンズのズーム駆動を指示するための操作部である。モードダイヤルはカメラ１００の動作モードを撮影モード（静止画、動画）や再生モードに切り替えるための操作部である。

【0023】

記録部１０７は、撮像部１０２で得られ制御部１０１で圧縮されて得られた記録用の画像を記録する。この記録部１０７は、例えばカメラ１００に着脱自在になされたメモリカードである。時計部１０８は、撮影日時等の各種の時間を計時する。記録部１０７に記録される画像の例えばヘッダ情報部に撮影日時を関連付けしておくことにより記録部１０７に記録される画像の管理が行い易くなる。

【0024】

図２は、本実施形態におけるカメラ１００の動作の概要を示す図である。以降の動作はカメラ１００の撮影モードが例えば動画撮影モードに切り替えられた際に実行される。

【0025】

まず、カメラ１００による撮影動作を実行させるに当たって、ユーザは、図２（ａ）に示すように、自身が撮影したいと考える被写体がレンズ１０２ａの画角内に全て入るようにカメラ１００の設定を行う。図２（ａ）の例は、ユーザが結婚式やパネルディスカッション等の多人数が集まるような状況で撮影を行うような場合を示している。このような状況において、ユーザは、１人からなる第１の被写体（例えば、結婚式の場合には挨拶する人、パネルディスカッションの場合には司会者）２００ａと複数人からなる第２の被写体（例えば、結婚式の場合には新郎新婦、パネルディスカッションの場合には討論者）２００ｂの両方を撮影したいと考える場合がある。この場合に、ユーザは、レンズ１０２ａの画角Ａ内に第１の被写体２００ａと第２の被写体２００ｂの両方が入るように、本実施形態に係るカメラ１００の設置位置を決め、またレンズ１０２ａの画角を調整（図２（ａ）の場合はズームレンズを広角側に調整）する。

【0026】

なお、カメラ１００では電源投入後にスルー画表示（ライブビュー表示等とも呼ばれる）が実行される。スルー画表示においては撮像部１０２による画像の取得が一定のタイミング毎に実行される。撮像部１０２において画像の取得がなされる毎に、制御部１０１の画像処理部１０１３において画像処理（階調補正処理、色補正処理、縮小処理等）が施される。これにより、撮像部１０２で取得された画像の大きさ（画素数）が表示部１０４の画面大きさ（表示画素数）に合わされる。そして、画像処理された画像が制御部１０１の制御に従って表示部１０４に表示される。このようなスルー画表示により、ユーザは表示部１０４を用いて被写体の観察を行うことが可能である。

【0027】

図２（ａ）のようにしてカメラ１００を設定すると、カメラ１００のスルー画表示が開始され、図２（ｂ）に示すようにして、レンズ１０２ａの画角内の画像が表示部１０４に表示される。図２（ｂ）のようなスルー画表示がなされている状態において、ユーザは表示部１０４の画面上の任意の位置に例えば指３０１を接触させる。上述したように、表示部１０４の画面上のある位置への接触があると、その位置に対応した信号が位置指定部１０５から制御部１０１に入力される。制御部１０１が表示部１０４の画面への接触を認識すると、その接触位置における人物の顔が顔検出部１０３により認識される。この位置において人物の顔が認識された場合には、その人物の顔を含む画像領域を示す枠表示１０４ａがなされる。また、スルー画表示時には、拡大開始ボタン１０４ｃ、記録ボタン１０４ｋも表示される。ユーザが、指３０１等を記録ボタン１０４ｋに接触させると、通常の動画撮影（図２（ｂ）に示す画角内の画像を動画像として記録する処理）が行われる。

【0028】

図２（ｂ）に示すような選択がなされた後、さらに、ユーザは、図２（ｃ）のようにして、表示部１０４の画面上の別の位置に例えば指３０１を接触させる。この場合も、制御部１０１が表示部１０４の画面への接触を認識すると、その接触位置の人物の顔を含む画像領域を示す枠表示がなされる。ここで、図２（ｃ）はユーザが指３０１を矢印Ｂ方向にスライドさせて複数の人物を選択した例を示している。図２（ｃ）のように複数の人物の顔が認識された場合にはその全ての人物の顔を含む画像領域を示す枠表示１０４ｂがなされる。

【0029】

その後、ユーザは、指３０１を拡大開始ボタン１０４ｃに接触させる。制御部１０１が拡大開始ボタン１０４ｃの位置への指３０１等の接触を認識すると、一部拡大スルー画表示が実行される。この一部拡大スルー画表示においては、ユーザによって指定された位置を含む画像領域であるトリミング領域内の画像がトリミングされて顔画像が生成される。そして、この生成された各顔画像の拡大画像と全体画像とが、表示部１０４の画面大きさに対応した大きさを有する所定の背景画像に合成されて合成画像が生成され、この合成画像がスルー画表示される。

【0030】

図２（ｄ）に一部拡大スルー画表示の例を示す。ここで、拡大画像１０４ｄの表示大きさと拡大画像１０４ｅの表示大きさとはそれぞれの画像中の顔（人物）の数に応じて変化させるものとする。また、各拡大画像の合成位置は表示部１０４に表示されていた全体画像中での各顔の位置関係と対応したものとする。例えば、図２（ｄ）に示す拡大画像１０４ｄに対応した顔画像１０４ａは表示部１０４の画面左上に存在し、顔画像１０４ａ中の顔の数は１つである。また、拡大画像１０４ｅに対応した顔画像１０４ｂは表示部１０４の画面右上に存在し、顔画像１０４ｂ中の顔の数は２つである。この場合、拡大画像１０４ｄは背景画像の左上部に合成するとともに、拡大画像１０４ｅは背景画像の右上部に合成する。さらに、拡大画像１０４ｄの大きさと拡大画像１０４ｅの大きさとの比を顔の数の比と同じ１：２とする。また、このようにして背景画像に拡大画像１０４ｄ、１０４ｅを合成したことによって生じる残余の部分に全体画像１０４ｆを縮小して合成する。このようにして生成される合成動画像をスルー画表示する。

【0031】

なお、図２（ｄ）では、表示部１０４の長辺に沿って平行な方向である顔画像の水平方向については顔の数の比と一致するように拡大しているが、表示部１０４の短辺に沿って平行な方向である顔画像の垂直方向の長さについては一定倍率で拡大している。勿論、水平・垂直の長さの両方とも、顔の数の比に一致するように拡大を行うようにしても良い。

【0032】

図２（ｄ）に示すような一部拡大スルー画表示を行うことにより、結婚式やパネルディスカッション等において実際にやり取りをしている人物のみを抽出して拡大表示することができ、結婚式やパネルディスカッション等において実際にやり取りをしている各人物の表情を詳細に観察することができる。また、顔画像中の顔の数が多くなるほど拡大画像の大きさが大きくなるので、顔画像中の顔の数が多くなったとしても各顔の表情の観察が容易である。また、各拡大画像の位置によって人物の位置関係を大まかに把握することができるとともに、全体画像によって人物の位置関係を詳細に把握することもできる。

【0033】

ここで、図２（ｄ）に示す一部拡大スルー画表示時には、拡大終了ボタン１０４ｇ、記録ボタン１０４ｈも表示される。制御部１０１が拡大終了ボタン１０４ｇの位置への指３０１等の接触を認識すると、一部拡大スルー画表示が終了され、もとのスルー画表示に戻る。また、制御部１０１が記録ボタン１０４ｈの位置への指３０１等の接触を認識すると、拡大画像１０４ｄ、１０４ｅと全体画像１０４ｆとを図２（ｄ）に示すように配置してなる合成動画像が制御部１０１の画像処理部１０１３で動画圧縮された後、記録部１０７に記録される。

【0034】

さらに、図２（ｄ）に示す一部拡大スルー画表示時において、制御部１０１が拡大画像１０４ｄ又は拡大画像１０４ｅの位置への指３０１等の接触を認識すると、その位置の拡大画像が図２（ｅ）に示すようにしてさらに全面スルー画表示される。ここで、図２（ｅ）に示す全面スルー画表示時には、戻るボタン１０４ｉと記録ボタン１０４ｊも表示される。制御部１０１が戻るボタン１０４ｉの位置への指３０１等の接触を認識すると、全面スルー画表示が終了され、もとの一部拡大スルー画表示に戻る。また、制御部１０１が記録ボタン１０４ｊの位置への指３０１等の接触を認識すると、表示部１０４に現在表示中の拡大画像が制御部１０１の画像処理部１０１３で動画圧縮された後、記録部１０７に記録される。

【0035】

次に、図３を参照してカメラ１００による動画像作成方法の具体的な処理の流れを説明する。図３は、カメラ１００の動画像撮影動作を示すフローチャートである。

【0036】

カメラ１００の動作モードが動画撮影モードに設定されることによって、図３の動作が開始される。制御部１０１は、まず、スルー画表示を実行する（ステップＳ１０１）。なお、このスルー画表示の際には、拡大開始ボタン１０４ｃ、記録ボタン１０４ｋも表示させる。上述したように、ユーザが、指３０１等を記録ボタン１０４ｋに接触させると、通常の動画撮影が行われる。ここでは、通常の動画撮影についての詳細な説明は省略する。

【0037】

スルー画表示の後、制御部１０１は、ユーザによって指定された顔画像の数を示すパラメータｎ（ｎ＝１、２、３、…）を初期値１に設定する（ステップＳ１０２）。その後、制御部１０１は、位置指定部１０５の出力から、ユーザによって表示部１０４の画面内に対する位置指定がなされたか否かを判定する（ステップＳ１０３）。なお、ここでの位置指定はスライド操作による複数の位置の指定も含むものとする。ステップＳ１０３の判定において、位置指定がなされた場合に、制御部１０１は、ユーザにより指定された位置に含まれる顔を顔検出部１０３により検出する。そして、検出した顔を含む画像領域からなる顔画像Ｆｎの位置（Ｘｎ,Ｙｎ）を仮記録部１０１３ａに記録させる。また、顔画像Ｆｎを示す枠を、例えば図２（ｂ）や図２（ｃ）のようにして表示部１０４に表示させる（ステップＳ１０４）。

【0038】

ここで、位置（Ｘｎ,Ｙｎ）は、表示部１０４の所定位置（例えば、左下端）を（０,０）とし、この（０,０）から水平方向、垂直方向にＸ軸、Ｙ軸を設定した場合の相対位置とする。また、検出された顔が１つのみである場合の位置（Ｘｎ,Ｙｎ）は、例えば図４（ａ）に示すように、顔の中心位置（顔を円形と見なした場合の中心位置）とする。なお、上述したように、ユーザによるスライド操作がなされた場合には複数の顔が検出される。このような複数の顔が検出された場合の位置（Ｘｎ,Ｙｎ）は、例えば、指定された複数の顔位置を平均した位置とする。この他、図４（ｂ）に示すように、各顔を囲むように外接する矩形の画像領域の重心位置を位置（Ｘｎ,Ｙｎ）としても良い。

【0039】

顔画像Ｆｎの位置記録及び枠表示の後、制御部１０１はパラメータｎに１を加えた後（ステップＳ１０５）、ステップＳ１０３の判定を再び行う。また、ステップＳ１０３の判定において、位置指定がなされていない場合に、制御部１０１は、ユーザによる位置指定済みの指示操作がなされたか、即ちユーザの指等が表示部１０４の画面上に表示されている拡大開始ボタン１０４ｃの位置に接触したか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、位置指定済みの指示操作がなされていない場合に、制御部１０１は、所定時間（例えば１０秒程度）が経過したか否かを判定する（ステップＳ１０７）。ステップＳ１０７の判定において、所定時間が経過した場合に、制御部１０１は、仮記録部１０１３ａに記録されている顔画像Ｆｎの位置に係るデータをクリアする（ステップＳ１０８）。その後、処理がステップＳ１０１に戻り、制御部１０１はスルー画表示を継続する。一方、ステップＳ１０７の判定において、所定時間が経過していない場合に、制御部１０１は、仮記録部１０１３ａに記録されている顔画像Ｆｎの位置に係るデータをクリアせずに、スルー画表示を継続する。

【0040】

また、ステップＳ１０６の判定において、位置指定済みの指示操作がなされた場合に、制御部１０１は、ユーザによって指定された位置に存在する各顔画像の位置関係を判定するための指定位置関係判定処理を行う（ステップＳ１０９）。

【0041】

ここで、指定位置関係判定処理について説明する。図５は、指定位置関係判定処理について示すフローチャートである。指定位置関係判定処理は、ユーザにより指定された顔画像の位置関係を概略的に判定することによって、拡大画像の合成位置を決定するための処理である。

【0042】

図５において、制御部１０１は、顔画像の数を示すパラメータｎに１をセットする（ステップＳ２０１）。次に、制御部１０１は、仮記録部１０１３ａに記録されている顔画像Ｆｎ、Ｆｎ＋１の位置情報（Ｘｎ,Ｙｎ）、（Ｘｎ＋１,Ｙｎ＋１）を取得する（ステップＳ２０２）。

【0043】

その後、制御部１０１は、顔画像Ｆｎの垂直方向位置Ｙｎと顔画像Ｆｎ＋１の垂直方向位置Ｙｎ＋１との差が所定値以上（例えば顔画像Ｆｎにおける顔幅以上）であるか否かを判定する（ステップＳ２０３）。ステップＳ２０３の判定において、ＹｎとＹｎ＋１との差が所定値以上でない場合に、制御部１０１は、ＹｎとＹｎ＋１の平均が表示部１０４の画面下半分の位置に対応しているか否かを判定する（ステップＳ２０４）。即ち、ステップＳ２０４においては、図４（ａ）に示すようにして、表示部１０４の垂直方向幅（垂直方向画素数）をＨとした場合に、（Ｙｎ＋（Ｙｎ＋１））/２がＨ/２よりも小さいか否かを判定する。ステップＳ２０４の判定において、ＹｎとＹｎ＋１の平均が表示部１０４の画面下半分の位置に対応している場合には、制御部１０１は、一部拡大スルー画表示時の拡大画像Ｆｎ'と拡大画像Ｆｎ＋１'の垂直方向の合成位置を表示部１０４の画面下側とする（ステップＳ２０５）。一方、ステップＳ２０４の判定において、ＹｎとＹｎ＋１の平均が表示部１０４の画面下半分の位置に対応していない場合に、制御部１０１は、一部拡大スルー画表示時の拡大画像Ｆｎ'と拡大画像Ｆｎ＋１'の垂直方向の合成位置を表示部１０４の画面上側とする（ステップＳ２０６）。

【0044】

例えば、図６（ａ）のように、２つの顔画像Ｆ１、Ｆ２がともに表示部１０４の画面上側の位置にある場合には、Ｙ１とＹ２の平均が表示部１０４の画面上半分に対応した位置となる。この場合には、拡大画像Ｆ１'、Ｆ２'の合成位置を、図６（ｂ）に示すように、画面上側位置とする。なお、実際には、拡大画像Ｆ１'、Ｆ２'の垂直方向の合成位置を画面上端位置とすることが好ましい。これは、全体画像の合成範囲をなるべく広くとれるようにするためである。一方、図６（ｃ）のように、顔画像Ｆ１、Ｆ２がともに表示部１０４の画面下側の位置にある場合には、Ｙ１とＹ２の平均が表示部１０４の画面下半分に対応した位置となる。この場合には、拡大画像Ｆ１'、Ｆ２'の合成位置を、図６（ｄ）に示すように、画面下側位置とする。この場合も、拡大画像Ｆ１'、Ｆ２'の垂直方向の合成位置を画面下端位置とすることが好ましい。

【0045】

また、ステップＳ２０３の判定において、ＹｎとＹｎ＋１との差が所定値以上である場合に、制御部１０１は、Ｙが大きい方の顔画像に対応した拡大画像の垂直方向の合成位置を表示部１０４の画面上側に、Ｙが小さい方の顔画像に対応した拡大画像の垂直方向の合成位置を表示部１０４の画面下側にする（ステップＳ２０７）。例えば、図６（ｅ）のように、顔画像Ｆ１が表示部１０４の画面上側の位置にあり、顔画像Ｆ２が表示部１０４の画面下側の位置にある場合には、Ｙ１とＹ２の差が大きくなる。この場合には、図６（ｆ）に示すように、拡大画像Ｆ１'の合成位置を画面上側位置とし、拡大画像Ｆ２'の合成位置を画面下側位置とする。この場合も、拡大画像Ｆ１'の垂直方向の合成位置を画面上端位置とし、拡大画像Ｆ２'の垂直方向の合成位置を画面下端位置とすることが好ましい。

【0046】

ステップＳ２０５〜Ｓ２０７の処理によって、拡大画像Ｆｎ'、Ｆｎ＋１'の垂直方向の合成位置を決定した後、制御部１０１は、ＸとＸｎ＋１とを比較して、ＸｎがＸｎ＋１よりも小さいか、即ち顔画像Ｆｎが顔画像Ｆｎ＋１よりも表示部１０４の画面左側に存在しているか否かを判定する（ステップＳ２０８）。ステップＳ２０８の判定において、ＸｎがＸｎ＋１よりも小さい場合に、制御部１０１は、一部拡大スルー画表示時の拡大画像Ｆｎ'の水平方向の合成位置を表示部１０４の画面左側とし、拡大画像Ｆｎ＋１'の水平方向の合成位置を表示部１０４の画面右側とする（ステップＳ２０９）。一方、ステップＳ２０８の判定において、ＸｎがＸｎ＋１よりも小さくない場合に、制御部１０１は、一部拡大スルー画表示時の拡大画像Ｆｎ'の水平方向の合成位置を表示部１０４の画面右側とし、拡大画像Ｆｎ＋１'の水平方向の合成位置を表示部１０４の画面左側とする（ステップＳ２１０）。

【0047】

例えば、図６（ａ）のように、顔画像Ｆ１が表示部１０４の画面左側の位置にあり、顔画像Ｆ２が表示部１０４の画面右側の位置にある場合には、Ｘ１がＸ２よりも小さくなる。この場合には、拡大画像Ｆ１'の合成位置を、図６（ｂ）に示すように、画面左側位置とする。一方、拡大画像Ｆ２'の合成位置を画面右位置とする。また、例えば、図６（ｃ）のように、顔画像Ｆ１が表示部１０４の画面右側の位置にあり、顔画像Ｆ２が表示部１０４の画面左側の位置にある場合には、Ｘ１がＸ２よりも大きくなる。この場合には、拡大画像Ｆ１'の合成位置を、図６（ｄ）に示すように、画面右側位置とする。一方、拡大画像Ｆ２'の合成位置を画面左側位置とする。なお、実際の水平方向の合成位置は画面端から順次拡大画像が並ぶように決定していくことが好ましい。例えば、拡大画像Ｆ１'の合成位置を左側、拡大画像Ｆ２'の合成位置を右側とするように決定された場合には、拡大画像Ｆ１'の水平方向の合成位置を表示部１０４の画面左端位置、拡大画像Ｆ２'の水平方向の合成位置を表示部１０４の画面右端位置とする。その後、例えば拡大画像Ｆ３'の合成位置を左側とするように決定された場合には、拡大画像Ｆ１'の右隣の位置に拡大画像Ｆ３'の水平方向の合成位置を決定する。

【0048】

ステップＳ２０９〜Ｓ２１０の処理によって、拡大画像Ｆｎ'、Ｆｎ＋１'の水平方向の合成位置を決定した後、制御部１０１は、全ての拡大画像の合成位置を決定したか否かを判定する（ステップＳ２１１）。ステップＳ２１１の判定において、全ての拡大画像の合成位置を決定していない場合に、制御部１０１は、ｎに２を加える（ステップＳ２１２）。その後、処理がステップＳ２０２に戻り、制御部１０１は、次の２つの拡大画像の合成位置決定を行う。一方、ステップＳ２１１の判定において、全ての拡大画像の合成位置を決定した場合に、制御部１０１は、図５の処理を終了させて図３の処理に復帰する。

【0049】

以上のような指定位置関係判定処理を行うことにより、一部拡大スルー画表示時に表示されている顔画像の位置関係を拡大画像の位置関係と対応させることが可能である。なお、図５の処理では、各顔画像の位置のみで各顔画像の位置関係を概略的に判定するようにしている。これに対し、視線検知部１０３１で検知される視線に従って拡大画像の合成位置を決定するようにしても良い。例えば、判定対象となっている２つの顔画像の視線が向き合うように合成位置を決定するようにしても良い。

【0050】

また、図５の例では、指定位置の関係判定を２画像ずつ行うようにしている。したがって、指定された顔画像の数が奇数の場合には余りが生じることになる。この場合は、１つの顔画像に対して合成位置を決定することになる。この例としては、図５において、ステップＳ２０３をＮＯに分岐させてステップＳ２０４の処理を行うことで垂直方向の合成位置を決定する。また、ステップＳ２０８の判定においてＸｎの位置が画面左側と右側の何れに対応しているかに応じて水平方向の合成位置を決定する。例えば、Ｘｎが画面左側の位置に対応している場合には水平方向の合成位置を画面左側に、右側の位置に対応している場合には水平方向の合成位置を画面右側に決定する。

【0051】

ここで、図３に戻って説明を続ける。ステップＳ１０９の指定位置関係判定処理の後、制御部１０１は、各拡大画像の表示大きさを判定するための拡大率判定処理を行う（ステップＳ１１０）。拡大率判定処理について説明する。図７は、拡大率判定処理について示すフローチャートである。拡大率判定処理は、各顔画像中の顔の数から各顔画像の拡大率を決定するための処理である。

【0052】

図７において、制御部１０１は、顔画像の数を示すパラメータｎに１をセットする（ステップＳ３０１）。次に、制御部１０１は、顔画像Ｆｎに含まれる顔の数Ｎｎを顔検出部１０３によって検出する（ステップＳ３０２）。なお、図３のステップ１０４の処理において顔の数を仮記録部１０１３ａに記録しておけば、ステップＳ３０２においては仮記録部１０１３ａに記録されている顔の数Ｎｎを取得するだけで良い。

【0053】

顔の数Ｎｎの取得後、制御部１０１は、全ての顔画像について顔の数Ｎｎの取得が終了したか否かを判定する（ステップＳ３０３）。ステップＳ３０３の判定において、全ての顔画像についての顔の数Ｎｎの取得が終了していない場合に、制御部１０１は、ｎに１を加える（ステップＳ３０４）。その後、処理がステップＳ３０２に戻り、制御部１０１は、次の顔の数の検出を行う。一方、ステップＳ３０３の判定において、全ての顔画像についての顔の数Ｎｎの取得が終了した場合に、制御部１０１は、顔の数Ｎ１〜Ｎｎの比で表示部１０４の画面が分割されるように各顔画像の拡大率を決定する（ステップＳ３０５）。その後、制御部１０１は、図７の処理を終了させて図３の処理に復帰する。

【0054】

ステップＳ３０５の拡大率の決定手法の一例について説明する。ここでは例えば、図８（ａ）に示すように、表示部１０４の画面内の水平方向に沿って配置された顔画像Ｆ１と顔画像Ｆ２とがユーザによって指定された場合を例に説明する。ここで、表示部１０４の水平方向の幅（実際には水平方向の画素数）がＬであるとする。また、顔画像Ｆ１の水平方向の幅長さ（実際には水平方向の画素数）が表示部１０４の画面内でｌ１であるとし、顔画像Ｆ２の水平方向の幅（実際には水平方向の画素数）が表示部１０４の画面内でｌ２であるとする。この場合に、拡大後の顔画像（拡大画像）Ｆ１'の水平方向の幅ｌ'と拡大後の顔画像（拡大画像）Ｆ２'の水平方向の幅ｌ２'との比でＬが内分されるようにする。また、ｌ１'とｌ２'との比は顔画像Ｆ１の顔の数Ｎ１（図８（ａ）の例では２）と顔画像Ｆ２の顔の数Ｎ２（図８（ａ）の例では１）との比と等しい。したがって、拡大率Ｅ１、Ｅ２はそれぞれ以下の（式１）に示すようにして算出できる。
Ｅ１＝（Ｎ１/（Ｎ１＋Ｎ２））×（Ｌ/ｌ１）
Ｅ２＝（Ｎ１/（Ｎ１＋Ｎ２））×（Ｌ/ｌ２） （式１）なお、顔画像がＮ個の場合の拡大率Ｅｎは以下の（式２）に示すようにして算出できる。

【0055】

Ｅｎ＝（Ｎｎ/（Ｎ１＋Ｎ２＋…＋Ｎｎ））×（Ｌ/ｌｎ） （式２）ここで、Ｎｎは顔画像Ｆｎの顔の数を示し、ｌｎは顔画像Ｆｎの水平方向の幅（実際には水平方向の画素数）を示している。

【0056】

図８（ａ）に示すようにして、スルー画表示用の画像処理が施された画像から顔画像Ｆ１、Ｆ２をトリミングし、各トリミングした顔画像のうち、顔画像Ｆ１をＥ１倍に拡大するとともに顔画像Ｆ２をＥ２倍に拡大し、これらの拡大によって得られる拡大画像Ｆ１'、Ｆ２'を合成してスルー画表示することで、上述したような一部拡大スルー画表示を行うことが可能である。なお、スルー画表示用の画像処理が施された顔画像を拡大する代わりに、図８（ｂ）に示すように、撮像素子１０２ｃからの画像信号の読み出しの際に拡大画像Ｆ１'、Ｆ２'に相当する画像信号を取得して合成動画像を生成するようにしても良い。スルー画表示用の画像処理が施された画像は表示部１０４の画面大きさに応じた縮小がなされているため、拡大後の顔画像の解像度の向上は望めない。これに対し、撮像素子１０２ｃから直接トリミングした画像をスルー画表示に用いることで拡大画像の解像度を高めることが可能である。

【0057】

なお、図８（ａ）は拡大画像Ｆ１'と拡大画像Ｆ２'との間に隙間を設けないように合成を行う例を示している。これに対し、図２（ｄ）に示すようにして、拡大画像Ｆ１'と拡大画像Ｆ２'との間に隙間を設けるように合成を行っても良い。この場合には、隙間分を含めて顔画像Ｆ１と顔画像Ｆ２の拡大率を算出する。

【0058】

また、図７の例では顔画像Ｆｎ中の顔の数を単純に数えて拡大率を決定するようにしている。この場合、例えば図９（ａ）に示すように顔画像内の水平・垂直の両方向に顔が配置されているような場合では不必要な顔画像の拡大が行われてしまうおそれがある。実際には、図９（ｂ）のように必要な拡大率で拡大を行えたほうが良い。このためには、単純に顔の数に応じて拡大するのではなく、水平方向や垂直方向といった表示部１０４の画面の一辺に沿った方向に並んだ顔の数に応じて拡大するようにする。

【0059】

図１０は、拡大率判定処理の変形例について示す図である。図１０において、制御部１０１は、顔画像の数を示すパラメータｎに１をセットする（ステップＳ４０１）。次に、制御部１０１は、顔画像Ｆｎに含まれる全ての顔のＸ座標であるＸＦｎ１〜ＸＦｎＮを顔検出部１０３によって検出する（ステップＳ４０２）。ここで、ＸＦｎ１〜ＸＦｎＮは上述の位置Ｘｎではなく、顔画像Ｆｎに含まれる個々の顔のＸ座標である。なお、図３のステップ１０４の処理において各顔のＸ座標を仮記録部１０１３ａに記録しておけば、ステップＳ４０２においては仮記録部１０１３ａに記録されている各顔のＸ座標を取得するだけで良い。

【0060】

各顔のＸ座標ＸＦｎ１〜ＸＦｎＮの検出後、制御部１０１は、ＸＦｎ１〜ＸＦｎＮの最大と最小値との差ΔＸｎを算出する（ステップＳ４０３）。図１１の例では、顔画像Ｆ１は顔の数が１つである。したがって、ΔＸ１は０となる。また、顔画像Ｆ２は顔の数が５つである。そして、ΔＸ２は顔画像Ｆ２中で最も右側にある顔Ｆ２２のＸ座標と顔画像Ｆ２中で最も左側にある顔Ｆ２１のＸ座標との差となる。

【0061】

ΔＸｎの算出後、制御部１０１は、顔画像Ｆｎに含まれる顔の幅の平均ＦＬｎを算出する（ステップＳ４０４）。例えば、図１１の例において、顔画像Ｆ１は顔の数が１つである。したがって、ＦＬ１はその１つの顔の幅（水平方向の画素数）となる。一方、顔画像Ｆ２は顔の数が５つである。したがって、ＦＬ２は５つの顔の幅（水平方向の画素数）の平均となる。なお、図１１の例では５つの顔の幅が全て等しい場合を例示している。

【0062】

ＦＬｎの算出後、制御部１０１は、水平方向に並ぶ顔の数Ｎｎを以下の（式３）に従って算出する（ステップＳ４０５）。
Ｎｎ＝（ΔＸｎ＋ＦＬｎ）/ＦＬｎ（端数切り上げ） （式３） 例えば、図１１の例において、顔画像Ｆ１についての顔の数Ｎ１は（０＋ＦＬ１）/ＦＬ１＝１となる。一方、顔画像Ｆ２についての顔の数Ｎ２は（２ＦＬ２＋ＦＬ２）/ＦＬ２＝３となる。

【0063】

水平方向に並ぶ顔の数Ｎｎを算出した後、制御部１０１は、全ての顔画像について顔の数Ｎｎの取得が終了したか否かを判定する（ステップＳ４０６）。ステップＳ４０６の判定において、全ての顔画像についての顔の数Ｎｎの取得が終了していない場合に、制御部１０１は、ｎに１を加える（ステップＳ４０７）。その後、処理がステップＳ４０２に戻り、制御部１０１は、次の顔の数の検出を行う。一方、ステップＳ４０６の判定において、全ての顔画像についての顔の数ｎの取得が終了した場合に、制御部１０１は、顔の数Ｎ１〜Ｎｎの比で表示部１０４の画面が分割されるように各顔画像の拡大率を決定する（ステップＳ４０８）。なお、図１１の例では、水平・垂直とも１：３で内分するように顔画像Ｆ１、Ｆ２の拡大率を決定した例を示している。拡大率の決定後、制御部１０１は、図１０の処理を終了させて図３の処理に復帰する。

【0064】

図１０のような処理に従って拡大率を決定することにより、不必要な拡大が行われる可能性を低減することができる。なお、図１０の処理では水平方向に沿った顔の数で拡大率を決定するようにしているが、垂直方向に沿った顔の数で拡大率を決定するようにしても良い。

【0065】

ここで、図３に戻って説明を続ける。ステップＳ１１０の拡大率判定処理の後、制御部１０１は、一部拡大スルー画表示を行う（ステップＳ１１１）。この一部拡大スルー画表示処理について説明する。図１２は、一部拡大スルー画表示処理について示すフローチャートである。一部拡大スルー画表示処理は、各顔画像を拡大した拡大画像と全体画像とを背景画像に合成して得られる合成動画像をスルー画表示するための処理である。

【0066】

図１２において、制御部１０１は、ユーザによって指定された各顔画像をスルー画表示用の画像処理がなされた画像からトリミングする。そして、制御部１０１は、トリミングした各顔画像を拡大率判定処理で決定された拡大率で拡大した後、拡大によって得られる各拡大画像を、背景画像中の、指定位置関係判定処理で決定された各合成位置に合成する（ステップＳ５０１）。次に、制御部１０１は、各拡大画像を合成した場合に残余する余白部分を検出する（ステップＳ５０２）。例えば、図１３のようにして拡大画像Ｆ１'が画面左上端位置に合成された場合、図１３に示す、拡大画像Ｆ１'の部分を除く領域が余白部分となる。ただし、余白部分に合成する全体画像は矩形画像である。したがって、余白部分も矩形領域とする必要がある。このため、制御部１０１は、拡大画像Ｆ１'の合成によって残余した部分を複数の矩形領域Ｓ１、Ｓ２に分割し、それぞれの矩形領域を余白部分として検出する。実際には、拡大画像は複数合成されるので、複数の拡大画像を合成した場合に残余する部分を複数の矩形領域に分割して余白部分を検出する。

【0067】

余白部分の検出後、制御部１０１は、余白部分の面積（画素数）比較を行う（ステップＳ５０３）。そして、制御部１０１は、面積比較の結果、最大の面積を有する余白部分に全体画像を合成する（ステップＳ５０４）。例えば、図１４（ａ）のようにして余白部分Ｓ１、Ｓ２が検出された場合には余白部分Ｓ２に全体画像Ａを合成する。一方、図１４（ｂ）のようにして余白部分Ｓ１、Ｓ２が検出された場合には余白部分Ｓ１に全体画像Ａを合成する。なお、全体画像は余白部分に収まる大きさではないので、合成する際には全体画像を縮小する必要がある。この際は、単純に余白部分の大きさに収まるように全体画像の水平方向及び垂直方向を一律の縮小率で縮小すれば良い。また、一部拡大スルー画表示時において表示される全体画像からは、ユーザが指定した顔画像の位置関係が分かれば良い。したがって、全体画像のアスペクト比を変える、即ち水平方向と垂直方向とで縮小率を変更して縮小するようにしても良い。これにより、余白部分の大きさに応じた大きさで全体画像を合成することが可能である。

【0068】

全体画像の合成後、制御部１０１は、合成動画像をスルー画表示する（ステップＳ５０５）。その後、制御部１０１は、図１２の処理を終了させて図３の処理に復帰する。

【0069】

ここで、図３に戻って説明を続ける。ステップＳ１１１の一部拡大スルー画表示の後、制御部１０１は、動画像記録を行うか否かを判定する（ステップＳ１１２）。このステップＳ１１２の判定においては、ユーザの指等が表示部１０４の画面上に表示されている記録ボタン１０４ｈの位置に接触した場合或いは操作部１０６のレリーズボタンが押された場合に動画像記録を行うと判定する。ステップＳ１１２の判定において、動画像記録を行う場合に、制御部１０１は、一部拡大スルー画表示されている合成動画像を画像処理部１０１３において動画像圧縮して記録部１０７に記録させる（ステップＳ１１３）。動画像記録の開始後、制御部１０１は、動画像記録を終了するか否かを判定する（ステップＳ１１４）。このステップＳ１１４の判定においては、ユーザの指等が表示部１０４の画面上に表示されている図示しない記録終了ボタンの位置に接触した場合或いは操作部１０６のレリーズボタンが再び押された場合に動画像記録を終了すると判定する。ステップＳ１１４の判定において、動画像記録を終了しない場合には処理がステップＳ１１３に戻り、制御部１０１は動画像記録を継続する。一方、ステップＳ１１４の判定において、動画像記録を終了する場合に、制御部１０１は図３の処理を終了させる。

【0070】

また、ステップＳ１１２の判定において、動画像記録を行わない場合に、制御部１０１は、一部拡大スルー画表示を終了するか、即ちユーザの指等が表示部１０４の画面上に表示されている拡大終了ボタン１０４ｇの位置に接触したか否かを判定する（ステップＳ１１５）。ステップＳ１１５の判定において、一部拡大スルー画表示を終了する場合には、処理がステップＳ１０１に戻る。この場合に、制御部１０１は、通常のスルー画表示を実行する。一方、ステップＳ１１５の判定において、一部拡大スルー画表示を終了しない場合に、制御部１０１は、一部拡大スルー画表示されている画像中の顔画像が選択されたか、即ちユーザの指等が表示部１０４の画面上に表示されている顔画像の位置に接触したか否かを判定する（ステップＳ１１６）。ステップＳ１１６の判定において、顔画像が選択されていない場合には処理がステップＳ１１１に戻る。この場合に、制御部１０１は、一部拡大スルー画表示を継続する。

【0071】

また、ステップＳ１１６の判定において、顔画像が選択された場合に、制御部１０１は、ユーザによって選択された顔画像の部分をトリミングし、このトリミングした顔画像を画像処理部１０１３において画像処理した後、図２（ｅ）のようにして表示部１０４に全画面表示させる（ステップＳ１１７）。この後、制御部１０１は、動画像記録を行うか否かを判定する（ステップＳ１１８）。ステップＳ１１８の判定において、動画像記録を行う場合に、制御部１０１は、全画面スルー画表示されている顔の動画像を画像処理部１０１３において動画像圧縮して記録部１０７に記録させる（ステップＳ１１９）。動画像記録の開始後、制御部１０１は、動画像記録を終了するか否かを判定する（ステップＳ１２０）。ステップＳ１２０の判定において、動画像記録を終了しない場合には処理がステップＳ１１９に戻り、制御部１０１は動画像記録を継続する。一方、ステップＳ１２０の判定において、動画像記録を終了する場合に、制御部１０１は図３の処理を終了させる。

【0072】

また、ステップＳ１１８の判定において、動画像記録を行わない場合に、制御部１０１は、戻る操作がなされたか、即ちユーザの指等が表示部１０４の画面上に表示されている戻るボタン１０４ｉの位置に接触したか否かを判定する（ステップＳ１２１）。ステップＳ１２１の判定において、戻る操作がなされた場合には処理がステップＳ１１１に戻る。この場合に、制御部１０１は一部拡大スルー画表示を行う。一方、ステップＳ１２１の判定において、戻る操作がなされていない場合には処理がステップＳ１１７に戻る。この場合に、制御部１０１は顔画像の全面スルー画表示を継続する。

【0073】

以上説明したように、本実施形態によれば、全体画像中の顔画像を抽出して拡大した拡大画像と全体画像とを合成した画像をスルー画表示することにより、複数の被写体の表情や反応等を詳細に観察することが可能である。また、顔画像の拡大率を顔画像中の顔の数に応じて変えるようにしているので、顔画像中に複数の顔が含まれていたとしても各顔を詳細に観察することが可能である。さらに、顔画像の拡大率を表示部１０４の画面の一辺と平行な方向に並ぶ顔の数に従って決定するようにすることで、顔画像が不必要に拡大される可能性を低減させることも可能である。

【0074】

また、拡大画像の配置を全体画像中の拡大画像の配置に対応させるようにすることで、拡大画像のみでも各顔の位置関係を大まかに把握することができる。また、拡大画像の合成位置を表示部１０４の画面端位置から順次決定されるようにすることにより、全体画像を合成するための余白部分を確保し易くなる。

【0075】

なお、上述した実施形態においては、ユーザがｎ個の顔画像を指定できるようになっている。しかしながら、指定できる顔画像の数が多くなると、一部拡大スルー画表示によって表示される個々の拡大画像の大きさが小さくなって被写体の表情等の観察が困難になるおそれがある。したがって、指定できる顔画像の数を制限して、拡大画像が必要以上に小さくならないようにしても良い。また、表示部１０４に一度に表示させる拡大画像の数を制限して、表示部１０４に表示させる拡大画像を所定時間毎に順次切り替えるようにしても良い。

【0076】

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

【0077】

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

【符号の説明】

【0078】

１００…カメラ、１０１…制御部、１０２…撮像部、１０２ａ…レンズ、１０２ｂ…絞り、１０２ｃ…撮像素子、１０２ｄ…Ａ/Ｄ変換器（ＡＤＣ）、１０３…顔検出部、１０４…表示部、１０５…位置指定部、１０６…操作部、１０７…記録部、１０８…時計部、１０１１…トリミング制御部、１０１２…トリミング画像合成制御部、１０１３…画像処理部、１０１３ａ…仮記録部、１０３１…視線検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】