特許 6983692 撮像装置及びその表示制御方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6983692

(24)【登録日】2021年11月26日

(45)【発行日】2021年12月17日

(54)【発明の名称】撮像装置及びその表示制御方法、並びにプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211206BHJP

   G03B 37/00 20210101ALI20211206BHJP

   G02B 7/28 20210101ALI20211206BHJP

   G03B 13/36 20210101ALI20211206BHJP

   G03B 3/10 20210101ALI20211206BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/232 380

   G03B37/00 A

   G02B7/28 N

   G03B13/36

   G03B3/10

【請求項の数】13

【全頁数】18

(21)【出願番号】特願2018-24384(P2018-24384)

(22)【出願日】2018年2月14日

(65)【公開番号】特開2019-140620(P2019-140620A)

(43)【公開日】2019年8月22日

【審査請求日】2021年1月29日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】東山 輝幸

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開平１１−１４６２４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ ３７／００

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ ３／１０

(57)【特許請求の範囲】

【請求項1】

被写体を撮影して得られた画像を出力する撮像手段を有する撮像装置であって、
前記撮像手段により出力された複数の画像を元に、パノラマ画像を合成する合成手段と、
前記撮像装置の移動及びその方向を検出する検出手段と、
前記検出手段により検出された前記撮像装置の移動の方向に基づいて前記パノラマ画像の撮影開始位置を判別し、前記判別された撮影開始位置を含む画像を前記パノラマ画像から代表画像として切り取るように制御する制御手段と、を備えることを特徴とする撮像装置。

【請求項2】

前記撮像手段により出力された画像を用いてオートフォーカス処理を実行するＡＦ処理実行手段をさらに備え、
前記制御手段は、前記オートフォーカス処理を実行してから、前記パノラマ画像に使用する画像の撮影を開始するまでに、前記撮像装置が移動したことを前記検出手段により検出した場合、前記パノラマ画像の中央部分を含む画像を前記代表画像として切り取るように制御することを特徴とする請求項１記載の撮像装置。

【請求項3】

前記検出手段は前記撮像装置の移動量を検出し、
前記制御手段は、前記オートフォーカス処理を実行してから、前記パノラマ画像に使用する画像の撮影を開始するまでに、前記検出手段により検出した前記撮像装置の移動量が所定の閾値以上の場合に、前記パノラマ画像の中央部分を含む画像を前記代表画像として切り取るように制御することを特徴とする請求項２記載の撮像装置。

【請求項4】

前記検出手段は前記撮像装置の撮影方向の移動量を検出し、
前記制御手段は、前記オートフォーカス処理を実行してから、前記パノラマ画像に使用する画像の撮影を開始するまでに、前記検出手段により検出した前記撮像装置の撮影方向の移動量が所定の閾値以上の場合に、前記パノラマ画像の中央部分を含む画像を前記代表画像として切り取るように制御することを特徴とする請求項２又は３記載の撮像装置。

【請求項5】

前記撮像手段により出力された画像を用いたオートフォーカス処理が無効である場合に、前記制御手段は、前記パノラマ画像の中央部分を含む画像を前記代表画像として切り取ることを特徴とする請求項１記載の撮像装置。

【請求項6】

前記オートフォーカス処理の実行が無効である場合、前記撮像装置にはマニュアルフォーカス及びフォーカスロックのいずれか一方が設定されることを特徴とする請求項５記載の撮像装置。

【請求項7】

アルバム動画を作成する作成手段を更に備え、
前記作成手段は、前記代表画像を用いて前記アルバム動画を作成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記作成手段は、前記アルバム動画の作成時に、前記パノラマ画像をスライドしながら全体を記録し、その際に前記代表画像の付近を他の部分の画像よりも長時間記録することを特徴とする請求項７記載の撮像装置。

【請求項9】

前記制御手段は、前記パノラマ画像がフォーカスが無限遠の画像である場合は、前記パノラマ画像の中央部分を含む画像を前記代表画像として切り取ることを特徴とする請求項１記載の撮像装置。

【請求項10】

前記代表画像をサムネイル画像に使用することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。

【請求項11】

前記代表画像を前記撮像手段による撮影直後のレビュー画像に使用することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。

【請求項12】

被写体を撮影して得られた画像を出力する撮像部を有する撮像装置の表示制御方法において、
前記撮像部から出力された複数の画像を元に、パノラマ画像を合成する合成ステップと、
前記撮像装置の移動及びその方向を検出する検出ステップと、
前記検出ステップで検出された前記撮像装置の移動の方向に基づいて前記パノラマ画像の撮影開始位置を判別し、前記判別された撮影開始位置を含む画像を前記パノラマ画像から代表画像として切り取るように制御する制御ステップとを有することを特徴とする表示制御方法。

【請求項13】

請求項１２に係る表示制御方法を実行することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルカメラなどの撮像装置及びその表示制御方法、並びにプログラムに関し、特にパノラマ合成機能を有する撮像装置及びその表示制御方法、並びにプログラムに関する。

【背景技術】

【0002】

従来、デジタルカメラなどを左右に振りながら（パンニング）、複数の画像を連続的に撮影し（連写）、連写した画像をつなぎ合わせて１枚のパノラマ画像に合成する撮像装置がある。

【0003】

たとえば特許文献１では、パノラマ画像を合成するとともに、生成したパノラマ画像のうちの中央付近を代表画像として切り取る技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−２２３２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された従来技術では、ピントの合っていない部分が代表画像して切り取られてしまうことがあり、ユーザにとって重要ではない領域が、代表画像として切り取られる可能性がある。

【0006】

そこで本発明の目的は、パノラマ画像から一部の領域を切り取って代表画像を生成する際に、代表画像に適した領域を切り取ることができる撮像装置及びその表示制御方法、並びにプログラムを提供することである。

【課題を解決するための手段】

【0007】

本発明に係る撮像装置は、被写体を撮影して得られた画像を出力する撮像手段を有する撮像装置であって、前記撮像手段により出力された複数の画像を元に、パノラマ画像を合成する合成手段と、前記撮像装置の移動及びその方向を検出する検出手段と、前記検出手段により検出された前記撮像装置の移動の方向に基づいて前記パノラマ画像の撮影開始位置を判別し、前記判別された撮影開始位置を含む画像を前記パノラマ画像から代表画像として切り取るように制御する制御手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、パノラマ画像から一部の領域を切り取って代表画像を生成する際に、代表画像に適した領域を切り取ることができる。

【図面の簡単な説明】

【0009】

【図1】本発明に係る撮像装置としてのデジタルカメラの外観図である。

【図2】図１のデジタルカメラの構成を示すブロック図である。

【図3】図２におけるシステム制御部により実行される実施例１のパノラマ撮影処理の手順を示すフローチャートである。

【図4】システム制御部により実行される実施例１のアルバム動画作成処理の手順を示すフローチャートである。

【図5】図４のステップＳ４０５で実行される、実施例１のパノラマ画像アルバム動画化処理の手順を示すフローチャートである。

【図6】図５のステップＳ５０４〜Ｓ５０７のそれぞれで切り取られる画像の領域を説明する図である。

【図7】システム制御部により実行される実施例２のパノラマ撮影処理の手順を示すフローチャートである。

【図8】図４のステップＳ４０５で実行される、実施例２のパノラマ画像アルバム動画化処理の手順を示すフローチャートである。

【図9】図８のステップＳ８０３における、姿勢変更があった場合に切り取られる画像の一例を示す図である。

【図10】図４のステップＳ４０５で実行される、実施例３のパノラマ画像アルバム動画化処理の手順を示すフローチャートである。

【図11】実施例３におけるパノラマ画像をアルバム動画化したときの画面遷移表す図である。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して本発明の好適な実施形態について説明する。尚、以下に説明する実施形態では、本発明に係る撮像装置として、静止画像と動画との撮影が可能なデジタルカメラを適用した場合を例にして説明する。尚、本発明に係る撮像装置は、画像の撮影が可能な装置であれば、デジタルカメラに限定されるものではなく、例えばスマートフォン等のモバイル端末であってもよい。

【0011】

［デジタルカメラの構成について］
図１は、本発明に係る撮像装置としてのデジタルカメラの外観図である。

【0012】

図１において、デジタルカメラ１００は、表示部２８、電源スイッチ７２、シャッターボタン６１、モード切替スイッチ６０、接続ケーブル１１１、コネクタ１１２、操作部７０、記憶媒体２００、記憶媒体スロット２０１、及び蓋２０２を備える。

【0013】

表示部２８は、画像や各種情報を表示する。電源スイッチ７２は、電源オン、電源オフを切り替える。

【0014】

シャッターボタン６１は、ユーザの操作途中（半押し）で第１シャッタースイッチ信号ＳＷ１を発生（ＯＮに）し、ユーザの操作完了（全押し）で第２シャッタースイッチ信号ＳＷ２を発生（ＯＮに）する。

【0015】

モード切替スイッチ６０は、デジタルカメラ１００における各種モードを切り替える。より具体的には、静止画記録モード、動画記録モード、パノラマ撮影モード、再生モード等のモードの切り替えが可能である。

【0016】

接続ケーブル１１１は、デジタルカメラ１００と外部機器を接続する。コネクタ１１２は、接続ケーブル１１１とデジタルカメラ１００とを接続する。

【0017】

操作部７０は、ユーザからの各種操作を受け付ける。操作部７０は図示の各種ボタンや、表示部２８の画面上に設けられたタッチパネル等の操作部材を有する。操作部７０の各種ボタンとは、具体的に例示すると、消去ボタン、メニューボタン、ＳＥＴボタン、十字に配置された４方向ボタン（上ボタン、下ボタン、右ボタン、左ボタン）、ホイール７３等である。

【0018】

記憶媒体２００は、メモリカードやハードディスク等で構成される。記憶媒体スロット２０１は、記憶媒体２００を格納する。記憶媒体スロット２０１に格納された記憶媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は、記憶媒体スロット２０１の蓋である。

【0019】

図２は、図１のデジタルカメラ１００の構成を示すブロック図である。

【0020】

図２において、デジタルカメラ１００は、撮影レンズ１０３、絞り機能を備えるシャッター１０１、撮像部２２、Ａ／Ｄ変換器２３、音声制御部１１、バリア１０２、タイミング発生部１２、Ｄ／Ａ変換器１３、画像処理部２４、及びメモリ制御部１５を備える。また、デジタルカメラ１００は、システム制御部５０、メモリ３２、表示部２８、マイク１０、圧縮／伸張部１６、記憶媒体２００を接続するインターフェース１８、スピーカ３９、不揮発性メモリ５６、及びシステムメモリ５２を備える。さらに、デジタルカメラ１００は、モード切替スイッチ６０、シャッターボタン６１、操作部７０、電源制御部８０、電源部３０、コネクタ３３，３４、姿勢検出部４０、コネクタ３５、記憶媒体着脱検知９８、及び通信部１１０を備える。

【0021】

撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成され、被写体を撮影して得られた画像をアナログ信号として出力する。

【0022】

Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する場合や、音声制御部１１から出力されるアナログ信号をデジタル信号に変換する場合に用いられる。

【0023】

バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

【0024】

タイミング発生部１２は、撮像部２２、音声制御部１１、Ａ／Ｄ変換器２３、及びＤ／Ａ変換器１３にクロック信号や制御信号を供給する。タイミング発生部１２は、メモリ制御部１５及びシステム制御部５０により制御される。

【0025】

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０（ＡＦ処理実行手段）が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス処理（以下、「ＡＦ処理」という。）、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

【0026】

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。

【0027】

メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。尚、メモリ３２は、マイク１０において録音された音声データ、静止画像、動画像及び画像ファイルを構成する場合のファイルヘッダを格納するのにも用いられる。従って、メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。

【0028】

圧縮／伸張部１６は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮、伸張する。圧縮／伸張部１６は、シャッター１０１をトリガにしてメモリ３２に格納された撮影画像を読み込んで圧縮処理を行い、処理を終えたデータをメモリ３２に書き込む。また、記憶媒体２００の記録部１９などからメモリ３２に読み込まれた圧縮画像に対して伸張処理を行い、処理を終えたデータをメモリ３２に書き込む。圧縮／伸張部１６によりメモリ３２に書き込まれた画像データは、システム制御部５０のファイル部においてファイル化され、インターフェース１８を介して記憶媒体２００に記録される。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

【0029】

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。表示部２８は、ＬＣＤ等の表示器上に、Ａ／Ｄ変換器２３からのアナログ信号に応じた表示を行う。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。

【0030】

マイク１０は、外部音源からの音をアナログ信号の音声信号に変換する。この音声信号は、アンプ等で構成される音声制御部１１を介してＡ／Ｄ変換器２３に供給され、Ａ／Ｄ変換器２３においてデジタル信号に変換された後、メモリ制御部１５によってメモリ３２に格納される。一方、記憶媒体２００に記録されている音声データは、メモリ３２に読み込まれた後、Ｄ／Ａ変換器１３によりアナログ信号に変換される。音声制御部１１は、このアナログ信号によりスピーカ３９を駆動し、音声出力する。

【0031】

不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

【0032】

システム制御部５０は、デジタルカメラ１００全体を制御する。システム制御部５０は、上述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２は、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。

【0033】

モード切替スイッチ６０、シャッターボタン６１、及び操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

【0034】

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替えることができる。

【0035】

シャッターボタン６１は、ユーザが半押しするとシステム制御部５０に送信する第１シャッタースイッチ信号ＳＷ１をＯＮにする。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１を受信すると、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

【0036】

また、シャッターボタン６１は、ユーザが全押しするとシステム制御部５０に送信する第２シャッタースイッチ信号ＳＷ２をＯＮにする。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２を受信すると、撮像部２２からの信号読み出しから記憶媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

【0037】

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種設定が可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

【0038】

電源スイッチ７２は、電源オン、電源オフを切り替える。

【0039】

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記憶媒体２００を含む各部へ供給する。

【0040】

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。コネクタ３３，３４は、電源部３０と電源制御部８０とを接続する。

【0041】

姿勢検出部４０は、たとえば加速度センサ／角速度センサなどから構成される。この姿勢検出部４０は、デジタルカメラ１００の姿勢変化や移動方向を検出する。

【0042】

インターフェース１８は、記憶媒体２００とのインターフェースである。コネクタ３５は、該記憶媒体２００とインターフェース１８との接続のためのコネクタである。記憶媒体着脱検知９８は、コネクタ３５に記憶媒体２００が装着されているか否かを検知する。尚、記憶媒体２００は、半導体メモリや磁気ディスク等から構成される記録部１９、デジタルカメラ１００とのインターフェース３７、及び、記憶媒体２００とデジタルカメラ１００とを接続するためのコネクタ３６を備えている。

【0043】

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信処理を行う。コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介してデジタルカメラ１００を他の機器と接続する。

【0044】

［実施例１］
以下、図３から図６を参照して、図２におけるデジタルカメラ１００のシステム制御部５０で実行される、実施例１に係るデジタルカメラ１００の表示制御方法について説明する。以下の実施例１に係るパノラマ撮影処理は、予め、デジタルカメラ１００において、シャッターボタン６１の半押しによるＡＦ処理が有効にされている場合に行われる。

【0045】

（パノラマ撮影処理について）
図３は、システム制御部５０により実行される実施例１のパノラマ撮影処理の手順を示すフローチャートである。

【0046】

本処理は、デジタルカメラ１００の使用者が、モード切替スイッチ６０をパノラマ撮影モードにして、シャッターボタン６１を半押し、第１シャッタースイッチ信号ＳＷ１がＯＮとなったときに開始する。

【0047】

システム制御部５０は、第１シャッタースイッチ信号ＳＷ１をシャッターボタン６１から受信すると露出と焦点距離を決めるＡＥ／ＡＦ処理を行う（ステップＳ３０１）。このＡＥ／ＡＦ処理の詳細は広く知られており、ここでは説明しない。

【0048】

つぎにシステム制御部５０はステップＳ３０２に進み、第１シャッタースイッチ信号ＳＷ１がＯＮのままであるかどうかを判別し、ＯＮのままであればステップＳ３０３に進み、シャッターボタン６１から使用者の手が離されていたときは本処理を終了する。

【0049】

システム制御部５０は、ステップＳ３０３で使用者がシャッターボタン６１を全押しし、第２シャッタースイッチ信号ＳＷ２がＯＮとなったかどうかを判定する。システム制御部５０は、判定の結果、ＯＮとなった場合はステップＳ３０４に進み、撮影されたパノラマ画像用の複数の画像を撮像部２２から取り込む一方、シャッターボタン６１が半押しのままであるときはステップＳ３０２に戻る。

【0050】

システム制御部５０は、ステップＳ３０４で撮像部２２から取り込んだ複数の画像をメモリ３２に保存した後、メモリ３２に保存した複数の画像を元に、パノラマ画像に合成する（以下、「パノラマ合成」という。）（ステップＳ３０５）。このパノラマ合成の方法は広く知られているため、ここでは説明しない。

【0051】

つぎにシステム制御部５０は、ステップＳ３０７に進み撮影方向の取得を行う（第１の判別手段）。この撮影方向の取得は、デジタルカメラ１００の使用者が操作部７０を操作して、あらかじめ撮影方向を「右から左（→）」、「左から右（←）」、「下から上（↑）」、「上から下（↓）」のどれかを指定するように構成してもよい。あるいは姿勢検出部４０によりデジタルカメラ１００がパンニングされた方向を検知して、撮影方向を取得してもよい。

【0052】

つぎにシステム制御部５０は、ＥＸＩＦヘッダーのＭａｋｅｒＮｏｔｅにステップＳ３０７で取得した撮影方向を記録する（ステップＳ３０８）。その後、パノラマ画像を圧縮符号化しＥＸＩＦファイルフォーマットで記憶媒体２００に保存し（ステップＳ３０９）、本処理を終了する。

【0053】

上述したようにパノラマ撮影処理では、ＡＥ／ＡＦ処理はシャッターボタン６１が半押しとなり第１シャッタースイッチ信号ＳＷ１がＯＮとなった時に１回だけ行われるため、ステップＳ３０４で最初に取り込んだ画像のみ露出やフォーカスが合っている。

【0054】

尚、本実施例では、ステップＳ３０７で取得した撮影方向は、パノラマ画像を圧縮符号化しファイル化した際のヘッダー部分に記録されたがこれに限定されない。例えば、パノラマ画像とステップＳ３０７で取得した撮影方向の情報を別々に同一又は異なるメモリに保持すると共に、その対応関係を示すテーブルを設けるようにしてもよい。

【0055】

本実施例のデジタルカメラ１００では、パノラマ撮影処理においては、画像の撮影前にＡＦ／ＡＥを行った被写体が、パノラマ画像中のどこに位置しているかを知ることができない。そして、このようなパノラマ撮影処理においては、ユーザは、任意の位置で撮影を終了することができる。そのため、パノラマ画像の中央部分が重要でない場合が多くなる。

【0056】

また、パノラマ画像の撮影終了位置については、ユーザが任意で決定することができるため、重要となる被写体が含まれていない可能性が高い。それに対し、撮影開始位置については、ユーザが最初に撮影対象を決めた位置であるため、パノラマ画像の中でも、比較的重要な被写体が含まれている可能性が高い。そのため、本実施例のデジタルカメラ１００では、パノラマ画像のうち撮影開始位置側の領域を、代表画像として切り取るようにしている。

【0057】

（アルバム動画作成処理について）
図４は、システム制御部５０により実行される実施例１のアルバム動画作成処理の手順を示すフローチャートである。

【0058】

ここで、アルバム動画とは、複数の画像のそれぞれから代表画像を１枚取出し、複数の画像のそれぞれの代表画像を１つの動画として合成したものをいう。

【0059】

システム制御部５０は、ステップＳ４０１で動画ファイルを作成する。ここでは動画に関する各種管理情報も含めて作成する。この管理情報に関しては広く知られており、ここでは説明しない。

【0060】

つぎにシステム制御部５０は、アルバム動画を作成するための複数の画像を選択し、アルバム用画像一覧を作成する（ステップＳ４０２）。このステップＳ４０２では、たとえばピントが合っている画像や、人物が多く写っている画像や、パノラマ画像などを優先的に選択される。

【0061】

つぎにシステム制御部５０は、ステップＳ４０２で作成したアルバム用画像一覧から最初の画像を選択し（ステップＳ４０３）、選択した画像がパノラマ画像かどうかを判定する（ステップＳ４０４）。ステップＳ４０４でパノラマ画像である場合、パノラマ画像アルバム動画化処理を行う（ステップＳ４０５）。このステップＳ４０５のパノラマ画像アルバム動画化処理については、図５を用いて後述する。一方、ステップＳ４０４でパノラマ画像でない場合、選択した画像を復号化し（ステップＳ４０６）、復号化した画像を所定フレームだけ動画ファイルに記録する（ステップＳ４０７）。ステップＳ４０７では復号化した画像は、画像の一部を切り取らず、画像の全部を代表画像として全画素を動画ファイルに記録する。

【0062】

つぎにシステム制御部５０は、ステップＳ４０２で作成したアルバム用画像一覧のすべての画像を動画にしたかを判定し（ステップＳ４０８）、すべての画像を動画にしたときは本処理を終了する。一方、アルバム用画像一覧の画像の一部しか動画にしていないときには、アルバム用画像一覧から、次の画像を選択し（ステップＳ４０９）、ステップＳ４０４に戻る。

【0063】

（パノラマ画像アルバム動画化処理について）
図５は、図４のステップＳ４０５で実行される、実施例１のパノラマ画像アルバム動画化処理の手順を示すフローチャートである。

【0064】

最初にシステム制御部５０は、圧縮符号化されＥＸＩＦファイルフォーマットで保存されたパノラマ画像を復号化する（ステップＳ５０１）。つぎにシステム制御部５０は、そのＥＸＩＦヘッダーのＭａｋｅｒＮｏｔｅから撮影方向を取得する（ステップＳ５０２）。

【0065】

つぎにシステム制御部５０は、ステップＳ５０２で取得した撮影方向を判定する（ステップＳ５０３）。ステップＳ５０３で撮影方向が「左から右（→）」であると判定したときはパノラマ画像の左端を撮影開始位置として判別し、その撮影開始位置を含む画像を代表画像としてパノラマ画像から切り取る（ステップＳ５０４：第２の判別手段、切取手段）。一方、ステップＳ５０３で撮影方向が「右から左（←）」であると判定したときはパノラマ画像の右端を撮影開始位置として判別し、その撮影開始位置を含む画像を代表画像としてパノラマ画像から切り取る（ステップＳ５０５）。同様に、ステップＳ５０３の判定の結果、撮影方向が「下から上（↑）」の場合は画像の下端を撮影開始位置として判別し、その撮影開始位置を含む画像をパノラマ画像から代表画像として切り取る（ステップＳ５０６）。また、ステップＳ５０３の判定の結果、「上から下（↓）」の場合は画像の上端を撮影開始位置として判別し、その撮影開始位置を含む画像をパノラマ画像から代表画像として切り取る（ステップＳ５０７）。

【0066】

つぎにシステム制御部５０は、ステップＳ５０４〜Ｓ５０７で切り取った画像を所定フレーム分だけ動画ファイルに記録し（ステップＳ５０８）、本処理を終了する。

【0067】

図６は、図５のステップＳ５０４〜Ｓ５０７のそれぞれで切り取られる画像の領域を説明する図である。

【0068】

撮影方向が「左から右（→）」のときは６０１の部分を切り取る（ステップＳ５０４）。同様に、撮影方向が「右から左（←）」のときは６０２の部分を（ステップＳ５０５）、撮影方向が「下から上（↑）」のときは６０３の部分を（ステップＳ５０６）、撮影方向が「上から下（↓）」のときは６０４の部分を（ステップＳ５０7）切り取る。つまり、パノラマ画像作成時に最初に取り込んだ画像付近が切り取られる。結果として、ＡＥ／ＡＦ処理が行われた画像を切り取ることができる。この切り取った画像をパノラマ画像の代表画像として、アルバム動画に記録する。

【0069】

実施例１に拠れば、パノラマ画像のフォーカスの合っている部分をアルバム動画に含める代表画像として切り取ることが可能となる。

【0070】

［実施例２］
以下、図７から図９を参照して、システム制御部５０で実行される、実施例２に係るデジタルカメラ１００の表示制御方法について説明する。

【0071】

（パノラマ撮影処理について）
図７は、システム制御部５０により実行される実施例２のパノラマ撮影処理の手順を示すフローチャートである。なお、ステップＳ３０１〜Ｓ３０９は、実施例１で図３を用いて前述したため説明を省略する。

【0072】

システム制御部５０は、ステップＳ３０１のＡＥ／ＡＦ処理を行った後、姿勢変更フラグをオフにする（ステップＳ７０１）。つぎにシステム制御部５０は、第１シャッタースイッチ信号ＳＷ１がＯＮのままであるかどうかを判別し（ステップＳ３０２）、ＯＮのままであればステップＳ７０２に進み、シャッターボタン６１から使用者の手が離されていたときは本処理を終了する。

【0073】

ステップＳ７０２では、システム制御部５０は、姿勢検出部４０から所定以上の姿勢変化があったかどうかを検出する。システム制御部５０は、デジタルカメラ１００が、ユーザの操作等により移動された場合に、姿勢変化があったと判断する。この検出の結果、姿勢変化があったときは姿勢変更フラグをオンにし（ステップＳ７０３）、姿勢変化がなかったときはそのままステップＳ３０３に進む。つぎにシステム制御部５０は、第２シャッタースイッチ信号Ｗ２がＯＮとなったかどうかを判定し（ステップＳ３０３）、シャッターボタン６１が半押しのままであるときにはステップＳ３０２に戻る。結果として、第１シャッタースイッチ信号ＳＷ１がＯＮの状態で、デジタルカメラ１００が移動したときには姿勢変更フラグがオンになる。第１シャッタースイッチ信号ＳＷ１がＯＮとなりＡＥ／ＡＦ処理を行った後にデジタルカメラ１００が移動した場合は、ＡＥ／ＡＦ処理を行った被写体が、撮影開始位置にないと考えられる。そこで、実施例２のパノラマ撮影処理では、姿勢変更フラグをＯＮにすることにより、撮影開始位置でＡＥ／ＡＦ処理を行っていないことを示す情報を保持しておく。姿勢検出部４０はデジタルカメラ１００の移動を検出し、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がＯＮとなってからの移動量が閾値以上となった場合に、姿勢変化があると判断する。また、姿勢検出部４０において、デジタルカメラ１００の向き（撮影方向）を検出可能な場合、デジタルカメラ１００自体の移動量が少なくても、デジタルカメラ１００の向きが所定以上変化（移動）した場合に、姿勢変化があると判断するようにしてもよい。ここで、デジタルカメラ１００の移動とは、パンニング等によりデジタルカメラの向き（撮影方向）を変更することなく一定方向にデジタルカメラ１００を平行移動する場合も含む。また、姿勢検出部４０はかかる平行移動をデジタルカメラ１００がおこなった場合は、その移動の有無、移動があった場合の移動方向や移動量を検出する。

【0074】

その後、システム制御部５０は、ステップＳ３０９でパノラマ画像を保存し、本処理を終了する前に、姿勢変更フラグの値を読みだして、ＥＸＩＦ−ＭａｋｅｒＮｏｔｅに姿勢変更の有無を記録する。具体的には、姿勢変更フラグがオンのときは１を、オフのときは０を記録する。

【0075】

（パノラマ画像アルバム動画化処理について）
図８は、図４のステップＳ４０５で実行される、実施例２のパノラマ画像アルバム動画化処理の手順を示すフローチャートである。なお、アルバム動画作成処理は図４に示す実施例１と同様であるため説明を省略する。また、ステップＳ５０１〜Ｓ５０８は、実施例１で図５を用いて前述したため説明を省略する。

【0076】

システム制御部５０は、ステップＳ５０１で圧縮符号化されＥＸＩＦファイルフォーマットで保存されたパノラマ画像を復号化した後、そのＥＸＩＦヘッダーのＭａｋｅｒＮｏｔｅから姿勢変更の有無を取得する（ステップＳ８０１）。

【0077】

つぎにシステム制御部５０は、姿勢変更があったかどうかを検出し（ステップＳ８０２）、姿勢変更が検出されたときはステップＳ８０３に進む。システム制御部５０は、ステップＳ８０３で画像の中央部分を代表画像として切り取る。一方、姿勢変更が検出されなかったときはステップＳ５０２〜Ｓ５０７を実行する。

【0078】

その後、ステップＳ５０８でステップＳ５０４〜Ｓ５０７，Ｓ８０３で切り取った画像を所定フレーム分だけ動画ファイルに記録し、本処理を終了する。

【0079】

図９は、図８のステップＳ８０３における、姿勢変更があった場合に切り取られる画像の一例を説明する図である。

【0080】

図９（ａ）は第１シャッタースイッチ信号ＳＷ１がＯＮとなった時のデジタルカメラ１００の向き（撮影方向）であり、ここでは撮影されたパノラマ画像の中央付近の風景にデジタルカメラ１００を向けている例を示す。

【0081】

一方、図９（ｂ）は第２シャッタースイッチ信号ＳＷ２がＯＮとなった時のデジタルカメラ１００の向き（撮影方向）であり、ここでは撮影されたパノラマ画像の左端付近の子供にデジタルカメラ１００を向けている例を示す。

【0082】

このように、第１シャッタースイッチ信号ＳＷ１がＯＮのまま、デジタルカメラ１００の向きを大きく変えたときは、撮影されたパノラマ画像の１枚目付近にフォーカスがあっていない。図９（ｂ）の例では、画像の１枚目付近で撮影した子供ではなく、第１シャッタースイッチ信号ＳＷ１がＯＮとなった時にデジタルカメラ１００が向けられていた、撮影されたパノラマ画像の中央付近の風景にフォーカスが合う。このように、シャッターボタン６１の半押しで第１シャッタースイッチ信号ＳＷ１がＯＮとなってから、シャッターボタン６１が全押しで第２シャッタースイッチ信号ＳＷ２がＯＮとなるまでの間にデジタルカメラ１００の姿勢が大きく変化する場合がある。かかる場合は、パノラマ画像の中央部分を代表画像として切り取り、この切り取った画像をパノラマ画像の代表画像としてアルバム動画に記録する。

【0083】

実施例２に拠れば、フォーカスがどこに合っているのか判別できないパノラマ画像については、中央部分を代表画像として切り取る。これにより、デジタルカメラ１００の使用者が最も確認したいと思われる部分をアルバム動画に含めることが可能となる。

【0084】

［実施例３］
以下、図１０、図１１を参照して、システム制御部５０で実行される、実施例３に係るデジタルカメラ１００の表示制御方法について説明する。

【0085】

（パノラマ画像アルバム動画化処理について）
図１０は、図４のステップＳ４０５で実行される、実施例３のパノラマ画像アルバム動画化処理の手順を示すフローチャートである。なお、パノラマ撮影処理及びアルバム動画作成処理は図３，４に示す実施例１と同様であるため説明を省略する。また、ステップＳ５０１〜Ｓ５０８は、実施例１で図５を用いて前述したため説明を省略する。

【0086】

システム制御部５０は、ステップＳ５０８でパノラマ画像の代表画像を所定フレーム分だけ動画ファイルに記録した後、ステップＳ１００１に進む。ステップＳ１００１では、パノラマ画像の代表画像以外の部分の画像をそれぞれスライドショーの形で、すなわち１フレーム分として動画ファイルに記録する。

【0087】

図１１は、実施例３におけるパノラマ画像をアルバム動画化したときの画面遷移を表す図である。ここでは図６に示したパノラマ画像を「左から右（→）」方向に撮影したものとする。図１１（ａ）は、図１０のステップＳ５０８で記録される代表画像であり、所定時間（１秒など）、代表画像が表示される。つぎにステップＳ１００１での処理により、図１１（ｂ）〜（ｄ）のようにパノラマ画像の代表画像以外の部分をその左端から右方向に少しずつずらしながら、図１１（ｅ）のようにその右端まで順に切り取り、これらを動画像ファイルのフレームとして記録する。すなわち、前記パノラマ画像をスライドしながら全体を記録し、その際に図１１（ａ）に示す代表画像の付近を図１１（ｂ）〜（ｅ）に示す他の部分の画像よりも長時間記録する。

【0088】

このように構成することによって、パノラマ画像をアルバム動画にしたときに、フォーカスのあっている代表画像を長い時間表示するとともに、パノラマ画像全体を閲覧することが可能となる。

【0089】

［実施例４］
実施例２では、シャッターボタン６１の半押しから全押しまでの間にデジタルカメラ１００の姿勢が大きく変化したときは、パノラマ画像のどこにフォーカスが合っているのか判別できないため、その中央付近を代表画像として切り取った。一方、実施例４では、実施例２と同じように、フォーカスがどこに合っているのか判別できないパノラマ画像は、中央付近を代表画像とするように構成する。

【0090】

具体的には、実施例１のように、シャッターボタン６１の半押しによるＡＦ処理が有効な場合に撮影されたパノラマ画像はその１枚目付近にフォーカスが合っている可能性が高い。逆に、シャッターボタン６１の半押しによるＡＦ処理が無効な場合、具体的には、ＭＦ（マニュアルフォーカス）やフォーカスロックの設定がされている場合、パノラマ画像の１枚目付近にフォーカスが合っていない可能性が高い。

【0091】

よって実施例４では、図８のステップＳ８０１においてＥＸＩＦ−ＭａｋｅｒＮｏｔｅから姿勢変更の有無を取得する代わりにＭＦやフォーカスロックの設定の有無を取得する。その後、かかる設定があると判別された場合（ステップＳ８０２でＹＥＳ：第３の判別手段）、ステップＳ８０３に進み、パノラマ画像の中央部分を含む画像を代表画像として切り取る。

【0092】

同様に、フォーカスが無限遠で撮影されたパノラマ画像は、その中央部分を含む画像を代表画像として切り取るようにしても良い。その理由は、フォーカスが無限遠の画像は、風景写真のように画像全体にフォーカスが合っている可能性が高いからである。

【0093】

実施例４に拠れば、実施例２と同様に、フォーカスがどこに合っているのか判別できないパノラマ画像については、中央付近を代表画像として切り取る。これにより、デジタルカメラ１００の使用者が最も確認したいと思われる部分をアルバム動画に含めることが可能となる。

【0094】

［実施例５］
実施例１〜４では、代表画像をアルバム動画の作成に使用した。しかし、これに限らず、たとえばサムネイル画像や、撮影直後のレビュー画像に代表画像を使用してもよい。

【0095】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0096】

［その他の実施例］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

【0097】

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

【0098】

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

【0099】

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0100】

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

【符号の説明】

【0101】

１００ デジタルカメラ
２２ 撮像部
２４ 画像処理部
３２ メモリ
４０ 姿勢検出部
５０ システム制御部
５６ 不揮発性メモリ
６０ モード切替スイッチ
６１ シャッターボタン
７０ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】