特許 5761272 撮像装置、撮像方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5761272

(24)【登録日】2015年6月19日

(45)【発行日】2015年8月12日

(54)【発明の名称】撮像装置、撮像方法及びプログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20150723BHJP

   H04N 5/93 20060101ALI20150723BHJP

   H04N 5/91 20060101ALI20150723BHJP

   G03B 17/18 20060101ALI20150723BHJP

【ＦＩ】

   H04N5/225 A

   H04N5/225 B

   H04N5/93 Z

   H04N5/91 J

   G03B17/18 Z

【請求項の数】16

【全頁数】17

(21)【出願番号】特願2013-163232(P2013-163232)

(22)【出願日】2013年8月6日

(65)【公開番号】特開2015-33077(P2015-33077A)

(43)【公開日】2015年2月16日

【審査請求日】2014年9月11日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100154748

【弁理士】

【氏名又は名称】菅沼 和弘

(72)【発明者】

【氏名】北川 博康

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００４−１７９７０８（ＪＰ，Ａ）

【文献】 特開２００６−１６５９４１（ＪＰ，Ａ）

【文献】 特開２００４−１０４４６３（ＪＰ，Ａ）

【文献】 特開２００６−２２２６９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ １７／１８ −１７／２０ ，１７／３６

Ｈ０４Ｎ ５／７６５， ５／９１ − ５／９５６

(57)【特許請求の範囲】

【請求項1】

撮像装置であって、
表示画面に撮像画像を逐次表示出力する出力手段と、
前記表示画面の視認による、前記出力手段により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定手段と、
前記判定手段により、前記表示画面の視認による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、ユーザが前記表示画面上で撮像状況を確認しながら構図に関して当該撮像装置の位置を修正するためのガイド表示を、当該表示画面に表示する処理を実行する実行手段と、
を備え、
前記実行手段は、前記ガイド表示として、前記撮像画像の水平を示す表示と、前記表示画面内におけるコントラスト比の高い輪郭線を検出し当該検出した輪郭線に基づく表示とを、同時かつ識別可能に表示する処理を実行する
ことを特徴とする撮像装置。

【請求項2】

前記実行手段は、前記撮像画像の水平を示す表示として、前記表示画面での電子水準器の表示を行う、
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記実行手段は、連続的な自動撮影の開始時における撮像状況に応じて前記ガイド表示
を行った後に、当該ガイド表示を行わずに連続的な自動撮影を行う、
ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

表示画面に撮像画像を逐次表示出力する出力手段と、
前記表示画面の視認による、前記出力手段により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定手段と、
前記判定手段により、前記表示画面の視認による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、前記表示画面に撮像状況に関するガイド表示を表示する又は前記撮像画像に対する補正処理を実行する実行手段と、
を備え、
前記判定手段は、前記撮像画像における撮像状況の判別が困難である場合の困難の種類を更に判定し、
前記実行手段は、前記判定手段により判定された困難の種類に応じて前記撮像状況に関するガイド表示又は補正処理を実行する、
ことを特徴とする撮像装置。

【請求項5】

前記実行手段は、ユーザが前記表示画面上で撮像状況を確認しながら当該撮像装置の位置を修正するためのガイド表示を行う、
ことを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記撮像状況は、構図であり、
前記実行手段は、前記ガイド表示として、前記撮像画像の水平を示す表示を行う、
ことを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記実行手段は、前記撮像画像の水平を示す表示として、前記表示画面での電子水準器の表示を行う、
ことを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記実行手段は、前記ガイド表示として、前記表示画面内におけるコントラスト比の高い輪郭線を検出し、当該検出した輪郭線に基づいた表示を行う、
ことを特徴とする請求項５乃至７の何れか１項に記載の撮像装置。

【請求項9】

前記実行手段は、連続的な自動撮影の開始時における撮像状況に応じて前記ガイド表示を行った後に、当該ガイド表示を行わずに連続的な自動撮影を行う、
ことを特徴とする請求項５乃至８の何れか１項に記載の撮像装置。

【請求項10】

前記実行手段は、前記補正処理として、トリミング枠の上下が水平と平行となるように前記撮像画像のトリミング処理を行う、
ことを特徴とする請求項４乃至９の何れか１項に記載の撮像装置。

【請求項11】

前記判定手段は、前記表示画面の視認による撮像画像の判別が困難であるとする判定を、逆光或いは夜景と判定された場合に行う、
ことを特徴とする請求項１乃至１０の何れか１項に記載の撮像装置。

【請求項12】

前記判定手段は、前記表示画面の視認による撮像画像の判別が困難であるとする判定を、水平或いは垂直の認識が困難である状況と判定された場合に行う、
ことを特徴とする請求項１乃至１１の何れか１項に記載の撮像装置。

【請求項13】

撮像装置で実行される撮像方法であって、
表示画面に撮像画像を逐次表示出力する出力処理と、
前記表示画面の視認による、前記出力処理により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定処理と、
前記判定処理により、前記表示画面の視認による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、ユーザが前記表示画面上で撮像状況を確認しながら構図に関して当該撮像装置の位置を修正するためのガイド表示を、当該表示画面に表示する処理を実行する実行処理と、
を含み、
前記実行処理は、前記ガイド表示として、前記撮像画像の水平を示す表示と、前記表示画面内におけるコントラスト比の高い輪郭線を検出し当該検出した輪郭線に基づく表示とを、同時かつ識別可能に表示する処理を実行する
ことを特徴とする撮像方法。

【請求項14】

撮像装置を制御するコンピュータに、
表示画面に撮像画像を逐次表示出力する出力機能、
前記表示画面の視認による、前記出力機能により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定機能、
前記判定機能により、前記表示画面の視認による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、ユーザが前記表示画面上で撮像状況を確認しながら構図に関して当該撮像装置の位置を修正するためのガイド表示を、当該表示画面に表示する処理を実行する実行機能、
を実現させ、
前記実行機能は、前記ガイド表示として、前記撮像画像の水平を示す表示と、前記表示画面内におけるコントラスト比の高い輪郭線を検出し当該検出した輪郭線に基づく表示とを、同時かつ識別可能に表示する処理を実行する
ことを特徴とするプログラム。

【請求項15】

撮像装置で実行される撮像方法であって、
表示画面に撮像画像を逐次表示出力する出力処理と、
前記表示画面の視認による、前記出力処理により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定処理と、
前記判定処理により、前記表示画面の視認による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、前記表示画面に撮像状況に関するガイド表示を表示する又は前記撮像画像に対する補正処理を実行する実行処理と、
を含み、
前記判定処理は、前記撮像画像における撮像状況の判別が困難である場合の困難の種類を更に判定し、
前記実行処理は、前記判定処理により判定された困難の種類に応じて前記撮像状況に関するガイド表示又は補正処理を実行する、
ことを特徴とする撮像方法。

【請求項16】

撮像装置を制御するコンピュータに、
表示画面に撮像画像を逐次表示出力する出力機能、
前記表示画面の視認による、前記出力機能により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定機能、
前記判定機能により、前記表示画面の視認による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、前記表示画面に撮像状況に関するガイド表示を表示する又は前記撮像画像に対する補正処理を実行する実行機能、
を実現させ、
前記判定機能は、前記撮像画像における撮像状況の判別が困難である場合の困難の種類を更に判定し、
前記実行機能は、前記判定機能により判定された困難の種類に応じて前記撮像状況に関するガイド表示又は補正処理を実行する、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像方法及びプログラムに関する。

【背景技術】

【0002】

従来より、逆光や夜景といったライブビュー画面では撮像状況（構図、フォーカス、被写体の状態等）の判別が困難な状況であっても、ＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｉｎｇ）といった連写合成等の技術により綺麗に撮影できるようになってきている。
しかし、ライブビュー画面が確認できていないために、思い通りの撮像状況で撮影ができないことがある。
また、最近では、低速度で撮影を行うタイムラプス撮影で夕景から夜景を撮影するような場合に、撮影前に画角を決める際に夕日の逆光でライブビュー画面を認識できず、夜景になり街の明かりが点いたときに、思っていた構図（撮像状況）と違っていたといったこともある。例えば、特許文献１のように、撮像状況に応じた機能のガイダンス表示を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１８７２００公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術は、ユーザが指示しないとガイダンス表示を行わないので、使い勝手が悪いという問題があった。

【0005】

本発明は、このような状況に鑑みてなされたものであり、ライブビュー画面では撮像状況の判別が困難な状況下でも撮像状況の把握を容易にすることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一態様の撮像装置は、
表示画面に撮像画像を逐次表示出力する出力手段と、
前記表示画面の視認による、前記出力手段により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定手段と、
前記判定手段により、前記表示画面の視認による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、ユーザが前記表示画面上で撮像状況を確認しながら構図に関して当該撮像装置の位置を修正するためのガイド表示を、当該表示画面に表示する処理を実行する実行手段と、
を備え、
前記実行手段は、前記ガイド表示として、前記撮像画像の水平を示す表示と、前記表示画面内におけるコントラスト比の高い輪郭線を検出し当該検出した輪郭線に基づく表示とを、同時かつ識別可能に表示する処理を実行する
ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、ライブビュー画面では撮像状況の判別が困難な状況下でも撮像状況の把握を容易にすることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。

【図2】図１の撮像装置の機能的構成のうち、撮像処理を実行するための機能的構成を示す機能ブロック図である。

【図3】第１の水平確保補助処理で実行されるガイド表示を示す模式図である。

【図4】第２の水平確保補助処理で実行される水平トリミングを示す模式図である。

【図5】図２の機能的構成を有する図１の撮像装置が実行する撮像処理の流れを説明するフローチャートである。

【図6】撮像処理のうち、第１の水平確保補助処理の詳細な流れを示すフローチャートである。

【図7】撮像処理のうち、第２の水平確保補助処理の詳細な流れを示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を用いて説明する。

【0010】

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

【0011】

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、加速度センサ１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

【0012】

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

【0013】

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0014】

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、加速度センサ１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

【0015】

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

【0016】

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

【0017】

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。

【0018】

このような撮像部１６の出力信号を、以下、「撮像画像」のデータと呼ぶ。画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。また、撮像画像のデータは、本実施形態においては、撮影の補助となるライブビュー表示を行うため、入力部１８に対する撮影の処理の開始又はライブビュー表示の開始の操作により、撮像部１６で撮像され、その後一時的に記憶部２０に記憶されて、出力部１９に逐次表示出力される撮像画像のデータを、「ライブビュー画像」のデータと呼ぶ。これに対して、入力部１８に対する撮影操作により、撮像部１６で予め設定された撮影条件で撮像され、記憶部２０に記憶されるための撮像画像を、単に「撮像画像」のデータと呼ぶ。

【0019】

加速度センサ１７は、撮像装置１の速度や加速度を検出可能に構成される。加速度センサ１７で検出される速度や加速度により、水平方向・鉛直方向に対する撮像装置１の姿勢を検出することができる。例えば、水平方向の検出は、重力加速度の向きが撮像装置１の真下にあるかを検出することにより行う。このため、本実施形態の加速度センサ１７においては、少なくともＸＹ二軸の加速度センサを用いる。

【0020】

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

【0021】

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

【0022】

以上のように構成される撮像装置１では、出力部１９において視認しづらいライブビュー画像が表示される場合には、電子的処理を行って、撮影を補助する機能を有する。

【0023】

ここで、「電子的処理」とは、ライブビュー画像のみの情報では適切に撮影を行えないような場合で、肉眼では判別しにくくとも、撮像素子では判別できるようなときに、撮影の補助をする処理である。
本実施形態における電子的処理は、適切な撮影位置を提供するガイド表示と、不適切な撮影位置で撮影を行った場合でも適切な撮影を行った状態となる撮像画像を提供するトリミング処理（詳細には、水平トリミング処理）である。

【0024】

また、「ライブビュー画像のみの情報では適切に撮影を行えない場合」とは、表示されるライブビュー画像がユーザに視認しづらい状態であり、例えば、撮影の条件が夜景であったり、逆光であったり、人の目の特性上、ライブビュー画像中の被写体が判別困難な状況下となる場合である。なお、本実施形態においては、ライブビュー画像中の被写体が判別困難となる状況は、撮影環境や個人の目の特性等で異なるために、任意に設定可能に構成する。

【0025】

図２は、このような撮像装置１の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
撮影処理とは、撮影環境においてライブビュー画面が識別困難な場合に、水平の状態を確保するための補助をして撮影を行うまでの一連の処理をいう。

【0026】

撮影処理を実行する場合には、ＣＰＵ１１において、ライブビュー画像取得部５１と、ライブビュー表示制御部５２と、第１の水平確保補助処理部５３と、撮像制御部５４と、撮像画像取得部５５と、第２の水平確保補助処理部５６と、記憶制御部５７と、が機能する。

【0027】

また、記憶部２０の一領域には、画像記憶部７１が設けられる。
画像記憶部７１には、画像のデータが格納される。詳細には、画像記憶部７１には、撮像部１６で撮像されたライブビュー画像や撮像画像、そして、撮像画像を処理した処理画像のデータが格納される。

【0028】

ライブビュー画像取得部５１は、撮像部１６からライブビュー画像を取得して、画像記憶部７１に出力する。ライブビュー画像は、画像記憶部７１に一時的に記憶される。

【0029】

ライブビュー表示制御部５２は、画像記憶部７１に一時的に記憶されるライブビュー画像を出力部１９に逐次表示出力させる。

【0030】

第１の水平確保補助処理部５３は、第１の水平確保補助処理を実行する。「第１の水平確保補助処理」とは、ライブビュー画像が視認しづらい状況においてガイド表示（電子水準器表示及び検出輪郭線の識別表示）を行う一連の処理である。
詳細には、第１の水平確保補助処理部５３は、加速度センサ１７から装置の姿勢情報等を取得し水平を検出する。また、第１の水平確保補助処理部５３は、ライブビュー画像を解析して、撮影条件を判別して、ライブビュー画像が視認しづらい状況である場合には、ガイド表示を行うように出力部１９を制御する。

【0031】

ここで、第１の水平確保補助処理で実行されるガイド表示について説明する。
図３は、第１の水平確保補助処理で実行されるガイド表示を示す模式図である。

【0032】

ガイド表示は、例えば、夜景となる前や逆光時等においてライブビュー表示が視認しづらい状態となる場合に、撮影のガイドとなる表示である。
本実施形態において、ガイド表示は、「電子水準器表示」と、「検出輪郭線の識別表示」とがある。

【0033】

「電子水準器表示」は、ライブビュー画面における水平位置を示す水平基準線を表示する。
具体的には、「電子水準器表示」では、図３（ａ）に示すように、ライブビュー画像ｌｐが表示された画面ｄにおいて、水平基準線ｇ１を表示する。図３（ａ）の例では、画面の枠との位置関係がずれており、撮像装置１が左に傾いていることがわかる。ユーザは、水平状態で撮影を行いたい場合は、水平基準線ｇ１をガイドとして装置の位置を修正して撮影を行う。

【0034】

また、「検出輪郭線の識別表示」では、例えば、肉眼では判別しにくくとも、撮像素子では判別できるような水平線や地平線や被写体のシルエット等のコントラスト比が高い被写体の輪郭を検出して、検出輪郭線を表示する。
具体的には、「検出輪郭線の識別表示」は、図３（ｂ）に示すように、ライブビュー画像ｌｐが表示された画面ｄにおいて、ライブビュー画像ｌｐを解析して検出したコントラスト比の高い被写体の検出輪郭線ｇ２を表示する。図３（ｂ）の例では、図３（ａ）と同様に水平基準線ｇ１からして装置が左側に傾いており、検出輪郭線ｇ２も水平基準線ｇ１と同様に水平状態に位置していることがわかる。ユーザは、検出した被写体の傾きと同様に撮影を行いたい場合は、検出輪郭線ｇ２をガイドとして装置の位置を修正して撮影を行う。

【0035】

なお、本実施形態においては、ライブビュー表示と共に、電子水準器表示と、検出輪郭線の識別表示を同時に行う。
また、本実施形態において、図３（ａ）及び図３（ｂ）において、水平基準線ｇ１は、破線で示し、検出輪郭線ｇ２は一点鎖線で示したがこれに限られない。水平基準線ｇ１と、検出輪郭線ｇ２が識別可能であり、かつ、ユーザに視認しやすいものであればよく、線種乃至色分け等が行われる。例えば、水平基準線ｇ１を赤色とし、検出輪郭線ｇ２を水平基準線ｇ１の反対色である緑色とするように構成することができる。

【0036】

図２に戻り、撮像制御部５４は、入力部１８からの撮像操作を受けて、所定の設定で撮像を行うように撮像部１６を制御する。

【0037】

撮像画像取得部５５は、撮像制御部５４の制御の下で撮像部１６により撮像された撮像画像のデータを取得する。撮像画像取得部５５は、取得した撮像画像のデータを画像記憶部７１に出力して、記憶させる。

【0038】

第２の水平確保補助処理部５６は、第２の水平確保補助処理を実行する。「第２の水平確保補助処理」とは、水平状態で撮影されなかった場合に、撮像画像を水平トリミングして処理画像を生成する一連の処理である。
詳細には、第２の水平確保補助処理部５６は、加速度センサ１７から装置の姿勢情報等を取得し水平を検出する。また、第２の水平確保補助処理部５６は、検出した水平状態となるように、画像記憶部７１から取得した撮像画像から画像の一部を切り出して処理画像を生成する。その後、第２の水平確保補助処理部５６は、処理画像を記憶制御部５７に出力する。

【0039】

ここで、水平トリミングについて説明する。
図４は、第２の水平確保補助処理で実行される水平トリミングを示す模式図である。
水平トリミングは、図４に示すように、撮像画像ｏｐのうち、トリミング枠の上下が水平と平行となるように撮像画像のトリミング処理を行う。水平トリミングされた画像ｉｐは、装置が傾いた状態で撮影されたものであっても、水平状態で撮影されたものと同様の画像となる。即ち、撮像画像から自動的に水平トリミングが行われることで、装置を水平でない状態で傾けて撮影した場合であっても、水平状態で撮影された画像を取得することができる。

【0040】

図２に戻り、記憶制御部５７は、第２の水平確保補助処理部５６から出力された処理画像を画像記憶部７１に記憶させる。

【0041】

次に、図２の機能的構成を有する図１の撮像装置１が実行する撮像処理の流れについて説明する。
図５は、図２の機能的構成を有する図１の撮像装置１が実行する撮像処理の流れを説明するフローチャートである。

【0042】

撮像処理は、ユーザの入力部１８への撮像処理開始の操作により開始される。撮像処理が開始されると、ＣＰＵ１１からの指示により、撮像部１６が制御されてライブビュー画像の撮像が開始される。

【0043】

ステップＳ１においては、ライブビュー表示制御部５２は、出力部１９にライブビュー画面を表示させる。即ち、出力部１９には、ライブビュー画像が表示出力される。
詳細には、撮像部１６から出力されたライブビュー画像をライブビュー画像取得部５１が取得する。そして、ライブビュー画像取得部５１は、取得したライブビュー画像を出力して画像記憶部７１に一時的に記憶させる。その後、ライブビュー表示制御部５２は、画像記憶部７１に記憶されるライブビュー画像を表示出力させるように出力部１９を制御する。

【0044】

ステップＳ２において、第１の水平確保補助処理部５３は、第１の水平確保補助処理を実行する。第１の水平確保補助処理部５３により実行される第１の水平確保補助処理の詳細な流れについては、後述する。

【0045】

ステップＳ３において、ＣＰＵ１１は、撮影操作があったか否かを判断する。
撮影操作がない場合には、ステップＳ３においてＮＯと判断されて、撮影操作を待つ待機状態となる。
これに対して、撮影操作があった場合には、ステップＳ３においてＹＥＳと判断されて、処理はステップＳ４に進む。

【0046】

ステップＳ４において、第１の水平確保補助処理部５３は、電子水準器表示及び検出輪郭線の識別表示をクリアする。即ち、第１の水平確保補助処理部５３は、出力部１９の画面の水平基準線及び検出輪郭線の表示を消す。

【0047】

ステップＳ５において、撮像画像取得部５５は、撮像画像を取得する。詳細には、ステップＳ３において、撮影操作が入力部１８にされているために、撮像制御部５４は、撮像画像を撮像するように撮像部１６を制御する。結果、撮像部１６から所定の設定で撮影された撮像画像が出力されて、撮像画像取得部５５は、撮像画像を取得する。その後、撮像画像取得部５５は、撮像画像を第２の水平確保補助処理部５６に出力する。

【0048】

ステップＳ６において、第２の水平確保補助処理部５６は、第２の水平確保補助処理を実行する。これにより、撮像画像が水平トリミングされた画像である処理画像が生成される。第２の水平確保補助処理部５６により実行される第２の水平確保補助処理の詳細な流れについては、後述する。

【0049】

ステップＳ７において、ＣＰＵ１１は、撮影が終了したか否かを判断する。即ち、ＣＰＵ１１は、例えば、撮影終了の操作があったか否かを判断する。
撮影が終了してない場合には、ステップＳ７においてＮＯと判断されて、処理はステップＳ５に戻る。
これに対して、撮影が終了した場合には、ステップＳ７においてＹＥＳと判断されて、処理はステップＳ８に進む。

【0050】

ステップＳ８において、記憶制御部５７は、処理画像を画像記憶部７１に記憶させる。
その後、撮像処理は、終了する。

【0051】

図６は、撮像処理のうち、第１の水平確保補助処理の詳細な流れを示すフローチャートである。

【0052】

ステップＳ２１において、第１の水平確保補助処理部５３は、撮影シーンの判別を行う。詳細には、第１の水平確保補助処理部５３は、ライブビュー画像を解析して、撮影シーンの判別を行う。

【0053】

ステップＳ２２において、第１の水平確保補助処理部５３は、ライブビュー画面の識別が困難であるか否かを判定する。即ち、第１の水平確保補助処理部５３は、判別された撮影シーンからユーザが視認しづらいシーン（例えば、夜景の前や逆光等）に該当するか否かを判定する。
ライブビュー画面の識別が困難でないと判定された場合には、ステップＳ２２においてＮＯと判別されて、第１の水平確保補助処理は終了する。
これに対して、ライブビュー画面の識別が困難であると判定された場合には、ステップＳ２２においてＹＥＳと判別されて、処理はステップＳ２３に進む。

【0054】

ステップＳ２３において、第１の水平確保補助処理部５３は、水平の検出を行う。即ち、第１の水平確保補助処理部５３は、加速度センサ１７から取得した装置の姿勢情報等に基づいて、水平の検出を行う。

【0055】

ステップＳ２４において、第１の水平確保補助処理部５３は、電子水準器表示を行う。具体的には、第１の水平確保補助処理部５３は、図３（ａ）に示すように、ライブビュー画像を表示している画面ｄに、ガイド表示として水平基準線ｇ１を表示させる。

【0056】

ステップＳ２５において、第１の水平確保補助処理部５３は、ライブビュー画像を解析して、コントラスト比の高い被写体の輪郭線（検出輪郭線）の検出を行う。

【0057】

ステップＳ２６において、第１の水平確保補助処理部５３は、検出輪郭線の識別表示を行う。
具体的には、第１の水平確保補助処理部５３は、図３（ｂ）に示すように、ライブビュー画像と水平基準線ｇ１を表示している画面ｄに、ガイド表示として検出輪郭線ｇ２を表示させる。
これにより、出力部１９の画面上には、ライブビュー画像と、水平基準線と、検出輪郭線とが表示出力される。ユーザは、当該表示される情報に基づいて、撮影位置の変更等を行う。
その後、第１の水平確保補助処理は終了する。

【0058】

図７は、撮像処理のうち、第２の水平確保補助処理の詳細な流れを示すフローチャートである。

【0059】

ステップＳ４１において、第２の水平確保補助処理部５６は、撮影シーンの判別を行う。詳細には、第２の水平確保補助処理部５６は、ライブビュー画像を解析して、撮影シーンの判別を行う。

【0060】

ステップＳ４２において、第２の水平確保補助処理部５６は、ライブビュー画面の識別が困難であるか否かを判定する。即ち、第２の水平確保補助処理部５６は、判別された撮影シーンからユーザが視認しづらいシーン（例えば、夜景の前や逆光等）に該当するか否かを判定する。
ライブビュー画面の識別が困難でないと判定された場合には、ステップＳ４２においてＮＯと判別されて、第２の水平確保補助処理は終了する。
これに対して、ライブビュー画面の識別が困難であると判定された場合には、ステップＳ４２においてＹＥＳと判別されて、処理はステップＳ４３に進む。

【0061】

ステップＳ４３において、第２の水平確保補助処理部５６は、水平の検出を行う。即ち、第２の水平確保補助処理部５６は、加速度センサから取得した装置の姿勢情報等に基づいて、水平の検出を行う。

【0062】

ステップＳ４４において、第２の水平確保補助処理部５６は、取得した撮像画像に対して、検出した水平を基準とする水平トリミングを行う。その結果、第２の水平確保補助処理部５６は、撮像画像から処理画像を生成する。即ち、第２の水平確保補助処理部５６は、図４に示すように、撮像画像ｏｐから水平を基準として画像ｉｐをトリミングして処理画像を生成する。
その後、第２の水平確保補助処理は終了する。

【0063】

以上のように構成される撮像装置１は、出力部１９と、第１の水平確保補助処理部５３と、第２の水平確保補助処理部５６と、を備える。
出力部１９は、表示画面としてのライブビュー画面に撮像画像を逐次表示出力する。
第１の水平確保補助処理部５３及び第２の水平確保補助処理部５６は、ライブビュー画面による、出力部１９により逐次表示出力される撮像画像の撮像状況の判別が、困難であるか否かを判定する。
また、第１の水平確保補助処理部５３及び第２の水平確保補助処理部５６は、ライブビュー画面による撮像画像における撮像状況の判別が困難な状況であると判定された場合に、撮像状況に関するガイド表示又は補正処理を実行する。
これにより、撮像装置１においては、電子的な処理のみで、ライブビュー画面による撮像画像の判別が困難な状況であると判定された場合であっても、適切な撮影を行うことができる。

【0064】

また、第１の水平確保補助処理部５３は、ユーザがライブビュー画面上で撮像状況を確認しながらマニュアル操作を行うためのガイド表示を行う。
これにより、撮像装置１においては、ライブビュー画面による撮像画像の判別が困難な状況であると判定された場合であっても、適切な撮影を行うためのガイドが表示されるため、適切な構図による撮影の手助けとなる情報を提示することができる。

【0065】

また、撮像状況は、構図である。
また、第１の水平確保補助処理部５３は、ガイド表示として、撮像画像の水平を確保するためのガイド表示を行う。
これにより、撮像装置１においては、撮像画像の水平を確保するためのガイド表示を行うことで、適切な構図による撮影の手助けとなる情報をユーザに提示することができる。

【0066】

また、第１の水平確保補助処理部５３は、撮像画像の水平を確保するためのガイド表示として、ライブビュー画面での電子水準器の表示を行う。
これにより、撮像装置１においては、より水平を確保しすいガイド表示が行われ、水平が確保された撮影時の構図を改善する手助けになる情報を提示することができる。

【0067】

また、第１の水平確保補助処理部５３は、撮像画像の水平を確保するためのガイド表示として、肉眼では判別しにくくとも、撮像素子では判別できるようなライブビュー画面内におけるコントラスト比の高い輪郭線を検出し、識別表示を行う。
これにより、撮像装置１においては、コントラスト比の高い輪郭線として水平線、地平線やビルの稜線といった輪郭線も識別表示されるので、水平の確保だけでなく、位置関係も含めて撮影時の構図を改善する手助けになる情報を提示することができる。

【0068】

また、第１の水平確保補助処理部５３は、例えば、ＨＤＲやタイムラプス撮影等の連続的な自動撮影を行う場合においては、連続的な自動撮影の開始時における撮像状況に応じてガイド表示を行った後に、ガイド表示を行わずに連続的な自動撮影を行うように構成することができる。
連続的な自動撮影の場合には、実際の撮影時にはユーザはライブビュー画像を確認しないため、撮像装置１においては、不要な表示を省き、電力消費を軽減することができる。

【0069】

また、第２の水平確保補助処理部５６は、補正処理として、トリミング枠の上下が水平と平行となる撮像画像のトリミング処理を行い、水平状態で撮影したような撮像画像を取得する。
これにより、撮像装置１においては、ユーザが特段の操作を要することなく、確実に水平が確保された構図の撮影画像を取得することができる。

【0070】

また、第１の水平確保補助処理部５３及び第２の水平確保補助処理部５６は、ライブビュー画面による撮像画像の判別が困難であるとする判定を、逆光或いは夜景と判定された場合に行う。
これにより、撮像装置１においては、撮影されるシーンを逆光或いは夜景に明確にすることで、確実に処理を行う必要な撮像状況を判別することができる。

【0071】

第１の水平確保補助処理部５３及び第２の水平確保補助処理部５６は、撮像画像における撮像状況の判別が困難である場合の困難の種類を更に判定する。
また、第１の水平確保補助処理部５３及び第２の水平確保補助処理部５６は、判定された困難の種類に応じて撮像状況に関するガイド表示又は補正処理を実行する。
これにより、撮像装置１においては、判定された困難の種類に対応したガイド表示又は補正処理を実行することができるために、適切な撮影を行うことができる。

【0072】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

【0073】

また、上述の実施形態では、ライブビュー画面上に水平基準線を表示して、水平の状態をユーザに認識可能に表示したがこれに限られない。水平の状態を、例えば、メッセージやインジケータ等を非水平状態時又は水平状態時に表示させるように構成することもできる。

【0074】

また、上述の実施形態では、水平位置の表示を行う第１の水平確保補助処理と、水平位置に基づいて画像をトリミングする第２の水平確保補助処理を同一の処理において実行したがこれに限られない。例えば、第１の水平確保補助処理や第２の水平確保補助処理のみ行うように構成することができる。

【0075】

また、上述の実施形態では、第１の水平確保補助処理において、ライブビュー画像と共に、水平基準線や輪郭線を表示するように構成したが、ライブビュー画像を表示せずに代わりに水平基準線や輪郭線をより視認しやすいような背景画像を表示するように構成してもよい。
また、第１の水平確保補助処理として、グリッド線のような表示を行ってもよい。
また、上述の実施形態では、撮像状況の判別が困難であるか否かの判定のみを行っているが、これに限らず、更に困難の種類を判定し、この判定された困難の種類に応じて実行する処理を、第１の水平確保補助処理の表示の種類や第２の水平確保補助処理から適宜設定できるようにしてもよい。
また、上述の実施形態で画像の種類は記載していないが、動画、静止画の単写、静止画の連写のいずれであってもよい。
また、上述の実施形態では、適切な構図による撮影の手助けとなるように、第１の水平確保補助処理及び第２の水平確保補助処理を行っているが、適切なフォーカスによる撮影の手助けとなるように、フォーカスエイドといった表示を行ってもよい。

【0076】

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、第１の水平確保補助処理機能及び第２の水平確保補助処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

【0077】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

【0078】

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

【0079】

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

【0080】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

【0081】

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0082】

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
表示画面に撮像画像を逐次表示出力する出力手段と、
前記表示画面による、前記出力手段により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定手段と、
前記判定手段により、前記表示画面による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、撮像状況に関するガイド表示又は補正処理を実行する実行手段と、
を備えることを特徴とする撮像装置。
［付記２］
前記実行手段は、ユーザが前記表示画面上で撮像状況を確認しながらマニュアル操作を行うためのガイド表示を行う、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記撮像状況は、構図であり、
前記実行手段は、前記ガイド表示として、撮像画像の水平を確保するためのガイド表示を行う、
ことを特徴とする付記２に記載の撮像装置。
［付記４］
前記実行手段は、前記撮像画像の水平を確保するためのガイド表示として、前記表示画面での電子水準器の表示を行う、
ことを特徴とする付記３に記載の撮像装置。
［付記５］
前記実行手段は、前記ガイド表示として、前記表示画面内におけるコントラスト比の高い輪郭線を検出し、当該検出した輪郭線に基づいた識別表示を行う、
ことを特徴とする付記２乃至４の何れか１つに記載の撮像装置。
［付記６］
前記実行手段は、連続的な自動撮影の開始時における撮像状況に応じて前記ガイド表示を行った後に、当該ガイド表示を行わずに連続的な自動撮影を行う、
ことを特徴とする付記２乃至５の何れか１つに記載の撮像装置。
［付記７］
前記実行手段は、前記補正処理として、トリミング枠の上下が水平と平行となるように撮像画像のトリミング処理を行う、
ことを特徴とする付記１乃至６の何れか１つに記載の撮像装置。
［付記８］
前記判定手段は、表示画面による撮像画像の判別が困難であるとする判定を、逆光或いは夜景と判定された場合に行う、
ことを特徴とする付記１乃至７の何れか１つに記載の撮像装置。
［付記９］
前記判定手段は、前記撮像画像における撮像状況の判別が困難である場合の困難の種類を更に判定し、
前記実行手段は、前記判定手段により判定された困難の種類に応じて前記撮像状況に関するガイド表示又は補正処理を実行する、
ことを特徴とする付記１乃至８の何れか１つに記載の撮像装置。
［付記１０］
撮像装置で実行される撮像方法であって、
表示画面に撮像画像を逐次表示出力する出力ステップと、
前記表示画面による、前記出力ステップにより逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定ステップと、
前記判定ステップにより、前記表示画面による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、撮像状況に関するガイド表示又は補正処理を実行する実行ステップと、
を含むことを特徴とする撮像方法。
［付記１１］
撮像装置を制御するコンピュータを、
表示画面に撮像画像を逐次表示出力する出力手段、
前記表示画面による、前記出力手段により逐次表示出力される前記撮像画像における撮像状況の判別が、困難であるか否かを判定する判定手段、
前記判定手段により、前記表示画面による前記撮像画像における撮像状況の判別が困難な状況であると判定された場合に、撮像状況に関するガイド表示又は補正処理を実行する実行手段、
として機能させることを特徴とするプログラム。

【符号の説明】

【0083】

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・加速度センサ，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・ライブビュー画像取得部，５２・・・ライブビュー表示制御部，５３・・・第１の水平確保補助処理部，５４・・・撮像制御部，５５・・・撮像画像取得部，５６・・・第２の水平確保補助処理部，５７・・・記憶制御部，７１・・・画像記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】