特許 7604158 電子機器、電子機器の制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-13

(45)【発行日】2024-12-23

(54)【発明の名称】電子機器、電子機器の制御方法およびプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20241216BHJP

   H04N 23/53 20230101ALI20241216BHJP

   H04N 23/65 20230101ALI20241216BHJP

   G03B 17/18 20210101ALI20241216BHJP

【ＦＩ】

H04N23/63 100

H04N23/53

H04N23/65

G03B17/18

H04N23/63 300

【請求項の数】 12

(21)【出願番号】P 2020167747

(22)【出願日】2020-10-02

(65)【公開番号】P2022059875

(43)【公開日】2022-04-14

【審査請求日】2023-09-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】小貫 賢治

【審査官】越河 勉

(56)【参考文献】

【文献】国際公開第２０１４／１３６５２１（ＷＯ，Ａ１）

【文献】特開２０１２－０８５０８０（ＪＰ，Ａ）

【文献】特開２００５－３１８２５８（ＪＰ，Ａ）

【文献】特開２０２０－０８８４０３（ＪＰ，Ａ）

【文献】特開２００９－０７７３８４（ＪＰ，Ａ）

【文献】特開２００７－０８２２２３（ＪＰ，Ａ）

【文献】特開２００３－３０２９５７（ＪＰ，Ａ）

【文献】特開２０１９－０６７３４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／５３

Ｈ０４Ｎ ２３／６５

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

相互に異なる角度で表示可能な第１表示部および第２表示部と、
画像を取得する取得手段と、
前記第１表示部と前記第２表示部とのなす角度に応じて、前記第１表示部と前記第２表示部とのうち一方に前記画像を表示し、他方に前記画像に関連する情報または前記画像を表示する制御を行う表示制御手段と、
を備え、
前記表示制御手段は、前記角度に基づいて前記第１表示部と前記第２表示部とが折り畳まれている状態であると判定される場合、前記画像に人物の被写体が含まれているかに応じて、前記第１表示部と前記第２表示部とに対して異なる表示制御を行うことを特徴とする電子機器。

【請求項2】

前記第１表示部と前記第２表示部とは、回転軸を中心として折り畳むことおよび広げることが可能であることを特徴とする請求項１に記載の電子機器。

【請求項3】

前記関連する情報は、前記画像の深度を示す情報であることを特徴とする請求項１または２に記載の電子機器。

【請求項4】

前記表示制御手段は、前記角度に基づいて前記第１表示部と前記第２表示部とが折り畳まれていない状態であると判定される場合、前記第１表示部に前記画像を表示し且つ前記第２表示部に前記関連する情報を表示するか、または前記第１表示部と前記第２表示部とを１つの領域として、当該領域に前記画像を表示するかの制御を行うことを特徴とする請求項１乃至３のうち何れか１項に記載の電子機器。

【請求項5】

前記表示制御手段は、前記角度に基づいて前記第１表示部と前記第２表示部とが折り畳まれている状態であると判定される場合であって、前記画像に人物の被写体が含まれていない場合、前記第１表示部と前記第２表示部とのうち何れか一方を非表示にする制御を行うことを特徴とする請求項１乃至４のうち何れか１項に記載の電子機器。

【請求項6】

前記表示制御手段は、前記角度に基づいて前記第１表示部と前記第２表示部とが折り畳まれている状態であると判定される場合であって、前記画像に含まれている人物の被写体までの距離が所定範囲内にない場合、前記第１表示部と前記第２表示部とのうち何れか一方を非表示にする制御を行うことを特徴とする請求項１乃至５のうち何れか１項に記載の電子機器。

【請求項7】

前記表示制御手段は、前記角度に基づいて前記第１表示部と前記第２表示部とが折り畳まれている状態であると判定される場合であって、前記画像に含まれている人物の被写体までの距離が所定範囲内にある場合、前記第１表示部と前記第２表示部とのうち一方に前記画像を表示し、他方に前記人物の被写体までの距離に応じた表示倍率で前記画像を拡大表示する制御を行うことを特徴とする請求項１乃至６のうち何れか１項に記載の電子機器。

【請求項8】

前記表示制御手段は、前記画像に所定の被写体が含まれている場合、当該被写体の種別を示す情報を前記第１表示部と前記第２表示部とのうち何れか一方または両方に表示することを特徴とする請求項１乃至７のうち何れか１項に記載の電子機器。

【請求項9】

複数の撮像部、を更に備え、
前記第１表示部と前記第２表示部とのなす角度に応じて、前記複数の撮像部のうち撮影に用いられる撮像部が選択されることを特徴とする請求項１乃至８のうち何れか１項に記載の電子機器。

【請求項10】

前記第１表示部が設けられる面または前記第２表示部が設けられる面の背面に他の表示部が設けられることを特徴とする請求項１乃至９のうち何れか１項に記載の電子機器。

【請求項11】

相互に異なる角度で表示可能な第１表示部および第２表示部を有する電子機器の制御方法であって、
画像を取得する工程と、
前記第１表示部と前記第２表示部とのなす角度に応じて、前記第１表示部と前記第２表示部とのうち一方に前記画像を表示し、他方に前記画像に関連する情報または前記画像を表示する制御を行う工程と、
を備え、
前記制御を行う工程は、前記角度に基づいて前記第１表示部と前記第２表示部とが折り畳まれている状態であると判定される場合、前記画像に人物の被写体が含まれているかに応じて、前記第１表示部と前記第２表示部とに対して異なる表示制御を行うことを特徴とする電子機器の制御方法。

【請求項12】

コンピュータを、請求項１乃至１０のうち何れか１項に記載の電子機器の各手段として機能させる、コンピュータが実行可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器、電子機器の制御方法およびプログラムに関する。

【背景技術】

【0002】

近年、ディスプレイを折り畳むことができるスマートフォンや、バリアングル型ディスプレイのデジタルカメラが用いられるようになっている。関連する技術として、特許文献１および特許文献２の技術が提案されている。特許文献１の技術では、本体と蓋体との成す折り畳み角度に変化に応じて、第１表示部と第２表示部とに表示する表示モードを切り換えている。また、特許文献２の技術では、２画面を有する折り畳み可能な表示装置で、所定のイベントが検知され、且つ第１画面に第１アプリが表示されている場合に、所定のイベントおよび第１アプリに対応付けられた第２アプリの第２アプリ画像が表示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－３０２９５７号公報

【文献】特開２０１９－６７３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１では、第１表示部に操作用の画像を表示し、第２表示部に観察用の画像を表示することができるが、第１表示部に表示される情報は操作用の画像である。従って、特許文献１の技術は、撮影者が撮影を行う際に、撮影者や被写体に撮影をアシストする情報を提示するものではない。また、特許文献２の技術では、第１画面に第１アプリが表示され、第２画面に第２アプリが表示されるが、第１アプリおよび第２アプリは撮影をアシストするものではない。

【0005】

そこで、本発明は、表示部の角度が変更可能な電子機器を用いた撮影をアシストすることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の電子機器は、相互に異なる角度で表示可能な第１表示部および第２表示部と、画像を取得する取得手段と、前記第１表示部と前記第２表示部とのなす角度に応じて、前記第１表示部と前記第２表示部とのうち一方に前記画像を表示し、他方に前記画像に関連する情報または前記画像を表示する制御を行う表示制御手段と、を備え、前記表示制御手段は、前記角度に基づいて前記第１表示部と前記第２表示部とが折り畳まれている状態であると判定される場合、前記画像に人物の被写体が含まれているかに応じて、前記第１表示部と前記第２表示部とに対して異なる表示制御を行うことを特徴とする。

【発明の効果】

【0007】

本発明によれば、表示部の角度が変更可能な電子機器を用いた撮影をアシストすることができる。

【図面の簡単な説明】

【0008】

【図1】電子機器のハードウェア構成の一例を示す図である。

【図2】電子機器の各種の状態の一例を示す図である。

【図3】撮像部の画素配列構成の一例を示す図である。

【図4】本実施形態の表示制御の処理の流れの一例を示すフローチャートである。

【図5】取得された画像データの一例を示す図である。

【図6】全画面表示モードにおいて表示部に表示される画像データの一例を示す図である。

【図7】図５の画像に対するデフォーカスマップの一例を示す図である。

【図8】画像およびデフォーカスマップの表示例を示す図である。

【図9】表示倍率の算出に用いられるグラフの一例を示す図である。

【図10】表示部が折り畳まれた状態における画像表示例を示す図である。

【図11】表示面側と背面側との両方に光学系が設けられている電子機器の各種の状態の一例を示す図である。

【図12】背面側に表示部が設けられている電子機器の各種の状態の一例を示す図である。

【図13】被写体の種別を示す情報の表示例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。

【0010】

図１は、本実施形態の電子機器１００のハードウェア構成の一例を示す図である。本実施形態では、電子機器１００は撮影機能を有するスマートフォンであるものとして説明する。電子機器１００は、スマートフォンには限定されず、タブレット端末やパーソナルコンピュータ等であってもよいし、デジタルカメラ等の撮像装置であってもよい。また、電子機器１００は、カメラを接続したコンピュータ等であってもよい。以下、撮影者が電子機器１００の表示部（ディスプレイ）を視認しながら、合焦範囲を調整して撮影を行うユースケースについて説明する。表示部は、例えば、液晶画面等である。

【0011】

電子機器１００は、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、光学系１０４、撮像部１０５、Ａ／Ｄ変換部１０６、画像処理部１０７および記録媒体Ｉ／Ｆ１０８を有する。また、電子機器１００は、表示部１０９、操作部１１０、評価値取得部１１１、被写体検出部１１２および回転角検出部１１３を有する。制御部１０１は、ＣＰＵ等のプロセッサである。制御部１０１は、電子機器１００の各ブロックの動作を制御するプログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、電子機器１００の各ブロックの動作を制御する。制御部１０１は、取得手段および表示制御手段に対応する。

【0012】

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、電子機器１００の各ブロックを制御するプログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、電子機器１００の各ブロックが出力したデータの一時的な記憶領域として用いられる。

【0013】

光学系１０４は、レンズを含む光学的な機構である。光学系１０４からの被写体像は撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換して、アナログ画像信号を生成する。生成されたアナログ画像信号は、Ａ／Ｄ変換部１０６に出力される。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を施して、デジタル画像データ（画像データ）を生成する。生成された画像データは、ＲＡＭ１０３に記憶される。画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整や縮小／拡大の他、ノイズ低減処理や現像処理等の各種の画像処理を施す。

【0014】

記録媒体Ｉ／Ｆ１０８は、メモリカード等の記録媒体を着脱可能に接続するためのインタフェースである。ＲＡＭ１０３に記憶されている画像データや、画像処理部１０７で処理された画像データ、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された画像データ等が、記録画像として、記録媒体Ｉ／Ｆ１０８を介して、記録媒体に記録される。表示部１０９は、ＬＣＤ等の表示デバイスであり、各種の情報や画像を表示する。例えば、撮像部１０５で取り込まれた被写体像が、表示部１０９に表示される。操作部１１０は、レリーズスイッチ等を含む操作部材であり、撮影モードや焦点距離、絞り値、露光時間等の設定の他、オートフォーカスやレリーズ等の操作の指示を受け付ける。

【0015】

評価値取得部１１１は、生成された画像データから距離やフォーカスなどの評価値を算出する。被写体検出部１１２は、生成された画像データから人物の顔等の所定の被写体を検出し、画像上での被写体の大きさおよび位置を出力する。画像処理部１０７と評価値取得部１１１と被写体検出部１１２とのうち一部または全部の機能は、制御部１０１により実現されてもよい。回転角検出部１１３は、後述する回転軸２００の回転角度を検出する。

【0016】

以上の電子機器１００の表示部１０９は、折り畳み可能な構成が採用される。図２は、電子機器１００の各種の状態の一例を示す図である。図２（Ａ）は、表示部１０９が広げられた状態の表示面側の一例を示す図である。図２（Ａ）に示されるように、電子機器１００の表示部１０９は、回転軸２００を中心として、折り畳むことおよび広げることが可能である。表示部１０９は、回転軸２００を中心として、第１表示部２０１と第２表示部２０２とに分割されている。図２（Ａ）および図２（Ｂ）に示されるように、第１表示部２０１と第２表示部２０２とが平面状になっている状態が、表示部１０９が広げられた状態（開状態）である。一方、第１表示部２０１と第２表示部２０２とが表示面または背面で対向している状態が、表示部１０９が折り畳まれた状態（閉状態）である。電子機器１００は、回転軸２００を中心として、第１表示部２０１と第２表示部２０２とを相互に異なる任意の角度とすることができる構造となっている。つまり、第１表示部２０１または第２表示部２０２を回転させることで、第１表示部２０１と第２表示部２０２とは相互に異なる角度で情報や画像等が表示可能である。

【0017】

図２（Ｂ）は、表示部１０９が広げられた状態の背面（表示面側の背面）の一例を示す図である。図２（Ｂ）に示されるように、表示部１０９の背面側には、レンズを含む光学系１０４が設けられている。図２（Ｃ）は、表示部１０９が折り畳まれた状態の第１表示部２０１側の一例を示す図である。また、図２（Ｄ）は、図２（Ｃ）の反対面側の一例を示す図である。図２（Ｃ）および図２（Ｄ）の例は、第１表示部２０１の背面と第２表示部２０２の背面とが対向するように折り畳まれた状態を示す。図２（Ａ）乃至（Ｄ）に示されるように、回転軸２００は、表示部１０９の中央ではなく、偏在した位置に設けられている。このため、第１表示部２０１の面積は、第２表示部２０２の面積よりも広い。第１表示部２０１の背面には光学系１０４が設けられている。従って、図２（Ｄ）の状態では、光学系１０４は露出している。これにより、表示部１０９が折り畳まれた状態でも、撮影を行うことができる。図２の例では、第１表示部２０１と第２表示部２０２とは連続した領域を構成しているが、第１表示部２０１と第２表示部２０２とは離間していてもよい。

【0018】

図３は、撮像部１０５の画素配列構成の一例を示す図である。画素３０２は、マイクロレンズ３０１と一対の光電変換部３０３Ａ、３０４Ｂとにより構成される。図３に示される例では、画素３０２が二次元的に且つ規則的に配列されている。なお、光電変換部３０３Ａ、３０４Ｂの平面形状は図３の例には限定されず、他の平面形状が採用されてもよい。また、光電変換部３０３Ａ、３０４Ｂの配置の態様も、図３の例に限定されず、他の配置の態様が採用されてもよい。

【0019】

二次元的に且つ規則的に配列された光電変換部３０３Ａ、３０４Ｂからは、視差画像としてそれぞれＡ像、Ｂ像が出力されるものとする。また、Ａ像とＢ像とを加算したＡ＋Ｂ像が記録静止画として記録媒体１０８に記録される。撮像部１０５が上述した構成を採用することにより、光学系１０４の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらをＡ像、Ｂ像として出力することができる。なお、Ａ像、Ｂ像の取得方法は、上記に限定されず、種々の方法を採ることができる。例えば、空間的に間隔をあけて設置した複数台のカメラ等の撮像装置により取得され、互いに視差のついた画像がＡ像、Ｂ像として取得されてもよい。また、複数の光学系と撮像部とを有する１台のカメラ等の撮像装置により取得された視差画像をそれぞれＡ像、Ｂ像としてもよい。

【0020】

次に、本実施形態の表示制御の処理の流れについて説明する。図４は、本実施形態の表示制御の処理の流れの一例を示すフローチャートである。以下、撮影者が表示部１０９を視認しながらピント位置を調整し、被写体として人物を撮影するポートレートシーンにおける表示制御の内容について説明する。ただし、本実施形態の処理は、ポートレートシーンにおける表示制御には限定されない。また、以下の各処理の一部を外部の装置（コンピュータ等）に実行させてもよい。この場合、電子機器１００と外部の装置とが通信を行い、処理要求および処理結果の送受信が行われる構成が採用されてもよい。

【0021】

Ｓ４００で、制御部１０１は、画像データを取得する。制御部１０１は、撮像部１０５に取り込まれた被写体像に対して画像処理部１０７が所定の画像処理を施した画像データを取得してもよい。本実施形態の画像データは、ライブビュー画像であるものとする。また、制御部１０１は、電子機器１００に接続されているカメラから画像データを取得してもよい。図５は、取得された画像データの一例を示す図である。図５の画像５０１（画像データ）は、被写体である人物５０２が電子機器１００の光学系１０４に顔を向けている状況で撮影した画像である。

【0022】

Ｓ４０１で、制御部１０１は、表示部１０９が折り畳まれた状態であるかを判定する。表示部１０９が、図２（Ａ）および（Ｂ）に示されるように、広げられた状態である場合には、制御部１０１は、Ｓ４０１でＮｏと判定する。一方、表示部１０９が、図２（Ｃ）および（Ｄ）に示されるように、折り畳まれた状態である場合には、制御部１０１は、Ｓ４０１でＹｅｓと判定する。制御部１０１は、回転角検出部１１３が検出する回転軸２００の回転角に基づいて、Ｓ４０１の判定を行うことができる。

【0023】

例えば、図２（Ａ）および（Ｂ）に示されるような広げられた状態である場合における回転角を０度とし、図２（Ｃ）および（Ｄ）に示されるように折り畳まれた状態である場合における回転角を±１８０度とする。制御部１０１は、回転軸２００の回転角度が０度であるか、または０度を基準として第１の角度範囲内の角度である場合に、表示部１０９が広げられた状態であると判定してもよい。この場合、Ｓ４０１でＮｏと判定される。また、制御部１０１は、回転軸２００の回転角度が±１８０度であるか、または±１８０度を基準として第２の角度範囲内の角度である場合に、表示部１０９が折り畳まれた状態であると判定してもよい。この場合、Ｓ４０１でＹｅｓと判定される。第１の角度範囲と第２の角度範囲とは異なっていてもよいし、同じであってもよい。表示部１０９が、図２（Ａ）および（Ｂ）に示されるように広げられた状態である場合、第１表示部２０１および第２表示部２０２は撮影者側を向いていることが想定される。これは、撮影者がいわゆるライブビューを見ながら構図などを確認するためである。表示部１０９が、図２（Ｃ）および（Ｄ）に示されるように折り畳まれた状態である場合、第１表示部２０１は撮影者側を向いており、第２表示部２０２は被写体側を向いていることが想定される。これは、撮影者がライブビューを見ながら、撮影者とは別の被写体に光学系１０４を向けている場合が想定される。

【0024】

制御部１０１は、Ｓ４０１でＮｏと判定した場合、フローをＳ４０２に進める。Ｓ４０２で、制御部１０１は、表示部１０９の設定が全画面表示モードとなっているか、または分割表示モードとなっているかを判定する。全画面表示モードは、Ｓ４００で取得された画像データを、第１表示部２０１と第２表示部２０２との２つの領域を合わせて１つの領域として表示するモードである。分割表示モードは、Ｓ４００で取得された画像データを第１表示部２０１に表示し、当該画像データに関連する情報を第２表示部２０２に表示するモードである。画像データに関連する情報は、例えば、デフォーカスマップのような画像の深度を示す情報等のような、撮影をアシストする情報である。全画面表示モードと分割表示モードとの何れにするかの設定は、撮影者が操作部１１０を用いて予め設定されていてもよい。

【0025】

制御部１０１は、Ｓ４０２でＹｅｓと判定した場合、フローをＳ４０３に進める。一方、制御部１０１は、Ｓ４０２でＮｏと判定した場合、フローをＳ４０４に進める。Ｓ４０３で、制御部１０１は、表示部１０９の第１表示部２０１と第２表示部２０２との２つの領域を合わせた１つの領域に、取得された画像データを表示する制御を行う。図６は、全画面表示モードにおいて表示部１０９に表示される画像データの一例を示す図である。図６に示されるように、画像データは、第１表示部２０１と第２表示部２０２とを１つの領域として用いて大きく表示される。制御部１０１は、Ｓ４０３の処理を実行した後、処理を終了させる。

【0026】

Ｓ４０４で、制御部１０１は、撮像部１０５から一対の視差画像であるＡ像およびＢ像を取得し、視差画像に基づいて、撮影範囲における空間的なデフォーカス量分布を表すデータを生成する。Ｓ４０４の処理は、評価値取得部１１１が実行してもよい。以下、空間的なデフォーカス量分布を表すデータをデフォーカスマップと称する。デフォーカス量は、光学系１０４が合焦している距離からのピントのずれ量であるため、距離情報の一種である。デフォーカス量を取得する手法は、任意の手法が用いられてもよい。デフォーカス量は、視差画像間の位相差を算出する任意の手法を用いて、算出されてもよい。

【0027】

図７は、図５の画像５０１に対するデフォーカスマップの一例を示す図である。デフォーカスマップ７０１は、距離が近いほど白く（画素値が高くなる）なる連続値のグレースケールで表現される。図７に示されるように、合焦領域（つまり、デフォーカス量がゼロ）である人物５０２に対応する領域７０２は灰色で表現されている。

【0028】

Ｓ４０５で、制御部１０１は、第１表示部２０１に画像５０１を表示し、第２表示部２０２にデフォーカスマップ７０１を表示する制御を行う。図８は、画像５０１およびデフォーカスマップ７０１の表示例を示す図である。Ｓ４０５の処理は、表示部１０９が広げられた状態で実行される。従って、第１表示部２０１と第２表示部２０２とは撮影者側に向いている。このため、撮影者は、第１表示部２０１に表示されている画像５０１を視認しながら、第２表示部２０２に表示されているデフォーカスマップ７０１を視認することができる。つまり、撮影者は、撮影時のピントがどこに合っているか、所望の部分が深度内に入っているかを確認して、調整しながら撮影を行うことができる。制御部１０１は、第１表示部２０１にデフォーカスマップ７０１を表示し、第２表示部２０２に画像５０１を表示する制御を行ってもよい。

【0029】

図４に示されるように、制御部１０１は、Ｓ４０１でＹｅｓと判定した場合、フローをＳ４０６に進める。Ｓ４０６で、制御部１０１は、画像５０１に被写体として人物が含まれるか否かを判定する。Ｓ４０６の処理は、被写体検出部１１２が実行してもよい。画像５０１に人物が含まれているかを判定する手法は、任意の手法を適用することができる。例えば、画像５０１の中の限定された領域について顔の標準パターンとのマッチングを取ることにより、画像５０１に人物が含まれるかを判定する手法を採用してもよい。また、画像５０１に人物が含まれているかは、人物の顔以外の部分に基づいて判定されてもよい。

【0030】

制御部１０１は、Ｓ４０６でＹｅｓと判定した場合、フローをＳ４０７に進める。Ｓ４０７で、制御部１０１は、被写体距離が所定範囲内であるかを判定する。このとき、制御部１０１は、Ｓ４０４で算出したデフォーカス量を参照し、被写体としての人物の顔領域のデフォーカス量を実距離の値（距離値）に換算する。光学系の結像式を用いてデフォーカス量を距離値に変換する方法について説明する。

【0031】

光学系１０４の後側主点位置から撮像面までの像距離を、合焦物体についてＳ（０）、非合焦物体について「Ｓ（０）＋ｄｅｆ１」とする。ｄｅｆ１は算出されたデフォーカス量とする。また、光学系１０４の前側主点位置から、合焦物体までの距離をＯＢＪ（０）、非合焦物体までの距離をＯＢＪ（ｄｅｆ１）とする。合焦物体までの距離ＯＢＪ（０）については、光学系１０４のレンズの焦点距離ｆを用いて以下の式（１）が成立する。
「１／ＯＢＪ（０）＋１／Ｓ（０）＝１／ｆ ・・・（１）」
式（１）により、既知の値であるＳ（０）およびｆを用いて物体までの距離ＯＢＪ（０）を算出することができる。また、非合焦の物体までの距離ＯＢＪ（ｄｅｆ１）については、同様に以下の式（２）が成立する。
「１／ＯＢＪ（ｄｅｆ１）＋１／（Ｓ（０）＋ｄｅｆ１）＝１／ｆ ・・・（２）」
式（２）において、Ｓ（０）およびｄｅｆ１の値を用いることで非合焦の物体までの距離ＯＢＪ（ｄｅｆ１）を算出することができる。

【0032】

制御部１０１は、算出した顔領域の距離値が所定範囲内であるかを判定する。例えば、制御部１０１は、算出した顔領域の距離値が「Ｄ１＝５０ｃｍ以上、かつＤ２＝１０ｍ以下」である場合に、Ｓ４０７でＹｅｓと判定してもよい。Ｓ４０７で判定の基準となる所定範囲は任意の範囲に設定することができる。ここで、所定範囲について説明する。所定範囲は、上述したようにＤ１以上、かつＤ２以下である。算出した顔領域の距離値がＤ１未満である場合、撮影者は自撮り（撮影者が自分を被写体として撮影する）していると想定される。また、算出した顔領域の距離値がＤ２を超えている場合、被写体である人物が表示部１０９の画面を目視できる距離範囲から外れていることが想定される。Ｓ４０７の判定の基準となる所定範囲は、上記の範囲には限定されない。

【0033】

つまり、制御部１０１は、Ｓ４０７で、自撮りをしているか、被写体である人物が表示部１０９の画面を目視できる距離範囲から外れているかを判定している。自撮りをしているかは、例えば、撮影者が複数あるモードの中から自撮りモードを選択する操作やインカメラ（撮影者側にレンズが向いている）に切り替える操作を操作部１１０に対して行ったかに基づいて判定されてもよい。

【0034】

制御部１０１は、Ｓ４０７でＹｅｓと判定した場合、フローをＳ４０８に進める。Ｓ４０８で、制御部１０１は、Ｓ４０７で算出した顔領域までの距離値に応じて、表示部１０９に画像を表示する倍率を算出する。図９は、表示倍率の算出に用いられるグラフの一例を示す図である。図９の例において、横軸はＳ４０７で算出した顔領域までの距離値を示し、縦軸は倍率を示す。制御部１０１は、顔領域までの距離が１ｍ以下の場合は拡大表示をすることなく等倍で、画像を表示する制御を行う。また、制御部１０１は、顔領域までの距離が１ｍを超えて５ｍに達するまでは拡大倍率を連続的に大きくし、顔領域までの距離が５ｍに達すると１０倍の倍率で画像を拡大して表示する制御を行う。これにより、電子機器１００から被写体としての人物までの距離が遠くなったとしても、被写体としての人物が表示部１０９を視認する際に画像を確認し易くなる。つまり、制御部１０１は、電子機器１００から被写体としての人物までの距離に応じて、表示部１０９に表示される画像の拡大倍率を制御することから、画像の視認性が向上する。

【0035】

Ｓ４０９で、制御部１０１は、第１表示部２０１に画像５０１を表示し、第２表示部２０２にＳ４０８で算出された倍率の画像を表示する。制御部１０１は、Ｓ４０８で算出した倍率が等倍（×１倍）である場合には画像５０１全体をそのまま第２表示部２０２に表示する。また、制御部１０１は、Ｓ４０８で算出した倍率が等倍でない場合には、算出した倍率に応じて画像５０１に含まれる被写体の顔領域を拡大表示し、Ｓ４０６で検出した顔の位置を中心にした画像を第２表示部２０２に表示する。

【0036】

図１０は、表示部１０９が折り畳まれた状態における画像表示例を示す図である。図１０（Ａ）は、第１表示部２０１に表示される画面表示例である。第１表示部２０１は、撮影者側に向いている面であるため、撮影者は、第１表示部２０１に表示される画像１０００を視認することができる。図１０（Ｂ）は、第２表示部２０２に表示される画面表示例である。表示部１０９が折り畳まれた状態であるため、第２表示部２０２は、被写体側に向く面となり、被写体は、第２表示部２０２に表示されている画像１００１を視認することができる。これにより、撮影者が電子機器１００を撮影する際に、被写体である人物も写り具合を確認することができる。そして、図１０（Ｂ）の例では、画像１００１は、電子機器１００から被写体としての人物までの距離に応じて拡大されている。これにより、被写体としての人物は、良好な視認性で写り具合を確認することができる。

【0037】

図４に示されるように、制御部１０１は、Ｓ４０７でＮｏと判定した場合、フローをＳ４１０に進める。Ｓ４１０で、制御部１０１は、第１表示部２０１に画像５０１を表示し、第２表示部２０２の表示をＯＦＦにする（非表示にする）。これにより、自撮りしている場合や被写体としての人物が電子機器１００から遠くにいる場合には、撮影者の反対側を向いている画面がＯＦＦにされることから、電力消費を抑制できる。

【0038】

制御部１０１は、Ｓ４０６でＮｏと判定した場合、第１表示部２０１に画像５０１を表示し、第２表示部２０２の表示をＯＦＦにする（非表示にする）。これにより、被写体が人物でない場合には撮影者の反対側を向いていて誰も視認することがない画面がＯＦＦになることから、電力消費を抑制できる。制御部１０１は、Ｓ４０９、Ｓ４１０またはＳ４１１の処理の後、図４のフローチャートを終了させる。制御部１０１は、撮影指示や電子機器１００の電源切断指示等を受け付けるまで、図４のフローチャートの処理を繰り返し行ってもよい。

【0039】

以上、説明したように、表示部分を折り畳み可能な電子機器１００は、第１表示部２０１と第２表示部２０２とのなす角度、つまり折り畳まれた状態であるかに応じて、第１表示部２０１と第２表示部２０２との表示制御を行う。表示部分が開かれた状態である場合、電子機器１００は、第１表示部２０１と第２表示部２０２との一方に画像データを表示し、他方にデフォーカスマップ７０１を表示する。これにより、撮影者は、被写体の画像とともにピント位置を視認しながら、撮影を行うことができる。また、表示部分が折り畳まれた状態である場合、電子機器１００は、第１表示部２０１と第２表示部２０２との一方に画像データを表示し、他方にも画像データを等倍表示または拡大表示する。これにより、撮影者だけでなく、被写体も画像を確認することができる。従って、撮影の状況に応じて画面上に表示する情報や画像を制御することで、撮影者および被写体が必要とする情報を視認しながら撮影を行えるようにすることができる。このため、表示部の角度が変更可能な電子機器を用いた撮影をアシストすることができる。

【0040】

なお、上述した例では、省電力の観点からＳ４０６、Ｓ４０７の判定処理を設け、第２表示部２０２を非表示にすることとしたが、この処理を特に行わず、折りたたまれた状態であれば自動的に第１表示部２０１と第２表示部２０２との両方に画像データを表示するようにしてもよい。

【0041】

上述した例では、距離情報は、図３に示されるような撮像光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差に基づいて生成される例について説明したが、他の手法を用いて距離情報が生成されてもよい。例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラや超音波により距離が計測可能な構成を用いることで、模様の変化が乏しい被写体に対する測距情報を生成する性能を向上することが可能となる。

【0042】

また、上述した例では、表示部分が折り畳まれた状態であるか否かにかかわらず、電子機器１００の表示面の背面側に設けられている光学系１０４が動作する。この点、電子機器の表示面側と背面側との両方に光学系が設けられていてもよい。図１１は、表示面側と背面側との両方に光学系が設けられている電子機器１１００の各種の状態の一例を示す図である。図１１の例では、電子機器１１００の表示面側に光学系１１０３が設けられており、背面側に光学系１１０４が設けられている。また、第１表示部１１０１と第２表示部１１０２とは、回転軸１１０５を中心として、折り畳むことが可能である。光学系１１０３および光学系１１０４は、両者とも撮像部である。つまり、電子機器１１００には、複数の撮像部が設けられる。例えば、光学系１１０３はインカメラの光学系であり、光学系１１０４はアウトカメラの光学系である。

【0043】

図１１（Ａ）および（Ｂ）に示されるように、電子機器１１００が広げられた状態である場合、電子機器１１００は、表示面側に設けられた光学系１１０３と光学系１１０４とのうち光学系１１０４を動作させる。また、図１１（Ｃ）および（Ｄ）に示されるように、電子機器１１００が折り畳まれた状態である場合、電子機器１１００は、表示面側に設けられた光学系１１０３と光学系１１０４とのうち光学系１１０３を動作させる。つまり、電子機器１１００は、第１表示部１１０１と第２表示部１１０２とのなす角度に応じて、光学系１１０３と光学系１１０４とのうち撮影に用いられる光学系を選択する。このため、図１１の例の電子機器１００では、光学系や表示部が向く方向を変えるために、撮影者が電子機器１１００を持ち替えることなく、通常の撮影と自撮り撮影とを切り替えることができる。

【0044】

また、電子機器の背面側にも表示部が設けられてもよい。図１２は、背面側に表示部が設けられている電子機器１２００の各種の状態の一例を示す図である。図１２（Ａ）に示されるように、第１表示部１２０１と第２表示部１２０２とは、回転軸１２０４を中心として折り畳むことが可能である。この点は、図２と同様である。図１２（Ｂ）に示されるように、背面側には、光学系１２０３とともに表示部１２０５（他の表示部）が設けられている。これにより、表示部分が広げられた状態で、第１表示部１２０１に画像データを表示し、第２表示部１２０２にデフォーカスマップを表示することができるとともに、表示部１２０５に画像データを等倍表示または拡大表示することができる。このため、撮影者は、画像データおよびデフォーカスマップを視認することができ、且つ被写体も画像データを視認することができる。

【0045】

また、上述した例では、撮影に関連する情報として、ピント位置や深度を確認するためのデフォーカスマップを表示する例について説明したが、撮影に関連する情報としては、他の情報が表示されてもよい。例えば、被写体の輝度分布、色分布、明度対比度合いの分布を示す情報など、画像に含まれる被写体の状態を示す情報を、デフォーカスマップと同様のマップ情報として表示してもよい。また、例えば被写体検出部１１２が、画像データから被写体の種別を検出したとき、制御部１０１は、検出された被写体の種別を示す情報を表示してもよい。図１３は、被写体の種別を示す情報の表示例を示す図である。図１３の例では、画像１３０１の３つの領域に対して、検出された被写体の種別を示す「人物」と「植物」と「空」という情報が表示されている。撮影者は、図１３の画像１３０１を視認することで、どの領域にどのような被写体が写っているかを容易に確認することができる。被写体の種別を示す情報は、画像データに重畳して表示されてもよいし、デフォーカスマップに重畳して表示されてもよい。この場合、被写体の種別を示す情報は、第１表示部と第２表示部との何れか一方に表示されてもよいし、両方に表示されてもよい。

【0046】

上述した電子機器は、折り畳み可能なスマートフォンの例について説明したが、例えば、バリアングルモニタおよびビューファインダを有するカメラにも適用可能である。この場合、撮影者はファインダを視認ながら撮影を行い、被写体である人物側にバリアングルモニタの画面を向けることで、撮影画像を被写体に見せることができ、被写体は、写り具合を確認することができる。また、例えば、電子機器が折り畳み可能なスマートフォンである場合、２つ以上の回転軸を中心として３つ以上の表示部を任意の角度に変更可能な電子機器にも本実施形態を適用できる。

【0047】

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0048】

１００ 電子機器
１０１ 制御部
１０４ 光学系
１０９ 表示部
１１１ 評価値取得部
１１２ 被写体検出部
１１３ 回転角検出部
２０１ 第１表示部
２０２ 第２表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】