特許 7147038 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-26

(45)【発行日】2022-10-04

(54)【発明の名称】表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム

(51)【国際特許分類】

   G09G 3/36 20060101AFI20220927BHJP

   G09G 3/20 20060101ALI20220927BHJP

【ＦＩ】

G09G3/36

G09G3/20 611A

G09G3/20 612U

G09G3/20 641R

G09G3/20 642D

【請求項の数】 18

(21)【出願番号】P 2021501922

(86)(22)【出願日】2020-02-13

(86)【国際出願番号】 JP2020005626

(87)【国際公開番号】W WO2020170945

(87)【国際公開日】2020-08-27

【審査請求日】2021-04-09

(31)【優先権主張番号】P 2019028619

(32)【優先日】2019-02-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110002505

【氏名又は名称】特許業務法人航栄特許事務所

(72)【発明者】

【氏名】▲高▼橋 宏輔

(72)【発明者】

【氏名】河口 武弘

【審査官】武田 悟

(56)【参考文献】

【文献】国際公開第０３／０３２２８８（ＷＯ，Ａ１）

【文献】特開２００６－１８９６６１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００５３６１０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ３／００ － ３／３８

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

動画データの表示制御を行う表示制御装置であって、
前記動画データの第一フレームを表示部に表示させてから前記動画データの前記第一フレームの次の第二フレームを表示させるまでの期間に、前記動画データと異なる動画ぼけ低減用の特定画像を前記表示部に表示させる挿入制御を行う特定画像挿入制御部と、
前記動画データに含まれる動体の移動量と、前記表示部に表示された前記動画データの１画素の観察角度と、に基づいて、前記挿入制御を実行するか否かを決定する挿入実行制御部と、を備え、
前記移動量は、前記動体を観察する観察者の視線の移動角度であり、
前記観察角度と前記移動量は、前記動画データの解像度と前記表示部の解像度と前記表示部の観察者による前記表示部の視野角と、前記第一フレームと、前記第二フレームとに基づいて算出され、
前記挿入実行制御部は、前記移動角度が前記観察角度以下の場合には、前記挿入制御を非実行とすることを決定し、前記移動角度が前記観察角度を超える場合には、前記挿入制御を実行することを決定する表示制御装置。

【請求項2】

請求項１記載の表示制御装置であって、
前記特定画像挿入制御部は、前記挿入制御を実行することが決定された場合に、前記移動量と前記観察角度に基づいて、前記期間における前記特定画像の表示時間を制御する表示制御装置。

【請求項3】

請求項２記載の表示制御装置であって、
前記特定画像挿入制御部は、前記移動角度と前記観察角度の比に基づいて、前記期間における前記特定画像の表示時間を決定する表示制御装置。

【請求項4】

請求項３記載の表示制御装置であって、
前記特定画像挿入制御部は、前記移動角度をＬとし、前記観察角度をＨとすると、前記期間の１－Ｈ／Ｌ倍の時間を前記表示時間とする表示制御装置。

【請求項5】

請求項１から４のいずれか１項記載の表示制御装置であって、
前記動画データは、撮像によって得られたものであり、
前記挿入実行制御部は、更に、前記動画データの１フレームの露光時間の情報が前記動画データのフレームレートに基づく１フレーム時間以上である場合には、前記挿入制御を非実行とすることを決定する表示制御装置。

【請求項6】

請求項１から５のいずれか１項記載の表示制御装置であって、
前記動画データは、撮像によって得られたものであり、
前記挿入実行制御部は、更に、前記動画データの合焦評価値の情報が予め決められた閾値以下である場合には、前記挿入制御を非実行とすることを決定する表示制御装置。

【請求項7】

請求項１から６のいずれか１項記載の表示制御装置であって、
前記表示部の観察者による前記表示部の視野角を算出する視野角算出部を備える表示制御装置。

【請求項8】

請求項１から７のいずれか１項記載の表示制御装置であって、
前記特定画像は黒画像である表示制御装置。

【請求項9】

請求項１から８のいずれか１項記載の表示制御装置と、
前記表示部と、
撮像素子と、を備え、
前記動画データは、前記撮像素子によって撮像されている被写体のライブビュー画像である撮像装置。

【請求項10】

動画データの表示制御方法であって、
前記動画データの第一フレームを表示部に表示させてから前記動画データの前記第一フレームの次の第二フレームを表示させるまでの期間に、前記動画データと異なる動画ぼけ低減用の特定画像を前記表示部に表示させる挿入制御を行う特定画像挿入制御ステップと、
前記動画データに含まれる動体の移動量と、前記表示部に表示された前記動画データの１画素の観察角度と、に基づいて、前記挿入制御を実行するか否かを決定する挿入実行制御ステップと、を備え、
前記移動量は、前記動体を観察する観察者の視線の移動角度であり、
前記観察角度と前記移動量は、前記動画データの解像度と前記表示部の解像度と前記表示部の観察者による前記表示部の視野角と、前記第一フレームと、前記第二フレームとに基づいて算出され、
前記挿入実行制御ステップは、前記移動角度が前記観察角度以下の場合には、前記挿入制御を非実行とすることを決定し、前記移動角度が前記観察角度を超える場合には、前記挿入制御を実行することを決定する表示制御方法。

【請求項11】

請求項１０記載の表示制御方法であって、
前記特定画像挿入制御ステップは、前記挿入制御を実行することが決定された場合に、
前記移動量と前記観察角度に基づいて、前記期間における前記特定画像の表示時間を制御する表示制御方法。

【請求項12】

請求項１１記載の表示制御方法であって、
前記特定画像挿入制御ステップは、前記移動角度と前記観察角度の比に基づいて、前記期間における前記特定画像の表示時間を決定する表示制御方法。

【請求項13】

請求項１２記載の表示制御方法であって、
前記特定画像挿入制御ステップは、前記移動角度をＬとし、前記観察角度をＨとすると、前記期間の１－Ｈ／Ｌ倍の時間を前記表示時間とする表示制御方法。

【請求項14】

請求項１０から１３のいずれか１項記載の表示制御方法であって、
前記動画データは、撮像によって得られたものであり、
前記挿入実行制御ステップは、更に、前記動画データの１フレームの露光時間の情報が前記動画データのフレームレートに基づく１フレーム時間以上である場合には、前記挿入制御を非実行とすることを決定する表示制御方法。

【請求項15】

請求項１０から１４のいずれか１項記載の表示制御方法であって、
前記動画データは、撮像によって得られたものであり、
前記挿入実行制御ステップは、更に、前記動画データの合焦評価値の情報が予め決められた閾値以下である場合には、前記挿入制御を非実行とすることを決定する表示制御方法。

【請求項16】

請求項１０から１５のいずれか１項記載の表示制御方法であって、
前記表示部の観察者による前記表示部の視野角を算出する視野角算出ステップを備える表示制御方法。

【請求項17】

請求項１０から１６のいずれか１項記載の表示制御方法であって、
前記特定画像は黒画像である表示制御方法。

【請求項18】

コンピュータに、動画データの第一フレームを表示部に表示させてから前記動画データの前記第一フレームの次の第二フレームを表示させるまでの期間に、前記動画データと異なる特定画像を前記表示部に表示させる挿入制御を行うか否かを、前記動画データに含まれる動体の移動量と、前記表示部に表示された前記動画データの１画素の観察角度と、に基づいて決定することを含む処理を実行させるための表示制御プログラムであって、
前記移動量は、前記動体を観察する観察者の視線の移動角度であり、

前記観察角度と前記移動量は、前記動画データの解像度と前記表示部の解像度と前記表示部の観察者による前記表示部の視野角と、前記第一フレームと、前記第二フレームとに基づいて算出され、
前記移動角度が前記観察角度以下の場合には、前記挿入制御を非実行とすることを決定し、前記移動角度が前記観察角度を超える場合には、前記挿入制御を実行することを決定する表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムに関する。

【背景技術】

【0002】

表示装置において表示画像に含まれる動体を追従視する場合に発生する動画ぼけを低減する方法として、動画のフレーム間に黒画像を表示する黒挿入処理がある。例えば、バックライトを常に点灯させるのではなく、間欠的に点灯させることにより、動画のフレーム間に黒画像を表示する方法がある。黒挿入処理を行うことにより、液晶表示装置のようなホールド型ディスプレイの表示特性を、インパルス型ディスプレイの表示特性に近づけることができ、動画ぼけを低減できる。特許文献１、２、３は、黒挿入技術について開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】日本国特開２０１４－０３５５２５号公報

【文献】日本国特開２０１４－０３２４１２号公報

【文献】ＷＯ２００８／１０２８２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

黒挿入処理は、黒画像の挿入頻度を高くするほど動画ぼけの低減効果を高めることができる。しかし、フレーム間における動体の移動量が表示装置の表示解像度以下の場合には、動画ぼけの低減効果は得られず、電力増大又は表示輝度減少等のデメリットだけが残る。特許文献１、２、３には、動体の動きを考慮して黒入制御を行うことが記載されているが、表示解像度のことは考慮していない。

【0005】

本発明は、上記事情に鑑みてなされたものであり、動画ぼけを低減するための特定画像の挿入を効率的に行って表示画質の向上と消費電力の低減を図ることのできる表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の表示制御装置は、動画データの表示制御を行う表示制御装置であって、前記動画データの第一フレームを表示部に表示させてから前記動画データの前記第一フレームの次の第二フレームを表示させるまでの期間に、前記動画データと異なる動画ぼけ低減用の特定画像を前記表示部に表示させる挿入制御を行う特定画像挿入制御部と、前記動画データに含まれる動体の移動量と、前記表示部に表示された前記動画データの１画素の観察角度と、に基づいて、前記挿入制御を実行するか否かを決定する挿入実行制御部と、を備え、前記移動量は、前記動体を観察する観察者の視線の移動角度であり、前記観察角度と前記移動量は、前記動画データの解像度と前記表示部の解像度と前記表示部の観察者による前記表示部の視野角と、前記第一フレームと、前記第二フレームとに基づいて算出され、前記挿入実行制御部は、前記移動角度が前記観察角度以下の場合には、前記挿入制御を非実行とすることを決定し、前記移動角度が前記観察角度を超える場合には、前記挿入制御を実行することを決定するものである。

【0007】

本発明の撮像装置は、上記表示制御装置と、上記表示部と、撮像素子と、を備え、上記動画データは、上記撮像素子によって撮像されている被写体のライブビュー画像であるものである。

【0008】

本発明の表示制御方法は、動画データの表示制御方法であって、前記動画データの第一フレームを表示部に表示させてから前記動画データの前記第一フレームの次の第二フレームを表示させるまでの期間に、前記動画データと異なる動画ぼけ低減用の特定画像を前記表示部に表示させる挿入制御を行う特定画像挿入制御ステップと、前記動画データに含まれる動体の移動量と、前記表示部に表示された前記動画データの１画素の観察角度と、に基づいて、前記挿入制御を実行するか否かを決定する挿入実行制御ステップと、を備え、前記移動量は、前記動体を観察する観察者の視線の移動角度であり、前記観察角度と前記移動量は、前記動画データの解像度と前記表示部の解像度と前記表示部の観察者による前記表示部の視野角と、前記第一フレームと、前記第二フレームとに基づいて算出され、前記挿入実行制御ステップは、前記移動角度が前記観察角度以下の場合には、前記挿入制御を非実行とすることを決定し、前記移動角度が前記観察角度を超える場合には、前記挿入制御を実行することを決定するものである。

【0009】

本発明の表示制御プログラムは、コンピュータに、動画データの第一フレームを表示部に表示させてから前記動画データの前記第一フレームの次の第二フレームを表示させるまでの期間に、前記動画データと異なる特定画像を前記表示部に表示させる挿入制御を行うか否かを、前記動画データに含まれる動体の移動量と、前記表示部に表示された前記動画データの１画素の観察角度と、に基づいて決定することを含む処理を実行させるための表示制御プログラムであって、前記移動量は、前記動体を観察する観察者の視線の移動角度であり、前記観察角度と前記移動量は、前記動画データの解像度と前記表示部の解像度と前記表示部の観察者による前記表示部の視野角と、前記第一フレームと、前記第二フレームとに基づいて算出され、前記移動角度が前記観察角度以下の場合には、前記挿入制御を非実行とすることを決定し、前記移動角度が前記観察角度を超える場合には、前記挿入制御を実行することを決定するものである。

【発明の効果】

【0010】

本発明によれば、動画ぼけを低減するための特定画像の挿入を効率的に行って表示画質の向上と消費電力の低減を図ることのできる表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。

【図2】図１に示すデジタルカメラ１００のシステム制御部１１の機能ブロック図である。

【図3】観察角度を説明するための模式図である。

【図4】動画データに含まれる動体の移動量を説明するための模式図である。

【図5】システム制御部１１によるライブビュー表示制御又は記録動画再生制御時の動作を説明するためのフローチャートである。

【図6】図１に示すシステム制御部１１の動作の第一の変形例を説明するためのフローチャートである。

【図7】図１に示すシステム制御部１１の動作の第二の変形例を説明するためのフローチャートである。

【図8】図２に示すシステム制御部１１の機能ブロックの変形例を示す図である。

【図9】本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。

【図10】図９に示すスマートフォン２００の構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照して説明する。

【0013】

図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。

【0014】

図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。

【0015】

レンズ装置４０は、デジタルカメラ１００の本体に着脱可能なものであってもよいし、デジタルカメラ１００の本体と一体化されたものであってもよい。

【0016】

撮像レンズ１と絞り２は撮像光学系を構成し、撮像レンズ１は光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。

【0017】

フォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。なお、フォーカスレンズとしては、光軸方向の主点の位置を電気的な制御により変更することで焦点調節が可能な液体レンズが用いられてもよい。

【0018】

レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。

【0019】

レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更（焦点距離を変更）したり、絞り駆動部９を介して絞り２の開口量を制御したりする。

【0020】

デジタルカメラ１００は、更に、撮像光学系を通して被写体を撮像するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子５を備える。

【0021】

撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号ともいう。

【0022】

デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。

【0023】

システム制御部１１は、デジタルカメラ１００が撮像モードに設定されると、撮像素子５により被写体の連続撮像を開始させ、この連続撮像によって撮像素子５から出力される複数の撮像画像信号からなる動画データに基づくライブビュー画像を表示部２３に表示させるライブビュー表示制御を行う。また、システム制御部１１は、記憶媒体２１に記憶された動画データを読み出してこの動画データに基づく動画を表示部２３に表示させる記録動画再生制御を行う。

【0024】

システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、プログラムを実行して処理を行う各種のプロセッサである。

【0025】

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

【0026】

更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）から構成されるメインメモリ１６と、メインメモリ１６へのデータ記憶及びメインメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行ってＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、表示部２３と、を備える。

【0027】

表示部２３は、例えば、液晶表示装置又は有機ＥＬ（ｅｌｅｃｔｒｏ－ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置等により構成される。表示部２３は、デジタルカメラ１００の本体においてレンズ装置４０側と反対の背面に設けられる外部表示装置と、図示省略の接眼ファインダに内蔵される内部表示装置と、の一方又は両方を含む。

【0028】

記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。

【0029】

メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示部２３は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

【0030】

図２は、図１に示すデジタルカメラ１００のシステム制御部１１の機能ブロック図である。

【0031】

システム制御部１１は、表示制御プログラムを含むプログラムを実行することで、特定画像挿入制御部１１Ａ、挿入実行制御部１１Ｂ、及び視野角情報取得部１１Ｃとして機能する。本明細書におけるシステム制御部１１は、表示制御装置を構成する。

【0032】

特定画像挿入制御部１１Ａは、上記のライブビュー表示制御又は記録動画再生制御時において、表示対象となる動画データの第一フレームを表示部２３に表示させてから、この第一フレームの次の第二フレームを表示させるまでの期間（以下、この期間の長さを１フレーム時間と言う）に、表示対象の動画データとは異なる動画ぼけ低減用の特定画像を表示部２３に表示させる挿入制御を行う。

【0033】

動画ぼけ低減用の特定画像とは、人が動体を追従視するときに発生する動画ぼけを低減させるための画像であり、具体的には黒画像である。特定画像としては、表示対象としている第一フレーム以外の画像であり且つこの第一フレームの残像を残さない程度の輝度の画像であればよく、黒画像以外に、例えば白画像、グレー画像、ランダムノイズ画像等を採用することも可能である。黒画像の表示は、例えば、表示部２３のバックライトを消灯させるなどによって実現される。

【0034】

挿入実行制御部１１Ｂは、表示対象の動画データに含まれる動体の移動量Ｌと、表示対象の動画データの１画素の観察角度Ｈと、に基づいて、上記の挿入制御を実行するか否かを決定する。なお、動画データに含まれる動体の移動量Ｌには、水平方向の移動成分である移動量Ｌ１と、垂直方向の移動成分である移動量Ｌ２と、が含まれる。

【0035】

図３は、観察角度を説明するための模式図である。図４は、動画データに含まれる動体の移動量を説明するための模式図である。

【0036】

図３には、表示部２３に表示される動画データの１つのフレーム２３ａが示されている。フレーム２３ａの解像度と表示部２３の最大表示解像度とが一致することを前提とすると、観察角度Ｈは、表示部２３の各表示画素（又はフレーム２３ａを構成する各画素２３ｐ）の水平方向又は垂直方向の両端と観察者の眼とを結ぶ２直線のなす角度にて定義される。例えば、観察角度Ｈは、観察者による表示部２３の水平視野角（観察者の眼と、表示部２３の表示面の水平方向の両端とを結ぶ線の角度と定義）を、表示部２３の水平表示画素数にて除算することで得られる。

【0037】

なお、観察者による表示部２３の視野角は、表示部２３が第一表示装置と第二表示装置のどちらであるかによって変わり得る。この使用形態の変化に対応するため、メインメモリ１６には、第一表示装置が使用されている場合の観察者の視野角の情報と、第二表示装置が使用されている場合の観察者の視野角の情報と、が予め記憶されている。

【0038】

図４には、表示部２３に表示される動画データの１つのフレーム２３ａと、その次のフレーム２３ｂとが示されている。フレーム２３ａとフレーム２３ｂには動体Ｍが含まれている。動体Ｍの水平方向の移動量Ｌ１は、動体Ｍを観察する観察者の１フレーム間における視線の水平方向の移動角度として定義される。図４の例では、２つのフレーム２３ａ、２３ｂ間にて動体Ｍが水平方向に２画素移動している。そのため、図４の例において、移動量Ｌ１は、観察角度Ｈの２倍の値として算出される。

【0039】

また、動体Ｍの垂直方向の移動量Ｌ２は、動体Ｍを観察する観察者の１フレーム間における視線の垂直方向の移動角度として定義される。図４の例では、２つのフレーム２３ａ、２３ｂ間にて動体Ｍが垂直方向に１画素移動している。そのため、図４の例において、移動量Ｌ２は、観察角度Ｈの１倍の値として算出される。

【0040】

なお、上記定義にしたがうと、移動量Ｌ１、Ｌ２の上限値は、観察角度Ｈを表示部２３の水平又は垂直方向の表示画素数倍した値となる。しかし、動体の移動量が、１フレーム時間当たりに人が動体を追従視することのできる限界値である追従視限界移動量を超える場合には、この追従視限界移動量を超えて移動する動体の移動を人は認識できない。そのため、設定できる移動量Ｌ１、Ｌ２の上限値は、追従視限界移動量とすることが好ましい。

【0041】

視野角情報取得部１１Ｃは、観察者による表示部２３の視野角の情報を、メインメモリ１６から取得する。挿入実行制御部１１Ｂは、この情報に基づいて観察角度Ｈを設定し、設定した観察角度Ｈと、別途設定した移動量Ｌ１、Ｌ２とに基づいて、特定画像挿入制御部１１Ａが行う挿入制御の実行可否を決定する。

【0042】

図５は、システム制御部１１によるライブビュー表示制御又は記録動画再生制御時の動作を説明するためのフローチャートである。表示対象の動画データの１フレーム（以下、現フレームという）が生成されると、まず、視野角情報取得部１１Ｃは、第一表示装置と第二表示装置のどちらが使用されているか判断し、使用されている表示装置に対応してメインメモリ１６に記憶されている観察者の視野角の情報を取得する（ステップＳ１）。

【0043】

視野角情報取得部１１Ｃは、例えば図示省略の接眼窓に観察者の目が接触している状況であれば第二表示装置が使用されていると判断し、接眼窓に観察者の目が接触していない状況であれば第一表示装置が使用されていると判断する。

【0044】

次に、挿入実行制御部１１Ｂは、ステップＳ１にて取得された視野角の情報に基づいて観察角度Ｈを設定する（ステップＳ２）。挿入実行制御部１１Ｂは、例えば、ステップＳ１にて取得された視野角の情報と表示部２３の最大表示解像度の情報に基づいて観察角度Ｈを演算により算出して設定する。視野角の情報と観察角度Ｈとを対応付けてメインメモリ１６に予め記憶しておき、挿入実行制御部１１Ｂは、ステップＳ１にて取得された視野角の情報に対応する観察角度Ｈをメインメモリ１６から読み出して設定してもよい。

【0045】

次に、挿入実行制御部１１Ｂは、現フレームに含まれる動体の移動量を取得して設定する（ステップＳ３）。挿入実行制御部１１Ｂは、例えば、表示対象の動画データに対して動体検出処理を行い、検出した動体の水平方向の移動画素数を観察角度Ｈに乗じることで、動体の水平方向の移動量Ｌ１を算出し、検出した動体の垂直方向の移動画素数を観察角度Ｈに乗じることで、動体の垂直方向の移動量Ｌ２を算出し、これらを設定する。

【0046】

なお、動画データのフレームとして１フレーム又は数フレームしか取得できていない初期の時点においては、動体検出処理ができない。このため、この初期の時点では、挿入実行制御部１１Ｂは、移動量Ｌ１、Ｌ２として、上述した追従視限界移動量をメインメモリ１６から取得して設定すればよい。

【0047】

次に、挿入実行制御部１１Ｂは、現フレームの露光時間の情報を取得し、この露光時間が、表示対象の動画データのフレームレートに基づく上記の１フレーム時間（１秒間を、その１秒間に表示するフレーム数にて除算した値）以上であるか否かを判定する（ステップＳ４）。

【0048】

露光時間が１フレーム時間以上の場合には、動画データのブレが大きくなると想定されるため、挿入制御を行うことによるぼけ低減効果の弱まる可能性が高い。そこで、露光時間が１フレーム時間以上であった場合（ステップＳ４：ＹＥＳ）には、挿入実行制御部１１Ｂは、特定画像の挿入制御を非実行とすることを決定する（ステップＳ５）。この結果、特定画像挿入制御部１１Ａによる挿入制御が行われない状態（現フレームが１フレーム時間にわたって表示される状態）となる。

【0049】

一方、露光時間が１フレーム時間未満の場合には、動体の移動量によっては、挿入制御を行うことによるぼけ低減効果が期待できる。そこで、露光時間が１フレーム時間未満であった場合（ステップＳ４：ＮＯ）には、挿入実行制御部１１Ｂは、移動量Ｌ１と移動量Ｌ２の各々が観察角度Ｈ以下であるか否かを判定する（ステップＳ６）。

【0050】

移動量Ｌ１と移動量Ｌ２の各々が観察角度Ｈ以下である状態では、挿入制御を行うことによる動画ぼけの低減効果が原理的に得られない。そこで、挿入実行制御部１１Ｂは、移動量Ｌ１と移動量Ｌ２がそれぞれ観察角度Ｈ以下である場合（ステップＳ６：ＹＥＳ）には、ステップＳ５に処理を移行する。

【0051】

一方、移動量Ｌ１と移動量Ｌ２のいずれかが観察角度Ｈを超えている状態では、挿入制御を行うことによって動画ぼけを低減することができる。そこで、挿入実行制御部１１Ｂは、移動量Ｌ１と移動量Ｌ２のいずれかが観察角度Ｈを超えている場合（ステップＳ６：ＮＯ）には、挿入制御を実行することを決定する（ステップＳ７）。

【0052】

ステップＳ７にて挿入制御を行うことが決定されると、特定画像挿入制御部１１Ａは、ステップＳ３にて設定された移動量Ｌ１、Ｌ２のうちの大きい方（移動量Ｌ１、Ｌ２が同じ値であればいずれか一方）を選択する。そして、特定画像挿入制御部１１Ａは、移動量Ｌ１を選択した場合には、ステップＳ２にて設定された観察角度Ｈと移動量Ｌ１とに基づいて、下記式（Ａ）の演算により、現フレームの表示時間ＦＴにおける特定画像の表示時間ＢＴを決定し、移動量Ｌ２を選択した場合には、ステップＳ２にて設定された観察角度Ｈと移動量Ｌ２とに基づいて、下記式（Ｂ）の演算により、現フレームの表示時間ＦＴにおける特定画像の表示時間ＢＴを決定する（ステップＳ８）。

【0053】

ＢＴ＝ＦＴ×｛１－（Ｈ／Ｌ１）｝ （Ａ）
ＢＴ＝ＦＴ×｛１－（Ｈ／Ｌ２）｝ （Ｂ）

【0054】

ステップＳ８にて表示時間ＢＴを決定した後、特定画像挿入制御部１１Ａは、現フレームの表示を開始させてから、（ＦＴ－ＢＴ）の時間経過後に、現フレームの代わりに特定画像を表示部２３に表示時間ＢＴだけ表示させる制御を行う（ステップＳ９）。これにより、現フレームを表示させるべき１フレーム期間のうち、表示時間ＢＴの時間は特定画像が表示され、残りの時間は現フレームが表示されることになる。ステップＳ５とステップＳ９の後は、現フレームの次のフレームが生成されると、ステップＳ１に処理が戻る。

【0055】

以上のように、デジタルカメラ１００によれば、移動量Ｌ１と移動量Ｌ２のいずれかが観察角度Ｈを超えている場合にのみ、特定画像の挿入制御を行うことができる。換言すると、動画ぼけの低減効果が期待できない状況においては挿入制御が非実行される。このため、挿入制御を常時行う場合と比較すると、挿入制御が行われる場合の表示画像の輝度向上処理が不要となる期間が増えるため、消費電力を低減することができる。

【0056】

なお、図５においてステップＳ４の処理は必須ではなく、ステップＳ３の処理の後、ステップＳ６に移行する動作であってもよい。この動作であっても、動体の移動量Ｌ１、Ｌ２と観察角度Ｈとの関係によって挿入制御の実行有無が決定される。このため、動画ぼけの低減と低消費電力を両立させることができる。

【0057】

本形態における視野角情報取得部１１Ｃは、表示部２３として第一表示装置が使用されている状態においては、デジタルカメラ１００の本体背面に設けられた距離センサ等によって、表示部２３と観察者の顔との距離を算出し、この距離に基づいて、観察者による表示部２３の視野角を算出することで、視野角の情報を取得するようにしてもよい。この構成においては、視野角情報取得部１１Ｃが視野角算出部を構成する。この構成によれば、第一表示装置が使用されている状態における観察者の視野角を正確な値に近づけることができるため、挿入制御の実行頻度をより最適なものとすることができる。

【0058】

図６は、図１に示すシステム制御部１１の動作の第一の変形例を説明するためのフローチャートである。図６に示すフローチャートは、ステップＳ３とステップＳ４の間にステップＳ１１が追加された点を除いては図５と同じである。図６において図５と同じ処理には同一符号を付して説明を省略する。

【0059】

ステップＳ３の後、挿入実行制御部１１Ｂは、表示対象の動画データの解像度と、表示部２３の最大表示解像度とに基づいて、ステップＳ２及びステップＳ３にて設定した観察角度Ｈと移動量Ｌ１，Ｌ２を補正する（ステップＳ１１）。

【0060】

例えば、動画データの解像度が、表示部２３の最大表示解像度の１／４であった場合を想定する。この場合には、動画データの各フレームのサイズが２倍に拡大されて表示部２３に表示されることになる。つまり、動画データの１画素が表示部２３の４つの表示画素に表示されることになる。この場合には、観察者が動画データの１画素を観察するときの観察角度Ｈは、ステップＳ２にて設定した観察角度Ｈの２倍となる。また、観察者が動画データに含まれる動体を追従するときの視線の移動角度である移動量Ｌ１、Ｌ２は、ステップＳ３にて設定した移動量Ｌ１、Ｌ２の２倍となる。

【0061】

具体的には、ステップＳ１１において、挿入実行制御部１１Ｂは、表示部２３の最大表示解像度を動画データの解像度にて除算した値の１／２の値を補正係数とし、ステップＳ２及びステップＳ３にて設定した観察角度Ｈ、移動量Ｌ１、及び移動量Ｌ２の各々にこの補正係数を乗じて、これらを補正する。ステップＳ１１の後に行われるステップＳ６又はステップＳ９においては、補正後の観察角度Ｈ、移動量Ｌ１、及び移動量Ｌ２にしたがって処理が行われる。

【0062】

このように、動画データの解像度と表示部２３の最大表示解像度に基づいて観察角度Ｈ、移動量Ｌ１、及び移動量Ｌ２を補正することで、動画データの解像度によらずに、効率的な挿入制御の実行が可能となる。

【0063】

図７は、図１に示すシステム制御部１１の動作の第二の変形例を説明するためのフローチャートである。図７に示すフローチャートは、ステップＳ１の前にステップＳ２１とステップＳ２２が追加された点を除いては図５と同じである。図７において図５と同じ処理には同一符号を付して説明を省略する。

【0064】

現フレームが生成されると、挿入実行制御部１１Ｂは、この現フレームの合焦評価値を取得する（ステップＳ２１）。挿入実行制御部１１Ｂは、例えば、現フレームのコントラスト値を算出し、合焦評価値として取得する。または、挿入実行制御部１１Ｂは、撮像素子５が位相差検出用画素を含むものであれば、現フレームの生成元となった撮像画像信号に含まれる位相差検出用画素の信号を用いてデフォーカス量を演算し、このデフォーカス量を合焦評価値として取得する。

【0065】

次に、挿入実行制御部１１Ｂは、合焦評価値が予め決められた閾値以下であるか否かを判定する（ステップＳ２２）。合焦評価値が閾値以下であった場合（ステップＳ２２：ＹＥＳ）には、ステップＳ５に処理が移行される。一方、合焦評価値が閾値を超える場合（ステップＳ２２：ＮＯ）には、ステップＳ１に処理が移行される。

【0066】

以上のように、現フレームの合焦評価値が閾値以下となる場合には、特定画像の挿入制御を非実行とすることが決定され、現フレームを１フレーム時間にわたって表示させる通常の制御が行われる。合焦評価値が低いフレームは、ボケの多い画像を意味する。このため、このような場合には挿入制御を行うことによる動画ぼけ低減の効果が得られにくい。そこで、このような場合にはステップＳ１からステップＳ４、ステップＳ６からステップＳ９の処理を省略することで、挿入制御が実行される可能性を低減させて、消費電力の低減が可能となる。また、ステップＳ１からステップＳ４、ステップＳ６からステップＳ９の処理が行われないことで、システム制御部１１の負荷を軽減することができる。

【0067】

図８は、図２に示すシステム制御部１１の機能ブロックの変形例を示す図である。図８に示すシステム制御部１１の機能ブロックは、測定部１１Ｄが追加された点を除いては図２と同じである。測定部１１Ｄは、上述した表示制御プログラムをプロセッサが実行することにより実現される。

【0068】

測定部１１Ｄは、表示部２３の観察者の上述した追従視限界移動量を測定する。例えば、測定部１１Ｄは、所定のパターン（例えば３本の線を、間隔を空けて配置したパターン）を表示部２３に表示させ、このパターンを複数段階の速度（１フレーム時間あたりの移動画素数）にて移動させる。また、各速度にて動くパターンに含まれる３本の線が重なることなく認識できたかどうかをユーザに入力させ、３本の線が重なることなく認識できた速度のうちの最大値を判定する。そして、この最大値の移動量を観察者の視線の移動角度に変換して、この移動角度を追従視限界移動量の測定結果として記憶する。

【0069】

図８に示す変形例においては、動画データのフレームの生成が開始された初期の時点にて移動量Ｌ１，Ｌ２として設定される追従視限界移動量が、測定部１１Ｄによって測定された追従視限界移動量に置き換えられる。また、移動量Ｌ１，Ｌ２の上限値として設定される追従視限界移動量が、測定部１１Ｄによって測定された追従視限界移動量に置き換えられる。

【0070】

この変形例の構成によれば、観察者の追従視能力に応じて追従視限界移動量を最適化することができるため、観察者に合わせた挿入制御の実行可否の判断が可能となる。

【0071】

なお、ここまでは、デジタルカメラ１００におけるライブビュー表示制御時又は記録動画再生制御時において図５から図８の動作を行うものとした。しかし、図５から図８の動作は、例えば、記録媒体に記録された動画データをテレビで再生する場合等、表示部を持つ電子機器にて動画データの再生を行う場合であれば同様に適用可能である。なお、デジタルカメラ以外にて図７の動作を実現するためには、記録媒体に記録される動画データの各フレームに、合焦評価値の情報が対応して記録されているようにすればよい。

【0072】

次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。

【0073】

図９は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。

【0074】

図９に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

【0075】

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。

【0076】

図１０は、図９に示すスマートフォン２００の構成を示すブロック図である。

【0077】

図１０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。

【0078】

また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

【0079】

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。

【0080】

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

【0081】

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。

【0082】

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

【0083】

図１０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

【0084】

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

【0085】

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。

【0086】

さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。

【0087】

通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

【0088】

また、図９に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

【0089】

操作部２０７は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図９に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

【0090】

記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。

【0091】

なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。

【0092】

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。

【0093】

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。

【0094】

外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。

【0095】

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

【0096】

モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

【0097】

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

【0098】

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

【0099】

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。

【0100】

また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。

【0101】

画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

【0102】

さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。

【0103】

表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

【0104】

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

【0105】

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

【0106】

さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

【0107】

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。

【0108】

ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

【0109】

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記憶媒体２１、表示部２３、及び操作部１４以外の構成を含む。

【0110】

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。

【0111】

図９に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

【0112】

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。

【0113】

また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

【0114】

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。

【0115】

以上のような構成のスマートフォン２００においても、特定画像の挿入制御の実行頻度を最適化して、省電力化を図ることができる。

【0116】

以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
動画データの表示制御を行う表示制御装置であって、
上記動画データの第一フレームを表示部に表示させてから上記動画データの上記第一フレームの次の第二フレームを表示させるまでの期間に、上記動画データと異なる特定画像を上記表示部に表示させる挿入制御を行う特定画像挿入制御部と、
上記動画データに含まれる動体の移動量と、上記表示部に表示された上記動画データの１画素の観察角度と、に基づいて、上記挿入制御を実行するか否かを決定する挿入実行制御部と、を備える表示制御装置。

【0117】

（２）
（１）記載の表示制御装置であって、
上記移動量は、上記動体を観察する観察者の視線の移動角度であり、
上記挿入実行制御部は、上記移動角度が上記観察角度以下の場合には、上記挿入制御を非実行とすることを決定し、上記移動角度が上記観察角度を超える場合には、上記挿入制御を実行することを決定する表示制御装置。

【0118】

（３）
（１）又は（２）記載の表示制御装置であって、
上記特定画像挿入制御部は、上記挿入制御を実行することが決定された場合に、上記移動量と上記観察角度に基づいて、上記期間における上記特定画像の表示時間を制御する表示制御装置。

【0119】

（４）
（３）記載の表示制御装置であって、
上記移動量は、上記動体を観察する観察者の視線の移動角度であり、
上記特定画像挿入制御部は、上記移動角度と上記観察角度の比に基づいて、上記期間における上記特定画像の表示時間を決定する表示制御装置。

【0120】

（５）
（４）記載の表示制御装置であって、
上記特定画像挿入制御部は、上記移動角度をＬとし、上記観察角度をＨとすると、上記期間の１－Ｈ／Ｌ倍の時間を上記表示時間とする表示制御装置。

【0121】

（６）
（１）から（５）のいずれか１つに記載の表示制御装置であって、
上記挿入実行制御部は、更に、上記動画データの１フレームの露光時間が上記動画データのフレームレートに基づく１フレーム時間以上である場合には、上記挿入制御を非実行とすることを決定する表示制御装置。

【0122】

（７）
（１）から（６）のいずれか１つに記載の表示制御装置であって、
上記挿入実行制御部は、更に、上記動画データの合焦評価値が予め決められた閾値以下である場合には、上記挿入制御を非実行とすることを決定する表示制御装置。

【0123】

（８）
（１）から（７）のいずれか１つに記載の表示制御装置であって、
上記挿入実行制御部は、上記動体の上記移動量として、上記動画データから算出した上記動体の実際の移動量を設定する表示制御装置。

【0124】

（９）
（１）から（７）のいずれか１つに記載の表示制御装置であって、
上記挿入実行制御部は、上記動体の上記移動量として、人の追従視限界移動量を設定する表示制御装置。

【0125】

（１０）
（９）記載の表示制御装置であって、
上記表示部の観察者の追従視限界移動量を測定する測定部を備え、
上記挿入実行制御部は、上記測定部の測定結果に応じて、複数の上記追従視限界移動量のいずれか１つを上記動体の上記移動量として設定する表示制御装置。

【0126】

（１１）
（１）から（１０）のいずれか１つに記載の表示制御装置であって、
上記表示部の観察者による上記表示部の視野角を算出する視野角算出部を備え、
上記観察角度と上記移動量は上記視野角に基づいて算出される表示制御装置。

【0127】

（１２）
（１）から（１１）のいずれか１つに記載の表示制御装置であって、
上前観察角度と上前移動量は、上前動画データの解像度と上前表示部の解像度と上前表示部の観察者による上前表示部の視野角とに基づいて算出される表示制御装置。

【0128】

（１３）
（１）から（１２）のいずれか１つに記載の表示制御装置であって、
上記特定画像は黒画像である表示制御装置。

【0129】

（１４）
（１）から（１３）のいずれか１つに記載の表示制御装置と、
上記表示部と、
撮像素子と、を備え、
上記動画データは、上記撮像素子によって撮像されている被写体のライブビュー画像である撮像装置。

【0130】

（１５）
動画データの表示制御方法であって、
上記動画データの第一フレームを表示部に表示させてから上記動画データの上記第一フレームの次の第二フレームを表示させるまでの期間に、上記動画データと異なる特定画像を上記表示部に表示させる挿入制御を行う特定画像挿入制御ステップと、
上記動画データに含まれる動体の移動量と、上記表示部に表示された上記動画データの１画素の観察角度と、に基づいて、上記挿入制御を実行するか否かを決定する挿入実行制御ステップと、を備える表示制御方法。

【0131】

（１６）
（１５）記載の表示制御方法であって、
上記移動量は、上記動体を観察する観察者の視線の移動角度であり、
上記挿入実行制御ステップは、上記移動角度が上記観察角度以下の場合には、上記挿入制御を非実行とすることを決定し、上記移動角度が上記観察角度を超える場合には、上記挿入制御を実行することを決定する表示制御方法。

【0132】

（１７）
（１５）又は（１６）記載の表示制御方法であって、
上記特定画像挿入制御ステップは、上記挿入制御を実行することが決定された場合に、
上記移動量と上記観察角度に基づいて、上記期間における上記特定画像の表示時間を制御する表示制御方法。

【0133】

（１８）
（１７）記載の表示制御方法であって、
上記移動量は、上記動体を観察する観察者の視線の移動角度であり、
上記特定画像挿入制御ステップは、上記移動角度と上記観察角度の比に基づいて、上記期間における上記特定画像の表示時間を決定する表示制御方法。

【0134】

（１９）
（１８）記載の表示制御方法であって、
上記特定画像挿入制御ステップは、上記移動角度をＬとし、上記観察角度をＨとすると、上記期間の１－Ｈ／Ｌ倍の時間を上記表示時間とする表示制御方法。

【0135】

（２０）
（１５）から（１９）のいずれか１つに記載の表示制御方法であって、
上記挿入実行制御ステップは、更に、上記動画データの１フレームの露光時間が上記動画データのフレームレートに基づく１フレーム時間以上である場合には、上記挿入制御を非実行とすることを決定する表示制御方法。

【0136】

（２１）
（１５）から（２０）のいずれか１つに記載の表示制御方法であって、
上記挿入実行制御ステップは、更に、上記動画データの合焦評価値が予め決められた閾値以下である場合には、上記挿入制御を非実行とすることを決定する表示制御方法。

【0137】

（２２）
（１５）から（２１）のいずれか１つに記載の表示制御方法であって、
上記挿入実行制御ステップは、上記動体の上記移動量として、上記動画データから算出した上記動体の実際の移動量を設定する表示制御方法。

【0138】

（２３）
（１５）から（２１）のいずれか１つに記載の表示制御方法であって、
上記挿入実行制御ステップは、上記動体の上記移動量として、人の追従視限界移動量を設定する表示制御方法。

【0139】

（２４）
（２３）記載の表示制御方法であって、
上記表示部の観察者の追従視限界移動量を測定する測定ステップを備え、
上記挿入実行制御ステップは、上記測定ステップの測定結果に応じて、複数の上記追従視限界移動量のいずれか１つを上記動体の上記移動量として設定する表示制御方法。

【0140】

（２５）
（１５）から（２４）のいずれか１つに記載の表示制御方法であって、
上記表示部の観察者による上記表示部の視野角を算出する視野角算出ステップを備え、
上記観察角度と上記移動量は上記視野角に基づいて算出される表示制御方法。

【0141】

（２６）
（１５）から（２５）のいずれか１つに記載の表示制御方法であって、
上前観察角度と上前移動量は、上前動画データの解像度と上前表示部の解像度と上前表示部の観察者による上前表示部の視野角とに基づいて算出される表示制御方法。

【0142】

（２７）
（１５）から（２６）のいずれか１つに記載の表示制御方法であって、
上記特定画像は黒画像である表示制御方法。

【0143】

（２８）
動画データの表示制御方法をコンピュータに実行させるための表示制御プログラムであって、
上記表示制御方法は、
上記動画データの第一フレームを表示部に表示させてから上記動画データの上記第一フレームの次の第二フレームを表示させるまでの期間に、上記動画データと異なる特定画像を上記表示部に表示させる挿入制御を行う特定画像挿入制御ステップと、
上記動画データに含まれる動体の移動量と、上記表示部に表示された上記動画データの１画素の観察角度と、に基づいて、上記挿入制御を実行するか否かを決定する挿入実行制御ステップと、を備える表示制御プログラム。

【0144】

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

【0145】

なお、本出願は、２０１９年２月２０日出願の日本特許出願（特願２０１９－０２８６１９）に基づくものであり、その内容は本出願の中に参照として援用される。

【産業上の利用可能性】

【0146】

本発明は、デジタルカメラ又はスマートフォン等の撮像機能と表示機能を持つ電子機器に好ましく適用することができる。

【符号の説明】

【0147】

１００ デジタルカメラ
１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
８ レンズ駆動部
９ 絞り駆動部
１０ 撮像素子駆動部
１１ システム制御部
１４ 操作部
１５ メモリ制御部
１６ メインメモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２３ 表示部
２４ 制御バス
２５ データバス
４０ レンズ装置
１１Ａ 特定画像挿入制御部
１１Ｂ 挿入実行制御部
１１Ｃ 視野角情報取得部
１１Ｄ 測定部
２３ａ、２３ｂ フレーム
２３ｐ 画素
Ｈ 観察角度
Ｍ 動体
Ｌ１、Ｌ２ 移動量
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１～ＳＴｎ ＧＰＳ衛星

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】