特許 6792721 電子機器、プログラム、制御装置および制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6792721

(24)【登録日】2020年11月10日

(45)【発行日】2020年11月25日

(54)【発明の名称】電子機器、プログラム、制御装置および制御方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20201116BHJP

   G06T 7/00 20170101ALI20201116BHJP

   G03B 15/00 20060101ALI20201116BHJP

   G03B 17/18 20060101ALI20201116BHJP

【ＦＩ】

   H04N5/232 939

   H04N5/232 290

   G06T7/00 660A

   G03B15/00 D

   G03B15/00 Q

   G03B17/18 Z

【請求項の数】13

【全頁数】24

(21)【出願番号】特願2019-542988(P2019-542988)

(86)(22)【出願日】2018年5月24日

(86)【国際出願番号】JP2018019954

(87)【国際公開番号】WO2019058641

(87)【国際公開日】20190328

【審査請求日】2019年12月6日

(31)【優先権主張番号】特願2017-180592(P2017-180592)

(32)【優先日】2017年9月20日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(72)【発明者】

【氏名】荒井 剛

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１５−１４２３１７（ＪＰ，Ａ）

【文献】 特開２０１２−１８７１７８（ＪＰ，Ａ）

【文献】 特開２０１２−１１４５５７（ＪＰ，Ａ）

【文献】 特開２０１４−１２７８３０（ＪＰ，Ａ）

【文献】 特開２０１１−２５０１３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１５／１６

Ｇ０３Ｂ １７／１８ −１７／２０

Ｇ０３Ｂ １７／３６

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの撮像装置と、少なくとも１つの表示装置と、少なくとも１つの制御装置とを備える電子機器であって、
前記撮像装置は、前記表示装置の表示画面の端部領域に配置され、
前記制御装置は、撮像対象者の視線を前記撮像装置による撮像に適した前記表示画面の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示処理を実行し、
前記視線誘導画像は、複数の部分視線誘導画像を含んでおり、
前記制御装置は、撮像指示があった場合、
前記表示処理において、前記複数の部分視線誘導画像を、前記配置箇所を中心とした同心円状に表示させた後、所定のタイミング毎に、前記複数の部分視線誘導画像のうちで前記配置箇所から最も離れた箇所に表示されている部分視線誘導画像から順次非表示にすることを特徴とする電子機器。

【請求項2】

前記制御装置は、撮像指示があった場合、
前記表示処理において、前記視線誘導画像を所定の箇所に表示させた後、所定のタイミング毎に、前記視線誘導画像が前記配置箇所に対してより近づくように前記視線誘導画像を表示させることを特徴とする請求項１に記載の電子機器。

【請求項3】

少なくとも１つの撮像装置と、少なくとも１つの表示装置と、少なくとも１つの制御装置とを備える電子機器であって、
前記撮像装置は、前記表示装置の表示画面の端部領域に配置され、
前記制御装置は、撮像対象者の視線を前記撮像装置による撮像に適した前記表示画面の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示処理を実行し、
さらに、前記制御装置は、
前記撮像対象者の目を表す第１画像を解析することにより、前記目の中心に対する前記撮像対象者の黒目の重心位置を算出する第１算出処理と、
前記重心位置と閾値とを比較することにより、前記視線が前記撮像装置を向いているか否かを判定する第１判定処理と、を実行し、
前記第１判定処理にて前記視線が前記撮像装置を向いていると判定した場合に、前記表示処理において、前記視線を前記基準領域に導くための補助視線誘導画像を前記基準領域に表示させることを特徴とする電子機器。

【請求項4】

前記制御装置は、
前記撮像対象者の目を表す第１画像を解析することにより、前記視線と対応する前記表示画面上の位置を視線位置として算出する第２算出処理と、
前記基準領域内における前記視線位置の存否に応じて、前記視線が前記基準領域を向いているか否かを判定する第２判定処理と、を実行し、
前記第２判定処理にて前記視線が前記基準領域を向いていると判定した場合に、前記表示処理において、前記視線誘導画像を非表示にすることを特徴とする請求項１から３のいずれか１項に記載の電子機器。

【請求項5】

少なくとも１つの撮像装置と、少なくとも１つの表示装置と、少なくとも１つの制御装置とを備える電子機器であって、
前記撮像装置は、前記表示装置の表示画面の端部領域に配置され、
前記制御装置は、撮像対象者の視線を前記撮像装置による撮像に適した前記表示画面の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示処理を実行し、
さらに、前記制御装置は、
前記撮像対象者の目を表す第１画像を解析することにより、前記視線と対応する前記表示画面上の位置を視線位置として算出する第２算出処理を実行し、
前記表示処理において、前記視線位置と前記配置箇所との間の領域に前記視線誘導画像を表示させることを特徴とする電子機器。

【請求項6】

前記制御装置は、
前記撮像対象者の顔を表す第２画像を解析することにより、前記撮像対象者の顔の中心と対応する前記表示画面上の位置を顔中心位置として算出する第３算出処理を実行し、
前記表示処理において、前記表示画面の中心に対する前記顔中心位置の配置態様に応じて、前記視線誘導画像の表示位置を変更することを特徴とする請求項１から５のいずれか１項に記載の電子機器。

【請求項7】

前記撮像装置を複数備えており、
前記制御装置は、撮像指示があった場合、
前記表示処理において、複数の前記撮像装置のうち、前記撮像に使用される撮像装置の配置箇所の周囲に前記視線誘導画像を表示させることを特徴とする請求項１から６のいずれか１項に記載の電子機器。

【請求項8】

前記撮像装置は、前記端部領域に形成された切欠き内に配置されていることを特徴とする請求項１から７のいずれか１項に記載の電子機器。

【請求項9】

前記制御装置は、前記表示処理において、前記電子機器の傾きの態様に応じて前記視線誘導画像の表示位置を変更することを特徴とする請求項１から８のいずれか１項に記載の電子機器。

【請求項10】

少なくとも１つの撮像装置と、少なくとも１つの表示装置と、少なくとも１つの制御装置とを備える電子機器であって、
前記撮像装置は、前記表示装置の表示画面の端部領域に配置され、
前記制御装置は、撮像対象者の視線を前記撮像装置による撮像に適した前記表示画面の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示処理を実行し、
前記視線誘導画像は、複数の部分視線誘導画像を含んでおり、
前記制御装置は、撮像指示があった場合、
前記表示処理において、前記複数の部分視線誘導画像それぞれを、前記配置箇所に対して、遠い箇所から近い箇所へ並ぶように表示させた後、所定のタイミング毎に、前記複数の部分視線誘導画像のうちで前記配置箇所から最も離れた箇所に表示されている部分視線誘導画像から順次非表示にすることを特徴とする電子機器。

【請求項11】

請求項１から１０のいずれか１項に記載の電子機器における制御装置としてコンピュータを機能させるためのプログラム。

【請求項12】

少なくとも１つの撮像装置と、少なくとも１つの表示装置とを備える電子機器を制御する制御装置であって、
前記撮像装置は、前記表示装置の表示画面の端部領域に配置され、
撮像対象者の視線を前記撮像装置による撮像に適した前記表示画面の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示制御部を備え、
前記視線誘導画像は、複数の部分視線誘導画像を含んでおり、
前記表示制御部は、撮像指示があった場合、
前記複数の部分視線誘導画像を、前記配置箇所を中心とした同心円状に表示させた後、所定のタイミング毎に、前記複数の部分視線誘導画像のうちで前記配置箇所から最も離れた箇所に表示されている部分視線誘導画像から順次非表示にすることを特徴とする制御装置。

【請求項13】

少なくとも１つの撮像装置と、少なくとも１つの表示装置とを備える電子機器を制御する制御方法であって、
前記撮像装置は、前記表示装置の表示画面の端部領域に配置され、
撮像対象者の視線を前記撮像装置による撮像に適した前記表示画面の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示ステップを含み、
前記視線誘導画像は、複数の部分視線誘導画像を含んでおり、
前記表示ステップにおいて、撮像指示があった場合、
前記複数の部分視線誘導画像を、前記配置箇所を中心とした同心円状に表示させた後、所定のタイミング毎に、前記複数の部分視線誘導画像のうちで前記配置箇所から最も離れた箇所に表示されている部分視線誘導画像から順次非表示にすることを特徴とする制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器、プログラム、制御装置および制御方法に関する。

【背景技術】

【0002】

スマートフォンやタブレット端末などの電子機器において、カメラがいわゆるインカメラとして表示装置側に配置されている場合、当該電子機器のユーザは、自分撮り（いわゆる、セルフィー撮影）と呼ばれるユーザ自身の撮影を行うことができる。

【0003】

例えば特許文献１には、ユーザが自分撮りを行う場合、表示装置にシャッターアイコンが表示されるとともに、ユーザが指を近づけると視線誘導矢印がさらに表示される電子機器が開示されている。この電子機器は、ユーザの視線が表示装置に対して正面を向いた状態で指がシャッターアイコンに触れると、自分撮りを実行する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】日本国公開特許公報「特開２０１５−１３９０３７号公報（２０１５年７月３０日公開）」

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、特許文献１に開示された電子機器は、視線誘導矢印をユーザの顔を表す画像部分に重ねて表示する。そのため、ユーザは、自分撮りを行う際に自分の顔と視線誘導矢印とを同時に確認することが容易ではなかった。

【0006】

本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザが、表示装置に表示された自分の顔と視線誘導のための表示とを同時に確認し易いようにすることにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る電子機器は、少なくとも１つの撮像装置と、少なくとも１つの表示装置と、少なくとも１つの制御装置とを備える電子機器であって、前記撮像装置は、前記表示装置の表示画面の端部領域に配置され、前記制御装置は、撮像対象者の視線を自分撮りに適した前記表示画面上の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示処理を実行する。

【0008】

本発明の一態様に係る制御装置は、少なくとも１つの撮像装置と、少なくとも１つの表示装置とを備える電子機器を制御する制御装置であって、前記撮像装置は、前記表示装置の表示画面の端部領域に配置され、撮像対象者の視線を自分撮りに適した前記表示画面上の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示制御部を備える。

【0009】

本発明の一態様に係る制御方法は、少なくとも１つの撮像装置と、少なくとも１つの表示装置とを備える電子機器を制御する制御方法であって、前記撮像装置は、前記表示装置の表示面の端部領域に配置され、撮像対象者の視線を自分撮りに適した前記表示画面上の基準領域に導くための視線誘導画像を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示制御ステップを含む。

【発明の効果】

【0010】

本発明の一態様によれば、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなる。

【図面の簡単な説明】

【0011】

【図1】（ａ）は、本発明の実施形態１〜７に係るスマートフォンの機能的構成を示すブロック図である。（ｂ）は、上記スマートフォンの正面図である。

【図2】本発明の実施形態１に係るスマートフォンにおける、自分撮り指示後の表示画面の一例を示す図である。

【図3】（ａ）は、本発明の実施形態１に係るスマートフォンにおける、自分撮りの方法の一例を示すフローチャートである。（ｂ）は、上記自分撮りの方法の他の例を示す図である。

【図4】（ａ）および（ｂ）は、自分撮り指示後の表示画面の変形例を示す図である。

【図5】（ａ）〜（ｃ）は、自分撮り指示後の表示画面の変形例を示す図である。

【図6】（ａ）および（ｂ）は、自分撮り指示後の表示画面の変形例を示す図である。

【図7】（ａ）〜（ｄ）は、自分撮り指示後の表示画面の変形例を示す図である。

【図8】（ａ）は、本発明の実施形態２に係るスマートフォンにおける、補助視線誘導画像が表示された表示画面の一例を示す図である。（ｂ）は、ユーザの視線がカメラを向いているか否かの判定方法を説明するための図である。（ｃ）は、補助視線誘導画像が表示された表示画面の変形例を示す図である。

【図9】（ａ）は、本発明の実施形態２に係るスマートフォンにおける、視線誘導画像の表示態様の一例を示す図である。（ｂ）および（ｃ）は、視線位置の決定方法を説明するための図である。

【図10】本発明の実施形態２に係るスマートフォンにおける、視線誘導画像を非表示とした場合の表示画面の一例を示す図である。

【図11】（ａ）は、本発明の実施形態３に係るスマートフォンにおける、自分撮り開始後の表示画面の一例を示す図である。（ｂ）は、自分撮り開始後の表示画面の他の例を示す図である。（ｃ）は、自分撮り開始後の表示画面の変形例を示す図である。

【図12】本発明の実施形態４に係るスマートフォンにおける、自分撮り開始後の表示画面の一例を示す図である。

【図13】本発明の実施形態５に係るスマートフォンにおける、自分撮り開始後の表示画面の一例を示す図である。

【図14】（ａ）および（ｂ）は、自分撮り開始後の表示画面の他の例を示す図である。

【図15】（ａ）および（ｂ）は、自分撮り開始後の表示画面の他の例を示す図である。

【図16】本発明の実施形態６に係るスマートフォンにおける、自分撮り開始後の表示画面の一例を示す図である。

【図17】（ａ）および（ｂ）は、本発明の実施形態７に係るスマートフォンにおける、自分撮り開始後の表示画面の一例を示す図である。

【発明を実施するための形態】

【0012】

説明の便宜上、特定の項目について説明した構成と同一の機能を有する構成については、同一の符号を付記し、その説明を省略する。実施形態２以下の各実施形態についても同様である。なお、本実施形態以下の各実施形態において、本発明の一態様に係る電子機器が備える撮像装置、表示装置、制御装置等の各装置については、単数であってもよいし、複数であってもよい。

【0013】

＜スマートフォンの構成＞
スマートフォン１００（電子機器）は、パーソナルコンピュータ・ＰＤＡ（Personal Digital Assistant：携帯情報端末）等の機能を併せ持った多機能の携帯電話機である（後述のスマートフォン２００〜７００についても同様）。なお、本発明の適用対象となる電子機器としては、スマートフォンの他、携帯電話機やタブレット端末等を例示することができる。図１の（ａ）に示すように、スマートフォン１００は、カメラ１０（撮像装置）、記憶装置１１、操作入力装置１２、表示装置１３および制御装置１４を備えている。

【0014】

カメラ１０は、レンズ、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）その他の撮像素子およびオートフォーカス機構を有している。カメラ１０は、図１の（ｂ）に示すように、表示装置１３の表示画面１３ａの端部領域１３ａ−１に形成された切欠き１３ｂ内に配置されている。

【0015】

表示画面１３ａの端部領域１３ａ−１とは、表示画面１３ａにおける長手方向および短手方向の各端部の領域を総称したものである。本実施形態では、図１の（ｂ）に示すように、表示画面１３ａにおける短手方向の端部の領域を端部領域１３ａ−１とする。なお、端部領域１３ａ−１に切欠き１３ｂを形成することは必須ではない。言い換えれば、カメラ１０は端部領域１３ａ−１に配置されていればよい。

【0016】

記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などで構成され、スマートフォン１００が備える各装置の動作に必要なデータを記憶する。記憶装置１１は、例えば制御装置１４に内蔵されてもよいし、スマートフォン１００の外部に具備されてもよい。

【0017】

操作入力装置１２は、タッチパネルおよび操作入力処理を行う回路などを有している。操作入力装置１２は、ユーザ（撮像対象者）からの入力操作の検知、ユーザの指が表示画面１３ａの任意の領域にホバー（近接）およびタッチ（接触）したことの検知を行う。また、操作入力装置１２は、表示画面１３ａに表示されたカーソルの位置などの算出も行う。

【0018】

表示装置１３は、タッチパネルおよび表示処理を行う回路などを有し、タッチパネルの表示画面１３ａに各種画像およびカーソルなどを表示させる。タッチパネルは、操作入力装置１２の一部および表示装置１３の一部として動作する。

【0019】

なお、本実施形態以下の各実施形態では、操作入力装置１２の一部と表示装置１３の一部とが一体化したタッチパネルを例に挙げて説明しているが、操作入力装置１２および表示装置１３は、それぞれ個別のデバイスであってもよい。

【0020】

制御装置１４は、例えばＣＰＵであり、記憶装置１１に記憶されているプログラムを実行することによってスマートフォン１００が備える各装置の動作を統括的に制御する。また、制御装置１４は、図１の（ａ）に示すように表示制御部１４ａを備えている。

【0021】

表示制御部１４ａは、視線誘導画像１（図２参照）を表示画面１３ａにおけるカメラ１０の配置箇所の周囲に表示させる、表示処理を実行する。本実施形態では、ユーザによる自分撮りの指示（撮像指示）があった場合に、視線誘導画像１がカメラ１０の配置箇所の周囲に表示される。

【0022】

なお、本実施形態における「自分撮り」の文言には、カメラ１０を用いて、ユーザ自身が表示画面１３ａに表示された自身の画像を確認しながら撮影する態様が含まれる。その他、もちろん、ユーザ自身のみならず、ユーザ以外の撮像対象者が表示画面１３ａに表示された自身の画像を確認しながら、セルフタイマー機能を用いて自身の画像を撮影する態様も「自分撮り」の文言に含まれる。

【0023】

また、「撮像対象者」の文言については、上記の「自分撮り」により自身の画像の撮影を行う者を意味している。すなわちユーザ自身のみならず、ユーザ以外の者であっても「自分撮り」を行う者は、「撮像対象者」に含まれる。

【0024】

「ユーザによる自分撮りの指示があった場合」としては、表示画面１３ａのシャッターアイコン領域（不図示）でホバー反応またはタッチ反応があった場合を例示することができる。なお、視線誘導画像１は、自分撮りの指示があったか否かに拘らず、表示画面１３ａがプレビュー画面の状態からカメラ１０の配置箇所の周囲に常時表示されていてもよい。

【0025】

視線誘導画像１は、ユーザの視線を自分撮り（撮像装置による撮像）に適した表示画面１３ａ上の基準領域に導くための画像である。本実施形態以下の各実施形態において、「基準領域」は、ユーザが表示画面１３ａを正視できる当該表示画面１３ａ上の位置であり、端部領域１３ａ−１における切欠き１３ｂの近傍かつ両側の領域を指す（図８の（ａ）参照）。なお、基準領域の具体的数値範囲は任意に設定してよく、例えば、操作入力装置１２を介したユーザ操作によって上記数値範囲を変更してもよい。あるいは、予め複数の数値範囲を表示制御部１４ａ内のメモリ（不図示）に格納しておき、表示画面１３ａに表示されたユーザの顔の配置位置に応じて、表示制御部１４ａが上記複数の数値範囲の中から最適な数値範囲を選択するようにしてもよい。

【0026】

なお、本実施形態以下の各実施形態では、本発明の一態様に係る視線誘導画像がスマートフォン（電子機器）の表示画面に表示される場面として、ユーザが自分撮りをする場面を想定している。しかしながら、ユーザの自分撮りはあくまで一例であり、例えば、ユーザ以外の撮像対象者をセルフタイマー機能を用いて撮影する場合も本発明の適用範囲に含まれる。言い換えれば、本発明の一態様に係る視線誘導画像は、スマートフォンのカメラ（撮像装置）による撮像対象者の撮影全般において、表示画面に表示される。

【0027】

＜視線誘導画像の表示＞
視線誘導画像１は、図２に示すように６つの部分視線誘導画像１ａで構成される。また、３つの部分視線誘導画像１ａが一組となり、これら２つの組が切欠き１３ｂを挟み込むように、端部領域１３ａ−１の短手側の延伸方向（紙面向かって左右方向）に沿って切欠き１３ｂの両側に表示される。本実施形態において「カメラ１０の配置箇所の周囲」とは、端部領域１３ａ−１における、上述の切欠き１３ｂの両側の領域を指す。

【0028】

部分視線誘導画像１ａは、くの字形状であり、上記部分視線誘導画像１ａの組ごとに、折れ曲がった部分の先端が同方向を向いている。また、部分視線誘導画像１ａは、折れ曲がった部分の先端がカメラ１０の方を向くように表示される。

【0029】

なお、部分視線誘導画像１ａの個数・形状は図２の場合に限定されない。例えば、部分視線誘導画像１ａが矢印形状であってもよい。また、視線誘導画像１が複数の部分視線誘導画像１ａで構成されている必要もなく、単一の図形（例えばくの字形状、矢印形状）で構成されていてもよい。本実施形態以下の各実施形態においても、視線誘導画像１の表示位置や表示態様、部分視線誘導画像１ａの個数が適宜変化している。

【0030】

＜自分撮りの方法＞
スマートフォン１００による自分撮りの方法としては、図３の（ａ）および（ｂ）に示す方法を例示することができる（後述のスマートフォン２００〜７００についても同様）。

【0031】

まず、図３の（ａ）に示すように、表示画面１３ａのシャッターアイコン領域でホバー反応があった場合に視線誘導画像１を表示し、シャッターアイコン領域でタッチ反応があった場合に自分撮りの処理を実行する方法がある。

【0032】

すなわち、ステップ（以下、「Ｓ」と略記）１０１で、制御装置１４が表示画面１３ａをプレビュー画面の状態にして撮影プレビューを開始した後、制御装置１４は、シャッターアイコン領域でホバー反応があったか否かを判定する（Ｓ１０２）。

【0033】

Ｓ１０２で「ＹＥＳ（以下、「Ｙ」と略記）」と判定した場合、制御装置１４の表示制御部１４ａは、表示画面１３ａにおけるカメラ１０の配置箇所の周囲に視線誘導画像１を表示させて（Ｓ１０３：表示ステップ）、Ｓ１０４に進む。一方、Ｓ１０２で「ＮＯ（以下、「Ｎ」と略記）」と判定した場合、表示制御部１４ａは、視線誘導画像１を表示させることなくＳ１０４に進む。

【0034】

Ｓ１０４では、制御装置１４が、シャッターアイコン領域でタッチ反応があったか否かを判定する。Ｓ１０４で「Ｙ」と判定した場合、制御装置１４がカメラ１０のシャッターを切ることにより（Ｓ１０５）、自分撮りは終了する（Ｓ１０６）。ここで、自分撮りの処理の実行の際に視線誘導画像１がまだ表示されている場合、表示制御部１４ａは視線誘導画像１を非表示にする。

【0035】

一方、Ｓ１０４で「Ｎ」と判定した場合、制御装置１４は、Ｓ１０２以下の各処理を再び実行する。

【0036】

次に、図３の（ｂ）に示すように、表示画面１３ａのシャッターアイコン領域でタッチ反応があった場合に視線誘導画像１を表示し、シャッターアイコン領域でタッチ反応が無くなった場合に自分撮りの処理を実行する方法がある。

【0037】

すなわち、制御装置１４は、Ｓ２０１において表示画面１３ａをプレビュー画面の状態にして撮影プレビューを開始し、Ｓ２０２に進む。Ｓ２０２で、制御装置１４がシャッターアイコン領域でタッチ反応を検出すると、表示制御部１４ａは、表示画面１３ａにおけるカメラ１０の配置箇所の周囲に視線誘導画像１を表示させる（Ｓ２０３：表示ステップ）。

【0038】

Ｓ２０４で、制御装置１４がシャッターアイコン領域でタッチ反応が無くなったことを検出すると、制御装置１４がカメラ１０のシャッターを切って（Ｓ２０５）、自分撮りは終了する（Ｓ２０６）。自分撮りの処理の実行の際に視線誘導画像１がまだ表示されている場合、表示制御部１４ａは視線誘導画像１を非表示にする。

【0039】

＜視線誘導画像の変形例＞
本実施形態に係る視線誘導画像の形状・表示態様等は、図２に示す視線誘導画像１の他、様々なバリエーションが想定される。例えば、図４に示すように、視線誘導画像１において、所定のタイミング毎に異なる部分視線誘導画像１ａがハイライト表示されてもよい。

【0040】

具体的には、制御装置１４の表示制御部１４ａは、ユーザによる自分撮りの指示があった直後は、カメラ１０の配置箇所から最も離れた箇所に表示されている部分視線誘導画像１ａをハイライト表示する。そして、図４の（ａ）および（ｂ）に示すように、１秒毎に上記配置箇所に対してより近い部分視線誘導画像１ａをハイライト表示する。上記配置箇所に対して最も近い部分視線誘導画像１ａがハイライト表示された後、制御装置１４は、自分撮りの処理を実行する。なお、所定のタイミングは１秒でなくてもよく、任意に変更してもよい（以下の説明においても同様）。

【0041】

また例えば、図５に示すように、カメラ１０の配置箇所を中心として半円状に表示される視線誘導画像２を、視線誘導画像１の代わりに用いてもよい。視線誘導画像２は、上記配置箇所を中心として同心円状に表示された３つの部分視線誘導画像２ａで構成される。なお、部分視線誘導画像２ａの個数は任意に変更してもよい。

【0042】

具体的には、表示制御部１４ａは、ユーザによる自分撮りの指示があった場合、表示処理において、図５の（ａ）に示すように３つの部分視線誘導画像２ａを表示させる。その後、図５の（ｂ）および（ｃ）に示すように、１秒（所定のタイミング）毎に、カメラ１０の配置箇所から最も離れた箇所に表示されている部分視線誘導画像２ａから順次非表示にしていく。上記配置箇所に対して最も近い部分視線誘導画像２ａが非表示になった後、制御装置１４は、自分撮りの処理を実行する。

【0043】

また例えば、図６に示すように、所定のタイミング毎に表示位置が変わる視線誘導画像３を、視線誘導画像１の代わりに用いてもよい。視線誘導画像３は、視線誘導画像１と同じ形状であって単体で構成される。

【0044】

具体的には、表示制御部１４ａは、ユーザによる自分撮りの指示があった直後は、表示処理において、視線誘導画像３をカメラ１０の配置箇所からある程度離れた所定の箇所に表示させる。そして、図６の（ａ）および（ｂ）に示すように、１秒毎に、視線誘導画像３が上記配置箇所に対してより近づくように当該視線誘導画像３を表示させる。上記配置箇所に対して視線誘導画像３が最も近づいた後、制御装置１４は、自分撮りの処理を実行する。

【0045】

また例えば、図７の（ａ）〜（ｃ）に示すように、視線誘導画像１の表示位置を適宜変更してもよい。ます、図７の（ａ）に示すように、表示画面１３ａの長手方向が紙面向かって左右方向と平行になるようにスマートフォン１００の配置した場合、表示制御部１４ａは、２つの部分視線誘導画像１ａの組が切欠き１３ｂを挟み込むように、当該２つの組を端部領域１３ａ−１の延伸方向に沿って、すなわち紙面向かって上下方向に表示してもよい。

【0046】

なお、表示制御部１４ａは、視線の高さ合わせのために、先端がカメラ１０の中心を指すような矢印形状のターゲット画像Ｔを切欠き１３ｂの近傍に表示させてもよい。ユーザは、このターゲット画像を見ることにより、自分の視線をより確実に基準領域に向けることができる。

【0047】

また、図７の（ｂ）に示すように、切欠き１３ｂが、表示画面１３ａの端部領域１３ａ−１において、表示画面１３ａの長手方向に沿って延伸する中心軸（不図示）からずれた箇所に形成され、カメラ１０が当該切欠き１３ｂ内に配置されている場合、表示制御部１４ａは、端部領域１３ａ−１のスペースが小さい方の領域に表示させる部分視線誘導画像１ａの個数を、スペースが大きい方の領域に表示させる部分視線誘導画像１ａの個数よりも少なくしてもよい。

【0048】

また、図７の（ｃ）に示すように、表示制御部１４ａは、部分視線誘導画像１ａの一部がユーザの顔を表す第２画像Ｆの一部と重なるように、視線誘導画像１を表示させてもよい。但し、表示制御部１４ａは、ユーザによる第２画像Ｆと視線誘導画像１との同時確認が容易でなくなる程度まで部分視線誘導画像１ａの一部と第２画像Ｆの一部とが重ならないように、表示制御する。

【0049】

また例えば、図７の（ｄ）に示すように、表示制御部１４ａは、表示画面１３ａの端部領域１３ａ−１における、切欠き１３ｂの両側の領域のうちの一方にのみ視線誘導画像１を表示させ、他方には各種アイコンや他の画像を表示させてもよい。このような表示態様を採用することで、ユーザは視線を基準領域に保ちながらアイコン操作を行うことができ、スマートフォン１００の利便性をより高めることができる。

【0050】

〔実施形態２〕
図１の（ａ）に示すように、スマートフォン２００は、制御装置１４が第１算出部１４ｂ、第１判定部１４ｃおよび第２判定部１４ｅをさらに備えている点で、実施形態１に係るスマートフォン１００と異なる。

【0051】

＜補助視線誘導画像の表示＞
第１算出部１４ｂは、ユーザの目を表す第１画像Ｅを解析することにより、ユーザの黒目の重心位置Ｇを算出する第１算出処理を実行する。重心位置Ｇは、ユーザの目の中心に対する、黒目の重心の位置である。

【0052】

以下、第１算出処理について説明する。まず、第１算出部１４ｂは、カメラ１０によって撮像された第２画像Ｆを取得し、当該第２画像Ｆから図８の（ａ）に示すような第１画像Ｅ（紙面向かって右側が右目、左側が左目）を抽出する。次に、第１画像Ｅからユーザの黒目を表す第３画像Ｂを抽出し、左右それぞれの第１画像Ｅについて、第１画像Ｅの中心のＸ座標（Ｘ＝０とする）に対する第３画像Ｂの重心位置ＧのＸ座標（Ｘｒ：右目、Ｘｌ：左目とする）を算出する。

【0053】

なお、本実施形態では、第１画像Ｅの目頭から目尻にかけて延伸する方向と平行な軸をＸ軸として設定するとともに、Ｘ軸と直交し、かつ第１画像Ｅの中心を通る軸をＹ軸として設定する。また、紙面向かって右側をＸ軸のプラス方向、上側をＹ軸のプラス方向とする（図９の（ａ）、図１１の（ｂ）についても同様）。

【0054】

第１判定部１４ｃは、第１算出部１４ｂによって算出された重心位置ＧのＸ座標と閾値とを比較することにより、ユーザの視線がカメラ１０を向いているか否かを判定する第１判定処理を実行する。

【0055】

以下、第１判定処理について説明する。本実施形態では、右目の重心位置Ｇとの比較に用いられる閾値をＲｔｈとし、左目の重心位置Ｇとの比較に用いられる閾値をＬｔｈとする。なお、閾値Ｒｔｈ・Ｌｔｈは、ともに任意に設定変更してよい。

【0056】

まず、第１判定部１４ｃは、右目の重心位置ＧのＸ座標Ｘｒと閾値Ｒｔｈとを比較し、左目の重心位置ＧのＸ座標Ｘｌと閾値Ｌｔｈとを比較する。次に、比較結果が、図８の（ａ）に示すようにＸｒ＜Ｒｔｈ、かつＸｌ＞Ｌｔｈとなった場合、第１判定部１４ｃは、ユーザの視線がカメラ１０を向いていると判定する。一方、上述の比較結果にならなかった場合、第１判定部１４ｃは、ユーザの視線はカメラ１０を向いていないと判定する。

【0057】

なお、判定基準は上述の場合に限定されない。例えば、Ｘｒ＜Ｒｔｈ、またはＸｌ＞Ｌｔｈのいずれか一方の条件を満たせば、ユーザの視線がカメラ１０を向いていると判定してもよい。

【0058】

第１判定部１４ｃによってユーザの視線がカメラ１０を向いていると判定された場合、表示制御部１４ａは、表示処理において、図８の（ｂ）に示すような補助視線誘導画像Ａを基準領域Ｓに表示させる。補助視線誘導画像Ａは、ユーザの視線を基準領域に導くための画像であり、本実施形態では星形状で表示画面１３ａに表示される。なお、補助視線誘導画像Ａの形状等は、任意に設定変更してよい。

【0059】

また、表示制御部１４ａは、補助視線誘導画像Ａとともに、説明画像Ｄを第２画像Ｆの頭部部分に重ねて表示させる。説明画像Ｄは、ユーザに対して視線を補助視線誘導画像Ａに合わせることを報知するための表示であり、長方形の枠内に「左右の誘導マークをそれぞれの目で見て下さい」との文言が記載された画像となっている。

【0060】

説明画像Ｄを表示させることで、ユーザは、補助視線誘導画像Ａに自分の目線を合わせなければならないことを明確に認識できる。そのため、自分撮りに適した視線位置をより確実に確保することができる。なお、説明画像Ｄの表示内容・表示位置等については任意に設定変更してもよい。また、補助視線誘導画像Ａを表示させる場合であっても、説明画像Ｄを表示させなくてもよい。

【0061】

なお、図８の（ｃ）に示すように、スマートフォン２００がカメラ１０を２つ備えており、自分撮りを３Ｄ撮影で行う場合についても、表示制御部１４ａは、補助視線誘導画像Ａおよび説明画像Ｄを表示させてもよい。このことは、スマートフォン２００がカメラ１０を３つ以上備えている場合についても同様である。

【0062】

＜視線誘導画像の表示態様の変更＞
また、第１算出部１４ｂは、第１画像Ｅを解析することにより視線位置Ｖを算出する第２算出処理も実行する。視線位置Ｖは、ユーザの視線と対応する表示画面１３ａ上の位置である。

【0063】

以下、第２算出処理について説明する。まず、第１算出部１４ｂは、第１算出処理と同様に第１画像Ｅからユーザの黒目を表す第３画像Ｂを抽出する。次に、第１算出部１４ｂは、左右それぞれの第１画像Ｅについて、第１画像Ｅの中心の座標（Ｘ＝０、Ｙ＝０）に対する第３画像Ｂの重心位置Ｇの座標を算出する。ここで、図９の（ａ）に示すように、右目の第３画像Ｂの重心位置ＧのＹ座標をＹｒとし、左目の第３画像Ｂの重心位置ＧのＹ座標をＹｌとする。

【0064】

次に、第１算出部１４ｂは、重心位置Ｇの座標（Ｘｒ、Ｙｒ）および（Ｘｌ、Ｙｌ）を用いて、図９の（ｂ）に示すような表示画面１３ａ上の視線位置Ｖの座標（Ｘｖ、Ｙｖ）を算出する。ここで、視線位置ＶのＸ座標Ｘｖの算出には、Ｘｖ＝Ａｘ×（Ｘｒ＋Ｘｌ）／２の計算式を用いる。また、視線位置ＶのＹ座標Ｙｖには、Ｙｖ＝Ａｙ×（Ｙｒ＋Ｙｌ）／２の計算式を用いる。なお、これらの計算式はあくまで一例であり、他の計算式を用いてもよい。

【0065】

表示制御部１４ａは、第１算出部１４ｂから第２算出処理の実行結果（視線位置Ｖの座標（Ｘｖ、Ｙｖ））を取得することにより、表示処理において、視線位置Ｖとカメラ１０の配置箇所との間の領域に、視線誘導画像１を表示させる。ここで、視線位置Ｖとカメラ１０の配置箇所との間の領域は、端部領域１３ａ−１内に存在することが前提となる。

【0066】

例えば、視線位置Ｖが第２画像Ｆの紙面向かって左上（かつ頭部付近）の位置であった場合、表示制御部１４ａは、図９の（ｃ）に示すように、３つの部分視線誘導画像１ａを視線位置Ｖから紙面向かって右上の方向に並ぶように表示させる。

【0067】

＜視線誘導画像の非表示＞
第２判定部１４ｅは、第１算出部１４ｂによって算出された視線位置Ｖの座標値に基づいて、基準領域内における視線位置Ｖの存否を確認する。そして、基準領域内に視線位置Ｖが存在していることを確認した場合、第２判定部１４ｅは、図１０に示すように視線誘導画像１を非表示にする。一方、基準領域内に視線位置Ｖが存在していることを確認できなかった場合、第２判定部１４ｅは、視線誘導画像１の表示を継続させる。

【0068】

なお、上述した第１算出部１４ｂおよび第１・第２判定部１４ｃ・１４ｅの各処理は、ユーザによる自分撮りの指示があった場合に実行されることを前提としている。しかし、この場合に限定されず、例えば表示画面１３ａがプレビュー画面の状態で実行されてもよい。

【0069】

また、スマートフォン２００は、上述した第１算出部１４ｂおよび第１・第２判定部１４ｃ・１４ｅの各処理すべてを実行できなくてもよく、少なくともいずれか１つの処理を実行するものであればよい。言い換えれば、スマートフォン２００は、第１算出部１４ｂおよび第１・第２判定部１４ｃ・１４ｅのすべてを備えていなくてもよい。スマートフォン１００の構成に加えて、例えば、第１算出部１４ｂのみ備えていてもよいし、第１算出部１４ｂと第１判定部１４ｃとを備えていてもよい。また、第１算出部１４ｂと第２判定部１４ｅとを備えていてもよい。

【0070】

〔実施形態３〕
図１の（ａ）に示すように、スマートフォン３００は、制御装置１４が第２算出部１４ｄをさらに備えている点で、実施形態１・２に係るスマートフォン１００・２００と異なる。

【0071】

＜スマートフォンの傾きに応じた視線誘導画像の表示＞
表示制御部１４ａは、表示処理において、スマートフォン３００の傾きの態様に応じて視線誘導画像１の表示画面１３ａ上の表示位置を変更する。スマートフォン３００の傾きは、スマートフォン３００に内蔵された加速度センサ（不図示）によって検知される。表示制御部１４ａは、加速度センサの検知結果に基づいて上記表示位置を適宜変更する。

【0072】

ここで、「スマートフォン３００の傾き」について説明する。スマートフォン３００の表示画面１３ａ側を正面視した場合において、スマートフォン３００が図１１の（ｂ）の状態を「傾きなし」とする。この「傾きなし」の状態を角度０度とした場合に、表示画面１３ａが、図１１の（ａ）に示すように当該表示画面１３ａと直交する中心軸（不図示）を回転軸として任意の角度まで回転している状態を「傾きあり」とする。

【0073】

例えば、スマートフォン３００が図１１の（ａ）のように傾いた場合、表示制御部１４ａは、部分視線誘導画像１ａを、端部領域１３ａ−１内において紙面向かって略上下方向に配置するように表示させる。具体的には、３つの部分視線誘導画像１ａを切欠き１３ｂよりも紙面向かって下側に表示させ、１つの部分視線誘導画像１ａを切欠き１３ｂよりも紙面向かって上側に表示させる。

【0074】

なお、表示制御部１４ａは、先端がカメラ１０の中心を指すような矢印形状のターゲット画像Ｔを切欠き１３ｂの近傍に表示させてもよい。また、スマートフォン３００の傾きの態様が刻々と変化する場合、表示制御部１４ａは、その時々の表示画面１３ａの回転角度に応じて上記表示位置を適宜変更してもよい。

【0075】

＜第２画像の表示態様に応じた視線誘導画像の表示＞
第２算出部１４ｄは、第２画像Ｆを解析することにより顔中心位置Ｃを算出する第３算出処理を実行する。顔中心位置Ｃは、ユーザの顔の中心と対応する表示画面１３ａ上の位置である。

【0076】

以下、第３算出処理について説明する。まず、第２算出部１４ｄは、カメラ１０によって撮像された第２画像Ｆを取得し、当該第２画像Ｆから第１画像Ｅ（図８の（ａ）参照）を抽出する。次に、第２算出部１４ｄは、図１１の（ｂ）に示すように左右それぞれの第１画像Ｅについて中心のＸ座標（右目：Ｘｒｃ、左目：Ｘｌｃ）を算出し、ＸｒｃとＸｌｃとを結んだ線分の中点のＸ座標ｆｃを算出する。このＸ座標ｆｃが、顔中心位置ＣのＸ座標となる。本実施形態では、顔中心位置ＣのＸ座標ｆｃ算出の基準となるＹ軸を、表示画面１３ａの長手方向に沿って延伸する当該表示画面１３ａの中心軸とする。

【0077】

表示制御部１４ａは、第２算出部１４ｄから第３算出処理の実行結果（顔中心位置ＣのＸ座標ｆｃ）を取得することにより、表示処理において、表示画面１３ａの中心に対する顔中心位置Ｃの配置態様に応じて視線誘導画像１の表示位置を変更する。ここで、「表示画面１３ａの中心」とは、上述の表示画面１３ａの中心軸、すなわちＹ軸を指す。

【0078】

本実施形態では、表示制御部１４ａは、ｆｃ＞０であれば第２画像Ｆが紙面向かって右側に偏って表示されていると判定し、ｆｃ＜０であれば第２画像Ｆが紙面向かって左側に偏って表示されていると判定する。

【0079】

例えば、図１１の（ｂ）に示すように、第２画像Ｆが紙面向かって右側に偏って表示されていることが判明した場合、表示制御部１４ａは、端部領域１３ａ−１における切欠き１３ｂに対して紙面向かって右側の領域のみに、複数の部分視線誘導画像１ａを表示させる。なお、図１１の（ｂ）の例では、２つの部分視線誘導画像１ａが表示されているが、１つだけ表示させてもよいし、３つ以上表示させてもよい。

【0080】

＜変形例＞
上述した（i）スマートフォンの傾きに応じた視線誘導画像の表示、および（ii）第２画像の表示態様に応じた視線誘導画像の表示は、それぞれ個別に実行される必要は必ずしもない。これら（i）、（ii）の各処理が同時に実行されてもよい。

【0081】

例えば、図１１の（ｃ）に示すように、スマートフォン３００が傾いているとともに、第２画像Ｆが紙面向かって右側あるいは左側に偏って表示されるケースもあり得る（図１１の（ｃ）の例では、第２画像Ｆが紙面向かって左側に偏って表示）。このような場合に対応すべく、表示制御部１４ａが、加速度センサの検知結果および第３算出処理の実行結果の両方を用いて視線誘導画像１の表示位置を変更してもよい。

【0082】

図１１の（ｃ）の例では、表示制御部１４ａは、３つの部分視線誘導画像１ａを、端部領域１３ａ−１内において、紙面向かって左右方向かつ切欠き１３ｂよりも紙面向かって左側に配置するように表示させる。

【0083】

なお、上述した第２算出部１４ｄおよび表示制御部１４ａの各処理は、ユーザによる自分撮りの指示があった場合に実行されることを前提としている。しかし、この場合に限定されず、例えば表示画面１３ａがプレビュー画面の状態で実行されてもよい。

【0084】

〔実施形態４〕
本実施形態４に係るスマートフォン４００は、表示制御部１４ａが、背景画像内に被写体画像Ｂが含まれている場合に視線誘導画像１の表示位置を適宜変更する点で、実施形態１〜３に係るスマートフォン１００〜３００と異なる。

【0085】

なお、スマートフォン４００は、第１・第２算出部１４ｂ・１４ｄおよび第１・第２判定部１４ｃ・１４ｅを備えていてもよいし、備えていなくてもよい。このことは、後述するスマートフォン５００および６００についても同様である。

【0086】

＜被写体画像の存否に応じた視線誘導画像の表示＞
表示制御部１４ａは、カメラ１０によって撮像された背景画像を取得し、当該背景画像内に被写体画像Ｂが含まれているか否かを判定する。背景画像は、ユーザの背後の風景を表す画像である。また、被写体画像Ｂは、ユーザの背後あるいは側方に存在する被写体を表す画像である。

【0087】

具体的には、表示制御部１４ａは、撮像画像における、第２画像Ｆ以外の色変化が少ない画像領域を背景画像として取得する。そして、背景画像内に背景色と異なる色を有する画像が存在した場合、表示制御部１４ａは、当該色を有する画像を被写体画像Ｂとして認識する。

【0088】

背景画像内に被写体画像Ｂが含まれていると判定した場合、表示制御部１４ａは、被写体画像Ｂの表示位置に応じて視線誘導画像１の表示位置を変更する。具体的には、表示制御部１４ａは、視線誘導画像１と被写体画像Ｂとが重ならないように当該視線誘導画像１を表示させる。

【0089】

例えば、図１２に示すように、被写体画像Ｂが表示画面１３ａの紙面向かって左上の端に表示されていた場合、表示制御部１４ａは、端部領域１３ａ−１における被写体画像Ｂと第２画像Ｆとの間の領域に、３つの部分視線誘導画像１ａを表示させる。このように、視線誘導画像１を被写体画像Ｂと重ならないように表示させることで、ユーザが、第２画像Ｆ、被写体画像Ｂおよび視線誘導画像１の３つの画像を同時に確認し易くなる。

【0090】

なお、上述した表示制御部１４ａの表示処理は、ユーザによる自分撮りの指示があった場合に実行されることを前提としている。しかし、この場合に限定されず、例えば表示画面１３ａがプレビュー画面の状態で実行されてもよい。このことは、実施形態５および７の各表示処理についても同様である。

【0091】

〔実施形態５〕
本実施形態に係るスマートフォン５００は、表示制御部１４ａが視線誘導画像１・２・３に代えて視線誘導画像４・５を表示させる点で、実施形態１〜４に係るスマートフォン１００〜４００と異なる。

【0092】

表示制御部１４ａは、カメラ１０によって撮像された第２画像Ｆを取得し、当該第２画像Ｆを端部領域１３ａ−１に収まる大きさにした視線誘導画像４を生成する。そして、生成した視線誘導画像４を端部領域１３ａ−１の所定の位置に表示させる。

【0093】

視線誘導画像４の表示態様としては、様々なバリエーションが考えられる。例えば図１３に示すように、視線誘導画像４を、端部領域１３ａ−１における、切欠き１３ｂに対して紙面向かって右側の領域に表示させてもよい。図１３の例では、視線誘導画像４の一部が第２画像Ｆの一部と重なっているが、両者が重ならないようにより小さな視線誘導画像４を表示させてもよい。このように、視線誘導画像４を端部領域１３ａ−１に表示させることにより、ユーザは、自分の顔が自分撮りに適した状態になっているか否かをより認識し易くなる。

【0094】

また例えば、図１４の（ａ）に示すように、視線誘導画像４を、当該視線誘導画像４の中央部分が切欠き１３ｂと重なるように表示させてもよい。このように表示させることで、ユーザは、カメラ１０を最も視認できる状態で、自分の顔が自分撮りに適した状態になっているか否かを認識することができる。

【0095】

ここで、図１４の（ａ）の例において、図１４の（ｂ）に示すように視線誘導画像４をドラックして移動できるようにしてもよい。これにより、例えば、ユーザが切欠き１３ｂと重なっている視線誘導画像４の中央部分を視認したいと思った場合、あるいは視線誘導画像３の表示が気になる場合に、視線誘導画像３をユーザが所望する位置に表示させることができる。

【0096】

また例えば、表示制御部１４ａは、図１５の（ａ）に示すように、ユーザの目およびその周辺部位を表す画像を端部領域１３ａ−１に収まる大きさにした視線誘導画像５を生成してもよい。視線誘導画像５は、図１４の（ａ）の例と同様に、視線誘導画像５の中央部分が切欠き１３ｂと重なるように表示される。このように、視線誘導画像５を当該視線誘導画像５の中央部分が切欠き１３ｂと重なるように表示させることで、ユーザは、視線誘導画像５に表示された自分の目を見ながら視線を合わせることができ、視線を基準位置に合わせることがさらに容易になる。

【0097】

ここで、図１５の（ａ）の例において、表示制御部１４ａは、図１５の（ｂ）に示すように視線誘導画像４における基準位置と対応する箇所に視線合わせ画像Ａ１を表示させてもよい。視線合わせ画像Ａ１は、破線で形成された円形状となっているが、どのような形状であってもよい。

【0098】

また、表示制御部１４ａは、視線合わせ画像Ａ１とともに、説明画像Ｄ１を第２画像Ｆの頭部部分に重ねて表示させる。説明画像Ｄ１は、ユーザに対して視線を視線合わせ画像Ａ１に合わせることを報知するための表示であり、長方形の枠内に「ガイド内に目の位置を合わせて下さい」との文言が記載された画像となっている。

【0099】

説明画像Ｄ１を表示させることで、自分撮りに適した視線位置をより確実に確保することができる。なお、説明画像Ｄ１の表示内容・表示位置等については任意に設定変更してもよい。また、視線合わせ画像Ａ１を表示させる場合であっても、説明画像Ｄ１を表示させなくてもよい。

【0100】

なお、上述の視線誘導画像４・５は、予め生成された上で表示制御部１４ａ内のメモリ、あるいは記憶装置１１に記憶されていてもよい。この場合、制御装置１４がカメラ１０の撮像画像を用いて顔認証を実行し、撮像画像に写った顔がユーザの顔であると判定した場合、表示制御部１４ａが上述の視線誘導画像４・５を表示させる。

【0101】

〔実施形態６〕
本実施形態に係るスマートフォン６００は、カメラ１０を２つ備えており、表示制御部１４ａが自分撮り（撮像装置による撮像）に使用される方のカメラ１０に対応させて視線誘導画像１を表示させる点で、実施形態１〜５に係るスマートフォン１００〜５００と異なる。図１６に示すように、表示画面１３ａの端部領域１３ａ−１には、切欠き１３ｂが２箇所形成されており、各切欠き１３ｂの内部のそれぞれにカメラ１０が配置されている。

【0102】

表示制御部１４ａは、ユーザによる自分撮りの指示があった場合、まず操作入力装置１２から２つのカメラ１０の選択結果を取得する。次に、表示制御部１４ａは、上記選択結果に応じて、自分撮りに使用される方のカメラ１０の配置箇所の周囲に視線誘導画像１を表示させる。

【0103】

図１６の例では、紙面向かって右側のカメラ１０が自分撮りに使用されることから、表示制御部１４ａは、当該カメラ１０の配置箇所の周囲に視線誘導画像１を表示させる。なお、このような、自分撮りに使用されるカメラ１０の配置箇所の周囲に視線誘導画像１を表示させる方法は、スマートフォン６００が３つ以上のカメラ１０を備えている場合についても同様に適用することができる。

【0104】

〔実施形態７〕
本実施形態に係るスマートフォン７００は、ユーザの動画を自分撮りで撮影する場合に、表示制御部１４ａが刻々変化するユーザの視線に応じて視線誘導画像１を動的に表示させる点で、実施形態１〜６に係るスマートフォン１００〜６００と異なる。

【0105】

スマートフォン７００の制御装置１４は、図１の（ａ）に示すように、表示制御部１４ａに加えて第１算出部１４ｂを備えている。第１算出部１４ｂの第２算出処理によって、ユーザの視線位置Ｖが刻々と算出される。表示制御部１４ａは、刻々と算出される視線位置Ｖのそれぞれについて、視線位置Ｖとカメラ１０の配置箇所との間の領域に視線誘導画像１を表示させることにより、視線誘導画像１を動的に表示させる。

【0106】

例えば、ある時点での視線位置Ｖが第２画像Ｆの紙面向かって左上（かつ頭部付近）の位置であった場合、表示制御部１４ａは、図１７の（ａ）に示すように、３つの部分視線誘導画像１ａを視線位置Ｖから紙面向かって右上の方向に並ぶように表示させる。また例えば、ある時点での視線位置Ｖが第２画像Ｆの紙面向かって右上（かつ表示画面１３ａの端）の位置であった場合、表示制御部１４ａは、図１７の（ｂ）に示すように、２つの部分視線誘導画像１ａを視線位置Ｖから紙面向かって左横の方向に並ぶように表示させる。

【0107】

このように視線誘導画像１を動的に表示させることで、自分撮りを動画として撮影する場合でも、ユーザの視線を自分撮りに適した基準位置に常時向けさせることができる。なお、これらの動的に表示される視線誘導画像１は、視線位置Ｖが基準領域内に存在する場合、あるいは視線位置Ｖが検知されなくなった場合には非表示にしてもよい。

【0108】

〔ソフトウェアによる実現例〕
制御装置１４の制御ブロック（特に表示制御部１４ａ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0109】

後者の場合、制御装置１４は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0110】

〔まとめ〕
本発明の態様１に係る電子機器（スマートフォン１００〜７００）は、少なくとも１つの撮像装置（カメラ１０）と、少なくとも１つの表示装置（１３）と、少なくとも１つの制御装置（１４）とを備える電子機器であって、前記撮像装置は、前記表示装置の表示画面（１３ａ）の端部領域（１３ａ−１）に配置され、前記制御装置は、撮像対象者の視線を自分撮りに適した前記表示画面の基準領域（Ｓ）に導くための視線誘導画像（１、２、３、４、５）を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示処理を実行する。

【0111】

上記構成によれば、制御装置が、視線誘導画像を表示画面の端部領域またはその近傍に表示することから、表示画面に表示された撮像対象者の第２画像のうち視線誘導画像と重なる部分を少なくする、あるいは無くすことができる。そのため、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなる。

【0112】

本発明の態様２に係る電子機器（スマートフォン１００）は、上記態様１において、前記制御装置は、撮像指示があった場合、前記表示処理において、前記視線誘導画像（３）を所定の箇所に表示させた後、所定のタイミング毎に、前記視線誘導画像が前記配置箇所に対してより近づくように前記視線誘導画像を表示させてもよい。

【0113】

上記構成によれば、撮像対象者は、視線誘導画像の動きを見ることにより、所定のタイミングに合わせて視線を基準領域に向けることができる。そのため、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなるとともに、正視した状態での撮像装置による撮像をより確実に行うことができる。

【0114】

本発明の態様３に係る電子機器（スマートフォン２００）は、上記態様１または２において、前記制御装置は、前記撮像対象者の目を表す第１画像（Ｅ）を解析することにより、前記目の中心に対する前記撮像対象者の黒目の重心位置（Ｇ）を算出する第１算出処理と、前記重心位置と閾値（Ｌｔｈ、Ｒｔｈ）とを比較することにより、前記視線が前記撮像装置を向いているか否かを判定する第１判定処理と、を実行し、前記第１判定処理にて前記視線が前記撮像装置を向いていると判定した場合に、前記表示処理において、前記視線を前記基準領域に導くための補助視線誘導画像（Ａ）を前記基準領域に表示させてもよい。

【0115】

上記構成によれば、自分撮りする際に撮像対象者の視線が撮像装置を向いていても、当該視線を基準領域に誘導し直すことができる。そのため、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなるとともに、正視した状態での撮像装置による撮像をより確実に行うことができる。

【0116】

本発明の態様４に係る電子機器は、上記態様１から３のいずれかにおいて、前記制御装置は、前記撮像対象者の目を表す第１画像を解析することにより、前記視線と対応する前記表示画面上の位置を視線位置（Ｖ）として算出する第２算出処理と、前記基準領域内における前記視線位置の存否に応じて、前記視線が前記基準領域を向いているか否かを判定する第２判定処理と、を実行し、前記第２判定処理にて前記視線が前記基準領域を向いていると判定した場合に、前記表示処理において、前記視線誘導画像（２）を非表示にしてもよい。

【0117】

上記構成によれば、制御装置は、撮像対象者の視線が基準領域を向いていると判定した場合に視線誘導画像を非表示にする。そのため、撮像対象者は、正視した状態において、視線誘導画像の表示を気にすることなく自分撮りを行うことができる。また、撮像対象者の視線が撮像装置による撮像に適した位置を向いているにも拘らず視線誘導画像を表示し続けるといった無駄を防止することができ、電子機器の消費電力を抑制することができる。

【0118】

本発明の態様５に係る電子機器は、上記態様１から４のいずれかにおいて、前記制御装置は、前記撮像対象者の目を表す第１画像を解析することにより、前記視線と対応する前記表示画面上の位置を視線位置として算出する第２算出処理を実行し、前記表示処理において、前記視線位置と前記配置箇所との間の領域に前記視線誘導画像を表示させてもよい。

【0119】

上記構成によれば、制御装置は、視線位置と撮像装置の配置箇所との間の領域に視線誘導画像を表示させる。したがって、撮像対象者の実際の視線に応じて、当該視線を基準領域に確実に導くように視線誘導画像を表示させることができる。そのため、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなるとともに、正視した状態での撮像装置による撮像をより確実に行うことができる。

【0120】

本発明の態様６に係る電子機器（スマートフォン３００）は、上記態様１から５のいずれかにおいて、前記制御装置は、前記撮像対象者の顔を表す第２画像（Ｆ）を解析することにより、前記撮像対象者の顔の中心と対応する前記表示画面上の位置を顔中心位置（Ｃ）として算出する第３算出処理をさらに実行し、前記表示処理において、前記表示画面の中心に対する前記顔中心位置の配置態様に応じて、前記視線誘導画像（３）の表示位置を変更してもよい。

【0121】

上記構成によれば、表示画面の中心に対する顔中心位置の配置態様から、例えば表示画面に表示された撮像対象者の顔が紙面向かって右側に偏っていることか判れば、視線誘導画像を端部領域における紙面向かって右側の領域に表示させることができる。そのため、撮像対象者が、第２画像と視線誘導画像とを同時に確認し易くなるとともに、表示画面における第２画像の配置に応じた撮像装置による撮像を行うことができる。

【0122】

本発明の態様７に係る電子機器（スマートフォン６００）は、上記態様１から６のいずれかにおいて、前記撮像装置を複数備えており、前記制御装置は、撮像指示があった場合、前記表示処理において、複数の前記撮像装置のうち、前記自分撮りに使用される撮像装置の配置箇所の周囲に前記視線誘導画像（１）を表示させてもよい。

【0123】

上記構成によれば、撮像対象者は、複数の撮像装置のうち、実際に撮像装置による撮像に使用される撮像装置の方向に視線を向けることができる。そのため、電子機器が複数の撮像装置を備える場合において、正視した状態での撮像装置による撮像をより確実に行うことができる。

【0124】

本発明の態様８に係る電子機器（スマートフォン１００〜７００）は、上記態様１から７のいずれかにおいて、撮像装置は、前記端部領域に形成された切欠き（１３ｂ）内に配置されていてもよい。

【0125】

上記構成によれば、撮像装置を、表示画面におけるより周縁側の領域に配置することができる。したがって、視線誘導画像もより周縁側の領域に表示されることから、表示画面に表示された撮像対象者の第２画像のうち視線誘導画像と重なる部分をより少なくする、あるいはより確実に無くすことができる。そのため、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時により確認し易くなる。

【0126】

本発明の態様９に係る電子機器（スマートフォン３００）は、上記態様１から８のいずれかにおいて、前記制御装置は、前記表示処理において、前記電子機器の傾きの態様に応じて前記視線誘導画像の表示位置を変更してもよい。

【0127】

上記構成によれば、電子機器の傾きの態様に応じて、撮像対象者の視線を基準領域に確実に導くように視線誘導画像を表示させることができる。そのため、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなるとともに、正視した状態での撮像装置による撮像をより確実に行うことができる。

【0128】

本発明の態様１０に係る電子機器（スマートフォン１００）は、上記態様１において、前記視線誘導画像（２）は、複数の部分視線誘導画像（２ａ）を含んでおり、前記制御装置は、撮像指示があった場合、前記表示処理において、前記複数の部分視線誘導画像を前記配置箇所を中心とした同心円状に表示させた後、所定のタイミング毎に、前記複数の部分視線誘導画像のうちで前記配置箇所から最も離れた箇所に表示されている部分視線誘導画像から順次非表示にしてもよい。

【0129】

上記構成によれば、視線誘導画像または部分視線誘導画像の形状が、例えばくの字形状の場合に比べて、表示画面に表示させたときの見栄えが良くなる。また、部分視線誘導画像の総面積がくの字形状の場合に比べて大きくなるとともに、部分視線誘導画像の表示に変化があることから、撮像対象者が撮像装置の周辺を注目し易くなる。そのため、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなるとともに、正視した状態での撮像装置による撮像をより確実に行うことができる。

【0130】

本発明の態様１１に係る制御装置（１４）は、少なくとも１つの撮像装置（カメラ１０）と、少なくとも１つの表示装置（１３）とを備える電子機器（スマートフォン１００〜７００）を制御する制御装置であって、前記撮像装置は、前記表示装置の表示画面（１３ａ）の端部領域（１３ａ−１）に配置され、撮像対象者の視線を自分撮りに適した前記表示画面の基準領域（Ｓ）に導くための視線誘導画像（１、２、３、４、５）を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示制御部（１４ａ）を備える。上記構成によれば、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなる制御装置を実現することができる。

【0131】

本発明の態様１２に係る制御方法は、少なくとも１つの撮像装置（カメラ１０）と、少なくとも１つの表示装置（１３）とを備える電子機器（スマートフォン１００〜７００）を制御する制御方法であって、前記撮像装置は、前記表示装置の表示画面（１３ａ）の端部領域（１３ａ−１）に配置され、撮像対象者の視線を自分撮りに適した前記表示画面の基準領域（Ｓ）に導くための視線誘導画像（１、２、３、４、５）を、前記表示画面における前記撮像装置の配置箇所の周囲に表示させる表示ステップ（Ｓ１０３、Ｓ２０３）を含む。上記構成によれば、撮像対象者が、表示画面に表示された自分の顔と視線誘導画像とを同時に確認し易くなる制御方法を実現することができる。

【0132】

本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各部（ソフトウェア要素）として動作させることにより上記制御装置をコンピュータにて実現させる制御装置のプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【0133】

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0134】

１ 視線誘導画像
１０ カメラ（撮像装置）
１３ 表示装置
１３ａ 表示画面
１３ａ−１ 端部領域
１３ｂ 切欠き
１４ 制御装置
１４ａ 表示制御部
１００ スマートフォン（電子機器）
Ａ 補助視線誘導画像
Ｃ 顔中心位置
Ｅ 第１画像
Ｆ 第２画像
Ｇ 重心位置
Ｌｔｈ、Ｒｔｈ 閾値
Ｓ 基準領域
Ｖ 視線位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】