特許 7575571 情報表示装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】情報表示装置および方法

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20241022BHJP

   G06F 3/0488 20220101ALI20241022BHJP

【ＦＩ】

G06F3/0481

G06F3/0488

【請求項の数】 14

(21)【出願番号】P 2023510078

(86)(22)【出願日】2021-03-31

(86)【国際出願番号】 JP2021013998

(87)【国際公開番号】W WO2022208797

(87)【国際公開日】2022-10-06

【審査請求日】2023-05-16

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】秋山 仁

(72)【発明者】

【氏名】伊藤 保

【審査官】酒井 優一

(56)【参考文献】

【文献】特開２０１５－１２８９１８（ＪＰ，Ａ）

【文献】特表２０１６－５３３３０２（ＪＰ，Ａ）

【文献】特開平１１－２８８２５９（ＪＰ，Ａ）

【文献】特開２００６－００４０９３（ＪＰ，Ａ）

【文献】特開２０１６－０３８６１９（ＪＰ，Ａ）

【文献】特開２０１３－２５４４３５（ＪＰ，Ａ）

【文献】特開２０１６－１６７２９８（ＪＰ，Ａ）

【文献】特開２０００－０７１８０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８８

(57)【特許請求の範囲】

【請求項1】

情報表示装置であって、
第１表示画面に対するユーザによる操作物の接触を検出するタッチセンサを有するタッチパネルと、
前記第１表示画面に対する前記操作物の近接を検出する近接センサと、
前記ユーザの視線を検出する視線検出センサと、
制御部と、を備え、
前記制御部は、
前記タッチセンサおよび前記近接センサでの検出に基づいて、前記タッチパネルの前記第１表示画面に表示される第１表示情報に、前記操作物を表す操作物画像を重畳した内容を有する第２表示情報を生成し、
前記第２表示情報を外部表示装置に出力し、
さらに、前記第２表示情報の生成において、
前記視線の方向が当該情報表示装置に向いている場合、前記操作物画像の重畳をせず、
前記視線の方向が当該情報表示装置に向いていない場合、前記操作物画像の重畳を行う、
情報表示装置。

【請求項2】

請求項１記載の情報表示装置において、
前記近接センサが前記第１表示画面に対する前記操作物の近接状態を検出した場合、前記操作物画像として、前記操作物の近接状態を表す第１操作物画像を作成して、前記第１表示情報に重畳し、
前記タッチセンサが前記第１表示画面に対する前記操作物の接触状態を検出した場合、前記操作物画像として、前記操作物の接触状態を表す第２操作物画像を作成して、前記第１表示情報に重畳する、
情報表示装置。

【請求項3】

請求項２記載の情報表示装置において、
前記第１操作物画像と前記第２操作物画像とで表示の差異を設け、
前記表示の差異は、色、濃度、コントラスト、透過性、輪郭線種類、およびサイズのうち少なくとも１つで表現される、
情報表示装置。

【請求項4】

請求項１記載の情報表示装置において、
前記操作物画像として、複数の種類の操作物に対応させた複数の種類の操作物画像を記憶しておき、
前記複数の種類の操作物画像のうち選択された操作物画像を前記重畳に使用する、
情報表示装置。

【請求項5】

請求項４記載の情報表示装置において、
前記ユーザによる指定に応じて前記操作物画像を選択する、
情報表示装置。

【請求項6】

請求項１記載の情報表示装置において、
カメラを備え、
前記カメラを用いて、前記第１表示画面に対する前記操作物の形状を検出し、
前記操作物の形状に基づいて、前記操作物の種類を判別し、
前記判別した種類に合わせて、前記操作物画像を生成する、
情報表示装置。

【請求項7】

請求項１記載の情報表示装置において、
カメラを備え、
前記カメラを用いて、前記第１表示画面に対する前記操作物の形状を検出し、
前記操作物の形状に基づいて、前記操作物画像を生成する、
情報表示装置。

【請求項8】

請求項７記載の情報表示装置において、
前記カメラを用いて、前記第１表示画面に対する前記操作物の形状を含む画像を取得し、
前記画像から、前記操作物の形状を表す部分をトリミングし、
前記トリミングした部分を画像加工処理することで前記操作物画像を生成する、
情報表示装置。

【請求項9】

請求項１記載の情報表示装置において、
前記近接センサは、前記第１表示画面に対する前記操作物の距離を検出し、
前記距離についての閾値を設定し、
前記距離が前記閾値以内になった場合には、疑似的な接触と判定し、
前記疑似的な接触の場合には、前記操作物の接触状態を表す前記操作物画像を重畳する、
情報表示装置。

【請求項10】

請求項１記載の情報表示装置において、
前記視線の方向が当該情報表示装置に向いていない場合、前記第１表示画面での表示を停止させる、
情報表示装置。

【請求項11】

請求項１記載の情報表示装置において、
前記タッチセンサでの検出に基づいて、前記タッチパネルの前記第１表示画面に対し、同時に２本以上の操作物が接触する場合には、前記第１表示情報に、前記２本以上の操作物を表す操作物画像を重畳した内容を有する前記第２表示情報を生成する、
情報表示装置。

【請求項12】

請求項２記載の情報表示装置において、
前記タッチセンサおよび前記近接センサでの検出に基づいて、前記タッチパネルの前記第１表示画面に対し、同時に２本以上の操作物が近接または接触する場合には、前記第１表示情報に、前記２本以上の操作物を表す操作物画像を重畳した内容を有する前記第２表示情報を生成する、
情報表示装置。

【請求項13】

請求項１記載の情報表示装置において、
前記第１表示画面の領域のうち、指定された領域を、前記操作物画像が重畳可能な範囲として設定する、
情報表示装置。

【請求項14】

情報表示装置における情報表示方法であって、
前記情報表示装置が、
第１表示画面に対するユーザによる操作物の接触を検出するステップと、
前記操作物は、前記ユーザの手指、または手指に持った物体であり、
前記検出に基づいて、前記第１表示画面に表示される第１表示情報に、前記操作物を表す操作物画像を重畳した内容を有する第２表示情報を生成するステップと、
前記第２表示情報を外部表示装置に出力するステップと、
前記第２表示情報の生成において、前記ユーザの視線の方向が当該情報表示装置に向いている場合には、前記操作物画像の重畳をせず、前記ユーザの視線の方向が当該情報表示装置に向いていない場合には、前記操作物画像の重畳を行うステップと、
を有する、情報表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートフォン等の携帯情報端末を含む情報表示装置の技術に関する。

【背景技術】

【0002】

近年、スマートフォンに代表される携帯情報端末が一般化して広く普及している。スマートフォン等の携帯情報端末は、表示画面と一体になったタッチパネルを備えている。このような携帯情報端末では、ユーザは、タッチパネルの表示画面に手指を触れる操作を行い、例えば指の触れた位置や指の動き等によって、携帯情報端末に様々な指示を与えることができる。

【0003】

画像表示に係わる技術として、現時点の技術では、携帯情報端末に表示されている画面と同じ画面を、そのままテレビ（テレビ受像機）等の外部表示装置に表示することができる。このような機能は、画面に関するミラーリング等と呼ばれる場合がある。このような機能を用いる場合、ユーザは、携帯情報端末の表示画面よりも大きな外部表示装置の表示画面（言い換えると大画面）で、携帯情報端末の画面と同じ内容で拡大された画面（ミラーリング画面と記載する場合がある）を視聴することができる。このような大画面でのミラーリング画面の視聴のニーズは大きい。

【0004】

先行技術例として、特開２０１７－１６００４号公報（特許文献１）が挙げられる。特許文献１には、画像表示装置等として、画像表示装置でスクリーンに表示される画像に対する重畳画像を発表者が携帯端末で操作可能とした画像表示装置等を提供する旨が記載されている。特許文献１には、画像表示装置は、スクリーンの画像に対する重畳画像（例えばポインタアイコン）を制御するためのブラウザ画面を携帯端末に送信し、携帯端末に表示されたブラウザ画面の画面操作によって得られた重畳画像の表示位置情報を受信し、その情報に基づいて重畳画像を画像に重畳して表示を行う旨が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１６００４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来、上記携帯情報端末では、ユーザによるタッチパネルの表示画面に対する手指を触れる操作によって各種の指示を携帯情報端末に与える。よって、上記画面のミラーリングの技術を用いる場合において、テレビ等の外部表示装置の大画面で携帯情報端末の画面と同じ内容のミラーリング画面をユーザが視認する場合には、以下のように、操作性等に関する課題がある。

【0007】

ユーザは、基本的には外部表示装置のミラーリング画面を視認しながら、携帯情報端末のタッチパネルを手指で操作する。その際、ユーザは、外部表示装置に表示されているミラーリング画面のみでは、手指による操作をどうすれば好適であるか等の手指の状態がよく把握できない場合がある。そのため、ユーザは、携帯情報端末に様々な指示を与えようとするたびに、ミラーリング画面からタッチパネルの画面に視線を移してその画面に対し指を触れる操作をする必要があった。言い換えれば、ユーザは、外部表示装置のミラーリング画面と携帯情報端末の画面との間で視線を移動させながら画面の視認および手指による操作を行う必要があった。このような視線移動等には煩雑さがあり、ユーザにとっての操作性や利便性に関して改善余地がある。

【0008】

なお、特許文献１のような先行技術例は、携帯情報端末を外部表示装置（例えばテレビ）のリモコンとして動作させることを目的としており、また、外部表示装置が重畳画像（ポインタアイコン）の表示を制御する技術である。この技術では、携帯情報端末のタッチパネルに外部表示装置のリモコン画面がブラウザ画面として表示され、ユーザがタッチパネルでそのリモコン画面であるブラウザ画面を操作する。これにより、外部表示装置の表示画面にポインタアイコンが重畳画像として重畳表示され、ポインタアイコンを用いた移動制御を行うことができる。しかしながら、特許文献１のような技術では、外部表示装置の画面でのポインタアイコンの位置を移動制御する必要が生じるたびに、ユーザは、携帯情報端末に表示されているリモコン画面に視線を移す必要がある。

【0009】

本発明の目的は、上記携帯情報端末を含む情報表示装置の技術に関して、携帯情報端末の画面と同じ内容の画面を外部表示装置に表示する場合（言い換えると画面に関するミラーリングを行う場合）に、ユーザの視線移動等の煩雑さを解消または低減でき、ユーザの操作性や利便性を高めることができる技術を提供することである。

【課題を解決するための手段】

【0010】

本発明のうち代表的な実施の形態は以下に示す構成を有する。実施の形態の情報表示装置は、第１表示画面に対するユーザによる操作物の接触を検出するタッチセンサを有するタッチパネルを備え、前記タッチセンサでの検出に基づいて、前記タッチパネルの前記第１表示画面に表示される第１表示情報に、前記操作物を表す操作物画像を重畳した内容を有する第２表示情報を作成し、前記第２表示情報を外部表示装置に外部出力して前記外部表示装置の第２表示画面において表示させる。

【発明の効果】

【0011】

本発明のうち代表的な実施の形態によれば、上記携帯情報端末である情報表示装置の技術に関して、携帯情報端末の画面と同じ画面を外部表示装置に表示する場合（言い換えると画面に関するミラーリングを行う場合）に、ユーザの視線移動等の煩雑さを解消または低減でき、ユーザの操作性や利便性を高めることができる。上記以外の課題、構成および効果等については、［発明を実施するための形態］において示される。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態１の情報表示装置を含む、表示システムの構成例を示す。

【図2】実施の形態１の情報表示装置であるスマートフォンのハードウェア等のブロック構成例を示す。

【図3】実施の形態１の情報表示装置での主な機能のブロック構成例を示す。

【図4】実施の形態１の情報表示装置での主な処理のフローを示す。

【図5】図４のステップＳ４３０の処理フローの一部を示す。

【図6】図４のステップＳ４３０の処理フローの他の一部を示す。

【図7】実施の形態１での、指画像（操作物画像）の構成例を示す。

【図8】実施の形態１での、ユーザがスマートフォンを操作する際の手指と表示画面との近接や接触に関する模式説明図を示す。

【図9】実施の形態２での、外部表示装置での重畳画面の表示例を示す。

【図10】実施の形態３での、複数の指画像、および外部表示装置での重畳画面の表示例を示す。

【図11】実施の形態３での、ステップＳ４７０の処理フローを示す。

【図12】実施の形態４での、複数の操作指の指画像、および外部表示装置での重畳画面の表示例を示す。

【図13】実施の形態４での、ステップＳ４８０の処理フローを示す。

【図14】実施の形態５での、主な処理のフローを示す。

【図15】実施の形態５の変形例での、手指の状態およびカメラの画像の例を示す。。

【図16】実施の形態６での、主な処理のフローを示す。

【図17】実施の形態６での、視線方向に応じた表示制御例を示す。

【図18】実施の形態の変形例での、領域の設定例を示す。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら本発明の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、各構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、および範囲等を表していない場合があり、本発明は、図面に開示された位置、大きさ、形状、および範囲等には必ずしも限定されない。各種のデータや情報は、例えばテーブルやリスト等の構造を適用できるが、これに限定されない。各種の要素についての識別情報、識別子、ＩＤ、名、番号等の表現は、互いに置換可能である。

【0014】

説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいは、そのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばＣＰＵやＧＰＵ等の半導体デバイス等で構成される。プロセッサは、所定の演算が可能な装置や回路で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、ＦＰＧＡ、ＡＳＩＣ等が適用可能である。

【0015】

プログラムは、製品出荷前等に対象計算機に予めデータとしてインストールされていてもよいし、製品出荷後等にプログラムソースから対象計算機にデータとして配布されてインストールされてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体（例えばメモリカードや光ディスク等）でもよい。プログラムは、複数のプログラムモジュールから構成されてもよい。コンピュータシステムは、１台の装置に限らず、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアントサーバシステムやクラウドコンピューティングシステム等で構成されてもよい。

【0016】

（実施の形態１）
図１～図８を用いて、本発明の実施の形態１の情報表示装置について説明する。実施の形態１の情報表示方法は、実施の形態１の情報表示装置において実行されるステップを有する方法である。実施の形態１の情報表示装置である携帯情報端末は、タッチパネルの表示画面に対しユーザが手指を近接または接触させる操作をした場合に、当該携帯情報端末内で、元の画面上に指画像を重畳（言い換えると合成）した内容を持つ重畳画面を作成し、その重畳画面（対応する表示情報）を、外部表示装置に外部出力して外部表示装置の表示画面にミラーリング画面として表示させる。指画像は、操作物画像の例であって、携帯情報端末の表示画面に対する手指による操作の位置等を含む操作の状態を表す画像である。

【0017】

実施の形態１の情報表示装置である携帯情報端末は、上記の特有の機能を単体で実現している。情報表示装置と外部表示装置との間では、重畳画面の表示に係わる必要なデータ・情報（例えば表示画面に対する手指の位置情報、あるいは指画像など）のやりとりのための特別なインタフェースを新たに実装する必要は無い。

【0018】

実施の形態１では、情報表示装置である携帯情報端末としてスマートフォンの場合を説明し、外部表示装置の例として、大画面を持つテレビ受像機の場合を説明する。

【0019】

［表示システム］
図１は、実施の形態１の情報表示装置であるスマートフォン１を含む、表示システムとしての構成例を示す。図１は、実施の形態１の概要説明用の模式図に相当する。この表示システムは、実施の形態１の情報表示装置であるスマートフォン１と、外部表示装置であるテレビ２とを有し、それらが通信９で接続されている。スマートフォン１は、携帯情報端末であって、第１表示装置である。テレビ２は、外部表示装置であって、第２表示装置である。スマートフォン１およびテレビ２は、いずれも表示画面に画像・映像を表示可能な表示装置である。実施の形態１の情報表示装置は、ユーザが所持している携帯情報端末であるスマートフォン１である。

【0020】

図１では、スマートフォン１およびテレビ２を利用する一人のユーザについて、スマートフォン１を操作するユーザの手指１０を模式的に示している。特に、スマートフォン１のタッチパネルの表示画面３上に、操作物（言い換えると操作指示物、操作指）である指先１１として、右手人差し指を近接および接触させて、所定の操作を行っている状態を示している。実施の形態１の例では、手指１０は右手とし、操作物・操作指である指先１１は人差し指としている。所定の操作は、いわゆるタッチ、タップ、スワイプ等の操作である。

【0021】

図１での手指１０によるスマートフォン１の操作や状態の具体例としては以下が挙げられる。ユーザは、図示しない左手でスマートフォン１の筐体を持ち、図示する手指１０の指先１１として右手の人差し指で、タッチパネルの表示画面３に画面３Ａとして表示されているＧＵＩオブジェクト等を操作している。ＧＵＩオブジェクトは、例えばボタンやスライドバーが挙げられる。

【0022】

なお、手指１０の状態は、当然ながら、これに限られない。他の例では、ユーザは、スマートフォン１の筐体を左手で持ち、左手の親指でタッチパネルの表示画面３に対する操作をしてもよい。あるいは、ユーザは、スマートフォン１の筐体を両手で持ち、一方の手指または両方の手指でタッチパネルの表示画面３に対する操作をしてもよい。あるいは、ユーザは、スマートフォン１の筐体をテーブル等に置いた状態とし、一方の手指または両方の手指でタッチパネルの表示画面３に対する操作をしてもよい。

【0023】

図１の表示システムでは、実施の形態１の情報表示装置であるスマートフォン１に対し、外部表示装置の例としてテレビ２を有し、無線等の通信９で接続される。外部表示装置は、テレビ２に限らずに可能である。本例では、スマートフォン１の物理的な表示画面３のサイズに対し、テレビ２の物理的な表示画面４のサイズの方が大きい。

【0024】

スマートフォン１は、タッチパネル（詳細は後述）を備える。このタッチパネルは、ディスプレイ（表示デバイス）にタッチセンサ等が一体として構成されており、表示手段かつ操作入力手段である。このタッチパネルは、スマートフォン１の筐体において露出している一部として、物理的な表示画面３を有する。表示画面３は、スマートフォン１の筐体の前面（ユーザに向く側、表示画面３がある側）の殆ど全面にわたって矩形の領域として設けられている。

【0025】

また、スマートフォン１の筐体には、カメラ５（例えばフロントカメラ５Ａ）、マイク、スピーカ、キーボタン等も実装されている。フロントカメラ５Ａは、筐体の前面においてユーザの方に向いたカメラである。

【0026】

スマートフォン１の表示画面３には、表示される画像等の内容・状態として、画面３Ａを有する。テレビ２の表示画面４には、表示される画像等の内容・状態として、画面４Ａを有する。なお、説明上、物理的な表示画面と、その表示画面内に表示される画像等の内容や状態としての画面を区別する。

【0027】

スマートフォン１の表示画面３における画面３Ａ（説明用に破線枠で示す）では、例えばアプリケーションのＧＵＩや映像等のコンテンツが表示されている。画面３Ａは、言い換えると、スマホ画面、元画面などである。スマートフォン１は、ミラーリングを行う場合、画面３Ａに対応する表示情報（言い換えると画面表示情報）９Ａを、通信９の伝送路を介して、テレビ２に伝送する。テレビ２は、通信９を通じて、そのスマートフォン１からの表示情報９Ａを、テレビ２にとっての表示情報９Ｂ（言い換えると外部入力としての画面表示情報）として受信する。そして、テレビ２は、その表示情報９Ｂに基づいて、一般的なテレビの機構に基づいて、表示画面４内に画面４Ａ（説明用に破線枠で示す）を表示する。

【0028】

画面４Ａは、画面３Ａと同じ内容・状態を持つ画面（言い換えると、ミラーリング画面、重畳画面）である。画面４Ａは、表示画面４のサイズに応じて、画面３Ａのサイズよりも拡大されたサイズで表示される。これにより、画面４Ｂは、画面３Ａよりもサイズが大きい。すなわち、ユーザは、画面３Ａに対応する内容を、画面４Ｂで拡大した状態として視聴できる。なお、表示情報９Ａ，９Ｂには、ミラーリングに関する制御情報を伴ってもよい。

【0029】

また、図１の例では、ユーザは、スマートフォン１を縦長配置の状態で使用している。このように画面３Ａが縦長配置状態である場合には、それに合わせて、テレビ２側の画面４Ｂも縦長配置状態になる。表示情報９Ａおよび表示情報９Ｂは、縦長配置状態に対応したデータとなる。表示画面４内の一部には、縦長配置の画面４Ｂが最大限に拡大して表示されている。表示画面４内のその他の領域は例えば黒背景とされる。ユーザがスマートフォン１を横長配置の状態で使用している場合には、画面３Ａおよび画面４Ａは横長配置での表示となる。

【0030】

実施の形態１でのスマートフォン１は、タッチパネルの表示画面３（対応する画面３Ａ）上にユーザの手指１０（特に指先１１）が近接や接触する状態を、後述のセンサによって検出する。例えば、図１のように、ユーザは、画面３Ａ内のＧＵＩオブジェクト等をタッチ操作する。その際に、指先１１が画面３Ａ（ＧＵＩオブジェクト等）に対し近接または接触した状態がセンサによって検出される。すると、スマートフォン１は、その近接または接触した指先１１の位置等に対応させた指画像（操作指である右手人差し指を表す画像）を作成する。スマートフォン１は、その指画像を画面３Ａ上に重畳した内容を持つ重畳画面（対応する表示情報９Ａ）を作成する。そして、スマートフォン１は、その重畳画面の表示情報９Ａを、通信９を介してテレビ２へ外部出力する。

【0031】

これにより、スマートフォン１は、テレビ２の表示画面４内に、重畳画面・ミラーリング画面に相当する画面４Ａを表示させることができる。画面４Ａにおける指画像６は、操作物画像の例であり、画面３Ａでの操作指（特に指先１１）の状態を表している。本例では、指画像６は、一本の指の一部のみの画像であるが、これに限らず、詳細例については後述する。ユーザは、その画面４Ａを視認することで、画面３Ａでの操作指の状態を認識できる。このような重畳画面のミラーリングの制御は、時系列上でほぼリアルタイムで継続される。

【0032】

上記のように、実施の形態１の情報表示装置であるスマートフォン１は、タッチパネルを手指１０の指先１１で操作しているユーザが視認したい画面３Ａについて、手指１０による操作の状態を含め、その画面３Ａの状況とほぼ同じ状況を持つミラーリング画面（特に指画像６を含む重畳画面）を、テレビ２の表示画面４内に画面４Ａとして表示する。その結果、ユーザは、スマートフォン１を操作している右手人差し指のような操作指、およびタッチパネルの表示画面３の方を視認する必要無く、テレビ２での指画像６が重畳表示された画面４Ａを視認できる。ユーザは、テレビ２の画面４Ａを視認したまま、手指１０の状態が把握できるので、手指１０によるスマートフォン１の操作が好適にできる。これによれば、ユーザは、テレビ２の表示画面４からスマートフォン１の表示画面３へ視線を移動する必要が無い。したがって、従来技術での視線移動の煩雑さを解消できる。

【0033】

通信９の伝送路について補足する。スマートフォン１からテレビ２に外部出力される表示情報９Ａは、元の画面３Ａ（すなわち指画像６が重畳されない画面）の表示情報であるか、または、画面３Ａ上に指画像６が重畳される画面（重畳画面）の表示情報となる。これらの表示情報９Ａは、通信９の伝送路を介して、表示情報９Ｂとしてテレビ２に入力される。実施の形態１では、後述の図２の映像出力部１０７Ｂから出力される表示情報９Ａを、通信部１０６のＬＡＮ通信インタフェース６１におけるＷｉ－Ｆｉ（登録商標）ネットワークを介して外部出力する。このため、スマートフォン１のＬＡＮ通信インタフェース６１におけるＷｉ－Ｆｉネットワークと、テレビ２におけるＷｉ－Ｆｉネットワークとが、１つのＬＡＮ（Local Area Network）として接続される。このＷｉ－Ｆｉネットワークの接続により、スマートフォン１と外部表示装置であるテレビ２との接続がされたこととなる。これにより、実施の形態１では、スマートフォン１のミラーリングアプリケーション１００１、および通信９の伝送路での無線接続を利用して、画面３Ａに関するミラーリング、特に、指画像６が重畳表示された画面４Ａが実現される。

【0034】

また、スマートフォン１の図２の映像出力部１０７Ｂから、例えば、ＵＳＢ（Universal Serial Bus）ケーブルを介して、表示情報９Ａを出力することで、通信９の伝送路での有線接続を実現することもできる。勿論、これに限らず、映像やそれに伴う音声等のデータの外部出力に係わるインタフェースは、他の種類のインタフェースとしてもよい。

【0035】

図１にも示すように、実施の形態１でのスマートフォン１は、アプリケーションプログラムの１つとして、ミラーリングアプリケーション１００１がインストールされている。ミラーリングアプリケーション１００１は、表示画面３の画面３Ａと同じ内容・状態の画面を、外部のテレビ２にミラーリング画面（画面４Ａ）として表示させるアプリケーションである。このミラーリングアプリケーション１００１は、特有の機能１００２の実装を含む。もしくは、スマートフォン１において、ミラーリングアプリケーション１００１とは別に、この機能１００２が追加で実装されてもよい。この機能１００２は、特に、テレビ２のミラーリング画面（画面４Ａ）においてスマホ画面である画面３Ａでのユーザの操作指の状態を指画像６として重畳表示する機能である。なお、従来からミラーリングアプリケーションのような概念は存在する。実施の形態１では、そのようなミラーリングアプリケーション１００１を前提の上で、特有の機能１００２を実現している。

【0036】

ユーザは、スマートフォン１でミラーリングアプリケーション１００１を操作することで、画面に関するミラーリングの機能を利用できる。また、ユーザは、ミラーリングアプリケーション１００１または機能１００２のうちの一部の機能として、ユーザ設定機能を利用できる。ユーザ設定機能は、ユーザ設定用のＧＵＩ（グラフィカル・ユーザ・インタフェース）の提供とともに、機能１００２に係わる設定（例えば後述の操作指・指画像の設定）を行うことができる機能である。ユーザ設定機能の利用は必須ではない。

【0037】

スマートフォン１は、テレビ２以外の外部のサーバや機器等と通信して各種のデータ・情報を授受してもよい。例えば、スマートフォン１は、外部のサーバ等から、ミラーリングアプリケーション１００１で表示するためのコンテンツデータ等を取得してもよいし、ミラーリングアプリケーション１００１で使用したデータを外部のサーバ等に保存してもよい。

【0038】

［情報表示装置（スマートフォン）］
図２は、実施の形態１の情報表示装置であるスマートフォン１の内部のハードウェア等のブロック構成例を示す。スマートフォン１の本体は、以下に示す種々のブロックを有する。スマートフォン１は、主制御部１０１、システムバス１０３、記憶部１０４、センサ部１０５、通信部１０６、映像部１０７、音声部１０８、および操作入力部１０９等を有して構成されている。図示しないバッテリからは各部へ必要な電力が供給される。

【0039】

主制御部１０１は、プロセッサないしコントローラに相当し、所定のプログラムに従ってスマートフォン１の全体および各部を制御する部分であり、例えばＭＰＵ（マイクロプロセッサユニット）等で構成される。システムバス１０３は、主制御部１０１とスマートフォン１内の各ブロックとの間で各種のコマンドやデータ等の送受信を行うためのデータ通信路である。

【0040】

記憶部１０４は、メモリデバイスやストレージデバイス等で構成され、各種のデータ・情報を記憶する。記憶部１０４は、例えばプログラム部４１と、データ部４２と、プログラム機能部４３とを有する。プログラム部４１は、スマートフォン１の動作を制御するためのプログラム等を記憶する。データ部４２は、スマートフォン１の動作設定値や、センサ部１０５からの検出値や、コンテンツを含むオブジェクトや、ライブラリからダウンロードした情報や、ＧＵＩを構成するためのオブジェクト等、各種のデータを記憶する。プログラム機能部４３は、各種プログラム動作で使用するワークエリア等の書き替え可能な部分として使用される。また、記憶部１０４には、通信を介してインターネット等のネットワーク上からダウンロードした動作プログラムや、その動作プログラムによって作成した各種のデータや、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツのデータを記憶可能である。また、記憶部１０４には、カメラ５による撮影機能を使用して撮影した動画や静止画等のデータを記憶可能である。また、記憶部１０４には、制御上の閾値や、処理中の画像データやセンサ検出情報等、必要なデータ・情報を記憶可能である。

【0041】

また、記憶部１０４の少なくとも一部は、スマートフォン１に外部から電源が供給されていない状態であっても、記憶している情報を保持する必要がある。したがって、記憶部１０４は、例えば、フラッシュＲＯＭやＳＳＤ（Solid State Drive）等の半導体素子メモリや、ＨＤＤ（Hard Disc Drive）等の磁気ディスクドライブ等の、不揮発性記憶デバイスが用いられる。なお、記憶部１０４に記憶される各動作プログラムは、例えばネットワーク上の各サーバからのダウンロード処理によって更新および機能拡張が可能である。

【0042】

センサ部１０５は、スマートフォン１の様々な状態を検出するための各種のセンサのセンサ群である。センサ部１０５は、例えば、ＧＰＳ（Global Positioning System）等による測位センサ５１、地磁気センサ５２、加速度センサ５３、ジャイロセンサ５４等を有して構成される。これらのセンサ群により、スマートフォン１の位置、傾き、方角、動き等を検出可能である。また、スマートフォン１は、照度センサや高度センサ等の、他の種類のセンサをさらに備えてもよい。

【0043】

映像部１０７は、タッチパネル７におけるタッチセンサ７２および近接センサ７３を備える。実施の形態１では、タッチセンサ７２および近接センサ７３は、タッチパネル７と一体としてタッチパネル７に内蔵されている。これに限らず、近接センサ７３は、タッチパネル７とは別の独立したセンサとしてセンサ部１０５に含まれてもよい。また、タッチセンサ７２と近接センサ７３とで分けているが、これらが一体のセンサであってもよい。

【0044】

タッチセンサ７２は、タッチパネル７のディスプレイ７１（表示画面３に画像を表示するデバイス、例えば液晶表示デバイス）の表示画面３に対しユーザの手指１０が接触したかどうかを含む接触の状態を検出するセンサである。現在の多くのタッチパネル（例えば液晶タッチパネルモジュール）は、例えば静電容量方式で、表示画面３に対する近接や接触の状態を検出可能である。実施の形態１では、タッチパネル７のタッチセンサ７２および近接センサ７３は、静電容量方式で、表示画面３に対する手指１０の近接および接触の状態を検出する。

【0045】

近接センサ７３は、タッチパネル７のディスプレイ７１の表示画面３に対しユーザの手指１０が近接したかどうかを含む近接の状態を検出するセンサである。タッチセンサ７２および近接センサ７３の技術的な方式については限定せず、公知の各種の方式を適用できる。近接センサ７３の詳細例については後述する。後述するが、各実施の形態では、説明上、「近接」と「接触」とを区別している。

【0046】

タッチセンサ７２およびその上位の処理部（映像部１０７や主制御部１０１）は、表示画面３内における手指１０（特に指先１１）が接触した位置（「接触位置」）を位置座標として検出・算出できる。この接触位置の位置座標は、表示画面３の座標系を図１のように（ｘ，ｙ）とした場合に、例えば（ｘ１，ｙ１）のように表すことができる。ｘ方向は画面内水平方向、ｙ方向は画面内垂直方向である。

【0047】

また、近接センサ７３およびその上位の処理部は、表示画面３上（面垂直方向）の空間領域における手指１０（特に指先１１）が近接した位置（「近接位置」）を位置座標として検出・算出できる。この近接位置の位置座標は、表示画面３の座標系（ｘ，ｙ）に加え、面垂直方向をｚ方向として、３次元の空間の座標系（ｘ，ｙ，ｚ）を考えた場合に、例えば（ｘ１，ｙ１，ｚ１）のように表すことができる。また特に、近接センサ７３は、指先１１と表示画面３との間の面垂直方向（ｚ方向）での距離を検出・算出可能である（後述の図８）。

【0048】

スマートフォン１の主制御部１０１は、上記タッチパネル７のタッチセンサ７２および近接センサ７３等により、表示画面３上における指先１１の近接および接触に係わる状態、言い換えると操作の状態を、位置座標等を含む検出情報として取得できる。

【0049】

映像部１０７は、カメラ５、タッチパネル７、映像処理部１０７Ａ、および映像出力部１０７Ｂを有して構成されている。カメラ５は、例えば図１のようなフロントカメラ５Ａと、メインカメラ５Ｂとを含む。カメラ５は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスを用いてレンズから入射した光を電気信号に変換することにより、周囲や対象物の画像データを入力する。実施の形態１では、カメラ５の構成例として、図１のように、筐体の前面の一部にフロントカメラ５Ａ（言い換えるとインカメラ）が配置されており、図示しない背面側にはメインカメラ５Ｂ（言い換えるとアウトカメラ）が配置されている。

【0050】

タッチパネル７は、ディスプレイ７１、タッチセンサ７２、および近接センサ７３を有して構成されている。ディスプレイ７１は、映像処理部１０７Ａからの画像や映像の信号に基づいて、表示画面３に画像や映像を表示する。ディスプレイ７１は、例えば、インターネットを介して入手された画像や映像、あるいはカメラ５で撮影した画像や映像、ユーザが指定した画像等を表示することができる。

【0051】

タッチパネル７は、ディスプレイ７１の表示画面３に接触した操作指の指先１１についての接触位置の位置座標を、タッチセンサ７２によって検出する。この接触位置座標を検出する技術は、静電容量方式のタッチセンサ７２によって、静電容量変化として接触に係わる動作を検出する方式が代表的である。これに限らず、他の方式を採用してもよい。また、静電容量方式のタッチセンサ７２および近接センサ７３を含むタッチパネル７の場合には、表示画面３に対する指先１１の近接の検出と、接触の検出とを、同時並行的に行うことができる。

【0052】

映像処理部１０７Ａは、ＧＰＵ（グラフィックプロセッシングユニット）等で構成され、画像・映像のデータに基づいて、ディスプレイ７１の表示画面３に画像・映像を表示する処理等を行う。なお、画像・映像とは、静止画でも動画でもよい。実施の形態１では、映像処理部１０７Ａは、画面３Ａの内容に指画像を重畳した内容を持つ重畳画面（対応する表示情報９Ａ）を作成する映像処理等も行う。

【0053】

映像出力部１０７Ｂは、ディスプレイ７１の表示画面３に表示されている画面３Ａと同じ内容・状態を持つ画面４Ａを構成するための表示情報９Ａを、外部表示装置であるテレビ２に外部出力する処理等を行う。映像出力部１０７Ｂは、画面３Ａの内容を持つ表示情報、または、その表示情報の内容にさらに指画像を重畳した内容を持つ重畳画面の表示情報を、表示情報９Ａとして、外部表示装置であるテレビ２に出力する。

【0054】

実施の形態１では、主に映像部１０７が上記重畳画面に係わる処理を行う構成としたが、これに限らず、主制御部１０１等の別のブロックが同様の処理を行う形態としてもよい。また、そのような処理に関して、図２中の複数のブロックで分担してもよい。

【0055】

通信部１０６は、通信インタフェースを有するデバイスであり、例えばＬＡＮ通信インタフェース６１と、電話網通信インタフェース６２とを有して構成される。ＬＡＮ通信インタフェース６１は、アクセスポイント等を介してインターネット等の通信網と接続され、通信網上の各サーバ装置等との間でデータの送受信を行う。アクセスポイント等との接続は、例えばＷｉ－Ｆｉ（登録商標）等の無線ＬＡＮインタフェースでの無線接続で行われるが、有線接続としてもよい。実施の形態１では、スマートフォン１は、図１の通信９として、通信部１０６によるＷｉ－Ｆｉ無線接続を利用して、前述の表示情報９Ａを、外部表示装置であるテレビ２に出力・伝送する。

【0056】

電話網通信インタフェース６２は、移動体電話通信網の基地局等との無線通信により、電話通信（通話）およびデータの送受信を行う。基地局等との通信は、例えばＬＴＥ（Long Term Evolution）方式、５Ｇ方式（第５世代移動通信システム）、あるいはその他の通信方式によって行われる。ＬＡＮ通信インタフェース６１および電話網通信インタフェース６２は、それぞれ、符号化回路や復号回路やアンテナ等を備える。また、通信部１０６は、赤外線通信インタフェース等の他の通信インタフェースを更に備えてもよい。

【0057】

音声部１０８は、マイク８１およびスピーカ８２を有して構成される。マイク８１は、実空間の音やユーザの音声などを音声データに変換して入力する。スピーカ８２は、ユーザに対し必要な音声情報等を音声として出力する。音声部１０８は、勿論、イヤホンやヘッドホンも接続可能であり、用途により使い分けることができる。

【0058】

操作入力部１０９は、ユーザがスマートフォン１に対する指示等の操作入力を行うブロックであり、タッチパネル７以外の入力デバイスとして、操作キー９２等を有して構成される。操作キー９２は、例えばスマートフォン１の筐体の側面等に配置されている電源ボタンスイッチや音量ボタンスイッチ等がある。なお、スマートフォン１は、その他の操作デバイスを更に備えてもよい。また、スマートフォン１には、通信部１０６のインタフェースを利用して、有線通信または無線通信により、別体の入力デバイスや出力デバイスがさらに接続されてもよく、別体の携帯端末機器等が接続されてもよい。ユーザは、それらのデバイスを用いてスマートフォン１への入出力を行ってもよい。

【0059】

また、スマートフォン１には、電子マネー決済機能やユーザ認証機能等、図示していない構成要素がさらに追加で設けられてもよい。なお、図２で、視線検出部１１０は、後述の実施の形態６で備えるブロックである。

【0060】

［機能ブロック（１）］
図３は、実施の形態１でのスマートフォン１における主な機能（画面のミラーリングに関する機能および重畳画面に関する機能１００２）に関するブロック構成例を示す。図３の機能ブロックは、図２の主制御部１０１や映像部１０７等を用いて構成される。図３の構成は、制御機能３０１、通信処理機能３０２、表示情報取得機能３０３、表示情報保存機能３０４、操作指画像保存機能３０５、近接位置情報取得機能３０６、近接位置情報保存機能３０７、接触位置情報取得機能３０８、接触位置情報保存機能３０９、重畳画面作成処理機能３１０、重畳画面保存機能３１１、および表示情報外部出力機能３１２を有する。

【0061】

なお、図３で、操作指画像取得機能３１３は、後述の実施の形態３で備えるブロックである。第２操作指画像取得機能３１４および第２操作指画像保存機能３１５は、後述の実施の形態４で備えるブロックである。操作指判別機能３１６は、後述の実施の形態５で備えるブロックである。これらのブロックは実施の形態１では使用しない。

【0062】

制御機能３０１は、スマートフォン１の全体を制御する機能であり、主に、図２の主制御部１０１と、記憶部１０４のプログラム部４１およびプログラム機能部４３とによって構成される。通信処理機能３０２は、主に図２の通信部１０６によって構成され、図１での通信９等を行う機能である。

【0063】

表示情報取得機能３０３は、スマートフォン１の表示画面３に画面３Ａを表示するための表示情報を取得する機能である。表示情報には、例えば通信処理機能３０２によりインターネットを介して取得されるＷｅｂページやコンテンツ等の表示情報や、プログラム等で予め作成された表示情報や、ユーザにより撮影された画像等がある。表示情報保存機能３０４は、表示情報取得機能３０３で得られた表示情報を、記憶部１０４のデータ部４２に保存する機能である。

【0064】

操作指画像保存機能３０５は、操作指である指先１１に対応した指画像を、記憶部１０４のデータ部４２に保存する機能である。実施の形態１では、操作指の指画像の初期設定値としては、右手人差し指の指画像のデータが保存されている。なお、記憶部１０４には、各種の指画像が記憶されていてもよく、後述するが、それらの各種の指画像から、ユーザが使用する操作指に対応させた種類の指画像を選択して使用するものとしてもよい。この場合、操作指画像保存機能３０５は、各種の指画像を記憶部１０４のデータ部４２に保存する。

【0065】

近接位置情報取得機能３０６は、図２の近接センサ７３によって、画面３Ａを操作する操作指である指先１１の近接を検出した場合に、画面３Ａ上における操作指の近接位置の位置座標等を、近接位置情報として取得する機能である。近接位置情報保存機能３０７は、近接位置情報取得機能３０６で得られた画面３Ａ上の操作指の近接位置情報を、記憶部１０４のデータ部４２に保存する機能である。

【0066】

接触位置情報取得機能３０８は、タッチセンサ７２によって、画面３Ａを操作する操作指の接触を検出した場合に、画面３Ａ上における操作指の接触位置の位置座標等を、接触位置情報として取得する機能である。接触位置情報保存機能３０９は、接触位置情報取得機能３０８で得られた画面３Ａ上の操作指の接触位置情報を、記憶部１０４のデータ部４２に保存する機能である。

【0067】

重畳画面作成処理機能３１０は、表示情報保存機能３０４に保存されている表示情報（画面３Ａの表示情報）に、操作指画像保存機能２５に保存されている操作指の指画像を重畳して、重畳画面として作成する処理を行う機能である。重畳画面作成処理機能３１０は、主に映像部１０７の映像処理部１０７Ａによって構成される。その重畳画面に対応するデータが、表示情報９Ａとして作成される。重畳画面保存機能３１１は、重畳画面作成処理機能３１０で得られた重畳画面の表示情報を、記憶部１０４のデータ部４２に保存する機能である。

【0068】

表示情報外部出力機能３１２は、表示情報保存機能３０４に保存されている表示情報を、通信部７を用いた通信９で、表示情報９Ａとして、外部表示装置であるテレビ２に外部出力する機能である。この表示情報は、指画像が重畳されていない元の画面３Ａのみの表示情報であるか、もしくは、重畳画面保存機能３１に保存されている、指画像が重畳されている重畳画面の表示情報である。なお、いずれの表示情報が使用されるかについては後述の処理フローの通りに適切に制御される。

【0069】

［処理フロー（１）］
図４は、実施の形態１の情報表示装置であるスマートフォン１における、主な機能の処理（操作指重畳画面処理）のフローを示す。図４の処理フローの主体は、主に図２での主制御部１０１または映像部１０７、図３での各機能である。以下、図３等も参照しながら処理フローを説明する。なお、ステップＳ４７０は、後述の実施の形態３の場合に備えるステップであり、実施の形態１では省略される。ステップＳ４８０は、後述の実施の形態４の場合に備えるステップであり、実施の形態１では省略される。

【0070】

ステップＳ４１１で、処理フローが開始される。すると、まず、ステップＳ４１２で、スマートフォン１は、表示情報取得機能３０３により表示情報取得処理を行う。これにより、表示画面３に画面３Ａとして表示する表示情報が取得される。次に、ステップＳ４１３では、スマートフォン１は、上記ステップＳ４１２の処理で取得された表示情報を、表示情報保存機能３０４により、記憶部１０４のデータ部４２に保存する。次に、ステップＳ４１４では、映像部１０７（特に映像処理部１０７Ａ）は、上記ステップＳ４１３の処理で保存された表示情報を、タッチパネル７のディスプレイ７１の表示画面３に画面３Ａとして表示する。ステップＳ４１２～Ｓ４１４の処理は、一般的なスマートフォンにおけるタッチパネルの表示画面への表示処理と同様である。

【0071】

次に、スマートフォン１は、ステップＳ４１５で、外部表示装置であるテレビ２が接続されたかどうかを判断する。この判断は、例えば通信部１０７の機能および状態として可能である。上記ステップＳ４１５で、外部表示装置が接続されていないと判断した場合（Ｎ）には、ステップＳ４１２に戻る。上記ステップＳ４１５で、外部表示装置が接続されていると判断した場合（Ｙ）には、ステップＳ４１６に移行する。

【0072】

次に、ステップＳ４１６で、スマートフォン１は、重畳画面の表示情報９Ａを外部表示装置であるテレビ２に出力可能かどうか、言い換えると、外部出力する設定であるかどうかを判断・確認する。これは、ユーザの意思に基づいた設定や指示として、重畳画面の外部出力をオン／オフできることを意味している。予め、実施の形態での機能に係わる設定として、重畳画面の外部出力をする（オン）かしない（オフ）かが初期設定されてもよい。また、予め、ユーザ設定として、重畳画面の外部出力のオン／オフが設定されてもよい。また、ユーザが重畳画面の表示を必要とする都度に、ユーザがその外部出力の設定や指示を入力してもよい。

【0073】

なお、従来技術の場合では、機能は、画面３Ａの内容のみのミラーリングに相当するが、実施の形態１における機能１００２では、画面３Ａ上に指画像６を重畳した重畳画面としてのミラーリングである。そこで、実施の形態１での機能は、さらに、ユーザ設定等で、画面３Ａのみのミラーリングのオン／オフとするか、指画像６を含めた重畳画面のオン／オフとするか、いずれも設定・指定できるようにしてもよい。

【0074】

上記ステップＳ４１６で、重畳画面の表示情報を外部出力しない設定であると判断した場合（Ｎ）には、ステップＳ４１９に移行し、重畳画面の表示情報を外部出力する設定であると判断した場合（Ｙ）には、ステップＳ４１７に移行する。

【0075】

次に、ステップＳ４１７では、スマートフォン１は、タッチセンサ７２および近接センサ７３に基づいて、操作指の指先１１がタッチパネル７のディスプレイ７１の表示画面３（対応する画面３Ａ）に対し、接触したかどうか、あるいは、近接したかどうかを判断する。すなわち、スマートフォン１は、接触位置情報取得機能３０８による接触位置情報が接触位置情報保存機能３０９に有るか、あるいは、近接位置情報取得機能３０６による近接位置情報が近接位置情報保存機能３０７に有るか等を判断する。

【0076】

上記ステップＳ４１７で、操作指が近接した（近接状態である）、または接触した（接触状態である）と判断した場合（Ｙ）には、ステップＳ４３０に移行する。上記ステップＳ４１７で、操作指が近接も接触もしていないと判断した場合（Ｎ）には、ステップＳ４１９に移行する。

【0077】

ステップＳ４３０では、スマートフォン１は、重畳画面作成処理機能３１０による重畳画面作成処理を行う。ステップＳ４３０は、定義済み処理（サブルーチン）であり、詳細については図５および図６で示される。ステップＳ４３０の重畳画面作成処理は、スマートフォン１の表示画面３に画面３Ａとして表示されている表示情報に、操作指の指画像６を重畳した重畳画面を作成する処理である。

【0078】

図５および図６は、上記ステップＳ４３０の処理フローを示す。ステップＳ４３１で、ステップＳ４３０の処理が開始される。すると、ステップＳ４３２で、スマートフォン１は、操作指の指先１１がタッチパネル７の表示画面３に接触しているかどうか、言い換えると接触位置情報が有るかを判断する。上記ステップＳ４３２で、接触していると判断した場合（Ｙ）には、ステップＳ４３３に進む。ステップＳ４３３で、スマートフォン１は、接触位置情報取得機能３０７により接触位置座標を接触位置情報として取得する。

【0079】

次に、ステップＳ４３４で、スマートフォン１は、上記ステップＳ４３３で取得した接触位置座標と、接触位置情報保存機能３０８に保存されている接触位置座標とを比較し、接触位置が変化しているかどうかを判断する。このステップＳ４３４で、それらが一致している、すなわち接触位置が変化していないと判断した場合（Ｎ）には、ステップＳ４４０に進み、ステップＳ４３０の処理フローを終了する。このステップＳ４３４で、それらが一致していない、すなわち接触位置が変化していると判断した場合（Ｙ）には、ステップＳ４３５に進む。ステップＳ４３５では、スマートフォン１は、保存されている接触位置座標を、ステップＳ４３３で取得した新たな接触位置座標によって変更、更新するように、接触位置情報保存機能３０９により保存する。ステップＳ４３４での接触位置の変化有りの場合の状態は、ユーザが表示画面３で操作指を接触移動した場合（スワイプ等の操作の場合）に相当する。

【0080】

次に、ステップＳ４３６で、スマートフォン１は、表示情報保存機能３０４により保存された表示情報に、操作指画像保存機能３０５により保存されている操作指の指画像を重畳した重畳画面（「接触操作指重畳画面」）を作成する。なお、この際には、タッチパネル７の表示画面３に操作指が接触している状態を表すように、画面３Ａに操作指の指画像６を重畳するので、この重畳画面を特に「接触操作指重畳画面」とも記載する。上記ステップＳ４３６での重畳画面の作成後、ステップＳ４４０に進み、ステップＳ４３０の処理フローを終了する。

【0081】

上記ステップＳ４３２で、操作指が表示画面３に接触していないと判断した場合（Ｎ）には、ステップＳ４３７に移行する。ステップＳ４３７では、スマートフォン１は、接触位置情報保存機能３０９に保存されている接触位置座標を含む接触位置情報を消去する。

【0082】

次に、ステップＳ４３８で、スマートフォン１は、接触操作指重畳画面が、重畳画面保存機能３１１により保存されているかどうか（有るかどうか）を判断する。ステップＳ４３８で、重畳画面が保存されていないと判断した場合（Ｎ）には、ステップ４５０の結合子（「１」）を介して、図６のフローに継続する。ステップＳ４３８で、重畳画面が保存されていると判断した場合（Ｙ）には、ステップＳ４３９に進む。ステップＳ４３９で、スマートフォン１は、保存されている接触操作指重畳画面を消去する。

【0083】

続いて、図６のフローで、まず、ステップＳ４５１では、スマートフォン１は、操作指が表示画面３に近接しているかどうか、言い換えると近接位置情報が有るかどうかを判断する。ステップＳ４５１の判断で、操作指が画面３に近接していると判断した場合（Ｙ）には、ステップＳ４５２に進む。ステップＳ４５２で、スマートフォン１は、近接位置情報取得機能３０５により、画面３Ａ上の近接位置座標を取得する。

【0084】

次に、ステップＳ４５３で、スマートフォン１は、上記ステップＳ４５２で取得した近接位置座標と、近接位置情報保存機能３０７により保存されている近接位置座標とを比較し、近接位置に変化が有るかどうかを判断する。上記ステップＳ４５３で、取得した近接位置座標と、保存されている近接位置座標とが一致していると判断した場合、すなわち近接位置に変化が無い場合（Ｎ）には、ステップＳ４５９に進み、ステップＳ４３０の処理フローを終了する。

【0085】

上記ステップＳ４５３の判断で、取得した近接位置座標と、保存されている近接位置座標とが一致していないと判断した場合、すなわち近接位置に変化が有る場合（Ｙ）には、ステップＳ４５４に進む。ステップＳ４５４では、スマートフォン１は、保存されている近接位置座標を、ステップＳ４５２で取得した近接位置座標によって変更・更新し、近接位置情報保存機能３０７により保存する。この近接位置に変化が有る場合の状態は、ユーザが操作指を表示画面３に触れずに移動させた場合に相当する。

【0086】

次に、ステップＳ４５５で、スマートフォン１は、表示情報保存機能３０４により保存されている表示情報に、操作指画像保存機能３０５により保存されている操作指の指画像６を重畳した重畳画面を作成する。なお、この際には、タッチパネル７の表示画面３に操作指が近接している状態を表すように、画面３Ａに操作指の指画像６を重畳するので、この重畳画面を特に、「近接操作指重畳画面」とも記載する。ステップＳ４５５の処理後には、ステップＳ４５９に進み、ステップＳ４３０の処理フローを終了する。

【0087】

ステップＳ４５１で、操作指が画面３に近接していないと判断した場合（Ｎ）には、ステップＳ４５６に進む。ステップＳ４５６では、スマートフォン１は、保存されている近接位置座標を消去する。

【0088】

次に、ステップＳ４５７で、スマートフォン１は、近接操作指重畳画面が、重畳画面保存機能３１１により保存されているかどうか（有るかどうか）を判断する。上記ステップＳ４５７で、近接操作指重畳画面が保存されていないと判断した場合（Ｎ）には、ステップＳ４５９に進み、ステップＳ４５０からの処理フローを終了する。上記ステップＳ４５７で、近接操作指重畳画面が保存されていると判断した場合（Ｙ）には、ステップＳ４５８に進む。ステップＳ４５８で、スマートフォン１は、近接操作指重畳画面を消去し、ステップＳ４５９に進み、ステップＳ４３０の処理フローを終了する。

【0089】

図４の説明に戻る。ステップＳ４３０の重畳画面作成処理の次に、ステップＳ４１８に移行する。ステップＳ４１８で、スマートフォン１は、上記ステップＳ４３０で作成した重畳画面の表示情報を、重畳画面保存機能３１１により保存する。勿論、保存すべき重畳画面が無い場合には、ここでは保存されない。

【0090】

次に、ステップＳ４１９で、スマートフォン１（特に図２の映像出力部１０７Ｂ）は、通信部１０６を用いて、重畳画面の表示情報９Ａを、外部表示装置であるテレビ２に対し外部出力する。この際に、ステップＳ４１８からステップＳ４１９に移行してきた場合には、スマートフォン１は、重畳画面保存機能３１１により保存されている重畳画面の表示情報を外部出力する。すなわち、スマートフォン１からテレビ２に出力される表示情報９Ａにのみ、操作指の指画像６が重畳されている。一方、ステップＳ４１６またはステップＳ４１７からステップＳ４１９に移行してきた場合には、スマートフォン１は、ステップＳ４３０の重畳画面作成処理が行われていない表示情報を、表示情報９Ａとして外部出力する。すなわち、スマートフォン１からテレビ２に出力される表示情報９Ａには、操作指の指画像６が重畳されていない。この場合には、スマートフォン１の画面３Ａとテレビ２の画面４Ａとで、表示情報は同一であり、画面４Ａに操作指の指画像６は重畳表示されない。

【0091】

次に、ステップＳ４２０で、スマートフォン１は、システム、プログラム、またはユーザ等により、表示終了の指示が有ったかどうかを判断する。ステップＳ４２０で、表示終了指示が無いと判断した場合（Ｎ）には、ステップＳ４１２に戻る。ステップＳ４２０で、表示終了指示が有ると判断した場合（Ｙ）には、ステップＳ４２１に進み、図４の処理フローを終了する。図４の処理フローは、時間軸上で繰り返して同様に行われる。

【0092】

スマートフォン１が上記処理フローに従って動作することで、図１のように、スマートフォン１の画面３Ａと同じ内容で、かつ指先１１の近接や接触の状態を表す指画像６が重畳された重畳画面を、テレビ２の表示画面４内に画面４Ａ（指画像６付きのミラーリング画面）として表示させることができる。

【0093】

［指画像（操作物画像）－（１）］
次に、指画像６の詳細について説明する。上記タッチパネル７のタッチセンサ７２によって表示画面３への操作指である指先１１の接触が検出された場合には、当然ながら、その前段階として、近接センサ７３によって操作指の近接も検出されている。実施の形態１では、スマートフォン１は、近接センサ７３による近接状態の検出と、タッチセンサ７２による接触状態の検出との両方を、それぞれ区別しながら行う。図４～図６の処理フロー例は、それらの近接検出と接触検出とを包含している。図４～図６の処理フロー例では、説明の都合上、先に図５で接触検出処理を説明し、次に図６で近接検出処理を説明したが、それらの処理の順序は限定されない。表示画面３に対しユーザの手指１０が近接や接触のいずれの状態になったとしても、図４～図６の処理フローでその近接や接触の状態を区別して検出可能である。

【0094】

そして、さらに、実施の形態１でのスマートフォン１は、上記近接状態と接触状態とを区別した検出に基づいて、重畳画面での指画像６の表示の態様を制御する。実施の形態１では、重畳画面として、上記近接状態に応じた近接操作指重畳画面（Ｓ４５５）と、上記接触状態に応じた接触操作指重畳画面（Ｓ４３５）との２種類を用意している。実施の形態１では、ユーザに対し接触操作指重畳画面（Ｓ４３５）と近接操作指重畳画面（Ｓ４５５）との違いを明確化するために、それらの重畳画面に応じて、操作指の指画像６に表示上の差異を設ける。すなわち、操作指の近接の検出時には、近接操作指重畳画面での指画像６は、画面３Ａに操作指が近接した状態を表す表示態様（例えば第１表示態様）とされる。操作指の接触の検出時には、接触操作指重畳画面での指画像６は、画面３Ａに操作指が接触した状態を表す表示態様（例えば第２表示態様）とされる。指画像６は、第１表示態様と第２表示態様とでユーザから見て違いがわかるように構成される。

【0095】

図７は、指画像６の表示の構成例を示す。（Ａ）は、接触検出時の接触操作指重畳画面（Ｓ４３５）における操作指の指画像６ａを示し、（Ｂ）は、近接検出時の近接操作指重畳画面（Ｓ４５５）における操作指の指画像６ｂを示す。これらの指画像６は、表示画面４での座標系を図示のように（Ｘ，Ｙ，Ｚ）とした場合の表示態様を示す。なお、点ｐ６ａは、画面４Ａに指画像６ａを配置する場合の基準となる位置座標の例である。本例では、この点ｐ６ａは、検出による接触位置座標と対応させて設定されており、指先１１および爪に対応させた位置として設定されている。同様に、点ｐ６ｂは、画面４Ａに指画像６ｂを配置する場合の基準となる位置座標の例である。本例では、この点ｐ６ｂは、検出による近接位置座標と対応させて設定されている。

【0096】

実施の形態１では、スマートフォン１の画面３Ａ上を操作する操作指を視認した場合の状態とほぼ同じ状態、言い換えると操作指による操作の状態を模式的に表現した状態を、テレビ２の画面４Ａで指画像６の重畳画面として実現する。そのために、実施の形態１では、図１の操作指の指画像６および図７の指画像６（６ａ，６ｂ）は、背景（画面３Ａの内容）が透過されない不透明指画像として表現されている。

【0097】

これらの指画像６は、操作指が右手人差し指である場合の画像であり、右手人差し指を表すように、例えば１本の指で爪先から第１関節および第２関節を含む根本付近までの一部分を模式的に表した画像である。これらの指画像６は、右手人差し指であることを表すために、座標系（Ｘ，Ｙ，Ｚ）において、指画像６の長手方向（指方向）がＹ方向で下側から上側に向かって左に傾いた画像とされている。この傾きから、ユーザは、この指画像６を右手人指し指として認識できる。仮に操作指が左手人差し指である場合には、この指画像６の向きは逆（右に傾いた画像）とされる。なお、指画像６の詳細は、これに限らず可能であり、例えばより詳細な３次元画像としてもよいし、手指１０全体の画像としてもよい。

【0098】

（Ａ）の指画像６ａは、画面３Ａに操作指（指先１１）が接触している状態を表すために、第１表示態様として、指画像６（爪を含む）の輪郭が実線で表現されている画像である。（Ｂ）の指画像６ｂは、画面３Ａに操作指（指先１１）が近接している状態を表すために、第２表示態様として、指画像６（爪を含む）の輪郭が点線で表現されている画像である。これらにより、２種類の指画像６（６ａ，６ｂ）の表示上の識別が図られている。指画像６が（Ｂ）の指画像６ｂから（Ａ）の指画像６ａに変化した場合、すなわち表示態様が点線から実線に変化した場合、その変化は、画面３Ａに対し操作指が近接から接触の状態に変わったことをユーザに伝える。

【0099】

実施の形態１では、図１のように、スマートフォン１は、画面３Ａの表示情報に操作指の指画像６を重畳した重畳画面（表示情報９Ａ）をテレビ２へ外部出力している。外部出力された重畳画面は、通信９の伝送路を介してテレビ２に入力される。テレビ２は、その重畳画面（表示情報９Ｂ）を受信・入力し、表示画面４内に画面４Ａ（ミラーリング画面）として表示する。画面４Ａでは、画面３Ａの内容の上（面垂直方向）に、指画像６が重畳表示されている。その結果、ユーザは、テレビ２の表示画面４における画面４Ａを視聴するだけで、スマートフォン１の画面３Ａを操作する操作指（右手人差指）の位置や動き等の状態を把握することができる。

【0100】

したがって、ユーザは、テレビ２の大画面で画面４Ａ（ミラーリング画面）を視認する際に、操作確認等のためにスマートフォン１の表示画面３に視線を移す必要無く、画面４Ａに視線を向けたまま、スマートフォン１の画面３Ａに対する操作を好適に行うことができる。すなわち、従来技術でスマートフォンの操作の度に必要としていた視線移動の煩雑さを解消することができる。

【0101】

また、上記実施の形態１での機能によれば、ユーザが操作指をスマートフォン１の画面３Ａに近接させるだけでも、その近接状態・非接触状態を、テレビ２の画面４Ａの内容に指画像６の表示態様（指画像６ｂ）として反映させることができる。ユーザは、指画像６から、操作指の状態が近接か接触かの違いを識別しやすい。よって、実施の形態１によれば、タッチパネル７の表示画面３（画面３Ａ）に対する操作指の接触間違い（例えばＧＵＩオブジェクトの誤操作など）を防止・軽減することができる。

【0102】

［指画像（操作物画像）－（２）］
上記のように、実施の形態１では、接触操作指重畳画面と近接操作指重畳画面との違いを明確化するために、操作指の指画像６に表示上の差異を設けた。これはあくまで一例であり、様々な差異・表示態様、表現方法等を適用可能である。他の差異・表示態様の例を以下に示す。指画像６の差異・表示態様として、色（色種類）、濃度（または明度）、コントラスト等を利用してもよい。例えば、初期設定またはユーザ設定で、操作指の指画像６の形や色が基本として設定される。例えば、ある設定での指画像６は、右手人差し指で、アジア系人種の肌色（黄、ベージュ等）とされる。ユーザは色を任意に選択できる。例えば、近接状態での指画像６ｂは、上記基本の肌色（例えば黄）とされ、接触状態での指画像６ａは、基本の肌色をより濃くした色、または明るくした色、またはコントラストを高くした色とされる。あるいは、接触状態での指画像６ａは、基本の肌色に対し、他の色（例えば赤）を混ぜる等して加工した色としてもよい。あるいは、ユーザ設定で、近接状態時と接触状態時との２種類で使用する色を任意に選択してもよい（例えば近接状態では白、接触状態では赤等）。

【0103】

また、指画像６の差異・表示態様として、操作指の操作のパターン（例えばタッチ、タップ、スワイプ、フリック、ピンチ等）の識別に応じた、複数の表示態様を設けてもよい。例えば、タッチ操作の時には、指画像６は、接触状態時に赤色とし、さらにスワイプ操作（接触状態を維持したまま画面内方向で位置を移動する操作）の時には青色とする等が可能である。あるいは、指画像６の差異・表示態様として、画面内のＧＵＩオブジェクトの操作や機能の種別（例えばボタンのオン／オフ、アイコンのドラッグ、バーのスライド、ページのスクロール等）の識別に応じた、複数の表示態様を設けてもよい。

【0104】

また、指画像６の差異・表示態様として、サイズを変えてもよい。例えば、近接状態時には第１サイズの指画像とし、接触状態時には、第１サイズよりも小さい第２サイズの指画像としてもよい。

【0105】

また、操作物画像として指画像とする例を説明したが、これに限らず、画面に対する操作物は、タッチペンや鉛筆や指示棒等の他の物体でもよい。その場合、操作物画像は、そのタッチペン等の操作物を表す画像とし、その操作物画像が重畳画面内に重畳される。

【0106】

図７の（Ｃ）（Ｄ）は、操作物画像の他の例を示す。（Ｃ）では、操作物画像７０１は、手指１０（例えば右手）の全体を表す画像である。（Ｄ）では、操作物画像７０２は、タッチペン（例えば右手に持たれるタッチペン）を表す画像である。

【0107】

また、操作物画像に関して、接触状態時に、接触を表すエフェクトとして画像や音声を出力するものとしてもよい。エフェクトの画像の例としては、指先やペン先から発生させる光や波などのアニメーションとしてもよい。エフェクトの音声の例としては、接触音が挙げられる。なお、外部出力する表示情報９Ａ（重畳画面のデータ）に関して、音声を伴わせる場合、表示情報９Ａ内に音声情報を含む形式としてもよいし、表示情報９Ａとは別に音声情報を関連付けて付属させる形式としてもよい。

【0108】

［変形例－省電力制御］
さらに、上記実施の形態１での機能には、以下のように、変形例として、省電力化などのための制御（対応する省電力制御機能）を追加してもよい。上記のように、テレビ２の表示画面４内に指画像６付きの重畳画面（画面４Ａ）を表示してユーザがその画面４Ａを視認している場合、ユーザは、スマートフォン１の表示画面３の方は視認していない。よって、省電力化のために、スマートフォン１は、この状態の場合に、意図的な制御として、表示画面３の視認に必要なタッチパネル７のバックライトを消灯する等して、省電力状態にしてもよい。これは、従来のスマートフォンに備える自動的な省電力制御とは別の制御として所定のタイミングで実行される。この省電力制御は、後述の実施の形態での視線検出部１１０を用いて実現されてもよい。すなわち、スマートフォン１は、視線検出部１１０によって検出した視線方向が、スマートフォン１の方を向いていない場合、表示画面３の表示を停止させる。また、このような省電力制御の機能は、ユーザ設定で適用のオン／オフを設定可能とする。

【0109】

［近接・接触の検出］
図８を用いて、実施の形態１での近接・接触の検出について説明する。各実施の形態では、表示画面３に対する手指１０の近接と接触とを区別する。接触は、物理的な表示画面３への物理的な接触である。近接は、物理的な表示画面３に近付くことであり、非接触でもある。本明細書では、近接とは、接触を含まない概念である。

【0110】

図８は、実施の形態１で、ユーザがスマートフォン１の表示画面３（対応する画面３Ａ）内のある位置Ｐ１（ｘ，ｙ，０）を操作指の指先１１でタッチ操作する場合の様子を側面から見た模式図を示す。ここでは、表示画面３の座標系を（ｘ，ｙ，ｚ）で示す。ｘ方向およびｙ方向は、表示画面３を構成する直交する２つの方向である。ｚ方向は、表示画面３に対する面垂直方向であり、表示画面３に対し指先１１が近付いたり離れたりする奥行き方向や前後方向である。ユーザは、通常の視聴の場合、すなわちミラーリング画面の視聴ではない場合、目に対応するアイポイントＥＰからの視線方向ａ１で表示画面３（画面３Ａ）を視認する。ここでは表示画面３を破線で示す。また、視線方向ａ２は、同じアイポイントＥＰから図示しないテレビ２の表示画面４を視認する際の視線の例である。

【0111】

表示画面３から手前側の空間領域において、ｚ方向で、指先１１と表示画面３との距離をＤで示す。破線で示す閾値８０１（Ｈａ）は、近接状態の判定用の距離Ｄの閾値の例であり、予め機能において設定されている。スマートフォン１は、近接センサ７３に基づいて検出した距離Ｄを用いて、指先１１が接触状態（ｚ＝０）ではなく、かつ、距離Ｄが閾値Ｈａ以内である場合（０＜Ｄ≦Ｈａ）には、「近接状態」であると判定する。スマートフォン１は、タッチセンサ７２を用いて、指先１１が表示画面３に接触した状態（ｚ＝０）を、「接触状態」であると判定する。

【0112】

本例では、手指１０ａの状態は、距離Ｄが閾値Ｈａよりも大きく、指先１１が近接も接触もしていない状態（非近接状態）の例を示す。また、手指１０ｂの状態は、距離Ｄが閾値Ｈａ内となっており、操作指の指先１１が表示画面３に近接した「近接状態」の例を示す。また、手指１０ｃの状態は、距離Ｄが０であり、操作指の指先１１が表示画面３内の中央付近の点Ｐ１（位置座標（ｘ，ｙ，０））に接触した場合の「接触状態」を示す。接触時にｚ方向での値を０とする。

【0113】

上記のように、実施の形態１では、手指による操作に係わる状態として、近接状態と接触状態との２種類（非近接状態を含めると３種類）を区別して検出し、それぞれに合わせた指画像６を重畳した重畳画面を表示する。これに限らず、手指１０の近接・接触に関して、段階的な複数の状態（例えば第１近接状態、第２近接状態など）を区別して検出する形態としてもよい。そして、段階的な複数の状態の各状態に応じた指画像６を重畳する形態としてもよい。

【0114】

実施の形態１では、手指１０の近接および接触の判定に関して、最も単純には、表示画面３内の１点（対応する画素）の位置を判断する方式とすればよい。例えば、表示画面３に対し、指先１１が最も近接した位置（近接位置）や接触した位置（接触位置）を判断して、それに対応する位置座標を取得すればよい。そして、その１点の位置座標（例えば接触位置）を、所定の操作（例えばタッチ操作）のための位置情報とすればよい。また、その１点の位置座標を、重畳画面での指画像６の配置・表示の基準位置とすればよい。これらに限らず、より詳細には、表示画面３内の２点以上あるいは領域を判断する方式としてもよい。例えば、操作指が右手人指し指である場合に、指先（爪）と指関節との２点の位置を判断する方式としてもよい。その２点に合わせて指画像６を配置・表示してもよい。

【0115】

［変形例－接触・近接の検出］
また、上記実施の形態１での機能には、以下のように、変形例として、閾値を用いた近接・接触の検出・判定の制御（対応する機能）を追加してもよい。前述の図８を用いて説明する。この変形例では、操作指とタッチパネル７の表示画面３との間（ｚ方向）の近接距離（距離Ｄ）および「近接状態」「接触状態」の判定に関して、前述の方式とは異なる方式を適用する。スマートフォン１は、判定用に所定の閾値８０２（Ｈｂとする）を設定する。この閾値Ｈｂは、閾値８０１（Ｈａ）と同じとしてもよいし、異なる値としてもよい。例えば図８のように、閾値Ｈｂは、閾値Ｈａとは別に、閾値Ｈａよりも小さい値として設定される（Ｈａ＞Ｈｂ）。スマートフォン１は、ｚ方向で、表示画面３（ｚ＝０）に対し、操作指の指先１１が、所定の閾値Ｈｂ以内になるように近接した場合（０＜Ｄ≦Ｈｂ）、前述の「近接状態」として判定するのではなく、「接触状態」として判定する。言い換えると、この接触状態は、実際には指先１１が表示画面３には接触していないが、所定の操作（例えばタッチ操作）のために接触とみなす状態（「疑似接触状態」）である。

【0116】

スマートフォン１は、この疑似接触状態となった時には、対応する疑似接触位置を取得して、所定の操作（例えばタッチ操作）の受け付けとして処理する。この変形例では、近接・接触の判定において、上記のようなアルゴリズムを追加または置換する。これにより、ユーザは、操作指が表示画面３に非接触である状態でも、上記疑似接触状態とすれば、スマートフォン１を操作（例えば疑似接触状態の位置のオブジェクトに対するタッチ操作）することができる。この疑似接触状態の場合に、スマートフォン１は、重畳画面として、スマートフォン１を操作できる接触操作指重畳画面を作成する。この接触操作指重畳画面では、指画像６は、例えば図７の（Ａ）の指画像６ａのように実線で表現される。

【0117】

［近接センサ］
近接センサ７３の構成例を説明する。近接センサ７３として、実施の形態１では、前述のタッチパネル７と一体型である静電容量方式の近接センサを適用する。この近接センサは、タッチパネル７のディスプレイ７１（例えば液晶ディスプレイ）のセル群において、静電容量素子等が配置された構成を有する。この近接センサは、各静電容量素子を用いて、ディスプレイ７１上の指等の物との距離に応じた静電容量変化を検出する。スマートフォン１は、この近接センサの検出情報から、表示画面３上の指先１１の位置や距離等を計算できる。静電容量方式は、詳しくは、例えば表面容量方式と投射容量方式とがある。投射容量方式を用いる場合、静電容量変化の検出感度を向上させることで、指が面に接触する前の微小な容量変化を検出できる。これにより、指先１１が表示画面３に接触する前の近接状態における近接位置等を高精度に検出可能である。

【0118】

近接センサ７３として、超音波センサも適用できる。超音波センサは、超音波出射部から超音波を発して指等の物に当て、その物からの反射波を超音波入射部で入射して検出する。超音波センサは、スマートフォン１の筐体の一部に実装される。スマートフォン１は、超音波センサの検出情報から、表示画面３上の指先１１の位置や距離等を計算できる。

【0119】

近接センサ７３として、光センサ、例えば赤外線センサも適用できる。赤外線センサは、赤外線照射部から赤外線を照射して指等の物に当て、その物からの反射波を反映した映像を赤外線カメラで撮影して検出する。赤外線センサは、スマートフォン１の筐体の一部に実装される。スマートフォン１は、赤外線センサの検出情報から、表示画面３上の指先１１の位置や距離等を計算できる。例えば、一般的なスマートフォンに搭載されている顔認証機能は、上記のような光センサおよびカメラを用いて実現されている。この顔認証機能を、実施の形態での操作指の近接の検出等にも利用できる。

【0120】

近接センサ７３として、ＬｉＤＡＲ（Laser Imaging Detection And Ranging）等の３次元距離センサも適用できる。ＬｉＤＡＲは、例えばスマートフォン１の表示画面３の背後の面領域、あるいは筐体の額縁領域等に搭載される。ＬｉＤＡＲは、レーザ照射部からレーザを照射して指等の物に当て、物からの反射波を受光して検出する。ＬｉＤＡＲは、レーザを例えば２次元の面領域に対しスキャンするように照射する。スマートフォン１は、ＬｉＤＡＲの検出情報から、表示画面３上の指先１１の位置や距離等を計算できる。

【0121】

近接センサ７３として、タッチパネル７と一体型である光センサも適用できる。この一体型の光センサは、例えばタッチパネル７のディスプレイ７１（例えば液晶ディスプレイ）のセル群において、光学センサ素子群が配置された構成を有する。光学センサ素子は、受光強度を検出する。スマートフォン１は、一体型の光センサの検出情報から、表示画面３上の指先１１の位置や距離等を計算できる。

【0122】

［効果等（１）］
上記のように、実施の形態１の情報表示装置によれば、携帯情報端末の画面と同じ内容の画面を外部表示装置に表示させる場合、言い換えると画面に関するミラーリングを行う場合に、ユーザの視線移動等の煩雑さを解消または低減でき、ユーザの操作性や利便性を高めることができる。ユーザは、外部表示装置の大画面でのミラーリング画面に視線を固定したまま、携帯情報端末のタッチパネルの画面に対する手指による操作を好適に行うことができる。ユーザは、例えばスマートフォン１等の携帯情報端末の画面をテレビ２等の外部表示装置の大画面でミラーリング画面として視認する際に、操作のたびに携帯情報端末のタッチパネルに視線を移す必要無く、外部表示装置の画面に視線を向けたまま、タッチパネルに対する手指による好適な操作が可能となる。すなわち、情報表示装置の画面と外部表示装置の画面との間で、ユーザの視線移動を不要とする、または少なくすることができる。したがって、携帯情報端末の操作の度に必要としていた視線移動の煩雑さを解消または低減でき、従来技術よりもユーザにとっての操作性や利便性を高めることができる。

【0123】

実施の形態１では、画面に関するミラーリングの機能、特に、操作指の重畳画面を外部出力する機能について、すべてがスマートフォン１単体で実現されており、外部表示装置側には、何らの特別な機能の実装が不要である。そのため、テレビ２に限らず様々な外部表示装置が適用可能である。

【0124】

なお、実施の形態１では、スマートフォン２の表示画面３よりもテレビ２の表示画面４の方が、サイズが大きい場合を例に説明した。これに限定されず、情報表示装置の画面に対し外部表示装置の画面が同じまたは小さいサイズである場合でも、同様に適用可能である。

【0125】

また、従来技術では、ユーザは、テレビ画面に対し、手に持ったスマホ画面を、視線の先に近い位置として置いて、両方を見比べるような動作をする場合もある。この場合、ユーザは、腕を上げる等の動作が必要であるが、実施の形態１によれば、そのような動作も不要となり、ユーザにとって楽となる。

【0126】

（実施の形態２）
図９を用いて、実施の形態２について説明する。実施の形態２等の基本的な構成は、実施の形態１と同様であり、以下では、実施の形態２等における実施の形態１とは異なる構成部分について主に説明する。実施の形態２では、重畳画面における操作指の指画像６は、前述（図１、図７）の不透明指画像ではなく、背景（画面３Ａの内容）が透過される透明指画像として表現される。

【0127】

［重畳画面］
図９は、実施の形態２で、テレビ２の表示画面４内の画面４Ａにおいて、操作指の指画像６として、透明指画像である指画像６ｃを重畳表示する例を示す。指画像６ｃは、輪郭（爪を含む）が実線であり、輪郭内の領域が透明とされている。実施の形態２では、指画像６ｃが背景を透過するので、ユーザは、重畳画面である画面４Ａを視認している際に、画面３Ａ上で操作している操作指に遮られずに、操作指の背後にある部分である画面３Ａの内容（例えばＧＵＩオブジェクト）を視認できる。その結果、実施の形態２では、ユーザによる操作指の接触間違い等を防止・軽減することができる。

【0128】

図９の例では、指画像６ｃの指先の位置（近接位置または接触位置）は、スライドバーのようなＧＵＩオブジェクト上にある。よって、指画像６ｃの指先の背後にそのオブジェクトが見えるので、ユーザはそのオブジェクトに対するタッチおよびスワイプ等の操作がしやすい。

【0129】

実施の形態１では、重畳画面での指画像６を不透明指画像としたので、ユーザからは手指１０の操作の状態がより把握しやすい利点がある。一方、実施の形態２では、重畳画面での指画像６を透明指画像としたので、ユーザからは手指の背後にある元の画面３Ａの内容がより把握しやすい利点がある。

【0130】

実施の形態２の変形例として、指画像６は、半透明指画像としてもよい。これにより、操作指の背後が見えやすくなる効果がある。

【0131】

また、実施の形態２の変形例として、近接状態と接触状態とで指画像６の差異を設ける例として、指画像６は、近接状態時には透明指画像とし、接触状態時には不透明指画像としてもよい。あるいは、逆に、指画像６は、近接状態時には不透明指画像とし、接触状態時には透明指画像としてもよい。

【0132】

（実施の形態３）
図１０以降を用いて、実施の形態３について説明する。前述の実施の形態１では、ユーザが表示画面３を操作する操作指が右手人差し指であることを前提として説明した。操作指は、これに限らず、ユーザに応じて別の手指にすることができ、前述の指画像６（操作物画像）は、その別の手指に対応させた画像とすることができる。例えば、ユーザが右利きの場合には、操作指を右手人差し指として構わないが、ユーザが左利きの場合で、実際に左手人差し指で操作する場合には、前述の右手人差し指を表す指画像６のままでは、ユーザにとって違和感が生じる。実施の形態３では、ユーザの操作指が様々な場合でも、操作・視認上の違和感が生じないように、ユーザが操作指に対応する指画像を設定できる機能を追加で備える。この機能は、スマートフォン１内に予め複数の種類の指画像を記憶しておき、ユーザがユーザ設定で、自分が使用する操作指に対応した種類の指画像を選択して使用できる機能である。

【0133】

［機能ブロック（３）］
前述の図３を用いて、実施の形態３でのスマートフォン１の機能ブロック構成例を説明する。実施の形態３では、さらに図３での操作指画像取得機能３１３を備える。操作指画像取得機能３１３は、ユーザがスマートフォン１の表示画面３を操作する際の操作指の指画像６を取得する機能である。図２の記憶部１０４のデータ部４２には、予め、複数の種類の操作指の指画像が記憶されている。例えば、初期設定では、操作指が右手人差し指であり、右手人差し指を表す前述のような指画像６が適用される。記憶部１０４には、右手人差し指以外にも、右手や左手の各指に対応した指画像が記憶されている。

【0134】

操作指画像取得機能３１３は、例えばユーザ設定でのユーザによる操作指の指定（例えば左手人差し指）に応じて、データ部４２から、その操作指の指画像のデータを読み出して取得してもよい。そして、操作指画像取得機能３１３は、取得した指画像のデータを、操作指画像保存機能３０５により保存する。操作指画像保存機能３０５は、重畳画面に重畳する操作指の指画像を処理用に保持する。

【0135】

図１０は、複数の種類の指画像６（対応する指画像データ）の例を示す。本例では、４種類の指画像６として、（１）右手人差し指の指画像６Ａ、（２）右手親指の指画像６Ｂ、（３）左手人差し指の指画像６Ｃ、（４）左手親指の指画像６Ｄを有する。例えば、ユーザは、ユーザ設定で、これらの候補から、左手人差し指の指画像６Ｃを選択し、操作指の指画像６として設定する。言い換えると、ユーザは、使用する操作指を、初期設定の右手人指し指から、左手人差し指に変更できる。

【0136】

図１０の下側には、複数の操作指の指画像６から選択された操作指の指画像６として例えば左手人差し指の指画像６Ｃを、重畳画面（画面４Ａ）で重畳表示した例を示す。操作指の指画像６は、初期設定での右手人差し指の指画像６Ａから、左手人差し指の指画像６Ｃに変更されている。このように、実施の形態３では、ユーザは、自分の好適な操作指とそれに対応させた指画像６を設定できる。よって、例えば左利きのユーザ等の場合でも、ミラーリング画面に関する好適な視認および操作が可能である。

【0137】

［処理フロー（３）］
前述の図４を用いて、実施の形態３での主な処理（操作指重畳画面処理）のフローを説明する。実施の形態３では、実施の形態１に対し主に異なる構成点として、ステップＳ４１６とステップＳ４１７との間にステップＳ４７０が追加されている。ステップＳ４７０は、定義済み処理（サブルーチン）であり、操作指画像取得機能３１３による操作指画像取得処理である。ステップＳ４１６で重畳画面の外部出力が可能である場合（Ｙ）に、ステップＳ４７０が行われる。

【0138】

図１１は、ステップＳ４７０の操作指画像取得処理の処理フローを示す。ステップＳ４７１で、ステップＳ４７０の処理が開始される。すると、ステップＳ４７２で、スマートフォン１の操作指画像取得機能３１３は、ユーザが操作をする操作指の指画像が操作指画像保存機能３０５により保存されているかどうかを判断する。上記ステップＳ４７２で、操作指の指画像が保存されていると判断した場合（Ｙ）には、ステップＳ４７４に移行し、操作指の指画像が保存されていない（言い換えると初期状態）と判断した場合（Ｎ）には、ステップＳ４７３に移行する。

【0139】

ステップＳ４７３では、スマートフォン１は、記憶部１０４のデータ部４２に記憶されている複数の指画像の中から、初期設定のために、操作指として右手人差し指の指画像を選択し、選択した右手人差し指の指画像を、操作指画像保存機能３０５により保存する。その後、ステップＳ４７４に移行する。

【0140】

ステップＳ４７４は、ユーザが操作指の変更を指示したかどうかを判断する処理である。例えば、スマートフォン１が提供するユーザ設定画面で、ユーザが操作指または対応する指画像の候補のリストから、使用する操作指・指画像を選択指定する。ステップＳ４７４で、操作指画像取得機能３１３は、その選択指定された操作指の指画像の指示情報を得て、初期設定の操作指（右手人差し指）から変更があるかを確認する。ステップＳ４７４で、操作指の変更指示が有ると判断した場合（Ｙ）には、ステップＳ４７５に進み、操作指の変更指示が無いと判断した場合（Ｎ）には、ステップＳ４７６に進む。

【0141】

ステップＳ４７５では、スマートフォン１は、ユーザが選択・指示した変更後の操作指（例えば左手人差し指）の指画像のデータを、記憶部１０４のデータ部４２に保存されている複数の指画像の中から選択して読み出し、その変更後の操作指の指画像を、操作指画像保存機能３０５により保存する。その後、ステップＳ４７６で、ステップＳ４７０の得処理フローを終了する。ステップＳ４７４で変更指示が無い場合（Ｎ）にも、既に操作指の指画像は作指画像保存機能３０５により保存されているので、ステップＳ４７０の処理フローを終了する。

【0142】

なお、実施の形態３の変形例として、スマートフォン１ではなく外部のサーバ等に、複数の種類の指画像のデータを記憶しておき、スマートフォン１はその外部のサーバ等から指画像のデータを参照してもよい。また、ユーザ設定でのユーザによる操作指の指定に関しては、視聴中にスマートフォン１に対する所定の操作で操作指の指定や切り替えが即時にできるように、予めその所定の操作が規定されていてもよい。

【0143】

（実施の形態４）
図１２以降を用いて、実施の形態４について説明する。前述の実施の形態１等では、タッチ／タップやスワイプ等の操作に関する操作指が１本（例えば右手人差し指）の場合を説明した。実施の形態４では、一度に使用される操作指が複数本である場合を説明する。実施の形態４での機能は、複数本の操作指に対応させた指画像（操作物画像）を重畳表示する機能を有する。特に、本例では、２本の操作指（例えば右手人差し指と右手親指）を用いて、画面３Ａ内のＧＵＩオブジェクトや画像に対するピンチ操作（対応する拡大／縮小の作用）を行う場合を説明する。

【0144】

一般に、ピンチ操作の場合、タッチパネル７の表示画面３に同時に接触する操作指は２本となる場合が多い。以下では、説明上、２本の操作指を識別するために、表示画面３に最初に接触した方の指を第１操作指とし、続いて接触した方の指を第２操作指とする。なお、一方の第１操作指をメインの指として捉える場合には、他方の第２操作指を、サブまたは補助の指として捉えてもよい。

【0145】

［機能ブロック（４）］
前述の図３を用いて、実施の形態４でのスマートフォン１における機能ブロック構成例を説明する。実施の形態４では、実施の形態３での操作指画像取得機能３１３を用いる構成に対し、さらに、第２操作指画像取得機能３１４および第２操作指画像保存機能３１５が追加されている。前述の操作指画像取得機能３１３および操作指保存機能３０５は、実施の形態４では第１操作指に関する機能となり、第２操作指画像取得機能３１４および第２操作指画像保存機能３１５は第２操作指に関する機能となる。

【0146】

第２操作補助指画像取得機能３１４は、タッチパネル７を操作する第２操作指の指画像を取得する機能である。例えばタッチセンサ７２の検出結果に基づいて、時間軸で、最初に表示画面３に接触した指（対応する接触位置）が第１操作指（対応する第１接触位置）とされ、その後に所定の時間内で表示画面３に接触した別の指（対応する別の接触位置）があった場合には、その指が第２操作指（対応する第２接触位置）とされる。一例としては、右手人差し指が第１操作指となり、右手親指が第２操作指となる。

【0147】

［複数の操作指の指画像］
図１２は、実施の形態４でピンチ操作に対応した場合における、予めデータ部４２に記憶されている複数の種類の指画像の一部の例を示す。右手の場合において、前述の指画像６Ａ，６Ｂの他に、ピンチ操作に対応できる指画像６ｐ１，６ｐ２を有する。（Ａ１）は、ピンチ操作時の右手人差し指の指画像６ｐ１であり、（Ａ２）は、ピンチ操作時の右手親指の指画像６ｐ２である。

【0148】

操作指画像取得機能３１３は、図１２の例のような複数の指画像のデータから、第１操作指に対応する指画像（例えば指画像６ｐ１）を取得する。同様に、第２操作指画像取得機能３１４は、第２操作指に対応する指画像（例えば指画像６ｐ２）を取得する。他の操作指である場合でも、同様に選択可能である。第２操作指画像保存機能３１５は、第２操作指画像取得機能３１４で得た第２操作指の指画像を保存する機能である。

【0149】

実施の形態４でのスマートフォン１は、画面３Ａに同時に接触している２本の操作指を検出した場合、第１操作指（例えば右手人差し指）と第２操作指（例えば右手親指）との組として、処理を行う。

【0150】

［処理フロー（４）］
前述の図４を用いて、実施の形態４での操作指重畳画面処理のフローを説明する。実施の形態４でのフローは、図４の実施の形態３でのフローに対し、さらに、ステップＳ４８０が追加されている。スマートフォン１は、ステップＳ４７０で第１操作指の指画像を取得し、次のステップＳ４８０で第２操作指の指画像を取得する。

【0151】

図１３は、ステップＳ４８０の第２操作指画像取得処理のフローを示す。ステップＳ４８１で、ステップＳ４８０の処理が開始される。すると、まず、ステップＳ４８２で、スマートフォン１の第２操作指画像取得機能３１４は、第２操作指の使用が有るかどうかを判別する。実施の形態４では、スマートフォン１は、タッチセンサ７２を用いて、表示画面３（画面３Ａ）に同時に接触している操作指が２本であることを検出した場合（言い換えると、第１接触位置および第２接触位置が検出された場合）には、第１操作指に加えた第２操作指の使用が有ると判断する。

【0152】

ステップＳ４８２で、第２操作指の使用が無いと判断した場合（Ｎ）には、ステップＳ４８３に進み、第２操作指の使用が有ると判断した場合（Ｎ）には、ステップＳ４８４に進む。ステップＳ４８３では、スマートフォン１は、第２操作指の指画像を消去し、ステップＳ４８８に進んで、ステップＳ４８０の処理を終了する。

【0153】

ステップＳ４８４では、スマートフォン１は、第２操作指の指画像が第２操作指画像保存機能３１５により保存されているかどうかを判断する。ステップＳ４８４で、第２操作指の指画像が保存されていると判断した場合（Ｙ）には、ステップＳ４８６に移行する。ステップＳ４８４で、第２操作指の指画像が保存されていない（すなわち初期状態）と判断した場合（Ｎ）には、ステップＳ４８５に移行する。ステップＳ４８５では、スマートフォン１は、記憶部１０４のデータ部４２に記憶されている複数の指画像の中から、第２操作指（例えば右手親指）の指画像を選択し、選択した第２操作指の指画像を、第２操作指画像保存機能３１５により保存する。そして、ステップＳ４８６に進む。

【0154】

ステップＳ４８６で、スマートフォン１の第２操作指画像取得機能３１４は、ユーザが第２操作指の変更を指示したかどうかを判断する。ステップＳ４８６で、第２操作指の変更の指示が有ると判断した場合（Ｙ）には、ステップＳ４８７に進み、第２操作指の変更の指示が無いと判断した場合（Ｎ）には、ステップＳ４８８へ進む。ステップＳ４８７では、スマートフォン１は、記憶部１０４のデータ部４２に記憶されている複数の指画像の中から、ユーザが指示した第２操作指に対応した指画像を選択し、使用する第２操作指の指画像を、その指画像に変更する。ステップＳ４８７では、スマートフォン１は、第２操作指画像保存機能３１５により、変更後の第２操作指の指画像を保存する。その後、ステップＳ４８８では、ステップＳ４８０の処理を終了する。ステップＳ４８６で変更が無いとなった場合（Ｎ）には、既に第２操作指の指画像が第２操作指画像保存機能３１５により保存されているので、ステップＳ４８８で、ステップＳ４８０の処理を終了する。

【0155】

実施の形態４では、図４のフローにおいて、ステップＳ４３０の重畳画面作成処理は、一部の内容が前述の内容とは異なる。異なる構成点としては、図５のステップＳ４３６の接触操作指重畳画面作成処理と、図６のステップＳ４５５の近接操作指重畳画面作成処理とにおいて、それぞれの重畳画面で、第１操作指と第２操作指との２本の操作指の指画像を重畳した重畳画面とすることがある。

【0156】

図１２の下側には、テレビ２の画面４Ａにおいて、ピンチ操作時の２本の操作指の指画像６（６ｐ１，６ｐ２）を重畳表示する例を示す。

【0157】

上記のように、実施の形態４では、ユーザは、テレビ２での画面４Ａを視認したまま、スマートフォン１での画面３Ａに対する２本の操作指によるピンチ操作を好適に行うことができる。また、２本の操作指は、それぞれの操作指毎の近接状態または接触状態に応じて、異なる表示態様で表示される。ピンチ操作に限らず、画面に同時に２本の操作指で操作する場合にも、同様に適用可能である。同時に３本以上の操作指がある場合にも、操作指毎に同様の処理を適用すればよい。また、実施の形態４の変形例としては、例えば同時に２本の操作指（第１操作指および第２操作指）がある場合に、それらをまとめて１つの指画像（例えば右手全体の画像）として構成してもよい。

【0158】

（実施の形態５）
図１４以降を用いて、実施の形態５について説明する。前述の実施の形態３および実施の形態４では、使用する操作指（指画像６に反映させる指）をユーザにより指定可能としていた。実施の形態５では、ユーザによる操作指・指画像の指定を不要とし、スマートフォン１が自動的に操作指を判断してそれに対応した指画像を作成する。

【0159】

［機能ブロック（５）］
前述の図３を用いて、実施の形態５でのスマートフォン１の機能ブロック構成例を説明する。実施の形態５は、主に異なる構成点として、操作指判別機能３１６を有する。操作指判別機能３１６は、カメラ５等を用いてユーザの操作指を自動的に判別する機能である。

【0160】

［処理フロー（５）］
図１４は、実施の形態５でのスマートフォン１による操作指重畳画面処理のフローを示す。図１４のフローは、図４のフローに対し、主に異なる構成点として、ステップＳ４１６の次に、ステップＳ４９０が追加されている。ステップＳ４９０は、操作指判別機能３１６による操作指判別処理である。

【0161】

ステップＳ４９０の操作指判別処理は、詳しくは例えば以下のような処理（撮影処理および解析処理など）を含む。まず、スマートフォン１の操作指判別機能３１６は、操作指撮影処理として、図１のカメラ５（フロントカメラ５Ａ）により、表示画面３上（面垂直方向）にある手指１０を撮影して画像を取得する。なお、フロントカメラ５Ａの構成例として、撮影の方向（言い換えると光軸）は、図１での表示画面３の面垂直方向であり、撮影範囲（言い換えると画角）は、例えば光軸に対し±９０度による半天球をカバーしており、表示画面３上の手指１０を捉えることができる。カメラ５の構成は、これに限らず可能であり、表示画面３上の手指１０、少なくとも表示画面３から面垂直方向にある程度の距離までの範囲内、を撮影できるものであればよい。

【0162】

次に、スマートフォン１の操作指判別機能３１６は、操作指解析処理として、上記撮影で得た画像に基づいて、当該画像内に写っている手指１０の指先１１に関して、本数、形状、太さ、長手方向、および近接移動方向等を、画像解析処理等によって判断する。近接移動方向は、表示画面３に対し指が近接するように移動する際の方向である。また、操作指判別機能３１６は、そのような解析の結果に基づいて、この時の操作指がどの手および指であるかを判断する。これらの判断は、大まかな推定でもよい。判断の結果、例えば、操作指が右手の人差し指であると推定される。

【0163】

ステップＳ４９０の後、前述のステップＳ４７０の操作指画像取得処理につながる。実施の形態５では、ステップＳ４７０で、スマートフォン１の操作指画像取得機能３１３は、上記判別された操作指（第１操作指）に対応した指画像を、記憶部１０４のデータ部４２に記憶されている複数の指画像の中から選択して取得する。そして、操作指画像取得機能３１３は、その操作指の指画像を、操作指画像保存機能３０５により保存する。上記処理例は、１本の操作指の場合であり、第１操作指として処理される。判別の結果で２本以上の操作指がある場合にも、操作指毎に同様の処理とすればよい。ステップＳ４９０の結果、第２操作指が判別されている場合には、同様に、ステップＳ４８０で、第２操作指の指画像の取得と保存が行われる。その後、前述のステップＳ４１７以降が同様に行われる。これにより、重畳画面では、上記判別された操作指の指画像が重畳表示される。

【0164】

上記のように、実施の形態５では、カメラ５を活用して操作指を自動的に判別し、その操作指の指画像を取得・保存し、重畳画面を作成する。これにより、ユーザが操作指を選択指定する手間が省ける。

【0165】

［変型例－指画像の作成］
実施の形態５等では、予めデータ部４２に記憶されている指画像を、重畳画面（画面４Ａ）に指画像６として表示している。これに限らず、変形例として以下も可能である。まず、ある変形例において、スマートフォン１（例えば図２の映像処理部１０７Ａ）は、データ部４２に記憶されている指画像を、画像加工処理することで、重畳表示する指画像６を作成してもよい。画像加工の例は、サイズの拡大／縮小、配置の向きの変更などが挙げられる。スマートフォン１は、元となる指画像のデータに基づいて、それをそのまま指画像６として表示するのではなく、その時の操作指の状態に合わせて、より好適な表示態様となるように、上記指画像６を作成する。

【0166】

また、ある変形例において、スマートフォン１は、上記カメラ５で撮影した画像・映像や各種のセンサ（近接センサ７３やセンサ部１０５）の検出情報に基づいて、指画像６を作成してもよい。例えば、スマートフォン１は、上記カメラ５で撮影した画像・映像から、写っている手指部分をトリミングする。そして、スマートフォン１は、そのトリミングした手指部分を画像加工処理することで、重畳表示する指画像６を作成する。その際の画像加工処理の一例としては、その写っている手指部分を、他の方向（例えばユーザの視線方向）から見た状態となるように変更すること（例えば回転、反転等）が挙げられる。

【0167】

図１５は、上記変形例に関する説明図である。（Ａ）は、スマートフォン１の表示画面３上の手指１０の状態の例としてユーザの視線方向から見た状態を示す。表示画面３の中央付近を操作指（右手人差し指）でタッチ操作している場合を示す。（Ｂ）は、（Ａ）に対応して、カメラ５（フロントカメラ５Ａ）の画像１５０１（ここでは表示画面３の領域のみとする）における、カメラ５から見た手指１０の写り方の状態の例を示す。フロントカメラ５Ａの撮影方向は、ユーザの視線方向とは逆なので、（Ａ）の手指１０は、（Ｂ）の画像１５０１では、手指画像部分１５０２のように、反対側から見た状態となる。スマートフォン１は、例えば（Ｂ）のような画像１５０１から、手指画像部分１５０２をトリミングし、指画像６の作成に利用する。また、スマートフォン１は、例えば（Ｂ）のような画像１５０１から、操作指が例えば右手人差し指であることも判別できる。

【0168】

また、ある変形例において、スマートフォン１は、上記カメラ５で撮影した画像・映像や各種のセンサの検出情報に基づいて、データ部４２の元の指画像のデータとは異なる指画像６を新規に生成してもよい。データ部４２の指画像データを全く参照せずにその指画像６を生成してもよい。この場合の利点として、例えばカメラ５の画像では歪があった場合や、各種のセンサの取得データではばらつき等があった場合でも、新規生成により、それらの影響を抑制して、より見栄えの良い指画像６の重畳表示が可能となる。

【0169】

操作指を判別するためのセンサとしては、カメラ５（フロントカメラ５Ａ）に限らずに適用可能である。他のセンサの例として、解析の精度を上げるために、例えば２個のフロントカメラを用いたステレオカメラを用いて、表示画面３の面垂直方向での距離を含む、３次元の空間での手指の状態を検出してもよい。また、他のセンサの例として、前述のＬｉＤＡＲ等の３次元距離センサを用いてもよい。これらのセンサにより、表示画面３に対する操作指の形状や近接移動方向等を、より精確に検出してもよい。また、これらのセンサは、前述の近接センサ７３としての機能を兼ねることもできる。言い換えると、近接センサ７３かつ操作指判別等のためのセンサとして、ステレオカメラやＬｉＤＡＲ等を適用してもよい。これらのセンサ（カメラ５や近接センサ７３等）の配置位置は、センサ詳細に応じて、図１のフロントカメラ５Ａの位置に限らず可能であり、例えば表示画面３の背後の面領域や筐体の額縁領域等でもよい。

【0170】

上記のように、実施の形態５や変形例では、実際の操作指の形状や近接移動方向等の状態を反映して、よりリアルな指画像６を作成して重畳表示させることができる。よって、ユーザは、好適な操作が可能となる。

【0171】

（実施の形態６）
図１６以降を用いて、実施の形態６について説明する。前述の各実施の形態では、スマートフォン１は、ユーザの実際の視線方向については制御に利用していない。実施の形態６では、スマートフォン１は、ユーザの実際の視線方向を制御に利用する。

【0172】

［視線検出］
前述の図２を用いて、実施の形態６でのスマートフォン１におけるハードウェア等の構成例を説明する。実施の形態６でのスマートフォン１は、図２での視線検出部１１０をさらに備える。視線検出部１１０は、映像部１０７の一部として実装されてもよい。視線検出部１１０は、カメラまたはセンサ、および回路を含む独立したデバイスとして実装されてもよいし、映像部１０７の一部として、カメラ５の画像またはセンサの検出情報を用いたソフトウェアプログラム処理または専用回路で実装されてもよい。

【0173】

視線検出部１１０は、スマートフォン１を操作するユーザの視線方向（図８での視線方向ａ１）を検出するブロックである。実施の形態６では、スマートフォン１は、図１のフロントカメラ５Ａにより、表示画面３の面垂直方向を光軸とした所定の画角の範囲内にあるユーザの顔を含む領域を撮影し、顔画像を得る。そして、視線検出部１１０は、顔画像から、顔の向き、両眼の位置、瞳の状態等を解析して、視線方向を検出する。

【0174】

なお、視線検出部１１０は、公知の視線検出方式として例えば以下を適用できる。視線検出は、いわゆるアイトラッキング技術を利用できる。アイトラッキング技術は、例えば、可視光カメラを用いて目頭と虹彩を撮影して視線を検出する方式や、赤外線ＬＥＤと赤外線カメラを用いて角膜反射法で視線を検出する方式などがある。例えば、角膜反射法では、赤外線ＬＥＤから赤外線を顔に照射して赤外線カメラで撮影し、反射光の角膜上の位置を基準点とし、角膜反射位置に対する瞳孔位置に基づいて視線方向を検出する。また、可視光カメラを用いる方式では、可視光カメラで目を撮影し、基準点を目頭とし、動点を虹彩として、目頭に対する虹彩の位置に基づいて視線方向を検出する。また、両眼の各眼の視線方向を検出する方式を用いる場合には、両眼の視線方向の交差点から注視点を検出することも可能である。

【0175】

視線検出部１１０の実装例としては、タッチパネル７の内部にカメラまたはセンサが配置される構成としてもよい。スマートフォン１の視線検出部１１０は、そのカメラまたはセンサの検出情報から、視線方向を計算できる。また、視線検出部１１０の実装例としては、前述のＬｉＤＡＲ等の３次元距離センサを適用してもよい。スマートフォン１の視線検出部１１０は、そのＬｉＤＡＲの検出情報から、視線方向を計算できる。

【0176】

実施の形態６では、機能の一部として、予め初期設定またはユーザ設定等で、ユーザの視線方向を処理に反映させるかどうかの設定が可能である。以下では、ユーザの視線方向を処理に反映させる設定（視線検出に係わる機能のオンの設定）がされている場合を前提に説明する。

【0177】

［処理フロー］
図１６は、実施の形態６での操作指重畳画面処理のフローを示す。図１６のフローは、図４の実施の形態１での構成に対し、主に異なる構成点として、ステップＳ４１７の後に、ステップＳ４２５とステップＳ４２６が追加されている。図１６では前述のステップＳ４７０の操作指画像取得処理やステップＳ４８０の第２操作指画像取得処理については省略しているが、同様に行うことができる。ステップＳ４１７で近接または接触が有りとなった場合（Ｙ）には、ステップＳ４２５に進む。

【0178】

ステップＳ４２５で、スマートフォン１は、視線検出部１１０においてユーザの視線方向を検出できたかどうかを判断する。ステップＳ４２５で、視線方向の検出が無い場合（Ｎ）には、ステップＳ４３０に進み、視線方向の検出が有る場合（Ｙ）には、ステップＳ４２６に進む。ステップＳ４３０に進んだ場合、前述の実施の形態と同様となる。なお、ユーザが視線方向を処理に反映させない設定としていた場合にも、同様にステップＳ４３０に移行する。

【0179】

ステップＳ４２６では、スマートフォン１は、視線方向が、スマートフォン１の表示画面３（対応する画面３Ａ）に向いているかどうかを判断する。処理例としては、視線方向が所定の方向範囲内にある場合に、表示画面３を向いていると判定することが挙げられる。

【0180】

ステップＳ４２６で、視線方向がスマートフォン１の表示画面３に向いていないと判断した場合（Ｎ）には、ステップＳ４３０に移行する。この場合（Ｓ４２６－Ｎ）は、ステップＳ４３０やＳ４１９の流れで外部表示装置であるテレビ２に対し重畳画面を外部出力することを意味する。この場合（Ｓ４２６－Ｎ）にテレビ２に指画像６付きの重畳画面（画面４Ａ）を表示する理由は以下である。この場合（Ｓ４２６－Ｎ）では、ユーザがスマートフォン１の表示画面３を見ておらず、それ以外のものを見ていると推測される。すなわち、この場合（Ｓ４２６－Ｎ）では、図８のような視線方向ａ２でユーザが外部表示装置であるテレビ２の表示画面４を見て操作している可能性があると推測される。よって、ステップＳ４３０やＳ４１９の流れで指画像６を含む重畳画面（表示情報９Ａ）をテレビ２に外部出力して表示画面４に画面４Ａとして表示させる。これにより、ユーザが画面４Ａを見ながら操作する場合に適切に対応できる。

【0181】

一方、ステップＳ４２６で、視線方向がスマートフォン１の表示画面３（画面３Ａ）に向いていると判断した場合（Ｙ）には、ステップＳ４１９に移行する。この場合（Ｓ４２６－Ｙ）は、外部表示装置であるテレビ２に対して指画像６が重畳された重畳画面を出力しないこと、言い換えると指画像６が重畳されていない重畳画面を出力することを意味する。この場合（Ｓ４２６－Ｙ）の流れは、ステップＳ４３０が省略されるので、元の画面３Ａの内容に指画像６が重畳されないことになり、ステップＳ４１９ではその画面３Ａに対応する表示情報９Ａを外部出力することになる。この場合（Ｓ４２６－Ｙ）にテレビ２に指画像６付きの重畳画面（画面４Ａ）を表示しない理由は以下である。この場合（Ｓ４２６－Ｙ）では、ユーザがスマートフォン１の表示画面３を見ているので、テレビ２を見て操作している可能性は無いと推測される。よって、ステップＳ４３０を省略した流れで指画像６を含まない重畳画面（表示情報９Ａ）をテレビ２に外部出力して表示画面４に画面４Ａとして表示させる。これにより、指画像６の重畳の処理（ステップＳ４３０）を削減して効率化できる。

【0182】

また、上記で視線方向がスマートフォン１に向いてない場合（Ｓ４２６－Ｎ）には、さらに、以下の制御を適用してもよい。例えばステップＳ４３０の前に以下のステップが追加される。スマートフォン１は、省電力化のために、タッチパネル７のディスプレイ７２の表示を一時的に停止する、あるいはバックライトをオフにする。なお、ステップＳ４３０等は同様に行われる。このステップの後に、このフローの繰り返しで、再びステップＳ４２５，Ｓ４２６の流れで、視線方向がスマートフォン１に向いているとなった場合（Ｓ４２６－Ｙ）には、スマートフォン１は、例えばステップＳ４１９の前に、省電力状態の解除のため、ディスプレイ７２の表示を再開する、あるいはバックライトをオンにする。

【0183】

図１７は、実施の形態６に関する説明図である。（Ａ）は、上記視線がスマートフォン１の方に向いている場合（ステップＳ４２６－Ｙ）の制御例、（Ｂ）は、上記視線がスマートフォン１の方に向いていない場合（ステップＳ４２６－Ｎ）の制御例を示す。（Ａ）で、視線方向ａ１は、表示画面３を向いている。テレビ２の方の画面４Ａでは、指画像６が重畳表示されていない。（Ｂ）で、視線方向ａ３は、不明の視線方向であり、テレビ２の画面４Ａを向いている可能性を含んでいる。テレビ２の方の画面４Ａでは、指画像６が重畳表示されている。

【0184】

上記のように、実施の形態６によれば、ユーザの視線方向に応じて、具体的には視線がスマートフォン１の表示画面３を向いているか否かに応じて、重畳画面に係わる処理を最適化することができ、省電力化も実現できる。

【0185】

実施の形態６の変形例としては以下も可能である。図１７で、（Ａ）の視線がスマートフォン１に向いている場合に、重畳画面（表示情報９Ａ）の外部出力自体を一時的に停止してもよい。この場合、テレビ２での画面４Ａの表示は例えば黒表示や「オフ」メッセージ表示などとしてもよい。その際に外部出力する表示情報９Ａとして黒表示情報や「オフ」メッセージ情報などとしてもよい。

【0186】

（変形例）
前述の実施の形態では、スマートフォン１の表示画面３の全体を、重畳画面の作成の範囲とした。これに限らず、表示画面３の一部のみを、重畳画面の作成の範囲としてもよい。ユーザ設定で、その重畳画面の作成の範囲を設定できるようにしてもよい。例えば、スマートフォン１のＯＳやアプリケーションやＧＵＩにおけるマルチウィンドウ等の複数の部分の表示がある場合に、特定のウィンドウ等の部分や、アプリケーションにより指定された表示領域の部分のみを、重畳画面作成範囲とすることもできる。

【0187】

図１８は、上記変形例での重畳画面の作成の範囲の設定例を示す。スマートフォン１の表示画面３において、特にあるアプリケーションによる画面３ＡのコンテンツやＧＵＩ等の構成について、変形例での機能は、ユーザ設定で、例えば上側の画面領域３ｄ１と下側の画面領域３ｄ２とに分ける。そして、例えば、下側の画面領域３ｄ２のみが、前述の機能の対象領域、すなわち、重畳画面の作成の範囲として設定される。上側の画面領域３ｄ１（例えばコンテンツである動画が表示される領域）は、指画像６を重畳しない領域として設定され、下側の画面領域３ｄ２は、指画像６を重畳する領域として設定される。この設定の場合には、テレビ２の表示画面４では、画面３Ａに対応する画面４Ａの表示において、下側の画面領域３ｄ２に対応する領域４ｄ２のみで指画像６が重畳表示される。これにより、例えば、ユーザは、上側の領域４ｄ１では、元の画面領域３ｄ１のコンテンツを好適に視認でき、下側の領域４ｄ２では、ＧＵＩオブジェクトを好適に操作できる。操作指が画面領域３ｄ１に重なっている場合でも、対応する領域４ｄ１では指画像６は表示されない。

【0188】

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。必須構成要素を除き、実施の形態の各構成要素の追加・削除・置換などが可能である。各実施の形態の組み合わせによる形態も可能である。それらの形態でも実施の形態の主要な効果が得られる。特に限定しない場合、各構成要素は単数でも複数でもよい。実施の形態の各機能や構成要素は、集積回路等のハードウェアで実装されてもよいし、プロセッサによるソフトウェアプログラム処理で実現されてもよいし、それらの併用でもよい。

【0189】

前述の実施の形態では、携帯情報端末としてスマートフォンの場合を説明したが、他にも、タブレット端末、ノートパソコンを含むパソコン機器等にも、同様に適用可能である。また、前述のように、携帯情報端末の表示画面のサイズが、外部表示装置の表示画面のサイズ以上になる場合もあり得るが、その場合には、外部表示装置の大画面で視聴できる効果は得られないが、ミラーリング画面で操作指を視認できる等の基本的な効果は同様に実現できる。

【0190】

前述の実施の形態では、外部表示装置としてテレビの場合を説明したが、他にも任意の外部表示装置を適用できる。他の外部表示装置の例は、ビデオプロジェクタ、コンピュータモニタ、ＨＭＤ（Head Mounted Display）等が挙げられる。

【0191】

特に、透過型ＨＭＤに適用した場合には、以下のような効果も実現できる。ユーザは、頭に透過型ＨＭＤを装着した状態で、スマートフォン１も利用する。スマートフォン１から、透過型ＨＭＤに、指画像６付きの重畳画面（表示情報９Ａ）を外部出力し、透過型ＨＭＤの表示画面に表示させる。この場合、ユーザから見て、透過型ＨＭＤの表示画面と、スマートフォン１の表示画面３とが重なる場合がある。ユーザの視線方向は、例えば、透過型ＨＭＤの表示画面を向くか、その先にあるスマートフォン１の表示画面３を向く。この場合に、従来では、重なりから、ユーザがスマートフォン１の画面３Ａを視認しにくい場合がある。この場合のスマートフォン１に、前述の実施の形態の機能を適用した場合、ユーザは、直接的にスマートフォン１の画面３Ａを見る必要無く、透過型ＨＭＤの表示画面でのミラーリング画面を視認しながら、スマートフォン１の操作が実現できる。

【符号の説明】

【0192】

１…スマートフォン（情報表示装置、携帯情報端末）、２…テレビ（外部表示装置）、３…表示画面、４…表示画面、３Ａ…画面、４Ａ…画面、５…カメラ、６…指画像（操作物画像）、９…通信、９Ａ…表示情報、９Ｂ…表示情報、１０…手指、１１…指先（操作指）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】