特許 7578709 携帯端末とヘッドマウントディスプレイ及びその連携表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】携帯端末とヘッドマウントディスプレイ及びその連携表示システム

(51)【国際特許分類】

   H04L 67/00 20220101AFI20241029BHJP

   G06F 3/01 20060101ALI20241029BHJP

   G06F 3/0346 20130101ALI20241029BHJP

   H04L 65/40 20220101ALI20241029BHJP

【ＦＩ】

H04L67/00

G06F3/01 510

G06F3/0346 423

H04L65/40

【請求項の数】 10

(21)【出願番号】P 2022555220

(86)(22)【出願日】2020-10-09

(86)【国際出願番号】 JP2020038271

(87)【国際公開番号】W WO2022074815

(87)【国際公開日】2022-04-14

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】川前 治

(72)【発明者】

【氏名】伊藤 滋行

【審査官】木村 雅也

(56)【参考文献】

【文献】特開２０１２－０４４４２９（ＪＰ，Ａ）

【文献】特開２００５－３４６６０９（ＪＰ，Ａ）

【文献】特開２０１４－０８６０６３（ＪＰ，Ａ）

【文献】国際公開第２０２０／００３３６１（ＷＯ，Ａ１）

【文献】特開２０１２－００２５６８（ＪＰ，Ａ）

【文献】特開２０１４－１５３８８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ６７／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｈ０４Ｌ ６５／４０

(57)【特許請求の範囲】

【請求項1】

携帯端末とヘッドマウントディスプレイを接続して連携して情報を表示する連携表示システムにおいて、
前記携帯端末は、第１ディスプレイに情報を表示するとともに、表示される情報の少なくとも一部を、前記ヘッドマウントディスプレイへ送信し、
前記ヘッドマウントディスプレイは、前記携帯端末から送信された情報を第２ディスプレイで分担して表示し、
前記携帯端末の備えるセンサでユーザが静止中か移動中か否かを検出し、
ユーザが静止中の場合は、前記携帯端末の前記第１ディスプレイでの情報の表示を中止し、前記ヘッドマウントディスプレイの前記第２ディスプレイのみで情報の表示を行うことを特徴とする連携表示システム。

【請求項2】

携帯端末とヘッドマウントディスプレイを接続して連携して情報を表示する連携表示システムにおいて、
前記携帯端末は、第１ディスプレイに情報を表示するとともに、表示される情報の少なくとも一部を、前記ヘッドマウントディスプレイへ送信し、
前記ヘッドマウントディスプレイは、前記携帯端末から送信された情報を第２ディスプレイで分担して表示し、
前記携帯端末の備えるセンサでユーザが静止中か移動中か否かを検出し、
前記携帯端末が備える第１カメラ、または前記ヘッドマウントディスプレイが備える第２カメラにてユーザ周辺の画像を撮影し、
ユーザが静止中で、かつ、カメラ画像にユーザ周辺に他の人物が写っている場合は、前記携帯端末の前記第１ディスプレイでの情報の表示を中止し、前記ヘッドマウントディスプレイの前記第２ディスプレイのみで情報の表示を行うことを特徴とする連携表示システム。

【請求項3】

請求項１または２に記載の連携表示システムにおいて、
前記携帯端末で表示される情報は階層的な情報であって、
前記ヘッドマウントディスプレイで表示される情報は、前記階層的な情報のうち下位の情報であることを特徴とする連携表示システム。

【請求項4】

請求項１または２に記載の連携表示システムにおいて、
前記ヘッドマウントディスプレイで表示される情報は、前記携帯端末で表示された情報に対する付加的な情報であることを特徴とする連携表示システム。

【請求項5】

請求項１または２に記載の連携表示システムにおいて、
前記携帯端末には、情報が表示された前記第１ディスプレイに対するユーザのタッチ操作を検出するタッチセンサを有し、
前記ヘッドマウントディスプレイで表示される情報は、前記タッチセンサにより検出された、ユーザが選択した項目の詳細情報であることを特徴とする連携表示システム。

【請求項6】

請求項１に記載の連携表示システムにおいて、
前記携帯端末には、情報が表示された前記第１ディスプレイに対するユーザの視線方向を検出する第１カメラを有し、
前記ヘッドマウントディスプレイで表示される情報は、前記第１カメラにより検出されたユーザの視線方向にある項目の詳細情報であることを特徴とする連携表示システム。

【請求項7】

請求項１に記載の連携表示システムにおいて、
前記ヘッドマウントディスプレイには、情報が表示された前記携帯端末の前記第１ディスプレイに対するユーザの視線方向を検出する第２カメラを有し、
前記ヘッドマウントディスプレイで表示される情報は、前記第２カメラにより検出されたユーザの視線方向にある項目の詳細情報であることを特徴とする連携表示システム。

【請求項8】

請求項２に記載の連携表示システムにおいて、
前記第１カメラは、情報が表示された前記第１ディスプレイに対するユーザの視線方向を検出し、
前記ヘッドマウントディスプレイで表示される情報は、前記第１カメラにより検出されたユーザの視線方向にある項目の詳細情報であることを特徴とする連携表示システム。

【請求項9】

請求項２に記載の連携表示システムにおいて、
前記第２カメラは、情報が表示された前記携帯端末の前記第１ディスプレイに対するユーザの視線方向を検出し、
前記ヘッドマウントディスプレイで表示される情報は、前記第２カメラにより検出されたユーザの視線方向にある項目の詳細情報であることを特徴とする連携表示システム。

【請求項10】

請求項１または２に記載の連携表示システムにおいて、
前記携帯端末は、前記第１ディスプレイに表示する情報を保存するメモリと、前記第１ディスプレイの表示を制御する第１制御部と、前記ヘッドマウントディスプレイとの間で情報の送受信を行う第１外部機器インターフェースと、を有し、
前記ヘッドマウントディスプレイは、前記第２ディスプレイの表示を制御する第２制御部と、前記携帯端末との間で情報の送受信を行う第２外部機器インターフェースと、を有することを特徴とする連携表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯端末とヘッドマウントディスプレイとを接続して連携して情報表示を行う技術に関する。

【背景技術】

【0002】

スマートフォンなどの携帯端末はネットワークに接続し、各種アプリケーションをインストールすることによって様々な動作を行い、データの記録や再生、それらを表示することができる。また、ヘッドマウントディスプレイ（Head Mounted Display、以下、ＨＭＤと記す）は、ユーザの頭部に装着し、メガネやゴーグル状のディスプレイに画像を表示するデバイスである。ＨＭＤには、カメラ、物体までの距離を測るセンサ、位置を測定するＧＰＳセンサなどの複数のセンサや、画像処理を行うＣＰＵ、バッテリなどが搭載されている。ＨＭＤも携帯端末と同様に、使用するアプリケーションをインストールしたり、バージョンアップしたりすることができる。

【0003】

さらに、携帯端末とＨＭＤを連携させ、新たな機能や使い方が提案されている。例えば特許文献１には、ＨＭＤが使用するアプリケーション（以下、アプリ）を容易に管理するために、ＨＭＤと端末装置（携帯情報端末）の表示する画面を共有し、端末装置の画面を操作して外部サーバ装置からＨＭＤへ向けてアプリを配信させる構成が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１７／１３８１５３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＨＭＤの利用・応用範囲は、飛躍的に拡大すると予測される。しかしながら、ＨＭＤは元来頭部に装着して使用するものであり、ディスプレイに表示できる画面の大きさや処理能力、分解能、重量などに制約がある。

【0006】

携帯端末は、大きなディスプレイ、高度な処理、データの記録などの特徴があり、様々な利用方法が実現されており、そのためのアプリケーションも多々開発されている。しかしながら、表示画面が大きいことで周囲の人にのぞき見される可能性があり、プライバシーの観点では注意して用いる必要がある。

【0007】

前記特許文献１はＨＭＤと携帯端末を連携して使用する形態の一例であるが、アプリ取得のための操作を行うために、操作しやすい携帯端末を用いて行うだけであり、それぞれのデバイスの特徴を活かして機能を分担することについてはまだ十分考慮されていない。例えば、階層的な情報の表示やプライバシー保護に関して、２つのデバイスで同様に表示することを前提としており、ユーザの使い勝手について特に考慮されていない。

【0008】

本発明の目的は、携帯端末とＨＭＤを連携させて情報を表示する場合に、それぞれのデバイスの特徴を活かして、使い勝手の良い操作と見やすい表示形態を実現することである。

【課題を解決するための手段】

【0009】

本発明は、上記課題を解決するため、以下の方法を採用する。
本発明は、ヘッドマウントディスプレイと接続し、連携して情報を表示する携帯端末において、情報を表示する第１ディスプレイと、第１ディスプレイに表示する情報を保存するメモリと、第１ディスプレイの表示を制御する第１制御部と、ヘッドマウントディスプレイとの間で情報の送受信を行う第１外部機器インターフェースと、を備え、第１制御部は、第１ディスプレイに表示される情報の少なくとも一部を、第１外部機器インターフェースからヘッドマウントディスプレイへ送信し、ヘッドマウントディスプレイが備える第２ディスプレイで分担して表示するよう制御する。

【0010】

また本発明は、携帯端末と接続し、ユーザの頭部に装着されて連携して情報を表示するヘッドマウントディスプレイにおいて、情報を表示する第２ディスプレイと、第２ディスプレイの表示を制御する第２制御部と、携帯端末との間で情報の送受信を行う第２外部機器インターフェースと、を備え、第２制御部は、携帯端末にて表示される情報の少なくとも一部を、第２外部機器インターフェースを介して受信し、第２ディスプレイで分担して表示する。

【0011】

また本発明は、携帯端末とヘッドマウントディスプレイを接続して連携して情報を表示する連携表示システムにおいて、携帯端末は、第１ディスプレイに情報を表示するとともに、表示される情報の少なくとも一部を、ヘッドマウントディスプレイへ送信し、ヘッドマウントディスプレイは、携帯端末から送信された情報を第２ディスプレイで分担して表示する。

【発明の効果】

【0012】

本発明によれば、携帯端末とＨＭＤを連携させて情報を表示する場合に、それぞれのデバイスの特徴を活かして、使い勝手の良い操作と見やすい表示形態を実現することができる。

【図面の簡単な説明】

【0013】

【図1】携帯端末とＨＭＤを接続した連携表示システムを示す模式図（実施例１）。

【図2】ＨＭＤの外観を示す図。

【図3】携帯端末の内部構成を示す図。

【図4】ＨＭＤの内部構成を示す図。

【図5】携帯端末とＨＭＤとの間で入出力されるデータの種類を示す図。

【図6】携帯端末における操作ログの表示例を示す図。

【図7】携帯端末における操作ログの他の表示例を示す図。

【図8】操作ログの詳細情報を階層的に表示する例を示す図。

【図9】携帯端末とＨＭＤで分担して表示する例を示す図。

【図10】携帯端末における表示の変形例を示す図。

【図11】携帯端末の動作手順を示すフローチャート。

【図12】ＨＭＤの動作手順を示すフローチャート。

【図13】携帯端末のカメラを用いた視線タッチを説明する図（実施例２）。

【図14】携帯端末のカメラで撮影したユーザの顔画像の例を示す図。

【図15】携帯端末のカメラを用いた視線タッチの動作手順を示すフローチャート。

【図16】ＨＭＤのカメラを用いた視線タッチを説明する図。

【図17】ＨＭＤのカメラで撮影した携帯端末の画像の例を示す図。

【図18】ＨＭＤのカメラで撮影した端末画像により視点位置を求める例を示す図。

【図19】ＨＭＤのカメラを用いた視線タッチの動作手順を示すフローチャート。

【図20】のぞき見防止機能を自動的に実施するための構成図（実施例３）。

【図21】のぞき見防止機能を自動的に実施する場合のフローチャート。

【図22】のぞき見防止機能をユーザが選択して実施する場合のフローチャート。

【発明を実施するための形態】

【0014】

本発明の実施の形態について、図面を用いて説明する。以下の実施例では、携帯端末１とヘッドマウントディスプレイ（ＨＭＤ）２を接続し、連携して表示動作を行う連携表示システムについて説明する。

【実施例1】

【0015】

図１は、携帯端末１とＨＭＤ２を接続した連携表示システムを示す模式図である。ＨＭＤ２はユーザＵの頭部に装着され、携帯端末１とは無線接続されて、データやコマンドを送受信しながら連携して動作する。ユーザＵは、携帯端末１のディスプレイ１０に表示される画像を見るとともに、ＨＭＤ２のディスプレイ３０に表示される画像を見ることができる。ここでの無線接続９には、ＬＡＮ（Local Area Network）を用いても良いし、電話網通信を用いても良い。また、近距離通信のＢｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信部等、他の通信方式を用いても良く、伝送する情報量に合わせて方式を選択すればよい。

【0016】

図２は、ＨＭＤ２の外観を示す図である。ユーザの装着するＨＭＤ２は、ディスプレイ３０、カメラ４０（及びマイク）、タッチセンサ３７、骨伝導タイプのイヤフォン（音声出力部）４３、ＣＰＵ３２、バッテリ４２などの部品から構成されている。各構成要素の詳細については後述する。

【0017】

図３は、携帯端末１の内部構成を示す図である。携帯端末１は、例えばスマートフォンの場合について説明するが、その他、タブレット端末などの携帯情報端末が該当する。

【0018】

ディスプレイ１０は様々な画像や情報を表示し、表示制御部１１はディスプレイ１０の表示を制御する。ＣＰＵ（主制御部）１２は携帯端末１の全体の動作を制御し、メモリ１３はＣＰＵ１２で実行する動作プログラム等を保存する。データ保存メモリ１４は携帯端末１の固有データを保存する。機器ＩＤ情報１５は、携帯端末１を特定するための固有の機器情報を保存する。

【0019】

外部機器ＩＦ１６は、ＨＭＤ２との間で無線接続９によりデータを入出力するためのインターフェースである。外部機器ＩＦ１６を介してＨＭＤ２との接続認証を行い、データが携帯端末１に送信されることで、ＨＭＤ２が携帯端末１に接続されたかどうかの判別を行う。タッチセンサ１７は、携帯端末１に対するユーザの操作を入力するもので、ディスプレイ１０と一体で構成することができる。

【0020】

カメラ２０は、外景を撮影するアウトカメラと、ディスプレイ１０を見ているユーザＵを撮影するインカメラを有し、カメラ動作異常検出部２０ａはカメラ２０の異常を検出する。各種センサ２１は、携帯端末１の状態（回転、位置、加速度など）を検出する。バッテリ２２は携帯端末１に対して電力を供給し、バッテリ容量センサ２２ａはバッテリ２２の残容量を検出する。ユーザ認証部２３は携帯端末１のユーザを特定し、外部通信部２４は外部ネットワーク４を介して外部サーバ（データベースなど）と通信する。

【0021】

図４は、ＨＭＤ２の内部構成を示す図である。ディスプレイ３０は、携帯端末１から入力した画像を表示するとともに、ＨＭＤ２内で生成した画像データとカメラ４０で撮影した画像を重畳して表示することができる。表示制御部３１はディスプレイ３０の表示を制御する。ＣＰＵ（主制御部）３２はＨＭＤ２の全体の動作を制御し、メモリ３３はＣＰＵ３２で実行する動作プログラム等を保存する。機器ＩＤ情報３５はＨＭＤ２を特定するための固有の機器情報を保存する。

【0022】

外部機器ＩＦ３６は、携帯端末１との間で無線接続９によりデータの送受信を行う。タッチセンサ３７は、ＨＭＤ２に対するユーザの操作を入力する。

【0023】

カメラ４０はＨＭＤ２の外景を撮影し、カメラ動作異常検出部４０ａはカメラ４０の異常を検出する。各種センサ４１は、カメラ４０で撮影される物体の位置や距離の測定と、ＨＭＤ２の動き、加速度、回転を測定するジャイロなどのセンサである。センサ動作異常検出部４１ａは各種センサ４１の動作異常を検出する。バッテリ４２はＨＭＤ２に電力を供給し、バッテリ容量センサ４２ａはバッテリ７の残容量を検出する。

【0024】

音声出力部４３は骨伝導タイプのイヤフォンを駆動し、音声出力異常検出部４３ａは音声出力部４３の動作異常を検出する。

【0025】

図５は、携帯端末１とＨＭＤ２との間で、外部機器ＩＦ１６，３６を介して入出力されるデータの種類を示す図である。

【0026】

（ａ）に示す携帯端末１からＨＭＤ２へ出力されるデータは、携帯端末１を特定するための固有ＩＤ、ＨＭＤ２にて情報を表示するための画像データ、ＨＭＤ２から入力されたカメラ画像データと測距データを用いて、奥行き方向の前後関係を考慮したＡＲ（拡張現実）画像を表示するための画像データ、及びＨＭＤ２からの操作入力に応答するコマンドなどである。

【0027】

（ｂ）に示すＨＭＤ２から携帯端末１へ出力されるデータは、ＨＭＤ２を特定するための固有ＩＤ、カメラ４０で撮影した画像データ、各種センサ４１の検出データ（位置、距離、加速度、回転、バッテリ容量、使用者認証等）、及びＨＭＤ２に対する操作入力データ（タッチ操作、ジェスチャー、音声入力等）である。

【0028】

＜携帯端末の動作＞
携帯端末１で動作する各種のアプリケーションは、メモリ１３に格納されており、起動時に表示されるホーム画面には、ユーザが選択できるアプリケーションのアイコンが複数表示される。これら表示されているアイコンをタッチすると、対応するアプリケーションが起動する。

【0029】

携帯端末１では、いつ、どこで、どのアプリケーションを、どのデバイスをどのように使用したのかを記録し、必要に応じて表示できる操作ログ表示機能を有している。以下では、携帯端末１及びＨＭＤ２を使って操作した「操作ログ」を表示する「操作ログアプリ」を例として説明する。

【0030】

このための「操作ログアプリ」は、携帯端末１を起動した時点から操作ログを取得する動作を自動的に開始する。この機能によりデータ保存メモリ１４には、操作指示を入力されたアプリの起動時刻、アプリ名称、動作内容、位置情報、ＨＭＤ２の使用有無などの操作ログが保存される。

【0031】

保存されている操作ログを表示する場合は、データ保存メモリ１４に保存されている操作ログ情報を、ディスプレイ１０に一覧として表示する。タッチセンサ１７により表示された操作ログが選択されると、選択された操作ログの詳細が表示される。

【0032】

なお、データ保存メモリ１４に保存されている操作ログ情報は、外部通信部２４とネットワーク４を介して、例えば外部のアプリ会社５ａに送信され、携帯端末１の使用状況等の調査のため利用される。携帯端末１に格納されている他のアプリについても、同様に外部のアプリ会社５ｂへ使用状況等の情報が送信される。

【0033】

＜ＨＭＤの動作＞
携帯端末１からＨＭＤ２に、外部機器ＩＦ１６，３６を介して様々なデータが送られる。このデータには操作ログ情報が含まれ、ＨＭＤ２のディスプレイ３０においても操作ログ情報が表示される。ただし本実施例では、携帯端末１に表示した操作ログのうち、ユーザがタッチ操作で選択した項目の詳細情報（階層的な情報のうち下位の情報や付加的な情報）をＨＭＤ２にて分担して表示する。これによりそれぞれのデバイス（携帯端末１とＨＭＤ２）の特徴を活かして、見やすい表示形態を実現する。あるいは後述の実施例３のように、携帯端末１に表示することで周囲の人にのぞき見される可能性がある場合は、ＨＭＤ２にて分担して表示する。これによりユーザのプライバシーを保護する効果がある。

【0034】

図６は、携帯端末１における操作ログの表示例を示す図である。携帯端末１では操作ログアプリを用いて、ユーザの操作内容について記録している。図６では、１日の操作内容を時系列に表示した例である。例えば、日付：２０１９／１１／２８の最初の操作で、携帯端末１の時計アプリにてアラームを鳴らしたとすると、その操作ログとして、時刻：０６：０５、アプリケーション（アプリ）：時計、動作内容：アラーム、住所、ＨＭＤ２を未使用（ＨＭＤのアイコン表示なし）、を表示する。次に、時刻：０８：３０、アプリ：ＳＭＳ（Short Message Service）、動作内容：メッセージ送受信５件、ＨＭＤ２を使用（ＨＭＤのアイコン表示あり）、を表示する。同様に順次操作内容を表示し、その日の最終操作として、時刻：２３：３０、アプリ：電子書籍アプリ、動作内容：読書、ＨＭＤ２を未使用（ＨＭＤのアイコン表示なし）、を表示している。

【0035】

なお、ここでは、日付：２０１９／１１／２８を条件に操作ログを表示したが、日付以外の項目、表示行列数、時間など、記録してある情報を選択して表示設定することもできる。

【0036】

図７は、携帯端末１における操作ログの他の表示例を示す図である。図６では１日分の操作内容を表示したのに対して、図７では複数日分の操作内容を表示している。すなわち、１日を１ページとして複数日分を重ね、日記のようにめくることで、過去の操作ログを簡単に参照できるようなフォーマットで表示した例である。

【0037】

図６や図７で示した操作ログは、その操作内容に関する情報であり、さらにその操作で実行した詳細な情報を表示することができる。

【0038】

図８は、操作ログの詳細情報を階層的に表示する例を示す図である。ここでは、日付、時刻、アプリ、動作内容などを指でタッチして選択し、その詳細な情報を表示させる例を示す。

【0039】

例えば、（ａ）の全体表示の画面において、１７：３０に操作したカメラアプリで「写真１４枚」をタッチしたとする（タッチ１）。その結果、（ｂ）のように、記録された写真が種類ごとに表示される（タッチ１での表示例）。ここでは、６種類のカテゴリが表示され、さらに、各カテゴリに含まれる写真の枚数が表示される。

【0040】

この表示された枚数情報をさらにタッチすると（タッチ２）、（ｃ）のように、タッチしたカテゴリに含まれている写真の一覧が表示される（タッチ２での表示例）。このように、表示内容の階層を深く掘り下げることで、その時に行った操作内容を具体的に把握することができる。また、それらの内容を後から日記のように振り返ることが可能となる。

【0041】

ここまでは、操作ログを携帯端末１のみで表示する例を示したが、情報の一部をＨＭＤ２に送信してＨＭＤ２にて分担して表示することもできる。携帯端末１は、図６～図８に示したように多くの情報を表示することが可能であるが、例えば操作ログとともに階層が下がった情報を同時に表示すると、それぞれの表示面積が小さくなり、表示された情報が見えにくくなる。そこでＨＭＤ２を用いて、例えば階層が下がった詳細情報を分担して表示するようにする。ＨＭＤ２は、ユーザの頭部に搭載するデバイスであるため、携帯端末１に比べて表示できる文字サイズが小さく内容が少なくなる。そこで、図８で説明した携帯端末１に表示した操作ログのうち、タッチ１の操作を行って階層が下がった詳細な情報をＨＭＤ２にて分担して表示する。

【0042】

図９は、携帯端末１とＨＭＤ２で分担して表示する例を示す図である。ここでは、携帯端末１には（ａ）のように操作ログの全体画面を表示し、ＨＭＤ２のディスプレイ３０には、（ｂ）のように階層が下がった詳細情報を表示している。詳細情報としては、例えば前記したように、図８（ｂ）のような写真の種類のカテゴリを表示したり、図８（ｃ）のようなカテゴリ内に含まれる複数の写真を、サムネイルや写真画像で順次に表示したりする。これにより、携帯端末１のみで表示する場合に比べ、ユーザは情報を見やすくなる。

【0043】

また、ＨＭＤ２は、光学系の方式が携帯端末１と異なり、周囲にいる他人に表示内容を見られにくいという特徴がある。携帯端末１に表示する情報のうち他人に見られたくない情報（例えば写真）をＨＭＤ２に表示することで、ユーザ本人だけが見ることができプライバシー保護の点でも利点がある。また、携帯端末１も表示する情報量には限界があるので、ＨＭＤ２と表示情報を分担することで、複数ディスプレイとして使うことができ、使い勝手が向上する。

【0044】

このように本実施例では、携帯端末１とＨＭＤ２とで操作ログを分担表示するようにしている。ＨＭＤ２で表示する操作ログは、ユーザが操作ログアプリの設定にて、写真、ＳＭＳメッセージ内容など、表示項目を選択することや、携帯端末１に表示した操作ログの詳細内容を表示することが可能である。また、周囲に人がいる場合には、ＨＭＤ２に選択した項目を表示させ、操作ログの詳細内容を表示させることも可能である。なお、当然ながら、ＨＭＤ２にて表示する場合はＨＭＤ２が携帯端末１に接続された場合に限られ、携帯端末１からＨＭＤ２に表示データが送信される。周囲に他人がいる場合の動作については、実施例３で詳細に説明する。

【0045】

図１０は、携帯端末１における表示の変形例を示す図である。図６で示した表示例と比較し、操作ログのうちＨＭＤ２を使用した操作のみを表示し、ＨＭＤ２を使用しなかった操作を削除している。例えば、図６にて表示された、時刻：０６：０５の操作ログ（アプリ：時計、動作内容：アラーム）、時刻：１７：３０の操作ログ（アプリ：カメラ、動作内容：写真１４枚）、時刻：２３：３０の操作ログ（アプリ：電子書籍アプリ、動作内容：読書）、についてはＨＭＤ２を用いておらず、図１０では表示していない。なお、ここに表示されたＨＭＤ利用の操作ログを選択することで、その詳細を図８のように表示することや、図９のようにＨＭＤ２に分担して表示できることは言うまでもない。

【0046】

次に、本実施例の分担表示機能を実施するための、携帯端末１とＨＭＤ２のそれぞれの動作フローを説明する。
図１１は、携帯端末１の動作手順を示すフローチャートである。携帯端末１の動作を開始し（Ｓ１００）、操作ログアプリを起動して、携帯端末１に対して操作された操作ログの表示機能を実行する（Ｓ１０１）。

【0047】

携帯端末１とＨＭＤ２との接続チェックを行う（Ｓ１０２）。そのため携帯端末１は、ＨＭＤ２との間でデータが正常に送受信されていることと、ＨＭＤ２からのセンサ情報（加速度情報など）により、ＨＭＤ２がユーザに装着されていることの確認を行う。この接続チェックは、定期的または携帯端末１のイベント（表示項目の選択など）が生じた時に実施する。Ｓ１０２の判定で接続エラーとされた場合には、ＨＭＤ２との通信を終了し、接続を切断する（Ｓ１１１）。

【0048】

Ｓ１０２の判定で接続がＯＫの場合、ユーザは操作ログの表示方法を選択する。この選択では、携帯端末１のみで単独表示するか（図６～図８の例）、または携帯端末１とＨＭＤ２とで分担表示するか（図９の例）、を選択する（Ｓ１０３）。

【0049】

携帯端末１は、操作ログ概要の全表示データを作成する（図６で説明した操作ログの内容表示）。またその中で、ＨＭＤ２を利用した場合にＨＭＤ２で表示するための操作ログ概要の表示データも併せて作成する（Ｓ１０４）。作成した操作ログ概要の全表示データを、携帯端末１のディスプレイ１０に表示する（Ｓ１０５）。

【0050】

ディスプレイ１０に表示されている操作ログのうち、ユーザが詳細を表示したい項目をタッチして選択すると（Ｓ１０６）、その詳細表示データを作成する（Ｓ１０７）。例えば、図８（ａ）のように操作ログをタッチした場合（タッチ１）、データ保存メモリ１４からタッチ１で表示するデータを抽出して作成する。

【0051】

次に、Ｓ１０３にて選択した操作ログの表示方法で分岐する（Ｓ１０８）。携帯端末１のみで単独表示する場合は、Ｓ１０５に戻り、Ｓ１０７で作成した詳細表示データを携帯端末１のディスプレイ１０に表示する。さらにＳ１０６で、ユーザが詳細を表示したい項目をタッチした場合は（タッチ２）、タッチ２で表示する詳細データを作成して表示する。

【0052】

一方、Ｓ１０８の分岐で、携帯端末１とＨＭＤ２とで分担表示する場合は、一部の表示データをＨＭＤ２にて表示するように表示先を切り換える（Ｓ１０９）。そして、外部機器ＩＦ１６を介しＨＭＤ２に一部の表示データを出力する（Ｓ１１０）。例えば、図９で示したように、タッチ１で選択された詳細データをＨＭＤ２に出力する。ＨＭＤ２ではこの詳細データを受け取り、ディスプレイ３０に表示する。

【0053】

図１２は、ＨＭＤ２の動作手順を示すフローチャートである。ここでは図９に示したように、ＨＭＤ２にて操作ログを分担表示する場合について説明する。ＨＭＤ２の動作を開始し（Ｓ２００）、携帯端末１との接続チェックを行う（Ｓ２０１）。

【0054】

カメラ動作異常検出部４０ａとセンサ動作異常検出部４１ａにて、ＨＭＤ２に搭載されている各種部品（カメラ、センサ、ディスプレイなど）の動作チェックを行う（Ｓ２０２）。また、バッテリ容量センサ４２ａにて、ＨＭＤ２のバッテリ４２の残量をチェックする（Ｓ２０３）。

【0055】

Ｓ２０１の判定で接続エラーと判定された場合には、ディスプレイ３０にエラー発生を表示する（Ｓ２１１）。Ｓ２０２の判定でいずれかの部品に動作エラーがあった場合、またはＳ２０３の判定でバッテリ残量が少ない場合には、携帯端末１にエラー情報を送り（Ｓ２１０）、ＨＭＤ２のディスプレイ３０にエラー情報を表示する（Ｓ２１１）。なお、Ｓ２１０で携帯端末１にエラー情報を出力することで、Ｓ２１１では、携帯端末１からの指示でＨＭＤ２にエラーを表示させるようにしてもよい。

【0056】

Ｓ２０１～Ｓ２０３のチェックで異常がない場合、ＨＭＤ２のチェック結果を携帯端末１に出力する（Ｓ２０４）。すると携帯端末１は、ＨＭＤ２がユーザに装着され、各種動作が正常であり、携帯端末１から出力する表示データを表示可能であることを確認する。

【0057】

ＨＭＤ２は、携帯端末１からの表示データを外部機器ＩＦ３６を介して取得する（Ｓ２０５）。これは、図１１のステップＳ１１０に対応する。取得した表示データをＨＭＤ２のディスプレイ３０に表示する（Ｓ２０６）。これにより、例えば図９（ｂ）のような画像（タッチ１の後）が表示される。

【0058】

Ｓ２０６の表示画面において、ユーザからのタッチ操作により、次に表示したい項目（アイコン）を選択する（Ｓ２０７）。例えば図９（ｂ）において、タッチ２の操作を受け付ける。あるいは、表示の終了を選択することもできる。ユーザの選択操作は、ＨＭＤ２のタッチセンサ３７やジェスチャー入力により行う。

【0059】

Ｓ２０７で選択された項目の情報を、外部機器ＩＦ３６を介し携帯端末１に出力する（Ｓ２０８）。携帯端末１は選択された項目の詳細データ作成し、ＨＭＤ２は携帯端末１から詳細データを取得する（Ｓ２０９）。そしてＳ２０６に戻り、取得した詳細データをディスプレイ３０に表示する。これにより、例えば図９（ｂ）におけるタッチ２の操作に応答する表示がなされる。

【0060】

なお、上記の説明で用いた「操作ログ」は階層的な情報であり、下位の階層の情報を読み出す動作を説明する上で好適な一例である。つまり操作ログは、携帯端末に対して行われたユーザからの指示動作について、時系列に、その時の場所や、連携したデバイス等の情報も併せて記録されて構成されているからである。

【0061】

携帯端末とＨＭＤとで表示する情報を分担するのは、操作ログに限らない。他の例として、例えば、携帯端末で書籍を表示して読んでいる時に、分からない言葉の意味をＨＭＤに表示したり、携帯端末で地図を表示している時に、その中の特定の場所についての詳細情報をＨＭＤに表示したりする場合にも適用できる。また、携帯端末で映画を見ている時に、ＨＭＤで登場人物のブログを調べたり、背景の地理の情報を検索したりすることもできる。要は、携帯端末の画面を邪魔しないように、付加的な情報についてはＨＭＤで分担して表示することが可能になる。

【0062】

このように実施例１では、携帯端末とＨＭＤとが連携して表示画面を構成するようにした。その際、ＨＭＤを携帯端末の子画面のように扱い、携帯端末の画面で表示しきれないような情報や、階層的に下位の情報をＨＭＤ側に表示するものである。そのため、携帯端末の表示内容はそのまま保持されており、携帯端末を見ればその内容を確認できつつ、ＨＭＤでさらに詳細な情報も同時に見ることができる。これより、それぞれのデバイスの特徴を活かして、使い勝手の良い操作と見やすい表示形態を実現することができる。

【実施例2】

【0063】

実施例１では、表示された操作ログの詳細内容を表示したいときに、該当する項目を選択するために、携帯端末１やＨＭＤ２のタッチセンサ１７，３７を使用する方法を説明した。ここで、一般の携帯端末１やＨＭＤ２には、カメラが搭載されている場合が多い。そこで実施例２では、このカメラを利用してユーザの視線を検知し、項目を選択する方法（以下、「視線タッチ」と呼ぶ）について説明する。

【0064】

図１３は、携帯端末１のカメラ２０を用いた視線タッチを説明する図である。視線タッチというのは、ユーザの眼球の方向（視線）がどの項目を見ているかを検出して、その項目を選択するものである。（ａ）は、ユーザＵが携帯端末１の表示画面を見ている状態である。ユーザＵの視線が表示画面上のどの位置（どの項目）を見ているのか、つまり、視線がどこにあるのかを、携帯端末１に搭載されているカメラ（インカメラ）２０を用いて検出する。

【0065】

（ｂ）は携帯端末１の画面の例を示す。ユーザＵの視線を検出するに当たって、まず、携帯端末１の画面に、例えば５つのクロスポイント（Ｘ１～Ｘ５）を所定の時間ごとに次々に表示する。ユーザは、この表示されたクロスポイントを、携帯端末１からの指示に従って順番に見つめる。その時の眼球の方向、すなわち視線方向を、携帯端末１のカメラ２０で検出し、この５個のクロスポイントへの視線方向からユーザの視線の基準位置や角度を求める。

【0066】

例えば、ユーザが画面中央のクロスポイントＸ１を注視している時の顔の位置と眼球の瞳孔や虹彩の位置や向きを基準とし、画面の上端部のクロスポイントＸ２とＸ３を注視している時の眼球の瞳孔や虹彩の位置や向きの違いを検出する。同様に画面中央のＸ１を注視している時を基準に、画面の下端部のＸ４とＸ５を注視している時の眼球の瞳孔や虹彩の位置や向きの違いを検出する。さらに同じ方法で、中心と左右の端を注視している場合の位置や向きの差を検出し、これらの検出値をデータ保存メモリ１４に蓄える。

【0067】

（ｃ）は、ユーザＵが実際に画面内のある位置を注視した状態である。カメラ２０で捉えたユーザの視線位置（顔の位置と眼球の瞳孔や虹彩の位置や向き）を、基準位置であるクロスポイントに対する視線位置と比較して、現在のユーザの視線位置を算出する。そして算出した画面上の位置には、ユーザ視線の注視点を示すマーカーＭを表示する。

【0068】

なお、視線検出では、携帯端末１とユーザＵの顔及び眼球との角度や位置、距離の値が重要となる。視線タッチに使用するにあたり、上述した視線の基準方向は、携帯端末１と顔や眼球さらには瞳孔や虹彩の角度や位置、距離の変動（精度）を、携帯端末１のカメラ２０や距離センサ２１などでチェックして、補正することが必要である。

【0069】

図１４は、携帯端末１のカメラ（インカメラ）２０で撮影したユーザの顔画像（ユーザ画像）の例を示す図である。（ａ）は、ユーザＵが画面内の基準位置（図１３のクロスポイントＸ１）を注視した状態である。この画像より、ユーザＵの視線方向を求め、基準値とする。また（ｂ）は、現在、ユーザＵが画面内の所望の位置（選択位置）を注視している状態である。注視位置が変わると、ユーザＵの画像、特にユーザの顔や眼球の位置、角度等が変化する。

【0070】

この例では、基準位置の注視画像（ａ）に比較して選択位置の注視画像（ｂ）は、顔の大きさが小さくなり、距離が離れていることが分かる。また、眼の中心位置は、破線Ｌ１→Ｌ２で示すように下側にずれている。なお、顔までの距離はカメラ画像の差ではなく、距離センサ２１で検出しても構わない。

【0071】

ここで、（ｂ）の選択位置の注視画像で得られる顔や眼球の位置や距離の計測値を、図１３（ａ）の５個のクロスポイント（Ｘ１～Ｘ５）を注視した時に得られた計測値を基準とし、その差分量を求めて補正することで、ユーザが現在注視している画面内の位置を算出することができる。すなわち、携帯端末１のカメラ２０を用いて、ユーザが画面上のどの位置を注視しているかを検出することが可能となる。

【0072】

図１５は、携帯端末１のカメラ２０を用いた視線タッチの動作手順を示すフローチャートである。

【0073】

携帯端末１の動作を開始し（Ｓ３００）、視線タッチアプリを起動する（Ｓ３０１）。
視線タッチの初期設定を開始する（Ｓ３０２）。携帯端末１のディスプレイ１０に、視線タッチ初期設定のための画像を表示する（Ｓ３０３）。例えば、図１３（ａ）のようなクロスポイントＸ１～Ｘ５を順次表示する。

【0074】

ユーザは装着しているＨＭＤ２を介して、ディスプレイ１０に表示された画像（クロスポイント）を順次注視する（Ｓ３０４）。
携帯端末１に搭載のカメラ２０で、注視しているユーザの眼球の画像を取得する（Ｓ３０５）。

【0075】

クロスポイントＸ１を表示した際に取得したユーザ画像の情報から、視線方向の基準値を計算し、視線タッチの初期位置とする（Ｓ３０６）。
各クロスポイントＸ１～Ｘ５を順次注視した時の視線位置の計算結果を、視線タッチの初期位置の情報とともに保存する。この時の携帯端末１と眼球との位置関係（角度、位置、距離）を、携帯端末１のセンサ２１で取得する。また、ＨＭＤ２を装着している場合には、携帯端末１までの距離情報や、アイトラッキングカメラにより眼球の瞳孔や虹彩の位置や方向なども取得する（Ｓ３０７）。

【0076】

Ｓ３０６で計算した初期位置と、Ｓ３０７で取得した各クロスポイントを注視したときの携帯端末１と眼球との位置関係情報とを、ＨＭＤ２の機器ＩＤ３５やユーザ情報に紐付けして、携帯端末１のデータ保存メモリ１４に保存する（Ｓ３０８）。

【0077】

これで、初期設定を完了する（Ｓ３０９）。なお、クロスポイントＸ２～Ｘ５の注視点の平均値を求め、クロスポイントＸ１の注視点と比較して凡そ同一の位置になっていれば、それぞれ正しく検出できていると判断しても良い。

【0078】

次に、実際に視線タッチ動作を行う。ユーザは携帯端末１の画面内の所望の操作位置を注視する（Ｓ３１０）。
携帯端末１に搭載のカメラ２０で、注視しているユーザの眼球の画像を取得する（Ｓ３１１）。

【0079】

取得したユーザ画像の情報からユーザの視線方向を求め、Ｓ３０８でデータ保存メモリ１４に保存している各ポイント注視時の位置関係情報と比較して（差分を求めて）、ユーザの注視点を計算する（Ｓ３１２）。

【0080】

携帯端末１の画面上に注視点の位置、すなわち視線タッチ位置をマーカーで表示する（Ｓ３１３）。マーカーが表示された位置に一定の時間以上、注視点が留まった場合には、そのマーカーが存在する位置に対して、クリックもしくは指先でタッチしたのと同様の操作を行う。

【0081】

ここで上記の視線タッチ動作を正確に実施するためには、携帯端末１と顔の距離、眼球との角度、位置、距離などを常にチェックし、変化した場合には基準点からの顔や眼球の変化による視線位置の変化を補正する必要がある。そのため、初期設定の位置をもとに、携帯端末と顔や眼球の角度、位置、距離などを常時監視し、一定以上のずれが出た時には、初期設定において、得られた視線の動き範囲より計算した値をもとに偏差を補正する。

【0082】

この視線タッチの補正は、操作ログ終了アイコンなどアプリケーションでよく使うアイコンを目印として決まった位置に表示し、そのアイコンを正確に把握しているかを一定頻度でチェックすることで、補正可能な偏差の補正を実施する。

【0083】

視線タッチ動作は、ＨＭＤ２に搭載するカメラ４０を用いて行うこともできる。以下、これについて説明する。

【0084】

図１６は、ＨＭＤ２のカメラ４０を用いた視線タッチを説明する図である。視線位置を特定するために、携帯端末１の画面に、例えば図１６に示すように基準となるクロスポイントＸ１～Ｘ３の画像を表示する。例えばポイントＸ１は画面の中央、ポイントＸ２は画面の左上隅、ポイントＸ３は画面の右下隅に表示する。ユーザＵは、これらの表示されたクロスポイントを携帯端末１の指示に従って注視し、ＨＭＤ２のカメラ４０で撮影する。そして、カメラ４０で撮影した画像を携帯端末１に送る。

【0085】

携帯端末１では、取得した各クロスポイントのカメラ画像から基準となる中心位置を求める。例えば、画面中央のクロスポイントＸ１の位置と、画面隅のクロスポイントＸ２，Ｘ３の位置の平均値とを比較して、凡そ同じ位置になっていれば視線タッチの基準位置として設定する。ここで、眼球の瞳孔や虹彩の位置や角度を検出するために、ＨＭＤ２にアイトラッキング用のカメラが搭載されていれば、その情報を用いても良い。なお、視線検出に当たって、携帯端末１とＨＭＤ２との角度や位置、距離、ＨＭＤ２自身の眼球との位置や角度（頭に搭載時の位置や角度）などが重要となる。

【0086】

図１７は、ＨＭＤ２のカメラ４０で撮影した携帯端末１の画像の例を示す図である。ＨＭＤ２のカメラ４０で撮影した携帯端末１の画像（ここでは、「端末画像」と呼ぶ）から、携帯端末１の画面に対するユーザＵの注視ポイントを検出する。初期位置の調整において、（ａ）の端末画像１のように撮影されていれば、携帯端末１の画面全体が見えており、ユーザがどのポイントを注視しているかを検出するための情報を取得でき、適切である。

【0087】

しかし、例えば、携帯端末１とＨＭＤ２との距離が離れ過ぎていると、（ｂ）の端末画像２のように、携帯端末１全体が小さな画像として撮られてしまう。そのため、注視点の検出において誤差が生じ、正確に注視点を検出することが難しくなる。この場合には、ＨＭＤ２がもっと携帯端末１に近づくよう指示を出す。

【0088】

また、（ｃ）の端末画像３のような場合には、撮影中心が携帯端末１の左上方向にずれているので、右下方向に移動するように指示する。逆に（ｄ）の端末画像４は、撮影中心が携帯端末１の右下方向にずれているので、左上方向に移動するように指示する。

【0089】

（ｅ）の端末画像５は、携帯端末１の画面全体を限度一杯で撮影しており、これ以上接近できない位置にあることを示している。このようにして、（ａ）の端末画像１の状態で携帯端末１が撮影されるように調整する。

【0090】

なお、前記した携帯端末１のカメラ２０を利用する場合と同様に、携帯端末１とＨＭＤ２との角度、位置、距離などが一定範囲にあることが必要となる。そのため、上述の設定した視線の基準位置は、常時、携帯端末１とＨＭＤ２との角度や位置などとの変化をチェックして、補正を加えることが必要である。

【0091】

図１８は、ＨＭＤ２のカメラ４０で撮影した端末画像により視点位置を求める例を示す図である。（ａ）は携帯端末１の画面の基準位置を求める場合、（ｂ）は実際に取得した端末画像からユーザの視点位置を求める場合を示す。

【0092】

（ａ）の端末画像では、３か所のクロススポイトＸ１～Ｘ３により、携帯端末１の画面に対するＨＭＤ２の距離や角度を検出し、基準位置を求める。その時の数値に対して、（ｂ）の端末画像がどのような差分があるかを検出する。この例では、（ｂ）の端末画像は、画面の中央（クロスポイントＸ１）がＨＭＤ２で撮影した範囲の中央に来ているので、携帯端末１がＨＭＤ２のほぼ正面にあることが分かる。また携帯端末１の画面が大きく写っているため、（ａ）の端末画像撮影時よりも、ＨＭＤ２に距離が近いことが分かる。

【0093】

ここで、携帯端末１の画面が台形やひし形に変形している場合には、携帯端末１が傾いて保持されているためである。このような場合にも、携帯端末１の画面の４隅の位置情報を検出するなどして、傾きの状態を検出することができる。そして（ａ）の基準位置の設定で求めた注視点位置に対して、（ｂ）で携帯端末１の画面のどこを注視していることが検出することが可能となる。なお、ＨＭＤ２にアイトラッキング用のカメラが搭載され、眼球の瞳孔や虹彩の位置や向きを計測することができる場合には、それらもパラメータとして用いることで、注視点を求める精度が向上する。

【0094】

図１９は、ＨＭＤ２のカメラ４０を用いた視線タッチの動作手順を示すフローチャートである。

【0095】

ＨＭＤ２の動作を開始し（Ｓ４００）、視線タッチアプリを起動し、携帯端末１にもそのアプリを立ち上げるコマンドを送る（Ｓ４０１）。
視線タッチの初期設定を開始する（Ｓ４０２）。携帯端末１ではそのディスプレイ１０に、視線タッチ初期設定のための画像（クロスポイント）を表示する（Ｓ４０３）。例えば、図１６のようなクロスポイントＸ１～Ｘ３を表示する。

【0096】

ユーザは、ＨＭＤ２を介して携帯端末１に表示された画像を注視する（Ｓ４０４）。
ＨＭＤ２搭載のカメラ４０でユーザが注視している携帯端末１の画像を撮影し、外部機器ＩＦ３６より携帯端末１へ送る。携帯端末１は、ＨＭＤ２で撮影した携帯端末の画像（端末画像）を取得する（Ｓ４０５）。

【0097】

携帯端末１では、表示した画像の位置と、ＨＭＤ２が撮影した端末画像から、ＨＭＤ２の位置と角度を計算し、視線タッチの基準位置を設定する（Ｓ４０６）。
この時、携帯端末１とＨＭＤ２が離れ過ぎていたり、角度が斜め過ぎる場合には、携帯端末１の保持位置を修正するようにユーザに指示を出す。そして、携帯端末１とＨＭＤ２との角度、位置の情報、及びＨＭＤ２に搭載されたアイトラッキング用カメラにて、眼球の瞳孔や虹彩の角度情報などを取得する（Ｓ４０７）。

【0098】

Ｓ４０６で計算した初期位置と、Ｓ４０７で取得した携帯端末１とＨＭＤ２との角度、位置の情報を、ＨＭＤ２の機器ＩＤ３５、ユーザ情報とを結びつけて、データ保存メモリ１４に保存する（Ｓ４０８）。これで、初期設定を完了する（Ｓ４０９）。

【0099】

次に、実際に視線タッチ動作を行う。ユーザはＨＭＤ２を介して、携帯端末１の画面内の所望の操作位置を注視する（Ｓ４１０）。
ＨＭＤ２に搭載のカメラ４０で、注視している携帯端末１の画像（端末画像）を取得し、携帯端末へ送る（Ｓ４１１）。

【0100】

携帯端末１は、取得した端末画像と、Ｓ４０８でデータ保存メモリ１４に保存しているＨＭＤ２との角度、位置の情報と比較して、携帯端末１の画面上のどこを注視しているかを計算によって求める（Ｓ４１２）。

【0101】

携帯端末１の画面上に注視点の位置、すなわち視線タッチ位置をマーカーで表示する（Ｓ４１３）。マーカーが表示された位置に一定の時間以上、注視点が留まった場合には、そのマーカーが存在する位置に対して、クリックもしくは指先でタッチしたのと同様の操作を行う。

【0102】

なお、初期設定の位置をもとに、携帯端末とＨＭＤとの距離や角度や、ユーザが装着した時のＨＭＤ自身の角度などを常時監視し、一定以上のずれが出た時には、偏差を補正する。

【0103】

上記の例では、ＨＭＤ２のカメラ４０での撮影画像を携帯端末１に送って、携帯端末１側で距離や角度を求めたが、これに限らず、これらの処理をＨＭＤ２側で行ったり、ネットワーク経由で外部サーバ上で行ったりしても構わない。

【0104】

実施例２によれば、ユーザは携帯端末の表示画面を注視するだけで所望の表示項目を選択し、選択した項目に関する詳細情報を表示させることができる。よって、表示内容を切り替えるためのユーザ操作の利便性が向上する。

【実施例3】

【0105】

実施例１では、携帯端末１に表示された操作ログの詳細内容の一部をＨＭＤ２にて表示するようにした。携帯端末１の操作ログの表示は、プライバシーの観点から他人に見られることを好まない場合がある。その点ＨＭＤ２では、光学系の方式の相違により、表示面であるメガネのレンズ上では焦点が合わず、周囲の人から何を表示しているか見られにくいというメリットがある。そこで実施例３では、プライバシーを考慮し、積極的にＨＭＤ２を利用して表示する構成について説明する。

【0106】

本実施例では、取得した操作ログ情報を、携帯端末１とＨＭＤ２とを適宜切り替えて表示する。そして、表示する操作ログを周囲の人に見られるのを防止するため、「のぞき見防止機能」を付加している。「のぞき見防止機能」により、操作ログがのぞき見されやすい環境または見せたくない場合においては、操作ログ情報は携帯端末１では非表示としＨＭＤ２にて表示する。「のぞき見防止機能」は自動的に実施する場合と、ユーザが選択して実施する場合とがある。

【0107】

まず、のぞき見防止機能を自動的に実施する場合について説明する。
図２０は、のぞき見防止機能を自動的に実施するための構成を説明する図である。ユーザＵはＨＭＤ２を装着して、携帯端末１の表示画面を見ている状態である。ユーザＵの周辺には他人Ｕｎが居て、携帯端末１の画面がのぞき見されている可能性がある。

【0108】

このような場合、携帯端末１に搭載されているカメラ２０（ただし、ユーザＵ側を撮影するインカメラ）で携帯端末１を使用時のユーザ周辺の画像を撮影する。撮影したカメラ画像Ｃ１に、ユーザＵ以外の人物Ｕｎが写っている場合には、のぞき見される可能性があると判断する。この時、ＨＭＤ２のカメラ４０を用いて、ユーザの前面の画像を撮影し、撮影したカメラ画像Ｃ２にのぞき見の可能性がある人物Ｕｎが居るかを検出しても良い。

【0109】

この時のポイントとしては、撮影用のカメラ２０，４０は広角レンズを備えたものが望ましい。広角の程度は、携帯端末１のディスプレイ１０を周囲から見ることができる視野角以上であることが求められる。

【0110】

また、撮影されたユーザＵ以外の人物Ｕｎの顔の方向を検出し、携帯端末１のディスプレイ１０との角度を検出して、ディスプレイ１０の視野角以上の場合には、のぞき見の可能性は低いと判断することができる。

【0111】

なお、カメラ画像Ｃ１，Ｃ２に写っているユーザＵを特定するためには、顔認証などを利用することが可能である。また、のぞき見防止機能を動作させているときには、カメラ２０，４０を常に動作させるか、一定間隔で動作させることで、監視することが重要である。

【0112】

カメラ２０，４０を常に動作させる、または一定間隔で継続的に動作させることは、意図しないカメラ撮影を行うことになりかねず、逆に他人のプライバシーを配慮する必要が生じる。そこで、カメラが動作していること、またはのぞき見防止機能が動作していることを周囲に知らせるように、携帯端末１などで明示することが必要である。例えば、携帯端末１のランプを点灯させて明示することが望ましい。

【0113】

図２１は、のぞき見防止機能を自動的に実施する場合のフローチャートを示す。
携帯端末１の動作を開始し（Ｓ５００）、操作ログアプリを起動して、携帯端末１に対して操作された操作ログの表示機能を実行する（Ｓ５０１）。ユーザを認証し（Ｓ５０２）、ＨＭＤ２との接続をチェックする（Ｓ５０３）。接続エラーとされた場合には、ＨＭＤ２との通信を終了し、接続を切断する。

【0114】

携帯端末１のセンサ２１からの加速度情報から、ユーザが移動中かどうかを判定する（Ｓ５０４）。移動中であればＳ５０９へ進み、のぞき見が生じる可能性が少ないため、携帯端末１の画面を用いて表示する。
Ｓ５０４の判定でユーザが静止中であれば、のぞき見される可能性があり、「のぞき見防止機能」を実行する（Ｓ５０５）。

【0115】

携帯端末１のカメラ２０で、ユーザの周辺の画像を撮影する。あるいはＨＭＤ２のカメラ４０で、携帯端末１の周辺の画像を撮影してもよい（Ｓ５０６）。
撮影したカメラ画像からユーザ以外の人物の有無を判定する。さらに撮影された人物と携帯端末１のディスプレイ１０との角度などから、のぞき見の可能性の有無を判定する（Ｓ５０７）。

【0116】

Ｓ５０７でのぞき見の可能性有と判定された場合には、携帯端末１での操作ログの表示を中止し、ＨＭＤ２のみで表示を行う（Ｓ５０８）。また、ＨＭＤ２に表示された操作ログの情報に対して、さらに詳細な情報を表示する操作（選択）があった場合にも、ＨＭＤ２のみで詳細な情報を表示する。
一方、Ｓ５０７でのぞき見の可能性無と判定された場合には、そのまま携帯端末１にて、あるいは携帯端末１とＨＭＤ２の両方を用いて操作ログを表示する（Ｓ５０９）。

【0117】

その後Ｓ５０４に戻り、再度ユーザが移動中かどうかを判定し、またＳ５０７でのぞき見の可能性の有無を判定し、表示の切り替えを行う。このようにして、ＨＭＤ２のみでの表示は、のぞき見の可能性がなくなるまで継続する。

【0118】

次に、のぞき見防止機能をユーザが選択して実施する場合について説明する。
図２２は、のぞき見防止機能をユーザが選択して実施する場合のフローチャートを示す。
携帯端末１の動作を開始し（Ｓ６００）、操作ログアプリを起動して、携帯端末１に対して操作された操作ログの表示機能を実行する（Ｓ６０１）。携帯端末１とＨＭＤ２との接続チェックを行う（Ｓ６０２）。

【0119】

ユーザは「のぞき見防止機能」の設定（ＯＮ／ＯＦＦ）を選択する（Ｓ６０３）。携帯端末１のセンサ２１（加速度センサ）で、ユーザが移動中か静止中かを判定する（Ｓ６０４）。ユーザが移動中のときは、Ｓ６０７へ進む。
Ｓ６０４でユーザが静止中のときは、ユーザが携帯端末１の「のぞき見防止機能」の設定状態を判定する（Ｓ６０５）。設定されていないときは（Ｓ６０５，Ｏｆｆ）、Ｓ６０７へ進む。

【0120】

「のぞき見防止機能」が設定されているときは（Ｓ６０５，Ｏｎ）、携帯端末１での操作ログの表示を中止し、ＨＭＤ２のみで表示を行う（Ｓ６０６）。また、ＨＭＤ２に表示された操作ログの情報に対して、さらに詳細な情報を表示する操作（選択）があった場合にも、ＨＭＤ２のみで詳細な情報を表示する。
Ｓ６０７では、ユーザが移動中であり周囲の人にのぞき見される可能性は少なく、またユーザはのぞき見防止機能を選択していないので、そのまま携帯端末１にて、あるいは携帯端末１とＨＭＤ２の両方を用いて操作ログを表示する。

【0121】

その後Ｓ６０４に戻り、再度ユーザが移動中かどうかを判定し、表示の切り替えを行う。このようにして、ＨＭＤ２のみでの表示は、のぞき見の可能性がなくなるまで継続する。

【0122】

なお、上記で述べたのぞき見防止機能は、操作ログを表示する場合に限るものではなく、様々な情報の表示に適用できることは言うまでもない。

【0123】

実施例３によれば、携帯端末とＨＭＤの連携表示において、他人に見られたくない情報はＨＭＤのみに表示することで、携帯端末の周囲の人にのぞき見されることがなく、ユーザのプライバシーを保護する効果がある。

【符号の説明】

【0124】

１：携帯端末、
２：ヘッドマウントディスプレイ（ＨＭＤ）、
１０，３０：ディスプレイ、
１１，３１：表示制御部、
１２，３２：ＣＰＵ（主制御部）、
１４：データ保存メモリ、
１６，３６：外部機器ＩＦ（インターフェース）、
１７，３７：タッチセンサ、
２０，４０：カメラ、
２１，４１：各種センサ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】