(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】情報端末装置、及びそのアプリケーション動作モード制御方法
(51)【国際特許分類】
G06F 9/445 20180101AFI20241111BHJP
【ＦＩ】
G06F9/445 130
【請求項の数】
3
(21)【出願番号】P 2022507112
(86)(22)【出願日】2020-03-12
(86)【国際出願番号】 JP2020010801
(87)【国際公開番号】W WO2021181604
(87)【国際公開日】2021-09-16
【審査請求日】2022-08-19
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】吉澤 和彦
(72)【発明者】
【氏名】高見澤 尚久
【審査官】坂庭 剛史
(56)【参考文献】
【文献】特表２０１６－５０７９７０（ＪＰ，Ａ）
【文献】特開２０１３－０２１６３２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３９１７１６（ＵＳ，Ａ１）
【文献】国際公開第２０１４／１６２７６２（ＷＯ，Ａ１）
【文献】国際公開第２０１４／００６７５８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１５／０３１９３６４（ＵＳ，Ａ１）
【文献】特開２０１５－１２６４６７（ＪＰ，Ａ）
【文献】特開２０１５－０９９９７８（ＪＰ，Ａ）
【文献】特開２０１３－００３７４２（ＪＰ，Ａ）
【文献】特開２０１６－１２６６８７（ＪＰ，Ａ）
【文献】国際公開第２０２０／００３３６１（ＷＯ，Ａ１）
【文献】特開２０１５－０２２４５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ９／４４５
(57)【特許請求の範囲】
【請求項1】
アプリケーションを実行する情報端末装置であって、制御部を備え、
前記アプリケーションの動作モードには、前記情報端末装置のみで動作する単独動作モードと、前記情報端末装置及び外部情報端末と連携して動作する連携動作モードと、を有し、
前記制御部は、前記アプリケーションに対する起動指示の態様により、前記単独動作モードと前記連携動作モードの何れで前記アプリケーションを起動させるかを制御し、
表示部を備え、
前記表示部は、前記アプリケーションに関連付けられたアプリアイコンを表示し、
前記制御部は、前記起動指示の態様として、ユーザの視線方向において、前記アプリアイコンが前記外部情報端末の外観と重なった状態で前記アプリアイコンに対する選択動作が行われた場合には、前記アプリケーションを前記連携動作モードで起動するよう制御し、
前記制御部は、前記起動指示の態様として、ユーザの視線方向において、前記アプリアイコンが前記外部情報端末の外観と重ならない状態で前記アプリアイコンに対する選択動作が行われた場合には、前記アプリケーションを前記単独動作モードで起動するよう制御する、
ことを特徴とする情報端末装置。
【請求項2】
請求項１に記載の情報端末装置であって、前記アプリアイコンには、前記アプリケーションが連携可能な外部情報端末の種別の表記と、前記外部情報端末が連携可能状態であるかどうかの表記と、を含んでいる、
ことを特徴とする情報端末装置。
【請求項3】
アプリケーションを実行する情報端末装置のアプリケーション動作モード制御方法であって、前記情報端末装置は、
前記アプリケーションの動作モードには、前記情報端末装置のみで動作する単独動作モードと、前記情報端末装置及び外部情報端末と連携して動作する連携動作モードと、を有し、
前記アプリケーションに対する起動指示の態様により、前記単独動作モードと前記連携動作モードの何れで前記アプリケーションを起動させるかを制御し、
前記情報端末装置は、前記アプリケーションに関連付けられたアプリアイコンを表示し、
前記起動指示の態様として、ユーザの視線方向において、前記アプリアイコンが前記外部情報端末の外観と重なった状態で前記アプリアイコンに対する選択動作が行われた場合には、前記アプリケーションを前記連携動作モードで起動させ、
前記起動指示の態様として、ユーザの視線方向において、前記アプリアイコンが前記外部情報端末の外観と重ならない状態で前記アプリアイコンに対する選択動作が行われた場合には、前記アプリケーションを前記単独動作モードで起動させる、
ことを特徴とする情報端末装置のアプリケーション動作モード制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報端末装置、及びそのアプリケーション動作モード制御方法に関する。
【背景技術】
【0002】
近年、スマートフォンやスマートウォッチなどを代表とする情報端末装置には種々の製品が市販されており、それを利用する機会が増加している。また、情報端末装置の一つである、頭部に装着して情報を視聴するヘッドマウントディスプレイ装置（以下、ＨＭＤ:Head Mount Display、と称す）は、ゲーム用途や作業支援の分野での利用が広がりつつある。
【0003】
これらの情報端末装置で動作するアプリケーション（以降アプリと称する）には、１つの情報端末装置単独で動作する単独動作モードと、複数の情報端末装置と連携して動作する連携動作モードを有するものがある。
【0004】
本技術分野の背景技術として特許文献１がある。特許文献１は、セキュリティを低下させることなく連携先に情報を送信することができる情報処理システムを提供することを課題として、端末装置と連携処理装置とが接続され、電子データを連携先に送信する連携処理を実行する情報処理システムであって、信頼できる連携先を特定するための情報を管理する連携先管理手段と、前記信頼できる連携先を特定するための情報に基づき、電子データを送信する連携先が信頼できる連携先であるか確認し、信頼できる連携先であるときに前記連携処理装置が管理する電子データを前記連携先に送信する連携手段を備えた情報処理システムが開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１４－１７８８９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１では、アプリが単独で動作するモードと連携で動作するモードを持つ場合に、簡便に動作モードを制御する点について記載がなく、考慮されていない。
【0007】
本発明は、上記課題に鑑み、複数の情報端末装置との連携動作を行うアプリの動作モード制御において使い勝手を向上させることを目的とする。
【課題を解決するための手段】
【0008】
本発明は、その一例を挙げるならば、アプリケーションを実行する情報端末装置であって、アプリケーションの起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリケーションを起動させるように構成する。
【発明の効果】
【0009】
本発明によれば、連携動作を行うアプリの動作モード制御において使い勝手を向上できる情報端末装置、及びそのアプリケーション動作モード制御方法を提供できる。
【図面の簡単な説明】
【0010】
【図1】実施例１における複数の情報端末装置との連携動作を行う情報処理システムの構成模式図である。
【図2】実施例１における情報端末装置のハードウェア構成を示すブロック図である。
【図3】実施例１における情報端末装置の機能構成図である。
【図4】実施例１における動作モード選択の処理概要を示す説明図である。
【図5】実施例１における動作モード選択の処理フローチャートである。
【図6】実施例１におけるアプリアイコンの表示例である。
【図7】実施例１におけるエラー表示例である。
【図8】実施例３における動作モード選択の処理概要を示す説明図である。
【図9】実施例３における動作モード選択の処理フローチャートである。
【図10】実施例４における動作モード選択の処理フローチャートである。
【図11】実施例５における動作モード移行の処理概要を示す説明図である。
【図12】実施例５における動作モード選択の処理フローチャートである。
【図13】実施例６における動作モード移行の処理概要を示す説明図である。
【図14】実施例７における動作モード移行の処理概要を示す説明図である。
【図15】実施例８における動作モード移行の処理概要を示す説明図である。
【図16】実施例８における動作モード選択の処理フローチャートである。
【図17】実施例９における連携動作モード移行を説明する概略図である。
【図18】実施例１０における連携動作モード移行を説明する概略図である。
【図19】実施例１１における連携動作モード移行を説明する概略図である。
【図20】実施例１２における情報処理システムの構成模式図である。
【発明を実施するための形態】
【0011】
以下、図面を用いて本発明の実施例について説明する。
【実施例1】
【0012】
図１は、本実施例における複数の情報端末装置との連携動作を行う情報処理システムの構成模式図である。図１において、連携動作を行う情報処理システムは、複数の情報端末装置として、スマートフォン（以降スマホと称す）１（Ａ）とＨＭＤ１（Ｂ）とスマートウォッチ１（Ｃ）を有している。これらの情報端末装置は、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅＴｏｏｔｈ（登録商標）などの通信により接続され、連携に必要な情報端末装置が選択されて連携される。
【0013】
図２は、本実施例における情報端末装置１のハードウェア構成を示すブロック図である。図２において、情報端末装置１は、プロセッサ（コントローラ）１０１、メモリ１０２、センサ装置４、カメラ６、測距センサ７、表示デバイス５０、通信デバイス８０、音声入力装置８１、音声出力装置８２、操作入力装置８３、バッテリ８４で構成される。
【0014】
プロセッサ１０１は、所定の動作プログラムに従って情報端末装置１全体を制御するコントローラである。すなわち、プロセッサがそれぞれの機能を実現する動作プログラムを解釈して実行することによりそれぞれの機能をソフトウェアで実現する。
【0015】
メモリ１０２は、情報端末装置１の動作を制御するための制御プログラム３１、アプリケーションプログラム３２、アプリ管理情報３３、座標系情報３４、表示情報３５を記憶している。
【0016】
センサ装置４は、情報端末装置１の位置や姿勢を検出するためのセンサ群である。センサ装置４は、例えばＧＰＳ（Global Positioning System）受信部、地磁気センサ部、加速度センサ部、ジャイロセンサ部等で構成される。これらのセンサ群により、情報端末装置１の位置、傾き、方角、動き、等を検出することが可能となる。また、情報端末装置１が、照度センサ、高度センサ、近接センサ等、他のセンサを更に備えていても良い。
【0017】
カメラ６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラユニットである。
【0018】
測距センサ７は、対象物の各ポイントまでの距離を把握することができるセンサであって、例えば、位相差方式（フェィズシフト方式）であれば、変調した複数のレーザ光を対象物に照射し、帰ってくる拡散反射成分の位相差で対象物との距離を測定する。
【0019】
表示デバイス５０は、画像データを情報端末装置１のユーザに提供するディスプレイであって、液晶表示装置や、例えばレーザープロジェクターとハーフミラー等を使った透過型ディスプレイの表示デバイスである。
【0020】
通信デバイス８０は、ＬＡＮ（Ｗｉ－Ｆｉ）通信部やモバイル通信部、ＢｌｕｅＴｏｏｔｈ通信部等からなる通信部である。
【0021】
音声入力装置８１は、マイクであり、ユーザの声などを音声データに変換して入力する。音声出力装置８２は、スピーカやイヤホンであり、ユーザに必要な音声情報等を出力する。
【0022】
操作入力装置８３は、情報端末装置１に対する操作指示の入力を行う、ユーザ操作インタフェースである指示入力部であり、ＳＷ類や電源キーや音量キー等の操作キーや、タッチパッドなどのタッチセンサを有する。なお、その他の操作デバイスを更に備えても良い。
【0023】
図３は、本実施例における情報端末装置の機能構成図である。図３において、プロセッサ１０１には、展開される動作プログラムで実行する機能を機能別に記載している。すなわち、メモリ１０２上の表示情報３５を用いて表示デバイス５０の表示制御を行う表示制御部１０１Ａと、メモリ１０２上の座標系情報３４を用いてデータ処理を行うデータ処理部１０１Ｂと、メモリ１０２上のアプリ管理情報３３を用いて、アプリ制御を行うアプリ制御部１０１Ｃと、通信デバイス８０の制御を行う通信制御部１０１Ｄと、センサ装置４、カメラ６、測距センサ７からのデータを取得するデータ取得部１０１Ｅと、操作入力装置８３からのデータを取得する入力操作取得部１０１Ｆを有する。
【0024】
本実施例では、アプリを実行する情報端末装置において、アプリの起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリを起動させるようにする。具体的には、アプリ起動指示の態様として、連携対象の情報端末装置を選択した状態での起動指示かどうかで、単独での起動指示か、連携での起動指示かを切り分ける。
【0025】
図４は、本実施例における動作モード選択の処理概要を示す説明図である。図４は、ＨＭＤの表示画面５１でありＨＭＤの視野を示している。表示画面５１上には、実空間の映像と、コンピュータによる拡張現実（ＡＲ：Augmented Reality）の生成画像（ＡＲオブジェクト）とを重畳させて表示している。実空間の映像は、スマホ１（Ａ）であり、ＡＲオブジェクトは、ＨＭＤのアプリアイコン５２、５３である。
【0026】
【0027】
図４（Ａ）において、十字形はＨＭＤのポインタ５４であり、スマホ１（Ａ）の画像とアプリアイコン５２が重なった状態でポインタ５４によりアプリアイコン５２を選択すると、アプリアイコン５２に対応したアプリがスマホとの連携動作モードとして選択される。なお、アプリアイコン５２の周りの点線５５は、アプリアイコン５２にポインタ５４が合っている状態を示すＡＲオブジェクトであり、点線ではなく例えばアプリアイコン５２の色を変えてもよい。また、同様に、スマホ１（Ａ）の周りの点線５６は、アプリアイコン５２がスマホ１（Ａ）の画像と重なっていることを示すＡＲオブジェクトである。
【0028】
なお、アプリアイコン５２、５３において、右上に示すＰやＷは、アプリアイコン５２、５３に対応したアプリの連携対象となる情報端末装置を示している。Ｐ５７はスマートフォン、Ｗ５８はスマートウォッチを示している。また、スマホの位置は、ＨＭＤのカメラ画像の画像認識によって検出する。
【0029】
図４（Ｂ）においては、スマホ１（Ａ）の画像とアプリアイコン５２が重なっていない状態でポインタ５４によりアプリアイコン５２を選択しているので、アプリアイコン５２に対応したアプリはＨＭＤ単独動作モードとなる。
【0030】
【0031】
図５において、まずステップＳ１ＡとＳ１Ｂで、ＢｌｕｅＴｏｏｔｈ等の通信により連携対象となる情報端末装置どうしの通信を確立する。すなわち、ＨＭＤとスマホ間での通信を確立する。次に、Ｓ２Ａで、アプリアイコンを表示する。すなわち、図６に示すように、図４で説明したアプリアイコン５２を表示し、アプリアイコン５２に対応したアプリの連携対象となる情報端末装置であるスマートフォンを示すＰ５７と、スマートウォッチを示すＷ５８を表示する。ここで、Ｗ５８については、電源がＯＦＦの場合や手元にないなどの理由で通信の確立が出来ない場合を斜線で示している。なお、斜線の代わりに色を変えたり、２重線を引いたりしてもよい。
【0032】
そして、Ｓ３Ａで、アプリ起動指示の認識として、ポインタ５４によりアプリアイコン５２を選択する際に、スマホの画像とアプリアイコン５２が重なった状態であったかを認識し、Ｓ４Ａで、重なった状態でなければ、Ｓ５Ａに進み、単独動作モードとしてアプリアイコン５２に対応したアプリを実行する。
【0033】
一方、Ｓ４Ａで、重なった状態であれば連携動作モードであるとして、Ｓ６Ａに進む。Ｓ６Ａでは連携対象として選択された情報端末装置が連携可能かを判断する。例えば、図６に示すように、通信確立が出来ないスマートウォッチＷ５８を連携対象として選択した場合、すなわち、スマートウォッチの画像とアプリアイコン５２を重ねた状態でアプリアイコン５２を選択した場合、連携は不可能であるので、Ｓ７Ａに進み、エラー表示を行なう。図７はエラー表示の例であり、連携不可であるメッセージとともに、単独動作モードで実行するかの確認を行う。そして、Ｓ８Ａで、単独動作モード指示であればＳ５Ａに進み単独動作モードを実行する。また、単独動作モード指示でなければ終了とする。なお、連携不可の情報端末装置との連携実行を選択した場合は、エラー表示することなく単独起動にしてもよいし、連携不可であることを表示するエラー表示をして確認を行うことなく単独起動にしてもよい。さらに、連携不可の場合に連携実行を選択した場合の処理方法を複数準備し、どの処理方法を行うか、予め、ユーザ設定により、情報端末装置に設定できるようにしておいてもよい。
【0034】
そして、Ｓ６Ａで連携可能である場合は、Ｓ９Ａに進み、Ｓ９Ａで連携先の情報端末装置１Ｙに連携モード動作の要求を行ない、情報端末装置１Ｙ側は、Ｓ２Ｂでその要求を受け入れ、情報端末装置１ＸのＳ１０Ａ、及び、情報端末装置１ＹのＳ３Ｂでそれぞれ連携動作モードの動作を実行する。
【0035】
以上のように、本実施例では、アプリを実行する情報端末装置において、連携対象の情報端末装置をアプリアイコンと表示上で重ねることで連携対象の情報端末装置を選択した状態としてアプリの起動指示を行ったかどうかで、単独での起動指示か、連携での起動指示かを切り分ける。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
【実施例2】
【0036】
実施例１では、アプリ起動指示の態様として、連携対象の情報端末装置の画像とアプリアイコンが重なった状態でアプリアイコンを選択するかどうかで、単独での起動指示か、連携での起動指示かを切り分けた。これに対して、本実施例では、アプリ起動指示の態様として、アプリ起動時のアプリアイコンの所定時間間隔以下で連続する選択動作の回数（クリックやタップ等）により、単独動作モードによる起動か、連携動作モードによる起動かを切り分ける例について説明する。
【0037】
本実施例では、例えば、スマートフォン上のアプリアイコンにおいて、シングルタップの場合は、スマートフォンの単独動作モードであり、ダブルタップの場合は、ＨＭＤとの連携動作モードとする。さらにトリプルタップで、スマートウォッチとの連携動作モードとし、４回の連続タップでＨＭＤ、スマートウォッチの両者との連携動作モードとしてもよい。
【0038】
本実施例における動作モード選択の処理フローチャートは、図５と同様でよく、図５における、ステップＳ３Ａで、アプリ起動指示の認識として、ポインタによりアプリアイコンを選択する際に、クリックする選択回数により、単独動作モードか連携動作モードかを切り分ける。なお、ポインタの変わりに、指のタップ（親指と人差し指）で選択する場合は、タップ数に応じて単独動作モードか連携動作モードかを切り分ける。
【0039】
以上のように、本実施例では、アプリを実行する情報端末装置において、アプリ起動時のアプリアイコンの連続する選択回数により、単独での起動指示か、連携での起動指示かを切り分ける。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
【実施例3】
【0040】
実施例１では、アプリを実行する情報端末装置であるＨＭＤ側のアプリアイコンを選択することで、単独か連携かの起動指示を行った。これに対して、本実施例では、連携対象の情報端末装置に表示されるアプリアイコンを選択することにより、連携動作モードでの起動指示を行う例について説明する。
【0041】
図８は本実施例における動作モード選択の処理概要を示す説明図である。図８においては、図４と同様にＨＭＤの表示画面５１を示しており、図４と同じ構成は同じ符号を付し、その説明は省略する。図８において、図４と異なる点は、アプリアイコン６０がスマホ上に表示されたスマホのアプリアイコンである点である。
【0042】
図８において、スマホのアプリアイコン６０をＨＭＤのポインタ５４により選択すると、アプリアイコン６０に対応したアプリがＨＭＤとの連携候補として選択される。なお、アプリアイコン６０の周りの点線５９は、アプリアイコン６０がポインタ５４により選択候補になっていることを示すＨＭＤのＡＲオブジェクトである。
【0043】
なお、アプリアイコン６０において、右上に示すＨやＷは、アプリアイコン６０に対応したアプリの連携対象となる情報端末装置を示している。Ｈ６１はＨＭＤ、Ｗ６２はスマートウォッチを示している。また、Ｗ６２については、通信の確立が出来ない場合等スマートウォッチとの連携動作ができない状態であることを斜線で示している。なお、斜線の代わりに色を変えたり、２重線を引いたりしてもよい。また、スマホ上のアプリアイコンは、ＨＭＤにより画像認識にて特定する。
【0044】
図９は、本実施例における動作モード選択の処理フローチャートである。図９は、図８に対応した処理フローチャートであり、情報端末装置１Ｘはスマホであり、情報端末装置１ＹはＨＭＤである。図９において、図５と同じステップは同じ符号を付し、その説明は省略する。図９において、図５と異なる点は、情報端末装置１Ｘはスマホであり、情報端末装置１ＹはＨＭＤである点と、連携候補指示認識Ｓ１０Ｂ、連携候補指示認識Ｓ１０Ａ、アプリ起動指示認識Ｓ１１Ａが異なる点である。
【0045】
図９において、ユーザの起動指示はスマホに対して行う。すなわち、情報端末装置１Ｙ（ＨＭＤ）は、ステップＳ１０Ｂにおいて、ユーザ操作によりポインタ５４がスマホ上のアプリアイコン６０に重ねられると、画像認識によりアプリアイコン６０に対応するアプリが連携候補になっていることを認識する。次に情報端末装置１Ｙは連携対象アプリの情報を情報端末装置１Ｘ（スマホ）に通知し、情報端末装置１Ｘは、ステップＳ１０Ａにおいて、アプリアイコン６０に対応するアプリが連携候補となっていることを認識する。次に情報端末装置１Ｘは、ステップＳ１１Ａにおいて、アプリアイコンに対するタップ等によりアプリの起動指示を認識する。起動指示認識後、情報端末装置１Ｘの制御は、起動指示のあったアプリが、情報端末装置１Ｙとの連携候補になっている場合は、ステップＳ４ＡからＳ６Ａに分岐し、連携候補でない場合はステップＳ４ＡからＳ５Ａに分岐する。以下は図５での流れと同様である。
【0046】
また、情報端末装置１Ｘがスマートウォッチの場合は、アイコンが小さくなるので、複数のアイコンを表示した場合に、対象となるアイコンが隠れて選択がし難いという問題がある。それに対して、本実施例のようにＨＭＤのポインタを使用して、候補となるアイコンを予め選択しておけば、タップ位置のずれが、予め定めておいた許容範囲内であれば、ＨＭＤのポインタで選択したアプリへの起動指示である、と解釈することにより、情報端末装置１Ｘでのアイコン選択が容易になる。この場合、単独動作のためにこの方法を用いても、操作性改善の効果が同様に得られる。
【0047】
また、単独起動指示か、連携起動指示かは、対象とするアプリが連携対象となっていることの他、例えば情報端末装置１Ｘでの選択が指のタップである場合、シングルタップならば、単独起動で、ダブルタップならば、連携起動、というように行なってもよい。
【0048】
以上のように、本実施例では、アプリの起動指示を行う情報端末装置において、連携対象の情報端末装置から、アプリアイコンが連携候補アプリとして選択されていることに基づき連携動作モードでの起動指示を行う。これにより、簡便で直感的は動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
【実施例4】
【0049】
実施例３では、アプリの起動指示を行う情報端末装置において、連携対象の情報端末装置（スマホ）に表示されるアプリアイコンを選択することにより、そのアプリアイコンに対応するアプリの連携モード動作要求（Ｓ９Ａ）をスマホが行っていた。これに対して、本実施例では、アプリの連携モード動作要求をＨＭＤで行う例について説明する。
【0050】
図１０は、本実施例における動作モード選択の処理フローチャートである。図１０において、図５と同じステップは同じ符号を付し、その説明は省略する。図１０において、図５と異なる点は、アイコン表示設定Ｓ１１Ｂと、アプリ起動指示認識Ｓ１２Ａが異なる点である。
【0051】
図１０において、情報端末装置１ＸはＨＭＤであり、情報端末装置１Ｙはスマホである。
【0052】
Ｓ１１Ｂでスマホはアプリアイコンを表示する。Ｓ１２Ａでは、ＨＭＤはスマホ上に表示されたアプリアイコンをＨＭＤのポインタ５４により画像上で選択することにより、ＨＭＤ上の同じアプリを起動する。
【0053】
起動のモードはＨＭＤ単独動作であっても、ＨＭＤとスマホの連携動作であってもよい。単独と連携の切替えは実施例２と同じである。
【0054】
また、情報端末装置１Ｙがスマートウォッチの場合は、アイコンが小さくなるので、複数のアイコンを表示した場合に、指でアイコンが隠れて選択がし難いという問題がある。それに対して、本実施例のようにＨＭＤ側でアイコンを選択すると、アイコンの選択が容易になる。
【0055】
以上のように、本実施例では、アプリの起動指示を行う情報端末装置において連携対象の情報端末装置に表示されるアプリアイコンを選択することにより、アプリの起動指示を行う情報端末装置において連携動作モードでのアプリ起動を行う。これにより、簡便で直感的な動作モードの制御を実現でき、アプリの起動動作において使い勝手を向上させることが可能となる。
【実施例5】
【0056】
以上説明した実施例１乃至４では、アプリ起動指示の態様により、単独動作モードと連携動作モードを切り替えてアプリを起動させるようにした。本実施例では、アプリ起動後に、連携対象としたい情報端末装置を選択することにより、その情報端末装置との連携動作モードに移行する例について説明する。
【0057】
図１１は本実施例における動作モード移行の処理概要を示す説明図である。図１１においては、図４と同様にＨＭＤの表示画面５１を示しており、図４と同じ構成は同じ符号を付し、その説明は省略する。図１１において、図４と異なる点は、ＨＭＤ上でのアプリが起動済みである点である。
【0058】
図１１において、アプリ起動後に、連携対象としたい情報端末装置を選択するために、ＨＭＤのポインタ５４をスマホ１（Ａ）の画像と重ねると、起動済みのアプリが、スマホとの連携動作モードとして選択される。なお、スマホ１（Ａ）の周りの点線５６は、スマホ１（Ａ）が選択候補になっていることを示すＨＭＤのＡＲオブジェクトである。
【0059】
本実施例の利用例としては、例えば、ＨＭＤにおいて、あるＡＲオブジェクトを表示し、その位置を調整する等の簡単な処理であればＨＭＤ単独動作モードでの動作で十分であるが、ＡＲオブジェクトの変形を行いたい場合等、高度な編集を行う場合は、入力機能の高いスマホにおいてアプリを連携動作モードで起動してスマホを利用して入力操作を行うことで操作がやりやすくなるという場合が考えられる。
【0060】
図１２は、本実施例における動作モード選択の処理フローチャートである。図１２において、図５と同じステップは同じ符号を付し、その説明は省略する。図１２において、図５と異なる点は、アプリ単独起動指示認識Ｓ２１Ａ、単独モード動作実行Ｓ２２Ａ、アプリ連携起動指示認識Ｓ２３Ａが異なる点である。
【0061】
図１２において、情報端末装置１ＸはＨＭＤであり、Ｓ２１Ａでアプリ単独起動指示を認識し、Ｓ２２Ａで単独モード動作を実行している。そして、アプリ連携起動指示認識Ｓ２３Ａでは、ＨＭＤのポインタ５４をスマホ１（Ａ）の画像に重ねると、スマホ１（Ａ）を選択したと認識し、ＨＭＤとスマホ１（Ａ）の連携動作モード指示と認識してＳ６Ａへ進む。
【0062】
以上のように、本実施例では、アプリ起動後に、連携対象としたい情報端末装置を選択することにより、その情報端末装置との連携動作モードに移行することが出来、簡便で直感的な動作モードの制御を実現でき、使い勝手を向上させることが可能となる。
【実施例6】
【0063】
実施例５では、ＨＭＤのポインタと連携したい情報端末装置の重なり状態で、連携動作モードに移行するようにした。これに対して、本実施例では、ポインタの代わりにＨＭＤで表示しているＡＲオブジェクトと連携したい情報端末装置の重なりを検知することで連携動作モードに移行する例について説明する。
【0064】
図１３は本実施例における動作モード移行の処理概要を示す説明図である。図１３においては、図１１と同じ構成は同じ符号を付し、その説明は省略する。図１３において、図１１と異なる点は、ＨＭＤのポインタ５４の代わりに、ＨＭＤで表示しているＡＲオブジェクト６３をスマホ１（Ａ）の画像と重ねると、起動済みのアプリが、スマホとの連携動作モードとして選択される点である。
【0065】
本実施例によれば、ＨＭＤのポインタの位置によらず、そのＡＲオブジェクトを表示しているアプリに対して、連携したい情報端末装置を連携動作モードとして起動し連携動作を実行できる。よって、例えば、ＡＲオブジェクトの加工を行いたい場合、本実施例のように、ＡＲオブジェクトと連携したい情報端末装置の重なりを検知することで連携動作モードによりスマホを起動した場合、スマホで加工操作を行いたいＡＲオブジェクトが特定できているので、すぐにＡＲオブジェクトに対する加工を開始できるという効果がある。
【0066】
なお、１回の重ね合わせでは連携動作モードの起動はせず、２回連続の重ね合わせで連携動作モードの起動としてもよい。
【実施例7】
【0067】
本実施例は、先にスマホでアプリが単独動作モードで起動している場合について説明する。
【0068】
図１４は本実施例における動作モード移行の処理概要を示す説明図である。図１４において、図１１と同じ構成は同じ符号を付し、その説明は省略する。図１４（Ａ）において、スマホ１（Ａ）で地図アプリが起動していて、ユーザがＨＭＤを装着した状態でスマホを操作し、「Ｅ」という建物をタップすると、ＨＭＤはカメラで認識して、ＨＭＤ内のアプリが連携動作モードで起動する。ＨＭＤでの動作は、例えば、図１４（Ｂ）に示すように、外界の「Ｅ」という建物を拡大表示してＡＲオブジェクト６５を重畳させるような動作である。
【0069】
なお、スマホ１（Ａ）の周りの点線５６は、ＨＭＤが視線検出して連携対象の情報端末装置があれば認識、選択されたことを示すＡＲオブジェクトである。
【0070】
また、スマホアプリでの操作において、連携可能な時にＨＭＤアプリを連携動作モードで起動する操作を限定してもよい。例えば、スクロールではＨＭＤアプリを起動させないとしてもよいし、シングルタップでは、スマホアプリの単独動作のままで、ダブルタップで、ＨＭＤアプリの起動を行うとしてもよい。
【0071】
本実施例によれば、スマホでアプリが単独動作モードで起動している場合に、ＨＭＤを装着した状態でスマホの操作を撮影することで、ＨＭＤ内のアプリが連携動作モードで起動実行できる。
【実施例8】
【0072】
本実施例は、アプリの単独実行をしている情報端末装置以外の情報端末装置が、連携動作指示を行う場合について説明する。
【0073】
図１５は本実施例における動作モード移行の処理概要を示す説明図である。図１５において、図１１と同じ構成は同じ符号を付し、その説明は省略する。図１５において、スマホ１（Ａ）で地図アプリを実行中に、ＨＭＤのポインタ５４を建物「Ｅ」に合わせて連携動作指示を出すと、スマホと連携動作を開始し、実施例７と同様の動作を行う。
【0074】
図１６は、本実施例における動作モード選択の処理フローチャートである。図１６において、図１２と同じステップは同じ符号を付し、その説明は省略する。図１６において、図１２と異なる点は、情報端末装置１Ｘはスマホであり、情報端末装置１ＹはＨＭＤである点と、情報端末装置１Ｘにおいては連携要求対応Ｓ３１Ａ以降の処理、情報端末装置１Ｙにおいてはアプリ連携起動指示認識Ｓ３１Ｂ以降の処理が異なる点である。
【0075】
図１６において、ステップＳ２２Ａでスマホが単独モード動作を実行している前提であって、ステップＳ３１Ｂで、ＨＭＤがスマホのアプリ画面にポインタを合わせる等によりアプリ連携起動指示を認識し、Ｓ３２Ｂで連携モード動作要求を情報端末装置１Ｘのスマホに行ない、Ｓ３３Ｂに進む。スマホは、Ｓ３１Ａでその要求を受け入れ、Ｓ３２Ａに進む。Ｓ３２Ａでは、連携動作ができるアプリではない等の理由で連携動作ができない場合は、Ｓ３４Ａに進みスマホでの単独モード動作を継続する。Ｓ３２Ａで、連携動作モード受入れＯＫの場合は、Ｓ３３Ａに進み連携動作モードの動作を実行する。
【0076】
また、ＨＭＤは、Ｓ３３Ｂで、Ｓ３２Ａと同様に連携動作ができるアプリではない等の理由で連携動作ができない場合は、Ｓ３５Ｂに進み、エラー表示を行う。Ｓ３３Ｂで、連携動作モード受入れＯＫの場合は、Ｓ３４Ｂに進み連携動作モードの動作を実行する。
【0077】
本実施例によれば、アプリが単独動作モードで起動している場合に、アプリの単独実行をしている情報端末装置以外の情報端末装置が、連携動作指示を行うことが出来る。
【実施例9】
【0078】
本実施例は、ある情報端末装置が単独でアプリの実行をしていて、後から連携動作モードを起動する場合の具体例について説明する。
【0079】
図１７は本実施例における連携動作モード移行を説明する概略図である。図１７は、ＨＭＤでＱＲコード（登録商標）決済を行う例を示しており、図１７（Ａ）は、ＨＭＤの表示画面５１でありＨＭＤの視野を示している。また、支払いを終了した時点であり、”支払い完了”の文字と決済終了の証拠となるキーコードが表示されている。この状態で、スマートウォッチ１（Ｃ）がＨＭＤの視野に入るようにして、ＨＭＤで選択動作を行うか、スマートウォッチをタップする等、スマートウォッチで選択動作を行うと、スマートウォッチでも同じアプリが連携動作モードで起動し、図１７（Ｂ）に示すように、スマートウォッチにもキーコードを表示する。本実施例では、外部に情報を提示できないＨＭＤの場合、この連携動作により、スマートウォッチで店員にキーコードを提示することができる。
【0080】
なお、スマートウォッチ１（Ｃ）の周りの点線５６は、ＨＭＤが連携対象のスマートウォッチを認識、選択されたことを示すＡＲオブジェクトである。
【0081】
また、図１７（Ａ）では、ＨＭＤの視野内におけるスマートウォッチの位置を、ウォッチに表示したい情報であるキーコードの位置で重ねたが、そのアプリの実行場面において、スマートウォッチに表示する情報が決まっている場合には、スマートウォッチの位置はＨＭＤの視野内に入っていればどこでもよい。逆に、スマートウォッチで表示したい情報が複数ある場合は、図１７（Ａ）のように、その情報が表示されている位置にスマートウォッチの位置を合わせて選択動作を行えばよい。
【実施例10】
【0082】
本実施例は、実施例９において、連携するアプリが、一方の情報端末装置において、表示専門のアプリでもよい例について説明する。
【0083】
図１７において、スマートウォッチ側で起動するアプリがＨＭＤの表示内容をスマートウォッチで表示するためのアプリであり、色々な種類のＨＭＤ側のアプリと連携できるものでもよい。
【0084】
この場合、図１７（Ａ）のように、ＨＭＤに表示されている情報の中で、スマートウォッチに表示したい部分にスマートウォッチ外観が重なるようにして、選択動作を行うと、その情報が図１７（Ｂ）のようにスマートウォッチに表示される。
【0085】
一方、図１８のように、ＨＭＤに情報のインデックスを表示し、その部分にスマートウォッチ外観を重ねてスマートウォッチのアプリを連携動作モードで起動して対応する情報（ここではＱＲコード）を表示してもよい。ここではスマートウォッチに店舗側にスキャンをしてもらうＱＲコードを表示する例である。
【実施例11】
【0086】
本実施例は、実施例９において、連携動作の機能が表示以外の機能でもよい例について説明する。
【0087】
【0088】
図１９は、スマートウォッチ１（Ｃ）がＮＦＣ（Near Field Communication）内蔵カードとして機能する例を示している。図１９（Ａ）に示すように、ＨＭＤの表示画面中に示されたカード名位置に、スマートウォッチ外観が重なるようにして選択動作をすることにより、スマートウォッチ側の連携アプリが起動する。選択動作は、ＨＭＤ側でもスマートウォッチ側でもよい。カード名に重畳された点線の枠６９はそのカードが選択候補になっていることを示すＡＲオブジェクトである。
【0089】
スマートウォッチ外観に、ＨＭＤの表示項目が複数重なる場合は、スマートウォッチ外観の所定位置（例えば中心位置）により近い表示項目を選択しているものとする。
【0090】
【実施例12】
【0091】
【0092】
本実施例は、図２０に示すように、前述した全実施例において、スマートフォン１（Ａ）、ＨＭＤ１（Ｂ）、スマートウォッチ１（Ｃ）の各々の情報端末装置の間において、直接の通信で連携制御を行うのみならず、サーバ１０００経由により情報の送受信または連携制御を行う情報処理システムとする。また、各情報端末装置は、サーバ１０００上に格納されたアプリおよびファイル、データを、適宜通信により取得して使用してもよい。また、前述した各実施例によりアプリの実行を選択した情報端末装置に代わり、サーバ１０００がサーバ１０００上でアプリを実行し、実行情報を情報端末装置に提供してもよい。すなわち、サーバ１０００は、複数の情報端末装置間の通信の媒介、またはアプリの代行実行を行う。
【0093】
なお、サーバ１０００は、各情報端末装置と通信を介して接続して連携動作の制御や、アプリの実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。
【0094】
以上実施例について説明したが、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0095】
１：情報端末装置、１（Ａ）：スマートフォン（スマホ）、１（Ｂ）：ＨＭＤ（ヘッドマウントディスプレイ装置）、１（Ｃ）：スマートウォッチ、１０１：プロセッサ（コントローラ）、１０２：メモリ、４：センサ装置、６：カメラ、７：測距センサ、５０：表示デバイス、８０：通信デバイス、５１：ＨＭＤの表示画面、５２、５３：ＨＭＤのアプリアイコン、５４：ＨＭＤのポインタ、６０：スマホのアプリアイコン、６３、６５：ＡＲオブジェクト、８３：操作入力装置、９０：カードリーダ、１０００：サーバ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】