特許7453369 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立マクセル株式会社の特許一覧

特許7453369情報処理システムおよび情報処理方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】情報処理システムおよび情報処理方法

(51)【国際特許分類】

H04L 67/50 20220101AFI20240312BHJP

H04L 67/2866 20220101ALI20240312BHJP

【ＦＩ】

H04L67/50

H04L67/2866

【請求項の数】 15

(21)【出願番号】P 2022529165

(86)(22)【出願日】2020-06-02

(86)【国際出願番号】 JP2020021710

(87)【国際公開番号】W WO2021245773

(87)【国際公開日】2021-12-09

【審査請求日】2022-09-30

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】高見澤尚久

(72)【発明者】

【氏名】橋本康宣

(72)【発明者】

【氏名】吉澤和彦

(72)【発明者】

【氏名】岡田義憲

【審査官】前田健人

(56)【参考文献】

【文献】国際公開第２０２０／００３３６１（ＷＯ，Ａ１）

【文献】特開２０１５－１６７３２６（ＪＰ，Ａ）

【文献】特開２０１７－１７５５０７（ＪＰ，Ａ）

【文献】特開２０１３－２１０７３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ６７／５０

Ｈ０４Ｌ６７／２８６６

(57)【特許請求の範囲】

【請求項1】

複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理システムであって、
前記複数の端末として第一情報端末と第二情報端末とを備え、
前記第二情報端末は、
前記アプリケーションの起動指示を受け付ける受付部と、
単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御部と、を備え、
前記第一情報端末は、
前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力部を備え、
前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、
前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、
前記第一情報端末は、
前記連携状態か否かを判断する連携判断部をさらに備え、
前記第二情報端末の前記連携制御部は、
前記連携判断部が前記連携状態と判断した場合、前記連携動作モードで動作させ、
前記第二情報端末の前記受付部は、前記第二情報端末が備える第二ディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、
前記第一情報端末の前記連携判断部は、前記第一情報端末のディスプレイの予め定めた連携視野内に、前記第二ディスプレイに表示される前記アイコンが含まれる場合、前記連携状態であると判断すること
を特徴とする情報処理システム。

【請求項2】

複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理システムであって、
前記複数の端末として第一情報端末と第二情報端末とを備え、
前記第二情報端末は、
前記アプリケーションの起動指示を受け付ける受付部と、
単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御部と、を備え、
前記第一情報端末は、
前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力部を備え、
前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、
前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、
前記第一情報端末は、
前記連携状態か否かを判断する連携判断部をさらに備え、
前記連携判断部は、
前記連携状態と判断した場合、前記第二情報端末に前記連携動作モードで動作するよう指示を行い、
前記第二情報端末の前記受付部は、前記第二情報端末が備える第二ディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、
前記第一情報端末の前記連携判断部は、前記第一情報端末のディスプレイの予め定めた連携視野内に、前記第二ディスプレイに表示される前記アイコンが含まれる場合、前記連携状態であると判断すること
を特徴とする情報処理システム。

【請求項3】

複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理システムであって、
前記複数の端末として第一情報端末と第二情報端末とを備え、
前記第二情報端末は、
前記アプリケーションの起動指示を受け付ける受付部と、
単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御部と、を備え、
前記第一情報端末は、
前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力部を備え、
前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、
前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、
前記複数の端末として第三情報端末をさらに備え、
前記第三情報端末は、前記第二情報端末が前記連携動作モードで動作可能な配置状態であるか否かを判断する連携判断部を備え、
前記第二情報端末の前記連携制御部は、
前記連携判断部が前記動作可能な配置状態と判断した場合、前記連携動作モードで動作させ、
前記第二情報端末の前記受付部は、前記第二情報端末が備える第二ディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、
前記第三情報端末の前記連携判断部は、前記第一情報端末のディスプレイの予め定めた連携視野内に、前記第二ディスプレイに表示される前記アイコンが含まれる場合、前記連携状態であると判断すること
を特徴とする情報処理システム。

【請求項4】

複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理システムであって、
前記複数の端末として第一情報端末と第二情報端末とを備え、
前記第二情報端末は、
前記アプリケーションの起動指示を受け付ける受付部と、
単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御部と、を備え、
前記第一情報端末は、
前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力部を備え、
前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、
前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、
前記受付部は、前記第二情報端末が備えるディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、
前記アイコンは、当該アイコンが対応づけられたアプリケーションを起動可能な前記端末の種別を特定する情報である端末マークを備えること
を特徴とする情報処理システム。

【請求項5】

請求項４に記載の情報処理システムであって、
前記端末マークは、当該端末マークで特定される前記端末で当該アプリケーションが実行されている場合、表示態様が変更されること
を特徴とする情報処理システム。

【請求項6】

請求項４、又は５に記載の情報処理システムであって、
前記第二情報端末の前記連携制御部は、当該第二情報端末が前記連携状態か否か判断し、前記連携状態と判断した場合、前記連携動作モードで動作させること
を特徴とする情報処理システム。

【請求項7】

請求項１、２、３、４、又は５に記載の情報処理システムであって、
前記第二情報端末の前記連携制御部は、前記連携動作モードで動作させる場合、前記アプリケーションの起動指示を、前記第一情報端末に送信し、
前記第一情報端末は、前記第二情報端末から前記アプリケーションの起動指示を受信すると、前記アプリケーションを実行するアプリケーション実行部をさらに備えること
を特徴とする情報処理システム。

【請求項8】

請求項７記載の情報処理システムであって、
前記第二情報端末は、前記起動指示を受け付けると前記アプリケーションを実行する第二アプリケーション実行部と、
前記アプリケーションの実行状態を表示するディスプレイと、をさらに備え、
前記第二アプリケーション実行部は、前記アプリケーション実行部と同期して前記アプリケーションを実行すること
を特徴とする情報処理システム。

【請求項9】

請求項１、２、３、４、又は５に記載の情報処理システムであって、
前記第二情報端末の前記連携制御部は、前記連携動作モードで動作させる場合、前記アプリケーションの実行に必要なデータを前記第一情報端末に送信し、
前記第一情報端末は、前記第二情報端末から前記アプリケーションの実行に必要な前記データを受信すると、当該データを用いて前記アプリケーションを実行するアプリケーション実行部を備えること
を特徴とする情報処理システム。

【請求項10】

請求項１、２、３、４、又は５に記載の情報処理システムであって、
前記第二情報端末の前記連携制御部は、前記連携動作モードで動作させる場合、前記アプリケーションを実行し、前記実行結果を前記第一情報端末に送信すること
を特徴とする情報処理システム。

【請求項11】

請求項１、２、３、４、又は５に記載の情報処理システムであって、
前記連携状態であるか否かは、前記第二情報端末と前記第一情報端末との距離により判断されること
を特徴とする情報処理システム。

【請求項12】

複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理方法であって、
前記複数の端末として第一情報端末と第二情報端末とを備え、
前記第二情報端末において、前記アプリケーションの起動指示を受け付ける受付ステップと、
前記第一情報端末において、連携状態か否かを判断する連携判断ステップと、
前記第二情報端末において、単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御ステップと、
前記第一情報端末において、前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力ステップと、を含み、
前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、
前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、
前記受付ステップにおいて、前記第二情報端末が備える第二ディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、
前記連携判断ステップにおいて、前記第一情報端末のディスプレイの予め定めた連携視野内に、前記第二ディスプレイに表示される前記アイコンが含まれる場合、前記第一情報端末は、前記連携状態であると判断し、
前記連携制御ステップにおいて前記連携状態と判断されると、前記連携動作モードで動作させること
を特徴とする情報処理方法。

【請求項13】

複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理方法であって、
前記複数の端末として第一情報端末と第二情報端末とを備え、
前記第二情報端末において、前記アプリケーションの起動指示を受け付ける受付ステップと、
前記第一情報端末において、連携状態か否かを判断する連携判断ステップと、
前記第二情報端末において、単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御ステップと、
前記第一情報端末において、前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力ステップと、を含み、
前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、
前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、
前記受付ステップにおいて、前記第二情報端末が備える第二ディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、
前記連携判断ステップにおいて、前記第一情報端末のディスプレイの予め定めた連携視野内に、前記第二ディスプレイに表示される前記アイコンが含まれる場合、前記連携状態であると判断し、
前記連携判断ステップにおいて、前記連携状態と判断された場合、前記連携制御ステップにおいて、前記第二情報端末に前記連携動作モードで動作するよう指示を行うこと
を特徴とする情報処理方法。

【請求項14】

複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理方法であって、
前記複数の端末として第一情報端末と第二情報端末と第三情報端末とを備え、
前記第二情報端末において、前記アプリケーションの起動指示を受け付ける受付ステップと、
前記第二情報端末において、単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御ステップと、
前記第三情報端末において、前記第二情報端末が前記連携動作モードで動作可能な配置状態であるか否かを判断する連携判断ステップと、
前記第一情報端末において、前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力ステップと、を含み、
前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、
前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、
前記受付ステップにおいて、前記第二情報端末が備える第二ディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、
前記連携判断ステップにおいて、前記第一情報端末のディスプレイの予め定めた連携視野内に、前記第二ディスプレイに表示される前記アイコンが含まれる場合、前記連携状態であると判断し、
前記連携判断ステップにおいて、前記動作可能な配置状態と判断された場合、前記連携制御ステップにおいて、前記第二情報端末は、前記連携動作モードで動作すること
を特徴とする情報処理方法。

【請求項15】

複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理方法であって、
前記複数の端末として第一情報端末と第二情報端末とを備え、
前記第二情報端末において、前記アプリケーションの起動指示を受け付ける受付ステップと、
前記第二情報端末において、単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御ステップと、
前記第一情報端末において、前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力ステップと、を含み、
前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、
前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、
前記受付ステップにおいて、前記第二情報端末が備えるディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、
前記アイコンは、当該アイコンが対応づけられたアプリケーションを起動可能な前記端末の種別を特定する情報である端末マークを備えること
を特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の情報端末間でのアプリケーション（以下、アプリと呼ぶ。）の起動を制御する技術に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ：ＨＭＤ）は、表示範囲が狭いため、他の情報端末と連携して用いられることがある。例えば、特許文献１には、「連携先デバイスと接続するために用いる情報および当該連携先デバイスに登録されたアプリが用いるデータに関する情報を含むデバイス情報を管理する第１の管理部と、連携元デバイスからの連携要求に対し、前記デバイス情報を参照して、連携が可能な連携先デバイスおよびアプリを示す連携候補を取得する第２の管理部と、前記連携候補に示されるアプリを起動し、連携を行うデバイスおよび当該デバイスに登録された連携が可能なアプリを連携先に確定する連携制御部とを含む（要約抜粋）」アプリ連携装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１４２６９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術によれば、他の情報端末を用いて所望アプリの選択指定を行うことにより、操作性が向上する。しかし、特許文献１の技術では、アプリが登録された全ての情報端末でアプリが起動する。このため、当該アプリが意図しない情報端末でも実行され、当該情報端末において他のアプリの動作が停止するなど、作業を妨げることがある。

【0005】

本発明は、上記事情に鑑みてなされたもので、同じアプリまたは対応するアプリを搭載した複数の情報端末間で、ユーザの負担を増加させることなく、容易に所望のデバイスでアプリを起動、実行させる、使い勝手のよい情報処理技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、複数の端末間で連携して、各端末が共通に備えるアプリケーションを実行する情報処理システムであって、前記複数の端末として第一情報端末と第二情報端末とを備え、前記第二情報端末は、前記アプリケーションの起動指示を受け付ける受付部と、単独動作モードおよび連携動作モードのいずれかで当該第二情報端末を動作させる連携制御部と、を備え、前記第一情報端末は、前記連携動作モード時に実行された前記アプリケーションの実行結果を出力する出力部を備え、前記単独動作モードは、前記アプリケーションを前記第二情報端末で単独に実行する動作モードであり、前記連携動作モードは、前記アプリケーションを前記第一情報端末および前記第二情報端末で連携して実行する動作モードであり、前記第二情報端末が前記連携動作モードで動作可能な状態である連携状態は、前記第一情報端末と前記第二情報端末との配置によって定まり、前記第一情報端末は、前記連携状態か否かを判断する連携判断部をさらに備え、前記第二情報端末の前記連携制御部は、前記連携判断部が前記連携状態と判断した場合、前記連携動作モードで動作させ、前記第二情報端末の前記受付部は、前記第二情報端末が備える第二ディスプレイに前記起動指示を受け付けるアイコンを表示し、当該アイコンを介して前記起動指示を受け付け、前記第一情報端末の前記連携判断部は、前記第一情報端末のディスプレイの予め定めた連携視野内に、前記第二ディスプレイに表示される前記アイコンが含まれる場合、前記連携状態であると判断することを特徴とする。

【発明の効果】

【0007】

本発明によれば、同じアプリまたは対応するアプリを搭載した複数の情報端末間で、ユーザの負担を増加させることなく、容易に所望のデバイスでアプリを起動、実行させる、使い勝手のよい情報処理技術を提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】第一実施形態の情報処理システムの概要を説明するための説明図である。

【図2】（ａ）および（ｂ）は、第一実施形態の連携状態を説明するための説明図である。

【図3】（ａ）および（ｂ）は、第一実施形態の非連携状態を説明するための説明図である。

【図4】第一実施形態のヘッドマウントディスプレイのハードウェア構成図である。

【図5】第一実施形態のスマートフォンのハードウェア構成図である。

【図6】（ａ）および（ｂ）は、それぞれ、第一実施形態の、ヘッドマウントディスプレイおよびスマートフォンの機能構成図である。

【図7】第一実施形態のアプリ連携処理のフローチャートの例である。

【図8】第二実施形態のアプリ連携処理のフローチャートの例である。

【図9】第三実施形態の連携状態判断手法を説明するための説明図である。

【図10】第三実施形態のアプリ連携処理のフローチャートの例である。

【図11】（ａ）および（ｂ）は、第四実施形態のスマートフォンのディスプレイの表示内容を説明するための説明図である。

【図12】第四実施形態のアプリ連携処理のフローチャートの例である。

【図13】第五実施形態のアプリ連携処理のフローチャートの例である。

【図14】第六実施形態のアプリ連携処理のフローチャートの例である。

【図15】第七実施形態の情報処理システムの概要を説明するための説明図である。

【図16】（ａ）および（ｂ）は、第七実施形態の連携状態を説明するための説明図である。

【図17】第七実施形態のスマートウォッチのハードウェア構成図である。

【図18】第七実施形態のスマートウォッチの機能ブロック図である。

【図19】第七実施形態のアプリ連携処理のフローチャートの例である。

【図20】（ａ）および（ｂ）は、本発明の変形例の情報処理システムの概要を説明するための説明図である。

【図21】（ａ）～（ｅ）は、本発明の変形例のアイコン表示態様を説明するための説明図である。

【発明を実施するための形態】

【0009】

＜＜第一実施形態＞＞
本発明の第一実施形態を、図面を用いて説明する。本実施形態では、第一の情報処理端末（第一情報端末）と第二の情報処理端末（第二情報端末）とが共通して有するアプリケーション（アプリ）を、連携して実行する。

【0010】

以下、本実施形態を、例えば、第一情報端末としてヘッドマウントディスプレイ（以下、ＨＭＤと呼ぶ。）を、第二情報端末としてスマートフォン（以下、スマホと呼ぶ。）を用いる場合を例にあげて説明する。

【0011】

図１は、本実施形態の情報処理システム５００の全体を、模式的に示す図である。本図に示すように、本実施形態の情報処理システム５００は、ユーザ５０１の頭部に装着された第一情報端末であるＨＭＤ１００と、ユーザ５０１が手に持つ第二情報端末であるスマホ２００と、を備える。

【0012】

ＨＭＤ１００は、現実に似せた仮想世界を作り出しあたかもそこにいるような感覚を体験できる仮想現実（ＶｉｒｔｕａｌＲｅａｌｉｔｙ：ＶＲ）技術や、現実世界にデジタル情報を付与しＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）などで作った仮想空間（仮想オブジェクト）を現実世界に反映し拡張していく拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）技術を具現化する情報端末であって、ユーザ５０１が頭部に装着して利用する。しかしながら、構造上の制約があって表示範囲が狭く、また、細かい操作がしにくい。

【0013】

スマホ２００は、単独での通話や通信の機能を備える。スマホ２００は、アイコンをわかりやすくディスプレイに表示し、タッチ操作性に好適なものである。なお、アイコンは、ユーザ５０１の指やタッチペンなどによる接近又は接触操作により、アプリの起動が可能な図形記号である。

【0014】

本実施形態では、ＨＭＤ１００と、スマホ２００とが連携し、ＨＭＤ１００にインストールされているアプリケーション（以下、アプリと呼ぶ）の起動指示を、スマホ２００側で行い、アプリはＨＭＤ１００で実行する。本実施形態では、この状態を連携状態と呼ぶ。なお、以下、ＨＭＤ１００とスマホ２００とを区別する必要がない場合は、情報端末と呼ぶ。

【0015】

第一実施形態は、ＨＭＤ１００とスマホ２００とが連携状態であるか否かを、ＨＭＤ１００側で判断する。連携状態であるか否かは、両者の配置状態で判断する。具体的には、図２（ａ）に示すように、ＨＭＤ１００のディスプレイ１３１（１３１ａ、１３１ｂ）の予め定めた連携視野１０１ａ内に、スマホ２００のディスプレイ２３１に表示されているアプリのアイコン４２０（４２１、４２２、４２３）が存在する場合、連携状態と判断する。

【0016】

なお、図２（ａ）では、連携視野１０１ａ内に入っているアプリケーションＡ（アプリＡ）のアイコン４２１が、選択されている様子である。以下、このように、起動を所望するアプリケーションのアイコン４２０が連携視野１０１ａ内であるＨＭＤ１００とスマホ２００との配置状態を、所定配置状態と呼ぶ。

【0017】

ＨＭＤ１００とスマホ２００とが、所定配置状態にある場合、連携状態と判断される。ユーザ５０１がＨＭＤ１００のディスプレイ１３１越しに、スマホ２００上に表示されるアイコン４２１をタッチする等の動作で選択すると（図２（ａ））、例えば、スマホ２００側で、選択されたアイコン４２１に対応するアプリの起動指示を行い、ＨＭＤ１００側でアプリを実行する（図２（ｂ））。図２（ｂ）には、ＨＭＤ１００において、アプリが実行され、当該アプリのアイコン４１１が表示される状態を示す。

【0018】

本実施形態では、連携状態で、ユーザ５０１がアプリＡのアイコン４２１にタッチするなど、スマホ２００側でユーザ５０１による選択を受け付けると、スマホ２００と、ＨＭＤ１００との間で、通信がなされ、ユーザ５０１によるタッチ情報がスマホ２００からＨＭＤ１００に送信される。

【0019】

ＨＭＤ１００では、アイコン４２１へのタッチ情報を受信すると、それを、起動指示とし、ＨＭＤ１００内のアプリＡを起動する。

【0020】

なお、図３（ａ）に示すように、ＨＭＤ１００の連携視野１０１ａ内に、スマホ２００のディスプレイ２３１に表示されるアイコン４２０が入っていない配置状態を、非所定配置状態と呼ぶ。

【0021】

非所定配置状態で、ユーザ５０１がアプリＡのアイコン４２１にタッチするなどの動作で、スマホ２００側でアプリＡの選択を受け付けると、そのままスマホ２００で、アプリＡを起動させる。

【0022】

このように、本実施形態では、ＨＭＤ１００を装着していても、スマホ２００上でアプリを実行させたい場合は、アイコン４２１を、連携視野１０１ａの範囲外にすればよい。

【0023】

なお、本実施形態では、ＨＭＤ１００と、スマホ２００とは、音楽・画像の再生や書類作成など特定の作業を行うために使用される同一のアプリ、または、対応するアプリを各々搭載する。また、ＨＭＤ１００とスマホ２００との間は、端末間の無線通信または有線通信により情報の送受信が行われる。

【0024】

［ハードウェア構成］
以下、上記処理を実現する本実施形態の情報処理システム５００を構成するＨＭＤ１００、スマホ２００それぞれについて、ハードウェア構成を説明する。

【0025】

図４および図５は、各々、ＨＭＤ１００およびスマホ２００の構成例を示すブロック図である。これらの図では、図１～図３に示した構成と同一のものには同一の符号を付す。

【0026】

図４は、本実施形態のＨＭＤ１００のハードウェア構成図である。本図に示すように、本実施形態のＨＭＤ１００は、メインプロセッサ１１１と、システムバス１１２と、記憶装置１１０と、操作受付装置１２０と、画像処理装置１３０と、音声処理装置１４０と、センサ１５０と、通信装置１６０と、拡張インタフェース（Ｉ／Ｆ）部１０５と、タイマ１０６と、振動発生装置１０７と、を備える。

【0027】

メインプロセッサ１１１は、所定のプログラムに従ってＨＭＤ１００全体を制御する主制御部である。メインプロセッサ１１１は、ＣＰＵ（ＣｅｎｔｏｒａｌＰｒｏｃｅｓｓｏｒＵｎｉｔ）またはマイクロプロセッサユニット（ＭＰＵ）で実現される。メインプロセッサ１１１は、記憶装置１１０に記憶されるオペレーティングシステム（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ：ＯＳ）や各種の動作制御用アプリケーションなどのプログラムを実行することによって、ＨＭＤ１００全体の動作制御処理を行う。また、メインプロセッサ１１１は、各種のアプリの起動動作を制御する。メインプロセッサ１１１は、タイマ１０６が計測し、出力するクロック信号に従って、処理を行う。

【0028】

システムバス１１２は、メインプロセッサ１１１とＨＭＤ１００内の各部との間でデータ送受信を行うためのデータ通信路である。

【0029】

記憶装置１１０は、ＲＡＭ１０３とＲＯＭ１０４とを備える。記憶装置１１０には、オペレーティングシステムや、音楽、画像、文書等の各種の動作制御用アプリなどのプログラムが記憶される。また、オペレーティングシステムなどによる基本動作に必要なベースデータや、各種アプリなどで起動されるファイルデータなどの情報データが格納される。例えば、ＨＭＤ１００に搭載されている音楽アプリが起動し音楽のファイルデータが選択されると、ＨＭＤ１００では選択された音楽のファイルデータが再生されて、所望の音楽を聴くことができる。

【0030】

ＲＡＭ１０３は、基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域である。また、ＲＡＭ１０３は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域である。ＲＡＭ１０３は、メインプロセッサ１１１と一体構成であっても良い。

【0031】

ＲＯＭ１０４は、ＨＭＤ１００の各動作設定値やＨＭＤ１００の使用者の情報等を記憶する。ＲＯＭ１０４は、ＨＭＤ１００で撮影した静止画像データや動画像データ等を記憶してもよい。また、ＨＭＤ１００は、アプリケーションサーバから、インターネットを介して、新規アプリケーションプログラムをダウンロードすることにより、機能拡張が可能であるものとする。この際、ダウンロードした新規アプリケーションプログラムは、ＲＯＭ１０４に記憶される。メインプロセッサ１１１が、ＲＯＭ１０４に記憶された新規アプリケーションプログラムをＲＡＭ１０３に展開し、実行することにより、ＨＭＤ１００は、多種の機能を実現できる。

【0032】

ＲＯＭ１０４は、ＨＭＤ１００に電源が供給されていない状態であっても記憶している情報を保持できるものであればよく、データを読み出すことは出来るが書き込むことは出来ないマスクＲＯＭに限定されない。ＲＯＭ１０４には、例えばフラッシュＲＯＭやＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、ＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等のデバイスが用いられる。

【0033】

操作受付装置１２０は、ＨＭＤ１００に対する操作指示の入力を受け付ける。本実施形態では、操作キー１２１と、タッチセンサ１２２と、を備える。操作キー１２１は、電源キー、音量キー、ホームキー等である。また、タッチセンサ１２２は、タッチパッドによる操作指示を受け付ける。なお、本実施形態のＨＭＤ１００は、必ずしも、これらの全ての操作受付装置１２０を備えなくてもよい。また、有線通信または無線通信により接続された別体の情報処理端末機器を介してＨＭＤ１００の操作を受け付けてもよい。

【0034】

操作受付装置１２０は、ＨＭＤ１００内でユーザが入力操作を行いやすい位置や形態に設ければよい。なお、ＨＭＤ１００の本体から分離し有線や無線で接続された形態でもよい。また、ユーザ５０１の視線を利用するものであってもよい。視線を利用するものは、例えば、ディスプレイ１３１内に入力操作画面を表示させ、インカメラ１３４で検出したユーザ５０１の視線が向いている入力操作画面上の位置により入力操作情報を取り込む。ポインタを入力操作画面上に表示させ、ポインタを操作して入力操作情報を取り込んでもよい。また、ユーザ５０１が入力操作を示す音声を発声し、後述するマイク１４３で集音して入力操作情報を取り込んでもよい。

【0035】

画像処理装置１３０は、イメージ（ビデオ）プロセッサであり、ディスプレイ１３１と、アウトカメラ１３３と、インカメラ１３４と、を備える。

【0036】

ディスプレイ１３１は、例えば液晶パネル等の表示デバイス（ディスプレイ）であり、画像信号処理部で処理された画像データをＨＭＤ１００の使用者に提示する。ディスプレイ１３１は、左目用ディスプレイ１３１ａと、右目用ディスプレイ１３１ｂと、を備える。ディスプレイ１３１は、光学透過型ディスプレイまたはビデオ透過型ディスプレイであってもよい。

【0037】

光学透過型ディスプレイは、起動アプリによる再生情報やユーザ５０１への通知情報など各種の情報を投影する投影部と投影された各種の情報を目の前で結像表示させる透明なハーフミラーを備える。また、ビデオ透過型ディスプレイは、アウトカメラ１３３で撮影された目の前の現実空間物体と各種の情報とを合わせて表示する液晶パネル等を備える。ディスプレイ１３１により、ユーザ５０１は、目の前の視界視野内の画像に加え、起動アプリによる音楽、画像、文書などの再生情報を合わせて視認する。

【0038】

本実施形態では、ディスプレイ１３１に、アプリの実行状態等が表示される。

【0039】

なお、画像信号処理部は、アウトカメラ１３３およびインカメラ１３４から入力された画像を処理する、イメージ（ビデオ）シグナルプロセッサである。また、画像信号処理部は、メインプロセッサ１１１等により作成したオブジェクトを入力画像に重畳してディスプレイ１３１に出力する。画像信号処理部は、メインプロセッサ１１１により実現されてもよいし、メインプロセッサ１１１とは別に、画像専用のプロセッサを備え、それにより実現されてもよい。

【0040】

アウトカメラ１３３は、ＨＭＤ１００の周囲の画像を取得する。アウトカメラ１３３は、ＨＭＤ１００の前面に設置され、前方の視界視野状態を撮影する。なお、ＨＭＤ１００には、ハーフミラー等を用いて必要な各種の情報を投影表示しながら目の前の現実空間物体を直視する光学透過型と、アウトカメラ１３３で撮影された目の前の現実空間物体と各種の情報とを合わせて液晶パネル等のディスプレイ１３１に映し出すビデオ透過型と、があるが、両者ともアウトカメラ１３３により撮影された、目の前の視野視界状態を撮影して取り込むものである。

【0041】

インカメラ１３４は、アウトカメラ１３３とは異なる領域の画像を取得する。例えば、ユーザの眼を撮影する。なお、本実施形態では、インカメラ１３４は、視線特定処理を行う処理部とともに、視線検出センサとして機能する。

【0042】

視線検出センサは、右目視線検出部と、左目視線検出部とを備え、それぞれ右目、左目の視線を検出する。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）を顔に照射し、赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する。この場合、赤外線カメラ、赤外線ＬＥＤを備える。

【0043】

音声処理装置１４０は、音声を処理するオーディオプロセッサである。スピーカ１４１と、マイク１４３と、を備える。

【0044】

スピーカ１４１は、音声信号処理部で処理した音声信号を外部に出力する。音声信号処理部は、オーディオシグナルプロセッサである。ＨＭＤ１００では、例えば、ヘッドフォン等が用いられる。

【0045】

マイク１４３はマ、ユーザの声などを音声データに変換して入力する。例えば、外周音マイクと、発声音マイクとを備えてもよい。これらのマイクは、各々、外部からの音声、ユーザ５０１自身の発声を集音する。なお、ヘッドフォンが接続されてもよい。ヘッドフォンは、ユーザ５０１の耳部に装着されユーザ５０１への音声を聞き取る。

【0046】

センサ１５０は、ＨＭＤ１００の状態を検出するためのセンサ群である。本実施形態では、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信部１５１と、ジャイロセンサ１５２と、地磁気センサ１５３と、加速度センサ１５４と、深度センサ１５５とを備える。これらのセンサ群により、ＨＭＤ１００の位置、動き、傾き、方角等を検出する。また、深度センサ１５５は、ＨＭＤ１００から対象物までの距離情報を取得する。なお、その他のセンサを、さらに、備えていても良い。

【0047】

加速度センサ１５４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。また、ジャイロセンサ１５２は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。ＨＭＤ１００に搭載されている加速度センサ１５４およびジャイロセンサ１５２を用いて、ＨＭＤ１００の動きを検出することができる。

【0048】

地磁気センサ１５３は、地球の磁力を検出するセンサであり、ＨＭＤ１００の向いている方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、ＨＭＤ１００の動きに対する地磁気変化を捉まえることにより、ＨＭＤ１００の動きを検出することも可能である。これらにより、ＨＭＤ１００越しにスマホ２００のディスプレイ２３１上のアイコン４２０が見える状態かを検出判別してもよい。

【0049】

深度センサ１５５は、人や物などの対象物の形状を立体として捉えることができるセンサである。赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し遠距離にある対象物までの距離やその対象物の状態を分析検出するＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）や、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行うＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）センサ、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対の象物の状態を検出するミリ波レーダーなどが用いられる。深度センサ１５５により、例えばスマホ２００までの距離を測定する。

【0050】

通信装置１６０は、近距離無線通信、無線ＬＡＮ或いは基地局通信により、近傍にあるスマホ２００や後述するＳＷ３００など、他の情報端末と無線通信を行う通信インタフェースである。無線通信に際しては送受信アンテナを介して、スマホ２００でのアイコンタッチ情報や起動するアプリを示すアプリ情報、また起動アプリで再生するファイルデータなどの送受信を行う。

【0051】

通信装置１６０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）通信インタフェース（Ｉ／Ｆ）１６１と、電話網通信Ｉ／Ｆ１６２と、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））通信Ｉ／Ｆ１６３と、を備える。ＬＡＮ通信Ｉ／Ｆ１６１は、インターネットの無線通信用アクセスポイントと無線通信により接続してデータの送受信を行う。電話網通信Ｉ／Ｆ１６２は、移動体電話通信網の基地局との無線通信により、電話通信（通話）およびデータの送受信を行う。ＢＴ通信Ｉ／Ｆ１６３は、Ｂｌｕｅｔｏｏｔｈ規格により外部装置と通信を行うためのインタフェースである。ＬＡＮ通信Ｉ／Ｆ１６１、電話網通信Ｉ／Ｆ１６２、ＢＴ通信Ｉ／Ｆ１６３は、それぞれ符号化回路や復号回路、アンテナ等を備える。通信装置１６０は、さらに、赤外線通信Ｉ／Ｆ等を備えていても良い。

【0052】

なお、近距離無線通信として、Ｂｌｕｅｔｏｏｔｈ（登録商標）だけでなく、ＩｒＤＡ（ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ、登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（ＨｏｍｅＲａｄｉｏＦｒｅｑｕｅｎｃｙ、登録商標）などを用いて行ってもよい。または、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮを用いて行なってもよい。また、基地局通信としては、Ｗ－ＣＤＭＡ（ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）やＧＳＭ（登録商標）（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）などの遠距離の無線通信を用いればよい。なお、超広帯域無線システム（ＵｌｔｒａＷｉｄｅＢａｎｄ：ＵＷＢ）を使用して情報端末間の位置関係や向きを検出してもよい。これにより、ＨＭＤ１００越しにスマホ２００の表示画面上のアイコン４２０が見えるような状態かを検出判別してもよい。

【0053】

なお、通信装置１６０は、無線通信の手段として光通信音波による通信等、他の方法を使用してもよい。その場合、送受信アンテナの代わりにそれぞれ光発光／受光部、音波出力／音波入力部を用いる。

【0054】

拡張インタフェース部１０５は、ＨＭＤ１００の機能を拡張するためのインタフェース群であり、本実施形態では、充電端子、映像／音声インタフェース、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）インタフェース、メモリインタフェース等を備える。映像／音声インタフェースは、外部映像／音声出力機器からの映像信号／音声信号の入力、外部映像／音声入力機器への映像信号／音声信号の出力、等を行う。ＵＳＢインタフェースはＳＢ機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。

【0055】

振動発生装置１０７は、メインプロセッサ１１１からの制御によって振動を発生させるバイブレータである。振動発生装置１０７は、ユーザ５０１への通知情報を振動に変換する。振動発生装置１０７は、ＨＭＤ１００を密接装着するユーザ５０１の頭部で振動を発生させることにより、通知を、ユーザ５０１に確実に伝えることができる。

【0056】

図５は、本実施形態のスマホ２００のハードウェア構成図である。本図に示すように、本実施形態のスマホ２００は、メインプロセッサ２０１と、システムバス２０２と、記憶装置２１０と、操作受付装置２２０と、画像処理装置２３０と、音声処理装置２４０と、センサ２５０と、通信装置２６０と、拡張インタフェース（Ｉ／Ｆ）部２０５と、タイマ２０６と、振動発生装置２０７と、を備える。

【0057】

各装置の詳細は、ＨＭＤ１００の同名のものと基本的に同様である。ただし、スマホ２００は、操作受付装置２２０として、さらに、タッチパネル２２３を備える。タッチパネル２２３は、ディスプレイ２３１に重ねて配置されるタッチパネル１２３、を備える。また、拡張インタフェース部２０５に接続したキーボード等を介して指示の入力を受け付けてもよい。

【0058】

ディスプレイ２３１は、液晶パネルなどにより構成され、バッテリ容量の残量、各種アラーム、時刻などユーザ５０１への通知情報を表示するとともに、ディスプレイ２３１内に起動するアプリのアイコンやアプリの実行状態等を表示する。操作受付装置２２０は、例えば静電容量式などのタッチパッド方式の入力手段であり、指やタッチペンなどによる接近又は接触操作（タッチ操作）を操作入力として検出するものである。ユーザ５０１が入力したい情報を設定入力したり、ディスプレイ２３１にあるアプリやファイルのアイコンをタッチ操作により容易に選択指定したりする。

【0059】

［機能ブロック］
次に、本実施形態のＨＭＤ１００およびスマホ２００それぞれの機能構成について説明する。図６（ａ）および図６（ｂ）は、それぞれ、本実施形態のＨＭＤ１００およびスマホ２００の、本実施形態に関係する機能の機能ブロック図である。

【0060】

図６（ａ）に示すように、ＨＭＤ１００は、主制御部１７０と、受付部１７１と、送受信部１７２と、連携判断部１７３と、アプリ実行部１７４と、出力部１７５と、アプリケーションプログラム記憶部１７６と、アイコンデータ記憶部１７７と、を備える。

【0061】

主制御部１７０は、ＨＭＤ１００の各部の動作を制御する。

【0062】

受付部１７１は、ユーザ５０１からの指示を受け付ける。本実施形態では、メインプロセッサ１１１が操作受付装置１２０を動作させることにより実現される。本実施形態では、例えば、アプリケーションの起動指示等を受け付ける。

【0063】

送受信部１７２は、外部装置とのデータの送受信を行う。本実施形態では、メインプロセッサ１１１が通信装置１６０を動作させることにより実現される。本実施形態では、送受信部１７２を介してスマホ２００とデータの送受信を行う。

【0064】

連携判断部１７３は、スマホ２００との連携処理を実現する。また、本実施形態では、スマホ２００が後述する連携動作モードで動作可能な状態である連携状態であるか否かを判断する。本実施形態では、図２（ａ）に示すように、ディスプレイ１３１に連携視野１０１ａを表示させるとともに、アウトカメラ１３３が撮影した撮影画像を解析し、その表示内容で、所定配置状態であるか否かを判断する。

【0065】

連携視野１０１ａは、ユーザ５０１がＨＭＤ１００の開口部分（レンズ部分）、またはディスプレイ１３１の表示領域を通して見ることができる視野範囲の一部の領域に設定される。なお、機器の構成、設定値の変更等によりユーザ５０１がＨＭＤ１００を通して見ることのできる視野範囲全てを連携視野１０１ａにしてもよい。

【0066】

連携判断部１７３は、図２（ａ）に示すように、撮影画像にスマホ２００のディスプレイ上の所定のアプリのアイコン４２０が写っている場合、所定配置状態にあると判断する。所定のアプリは、例えば、スマホ２００から、通知を受けたアプリである。後述するように、スマホ２００では、ユーザ５０１が所定のアイコン４２０を選択したことを受け付けた場合、当該アイコン４２０に対応付けられたアプリを特定する情報（アプリ特定情報）をＨＭＤ１００に送信する。ＨＭＤ１００では、このアプリ特定情報に基づき、受信したアプリ特定情報で特定されるアプリに対応付けられたアイコン４２０を特定する。

【0067】

連携判断部１７３は、所定配置状態である場合、スマホ２００から通知を受けたアプリのプログラムが、自身にインストールされているか否かを判断する。そして、インストールされていれば、連携状態であると判断する。すなわち、本実施形態の連携判断部１７３は、所定配置状態であり、かつ、ユーザ５０１が操作したアイコンに対応するアプリのプログラムが自装置にインストールされている場合、連携状態と判断する。

【0068】

連携判断部１７３は、連携状態と判断した場合、連携状態であることを示す情報、すなわち連携状態信号をスマホ２００に送信する。一方、連携状態と判断しなかった場合は、非連携状態であることを示す非連携状態信号をスマホ２００に送信する。なお、非連携状態信号は、送信しなくてもよい。

【0069】

ＨＭＤ１００は、自端末にインストールされているアプリケーションのアイコン４２０の形状データを予めアイコンデータとしてアイコンデータ記憶部１７７に記憶する。アイコンデータ記憶部１７７には、アプリ特定情報に対応づけて、アイコン４２０の形状情報が格納される。連携判断部１７３は、アイコンデータ記憶部１７７を参照し、受信したアプリ特定情報に対応付けられた形状データが格納されているか否かを判別する。格納されている場合、その形状データを抽出し、連携視野１０１ａに対応する領域内に当該形状データにマッチする画像領域があるか否かを判別する。

【0070】

連携判断部１７３は、アイコンデータ記憶部１７７に、受信したアプリ特定情報に対応付けられた形状データが格納されていない場合、非連携状態と判断する。また、形状データが格納されていたとしても、撮影画像の連携視野１０１ａに対応する領域に抽出した形状データにマッチする画像領域がない場合、非連携状態と判断する。一方、形状データが格納され、かつ、抽出した形状データにマッチする画像領域がある場合、連携状態と判断する。

【0071】

撮影画像内に、スマホ２００のディスプレイに対応する形状およびアイコン４２０の形状があるか否かの判断は、パターンマッチング等により行う。

【0072】

アプリ実行部１７４は、受付部１７１がアプリ起動指示を受け付けると、アプリを起動させて実行するアプリケーション実行部である。なお、実行するアプリのプログラムは、アプリケーションプログラム記憶部１７６に記憶される。

【0073】

出力部１７５は、実行されたアプリの実行結果を出力する。本実施形態では例えば、ディスプレイ１３１に表示したり、スピーカ１４１に音声出力したりする。

【0074】

アプリケーションプログラム記憶部１７６には、アプリケーションプログラムが記憶される。

【0075】

アイコンデータ記憶部１７７には、各アプリケーションプログラムの実行指示を受け付けるアイコン４２０の形状データがアイコンデータとして記憶される。アイコンデータは、アプリケーションに対応づけて記憶される。なお、形状データは物理的な形状(絵柄)、画像に限らず、テキストデータ等でもよい。連携判断部１７３は、アイコンの絵柄でアプリケーションを判断できない場合、付随するテキストデータで対応アプリを特定すればよい。

【0076】

上記各機能は、メインプロセッサ１１１が、ＲＯＭ１１４に記憶されたプログラムをＲＡＭ１１３にロードして実行することにより実現される。また、アプリケーションプログラム記憶部１７６およびアイコンデータ記憶部１７７は、記憶装置１１０に構築される。

【0077】

次に、本実施形態のスマホ２００の機能を説明する。図６（ｂ）は、スマホ２００の機能ブロックである。

【0078】

本図に示すように、本実施形態のスマホ２００は、主制御部２７０と、受付部２７１と、送受信部２７２と、連携制御部２７３と、アプリ実行部２７４と、出力部２７５と、アイコンデータ記憶部２７７と、アプリケーションプログラム記憶部２７６と、を備える。

【0079】

主制御部２７０は、スマホ２００の各部の動作を制御する。

【0080】

受付部２７１は、ユーザ５０１からの指示を受け付ける。本実施形態では、メインプロセッサ２１１が操作受付装置２２０を動作させることにより実現される。本実施形態では、例えば、アプリの起動指示等各種操作指示を受け付ける。

【0081】

送受信部２７２は、外部装置とのデータの送受信を行う。本実施形態では、メインプロセッサ２１１が通信装置２６０を動作させることにより実現される。本実施形態では、送受信部２７２を介してＨＭＤ１００とデータの送受信を行う。

【0082】

連携制御部２７３は、スマホ２００の動作モードを決定し、決定した動作モードでスマホ２００を動作させる。本実施形態では、動作モードとして、スマホ２００単独でアプリを実行する単独動作モードと、ＨＭＤ１００と連携してアプリを実行する連携動作モードとの２種を備える。

【0083】

連携動作モードは、連携状態の場合に実行される動作モードである。連携制御部２７３は、連携動作モード時に、アプリを実行する端末である実行デバイス（実行端末）を決定する。ただし、本実施形態では、連携動作モード時は、ＨＭＤ１００を実行デバイスと決定する。

【0084】

すなわち、連携動作モードでは、スマホ２００は、ユーザ５０１からアイコン４２０のタッチ等により、アプリの起動の指示を受け付けると、当該起動指示を、連携中のＨＭＤ１００に送信する。本実施形態では、自装置では、アプリは実行しない。

【0085】

連携制御部２７３は、本実施形態では、ＨＭＤ１００から連携状態信号を受信した場合、連携状態と判断し、連携動作モードで動作させる。一方、非連携状態信号を受信した場合、単独動作モードで動作させる。

【0086】

単独動作モードは、ユーザ５０１からアプリの起動の指示を受け付けると、自装置でそのアプリを起動させ、実行する動作モードである。

【0087】

アプリ実行部２７４は、スマホ２００上でアプリを実行する第二アプリケーション実行部である。本実施形態では、受付部１７１がアプリの起動指示を受け付け、かつ、連携制御部２７３が、単独動作モードと判別した場合、実行する。実行するアプリのプログラムは、アプリケーションプログラム記憶部２７６に記憶される。

【0088】

出力部２７５は、アプリ実行部２７４が実行したアプリの実行結果を出力する。本実施形態では、実行結果は、例えば、ディスプレイ２３１、スピーカ２４１に出力される。

【0089】

アプリケーションプログラム記憶部２７６には、アプリケーションプログラムが記憶される。アイコンデータ記憶部２７７には、各アプリケーションプログラムの実行指示を受け付けるアイコンが記憶される。アイコンは、アプリケーションに対応づけて記憶される。

【0090】

上記各機能は、メインプロセッサ２１１が、ＲＯＭ２１４に記憶されたプログラムをＲＡＭ２１３にロードして実行することにより実現される。また、アプリケーションプログラム記憶部２７６およびアイコンデータ記憶部２７７は、記憶装置２１０に構築される。

【0091】

［処理フロー］
次に、本実施形態の情報処理システム５００のアプリ連携処理の流れを説明する。本実施形態では、ＨＭＤ１００とスマホ２００とが連携し、ＨＭＤ１００のアプリを起動させる。図７は、アプリ連携処理の流れを説明する図である。

【0092】

本処理は、ＨＭＤ１００とスマホ２００とが、例えば、近距離通信が可能な状態になったことを契機に開始される。以下、処理フローの記載では、ＨＭＤ１００の主制御部１７０およびスマホ２００の主制御部２７０を、それぞれ、ＨＭＤ１００およびスマホ２００と記載する。

【0093】

スマホ２００とＨＭＤ１００とは、まず互いに通信を確立する（Ｓ１１０１、Ｓ１２０１）。本実施形態では、それぞれの送受信部１７２、２７２に例えば、ＢＴ通信Ｉ／Ｆ１６３、２６３を介してデータの送受信を行わせることにより、通信を確立する。

【0094】

スマホ２００は、ディスプレイ２３１にスマホ２００で起動可能なアプリのアイコン４２０を表示させる。スマホ２００は、ユーザ５０１の選択指示を受け付ける（ステップＳ１２０２）。スマホ２００の受付部２７１は、ディスプレイ２３１に表示される、選択されたアプリに対応付けられたアイコン４２０に対するタッチ操作を、タッチパネル２２３を介して検出する。ここでは、例えば、アプリＡが選択されたものとする。

【0095】

スマホ２００の送受信部２７２は、ＢＴ通信Ｉ／Ｆ２６３を介して、ＨＭＤ１００にアプリＡが選択されたこと（選択情報）を通知する（ステップＳ１２０３）。選択情報には、選択されたアプリケーション（ここでは、アプリＡ）を特定するアプリ特定情報が含まれる。

【0096】

ＨＭＤ１００の連携判断部１７３は、送受信部１７２を介して、スマホ２００からアプリＡの選択情報を受領すると（ステップＳ１１０２）、自端末（ＨＭＤ１００）と送信元の端末（スマホ２００）とが連携状態であるか否かを判断する（ステップＳ１１０３）。ここでは、アプリＡのプログラムが自装置内にインストールされているか否かと、両端末の配置状態が所定配置状態であるか否かと、について判別する。判別はいずれを先に行ってもよい。そして、選択されたアプリＡのプログラムがインストールされ、かつ、所定配置状態である場合、連携状態と判断する。一方、それ以外の場合、非連携状態と判断する。

【0097】

ＨＭＤ１００は、連携状態であるか、非連携状態であるかの判断結果、すなわち連携信号および非連携信号のいずれかを、スマホ２００に返信する（ステップＳ１１０４）。

【0098】

スマホ２００の連携制御部２７３は、送受信部２７２を介して判断結果を受信すると（ステップＳ１２０４）、判断結果に応じて実行デバイスを決定する（ステップＳ１２０５）。ここでは、連携状態との判断結果であれば、実行デバイスは、ＨＭＤ１００と、非連携状態との判断結果であれば、実行デバイスは、スマホ２００と決定する。

【0099】

スマホ２００の連携制御部２７３は、送受信部２７２を介してＨＭＤ１００に決定結果を通知する（ステップＳ１２０６）。また、ＨＭＤ１００は、決定結果を受信する（ステップＳ１１０５）。

【0100】

その後、決定結果に応じてスマホ２００およびＨＭＤ１００は、それぞれ、アプリＡを実行する。

【0101】

スマホ２００のアプリ実行部２７４は、実行デバイスがスマホ２００と決定された場合（ステップＳ１２０７）、スマホ２００内のアプリＡを起動させ（ステップＳ１２０８）、アプリＡが終了するまで、アプリＡを実行し（ステップＳ１２０９、Ｓ１２１０）、処理を終了する。例えば、アプリＡが音楽等の再生アプリであれば、再生情報を最後まで再生した場合、終了する。また、受付部２７１を介して終了指示を受け付けた場合、処理を終了させてもよい。

【0102】

一方、実行デバイスがスマホ２００と決定されなかった場合は、そのまま処理を終了する。

【0103】

同様に、ＨＭＤ１００のアプリ実行部１７４は、実行デバイスがＨＭＤ１００と決定された場合（ステップＳ１１０６）、ＨＭＤ１００内のアプリＡを起動させ（ステップＳ１１０７）、アプリＡが終了するまで、アプリＡを実行し（ステップＳ１１０８、Ｓ１１０９）、処理を終了する。なお、アプリＡの終了指示等は、通常はＨＭＤ１００側で行う。

【0104】

一方、実行デバイスがＨＭＤ１００と決定されなかった場合は、そのまま処理を終了する。

【0105】

ＨＭＤ１００でアプリＡを実行する場合、例えば、アプリＡが、音楽、画像、文書等を再生するアプリであれば、ＨＭＤ１００で、アプリＡを起動させて実行し、ディスプレイ１３１、スピーカ１４１等を使用して、音楽、画像、文書などの再生情報を再生する。操作受付装置１２０を介して再生終了を指示する操作があった場合は、処理を終了する。また、再生情報を最後まで再生した場合に処理を終了するようにしてもよい。

【0106】

なお、ＨＭＤ１００でアプリＡを実行する場合、アプリＡ終了の指示は、スマホ２００で受け付け、ＨＭＤ１００に送信されてもよい。例えば、スマホ２００側では、選択されたアイコン４２０を表示し続ける。そして、スマホ２００は、Ｓ１２０６の決定結果の通知後、当該アイコン４２０にタッチ操作があった場合、終了の指示を受け付けたものと判断し、ＨＭＤ１００に終了指示を送信する。

【0107】

以上説明したように、本実施形態の情報処理システム５００は、複数の端末間で連携して、各端末が共通に備えるアプリを実行する情報処理システム５００である。そして、複数の端末として第一情報端末（ＨＭＤ１００）と第二情報端末（スマホ２００）とを備える。スマホ２００は、アプリの起動指示を受け付ける受付部２７１と、単独動作モードおよび連携動作モードのいずれかでスマホ２００を動作させる連携制御部２７３と、を備える。また、ＨＭＤ１００は、スマホ２００が連携動作モードで動作可能な状態である連携状態か否かを判断する連携判断部１７３と、連携動作モード時に実行されたアプリの実行結果を出力する出力部１７５を備える。なお、単独動作モードは、アプリをスマホ２００で単独に実行する動作モードである。連携動作モードは、アプリをＨＭＤ１００とスマホ２００とで連携して実行する動作モードである。そして、スマホ２００の連携制御部２７３は、ＨＭＤ１００の連携判断部１７３が連携状態と判断した場合、連携動作モードで動作させる。

【0108】

スマホ２００が連携動作モードで動作可能な状態である連携状態は、ＨＭＤ１００と、スマホ２００との配置によって定まる。すなわち、スマホ２００の受付部２７１は、スマホ２００が備えるディスプレイ２３１（第二ディスプレイ）に起動指示を受け付けるアイコン４２０を表示し、当該アイコン４２０を介して起動指示を受け付ける。ＨＭＤ１００の連携判断部１７３は、ＨＭＤ１００のディスプレイ１３１の予め定めた連携視野１０１ａ内に、ディスプレイ２３１に表示されたアイコン４２０が含まれる場合、連携状態であると判断する。

【0109】

このように、本実施形態では、ＨＭＤ１００、スマホ２００で例示される第一情報端末、第二情報端末で同じアプリまたは対応するアプリが搭載されて起動可能な場合に、スマホ２００に例示される操作性の良い第二情報端末のディスプレイ２３１に表示されたアプリのアイコン４２０がタッチ操作されたとき、第一情報端末と第二情報端末との配置状態に応じて、アプリを起動する情報端末が自動的に決定する。

【0110】

具体的には、ＨＭＤ１００内のアプリの起動に際し、ＨＭＤ１００越しにスマホ２００のアイコンを見るというユーザ５０１にとってわかりやすい配置状態にすることにより、連携状態が形成される。連携状態においては、操作性のよいスマホ２００で行う容易なアイコンタッチ操作により、ＨＭＤ１００で所望のアプリを起動することができる。すなわち、ＨＭＤ１００で起動したいアプリを、一覧性が高く、操作が容易なスマホ２００の画面で選ぶことができる。したがって、本実施形態によれば、ＨＭＤ１００の操作性、使い勝手を、大幅に向上することができる。

【0111】

また、本実施形態によれば、ＨＭＤ１００でのアプリの起動に際し、操作性のよいスマホ２００を用いる。ＨＭＤ１００の視野越しにスマホ２００のアプリ・アイコンが見えるような所定配置状態に持っていき、この状態でスマホ２００のアプリ・アイコンをタッチするだけで、通信を介して、ＨＭＤ１００で同一アプリまたは対応するアプリを起動させることができる。

【0112】

これにより、ＨＭＤ１００から所望のアプリのアイコンに対するタッチ操作を行うスマホ２００が見えるため、ユーザ５０１は、タッチ操作を視認できるため、確実に、アプリの起動を行うことができる。

【0113】

例えば、連携視野１０１ａを、ディスプレイ１３１の表示範囲の中央部に設定すれば、さらに、ユーザ５０１にとって確実性および利便性が高い。

【0114】

一方、本実施形態によれば、ＨＭＤ１００の視野越しにスマホ２００のアプリ・アイコンが見えない所定配置状態外にすれば、ＨＭＤ１００を装着していても、スマホ２００自身に搭載しているアプリがそのまま立ち上がる。例えば、ユーザ５０１の視野内に入っているが所定配置状態と判断されない部分（連携視野１０１ａ外の部分）でアイコン４２０を視認してタッチすることで、ＨＭＤ１００を掛けたままでもスマホ２００側でアプリを起動することが出来る。さらに、ＨＭＤ１００を装着していない状態や装着していても電源がＯＦＦの状態など、ＨＭＤ１００とスマホ２００とが連携していない状態においても、スマホ２００でそのままアプリを立ち上げることができる。このように、本実施形態によれば、ユーザ５０１は、所望のアプリを起動させる端末を、容易に定めることができる。

【0115】

本実施形態によれば、スマホ２００とＨＭＤ１００との配置状態を変更するだけで、スマホ２００とＨＭＤ１００とを連携させてスマホ２００をＨＭＤ１００の操作装置として用いる連携動作モードで実行するか、スマホ２００を単独で用いる単独動作モードで実行するかを定めることができる。したがって、ユーザ５０１の負担が少なく、柔軟性が高く、かつ、操作性の良い情報処理システム５００を提供できる。

【0116】

なお、第二情報端末としては、スマホ２００以外に、アプリやファイルのアイコンを表示できてアイコンを選択できる情報端末であれば、例えば、タブレット、スマートウォッチ、ＰＣ等でもよい。

【0117】

なお、以上の説明では実行されるアプリとして音楽アプリや動画アプリを例にとり説明を行ったが、これらに限定されない。

【0118】

＜＜第二実施形態＞＞
次に、本発明の第二実施形態を説明する。第一実施形態では、ＨＭＤ１００側でＨＭＤ１００とスマホ２００とが連携状態にあるか否かを判断し、スマホ２００側で実行デバイスを決定している。本実施形態では、実行デバイスの決定までＨＭＤ１００側で行う。

【0119】

以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。

【0120】

ＨＭＤ１００およびスマホ２００のハードウェア構成は、第一実施形態と同じである。また、機能構成についても、同様である。ただし、連携判断部１７３および連携制御部２７３の処理が異なる。

【0121】

本実施形態のＨＭＤ１００の連携判断部１７３は、第一実施形態のように、ＨＭＤ１００とスマホ２００とが連携状態であるか非連携状態であるかを判断する。本実施形態では、その後、アプリＡの実行デバイスを決定する。

【0122】

具体的には、連携判断部１７３は、連携状態であると判断した場合、実行デバイスをＨＭＤ１００と決定し、非連携状態であると判断した場合、実行デバイスをスマホ２００と決定する。

【0123】

連携判断部１７３は、実行デバイスをＨＭＤ１００と決定した場合、スマホ２００に対し、連携動作モードで実行することを意味する信号（動作モード指示信号）を送信する。一方、実行デバイスをスマホ２００と決定した場合、スマホ２００に対し、単独動作モードで実行することを意味する動作モード指示信号を送信する。

【0124】

また、本実施形態のスマホ２００の連携制御部２７３は、第一実施形態同様、スマホ２００を決定した動作モードで動作させる。ただし、本実施形態では、第一実施形態のように、動作モードの決定は行わない。ＨＭＤ１００から送信される動作モード指示信号で特定される動作モードで動作させる。

【0125】

［処理フロー］
以下、本実施形態の情報処理システム５００のアプリ連携処理の流れを、図８に従って説明する。第一実施形態のアプリ連携処理と同じ処理については、同じ符号を付し、再度の説明は省略する。

【0126】

本実施形態のＨＭＤ１００の連携判断部１７３は、第一実施形態同様、ＨＭＤ１００とスマホ２００とが連携状態であるか否かを判断する（ステップＳ１１０３）。その後、連携判断部１７３がアプリＡの実行デバイスを決定する（ステップＳ２１０１）。ここでは、連携状態と判断した場合、実行デバイスをＨＭＤ１００と決定し、非連携状態と判断した場合、実行デバイスをスマホ２００と決定する。

【0127】

そして、連携判断部１７３は、決定結果を判断結果とともに、スマホ２００に送信する（ステップＳ２１０２）。すなわち、動作モード決定信号をスマホ２００に送信する。その後は、決定結果に応じて、ステップＳ１１０６の処理を実行する。

【0128】

スマホ２００側の連携制御部２７３は、決定結果を受信すると（ステップＳ２２０１）、動作モードに従って、ステップＳ１２０７以降の処理を実行する。

【0129】

以上説明したように、本実施形態の情報処理システム５００では、ＨＭＤ１００の連携判断部１７３は、連携状態と判断した場合、スマホ２００に対し、連携動作モードで動作するよう指示を行う。

【0130】

このように、本実施形態の情報処理システム５００によれば、第一実施形態と同様に、ユーザ５０１の負担を増加させることなく、ＨＭＤ１００とスマホ２００との連携をスムーズに行うことができる、使い勝手のよいシステムを提供できる。

【0131】

＜＜第三実施形態＞＞
次に、本発明の第三実施形態を説明する。本実施形態では、連携状態であるか否か、および、実行デバイスをスマホ２００側で決定する。

【0132】

以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。

【0133】

【0134】

本実施形態のＨＭＤ１００の連携判断部１７３は、スマホ２００からアプリＡを選択したことを意味するアプリＡ選択情報を受信すると、自装置にアプリＡがインストールされているか否かを判別し、判別結果をスマホ２００に送信する。

【0135】

また、本実施形態のスマホ２００の連携制御部２７３は、アプリＡがインストールされているか否かの判別結果をＨＭＤ１００から受信すると、当該ＨＭＤ１００と自装置とが連携状態であるか否かを判断し、実行デバイスを決定する。

【0136】

連携制御部２７３は、まず、ＨＭＤ１００とスマホ２００とが、所定配置状態であるか否かを判別する。例えば、図９に示すように、スマホ２００のインカメラ２３４の撮影範囲２０１ａ内に、ＨＭＤ１００が存在する場合、所定配置状態と判断する。スマホ２００側では、ＨＭＤ１００の形状を予めパターンとして保持しておき、インカメラ２３４で撮影した画像を解析し、撮影範囲２０１ａに相当する画像内に当該パターンが存在する場合、所定配置状態と判断する。なお、ＨＭＤ１００の形状データは、通信時にＨＭＤ１００側からスマホ２００に送信して使用してもよい。

【0137】

連携制御部２７３は、ＨＭＤ１００とスマホ２００とが所定配置状態であると判別した場合、次に、ＨＭＤ１００からのアプリＡのインストールの判別結果を参照する。そして、インストールされているとの結果を受信している場合は、連携状態と判断する。一方、所定配置状態に無い場合、または、所定配置状態であっても、アプリＡがＨＭＤ１００にインストールされていない場合は、非連携状態と判断する。

【0138】

そして、連携制御部２７３は、実行デバイスを決定し、配置状態の判断結果とともに、ＨＭＤ１００に決定結果を送信する。連携制御部２７３は、例えば、連携状態と判断した場合は、実行デバイスをＨＭＤ１００と決定し、非連携状態と判断した場合は、実行デバイスをスマホ２００と決定する。

【0139】

［処理フロー］
以下、本実施形態の情報処理システム５００のアプリ連携処理の流れを、図１０に従って説明する。第一実施形態のアプリ連携処理と同じ処理については、同じ符号を付し、再度の説明は省略する。

【0140】

本実施形態のＨＭＤ１００の連携判断部１７３は、スマホ２００からアプリＡを選択したことを意味するアプリＡ選択情報を受信すると（ステップＳ１１０２）、自装置にアプリＡがインストールされているか否かを判別し、判別結果をスマホ２００に送信する（ステップＳ３１０１）。

【0141】

スマホ２００の連携制御部２７３は、ＨＭＤ１００から判別結果を受信すると（ステップＳ３２０１）、連携状態の判断を行う（ステップＳ３２０２）。ここでは、上述のように、両装置が所定配置状態にあるか否かの判別結果と、ＨＭＤ１００から受信した判別結果とに応じて判断する（ステップＳ３２０２）。

【0142】

そして、連携制御部２７３は、連携状態の判断結果に応じて、実行デバイスを決定し（ステップＳ３２０３）、連携状態の判断結果ととともに、決定結果をＨＭＤ１００に送信する。

【0143】

その後は、決定結果に応じて、ステップＳ１２０７以降の処理を実行する。

【0144】

また、ＨＭＤ１００側では、スマホ２００から、判断結果と決定結果とを受信する（ステップＳ３１０２）と、決定結果に応じて、ステップＳ１１０６以降の処理を実行する。

【0145】

以上説明したように、本実施形態の情報処理システム５００では、スマホ２００の連携制御部２７３は、スマホ２００が連携動作モードで動作可能な状態である連携状態か否か判断する。そして、連携状態と判断した場合、スマホ２００を連携動作モードで動作させる。

【0146】

このように、本実施形態の情報処理システムによれば、第一実施形態と同様に、ユーザ５０１の負担を増加させることなく、ＨＭＤ１００とスマホ２００との連携をスムーズに行うことができる、使い勝手のよい情報処理システムを提供できる。

【0147】

＜＜第四実施形態＞＞
次に、本発明の第四実施形態を説明する。本実施形態では、選択されたアプリＡの実行デバイスがＨＭＤ１００と判断された場合であっても、スマホ２００側でもアプリＡを実行し、ユーザ５０１からの、アプリＡに対する操作を受け付け可能な状態にする。

【0148】

以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。

【0149】

【0150】

スマホ２００側の連携制御部２７３は、連携状態にあると判断された場合、実行デバイスがＨＭＤ１００と決定された場合であっても、スマホ２００側でもアプリＡを、ＨＭＤ１００と同期させて実行させる。

【0151】

例えば、図１１（ａ）に示すように、アプリＡのアイコン４２１が選択された場合、連携制御部２７３は、起動指示をＨＭＤ１００に送信するとともに、スマホ２００側でも、アプリＡを実行させる。そして、図１１（ｂ）に示すように、スマホ２００のディスプレイ２３１にも、アプリＡの実行中の操作画面を表示させる。ここでは、一例としてアプリＡが音楽再生アプリである場合を示す。

【0152】

本実施形態の連携制御部２７３は、実行デバイスがＨＭＤ１００と決定されている状態で、スマホ２００のディスプレイ２３１を介して、一時停止、スキップ、バック、停止等のアプリＡに対する操作を受け付けると、受け付けた操作を意味する信号（操作信号）を、ＨＭＤ１００に送信する。

【0153】

ＨＭＤ１００の連携判断部１７３は、アプリＡを実行中に、送受信部１７２を介してスマホ２００から操作信号を受信すると、当該操作信号に従って、アプリＡの動作を制御する。

【0154】

［処理フロー］
以下、本実施形態の情報処理システム５００のアプリ連携処理の流れを、図１２に従って説明する。第一実施形態のアプリ連携処理と同じ処理については、同じ符号を付し、再度の説明は省略する。

【0155】

また、本実施形態では、ＨＭＤ１００と、スマホ２００とが連携状態にあるか否かを判断し、それに応じて実行デバイスを決定する処理については、第一～第三のいずれの実施形態の手法を用いてもよい。ここでは、本処理を、実行デバイス決定処理と呼ぶ。

【0156】

スマホ２００の連携制御部２７３は、ステップＳ４４００において、実行デバイス決定処理がなされ、実行デバイスが決定されると、アプリＡを起動するようアプリ実行部２７４に指示を行う。これを受け、アプリ実行部２７４は、アプリＡを起動する（ステップＳ４２０１）。

【0157】

そして、実行デバイスがスマホであるか否かにより（ステップＳ１２０７）、処理を行う。すなわち、実行デバイスがスマホ２００と決定された場合は、第一～第三実施形態同様、ステップＳ１２０９以降の処理を行う。

【0158】

一方、実行デバイスがＨＭＤ１００と決定された場合、スマホ２００側でも、アプリ実行部２７４はアプリＡを、ＨＭＤ１００と同期させて実行する（ステップＳ４２０２）。そして、受付部２７１がディスプレイ２３１等を介してアプリＡに対する操作を受け付けると（ステップＳ４２０３）、当該操作に応じた操作信号を送受信部２７２がＨＭＤ１００に送信する。これを、アプリＡの終了まで継続する。図１２では、一例として、アプリＡの終了操作を受け付けた場合を例示する。

【0159】

また、ＨＭＤ１００側では、アプリＡの実行中であっても、送受信部１７２を介してスマホ２００から操作信号を受信すると、アプリ実行部１７４は、アプリＡへの操作信号として処理を行う。例えば、図１２に示すように終了を指示する操作信号を受信すると（ステップＳ４１０１）、アプリＡを終了し（ステップＳ４１０２）、処理を終了する。

【0160】

以上説明したように、本実施形態の情報処理システム５００では、連携動作モードであっても、スマホ２００側でも同期してアプリを実行する。このため、ＨＭＤ１００でアプリ動作中、いつでも、スマホ２００において、アプリに対する操作を受け付けることができる。

【0161】

すなわち、本実施形態によれば、スマホ２００とＨＭＤ１００とが所定配置状態である場合に、スマホ２００のアプリＡのアイコンをタッチすると、ＨＭＤ１００でアプリＡが実行される。このとき、スマホ２００ではアプリＡの操作画面に遷移し、ＨＭＤ１００で実行されているアプリＡの操作を受け付ける。例えば、スマホ２００上で、表示されている操作画面の一時停止ボタンをタッチすると、ＨＭＤ１００で実行しているアプリＡの再生が一時停止する。

【0162】

このように、本実施形態の情報処理システムによれば、第一実施形態と同様に、ユーザ５０１の負担を増加させることなく、ＨＭＤ１００とスマホ２００との連携をスムーズに行うことができる、使い勝手のよい情報処理システムを提供できる。さらに、本実施形態によれば、ＨＭＤ１００でアプリを実行中であっても、当該アプリに対する操作をスマホ２００でできるため、さらに使い勝手がよく、利便性が向上する。

【0163】

なお、スマホ２００側では、アプリ全体を動作させる必要はない。例えば、スマホ２００側では、Ｉ／Ｆ部分のみ動作させて、受け付けた操作に対する操作信号をＨＭＤ１００へ送信し、その後の処理はＨＭＤ１００側で行うよう構成してもよい。例えば、スマホ２００側で、操作ボタンを表示し、当該操作ボタンを介して操作の入力を受け付け、操作信号をＨＭＤ１００に送信する。そして、ＨＭＤ１００のアプリが、操作信号に従って再生を行う。これにより、スマホ２００の資源を無駄にせず、スマホ２００の使いやすい画面でＨＭＤ１００のアプリを操作することができる。

【0164】

＜＜第五実施形態＞＞
次に、本発明の第五実施形態を説明する。本実施形態では、連携状態時にＨＭＤ１００が実行デバイスと決定された場合、スマホ２００は、アプリＡの実行に必要なデータをＨＭＤ１００においてアプリＡを起動する前にＨＭＤ１００に送信する。本実施形態は、例えば、アプリＡがファイル再生等のアプリである場合の実施形態である。

【0165】

以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。

【0166】

【0167】

本実施形態のスマホ２００の連携制御部２７３は、連携状態において実行デバイスがＨＭＤ１００と決定された場合、すなわち、連携動作モード時、選択されたアプリＡの実行に必要なデータを、ＨＭＤ１００に送信する。

【0168】

ＨＭＤ１００の連携判断部１７３は、スマホ２００から送信されたデータを受信後、ＨＭＤ１００においてアプリＡを起動させて実行させる。

【0169】

［処理フロー］
以下、本実施形態の情報処理システム５００のアプリ連携処理の流れを、図１３に従って説明する。第一実施形態のアプリ連携処理と同じ処理については、同じ符号を付し、再度の説明は省略する。

【0170】

【0171】

スマホ２００の連携制御部２７３は、ステップＳ４４００において、実行デバイス決定処理がなされ、実行デバイスが決定されると、それに従って、スマホ２００の動作を制御する。

【0172】

すなわち、実行デバイスがＨＭＤ１００と決定された場合、連携制御部２７３は、送受信部２７２にアプリＡの処理に必要なデータを、ＨＭＤ１００に転送させ（ステップＳ５２０１）、処理を終了する。一方、実行デバイスがスマホ２００と決定された場合は、ステップＳ１２０８以降の処理を実行する。

【0173】

また、ＨＭＤ１００側では、実行デバイスがＨＭＤ１００と決定された場合、スマホ２００からデータを受信すると（ステップＳ５１０１）、連携判断部１７３は、アプリ実行部１７４にアプリＡを起動させ（ステップＳ１１０７）、ステップＳ１１０８以降の処理を実行する。

【0174】

以上説明したように、本実施形態の情報処理システム５００において、スマホ２００の連携制御部２７３は、連携動作モードで動作させる場合、アプリの実行に必要なデータをＨＭＤ１００に送信し、ＨＭＤ１００では、スマホ２００から受信したデータを用いてアプリを実行する。

【0175】

【0176】

また、本実施形態では、アプリの実行に必要なデータは、スマホ２００に保存され、メモリ等のストレージ容量の軽減が望ましいＨＭＤ１００には常時保存する必要がない。したがって、ＨＭＤ１００では、記憶容量を抑えつつ、アプリを実行できる。

【0177】

また、例えば、アプリが音楽、画像文書等の再生アプリの場合、スマホ２００に保存されたデータを、ＨＭＤ１００搭載の再生アプリを用いてＨＭＤ１００で再生できる。すなわち、より身近な装置でこれらのデータを再生することができ、より利便性が高い。

【0178】

なお、本実施形態では、実行するアプリを先に特定し、そのファイルデータを転送する場合を例にあげて説明したが、これに限定されない。実行するアプリは限定せず、ファイルデータのみを転送してもよい。この場合、ＨＭＤ１００側では、受信したファイルデータを確認し、当該ファイルデータを処理するアプリを起動させる。

【0179】

また、スマホ２００とＨＭＤ１００とに同じファイルが格納されている場合は、ファイルのデータ転送は行わずファイルの指定情報のみを送信し、ＨＭＤ１００内のファイルをＨＭＤ１００で再生するよう構成してもよい。これにより、データ転送に伴う再生の遅れの防止、電源消費の低減を図ることが出来る。

【0180】

＜＜第六実施形態＞＞
次に、本発明の第六実施形態を説明する。本実施形態では、連携状態時であっても、アプリはスマホ２００側で実行し、実行結果のみＨＭＤ１００に送信する。

【0181】

以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。

【0182】

【0183】

スマホ２００の連携制御部２７３は、連携状態において、実行デバイスがＨＭＤ１００と決定された場合であっても、スマホ２００側でアプリＡを実行する。ただし、ＨＭＤ１００が実行デバイスである場合、実行結果を自装置に出力するのではなく、ＨＭＤ１００に送信する。

【0184】

ＨＭＤ１００の連携判断部１７３は、出力デバイスがＨＭＤ１００と決定された場合、送受信部１７２を介して受信する、アプリＡの実行結果（出力情報）を、出力部１７５に出力させるよう制御する。なお、実行結果の出力に、アプリＡ特有の画面、処理等が必要な場合は、ＨＭＤ１００でもアプリＡを起動して処理を行う。

【0185】

［処理フロー］
以下、本実施形態の情報処理システム５００のアプリ連携処理の流れを、図１４に従って説明する。第一実施形態のアプリ連携処理と同じ処理については、同じ符号を付し、再度の説明は省略する。

【0186】

また、本実施形態では、ＨＭＤ１００と、スマホ２００とが連携状態にあるか否かを判断し、それに応じて、アプリＡの出力先である出力デバイスを決定する。この出力デバイス決定処理は、第一～第三のいずれかの実施形態の、実行デバイスを決定する処理である実行デバイス決定処理と同じ処理で、実行デバイスの代わりに出力デバイスを決定する。

【0187】

スマホ２００の連携制御部２７３は、ステップＳ６４００において、出力デバイス決定処理がなされ、出力デバイスが決定されると、アプリＡを起動するようアプリ実行部２７４に指示を行う。これを受け、アプリ実行部２７４は、アプリＡを起動する（ステップＳ１２０８）。そして、連携制御部２７３は、アプリ実行部２７４に、アプリＡを実行させる（ステップＳ１２０９）。

【0188】

そして、出力する際、出力デバイス決定処理において決定した出力デバイスがスマホ２００であるかＨＭＤ１００であるかを判断する（ステップＳ６２０１）。そして、出力デバイスがスマホ２００である場合、連携制御部２７３は、出力部２７５に、そのまま自装置のディスプレイ２３１、スピーカ２４１等に出力させる（ステップＳ６２０２）。このステップＳ１２０９～Ｓ６２０２の処理を、アプリＡが終了するまで継続し、処理を終了する。

【0189】

一方、出力デバイスがＨＭＤ１００と判断された場合、出力する際、連携制御部２７３は、送受信部２７２に、出力する情報である出力情報を、ＨＭＤ１００に送信させる（ステップＳ６２０３）。

【0190】

ＨＭＤ１００側では、出力デバイスがスマホ２００と決定された場合は、そのまま処理を終了し（ステップＳ６１０１）、ＨＭＤ１００と決定された場合は、連携判断部１７３は、送受信部１７２に、出力情報を受信するよう指示する出力情報受入準備を行う（ステップＳ６１０２）。

【0191】

そして、スマホ２００から出力情報を受信すると（ステップＳ６１０３）、連携判断部１７３は、出力部１７５に、受信した出力情報を出力させる（ステップＳ６１０４）。連携判断部１７３は、Ｓ６１０３とＳ６１０４との処理を、出力情報の受信が終了するまで実行し（ステップＳ６１０５）、処理を終了する。なお、出力が終了したか否かについては、例えば、出力情報終了信号を受信する、出力情報が受信できなくなってから指定時間経過する、スマホとの通信が途切れる、などにより判別してもよい。

【0192】

以上説明したように、本実施形態の情報処理システム５００では、スマホ２００の連携制御部２７３は、スマホ２００を連携動作モードで動作させる場合、選択されたアプリを実行し、実行結果をＨＭＤ１００に送信する。

【0193】

【0194】

特に、本実施形態によれば、例えば、ＨＭＤ１００越しにスマホ２００を見るといった所定配置状態で、ユーザ５０１が音楽アプリのアイコン４２０をタッチした場合、音楽ソフトをスマホ２００で実行し、音声再生情報のみＨＭＤ１００に送信し、ＨＭＤ１００のスピーカ（ヘッドフォン）で聴くことが可能となる。このため、ＨＭＤ１００で映像や音楽などの大容量コンテンツデータ等のための余分な情報データ用メモリやアプリ自体を搭載する必要がない。つまり、搭載容量の軽減を図りつつ、あたかも、ＨＭＤ１００で音楽等のアプリが起動再生したかのように動作が可能となる。

【0195】

ＨＭＤ１００側のストレージ容量を軽減でき、また、必要とする処理能力も軽減できる。これにより、ＨＭＤ１００の小型化、軽量化を図ることができる。さらに、本実施形態によれば、ＨＭＤ１００で実行中であっても、スマホ２００にて操作ができるため、使い勝手もよい。

【0196】

＜＜第七実施形態＞＞
次に、本発明の第七実施形態を説明する。本実施形態の情報処理システム５００は、図１５に示すように、第一情報端末と、第二情報端末と、第三情報端末とを備え、この３つの情報端末で連携し、アプリを実行する。

【0197】

以下、本実施形態について、第一情報端末がスマートウォッチ（ＳＷ３００）、第二情報端末がスマホ２００、第三情報端末がＨＭＤ１００である場合を例に、説明する。

【0198】

本実施形態では、ＨＭＤ１００で、スマホ２００とＳＷ３００とが連携可能な配置状態であるか否かを判断する。そして、その結果を受け、スマホ２００は、選択されたアプリＡを自装置で実行するか、ＳＷ３００で実行するか、すなわち連携動作モードで動作させるか単独動作モードで動作させるかを決定する。なお、スマホ２００が動作モードを決定する際、ＳＷ３００に、前もって、ＳＷ３００に選択されたアプリＡがインストールされているか確認する。

【0199】

以下、本実施形態の各装置の構成を説明する。ＨＭＤ１００およびスマホ２００のハードウェア構成は、第一実施形態と同じである。また、機能構成についても、同様である。ただし、連携判断部１７３および連携制御部２７３の処理が異なる。

【0200】

本実施形態のＨＭＤ１００およびスマホ２００のハードウェア構成および機能ブロックは、基本的に第一実施形態と同様である。ただし、連携判断部１７３と、連携制御部２７３の処理が異なる。

【0201】

本実施形態のＨＭＤ１００は、第三情報端末として、連携可能な配置状態であるか否かの判断を行うのみである。すなわち、本実施形態の連携判断部１７３は、スマホ２００と、ＳＷ３００とが連携可能な配置状態であるか否かを判断する。

【0202】

具体的には、図１６（ａ）に示すように、ディスプレイ１３１の連携視野１０１ａ内に、スマホ２００の、アイコン４２０が表示された画面と、ＳＷ３００とが両方存在する配置状態の場合、スマホ２００とＳＷ３００とが連携可能な状態であると判断する。そして、アイコン４２０に対応するアプリのプログラムがＳＷ３００にインストールされている場合、図１６（ｂ）に示すように、ＳＷ３００で、選択されたアプリを実行させる。

【0203】

本実施形態のＳＷ３００のハードウェア構成を、図１７に示す。本図に示すように、本実施形態のＳＷ３００は、メインプロセッサ３１１と、システムバス３１２と、記憶装置３１０と、操作受付装置３２０と、画像処理装置３３０と、音声処理装置３４０と、センサ３５０と、通信装置３６０と、拡張インタフェース（Ｉ／Ｆ）部３０５と、タイマ３０６と、振動発生装置３０７を備える。

【0204】

各装置の詳細は、ＨＭＤ１００の同名のものと基本的に同様である。ただし、ＳＷ３００は、操作受付装置３２０として、さらに、タッチパネル３２３を備える。タッチパネル３２３は、ディスプレイ３３１に重ねて配置されるタッチパネル３２３、を備える。

【0205】

［機能ブロック］
次に、ＳＷ３００の機能ブロックを、図１８に示す。本図に示すように、主制御部３７０と、受付部３７１と、送受信部３７２と、連携制御部３７３と、アプリ実行部３７４と、出力部３７５と、アイコンデータ記憶部３７７と、アプリケーションプログラム記憶部３７６と、を備える。

【0206】

各機能ブロックは、ＨＭＤ１００の同名の構成と同じ機能を備える。なお、ＳＷ３００の連携制御部３７３は、スマホ２００の連携制御部２７３同様、ＳＷ３００が、他の情報端末とともに連携してアプリを実行する連携動作モードで動作するか、否かを判断する。連携動作モードと判断した場合、他の情報端末からの起動指示に応じて、アプリ実行部３７４にアプリを起動させる。

【0207】

［処理フロー］
以下、本実施形態の情報処理システム５００のアプリ連携処理の流れを説明する。図１９は、本実施形態のアプリ連携処理の処理フローである。第一実施形態と同じ処理については同じ符号を付し、詳細な説明を省略する。

【0208】

ＨＭＤ１００とスマホ２００、および、ＳＷ３００とスマホ２００とは、まず、互いに通信を確立する（ステップＳ１１０１、Ｓ１２０１、Ｓ１３０１）。第一実施形態同様、それぞれの送受信部１７２、２７２、３７２が、データ通信を行い、通信を確立する。

【0209】

スマホ２００は、アプリＡの選択指示を受け付ける（ステップＳ１２０２）。

【0210】

スマホ２００は、アプリＡの選択情報を、ＨＭＤ１００とＳＷ３００とに通知する（ステップＳ１２０３）。

【0211】

ＨＭＤ１００の連携判断部１７３は、上記手法で、スマホ２００とＳＷ３００とが連携可能な配置状態にあるか否かを判断し（ステップＳ７１０１）、判断結果を、スマホ２００に送信する（ステップＳ７１０２）。なお、ＨＭＤ１００とＳＷ３００との間も通信を確立し、ＳＷ３００にも判断結果を送信してもよい。

【0212】

また、スマホ２００からアプリＡ選択情報の通知を受けたＳＷ３００の連携制御部３７３は、自装置にアプリＡがインストールされているか否かを判別し、その結果をアプリＡ情報としてスマホ２００に送信する（ステップＳ７３０３）。

【0213】

ＨＭＤ１００から配置状態の判断結果を、ＳＷ３００から、アプリＡ情報を受信した（ステップＳ７２０１）スマホ２００の連携制御部２７３は、これらの情報を用いて、自装置とＳＷ３００とが連携状態であるか否かを判断し、アプリＡを実行する実行デバイスを決定する（ステップＳ７２０２）。本実施形態では、連携可能な配置状態であり、かつ、ＳＷ３００にアプリＡがインストールされているとの情報を得た場合、実行デバイスをＳＷ３００と決定する。その他の場合、実行デバイスをスマホ２００と決定する。

【0214】

スマホ２００の連携制御部２７３は、決定結果をＨＭＤ１００とＳＷ３００とに通知する（ステップＳ７２０３）。ＨＭＤ１００は、決定結果を受領すると、処理を終了する。

【0215】

その後、スマホ２００は、ステップＳ１２０７以降の処理を実行する。

【0216】

また、ＳＷ３００は、実行デバイスがＳＷ３００と決定された場合（ステップＳ７３０５）、ＳＷ３００内のアプリＡを起動させ（ステップＳ７３０６）、アプリＡが終了するまで、アプリＡを実行し（ステップＳ７３０７、Ｓ７３０８）、処理を終了する。

【0217】

一方、実行デバイスがＳＷ３００に決定されなかった場合は、そのまま処理を終了する。

【0218】

以上説明したように、本実施形態の情報処理システム５００は、複数の端末としてＨＭＤ１００と、スマホ２００と、ＳＷ３００と、を備える。ＨＭＤ１００は、スマホ２００が連携動作モードで動作可能な状態である連携状態か否かを判断する。そして、スマホ２００は、連携状態と判断されると、連携動作モードで動作し、選択されたアプリの起動指示をＳＷ３００に送信する。ＳＷ３００では、起動指示を受け、アプリを起動、実行する。

【0219】

以上説明したように、本実施形態によれば、ＳＷ３００でのアプリの起動を、操作性の良いスマホ２００により行うことができる。また、両者の連携を、第三の情報端末であるＨＭＤ１００の視野越しに両者の位置関係を判断することにより、実現する。ＳＷ３００においてアプリを実行するにあたり、操作性を向上させることができる。すなわち、本実施形態では、ユーザ５０１の負担無しに、利便性の高い、情報端末の連携技術を実現できる。

【0220】

また、本実施形態によれば、アプリ起動に際し、操作性のよいスマホ２００を用い、ＨＭＤ１００の視野越しにスマホ２００のアイコンとＳＷ３００が見えるような配置状態にあれば、この状態でスマホ２００のアイコンをタッチすることによって、ＳＷ３００で所望のアプリを起動させることができる。このため、ＳＷ３００の表示部および操作部は簡易なものでよい。つまり、ＳＷ３００の構成を簡素化できる。

【0221】

なお、本実施形態において、スマホ２００がＨＭＤ１００の連携視野１０１ａ内に入っている所定配置状態であり、かつ、ＳＷ３００がＨＭＤ１００の連携視野１０１ａ内に入っていない配置状態の場合、第一実施形態同様、実行デバイスをＨＭＤ１００と決定してもよい。この場合、スマホ２００から起動指示をＨＭＤ１００に送信し、ＨＭＤ１００内でアプリＡを起動する。

【0222】

また、本実施形態において、第一情報端末は、ＳＷ３００に限定されない。アプリを起動でき、使用位置を手軽に最適な状態にできる情報端末であれば、例えば、タブレット、ＰＣ、第２情報端末と異なる他のスマホ２００等でもよい。

【0223】

また、本実施形態において、ＳＷ３００においては、上記第四実施形態のように、スマホ２００で、ＳＷ３００と同期してアプリを実行し、操作はスマホ２００で受け付けてもよい。また、第五実施形態のように、ＳＷ３００は、アプリ実行前に、スマホ２００からデータ転送を受けてもよい。さらに、第六実施形態のように、スマホ２００側でアプリを実行し、実行結果のみ受信し、出力するよう構成してもよい。

【0224】

スマホ２００に格納されているファイルのデータをＳＷ３００に転送し、ＳＷ３００に搭載されているファイル再生用アプリでデータを再生することにより、ＳＷ３００では常にすべてのファイルデータを保有する必要がなく、ＳＷ３００のような小型多機能な腕時計型の情報端末にとって重要なデータ容量の軽量化を実現できる。

【0225】

＜変形例1＞
なお、上記各実施形態では、２つの情報端末間が所定配置状態であるか否かは、２つの情報端末が所定の位置関係にあるか否かで判断している。すなわち、ＨＭＤ１００の連携視野１０１ａ内に、スマホ２００のディスプレイ２３１上のアイコン４２０が存在するような配置状態であるか否かで判断している。しかしながら、判断手法は、これに限定されない。

【0226】

例えば、超広帯域無線システム（ＵｌｔｒａＷｉｄｅＢａｎｄ：ＵＷＢ）を使用して情報端末間の位置関係や向きを検出し、その結果によってスマホ２００とＨＭＤ１００とが所定配置状態であるか否かを識別判定してもよい。また、スマホ２００とＨＭＤ１００とにそれぞれ搭載されている各種のセンサ１５０、２５０の出力情報から各情報端末の動きを判断し、端末間の位置関係や向きを検出して所定配置状態であるか否かの識別判断に使用してもよい。

【0227】

さらに、所定配置状態であるか否かは、例えば、２つの情報端末間の距離で判断してもよい。例えば、ＨＭＤ１００と、スマホ２００との距離で判断してもよい。すなわち、両者の距離が予め定めた距離閾値未満である場合は、所定配置状態と判断する。

【0228】

両者間の距離は、例えば、第一、第二、第七実施形態では、ＨＭＤ１００の深度センサ１５５で計測する。また、第三実施形態では、スマホ２００の深度センサ２５５で計測する。

【0229】

特に、所定配置状態であるか否かを両者間の距離で判断する場合、処理が単純である。すなわち、スマホ２００がＨＭＤ１００の連携視野１０１ａに入っているかどうかを気にせずに、一定範囲の周辺にあるスマホ２００を用いてアイコンタッチを行うことにより、ＨＭＤ１００で所望アプリを起動することができる。また、スマホ２００を意図的に一定距離以上離すことにより、スマホ２００側でアプリ起動させることができる。このため、利便性がさらに向上する。また、連携視野１０１ａを用いて判断する処理に比べ、視野から外したつもりが外れていなかった等の誤操作が減る。

【0230】

また、連携視野１０１ａを定めず、ユーザ５０１の視線方向を検出し、ディスプレイ１３１上の視線方向との交点を含む所定領域にスマホ２００のアイコン４２０が重なる場合、所定配置状態としてもよい。

【0231】

この場合、ＨＭＤ１００を装着した状態で、ディスプレイ１３１にスマホ２００のアイコン４２０が見えていても、ユーザ５０１が視線を合わせていない限り、ＨＭＤ１００側ではアプリが起動しない。したがって、より操作性の高い装置を提供できる。

【0232】

さらに、連携視野１０１ａを設定し、連携視野１０１ａの範囲にアイコン４２０が入り、かつ、ユーザ５０１がアイコン４２０に視線を合わせている場合、所定配置状態と判断するよう構成してもよい。

【0233】

＜変形例2＞
また、上記実施形態では、連携状態にあると判断された場合、それぞれ、予め定めた情報端末でアプリを起動している。しかし、アプリの実行デバイスの決定手法は、これに限定されない。

【0234】

例えば、連携状態にあると判断された後、スマホ２００に表示されたアイコン４２０に対する選択操作の態様に応じて、アプリを実行するデバイスを決定してもよい。例えば、アイコン４２０をシングルタップした場合はスマホ２００で、ダブルタップした場合はＨＭＤ１００で、起動する等である。

【0235】

また、連携状態であるか否かは別の手法で判断し、実行デバイスのみユーザ５０１の視線方向で決定してもよい。ユーザ５０１の視線方向を検出し、視線がアイコン４２０またはスマホ２００のディスプレイ２３１上にない場合、連携状態であってもＨＭＤ１００ではアプリを起動しないようにしてもよい。

【0236】

これにより、スマホ２００を視野内に入れながら視線をスマホ２００から外してアイコンを操作することで、意図してＨＭＤ１００ではなくスマホ２００でアプリ起動することが出来る。

【0237】

また、視線方向だけでなく、ユーザ５０１の目の開閉により実行デバイスを決定してもよい。この場合、インカメラ１３４で取得した所定期間の画像を解析し、まばたきとは異なる、意図して目を閉じたかどうかを判別可能な一定の指定時間、目を閉じた状態か否かを識別する。例えば、一定の指定時間目を閉じた状態でアイコン４２０をタッチするとスマホ２００でアプリを起動するよう決定する。

【0238】

また、アイコンにタップして指を離す時に意図して目が閉じられた場合にはスマホ２００で起動するようにしてもよい。この場合、ＨＭＤ１００を常時使用している状態で意図して明示的にスマホ２００で起動させたい場合に有効である。

【0239】

また、片目が閉じていればスマホ２００で起動するようにしてもよい。この場合、もう一方の片目でアイコン４２０を見ながら所望動作を容易に行うことが可能となる。

【0240】

＜変形例3＞
上記各実施形態において、各情報端末の間のデータの送受信は、相互の直接の無線通信に限定されない。例えば、図２０（ａ）および図２０（ｂ）に示すように、サーバ６１０を経由してもよい。

【0241】

同様に、アプリおよびファイル、データをサーバ６１０上に格納して、スマホ２００からの指示により、適宜各情報端末に通信により転送して使用してもよい。スマホ２００からの指示により、サーバ６１０上でアプリを起動して再生情報を各実施形態により決定した情報端末に転送して視聴してもよい。

【0242】

なお、サーバ６１０は、各情報端末と通信を介して接続して必要な情報の送受信が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。

【0243】

また、スマホ２００から大容量コンテンツデータをＨＭＤ１００に転送する場合以外に、クラウドネットワークからコンテンツデータをＨＭＤ１００にダウンロードしてもよい。特に、高精細映像などを扱う画像アプリの場合には、使うデータ量は飛躍的に多い。このため、ＨＭＤ１００での容量低減効果が大きい。この場合、データ通信には５Ｇ、（５ｔｈＧｅｎｅｒａｔｉｏｎ：第５世代移動通信システム）ローカル５Ｇなどの高速大容量通信網を使用すれば、さらに使い勝手を向上できる。

【0244】

＜変形例4＞
また、ユーザ５０１がタッチするアイコン４２０の表示画面内に、どの情報端末でアプリやファイルが起動可能であるかを示す小さな図形として端末マーク（以下、小アイコンと称す）を所定位置に付加してもよい。小アイコンを備えるアイコンの例を、図２１（ａ）～図２１（ｃ）に示す。ここでは、一例として音楽再生アプリをアプリＡとしてそのアイコン４３０を示す。

【0245】

図２１（ａ）は、アイコン４３０が、アイコン４３０内にＨＭＤ１００でこのアプリを起動可能であることを示す小アイコン４３１を備える場合の例である。また、図２１（ｂ）は、アイコン４３０が、ＳＷ３００でこのアプリＡを移動可能であることを示す小アイコン４３２を備える場合の例である。

【0246】

図２１（ｃ）は、スマホ２００だけで起動可能なアプリの例である。ここでは、一例として表作成アプリのアイコン４４０を示す。表計算アプリのアイコン４４０内の所定位置には小アイコンが表示されない。

【0247】

これにより、スマホ２００でのアイコンタッチ操作に際して、ユーザはタッチしようとしているアイコン内にある図２１（ａ）、図２１（ｂ）、図２１（ｃ）で示すような小アイコンの有無含めた状態を視認しながら、このアイコンをタッチするとどの情報端末で起動が可能なのかを前もって知ることができ、容易に使い勝手の向上を図ることができる。

【0248】

なお、図２１（ａ）、図２１（ｂ）、図２１（ｃ）で説明した小アイコンは、情報端末間が所定配置状態にあるかないかにかかわらず、所定配置状態になった場合に起動可能な情報端末を示すものである。

【0249】

また、本実施形態の連携制御部２７３は、ＨＭＤ１００またはＳＷ３００から、それぞれの情報端末がアプリＡを備えるとの情報を受信した場合、小アイコン４３１をアイコン４３０の所定位置に表示させる。または、予め、ＨＭＤ１００、ＳＷ３００と、スマホ２００との間で、アプリケーションプログラムがインストールされているか否か情報をやり取りし、小アイコン４３１を表示させてもよい。

【0250】

小アイコン４３１の他の例を、図２１（ｄ）および図２１（ｅ）に示す。小アイコン４３１は、アイコン４２０をタッチした際に、連携する情報端末間でアプリやファイルが起動する情報端末を識別可能な態様で表示してもよい。すなわち、連携状態であるか否かによって、小アイコン４３１の表示態様を変更してもよい。

【0251】

例えば、スマホ２００とＨＭＤ１００とが連携状態にあり、アイコン４２０をタッチするとＨＭＤ１００でアプリやファイルが起動する場合、図２１（ｄ）に示すように、ハイライトした（網掛け付）の小アイコン４３２を表示する。一方、連携状態になくスマホ２００でアプリが起動する場合は、図２１（ｅ）に示すようにハイライト（網掛け）無しの小アイコン４３３を表示する。

【0252】

このように、小アイコン４３１を表示することにより、ユーザ５０１は、起動可能な情報端末を容易に把握することができる。これにより、起動する情報端末をユーザ５０１の意思で明確に選ぶことができる。

【0253】

なお、小アイコン４３１の表示以外の識別通知方法として、どの情報端末でアプリの起動が可能かを音声情報にして、スピーカ１４１（ヘッドフォン）でユーザ５０１に通知してもよい。

【0254】

また、ＨＭＤ１００がどの情報端末でアプリの起動が可能かを振動の大きさや種類等によって識別した振動情報にして、振動発生装置１０７によりユーザ５０１に通知してもよい。ユーザ５０１にとって一層高い利便性を得ることができる。

【0255】

なお、小アイコンを表示するか否かについては、アプリごとに初期設定として、そのアプリのインストール時に指定してもよい。また、ユーザ５０１がその初期設定を変更可能にしてもよい。また、アプリ単位でなく端末単位で、すべてのアプリについての表示の判断を(OS等が制御することにより)まとめて、ユーザ５０１の指示により切替可能としてもよい。

【0256】

＜変形例5＞
なお、上記各実施形態および変形例では、アイコンタッチの検出方法として、スマホ２００の操作受付装置１２０でアイコンタッチ操作を検出する方法を示した。しかし、これに限定されない。例えば、ＨＭＤ１００のアウトカメラ１３３でスマホ２００上でのアイコンタッチ操作を撮影し、撮影画像を解析することにより検出してもよい。また、アイコン位置特定方法として、ＨＭＤ１００からスマホ２００に向けて、ＨＭＤ１００のアウトカメラ１３３で撮影したスマホ２００のディスプレイ２３１上の座標を送り、スマホ２００でその座標にあるアプリを特定してＨＭＤ１００に知らせてもよい。

【0257】

＜変形例6＞
また、上記各実施形態では、情報端末として、ＨＭＤ１００とスマホ２００との例を挙げたが、複数の情報端末間の配置情報を取得できる情報端末であれよい。例えば、両方ともスマホであってもよい。この場合、アイコン４２０を表示してタッチを受け付けるスマホ２００Ａを、別のスマホ２００Ｂのカメラで撮影しながらアイコンタッチすることで、別のスマホ２００Ｂでアプリが起動するようにしてもよい。

【0258】

また、各情報端末間で同じアプリを、連係して動作させてもよい。例えば、スマホ２００とＨＭＤ１００とで同じ地図アプリを使用する際、両端末が所定配置状態にある場合には、スマホ２００では詳細な地図を表示し、ＨＭＤ１００では簡素化された地図を表示する、等連携して動作させることで、使い勝手を向上させることが出来る。

【0259】

＜変形例7＞
また、同じアプリまたは対応するアプリの搭載に際し、情報端末の片方にインストールしたら他方の情報端末にもインストールする等、同期してインストールしてもよい。片方の情報端末で選択したアプリと同じアプリまたは対応するアプリが他方の情報端末にない場合は、サーバや、他の情報端末内等からダウンロードしてインストールして使用できるようにしてもよい。また、情報端末間の紐づけ（ペアリング、グループ設定等）は事前に行ってもよい。紐づけを行っていない情報端末と通信が確立した場合には、紐づけを行うかどうかをユーザ５０１に問い合わせて、ユーザ５０１が紐づけを行う意思を示したらその時点で紐づけを行ってもよい。

【0260】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0261】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0262】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0263】

１００：ＨＭＤ、１０１ａ：連携視野、１０３：ＲＡＭ、１０４：ＲＯＭ、１０５：拡張インタフェース部、１０６：タイマ、１０７：振動発生装置、１１０：記憶装置、１１１：メインプロセッサ、１１２：システムバス、１１３：ＲＡＭ、１１４：ＲＯＭ、１２０：操作受付装置、１２１：操作キー、１２２：タッチセンサ、１２３：タッチパネル、１３０：画像処理装置、１３１：ディスプレイ、１３１ａ：左目用ディスプレイ、１３１ｂ：右目用ディスプレイ、１３３：アウトカメラ、１３４：インカメラ、１４０：音声処理装置、１４１：スピーカ、１４３：マイク、１５０：センサ、１５１：受信部、１５２：ジャイロセンサ、１５３：地磁気センサ、１５４：加速度センサ、１５５：深度センサ、１６０：通信装置、１６１：ＬＡＮ通信Ｉ／Ｆ、１６２：電話網通信Ｉ／Ｆ、１６３：ＢＴ通信Ｉ／Ｆ、１７０：主制御部、１７１：受付部、１７２：送受信部、１７３：連携判断部、１７４：アプリ実行部、１７５：出力部、１７６：アプリケーションプログラム記憶部、１７７：アイコンデータ記憶部、
２００：スマホ、２００Ａ：スマホ、２００Ｂ：スマホ、２０１：メインプロセッサ、２０１ａ：撮影範囲、２０２：システムバス、２０５：拡張インタフェース部、２０６：タイマ、２０７：振動発生装置、２１０：記憶装置、２１１：メインプロセッサ、２１３：ＲＡＭ、２１４：ＲＯＭ、２２０：操作受付装置、２２３：タッチパネル、２３０：画像処理装置、２３１：ディスプレイ、２３４：インカメラ、２４０：音声処理装置、２４１：スピーカ、２５０：センサ、２５５：深度センサ、２６０：通信装置、２６３：ＢＴ通信Ｉ／Ｆ、２７０：主制御部、２７１：受付部、２７２：送受信部、２７３：連携制御部、２７４：アプリ実行部、２７５：出力部、２７６：アプリケーションプログラム記憶部、２７７：アイコンデータ記憶部、
３００：スマートウォッチ、３０５：拡張インタフェース部、３０６：タイマ、３０７：振動発生装置、３１０：記憶装置、３１１：メインプロセッサ、３１２：システムバス、３２０：操作受付装置、３２３：タッチパネル、３３０：画像処理装置、３３１：ディスプレイ、３４０：音声処理装置、３５０：センサ、３６０：通信装置、３７０：主制御部、３７１：受付部、３７２：送受信部、３７３：連携制御部、３７４：アプリ実行部、３７５：出力部、３７６：アプリケーションプログラム記憶部、３７７：アイコンデータ記憶部、
４１１：アイコン、４２０：アイコン、４２１：アイコン、４３０：アイコン、４３１：小アイコン、４３２：小アイコン、４３３：小アイコン、４４０：アイコン、５００：情報処理システム、５０１：ユーザ、６１０：サーバ

【図1】