知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-28
(45)【発行日】2024-09-05
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
G06F 9/445 20180101AFI20240829BHJP
G06F 9/48 20060101ALI20240829BHJP
【ＦＩ】
G06F9/445 130
G06F9/48 370
【請求項の数】
4
(21)【出願番号】P 2022532961
(86)(22)【出願日】2020-07-02
(86)【国際出願番号】 JP2020026042
(87)【国際公開番号】W WO2022003912
(87)【国際公開日】2022-01-06
【審査請求日】2022-12-27
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】高見澤 尚久
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】岡田 義憲
【審査官】多賀 実
(56)【参考文献】
【文献】特開２０１２－２２７８１４（ＪＰ，Ａ）
【文献】特開２０１７－１２３９０８（ＪＰ，Ａ）
【文献】特開２０１２－１４６２７９（ＪＰ，Ａ）
【文献】特開２０１０－１３６２３８（ＪＰ，Ａ）
【文献】特開２０１７－０５９０６２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ９／４４－ ９／５４
Ｇ０６Ｆ １５／００
Ａ６３Ｆ １３／００－１３／９８
Ｈ０４Ｌ ５１／００－５１／５８
Ｈ０４Ｌ ６７／００－６７／７５
Ｈ０４Ｎ ７／１５
(57)【特許請求の範囲】
【請求項1】
複数の情報処理端末で連携してアプリケーションを実行する情報処理システムであって、前記情報処理端末は、それぞれ、
予め定めた連携マークを検出する検出部と、
検出された前記連携マークに対応付けられたアプリケーションを連携アプリとして、同じ前記連携マークを検出した他の前記情報処理端末と連携して実行する実行部と、を備え、
前記情報処理システムは、
同じ前記連携マークを検出した複数の前記情報処理端末を、前記連携アプリを連携して実行する連携グループの構成端末として管理する連携管理部を備える第二情報処理端末をさらに備え、
前記連携管理部は、連携管理処理により得られたデータを、他の前記構成端末に送信するとともに、他の前記構成端末から前記連携管理処理により得られたデータを受信し、
前記連携マークは、前記第二情報処理端末のディスプレイに表示され、
前記検出部は、前記第二情報処理端末が、予め定めた配置状態であることを検出した場合、前記連携マークを検出すること
を特徴とする情報処理システム。
【請求項2】
請求項１記載の情報処理システムであって、前記第二情報処理端末も、前記連携アプリを連携して実行する連携グループの構成端末として管理されること
を特徴とする情報処理システム。
【請求項3】
請求項１または２記載の情報処理システムであって、前記情報処理端末は、前記連携マークを検出すると、当該連携マークを特定するマーク識別情報と自身を特定する端末識別情報とを含む検出通知データを、前記第二情報処理端末に送信する連携部を備え、
前記連携管理部は、前記検出通知データを受信すると、当該検出通知データに含まれる前記マーク識別情報が合致する送信元の前記情報処理端末を、１つの連携グループの構成端末として管理すること
を特徴とする情報処理システム。
【請求項4】
請求項３記載の情報処理システムであって、前記連携部は、前記連携アプリを終了すると、当該連携アプリを終了したことを通知する終了通知データであって、前記マーク識別情報と前記端末識別情報とを含む前記終了通知データを、前記第二情報処理端末に送信し、
前記連携管理部は、前記終了通知データを、他の前記情報処理端末から受信すると、当該終了通知データに含まれる前記マーク識別情報で特定される前記連携マークに基づいて管理される前記連携グループから、当該終了通知データに含まれる前記端末識別情報に合致する前記情報処理端末を除くこと
を特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の情報処理端末間でアプリケーション（以下、アプリと称す）を連携して実行することを支援する技術に関する。
【背景技術】
【0002】
複数の情報端末間で連携してアプリケーションを実行することが増えている。連携元デバイスに連携する最適な連携先デバイスを選択する技術として、例えば、特許文献１には、「連携元デバイスと、連携元デバイスに接続可能な複数の連携先デバイスと、連携元デバイスおよび複数の連携先デバイスにそれぞれ登録されたアプリの連携を制御するアプリ連携装置とを有し、アプリ連携装置は、連携先デバイスと接続するために用いる情報および当該連携先デバイスに登録されたアプリが用いるデータに関する情報を含むデバイス情報を管理する第１の管理部と、連携元デバイスからの連携要求に対し、前記デバイス情報を参照して、連携が可能な連携先デバイスおよびアプリを示す連携候補を取得する第２の管理部と、前記連携候補に示されるアプリを起動し、連携を行うデバイスおよび当該デバイスに登録された連携が可能なアプリを連携先に確定する連携制御部とを含む（要約抜粋）。」情報処理システムが開示されている。
【0003】
また、複数の機器が撮影した画像の同一性の判定に基づき、複数の機器の連携制御を行う技術がある。例えば、特許文献２には、「第１機器で撮影された第１画像を撮影時刻とともに取得する第１取得部と、第２機器で撮影された第２画像を撮影時刻とともに取得する第２取得部と、第１画像と第２画像それぞれの撮影画像と撮影時刻に基づき、第１画像と第２画像の撮影位置の同一性を判定する判定部と、判定結果を第１機器もしくは第２機器に出力する出力部と、を有する（要約抜粋）」判定装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１４２６９３号公報
【文献】特開２０１６－１７４２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）などの情報端末を装着したユーザ間でグループを形成して、情報端末に搭載されているアプリを共有して実行することが増えている。
【0006】
特許文献１には、連携通信を確立してアプリが起動可能な全情報端末でアプリを起動することについては記載されているものの、情報端末を選択して起動する観点については何ら示唆されていない。このため、ユーザ間でグループを形成し、アプリを共有することは実現しにくい。
【0007】
また、特許文献２には、撮影した画像の同一性に基づいて、機器どうしを連携させることについては記載されているものの、アプリの起動、およびアプリの連携については何ら開示されていない。
【0008】
本発明は、上記事情に鑑みてなされたもので、複数の情報処理端末間で、簡単に使い勝手よくアプリケーションの連携を実現する技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、複数の情報処理端末で連携してアプリケーションを実行する情報処理システムであって、前記情報処理端末は、それぞれ、予め定めた連携マークを検出する検出部と、検出された前記連携マークに対応付けられたアプリケーションを連携アプリとして、同じ前記連携マークを検出した他の前記情報処理端末と連携して実行する実行部と、を備え、前記情報処理システムは、同じ前記連携マークを検出した複数の前記情報処理端末を、前記連携アプリを連携して実行する連携グループの構成端末として管理する連携管理部を備える第二情報処理端末をさらに備え、前記連携管理部は、連携管理処理により得られたデータを、他の前記構成端末に送信するとともに、他の前記構成端末から前記連携管理処理により得られたデータを受信し、前記連携マークは、前記第二情報処理端末のディスプレイに表示され、前記検出部は、前記第二情報処理端末が、予め定めた配置状態であることを検出した場合、前記連携マークを検出することを特徴とする。
【発明の効果】
【0010】
本発明によれば、複数の情報処理端末間で、簡単に使い勝手よくアプリケーションの連携を実現できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【図1】第一実施形態の情報処理システムの概要を説明するための説明図である。
【図2】第一実施形態の情報処理システムの構成図である。
【図3】第一実施形態のＨＭＤのハードウェア構成図である。
【図4】（ａ）は、第一実施形態のＨＭＤの機能ブロック図であり、（ｂ）は第一実施形態のアプリリストの一例を、（ｃ）は、第一実施形態の通知データの一例を、（ｄ）は、第一実施形態の連携グループリストの一例を、それぞれ説明するための説明図である。
【図5】（ａ）～（ｃ）は、第一実施形態の連携マークの検出を説明するための説明図である。
【図6】第一実施形態の連携処理のフローチャートである。
【図7】第二実施形態の情報処理システムの構成図である。
【図8】（ａ）は、第二実施形態のサーバの機能ブロック図であり、（ｂ）は、第二実施形態の連携グループリストの一例を説明するための説明図であり、（ｃ）は、第二実施形態のサーバのハードウェア構成図である。
【図9】第二実施形態の連携処理のフローチャートである。
【図10】第二実施形態の変形例のシステム構成図である。
【図11】第三実施形態のシステム構成を説明するための説明図である。
【図12】（ａ）および（ｂ）は、第三実施形態の検出部による連携マークの検出を説明するための説明図である。
【図13】第三実施形態のスマートフォンのハードウェア構成図である。
【図14】（ａ）は、第三実施形態のスマートフォンの機能ブロック図であり、（ｂ）は、第三実施形態の変形例のアイコン表示例を説明するための説明図である。
【図15】第三実施形態の連携処理のフローチャートである。
【発明を実施するための形態】
【0012】
＜＜第一実施形態＞＞
以下、本発明の第一実施形態の例を、図面を用いて説明する。図１は、本実施形態に係る情報処理システムの概要を説明するための説明図である。
以下、本発明の第一実施形態の例を、図面を用いて説明する。図１は、本実施形態に係る情報処理システムの概要を説明するための説明図である。
【0013】
近年、現実に似せた仮想世界を作り出し、あたかもそこにいるような感覚を体験できる仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）技術や、現実世界にデジタル情報を付与しＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などで作った仮想空間（仮想オブジェクト）を現実世界に反映し拡張していく拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が、ゲームや各種シミュレーションに利用されている。これらの技術を具現化する情報処理端末として、ディスプレイやカメラなどを頭部に装着するヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）が広く用いられている。そして、ＨＭＤなどの情報処理端末を装着したユーザ間でグループを形成して、情報端末に搭載されているアプリを連携して実行し、グループ間でチャットや会議、ゲームなどが行われている。
【0014】
これらのアプリの連携実行は、簡単かつ安全に行えることが望まれている。本実施形態は、これを実現する。
【0015】
本実施形態では、各々、ヘッドマウントディスプレイ（ＨＭＤ）１００を装着した、複数のユーザ９００が、各ＨＭＤ１００に搭載された共通のアプリケーション（アプリ）を、連携して実行する。各ＨＭＤ１００に搭載されるアプリは、チャット、音楽・画像の再生、書類作成など特定の作業を行うために使用される同一或いは同等のものとする。
【0016】
連携は、ユーザ９００が、実行するアプリに対応するマークを認識することにより実現される。マークは、例えば、アプリの起動などの機能を呼び出すための図形であり、どこかに印刷や記述されたものでもよいし、情報処理端末などの画面上に表示されたものでもよい。マークは幾何学的な図形に限らず、文字等であってもよい。マークは、起動するアプリが決定できればよく、以下、連携マーク８１０と呼ぶ。また、連携マーク８１０の認識により、各ＨＭＤ１００で起動されるアプリは同一のアプリである必要はない。例えば、チャットのマークを認識したときに起動するアプリは、互いが連携してチャットできるアプリであればよい。
【0017】
図１では、四人のユーザ９０１、９０２、９０３、９０４の頭部に各々装着されたＨＭＤ１０１、１０２、１０３、１０４と、連携マーク８１０とを例示する。なお、区別する必要がない場合は、ＨＭＤ１００、ユーザ９００で代表する。
【0018】
各ＨＭＤ１００の間は、無線通信９１２、９１３、９１４、９２３、９２４、９３４により、情報の送受信が行われる。なお、各ＨＭＤ１００間の情報の送受信は、相互の直接の無線通信だけなく、サーバ等を経由して行われてもよい。
【0019】
本図では、ＨＭＤ１０１、１０２、１０３は、そのユーザ９０１、９０２、９０３の各視線９４１、９４２、９４３の先にある連携マーク８１０を、ユーザ９０１、９０２、９０３が認識したことを検出し、当該連携マーク８１０に対応するアプリを連携して実行するアプリ（連携アプリ）として特定する。
【0020】
また、ＨＭＤ１０１、１０２、１０３は、同じ連携マーク８１０を検出したＨＭＤ１００であって、無線通信９１２、９１３、９２３、を介して連携アプリを連携して実行する連携グループとして特定される。そして、連携グループとして特定されたＨＭＤ１０１、１０２、１０３間で連携アプリを連携して実行する。
【0021】
例えば、図１に示すように、連携マーク８１０に対応する連携アプリが、チャットアプリとする。この場合、ＨＭＤ１０１、１０２、１０３は、対応するチャットアプリを連携して実行する。ＨＭＤ１０１、１０２、１０３のディスプレイ１３１には、各ユーザ９００の会話内容を示すチャット画面が表示される。
【0022】
一方、視線９４４の先が連携マーク８１０を向いてないＨＭＤ１０４のユーザ９０４は、連携マーク８１０を認識しない。すなわち、ＨＭＤ１０４は、連携マーク８１０を検出しない。このため、ＨＭＤ１０４は、連携マーク８１０に対応するアプリを連携アプリとして特定しない。よって、ＨＭＤ１０４は、連携アプリを連携して実行する連携グループに入らない。このため、ＨＭＤ１０４のディスプレイ１３１には、各ユーザ９００の会話内容を示すチャット画面は表示されない。
【0023】
例えば、チャットのアプリ等では、通常、アプリを起動した後にチャット相手を選んだり、チャットのグループを選んだりする必要がある。しかしながら、本実施形態では、参加したいユーザ９００が、チャットアプリに対応づけられた連携マーク８１０を見るだけで、自動的にチャットアプリが起動し、同じ連携マーク８１０を見ているユーザ９００のＨＭＤ１００が連携グループとして認識される。このように、本実施形態によれば、その場で同じ連携マーク８１０を見るユーザ９００が装着するＨＭＤ１００だけで連携アプリを連携して実行する連携グループが自動的に形成される。また、連携アプリは、ＨＭＤ１００を装着するユーザ９００が連携マーク８１０を認識する（ＨＭＤ１００が検出する）だけで、特定される。このため、連携グループの構成メンバを選んだり、連携アプリを起動したりする手間が不要になる。
【0024】
また、連携マーク８１０を見ていないユーザ９００のＨＭＤ１００は、連携グループのメンバに加わらない。このため、誤って意図しないユーザ９００のＨＭＤ１００を連携グループのメンバに加えてしまうことがない。すなわち、その場にいるユーザ９００のＨＭＤ１００のみが連携グループに参加する。このため、誤ってその場にいないユーザ９００のＨＭＤ１００に情報を送ってしまう恐れがなく、安全に連携グループ形成ができる。また、頻繁にユーザ９００が入れ替わる状況であっても、簡単に、連携グループの構成メンバを管理できる。
【0025】
［システム構成］
以下、上記を実現する本実施形態の情報処理システム７００について、まず、システム構成を説明する。図２は、本実施形態の情報処理システム７００のシステム構成図である。
以下、上記を実現する本実施形態の情報処理システム７００について、まず、システム構成を説明する。図２は、本実施形態の情報処理システム７００のシステム構成図である。
【0026】
本図に示すように、本実施形態の情報処理システム７００は、複数のＨＭＤ１００（１０１、１０２、１０３、１０４）と、連携マーク８１０と、を備える。
【0027】
ＨＭＤ１００は、ユーザ９００が頭部に装着して、処理した情報をディスプレイ１３１に表示する装置である。本実施形態のＨＭＤ１００は、眼鏡形状を有し、眼鏡のレンズ位置にディスプレイ１３１を備える。ディスプレイ１３１は、透過型であっても、非透過型であってもよい。
【0028】
ＨＭＤ１００では、ユーザ９００は、ディスプレイ１３１を介して、実空間の状況を観察できる。また、ディスプレイ１３１には、拡張現実のＡＲオブジェクトを表示することができる。従って、ユーザ９００は、ディスプレイ１３１に表示されたＡＲオブジェクトと、実空間の状況との両者を同時に視認することができる。
【0029】
連携マーク８１０は、上述のように、検出されることにより、連携アプリの特定および連携グループの構成メンバの認定における基準となるマークである。上述のように、例えば、連携アプリのアイコン図形等が用いられる。本実施形態では、例えば、壁、柱、机上等、予め定めた位置に固定される。
【0030】
［ＨＭＤ］
次に、本実施形態のＨＭＤ１００のハードウェア構成および機能ブロックについて図面を用いて説明する。
次に、本実施形態のＨＭＤ１００のハードウェア構成および機能ブロックについて図面を用いて説明する。
【0031】
［ハードウェア構成］
以下、上記処理を実現する本実施形態のＨＭＤ１００について、ハードウェア構成を説明する。図３は、本実施形態のＨＭＤ１００の構成例を示すブロック図である。これらの図では、図１、図２に示した構成と同一のものには同一の符号を付す。
以下、上記処理を実現する本実施形態のＨＭＤ１００について、ハードウェア構成を説明する。図３は、本実施形態のＨＭＤ１００の構成例を示すブロック図である。これらの図では、図１、図２に示した構成と同一のものには同一の符号を付す。
【0032】
本図に示すように、本実施形態のＨＭＤ１００は、メインプロセッサ１１１と、システムバス１１２と、記憶装置１１０と、操作受付装置１２０と、画像処理装置１３０と、音声処理装置１４０と、センサ１５０と、通信装置１６０と、拡張インタフェース（Ｉ／Ｆ）部１７１と、タイマ１７２と、振動発生装置１７３と、を備える。各構成部は送受信アンテナを除きそれぞれシステムバス１１２を介して相互に接続される。
【0033】
メインプロセッサ１１１は、所定のプログラムに従ってＨＭＤ１００全体を制御する主制御部である。メインプロセッサ１１１は、ＣＰＵ（Ｃｅｎｔｏｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）またはマイクロプロセッサユニット（ＭＰＵ）で実現される。メインプロセッサ１１１は、記憶装置１１０に記憶されるオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：ＯＳ）や各種の動作制御用アプリケーションなどのプログラムを実行することによって、ＨＭＤ１００全体の動作制御処理を行う。また、メインプロセッサ１１１は、各種のアプリの起動動作を制御する。メインプロセッサ１１１は、タイマ１７２が計測し、出力するクロック信号に従って、処理を行う。
【0034】
システムバス１１２は、メインプロセッサ１１１とＨＭＤ１００内の各部との間でデータ送受信を行うためのデータ通信路である。
【0035】
記憶装置１１０は、ＲＡＭ１１３とＲＯＭ１１４とフラッシュメモリ１１５と、を備える。記憶装置１１０には、オペレーティングシステムや、音楽、画像、文書等の各種の動作制御用アプリなどのプログラムが記憶される。また、オペレーティングシステムなどによる基本動作に必要なベースデータや、各種アプリなどで起動されるファイルデータなどの情報データが格納される。例えば、ＨＭＤ１００に搭載されている音楽アプリが起動し音楽のファイルデータが選択されると、ＨＭＤ１００では選択された音楽のファイルデータが再生されて、所望の音楽を聴くことができる。
【0036】
ＲＡＭ１１３は、基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域である。また、ＲＡＭ１１３は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域である。ＲＡＭ１１３は、メインプロセッサ１１１と一体構成であっても良い。
【0037】
ＲＯＭ１１４およびフラッシュメモリ１１５は、ＨＭＤ１００の機能を実現するための各種プログラムと、動作設定値、後述するセンサ１５０からの検出値を含むセンサ情報、仮想オブジェクトおよびコンテンツ等の各種表示用データを記憶する。
【0038】
フラッシュメモリ１１５は、ネットワーク３００上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶する。フラッシュメモリ１１５に記憶された各動作プログラムは、ネットワーク３００上の各サーバ装置からのダウンロード処理により更新および機能拡張することができる。
【0039】
さらに、フラッシュメモリ１１５は、ネットワーク３００上からダウンロードした動画や静止画や音声等のコンテンツを記憶できる。また、インカメラ１３４またはアウトカメラ１３３が撮影した動画や静止画等のデータを記憶する。
【0040】
ＲＯＭ１１４およびフラッシュメモリ１１５は、ＨＭＤ１００に外部から電源が供給されていない状態であっても記憶している情報を保持する、所謂不揮発性ストレージである。以下、ＲＯＭ１１４およびフラッシュメモリ１１５を、特に区別する必要がない場合は、両者を併せて内蔵メモリストレージ（Ｉｎｔｅｒｎａｌ Ｍｅｍｏｒｙ Ｓｔｏｒａｇｅ）と呼ぶ。メインプロセッサ１１１が、内蔵メモリストレージに記憶された新規アプリケーションプログラムをＲＡＭ１１３に展開し、実行することにより、ＨＭＤ１００は、多種の機能を実現できる。
【0041】
内蔵メモリストレージは、ＨＭＤ１００に電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、内蔵メモリストレージには、例えばフラッシュＲＯＭやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等のデバイスが用いられる。
【0042】
内蔵メモリストレージは、オペレーティングシステムや、チャット、音楽、画像、文書等の各種の動作制御用アプリなどのプログラムを記憶する。また、オペレーティングシステムなどによる基本動作に必要なベースデータや、各種アプリなどで起動されるファイルデータなどの情報データを格納する。
【0043】
例えば、ＨＭＤ１００に搭載されているチャットのアプリが起動しチャット相手や以前のチャット内容などチャット動作に必要な各種のファイルデータが選択されると、ＨＭＤ１００では選択されたチャット用ファイルデータを用いて所望のチャット相手と会話することができる。また、ＨＭＤ１００に搭載されている音楽アプリが起動し音楽のファイルデータが選択されると、ＨＭＤ１００では選択された音楽のファイルデータが再生されて、所望の音楽を聴くことができる。
【0044】
操作受付装置１２０は、ＨＭＤ１００に対する操作指示の入力を受け付ける。本実施形態では、操作キー１２１を備える。操作キー１２１は、電源キー、音量キー、ホームキー等である。
【0045】
なお、本実施形態のＨＭＤ１００は、必ずしも、これらの全ての操作受付装置１２０を備えなくてもよい。操作受付装置１２０は、ＨＭＤ１００内でユーザ９０１が入力操作を行いやすい位置や形態に設ければよい。
【0046】
また、操作受付装置１２０は、有線通信または無線通信により接続された別体の情報処理端末機器を介してＨＭＤ１００の操作を受け付けてもよい。この場合、例えば、キーボードやキーボタン、タッチキー等による入力手段を備えてもよい。また、ユーザ９０１の視線を利用するものであってもよい。視線を利用するものは、例えば、ディスプレイ１３１内に入力操作画面を表示させ、後述するインカメラ１３４で検出したユーザ９０１の視線が向いている入力操作画面上の位置により入力操作情報を取り込む。ポインタを入力操作画面上に表示させ、ポインタを操作して入力操作情報を取り込んでもよい。また、ユーザ９０１が入力操作を示す音声を発声し、後述するマイク１４３で集音して入力操作情報を取り込んでもよい。また、アウトカメラ１３３および各種のセンサ１５０を使用して、ユーザ９０１の手や体の動き(ゼスチャ)を検出して、入力操作情報として取り込んでもよい。
【0047】
画像処理装置１３０は、イメージ（ビデオ）プロセッサであり、ディスプレイ１３１と、アウトカメラ１３３と、インカメラ１３４と、を備える。
【0048】
ディスプレイ１３１は、例えば液晶パネル等の表示デバイス（ディスプレイ）であり、画像信号処理部で処理された画像データをＨＭＤ１００の使用者に提示する。ディスプレイ１３１は、左目用ディスプレイと、右目用ディスプレイと、を備える。ディスプレイ１３１は、透過型（光学透過型）ディスプレイまたは非透過型（ビデオ透過型）ディスプレイであってもよい。
【0049】
光学透過型ディスプレイは、起動アプリによる再生情報やユーザ９０１への通知情報など各種の情報を投影する投影部と投影された各種の情報を目の前で結像表示させる透明なハーフミラーを備える。また、ビデオ透過型ディスプレイは、アウトカメラ１３３で撮影された目の前の現実空間物体と各種の情報とを合わせて表示する液晶パネル等を備える。ディスプレイ１３１により、ユーザ９０１は、目の前の視界視野内の画像に加え、起動アプリによるチャット会話、音楽、画像、文書などの再生情報を合わせて視認する。
【0050】
ディスプレイ１３１は、バッテリ容量の残量、各種アラーム、時刻などユーザへの通知情報を表示するとともに、ディスプレイ１３１内に、起動するアプリのアイコンを表示する。
【0051】
なお、画像信号処理部は、アウトカメラ１３３およびインカメラ１３４から入力された画像を処理する、イメージ（ビデオ）シグナルプロセッサである。また、画像信号処理部は、メインプロセッサ１１１等により作成したオブジェクトを入力画像に重畳してディスプレイ１３１に出力する。画像信号処理部は、メインプロセッサ１１１により実現されてもよいし、メインプロセッサ１１１とは別に、画像専用のプロセッサを備え、それにより実現されてもよい。
【0052】
アウトカメラ１３３およびインカメラ１３４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラである。
【0053】
アウトカメラ１３３は、ＨＭＤ１００の周囲の画像を取得する。アウトカメラ１３３は、ＨＭＤ１００の前面に設置され、前方の視界視野状態を撮影する。なお、ＨＭＤ１００には、ディスプレイ１３１の種類によって、光学透過型とビデオ透過型とがあるが、両者ともアウトカメラ１３３により撮影された、目の前の視野視界状態を撮影して取り込むものである。
【0054】
インカメラ１３４は、アウトカメラ１３３とは異なる領域の画像を取得する。例えば、ユーザ９０１の眼を撮影する。なお、本実施形態では、インカメラ１３４は、視線特定処理を行う処理部とともに、視線検出センサとして機能する。
【0055】
視線検出センサは、例えば、右目視線検出部と、左目視線検出部とを備え、それぞれ右目、左目の視線を検出する。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を顔に照射し、赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する。この場合、赤外線カメラ、赤外線ＬＥＤを備える。
【0056】
なお、操作受付装置１２０として、ディスプレイ１３１の表示画面内に入力操作画面を表示させ、右目視線検出部、左目視線検出部により検出した視線が向いている入力操作画面上の位置により入力操作情報を取り込んでもよい。ポインタを入力操作画面上に表示させ、操作受付装置１２０によりポインタを操作して入力操作情報を取り込んでもよい。
【0057】
音声処理装置１４０は、音声を処理するオーディオプロセッサである。スピーカ１４１と、マイク１４３と、を備える。
【0058】
スピーカ１４１は、音声信号処理部で処理した音声信号を外部に出力する。外部に対し音声を出力しユーザに通知情報や音楽などの音声を知らしめる。音声信号処理部は、オーディオシグナルプロセッサである。ＨＭＤ１００では、例えば、ヘッドフォン等が用いられる。
【0059】
マイク１４３は、ユーザの声などを集音し、音声データに変換して入力する。例えば、外周音マイクと、発声音マイクとを備えてもよい。これらのマイクは、各々、外部からの音声、ユーザ９０１自身の発声を集音する。なお、ヘッドフォンが接続されてもよい。ヘッドフォンは、ユーザ９０１の耳部に装着されユーザ９０１への音声を聞き取る。ヘッドフォンは、ユーザ９００への通知情報を音声で知らしめることができる。なお、操作受付装置１２０として、ユーザ９００が入力操作を示す音声を発声し、マイク１４３で集音して入力操作情報を取り込んでもよい。
【0060】
センサ１５０は、ＨＭＤ１００の状態を検出するためのセンサ群である。本実施形態では、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信装置１５１と、ジャイロセンサ１５２と、地磁気センサ１５３と、加速度センサ１５４と、深度センサ１５５とを備える。これらのセンサ群により、ＨＭＤ１００の位置、動き、傾き、方角等を検出する。また、深度センサ１５５は、ＨＭＤ１００から対象物までの距離情報を取得する。なお、その他のセンサを、さらに、備えていても良い。
【0061】
加速度センサ１５４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。また、ジャイロセンサ１５２は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。ＨＭＤ１００に搭載されている加速度センサ１５４およびジャイロセンサ１５２を用いて、ＨＭＤ１００の動きを検出することができる。
【0062】
地磁気センサ１５３は、地球の磁力を検出するセンサであり、ＨＭＤ１００の向いている方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、ＨＭＤ１００の動きに対する地磁気変化を捉まえることにより、ＨＭＤ１００の動きを検出してもよい。
【0063】
深度センサ１５５は、人や物などの対象物の形状を立体として捉えることができるセンサである。赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し遠距離にある対象物までの距離やその対象物の状態を分析検出するＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）や、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行うＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対の象物の状態を検出するミリ波レーダーなどが用いられる。
【0064】
通信装置１６０は、近距離無線通信、無線ＬＡＮ或いは基地局通信により、近傍にある他の情報端末と無線通信を行う通信インタフェースである。無線通信に際しては送受信アンテナを介して、データの送受信を行う。本実施形態では、アプリの連携実行に参加する各情報端末の全ＩＤを収集した参加ＩＤ情報やアプリ起動指示情報、また起動アプリで再生するファイルデータなどの送受信を行う。
【0065】
通信装置１６０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信インタフェース（Ｉ／Ｆ）１６１と、電話網通信Ｉ／Ｆ１６２と、近距離無線通信Ｉ／Ｆ１６３と、を備える。
【0066】
ＬＡＮ通信Ｉ／Ｆ１６１は、無線アクセスポイント等を介してインターネット等のネットワーク３００と接続され、ネットワーク３００上の各サーバとデータの送受信を行う。無線アクセスポイント等との接続はＷｉ－Ｆｉ（登録商標）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いてもよい。
【0067】
電話網通信Ｉ／Ｆ１６２は、移動体電話通信網を利用して通信ネットワークに接続され、通信ネットワーク上のサーバと情報の送受信を行う。用いられる通信方式には、例えば、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）方式などの第３世代移動通信システム（以下「３Ｇ」と表記する）、または、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、第４世代（４Ｇ）、第５世代（５Ｇ）と呼ばれる通信方式等がある。
【0068】
近距離無線通信Ｉ／Ｆ１６３は、近距離無線通信を行うインタフェースである。近距離無線通信は、周囲のＨＭＤ１００間で、直接データの送受信を行う通信方式である。本実施形態では、例えば、例えば電子タグを用いて行う。電子タグは、無線電波を利用して非接触でＩＣチップの中のデータを読み書きするＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術を利用した通信方式である。
【0069】
しかしながら、近距離無線通信は、これに限定されず、ＨＭＤ１００が他の情報端末の近くにある場合に少なくとも無線で通信可能である方式であればよい。例えば、Ｂｌｕｅｔｏｏｔｈ規格による通信、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ、登録商標）などを用いる赤外線による通信、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Ｈｏｍｅ Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、登録商標）などを用いる通信であってもよい。または、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮを用いて行なってもよい。また、超広帯域無線システム（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ：ＵＷＢ）を用いてもよい。
【0070】
ＬＡＮ通信Ｉ／Ｆ１６１、電話網通信Ｉ／Ｆ１６２、近距離無線通信Ｉ／Ｆ１６３は、それぞれ符号化回路や復号回路、アンテナ等を備える。
【0071】
なお、通信装置１６０は、無線通信の手段として光通信音波による通信等、他の方法を使用してもよい。その場合、送受信アンテナの代わりにそれぞれ光発光／受光部、音波出力／音波入力部を用いる。
【0072】
また、高精細映像等を扱う画像アプリの場合などでは使うデータ量は飛躍的に多く、この場合、無線通信に５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ：第５世代移動通信システム）、ローカル５Ｇなどの高速大容量通信網を使用してもよい。これにより、データ量の増大による表示遅延、伝送時のデータロスによる品質低下等を防ぐことができ、使い勝手を向上できる。
【0073】
拡張インタフェース部１７１は、ＨＭＤ１００の機能を拡張するためのインタフェース群であり、本実施形態では、充電端子、映像／音声インタフェース、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース、メモリインタフェース等を備える。映像／音声インタフェースは、外部映像／音声出力機器からの映像信号／音声信号の入力、外部映像／音声入力機器への映像信号／音声信号の出力、等を行う。ＵＳＢインタフェースはＳＢ機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
【0074】
振動発生装置１７３は、メインプロセッサ１１１の制御によって振動を発生させるもので、ＨＭＤで発信されたユーザへの通知情報を振動に変換する。振動発生装置１７３は密接装着されているユーザ頭部で振動を発生させることにより、ユーザへの通知を確実に伝えることができる。
【0075】
なお、図３に示すＨＭＤ１００の構成例は、本実施形態に必須ではない構成も含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成がさらに加えられていても良い。
【0076】
［ＨＭＤの機能ブロック］
次に、本実施形態のＨＭＤ１００の機能構成について説明する。図４（ａ）は、ＨＭＤ１００の、本実施形態に係る構成の、機能ブロック図である。本図に示すようにＨＭＤ１００は、主制御部２１０と、検出部２２０と、実行部２３０と、連携部２４０と、を備える。また、処理に用いるデータとして、アプリリスト２５０と、連携グループリスト２６０と、アプリ・処理データ２７０と、を備える。
次に、本実施形態のＨＭＤ１００の機能構成について説明する。図４（ａ）は、ＨＭＤ１００の、本実施形態に係る構成の、機能ブロック図である。本図に示すようにＨＭＤ１００は、主制御部２１０と、検出部２２０と、実行部２３０と、連携部２４０と、を備える。また、処理に用いるデータとして、アプリリスト２５０と、連携グループリスト２６０と、アプリ・処理データ２７０と、を備える。
【0077】
主制御部２１０は、ＨＭＤ１００全体の動作を制御する。オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：ＯＳ）や各種の動作制御用アプリなどのプログラムを実行することによって、ＨＭＤ全体の動作制御を行うとともに、各種のアプリの起動、実行を制御する。
【0078】
検出部２２０は、アプリケーションに対応付けられた連携マーク８１０を検出する。本実施形態では、検出部２２０は、図５（ａ）および図５（ｂ）に示すように、アウトカメラ１３３でＨＭＤ１００の周囲（視野範囲）を撮影し、得られた画像（撮影画像１３６）を解析する。そして、撮影画像内にアプリリスト２５０内にアプリに対応づけて登録された図形に所定の割合で合致する領域１３７が含まれる場合、連携マーク８１０を検出したものとする。
【0079】
ここで、アプリリスト２５０について説明する。アプリリスト２５０は、アプリケーションに対応付けて連携マーク８１０のデータ（マークデータ）が記憶されるリストである。本実施形態では、図４（ｂ）に示すように、アプリケーションを特定する情報であるアプリ識別情報（アプリＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）２５１）に対応づけて、マークデータ２５２が登録される。マークデータ２５２は、例えば、マークの形状データ２５３と、マークを識別する情報であるマーク識別情報（マークＩＤ２５４）と、を備える。
【0080】
アプリリスト２５０は、例えば、アプリケーションのインストール時に、登録される。マークデータ２５２は、例えば、アプリケーションの起動に用いるアイコンデータであってもよい。マークデータ２５２は、アプリケーションのアップデート時に更新（変更、追加）されてもよい。マークデータ２５２は、１つのアプリケーションについて、１種に限定されない。
【0081】
検出部２２０は、ＨＭＤ１００は、連携アプリを実行していない場合、所定の時間間隔で、撮影画像１３６を解析し、撮影画像１３６内にアプリリスト２５０に登録されている形状データ２５３に対応する領域１３７が含まれているか否かを判別する。撮影画像１３６内に、連携マーク８１０に対応する領域１３７（図形）があるか否かの判断は、パターンマッチング等により行う。そして、含まれている場合、連携マーク８１０を検出したと判別する。なお、電力消費を少なくする、連携マーク８１０を認識しても連携を行いたくない、等の目的で、検出部２２０での検出動作は、ユーザ９００からの指示等によって開始するようにしてもよい。
【0082】
連携マーク８１０を検出した場合、検出部２２０は、検出したマークデータ２５２に対応付けてアプリリスト２５０に登録されたアプリケーションを、連携して実行するアプリケーション（連携アプリ）として特定する。
【0083】
なお、検出部２２０は、ユーザ９００からマーク検出指示を受け付けたことを契機に、上記解析を行ってもよい。
【0084】
また、例えば、撮影画像１３６から、アプリリスト２５０にマークデータ２５２として格納されていないマークが抽出された場合、検出部２２０は、ネットワーク上のサーバ等に問い合わせ、当該マークに対応付けられたアプリケーションの有無を判別してもよい。もし、当該マークに対応付けられたアプリケーションがある場合、当該アプリケーションを当該マークとともにダウンロードし、マークをアプリＩＤ２５１に対応づけてアプリリスト２５０に格納する。アプリケーション自体は、アプリケーション・処理データ２７０に格納する。
【0085】
なお、検出の際、連携アプリに対応する連携マーク８１０であるか、単なる図形であるかを判断するため、連携マーク８１０には、例えば、大きさ、形、枠線種類等、予め基準を設けておいてもよい。
【0086】
また、アウトカメラ１３３の撮影視野全体を、検出範囲とせず、図５（ｃ）に示すように、撮影視野内の所定の領域（連携視野１３１ａ）に該当する連携マーク８１０があるか否により、検出できたか否かを判別してもよい。連携視野１３１ａは、予め定めてもよいし、例えば、ユーザ９００の視線方向と撮影視野との交点を中心とする所定の範囲としてもよい。
【0087】
実行部２３０は、検出部２２０が連携アプリとして特定したアプリを起動し、実行する。なお、アプリは、検出部２２０が特定したアプリＩＤ２５１に対応づけてアプリ・処理データ２７０に記憶される。アプリ実行時は、他のＨＭＤ１００と連携して実行する。
【0088】
なお、アプリ・処理データ２７０は、アプリおよびアプリの実行に必要な各種のファイルデータである。このデータを用い、実行部２３０では、所望の連携アプリを起動し、実行することができる。連携して実行する間は、実行部２３０は、複数のＨＭＤ１００の間では、通信装置１６０を介して情報の送受信を行う。
【0089】
連携部２４０は、同じ連携マーク８１０を検出したＨＭＤ１００を、連携グループの構成メンバとして管理する。本実施形態では、近距離無線通信の通信圏内の、互いに通信が可能なＨＭＤ１００の中の、該当するＨＭＤ１００を管理する。
【0090】
連携部２４０は、ＨＭＤ１００において、状態（ステータス）に変更があった場合、それを通知する通知データを生成し、周囲のＨＭＤ１００に送信する。本実施形態では、例えば、連携部２４０は、連携マーク８１０を検出した場合、検出したことを示す通知データが生成される。また、実行している連携アプリを終了した場合、終了したことを示す通知データが生成される。
【0091】
ここで、連携部２４０が生成する通知データ２８０を説明する。通知データ２８０は、図４（ｃ）に示すように、検出した連携マーク８１０を特定する情報であるマークＩＤ２８１と、ＨＭＤ１００自身を特定する情報である端末識別情報（装置ＩＤ２８２）と、当該ＨＭＤ１００のアドレス２８３と、連携アプリを特定する情報であるアプリＩＤ２８４と、状態を示す情報（ここでは、検出または終了；ステータス２８５）と、が登録される。ＨＭＤ１００の各装置の装置ＩＤ２６２は、予め設定される。アドレス２８３は、例えば、連携アプリの連携を、ＬＡＮ等のネットワークを介して行う場合に用いられる。装置ＩＤ２８２としてアドレス２８３を用いてもよい。
【0092】
例えば、検出部２２０が連携マーク８１０を検出した際は、ステータス２８５に「検出」が登録された通知データ２８０（以後、検出通知データ２８０ａ）が生成され、送信される。一方、連携アプリを終了する際は、ステータス２８５に「終了」が登録された通知データ２８０（以後、終了通知データ２８０ｂ）が生成され、送信される。通知データ２８０は、例えば、近距離無線通信で送信される。
【0093】
なお、本実施形態では、検出通知データ２８０ａは、同じ連携マーク８１０を検出したか否かを問い合わせる問合データも兼ねる。連携部２４０は、マークＩＤ２８１が、自装置が検出した連携マーク８１０のマークＩＤ２５４と同じである検出通知データ２８０ａを他のＨＭＤ１００から受信した場合、自装置も同じ連携マーク８１０を検出したことを示すために、検出通知データ２８０ａを、送信元のＨＭＤ１００に対して返信する。これにより、途中から連携グループに参加する際、既にグループに参加している全ＨＭＤ１００の情報を得ることができる。
【0094】
また、連携部２４０は、連携マーク８１０が検出されると、連携グループリスト２６０を生成し、管理する。連携グループリスト２６０は、図４（ｄ）に示すように、当該連携アプリを連携して実行するＨＭＤ１００を、連携グループの構成メンバとして管理するリストである。連携グループリスト２６０は、連携マークのマークＩＤを格納するマークＩＤ格納場所２６１と、連携グループのＨＭＤ１００の装置ＩＤ２６２と、アドレス２６３と、を備える。
【0095】
連携マーク８１０が検出されると、連携部２４０は、まず、連携グループリスト２６０を生成し、検出された連携マーク８１０に対応したマークＩＤ（Ａ）を連携グループリスト２６０のマークＩＤ格納場所２６１に登録する。その後、連携部２４０は、連携グループリスト２６０のマークＩＤ格納場所２６１に登録されたマークＩＤ（Ａ）と同じマークＩＤ（Ａ）の検出通知データ２８０ａを受信すると、当該検出通知データ２８０ａに含まれる装置ＩＤ２８２と、アドレス２８３と、を、連携グループリストの装置ＩＤ２６２と、アドレス２６３とに登録する。また、連携グループリスト２６０のマークＩＤ格納場所２６１に登録されたマークＩＤ（Ａ）と同じマークＩＤ（Ａ）の終了通知データ２８０ｂを受信すると、当該終了通知データ２８０ｂに含まれる装置ＩＤ２８２とアドレス２８３とを有するデータを、連携グループリスト２６０から削除する。
【0096】
連携部２４０は、このように、通知データ２８０を送受信し、それに応じて連携グループリスト２６０を更新することにより、連携グループに属するＨＭＤ１００を管理する。本実施形態では、同じ連携マーク８１０を検出し、連携アプリを実行する、全てのＨＭＤ１００において、同様に連携グループリスト２６０を生成し、管理する。これにより、各ＨＭＤ１００において、連携グループリスト２６０が共有される。
【0097】
上記各機能は、メインプロセッサ１１１が、ＲＯＭ１１４に記憶されたプログラムをＲＡＭ１１３にロードして実行することにより実現される。また、各リスト、データは、記憶装置１１０に格納される。
【0098】
以上の構成により、ＨＭＤ１００では、アウトカメラ１３３によりＨＭＤ１００前方の視界視野を撮影して、撮影視野内、または、連携視野１３１ａ内にアイコン等の連携マーク８１０を捉えた場合、当該連携マーク８１０に対応付けられたアプリケーションを連携アプリとして連携して実行できる。
【0099】
［連携処理］
次に、本実施形態の連携処理の流れを、図６を用いて説明する。ここでは、１台のＨＭＤ１００での処理を説明する。
次に、本実施形態の連携処理の流れを、図６を用いて説明する。ここでは、１台のＨＭＤ１００での処理を説明する。
【0100】
検出部２２０は、連携マーク８１０を検出する（ステップＳ１１０１）と、検出した連携マーク８１０に対応付けてアプリリスト２５０に登録されているアプリを、連携アプリとして特定する（ステップＳ１１０２）。
【0101】
連携部２４０は、連携グループリスト２６０を生成し（ステップＳ１１０３）、検出通知データ２８０ａを周囲のＨＭＤ１００に近距離無線通信で送信する（ステップＳ１１０４）。なお、連携グループリスト２６０の生成と、検出通知データ２８０ａの送信とは、いずれを先に行ってもよい。
【0102】
実行部２３０は、連携アプリを起動し、終了指示を受け付けるまで、連携アプリを実行する（ステップＳ１１０５、Ｓ１１０６）。
【0103】
連携アプリ実行中、周囲のＨＭＤ１００から検出通知データ２８０ａを受信すると（ステップＳ１１０７）、連携部２４０は、自身が検出した連携マーク８１０と同じマークＩＤ２８１を有する場合、連携グループリスト２６０を更新する（ステップＳ１１０８）。ここでは、連携グループリスト２６０に、当該検出通知データ２８０ａの装置ＩＤ２８２およびアドレス２８３を追加する。そして、その後は、更新後の連携グループリスト２６０に基づいて、連携アプリを実行する。
【0104】
また、連携アプリの終了指示を受け付けると、実行部２３０は、連携アプリを終了し、連携部２４０は、周囲のＨＭＤ１００へ終了通知データを送信し（ステップＳ１１０９）、処理を終了する。
【0105】
以上説明したように、本実施形態の情報処理システム７００は、複数の情報処理端末であるＨＭＤ１００で連携してアプリケーションを実行する。そして、ＨＭＤ１００は、それぞれ、予め定めた連携マーク８１０を検出する検出部２２０と、検出された連携マーク８１０に対応付けられたアプリケーションを連携アプリとして、同じ連携マーク８１０を検出した他のＨＭＤ１００と連携して実行する実行部２３０と、を備える。さらに、本実施形態のＨＭＤ１００は、それぞれ、同じ連携マーク８１０を検出した他のＨＭＤ１００を、連携アプリを連携して実行する連携グループの構成端末（構成メンバ）として管理する連携部２４０を備える。
【0106】
このように、本実施形態によれば、ユーザ９００が同じ連携マーク８１０を認識することにより、複数のＨＭＤ１００で起動実行する連携アプリの特定、および、連携するＨＭＤ１００の特定を、自動的に行うことができる。すなわち、本実施形態によれば、各ＨＭＤ１００で同じ連携マーク８１０を検出するだけで、連携グループを形成し、同一または同等の連携アプリを、連携して実行できる。例えば、ＨＭＤ１００などの情報端末を装着したユーザ９００間でグループを形成して、グループ間でチャットや会議、ゲームなどを、簡単かつ使い勝手よく実行できる。
【0107】
また、連携マーク８１０を検出しないＨＭＤ１００は、連携グループに入らない。このため、意図しないユーザ９００のＨＭＤ１００と連携されることがなく、安全である。
【0108】
従来は、初期設定時に連携グループの構成メンバでないＨＭＤ１００が後から参加する場合、連携グループの再構築が必要である。再構築する場合、連携グループのメンバが後から参加する人をグループに加える操作をする等の手間が必要である。しかし、本実施形態によれば、最新の構成メンバを連携グループリストで管理できるため、連携マーク８１０を見る動作のみで後から参加する人が連携グループに加わることが可能となる。したがって、従来必要であった操作等が不要となり、使い勝手を大幅に向上できる。
【0109】
このように、本実施形態によれば、複数の情報処理端末間で、簡単に使い勝手よくアプリケーションの連携を実現できる。
【0110】
なお、本実施形態の手法で連携アプリを起動させる場合は、連携する対象のＨＭＤ１００は、安全のためローカルエリアネットワーク（ＬＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、バーチャルプライベートネットワーク（ＶＰＮ）等、接続する範囲を限定したローカルネットワーク内でのみ通信するものに限定してもよい。
【0111】
＜変形例１＞
なお、上記実施形態では、各ＨＭＤ１００が、連携アプリを特定後、それぞれ、連携アプリを起動しているが、これに限定されない。例えば、最初に連携マーク８１０を検出したＨＭＤ１００をメイン装置とし、メイン装置であるＨＭＤ１００から、他のＨＭＤ１００に、連携アプリの起動指示を送信し、他のＨＭＤ１００では、起動指示を受信してから、連携アプリを起動させてもよい。
なお、上記実施形態では、各ＨＭＤ１００が、連携アプリを特定後、それぞれ、連携アプリを起動しているが、これに限定されない。例えば、最初に連携マーク８１０を検出したＨＭＤ１００をメイン装置とし、メイン装置であるＨＭＤ１００から、他のＨＭＤ１００に、連携アプリの起動指示を送信し、他のＨＭＤ１００では、起動指示を受信してから、連携アプリを起動させてもよい。
【0112】
この場合、例えば、最も早く連携マーク８１０を検出したＨＭＤ１００をメイン装置とする。この場合、連携部２４０は、連携アプリが特定され、かつ、検出通知データ２８０ａを未受信の場合、検出通知データを周囲のＨＭＤ１００に送信するとともに、自装置をメイン装置とするフラグを設定する。そして、メイン装置の連携部２４０は、連携グループリスト２６０を生成し、所定期間、周囲のＨＭＤ１００から検出通知データ２８０ａを受信する毎に、連携グループリスト２６０に登録する。所定期間経過後、連携部２４０は、連携グループリスト２６０に登録されたＨＭＤ１００に対し、アプリ起動指示を出力する。
【0113】
メイン装置以外のＨＭＤ１００の連携部２４０は、連携マーク８１０を検出後、周囲のＨＭＤ１００から、連携マーク８１０に対応したマークＩＤ（Ａ）と同じマークＩＤ（Ａ）の検出通知データ２８０ａを受信すると、その返信として、自装置の検出通知データ２８０ａを生成し、送信元のＨＭＤ１００（メイン装置）に送信する。その後、アプリ起動指示を受信すると、実行部２３０は、連携アプリを起動させ、実行する。
【0114】
なお、メイン装置を設ける場合、連携グループリスト２６０は、連携グループの全ＨＭＤ１００が備えてもよいし、メイン装置のみが備えてもよい。メイン装置のみが備える場合は、連携アプリの実行時、連携処理は、メイン装置を介して行われる。
【0115】
また、メイン装置は、最も早く連携マーク８１０を検出したＨＭＤ１００には限らない。例えば、予め定めておいてもよい。
【0116】
また、本変形例では、メイン装置から検出通知データ２８０ａを送信すると、折り返し、同じ連携マーク８１０を検出したＨＭＤ１００から返信として検出通知データ２８０ａを受信するよう構成しているが、これに限定されない。例えば、メイン装置が、連携マーク８１０を認識したか否か、予め定めた探索範囲の全ＨＭＤ１００に対し、問い合わせるよう構成してもよい。そして、検出したとの回答を受け取ったＨＭＤ１００を、連携グループリスト２６０に登録する。
【0117】
この場合は、探索範囲を予め定めた所定の範囲内に限定すると検索時間が短くなる。例えば、前出のＬＡＮ、ＰＡＮ、ＶＰＮ内の機器間、近距離無線通信（Ｗｉ－ｆｉ（登録商標），Ｂｌｕｅｔｏｏｔｈ等）で直接通信できるＨＭＤ１００間、同じアクセスポイントにつながっているＨＭＤ１００間、ネットワークのホップ数（データが送信元と送信先の間で通過する必要がある中間ネットワーク機器の数）が指定範囲内であるＨＭＤ１００間、等に限定する。また、探索を指定時間で打ち切るよう構成してもよい。これにより、ホップ数が大きいＨＭＤ１００は必然的に探索の対象から除外されるため、同等の目的を果たすことができる。
【0118】
＜＜第二実施形態＞＞
次に、本発明の第二実施形態を説明する。第一実施形態では、ＨＭＤ１００のみで、連携を実現する。また、変形例を除き、基本的に、個々のＨＭＤ１００が、それぞれ、連携グループを管理する。一方、本実施形態では、ＨＭＤ１００とは異なる第二情報処理端末であるサーバが連携グループを管理し、連携を実現する。以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。
次に、本発明の第二実施形態を説明する。第一実施形態では、ＨＭＤ１００のみで、連携を実現する。また、変形例を除き、基本的に、個々のＨＭＤ１００が、それぞれ、連携グループを管理する。一方、本実施形態では、ＨＭＤ１００とは異なる第二情報処理端末であるサーバが連携グループを管理し、連携を実現する。以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。
【0119】
本実施形態の情報処理システム７０１は、図７に示すように、第一実施形態の情報処理システム７００の構成に、さらに、サーバ４００を備える。複数のＨＭＤ１００は、互いに、近距離無線通信によりデータの送受信が可能である。また、複数のＨＭＤ１００それぞれは、サーバ４００と、ＬＡＮ等のネットワーク３００を介して、情報の送受信が可能である。ＨＭＤ１００は、例えば、無線ルータ等を介してネットワーク３００に接続される。
【0120】
本実施形態のＨＭＤ１００のハードウェア構成は、第一実施形態と同じである。本実施形態のＨＭＤ１００の機能構成も、基本的に第一実施形態と同じである。ただし、連携部２４０と、実行部２３０の構成が異なる。また、記憶装置１１０に記憶されるデータも異なる。
【0121】
本実施形態では、第一実施形態同様、連携部２４０は、連携マーク８１０が検出された場合、サーバ４００に向けて、検出通知データ２８０ａを送信する。また、連携アプリを終了する際、サーバ４００に向けて終了通知データ２８０ｂを送信する。なお、本実施形態では、検出通知データ２８０ａには、ＨＭＤ１００の現在位置情報も含めてもよい。
【0122】
本実施形態では、サーバ４００は、連携して連携アプリを実行するＨＭＤ１００群を、連携グループとして管理する。
【0123】
サーバ４００は、各ＨＭＤ１００と通信を介して接続して必要な情報の送受信ができればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。
【0124】
図８（ａ）は、本実施形態のサーバ４００の、本実施形態の処理に関連する機能のブロック図である。本図に示すようにサーバ４００は、主制御部４１０と、送受信部４２０と、連携制御部４３０と、連携管理部４４０と、を備える。また、連携グループリスト４６０を管理する。
【0125】
送受信部４２０は、各ＨＭＤ１００から、通知データ２８０を受信する。
【0126】
連携管理部４４０は、同じ連携アプリを連携して実行するＨＭＤ１００のグループを、連携グループとして管理する連携管理処理を実行する。本実施形態では、同じ連携マーク８１０を検出したＨＭＤ１００群で１つの連携グループリスト４６０を生成し、当該リストにより連携グループを管理する。
【0127】
連携グループリスト４６０は、マークＩＤ毎に生成される。各連携グループリスト４６０は、基本的に、第一実施形態の連携グループリスト２６０と同じ構成を有する。すなわち、図８（ｂ）に示すように、連携マーク８１０を特定するマークＩＤ毎に、当該マークＩＤを格納するマークＩＤ格納場所４６１と、当該連携アプリを連携して実行するＨＭＤ１００の、装置ＩＤ４６２と、アドレス４６３とを備える。本実施形態では、サーバ４００から連携グループリスト４６０を受信すると、記憶装置１１０に記憶している連携グループリスト２６０を最新のものに置き換える。
【0128】
連携制御部４３０は、連携アプリの実行を、サーバ４００を介して行う場合、複数のＨＭＤ１００間の連携アプリの実行を制御する。連携アプリの実行は、連携グループリスト４６０に基づいて制御する。例えば、データを受け取ると、送信元のＨＭＤ１００の装置ＩＤが含まれる連携グループの、送信元のＨＭＤ１００以外のＨＭＤ１００に対し、当該データを送信する。連携制御部４３０は、後述する変形例で用いられる。
【0129】
図８（ｃ）は、サーバ４００のハードウェア構成図である。本実施形態のサーバ４００は、ＣＰＵ４０１と、メモリ４０２と、記憶装置４０３と、通信インタフェース４０４と、を備える。上記各機能は、ＣＰＵ４０１が、記憶装置４０３に格納されたプログラムをメモリ４０２にロードして実行することにより実現される。
【0130】
上記構成により、本実施形態においても、複数のＨＭＤ１００間で、連携グループを構成し、連携して共通するアプリを実行することができる。
【0131】
［連携処理］
次に、本実施形態の連携アプリ実行時の処理（連携アプリ実行処理）の流れを、図９に沿って説明する。ここでは、１つのＨＭＤ１００との間のデータの送受信を例にあげて説明する。他のＨＭＤ１００との間も同様である。
次に、本実施形態の連携アプリ実行時の処理（連携アプリ実行処理）の流れを、図９に沿って説明する。ここでは、１つのＨＭＤ１００との間のデータの送受信を例にあげて説明する。他のＨＭＤ１００との間も同様である。
【0132】
ＨＭＤ１００の検出部２２０は、連携マーク８１０を検出する（ステップＳ１１０１）と、検出した連携マーク８１０に対応付けて登録されているアプリを、連携アプリとして特定する（ステップＳ１１０２）。
【0133】
ＨＭＤ１００の連携部２４０は、検出通知データ２８０ａを生成し、サーバ４００に送信する（ステップＳ２１０４）。
【0134】
サーバ４００の連携管理部４４０は、検出通知データ２８０ａを受信すると（ステップＳ２２０１）、送信元のＨＭＤ１００のデータを連携グループリスト４６０に格納することにより、連携グループリスト４６０を更新する（ステップＳ２２０２）。ここでは、検出通知データ２８０ａのマークＩＤ２８１に対応するマークＩＤがマークＩＤ格納場所４６１に格納されている連携グループリスト４６０に、装置ＩＤ２８２およびアドレス２８３を追加する。なお、検出通知データ２８０ａのマークＩＤ２８１に対応するマークＩＤがマークＩＤ格納場所４６１に格納されている連携グループリスト４６０がない場合は、新たに作成し、その後、追加する。
【0135】
そして、連携管理部４４０は、更新を終えると、連携グループへの参加処理が完了したことを示すとともに起動を指示するデータ（起動指示）を、送信元のＨＭＤ１００に返信する（ステップＳ２２０３）。また、連携グループリストに登録されている全ＨＭＤ１００に対し、連携グループリストを送信する。
【0136】
ＨＭＤ１００の実行部２３０は、起動指示を受信すると、連携アプリを起動し、実行する（ステップＳ１１０５）。第一実施形態同様、ＨＭＤ１００の実行部２３０は、実行アプリの終了指示を受け付けるまで（ステップＳ１１０６）、当該実行アプリの実行を継続する。
【0137】
連携アプリ実行中、本実施形態では、実行部２３０は、連携して実行するために必要なデータを、連携グループリストに登録された他のＨＭＤ１００と送受信する（ステップＳ２１０８）。
【0138】
ＨＭＤ１００の実行部２３０は、ユーザ９００から連携アプリ終了の指示を受け付けると、連携アプリを終了し、連携部２４０は、終了通知データ２８０ｂを生成し、サーバ４００に送信し（ステップＳ２１０９）、処理を終了する。一方、終了通知データ２８０ｂを受信（ステップＳ２２０５）したサーバ４００の連携管理部４４０は、連携グループリスト４６０から、送信元のＨＭＤ１００を削除することにより、連携グループリスト４６０を更新する（ステップＳ２２０６）。さらに、更新後の連携グループリスト４６０に登録されている各ＨＭＤ１００に対して、更新後の連携グループリスト４６０を送信する。
【0139】
なお、他のＨＭＤ１００についても同様で、連携マーク８１０を検出すると、サーバ４００に、検出通知データ２８０ａを送信する。サーバ４００では、検出通知データ２８０ａまたは終了通知データ２８０ｂを受信すると、随時、連携グループリスト４６０を更新し、更新後の連携グループリスト４６０を返信する。
【0140】
以上説明したように、本実施形態の情報処理システム７０１は、複数の情報処理端末であるＨＭＤ１００で連携してアプリケーションを実行する。そして、ＨＭＤ１００は、それぞれ、予め定めた連携マーク８１０を検出する検出部２２０と、検出された連携マーク８１０に対応付けられたアプリケーションを連携アプリとして、同じ連携マーク８１０を検出した他のＨＭＤ１００と連携して実行する実行部２３０と、を備える。さらに、本実施形態の情報処理システム７０１は、同じ連携マーク８１０を検出した複数のＨＭＤ１００を、連携アプリを連携して実行する連携グループの構成メンバとして管理する連携管理部４４０を備えるサーバ４００をさらに備える。連携管理部４４０は、連携管理処理により得られたデータを、他のＨＭＤ１００に送信するとともに、他のＨＭＤ１００から連携管理処理により得られたデータを受信する。一方、ＨＭＤ１００の実行部２３０は、連携アプリの処理により得られたデータを、他のＨＭＤ１００に送信するとともに、他のＨＭＤ１００から連携アプリの処理により得られたデータを受信する。
【0141】
本実施形態によれば、第一実施形態同様、簡単かつ安全に使い勝手よく、アプリケーションの連携を実現できる。さらに、本実施形態によれば、連携するＨＭＤ１００を、サーバ４００で管理する。ＨＭＤ１００が同じ連携マーク８１０を検出でき、かつ、サーバ４００と通信ができさえすれば、ＨＭＤ１００の配置には制約がなく、より自由度の高いシステムを実現できる。
【0142】
＜変形例２＞
なお、本実施形態のＨＭＤ１００では、起動指示をサーバ４００から受信すると、連携アプリを起動している。しかしながら、これに限定されない。例えば、第一実施形態同様、連携アプリを特定すると、ＨＭＤ１００側で、独自に連携アプリを起動してもよい。この場合、サーバ４００から、起動指示を送信しなくてもよい。
なお、本実施形態のＨＭＤ１００では、起動指示をサーバ４００から受信すると、連携アプリを起動している。しかしながら、これに限定されない。例えば、第一実施形態同様、連携アプリを特定すると、ＨＭＤ１００側で、独自に連携アプリを起動してもよい。この場合、サーバ４００から、起動指示を送信しなくてもよい。
【0143】
＜変形例３＞
また、起動指示は、一斉送信してもよい。例えば、ほぼ同時に、複数のＨＭＤ１００が、連携マーク８１０を視認し、連携グループを形成して連携アプリを実行する場合などである。この場合、サーバ４００は、所定期間内に、同じマークＩＤ２８１を有する検出通知データ２８０ａの送信元の複数のＨＭＤ１００に対し、同時に参加可データを送信する。
また、起動指示は、一斉送信してもよい。例えば、ほぼ同時に、複数のＨＭＤ１００が、連携マーク８１０を視認し、連携グループを形成して連携アプリを実行する場合などである。この場合、サーバ４００は、所定期間内に、同じマークＩＤ２８１を有する検出通知データ２８０ａの送信元の複数のＨＭＤ１００に対し、同時に参加可データを送信する。
【0144】
＜変形例４＞
なお、サーバ４００では、連携マーク８１０を検出したＨＭＤ１００毎に、連携グループとして管理する。しかし、連携グループの管理は、これに限定されない。
なお、サーバ４００では、連携マーク８１０を検出したＨＭＤ１００毎に、連携グループとして管理する。しかし、連携グループの管理は、これに限定されない。
【0145】
例えば、同じ連携マーク８１０を検出したＨＭＤ１００群であっても、複数の連携グループに分けて管理してもよい。この場合、例えば、検出通知データ２８０ａを送信してきた時刻で分けてもよい。また、ＨＭＤ１００の位置情報で分けてもよい。
【0146】
時刻で分ける場合、連携管理部４４０は、例えば、上述のように、同じマークＩＤ２８１を含む検出通知データ２８０ａを、所定期間内に連続して受信した場合、それらの検出通知データ２８０ａの送信元のＨＭＤ１００を、１つの連携グループとする。その後、所定期間経過後、同じマークＩＤ２８１を含む検出通知データ２８０ａを送信してきたＨＭＤ１００群は、別の連携グループとする。
【0147】
例えば、図１０に示すように、同じ連携マーク８１０を見て、複数のＨＭＤ１００のグループが違うタイミングでそれぞれのチャットを始めるような場合、連携管理部４４０は、チャットを始めるタイミングで、各ＨＭＤ１００をグループ分けする。そして、それぞれのグループの連携グループリスト４６０を生成し、管理する。ここでは、連携グループ１の連携グループリスト４６０と、連携グループ２の連携グループリスト４６０と、を作成し、管理する。なお、この場合も、ユーザ９００が連携マーク８１０を認識していない、すなわち、連携マーク８１０を検出しないＨＭＤ１０４は、いずれの連携グループにも入らない。
【0148】
なお、ＨＭＤ１００の位置情報で分ける場合、連携管理部４４０は、ＨＭＤ１００から送信される位置情報を用いて、グループ分けを行う。グループ分けの境界は、予め定めておく。
【0149】
＜変形例５＞
なお、上記実施形態では、連携アプリは、連携グループのＨＭＤ１００間で実行されているが、これに限定されない。例えば、サーバ４００を介して実行するよう構成してもよい。この場合、上述の連携制御部４３０が、連携アプリの実行を制御する。また、送受信部４２０は、複数のＨＭＤ１００が連携して連携アプリを実行する際、ＨＭＤ１００間のデータの送受信を仲介する。
なお、上記実施形態では、連携アプリは、連携グループのＨＭＤ１００間で実行されているが、これに限定されない。例えば、サーバ４００を介して実行するよう構成してもよい。この場合、上述の連携制御部４３０が、連携アプリの実行を制御する。また、送受信部４２０は、複数のＨＭＤ１００が連携して連携アプリを実行する際、ＨＭＤ１００間のデータの送受信を仲介する。
【0150】
この場合、連携グループリスト４６０は、サーバ４００においてのみ管理してもよい。すなわち、連携管理部４４０は、ステップＳ２２０３やステップＳ２２０６において、連携グループリスト４６０を、ＨＭＤ１００に送信しなくてもよい。
【0151】
各ＨＭＤ１００では、連携アプリ実行中、実行部２３０は、連携して実行するために必要なデータを、サーバ４００に送信する。また、サーバ４００側では、連携制御部４３０が、連携グループリスト４６０を参照し、連携グループ内のＨＭＤ１００からデータを受信すると、処理を行い、連携グループ内の他のＨＭＤ１００に向けて送信する。
【0152】
なお、サーバ４００は、アプリやファイル、データをサーバ４００上に格納して、適宜各ＨＭＤ１００に通信により転送してもよい。サーバ４００上でアプリを起動して、映像、画面表示、音声等の再生情報を、連携グループの構成メンバであるＨＭＤ１００に転送してもよい。
【0153】
＜＜第三実施形態＞＞
次に、本発明の第三実施形態を説明する。本実施形態では、認識する連携マークを、スマートフォン（以下、スマホと呼ぶ）等の情報処理端末のディスプレイに表示させる。以下、当該情報処理端末をスマホとして本実施形態を説明する。
次に、本発明の第三実施形態を説明する。本実施形態では、認識する連携マークを、スマートフォン（以下、スマホと呼ぶ）等の情報処理端末のディスプレイに表示させる。以下、当該情報処理端末をスマホとして本実施形態を説明する。
【0154】
図１１は、本実施形態の情報処理システム７０２の概要を説明するための図である。本図に示すように、本実施形態の情報処理システム７０２は、複数のＨＭＤ１００（１０１、１０２、１０３、１０４）と、スマホ５００とを備える。
【0155】
本実施形態では、各ＨＭＤ１００は、スマホ５００と連携状態であるか否かを判別する。そして、スマホ５００は、自身と連携状態にあるＨＭＤ１００群を、連携グループの構成メンバとして管理する。
【0156】
本実施形態の情報処理システム７０２は、複数のＨＭＤ１００（１０１、１０２、１０３、１０４）と、スマホ５００と、を備える。本実施形態では、連携マーク８２０は、スマホ５００のディスプレイ５３１に表示される。
【0157】
本実施形態のＨＭＤ１００は、基本的に第一実施形態と同じである。ただし、検出部２２０、連携部２４０の処理、保持するデータが異なる。
【0158】
本実施形態のＨＭＤ１００の検出部２２０は、まず、スマホ５００と、ＨＭＤ１００とが予め定めた位置関係にあるか否かを判別する。すなわち、スマホ５００が後述する連携動作モードで動作可能な状態である所定配置状態であるか否かを判断する。本実施形態では、検出部２２０は、図１２（ａ）に示すように、ディスプレイ１３１に連携視野１３１ａを表示させるとともに、アウトカメラ１３３が撮影した撮影画像を解析し、その表示内容で、所定配置状態であるか否かを判断する。
【0159】
連携視野１３１ａは、ユーザ９００がＨＭＤ１００の開口部分（レンズ部分）、またはディスプレイ１３１の表示領域を通して見ることができる視野範囲の一部の領域に設定される。なお、機器の構成、設定値の変更等によりユーザ９００がＨＭＤ１００を通して見ることのできる視野範囲全てを連携視野１３１ａにしてもよい。
【0160】
検出部２２０は、図１２（ａ）に示すように、連携視野１３１ａ内にスマホ５００のディスプレイ５３１上に表示される所定のアプリのアイコン８２２が入っている場合、所定配置状態と判断する。一般に、スマホ５００のディスプレイ５３１には、図１２（ａ）に示すように、複数のアイコン８２２、８２３、８２４が表示される。所定のアイコンは、例えば、ユーザ９００が選択しているアプリのアイコンとする。
【0161】
連携視野１３１ａ内に、ユーザ９００が選択しているアプリのアイコン８２２が入っているか否かは、撮影画像１３６を解析し、判別する。例えば、検出部２２０は、ユーザ９００の指が指し示している状態、位置を、画像解析処理により、判別する。
【0162】
検出部２２０は、所定配置状態にあると判断すると、所定のアプリのアイコン８２２を、連携マーク８２０として検出する。そして、検出した連携マーク８２０に対応付けてアプリリスト２５０内に登録されたアプリを、連携アプリとして特定する。なお、アプリリスト２５０に登録されていない場合は、第一実施形態同様、例えば、サーバ等の外部装置からアプリケーションを取得し、アプリリスト２５０に登録してもよい。
【0163】
なお、本実施形態では、アプリリスト２５０として、自身にインストールされているアプリケーションのアイコンの形状データを、マークデータ２５２の形状データ２５３として記憶してもよい。
【0164】
また、検出部２２０は、図１２（ｂ）に示すように、連携視野１３１ａ内にスマホ５００のディスプレイ５３１に表示された所定のアイコン８２２が配置されていない場合、すなわち、ＨＭＤ１００とスマホ５００とが、所定配置状態ではない、と判別し、その後の検出処理等は行わない。
【0165】
連携部２４０は、連携マーク８２０が検出されると、検出通知データ２８０ａを生成し、スマホ５００に送信する。
【0166】
実行部２３０は、スマホ５００から起動指示を受信すると、連携アプリを起動させて実行する。なお、本実施形態においても、連携アプリが特定された場合、スマホ５００からの起動指示無しに、ＨＭＤ１００において、連携アプリを起動させてもよい。
【0167】
次に、本実施形態のスマホ５００について説明する。
【0168】
図１３は、スマホ５００のハードウェア構成図である。本図に示すように、スマホ５００は、メインプロセッサ５１１と、記憶装置５１０と、操作受付装置５２０と、画像処理装置５３０と、音声処理装置５４０と、センサ５５０と、通信装置５６０と、拡張インタフェース部５９１と、タイマ５９２と、振動発生装置５９３と、これらを接続する内部バス５１２と、を備える。また、記憶装置５１０は、ＲＡＭ５１３と、ＲＯＭ５１４と、フラッシュメモリ５１５と、を備える。操作受付装置５２０は、操作キー５２１を備える。画像処理装置５３０は、ディスプレイ５３１と、アウトカメラ５３３と、インカメラ５３４と、を備える。音声処理装置５４０は、スピーカ５４１と、マイク５４３と、を備える。センサ５５０は、ＧＰＳ受信装置５５１と、ジャイロセンサ５５２と、地磁気センサ５５３と、加速度センサ５５４と、深度センサ５５５と、を備える。通信装置５６０は、ＬＡＮ通信インタフェース５６１と、電話網通信インタフェース５６２と、近距離無線通信インタフェース５６３と、を備える。これらは、ＨＭＤ１００の同名の構成と同様の機能を有する。
【0169】
ただし、スマホ５００は、ＨＭＤ１００に比べてディスプレイ５３１の面積が広い。このため、操作受付装置５２０は、さらに、タッチセンサを有するタッチパネル５２３を備える。例えば、静電容量式などのタッチパッド方式の入力手段を備えてもよい。この場合、指やタッチペンなどによる接近または接触操作（タッチ操作）を操作入力として検出する。タッチパッド方式は、ユーザ９００が入力したい情報を設定入力したり、ディスプレイ５３１上にあるアプリやファイルのアイコンをタッチ操作により容易に選択指定することができたりする。タッチパネル５２３は、ディスプレイ５３１に重ねて配置される。なお、拡張インタフェース部５９１に接続したキーボード等を介して指示の入力を受け付けてもよい。
【0170】
ディスプレイ５３１は、液晶パネルなどにより構成され、バッテリ容量の残量、各種アラーム、時刻などユーザ９００への通知情報を表示するとともに、ディスプレイ５３１内に起動するアプリのアイコンやアプリの実行状態等を表示する。操作受付装置５２０は、例えば静電容量式などのタッチパッド方式の入力手段であり、指やタッチペンなどによる接近または接触操作（タッチ操作）を操作入力として検出するものである。ユーザ９００が入力したい情報を設定入力したり、ディスプレイ５３１にあるアプリやファイルのアイコンをタッチ操作により容易に選択指定したりする。
【0171】
本実施形態のスマホ５００は、アプリを起動する指示を受け付けるアイコンをディスプレイ５３１上に表示する。このアイコンは、ユーザ９００の指やタッチペンなどによる接近または接触操作（以降、タッチという）によりアプリの指定、起動指示を受け付けるマークである。
【0172】
次に、本実施形態のスマホ５００の機能を説明する。図１４（ａ）は、スマホ５００の機能ブロックである。
【0173】
本図に示すように、本実施形態のスマホ５００は、主制御部５７０と、受付部５７１と、送受信部５７２と、連携管理部５７３と、アプリ実行部５７４と、出力部５７５と、アイコンデータ記憶部５７７と、アプリケーションプログラム記憶部５７６と、連携グループリスト５７８と、を備える。
【0174】
主制御部５７０は、スマホ５００の各部の動作を制御する。本実施形態では、さらに、スマホ５００の動作モードを決定する。本実施形態では、動作モードとして、スマホ５００単独でアプリを実行する単独動作モードと、ＨＭＤ１００と連携してアプリを実行する連携動作モードとの２種を備える。
【0175】
主制御部５７０は、例えば、通信を確立したＨＭＤ１００から、検出通知データ２８０ａを受信すると、動作モードを、連携動作モードと決定する。
【0176】
受付部５７１は、ユーザ９００からの指示を受け付ける。本実施形態では、メインプロセッサ５１１が操作受付装置５２０を動作させることにより実現される。本実施形態では、例えば、アプリの起動指示等各種操作指示を受け付ける。
【0177】
送受信部５７２は、外部装置とのデータの送受信を行う。本実施形態では、メインプロセッサ５１１が通信装置５６０を動作させることにより実現される。本実施形態では、送受信部５７２を介してＨＭＤ１００とデータの送受信を行う。
【0178】
連携管理部５７３は、スマホ５００の動作モードが連携動作モードと決定された際、連携動作を行う。連携管理部５７３は、受信した検出通知データ２８０ａのマークＩＤ２８１と、装置ＩＤ２８２と、アドレス２８３と、を連携グループリスト５７８に登録する。また、連携グループリスト５７８に登録されているＨＭＤ１００から終了通知データ２８０ｂを受信すると、該当する装置のデータを、削除する。これにより、連携グループを管理する。連携グループリスト５７８の構成は、第一実施形態の連携グループリスト２６０と同じである。
【0179】
また、連携管理部５７３は、各連携グループの構成メンバであるＨＭＤ１００による連携アプリの連携動作を制御する。例えば、使用しているアプリアイコンに使用中である印を表示したり、参加者数を表示したりし、どのアプリが起動しているのかを分かりやすくする。これにより、後から参加する人は、参加者がいるアプリを表示で確認してから選んで参加することができる。
【0180】
アプリ実行部５７４は、単独動作モード時に、スマホ５００上でアプリを実行する。単独動作モードは、ユーザ９００からアプリの起動の指示を受け付けると、自装置でそのアプリを起動させ、実行する動作モードである。実行するアプリのプログラムは、アプリケーションプログラム記憶部５７６に記憶される。
【0181】
出力部５７５は、アプリ実行部５７４が実行したアプリの実行結果を出力する。本実施形態では、実行結果は、例えば、ディスプレイ５３１、スピーカ５４１に出力される。
【0182】
アプリケーションプログラム記憶部５７６には、アプリケーションプログラムが記憶される。アイコンデータ記憶部５７７には、各アプリケーションプログラムの実行指示を受け付けるアイコンが記憶される。アイコンは、アプリケーションに対応づけて記憶される。
【0183】
上記各機能は、メインプロセッサ５１１が、ＲＯＭ５１４に記憶されたプログラムをＲＡＭ５１３にロードして実行することにより実現される。また、アプリケーションプログラム記憶部５７６およびアイコンデータ記憶部５７７は、記憶装置５１０に格納される。
【0184】
［連携処理］
本実施形態の連携処理の流れを、図１５に沿って説明する。
本実施形態の連携処理の流れを、図１５に沿って説明する。
【0185】
まず、ＨＭＤ１００とスマホ５００との間で、通信を確立する（ステップＳ３１０１、Ｓ３２０１）。ここでは、スマホ５００と複数のＨＭＤ１００との間で、通信設定を行い、通信可能な状態にしておく。例えば、ＨＭＤ１００がスマホ５００の通信圏内に入ったら、両者間で自動または手動で通信を確立させる。
【0186】
その後、スマホ５００は、アイコン８２２を表示する（ステップＳ３２０２）。なお、ここでは、アイコンが多数表示される通常の画面を表示する。そして、連携マーク８２０として用いるアイコン８２２については、前述のようにユーザ９００が選択指示する。
【0187】
その後の処理は、第二実施形態のサーバ４００との連携処理と略同じである。すなわち、ＨＭＤ１００の検出部２２０は、連携マーク８２０を検出する（ステップＳ１１０１）と、検出した連携マーク８２０に対応づけて登録されているアプリを、連携アプリとして特定する（ステップＳ１１０２）。
【0188】
ＨＭＤ１００の連携部２４０は、検出通知データ２８０ａを生成し、スマホ５００に送信する（ステップＳ２１０４）。
【0189】
スマホ５００の連携管理部５７３は、検出通知データ２８０ａを受信すると（ステップＳ３２０３）、送信元のＨＭＤ１００のデータを、連携グループリスト５７８に格納することにより、連携グループリスト５７８を更新する（ステップＳ３２０４）。
【0190】
そして、連携管理部５７３は、更新を終えると、連携グループへの参加処理が完了したことを示すとともに起動を指示するデータ（起動指示）を、送信元のＨＭＤ１００に返信する（ステップＳ３２０５）。また、連携グループリスト５７８に登録されている全ＨＭＤ１００に対し、連携グループリストを送信する。
【0191】
ＨＭＤ１００の実行部２３０は、起動指示を受信すると、連携アプリを起動し、実行する（ステップＳ１１０５）。第一実施形態同様、ＨＭＤ１００の実行部２３０は、実行アプリの終了指示を受け付けるまで（ステップＳ１１０６）、当該実行アプリの実行を継続する。
【0192】
連携アプリ実行中、本実施形態では、実行部２３０は、連携して実行するために必要なデータを、連携グループリスト５７８に登録された他のＨＭＤ１００と送受信する（ステップＳ２１０８）。
【0193】
ＨＭＤ１００の実行部２３０は、ユーザ９００から連携アプリ終了の指示を受け付けると、連携アプリを終了し、連携部２４０は、終了通知データ２８０ｂを生成し、スマホ５００に送信し（ステップＳ２１０９）、処理を終了する。一方、終了通知データ２８０ｂを受信したスマホ５００の連携管理部５７３は(ステップＳ３２０７）、連携グループリスト５７８から、送信元のＨＭＤ１００を削除することにより、連携グループリスト５７８を更新する（ステップＳ３２０８）。さらに、更新後の連携グループリスト５７８に登録されている各ＨＭＤ１００に対して、更新後の連携グループリスト５７８を送信する。
【0194】
なお、他のＨＭＤ１００についても同様で、連携マーク８１０を検出すると、スマホ５００に、検出通知データ２８０ａを送信する。スマホ５００では、検出通知データ２８０ａまたは終了通知データ２８０ｂを受信すると、随時、連携グループリスト５７８を更新し、更新後の連携グループリスト５７８を返信する。
【0195】
なお、本実施形態では、所定配置状態であるか否かの判別と、ユーザ９００によるアイコン８２２へのタッチとの間に時間差があると、その時、アイコン８２２を見ていないＨＭＤ１００が連携グループに入ったり、その時、アイコン８２２を見ているＨＭＤ１００が連携グループに入れなかったりすることがある。このため、両者の間に時間差が生じないように格納間隔（連携グループリスト５７８を更新する間隔）を短くするようにしてもよい。また、アイコンタッチをＨＭＤ１００のアウトカメラ１３３で認識してもよい。この場合は、見る角度によって触れる瞬間の時間の判断が変わる可能性があるため、アイコンタッチの判断期間にはある程度時間に幅を持たせてもよい。
【0196】
以上説明したように、本実施形態の情報処理システム７０２は、複数の情報処理端末であるＨＭＤ１００で連携してアプリケーションを実行する。そして、ＨＭＤ１００は、それぞれ、スマホ５００のディスプレイ５３１に表示された連携マーク８２０を検出する検出部２２０と、検出された連携マーク８２０に対応付けられたアプリケーションを連携アプリとして、同じ連携マーク８２０を検出した他のＨＭＤ１００と連携して実行する実行部２３０と、を備える。さらに、本実施形態の情報処理システム７０２は、同じ連携マーク８２０を検出した複数のＨＭＤ１００を、連携アプリを連携して実行する連携グループの構成メンバとして管理する連携管理部５７３を備えるスマホ５００をさらに備え、実行部２３０は、連携アプリの処理により得られたデータを他のＨＭＤ１００に送信するとともに、他のＨＭＤ１００から連携アプリの処理により得られたデータを受信する。
【0197】
本実施形態によれば、第一実施形態同様、簡単かつ安全に使い勝手よく、アプリケーションの連携を実現できる。さらに、本実施形態によれば、連携マーク８２０がスマホ５００のディスプレイ５３１上に表示される。従って、ＨＭＤ１００の連携視野１３１ａ内に、スマホ５００のディスプレイ５３１上に表示されたアイコン８２２が見えるといった、ＨＭＤ１００とスマホ５００とが所定配置状態にある場合、スマホ５００との配置状態が同じであるＨＭＤ１００間で連携グループを構成し、連携アプリを連携して実行できる。このため、本実施形態によれば、連携アプリの特定と連携するＨＭＤ１００の特定とを簡便かつ使い勝手よく実現することができる。
【0198】
さらに、本実施形態によれば、連携マーク８２０がスマホ５００のディスプレイ５３１上に表示される。物理的に印刷されて容易に変更出来ない連携マークと異なり、本実施形態では、限られた面積内で多数の連携マークをスクロール等で入れ替えながら表示することが出来る。このため、使える連携マークの数、選択肢が増える。また、連携マーク８２０の配置位置を移動できる。このため、ＨＭＤ１００のユーザ９００にとって、見やすい位置で連携マーク８２０を認識することができ、ユーザ９００にとって、連携マーク８２０の視認が容易である。すなわち、ＨＭＤ１００が連携マーク８２０を検出しやすくなる。
【0199】
また、スマホ５００側では、連携動作モードと単独動作モードとを区別できる。このため、ユーザ９００がディスプレイ５３１上に表示されたアイコン８２２を選択した場合、対応するアプリを自装置で動作させるか、連携動作の制御を行うかを、自動的に判断することができる。
【0200】
＜変形例６＞
上記実施形態では、複数のＨＭＤ１００の視野越しにスマホ５００のアイコン８２２を見ることになる。このため、スマホ５００のディスプレイ５３１上に複数のアイコンが表示されている場合、連携希望のＨＭＤ１００が連携マーク８２０として検出する間、ユーザ９００は、常にアイコン８２２を選択している必要がある。しかしながら、この手法に限定されない。
上記実施形態では、複数のＨＭＤ１００の視野越しにスマホ５００のアイコン８２２を見ることになる。このため、スマホ５００のディスプレイ５３１上に複数のアイコンが表示されている場合、連携希望のＨＭＤ１００が連携マーク８２０として検出する間、ユーザ９００は、常にアイコン８２２を選択している必要がある。しかしながら、この手法に限定されない。
【0201】
例えば、スマホ５００は、最初に検出通知データ２８０ａを受信し、連携グループリスト５７８を生成した場合、ユーザ９００により選択されていたアイコン８２２のみをディスプレイ５３１上に表示させてもよい。その後は、ユーザ９００による選択指示無しで、当該アイコン８２２が連携マーク８２０として機能する。
【0202】
これにより、所定期間、特定のアイコン８２２が、連携マーク８２０として、ディスプレイ５３１に表示され、連携グループに参加したいＨＭＤ１００が参加しやすくなる。一方、このように構成したとしても、参加したくないユーザ９００は、スマホ５００のディスプレイを見なければよい。
【0203】
＜変形例７＞
上記実施形態では、スマホ５００は、検出通知データ２８０ａを受信し、連携グループリスト５７８に登録する毎に、起動指示を送信元のＨＭＤ１００に送信している。しかしながら、これに限定されない。例えば、検出通知データ２８０ａを送信してきたＨＭＤ１００に、起動指示を一斉送信してもよい。
上記実施形態では、スマホ５００は、検出通知データ２８０ａを受信し、連携グループリスト５７８に登録する毎に、起動指示を送信元のＨＭＤ１００に送信している。しかしながら、これに限定されない。例えば、検出通知データ２８０ａを送信してきたＨＭＤ１００に、起動指示を一斉送信してもよい。
【0204】
この場合、例えば、連携管理部５７３は、検出通知データ２８０ａを受信する毎に連携グループリスト５７８に登録する。その後、連携マーク８２０とされたアイコン８２２へのタッチ等による起動指示を受け付けた場合、連携管理部５７３は、連携グループリスト５７８に登録されている全ＨＭＤ１００に向けて起動指示を送信する。各ＨＭＤ１００では、スマホ５００からの起動指示を受信すると、それに応じて連携アプリを起動する。
【0205】
＜変形例８＞
また、本実施形態においても、第二実施形態の変形例と同様に、スマホ５００が、連携アプリの実行を制御してもよい。この場合、連携管理部５７３が、連携アプリを実行する各ＨＭＤ１００から受信したデータを、他のＨＭＤ１００へ送信する。
また、本実施形態においても、第二実施形態の変形例と同様に、スマホ５００が、連携アプリの実行を制御してもよい。この場合、連携管理部５７３が、連携アプリを実行する各ＨＭＤ１００から受信したデータを、他のＨＭＤ１００へ送信する。
【0206】
この場合、連携グループリスト５７８は、スマホ５００においてのみ管理してもよい。すなわち、連携管理部５７３は、ステップＳ３２０５やステップＳ３２０８において、連携グループリスト５７８を、ＨＭＤ１００に送信しなくてもよい。
【0207】
各ＨＭＤ１００では、連携アプリ実行中、実行部２３０は、連携して実行するために必要なデータを、スマホ５００に送信する。また、スマホ５００側では、連携管理部５７３が、連携グループリスト５７８を参照し、連携グループ内のＨＭＤ１００からデータを受信すると、処理を行い、連携グループ内の他のＨＭＤ１００に向けて送信する。
【0208】
＜変形例９＞
また、スマホ５００は、連携アプリのデータの仲介だけでなく、自身で連携アプリを実行してもよい。この場合、連携グループリスト５７８に、自身の装置ＩＤおよびアドレスを登録する。そして、アプリ実行部５７４は、連携動作モードであっても、連携アプリを実行する。
また、スマホ５００は、連携アプリのデータの仲介だけでなく、自身で連携アプリを実行してもよい。この場合、連携グループリスト５７８に、自身の装置ＩＤおよびアドレスを登録する。そして、アプリ実行部５７４は、連携動作モードであっても、連携アプリを実行する。
【0209】
＜変形例１０＞
上記実施形態では、所定配置状態であるか否かは、ＨＭＤ１００のアウトカメラ１３３で撮影した画像を用いて判別する。しかし、これに限定されない。例えば、スマホ５００のセンサ５５０からの情報を使用して、スマホ５００とＨＭＤ１００とが所定配置状態にあるか否かを判別してもよい。
上記実施形態では、所定配置状態であるか否かは、ＨＭＤ１００のアウトカメラ１３３で撮影した画像を用いて判別する。しかし、これに限定されない。例えば、スマホ５００のセンサ５５０からの情報を使用して、スマホ５００とＨＭＤ１００とが所定配置状態にあるか否かを判別してもよい。
【0210】
例えば、加速度センサ１５４と、ジャイロセンサ１５２と、地磁気センサ１５３等を用いて、ＨＭＤ１００の姿勢および位置を検出し、ＨＭＤ１００の姿勢と、スマホ５００の姿勢および位置との関係で判別する。スマホ５００の姿勢および位置は、スマホ５００が備える加速度センサ５５４と、ジャイロセンサ５５２と地磁気センサ５５３とにより算出する。スマホ５００とＨＭＤ１００との距離は、深度センサ１５５等で取得する。
【0211】
＜変形例１１＞
上記実施形態では、所定の連携視野１３１ａ内にスマホ５００等のディスプレイ５３１に表示されるアイコン８２２であって、ユーザ９００が選択するアイコン８２２が存在する場合、所定配置状態と判別し、当該アイコン８２２を、連携マーク８２０として用いる。しかしながら、これに限定されない。例えば、スマホ５００のディスプレイ５３１に表示される複数のアイコンの中から、連携マーク８２０としたいアイコン８２２を、ＨＭＤ１００を介して、選択してもよい。
上記実施形態では、所定の連携視野１３１ａ内にスマホ５００等のディスプレイ５３１に表示されるアイコン８２２であって、ユーザ９００が選択するアイコン８２２が存在する場合、所定配置状態と判別し、当該アイコン８２２を、連携マーク８２０として用いる。しかしながら、これに限定されない。例えば、スマホ５００のディスプレイ５３１に表示される複数のアイコンの中から、連携マーク８２０としたいアイコン８２２を、ＨＭＤ１００を介して、選択してもよい。
【0212】
＜変形例１２＞
また、スマホ５００のディスプレイ５３１に表示される連携マーク８２０は、連携アプリのアイコン８２２でなくてもよい。例えば、ファイルデータを示すアイコンであってもよい。この場合、アプリリスト２５０として、マークデータに対応付けて、当該ファイルデータを再生するアプリを記憶しておく。これにより、複数のＨＭＤ１００で、当該アプリを起動させ、ファイルデータを共有できる。
また、スマホ５００のディスプレイ５３１に表示される連携マーク８２０は、連携アプリのアイコン８２２でなくてもよい。例えば、ファイルデータを示すアイコンであってもよい。この場合、アプリリスト２５０として、マークデータに対応付けて、当該ファイルデータを再生するアプリを記憶しておく。これにより、複数のＨＭＤ１００で、当該アプリを起動させ、ファイルデータを共有できる。
【0213】
なお、ファイルデータについては、同一のアプリだけでなく異なるアプリでもファイルデータを再生可能な場合がある。従って、個々のＨＭＤ１００において、アプリリスト２５０に、異なるアプリが対応づけられていてもよい。これにより、異なるアプリを搭載したＨＭＤ１００間でもファイルデータを連携して再生することができる。
【0214】
さらに、ファイルデータがＡＲオブジェクトの場合、連携マーク８２０を基準にして各ＨＭＤ１００で座標系を合わせることで、各ＨＭＤ１００でＡＲオブジェクトの座標を共有してもよい。
【0215】
＜変形例１３＞
また、スマホ５００のディスプレイ５３１に表示される特定のアイコン８２２について、連携マーク８２０として用いられている間は、それがわかる態様（連携表示）で表示されてもよい。連携マーク８２０として用いられるとは、当該アイコン８２２に対応づけられた連携アプリが複数のＨＭＤ１００によって連携して実行されているという意味である。
また、スマホ５００のディスプレイ５３１に表示される特定のアイコン８２２について、連携マーク８２０として用いられている間は、それがわかる態様（連携表示）で表示されてもよい。連携マーク８２０として用いられるとは、当該アイコン８２２に対応づけられた連携アプリが複数のＨＭＤ１００によって連携して実行されているという意味である。
【0216】
連携表示は、例えば、アイコン８２２の表示色を変えたり、点滅させたり、図１４（ｂ）に示すように、アイコン８２２に、ドット８２５等の小マークを付したり、連携しているＨＭＤの数を表示する、等である。これにより、複数のアプリのアイコンが表示されている場合であっても、どのアイコンに対応する連携アプリが、連携して実行されているかがわかる。
【0217】
このように、アイコンを連携表示することにより、連携して連携アプリを実行している間、どのアプリが連携して実行されているか判別しやすくなる。これにより、途中参加者にとって、認識すべきアイコンを判別しやすくなる。
【0218】
＜変形例１４＞
上記各実施形態および変形例において、連携グループリストに登録されたり、逆に、連携グループリストから削除されたり、といった連携グループの構成メンバに変化が生じた場合、各ＨＭＤ１００は、それぞれ、ユーザ９００に通知するよう構成してもよい。通知は、例えば、ディスプレイ１３１に表示する、スピーカ１４１から音声を出力する、振動発生装置１７３を振動させる等により行う。これにより、ユーザ９００の利便性を高めることができる。
上記各実施形態および変形例において、連携グループリストに登録されたり、逆に、連携グループリストから削除されたり、といった連携グループの構成メンバに変化が生じた場合、各ＨＭＤ１００は、それぞれ、ユーザ９００に通知するよう構成してもよい。通知は、例えば、ディスプレイ１３１に表示する、スピーカ１４１から音声を出力する、振動発生装置１７３を振動させる等により行う。これにより、ユーザ９００の利便性を高めることができる。
【0219】
＜変形例１５＞
また、連携アプリを連携して実行を開始後に、他のＨＭＤ１００が連携グループに参加する場合、既に連携グループに参加している全てのＨＭＤ１００または、代表のＨＭＤ１００からの許可を得て参加するよう構成してもよい。
また、連携アプリを連携して実行を開始後に、他のＨＭＤ１００が連携グループに参加する場合、既に連携グループに参加している全てのＨＭＤ１００または、代表のＨＭＤ１００からの許可を得て参加するよう構成してもよい。
【0220】
例えば、参加希望のＨＭＤ１００が、検出通知データ２８０ａを送信すると、各ＨＭＤ１００または代表のＨＭＤ１００は、参加可否の確認を行う。例えば、認証処理などで確認する。そして、許可された場合のみ、連携グループリストに追加する。そして、参加許可の通知を送信元のＨＭＤ１００に送信する。
【0221】
＜変形例１６＞
連携アプリを連携して実行する情報端末は、ＨＭＤ１００に限定されない。例えば、スマホ５００であってもよいし、パソコン、タブレット等であってもよい。これらの情報端末が混在してもよい。少なくとも、連携マーク８１０、８２０を検出したことを判別可能な構成と、連携アプリを実行可能な構成を備える情報処理端末であればよい。
連携アプリを連携して実行する情報端末は、ＨＭＤ１００に限定されない。例えば、スマホ５００であってもよいし、パソコン、タブレット等であってもよい。これらの情報端末が混在してもよい。少なくとも、連携マーク８１０、８２０を検出したことを判別可能な構成と、連携アプリを実行可能な構成を備える情報処理端末であればよい。
【0222】
＜変形例１７＞
また、連携マーク８２０は、実空間のマークでなくてもよい。例えば、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間のマークであってもよい。例えば、ＶＲ空間において、それぞれのユーザ９００の分身であるアバターが、同じ連携マークを認識したら、アバターどうしで、認識した連携マークに対応づけられた連携アプリを連携して実行する。ＶＲ空間の中での認識は、例えば、アバターに、ＶＲ空間の中で連携マークおよび連携マークに対するタッチ（選択指示）をさせる等により実現する。これにより、ＶＲ空間の中に多くのユーザ（アバター）が存在する場合であっても、連携マークに対して選択指示を行った一部のユーザのアバターだけでアプリを連携して実行できる。
また、連携マーク８２０は、実空間のマークでなくてもよい。例えば、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間のマークであってもよい。例えば、ＶＲ空間において、それぞれのユーザ９００の分身であるアバターが、同じ連携マークを認識したら、アバターどうしで、認識した連携マークに対応づけられた連携アプリを連携して実行する。ＶＲ空間の中での認識は、例えば、アバターに、ＶＲ空間の中で連携マークおよび連携マークに対するタッチ（選択指示）をさせる等により実現する。これにより、ＶＲ空間の中に多くのユーザ（アバター）が存在する場合であっても、連携マークに対して選択指示を行った一部のユーザのアバターだけでアプリを連携して実行できる。
【0223】
＜応用例＞
上記第三実施形態において、連携マーク８２０を表示するデバイスは、スマホ５００のディスプレイ５３１に限定されない。例えば、映像を投影するスクリーンであってもよい。
上記第三実施形態において、連携マーク８２０を表示するデバイスは、スマホ５００のディスプレイ５３１に限定されない。例えば、映像を投影するスクリーンであってもよい。
【0224】
例えば、会議室に集まったユーザ９００全員がそれぞれＨＭＤ１００を装着し、その視野越しに会議室のスクリーン（ディスプレイ）に表示された連携マークを見る。これにより、ＨＭＤ１００は、当該連携マークを検出する。なお、この連携マークは、各ＨＭＤ１００内で、それぞれ、連携アプリに対応付けられる。各ＨＭＤ１００では、それぞれ、対応する連携アプリを特定し、起動する。また、起動通知データが送受信され、連携グループが管理される。
【0225】
これにより、会議室に参集したユーザ９００のＨＭＤ１００により、自動的に会議の連携グループが形成され、連携アプリを連携して実行できる。
【0226】
例えば、会議の連携グループ内でのみ資料共有したり、参加者の発言を記録したり、議事録を作成したり、といった会議での各種の処理機能を有する連携アプリを用いることにより、会議の運営をスムーズにし、簡単に効率を上げることができる。
【0227】
また、会議中も、スクリーンの一端に連携マークを表示させておくことにより、途中参加のＨＭＤ１００も、当該連携マークを検出するだけで、連携アプリを起動し、会議に参加できる。特に、会議では、参加メンバがその都度異なることが多々ある。しかしながら、そのような状況であっても、本例によれば、スクリーンに連携アプリのアイコンを表示させるだけで、自動的に連携グループを形成でき、会議をスムーズに運営できる。これにより、利便性を一層向上できる。
【0228】
また、上記第二実施形態は、遠隔会議に適用できる。例えば、会議場所が複数ある状態である。この場合は、各会議場所に予め、同一の連携マーク８１０を備え付けておく。参加希望のＨＭＤ１００は、当該連携マーク８１０を検出するだけで、自動的に、連携アプリを起動でき、遠隔地のＨＭＤ１００間で連携グループを形成できる。
【0229】
サーバ４００を介して、ＬＡＮ等のネットワークを介した通信によって、連携グループとして登録されたＨＭＤ１００間で、連携アプリを連携して実行できる。連携アプリを、会議の各種機能を実現するアプリとすることにより、遠隔会議を容易に遂行できる。
【0230】
この場合、連携アプリの起動は会議場所毎にまたはアイコン設置場所毎にアイコンタッチ等のトリガで一斉に行ってもよいし、各ＨＭＤ１００が各々のタイミングで行ってもよい。各会議場所において、会議場所ごとの連携グループを形成した後に、サーバ４００が全会議場所の連携グループを統合してもよい。この場合、各会議場所の連携グループの代表のＨＭＤ１００を介してサーバ４００に接続するよう構成してもよい。
【0231】
なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0232】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0233】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0234】
１００：ＨＭＤ、１０１：ＨＭＤ、１０２：ＨＭＤ、１０３：ＨＭＤ、１０４：ＨＭＤ、１１０：記憶装置、１１１：メインプロセッサ、１１２：システムバス、１１３：ＲＡＭ、１１４：ＲＯＭ、１１５：フラッシュメモリ、１２０：操作受付装置、１２１：操作キー、１３０：画像処理装置、１３１：ディスプレイ、１３１ａ：連携視野、１３３：アウトカメラ、１３４：インカメラ、１３６：撮影画像、１３７：領域、１４０：音声処理装置、１４１：スピーカ、１４３：マイク、１５０：センサ、１５１：ＧＰＳ受信部、１５２：ジャイロセンサ、１５３：地磁気センサ、１５４：加速度センサ、１５５：深度センサ、１６０：通信装置、１６１：ＬＡＮ通信Ｉ／Ｆ、１６２：電話網通信Ｉ／Ｆ、１６３：近距離無線通信Ｉ／Ｆ、１７１：拡張インタフェース部、１７２：タイマ、１７３：振動発生装置、
２１０：主制御部、２２０：検出部、２３０：実行部、２４０：連携部、２５０：アプリリスト、２５１：アプリＩＤ、２５２：マークデータ、２５３：形状データ、２５４：マークＩＤ、２６０：連携グループリスト、２６１：マークＩＤ格納場所、２６２：装置ＩＤ、２６３：アドレス、２７０：処理データ、２８０：通知データ、２８０ａ：検出通知データ、２８０ｂ：終了通知データ、２８１：マークＩＤ、２８２：装置ＩＤ、２８３：アドレス、２８４：アプリＩＤ、２８５：ステータス、
３００：ネットワーク、
４００：サーバ、４０１：ＣＰＵ、４０２：メモリ、４０３：記憶装置、４０４：通信インタフェース、４１０：主制御部、４２０：送受信部、４３０：連携制御部、４４０：連携管理部、４６０：連携グループリスト、４６１：マークＩＤ格納場所、４６２：装置ＩＤ、４６３：アドレス、
５００：スマホ、５１０：記憶装置、５１１：メインプロセッサ、５１２：内部バス、５１３：ＲＡＭ、５１４：ＲＯＭ、５１５：フラッシュメモリ、５２０：操作受付装置、５２１：操作キー、５２３：タッチパネル、５３０：画像処理装置、５３１：ディスプレイ、５３３：アウトカメラ、５３４：インカメラ、５４０：音声処理装置、５４１：スピーカ、５４３：マイク、５５０：センサ、５５１：ＧＰＳ受信装置、５５２：ジャイロセンサ、５５３：地磁気センサ、５５４：加速度センサ、５５５：深度センサ、５６０：通信装置、５６１：ＬＡＮ通信インタフェース、５６２：電話網通信インタフェース、５６３：近距離無線通信インタフェース、５７０：主制御部、５７１：受付部、５７２：送受信部、５７３：連携管理部、５７４：アプリ実行部、５７５：出力部、５７６：アプリケーションプログラム記憶部、５７７：アイコンデータ記憶部、５７８：連携グループリスト、５９１：拡張インタフェース部、５９２：タイマ、５９３：振動発生装置、
７００：情報処理システム、７０１：情報処理システム、７０２：情報処理システム、
８１０：連携マーク、８２０：連携マーク、８２２：アイコン、８２３：アイコン、８２４：アイコン、８２５：ドット、
９００：ユーザ、９０１：ユーザ、９０２：ユーザ、９０３：ユーザ、９０４：ユーザ、９１２：無線通信、９１３：無線通信、９１４：無線通信、９２３：無線通信、９２４：無線通信、９３４：無線通信、９４１：視線、９４２：視線、９４３：視線、９４４：視線
２１０：主制御部、２２０：検出部、２３０：実行部、２４０：連携部、２５０：アプリリスト、２５１：アプリＩＤ、２５２：マークデータ、２５３：形状データ、２５４：マークＩＤ、２６０：連携グループリスト、２６１：マークＩＤ格納場所、２６２：装置ＩＤ、２６３：アドレス、２７０：処理データ、２８０：通知データ、２８０ａ：検出通知データ、２８０ｂ：終了通知データ、２８１：マークＩＤ、２８２：装置ＩＤ、２８３：アドレス、２８４：アプリＩＤ、２８５：ステータス、
３００：ネットワーク、
４００：サーバ、４０１：ＣＰＵ、４０２：メモリ、４０３：記憶装置、４０４：通信インタフェース、４１０：主制御部、４２０：送受信部、４３０：連携制御部、４４０：連携管理部、４６０：連携グループリスト、４６１：マークＩＤ格納場所、４６２：装置ＩＤ、４６３：アドレス、
５００：スマホ、５１０：記憶装置、５１１：メインプロセッサ、５１２：内部バス、５１３：ＲＡＭ、５１４：ＲＯＭ、５１５：フラッシュメモリ、５２０：操作受付装置、５２１：操作キー、５２３：タッチパネル、５３０：画像処理装置、５３１：ディスプレイ、５３３：アウトカメラ、５３４：インカメラ、５４０：音声処理装置、５４１：スピーカ、５４３：マイク、５５０：センサ、５５１：ＧＰＳ受信装置、５５２：ジャイロセンサ、５５３：地磁気センサ、５５４：加速度センサ、５５５：深度センサ、５６０：通信装置、５６１：ＬＡＮ通信インタフェース、５６２：電話網通信インタフェース、５６３：近距離無線通信インタフェース、５７０：主制御部、５７１：受付部、５７２：送受信部、５７３：連携管理部、５７４：アプリ実行部、５７５：出力部、５７６：アプリケーションプログラム記憶部、５７７：アイコンデータ記憶部、５７８：連携グループリスト、５９１：拡張インタフェース部、５９２：タイマ、５９３：振動発生装置、
７００：情報処理システム、７０１：情報処理システム、７０２：情報処理システム、
８１０：連携マーク、８２０：連携マーク、８２２：アイコン、８２３：アイコン、８２４：アイコン、８２５：ドット、
９００：ユーザ、９０１：ユーザ、９０２：ユーザ、９０３：ユーザ、９０４：ユーザ、９１２：無線通信、９１３：無線通信、９１４：無線通信、９２３：無線通信、９２４：無線通信、９３４：無線通信、９４１：視線、９４２：視線、９４３：視線、９４４：視線
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】