ホーム > 特許ランキング > 株式会社Ｓｙｎａｍｏｎ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023039827
(43)【公開日】2023-03-22
(54)【発明の名称】情報処理システム及び情報処理方法
(51)【国際特許分類】
G06F 3/04815 20220101AFI20230314BHJP
G06Q 50/10 20120101ALI20230314BHJP
G06F 3/01 20060101ALI20230314BHJP
【ＦＩ】
G06F3/0481 150
G06Q50/10
G06F3/01 515
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021147134
(22)【出願日】2021-09-09
(11)【特許番号】
(45)【特許公報発行日】2022-11-22
(71)【出願人】
【識別番号】517243297
【氏名又は名称】株式会社Ｓｙｎａｍｏｎ
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】武樋 恒
【テーマコード（参考）】
5E555
5L049
【Ｆターム（参考）】
5E555AA23
5E555AA27
5E555AA64
5E555BA01
5E555BB01
5E555BC17
5E555BD01
5E555BE16
5E555BE17
5E555CA42
5E555CA45
5E555CA47
5E555CA50
5E555CB65
5E555CB69
5E555CB82
5E555CC05
5E555DA08
5E555DA09
5E555DA21
5E555DB37
5E555DB56
5E555DC09
5E555DC75
5E555DD07
5E555DD08
5E555EA05
5E555EA07
5E555EA22
5E555FA00
5L049CC17
(57)【要約】
【課題】複合現実を利用するユーザの利便性を向上させる技術を提供する。
【解決手段】ウェアラブルデバイス１と情報処理装置２とのいずれかに備えられた位置情報取得部３０は、ウェアラブルデバイス１の存在場所を示す位置情報を取得する。物体特定部３１は、ウェアラブルデバイス１の周囲の映像を解析してウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する。位置関係取得部３２は、物体とウェアラブルデバイス１との位置関係を取得する。情報処理装置２のＭＲ情報取得部２２０は、ＭＲデータベースを参照して、ウェアラブルデバイス１に表示させるＭＲ情報である提示ＭＲ情報を取得する。表示位置特定部２２１は、位置関係に基づいて、提示ＭＲ情報を表示させる表示位置を特定する。ウェアラブルデバイス１の提示部１２は、表示位置に提示ＭＲ情報を重畳した映像をユーザに提示する。
【選択図】図３
【解決手段】ウェアラブルデバイス１と情報処理装置２とのいずれかに備えられた位置情報取得部３０は、ウェアラブルデバイス１の存在場所を示す位置情報を取得する。物体特定部３１は、ウェアラブルデバイス１の周囲の映像を解析してウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する。位置関係取得部３２は、物体とウェアラブルデバイス１との位置関係を取得する。情報処理装置２のＭＲ情報取得部２２０は、ＭＲデータベースを参照して、ウェアラブルデバイス１に表示させるＭＲ情報である提示ＭＲ情報を取得する。表示位置特定部２２１は、位置関係に基づいて、提示ＭＲ情報を表示させる表示位置を特定する。ウェアラブルデバイス１の提示部１２は、表示位置に提示ＭＲ情報を重畳した映像をユーザに提示する。
【選択図】図３
【特許請求の範囲】
【請求項1】
ユーザにＭＲ（Mixed Reality）情報を提示可能なウェアラブルデバイスと、
前記ウェアラブルデバイスと通信可能な態様で接続し、前記ウェアラブルデバイスに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記ウェアラブルデバイスを特定するデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、を備える情報処理システムであって、
前記ウェアラブルデバイスの周囲を撮像する撮像部と、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、
前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、を備え、
前記ウェアラブルデバイスは、前記撮像部と前記提示部とを備え、
前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、
前記物体特定部と前記位置関係取得部は、前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方に備えられている、
情報処理システム。
前記ウェアラブルデバイスと通信可能な態様で接続し、前記ウェアラブルデバイスに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記ウェアラブルデバイスを特定するデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、を備える情報処理システムであって、
前記ウェアラブルデバイスの周囲を撮像する撮像部と、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、
前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、を備え、
前記ウェアラブルデバイスは、前記撮像部と前記提示部とを備え、
前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、
前記物体特定部と前記位置関係取得部は、前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方に備えられている、
情報処理システム。
【請求項2】
前記ウェアラブルデバイスは、前記ユーザの注視点を特定する注視点特定部をさらに備え、
前記物体特定部は、前記注視点を含む領域に存在する物体を特定する、
請求項１に記載の情報処理システム。
前記物体特定部は、前記注視点を含む領域に存在する物体を特定する、
請求項１に記載の情報処理システム。
【請求項3】
前記ウェアラブルデバイスは、
前記ウェアラブルデバイスを装着するユーザを認証して当該ユーザを特定するためのユーザ識別子を取得するユーザ認証部をさらに備え、
前記ＭＲデータベースは、
ユーザ識別子をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記ユーザ識別子毎に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１又は２に記載の情報処理システム。
前記ウェアラブルデバイスを装着するユーザを認証して当該ユーザを特定するためのユーザ識別子を取得するユーザ認証部をさらに備え、
前記ＭＲデータベースは、
ユーザ識別子をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記ユーザ識別子毎に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１又は２に記載の情報処理システム。
【請求項4】
前記ＭＲ情報取得部は、前記物体特定部が特定した物体が広告情報を含むＭＲ情報を重畳させる物体として登録された広告提示物体である場合、前記ユーザ識別子で特定されるユーザに提示するためのＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３に記載の情報処理システム。
請求項３に記載の情報処理システム。
【請求項5】
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記ユーザのスケジュールを取得する予定情報取得部をさらに備え、
前記ＭＲデータベースは、
前記スケジュールの種類をさらに対応づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記スケジュールの種類に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３または４に記載の情報処理システム。
前記ユーザのスケジュールを取得する予定情報取得部をさらに備え、
前記ＭＲデータベースは、
前記スケジュールの種類をさらに対応づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記スケジュールの種類に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３または４に記載の情報処理システム。
【請求項6】
前記ウェアラブルデバイスは、
前記ウェアラブルデバイスを装着するユーザの生体情報を取得する生体情報取得部をさらに備え、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記生体情報を解析して前記ユーザの状態を推定するユーザ状態推定部をさらに備え、
前記ＭＲデータベースは、
ユーザの状態をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記状態に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３から５のいずれか１項に記載の情報処理システム。
前記ウェアラブルデバイスを装着するユーザの生体情報を取得する生体情報取得部をさらに備え、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記生体情報を解析して前記ユーザの状態を推定するユーザ状態推定部をさらに備え、
前記ＭＲデータベースは、
ユーザの状態をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記状態に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３から５のいずれか１項に記載の情報処理システム。
【請求項7】
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、前記ウェアラブルデバイスの存在場所を示す位置情報を取得する位置情報取得部をさらに備え、
前記ＭＲデータベースは、
位置情報をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記位置情報に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１から６のいずれか１項に記載の情報処理システム。
前記ＭＲデータベースは、
位置情報をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記位置情報に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１から６のいずれか１項に記載の情報処理システム。
【請求項8】
前記情報処理システムは、
複数のユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースをさらに含んでおり、
前記ＭＲ情報取得部は、前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得し、
前記表示位置特定部は、前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記表示位置に前記共有ＭＲ情報を重畳した映像を提示する、
請求項１から７のいずれか１項に記載の情報処理システム。
複数のユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースをさらに含んでおり、
前記ＭＲ情報取得部は、前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得し、
前記表示位置特定部は、前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記表示位置に前記共有ＭＲ情報を重畳した映像を提示する、
請求項１から７のいずれか１項に記載の情報処理システム。
【請求項9】
前記ウェアラブルデバイスは、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するデバイス間距離取得部をさらに備え、
前記表示位置特定部は、前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定する、
請求項８に記載の情報処理システム。
前記表示位置特定部は、前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定する、
請求項８に記載の情報処理システム。
【請求項10】
前記ＭＲデータベースは、前記デバイス識別子で特定されるウェアラブルデバイスの性能に応じて異なる態様のＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記デバイス識別子を参照して前記ＭＲデータベースから読み出すＭＲ情報の態様を変更する、
請求項１から９のいずれか１項に記載の情報処理システム。
前記ＭＲ情報取得部は、前記デバイス識別子を参照して前記ＭＲデータベースから読み出すＭＲ情報の態様を変更する、
請求項１から９のいずれか１項に記載の情報処理システム。
【請求項11】
ユーザにＭＲ情報を提示するための提示部を備えるウェアラブルデバイスと、
前記ウェアラブルデバイスと通信可能な態様で接続し、前記ウェアラブルデバイスに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記ウェアラブルデバイスを特定するデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、
を備える情報処理システムにおいて実行される情報処理方法であって、
前記ウェアラブルデバイスが、
前記ウェアラブルデバイスの周囲を撮像するステップを実行し、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方が、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定するステップと、
前記物体と前記ウェアラブルデバイスとの位置関係を取得するステップと、
を実行し、
前記情報処理装置が、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するステップと、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定するステップと、
を実行し、
前記ウェアラブルデバイスが、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示するステップを実行する、
情報処理方法。
前記ウェアラブルデバイスと通信可能な態様で接続し、前記ウェアラブルデバイスに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記ウェアラブルデバイスを特定するデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、
を備える情報処理システムにおいて実行される情報処理方法であって、
前記ウェアラブルデバイスが、
前記ウェアラブルデバイスの周囲を撮像するステップを実行し、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方が、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定するステップと、
前記物体と前記ウェアラブルデバイスとの位置関係を取得するステップと、
を実行し、
前記情報処理装置が、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するステップと、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定するステップと、
を実行し、
前記ウェアラブルデバイスが、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示するステップを実行する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム及び情報処理方法に関する発明である。
【背景技術】
【0002】
近年、通信技術の急激な発展に伴い、多くの機器がネットワークに接続するようになってきている。また、計算機の性能の急速な向上もめざましく、現実の世界に仮想のオブジェクトを重畳して利用するいわゆる複合現実（Mixed Reality；ＭＲ）の技術も実用化されつつある。
【0003】
このような技術は種々の利用シーンが存在し、例えば、特許文献１には、ＨＭＤ（Head Mounted Display）用いて現実空間に仮想のデータを透写して作業を支援する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－０５１５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願の発明者は、通信技術の発展及び計算機の性能の向上が続けば、決して遠くはない未来において、人々が日常生活を送る生活空間が現実空間に仮想的な種々のデータが重畳される複合現実空間（以下、「ＭＲ空間」と記載する。）となると予測した。さらに進めて、本願の発明者は、そのような未来像を実現することを目指すために、現在の世界を未来像に近づけるための技術を開発することの重要性について認識するに至った。
【0006】
本願の発明者は、人々の日常生活の中に複合現実が当然のように取り入れられている世界が実現されることを想定すると、現実世界に複合される仮想的なオブジェクトを人毎に変更できれば、複合現実を利用するユーザの利便性を向上しうる可能性について認識した。
【0007】
本発明はこれらの点に鑑みてなされたものであり、複合現実を利用するユーザの利便性を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第１の態様は、ユーザにＭＲ情報を提示可能なウェアラブルデバイスと、前記ウェアラブルデバイスと通信可能な態様で接続し、前記ウェアラブルデバイスに提示させるＭＲ映像を含む情報を管理する情報処理装置と、前記ウェアラブルデバイスを特定するデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、を備える情報処理システムである。このシステムは、前記ウェアラブルデバイスの周囲を撮像する撮像部と、撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、を備える。このシステムにおいて、前記ウェアラブルデバイスは、前記撮像部と前記提示部とを備え、前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、前記物体特定部と前記位置関係取得部は、前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方に備えられている。
【0009】
前記ウェアラブルデバイスは、前記ユーザの注視点を特定する注視点特定部をさらに備えてもよく、前記物体特定部は、前記注視点を含む領域に存在する物体を特定してもよい。
【0010】
前記ウェアラブルデバイスは、前記ウェアラブルデバイスを装着するユーザを認証して当該ユーザを特定するためのユーザ識別子を取得するユーザ認証部をさらに備えてもよく、前記ＭＲデータベースは、ユーザ識別子をさらに紐づけて前記ＭＲ情報を格納してもよく、前記ＭＲ情報取得部は、前記ユーザ識別子毎に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出してもよい。
【0011】
前記ＭＲ情報取得部は、前記物体特定部が特定した物体が広告情報を含むＭＲ情報を重畳させる物体として登録された広告提示物体である場合、前記ユーザ識別子で特定されるユーザに提示するためのＭＲ情報を前記ＭＲデータベースから読み出してもよい。
【0012】
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、前記ユーザのスケジュールを取得する予定情報取得部をさらに備えてもよく、前記ＭＲデータベースは、前記スケジュールの種類をさらに対応づけて前記ＭＲ情報を格納してもよく、前記ＭＲ情報取得部は、前記スケジュールの種類に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出してもよい。
【0013】
前記ウェアラブルデバイスは、前記ウェアラブルデバイスを装着するユーザの生体情報を取得する生体情報取得部をさらに備えてもよく、前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、前記生体情報を解析して前記ユーザの状態を推定するユーザ状態推定部をさらに備えてもよく、前記ＭＲデータベースは、ユーザの状態をさらに紐づけて前記ＭＲ情報を格納してもよく、前記ＭＲ情報取得部は、前記状態に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出してもよい。
【0014】
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、前記ウェアラブルデバイスの存在場所を示す位置情報を取得する位置情報取得部をさらに備えてもよく、前記ＭＲデータベースは、位置情報をさらに紐づけて前記ＭＲ情報を格納してもよく、前記ＭＲ情報取得部は、前記位置情報に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出してもよい。
【0015】
前記情報処理システムは、複数のユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースをさらに含んでもよく、前記ＭＲ情報取得部は、前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得してもよく、前記表示位置特定部は、前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定してもよく、前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記表示位置に前記共有ＭＲ情報を重畳した映像を提示してもよい。
【0016】
前記ウェアラブルデバイスは、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するデバイス間距離取得部をさらに備えてもよく、前記表示位置特定部は、前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定してもよい。
【0017】
前記ＭＲデータベースは、前記デバイス識別子で特定されるウェアラブルデバイスの性能に応じて異なる態様のＭＲ情報を格納してもよく、前記ＭＲ情報取得部は、前記デバイス識別子を参照して前記ＭＲデータベースから読み出すＭＲ情報の態様を変更してもよい。
【0018】
本発明の第２の態様は、ユーザにＭＲ情報を提示するための提示部を備えるウェアラブルデバイスと、前記ウェアラブルデバイスと通信可能な態様で接続し、前記ウェアラブルデバイスに提示させるＭＲ映像を含む情報を管理する情報処理装置と、前記ウェアラブルデバイスを特定するデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、を備える情報処理システムにおいて実行される情報処理方法である。この方法において、前記ウェアラブルデバイスが、前記ウェアラブルデバイスの周囲を撮像するステップと、を実行し、前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方が、撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定するステップと、前記物体と前記ウェアラブルデバイスとの位置関係を取得するステップとを実行し、前記情報処理装置が、前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するステップと、前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定するステップと、を実行し、前記ウェアラブルデバイスが、前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示するステップを実行する。
【0019】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。そして、このプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
【発明の効果】
【0020】
本発明によれば、複合現実を利用するユーザの利便性を向上させる技術を提供することができる。
【図面の簡単な説明】
【0021】
【図1】実施の形態に係る情報処理システムが想定している未来の世界観を説明するための図である。
【図2】実施の形態に係る情報処理システムの概要を説明するための図である。
【図3】実施の形態に係るウェアラブルデバイスと情報処理装置とのそれぞれの機能構成を模式的に示す図である。
【図4】実施の形態に係るＭＲデータベースのデータ構造の一例を模式的に示す図である。
【図5】ユーザのスケジュールに応じたＭＲ情報のデータ構造を模式的に示す図である。
【図6】ユーザの状態に応じたＭＲ情報のデータ構造を模式的に示す図である。
【図7】ユーザの位置に応じたＭＲ情報のデータ構造を模式的に示す図である。
【図8】ウェアラブルデバイスの性能に応じたＭＲ情報のデータ構造を模式的に示す図である。
【図9】実施の形態に係る共有ユーザデータベースのデータ構造の一例を模式的に示す図である。
【図10】実施の形態に係る情報処理システムにおいて実行される情報処理の流れを説明するためのシーケンス図である。
【発明を実施するための形態】
【0022】
＜実施の形態が想定する未来の世界＞
本発明の実施の形態に係る情報処理システムを説明するのに先だって、本明細書で用いるいくつかの用語の定義と、本発明が想定している未来の世界とについてまず説明する。
本発明の実施の形態に係る情報処理システムを説明するのに先だって、本明細書で用いるいくつかの用語の定義と、本発明が想定している未来の世界とについてまず説明する。
【0023】
（用語の定義）
「仮想（virtual）オブジェクト」は、現実世界に対応するオブジェクトが存在しない空想上のオブジェクトであることを基本の定義とする。そして、「ＭＲ空間」は、ユーザが存在する空間に存在する現実オブジェクトに、仮想オブジェクトを重畳した空間を意味する。本明細書において「現実オブジェクト」は、現実世界に存在するオブジェクトに由来するオブジェクトも含むものとする。
「仮想（virtual）オブジェクト」は、現実世界に対応するオブジェクトが存在しない空想上のオブジェクトであることを基本の定義とする。そして、「ＭＲ空間」は、ユーザが存在する空間に存在する現実オブジェクトに、仮想オブジェクトを重畳した空間を意味する。本明細書において「現実オブジェクト」は、現実世界に存在するオブジェクトに由来するオブジェクトも含むものとする。
【0024】
ここで、「現実世界に存在するオブジェクトに由来するオブジェクト」の例を挙げる。例えば、前方を撮像する撮像素子が付いた遮蔽型のＨＭＤを装着したユーザは、現実世界に存在するオブジェクトの光の強度及び波長を撮像素子がデジタルデータに変換し、プロセッサによってデジタル画像に再構成された結果を観察することになる。ユーザは現実世界に存在する現実オブジェクトの光を直接的に知覚するものではなくデジタル画像を観察することになるが、このデジタル画像に存在するオブジェクトは空想上の仮想オブジェクトではなく、現実世界に存在する現実オブジェクトに由来するオブジェクトである。
【0025】
本明細書において、実空間に仮想的なオブジェクトが複合されている世界、すなわちＭＲは、いわゆるＡＲ（Augmented Reality）のように現実空間に空想上のオブジェクトを配置する世界のみならず、現実空間の少なくとも一部を現実オブジェクトに由来するオブジェクトで代替した世界も含むものとする。
【0026】
（想定する未来像）
図１は、実施の形態に係る情報処理システムが想定している未来の世界観を説明するための図であり、未来における人々の生活空間の一例を模式的に示す図である。
図１は、実施の形態に係る情報処理システムが想定している未来の世界観を説明するための図であり、未来における人々の生活空間の一例を模式的に示す図である。
【0027】
複合現実が人々の日常生活の中に取り入れられると、複合現実を利用するユーザＵは、仮想的なオブジェクト（以下、「仮想オブジェクトＯｖ」と記載する。）を視認するために何らかのデバイスを身に付けることになる。仮想オブジェクトＯｖを視認するためのウェアラブルデバイスは、例えばＨＭＤやスマートグラスやコンタクトレンズ型の映像提示デバイス、網膜投影型の提示デバイス等のウェアラブルデバイスが挙げられ、簡易的にはスマートホンも仮想的なオブジェクトを視認するためのウェアラブルデバイスとして用いることができる。
【0028】
本願の発明者は、複合現実が人々の日常生活の中にあたりまえのように取り入れられた世界では、個々のユーザＵに最適化された仮想オブジェクトＯｖが各ユーザＵに提示されるようになると想定している。具体的には、仮想オブジェクトＯｖを視認するためのウェアラブルデバイス１を所持するユーザＵは、そのウェアラブルデバイス１を介して、例えば、ユーザＵに最適化された広告映像、ナビゲーションや乗り換え案内を表示するＵＩ（User Interface）画面、他のユーザＵと共有する仮想オブジェクトＯｖ等を視認することができるような世界である。
【0029】
図１に示す例では、ユーザＵは多数の建物が存在する町中におり、ウェアラブルデバイス１としてＨＭＤを身に付けている。煩雑となることを避けるため全てに符号は付していないが、図１において、符号「Ｏｒ１」、「Ｏｒ１０」、「Ｏｒ１１」、「Ｏｒ２」、及び「Ｏｒ２０」で示すオブジェクトは、それぞれ現実に存在するオブジェクトである。以下、本明細書において、現実空間に実際に存在するオブジェクトを「現実オブジェクトＯｒ」と記載する。現実オブジェクトは現実空間に存在するため、その空間に存在するユーザＵであればみな認識できるオブジェクトである。
【0030】
具体的には、現実オブジェクトＯｒ１は現実に存在する建物であり、現実オブジェクトＯｒ１０及び現実オブジェクトＯｒ１１は、それぞれ現実オブジェクトＯｒ１に備えられた広告掲示版である。同様に、現実オブジェクトＯｒ２も現実に存在する建物であり、現実オブジェクトＯｒ２０は現実オブジェクトＯｒ２に備えられた広告掲示版である。
【0031】
現在の世界では、ビルの屋上や窓にはデジタルサイネージのための大型のディスプレイが設置され、広告表示が行われるのが一般的である。一方、図１に示す未来の世界においては、現実オブジェクトＯｒ１０、現実オブジェクトＯｒ２０等の広告掲示板は、従来の広告表示のみならず広告用の仮想オブジェクトＯｖを表示する位置を示すオブジェクトとしても用いられる。
【0032】
すなわち、ウェアラブルデバイス１を装備していないユーザＵが現実オブジェクトＯｒ１０を観察すると、ユーザＵは不特定多数に向けた広告を観察することになる。これに対し、ユーザＵがウェアラブルデバイス１を介して現実オブジェクトＯｒ１０を視認すると、現実オブジェクトＯｒ１０の上にそのユーザＵに応じた広告の仮想オブジェクトＯｖ２が重畳されて表示された状態を観察することになる。つまり、異なるユーザＵがそれぞれウェアラブルデバイス１を装着した状態で同一の広告掲示板である現実オブジェクトＯｒ１０を観察しても、それぞれのユーザＵは、個々のユーザＵのために選択された仮想オブジェクトＯｖである広告を観察することになる。
【0033】
なお、仮想オブジェクトＯｖは、現実オブジェクトＯｒ１０に提示される二次元の映像のみならず、現実オブジェクトを起点として奥行き感を持った立体的な映像として提示されてもよい。例えば、現実オブジェクトＯｒ２０には、ある宿泊施設のイメージ広告として、「手鞠の上に乗った折り鶴」を示す立体的な仮想オブジェクトＯｖ３が提示されている。仮想オブジェクトＯｖ３は立体的な仮想オブジェクトＯｖであるため、ユーザＵには、提示の起点となる現実オブジェクトＯｒ２０から飛び出で提示されているように観察される。
【0034】
図１において、符号「Ｏｖ１」で示す仮想オブジェクトＯｖは、ユーザＵが装着しているウェアラブルデバイス１が提示する仮想のウィンドウであり、いわゆる経路案内アプリケーションのＵＩ（User Interface）画面である。図１に示す例では、ウェアラブルデバイス１はユーザＵの右手の人差し指の先端を起点として、仮想オブジェクトＯｖ１をユーザＵに提示している。この仮想オブジェクトＯｖも、他のユーザＵからは観察することができない仮想オブジェクトＯｖであり、ユーザＵに最適化された仮想オブジェクトＯｖである。
【0035】
図１において符号「Ｏｖ４」で示す仮想オブジェクトＯｖ４は、経路案内アプリケーションによってユーザＵに提示される仮想オブジェクトＯｖである。仮想オブジェクトＯｖ３と同様に、仮想オブジェクトＯｖ４は、ユーザＵが目的地向かうために向かうべき方向を現実世界に重畳して示す立体的な仮想オブジェクトＯｖである。
【0036】
このように、本願の発明者が想定している未来においては、ユーザＵはＭＲ空間の中で日常生活を送り、そのＭＲ空間において現実世界に重畳ないし複合される仮想オブジェクトＯｖはユーザＵ毎に変更されうる世界である。
【0037】
実施の形態に係る情報処理システムは、ユーザＵにＭＲ情報を提示可能なウェアラブルデバイス１と、ユーザＵが装着しているウェアラブルデバイス１と通信可能な態様で接続し、ウェアラブルデバイス１に提示させるＭＲ映像を含む情報を管理する情報処理装置とを含んでいる。情報処理装置は、ウェアラブルデバイス１を一意に特定するための識別子をウェアラブルデバイス１から取得して、ウェアラブルデバイス１毎に提示させるべきＭＲ情報を変更する。これにより、実施の形態に係る情報処理システムは、ＭＲ空間において現実世界に重畳ないし複合される仮想オブジェクトＯｖをユーザＵ毎に変更することができる。
【0038】
＜実施の形態の概要＞
図２は、実施の形態に係る情報処理システムＳの概要を説明するための図である。図２に示すように、実施の形態に係る情報処理システムＳは、複数のウェアラブルデバイス１と情報処理装置２とがインターネット等の通信ネットワークＮを介して通信可能な態様で接続している。また、情報処理装置２はＭＲデータベースＤとも通信可能な態様で接続している。
図２は、実施の形態に係る情報処理システムＳの概要を説明するための図である。図２に示すように、実施の形態に係る情報処理システムＳは、複数のウェアラブルデバイス１と情報処理装置２とがインターネット等の通信ネットワークＮを介して通信可能な態様で接続している。また、情報処理装置２はＭＲデータベースＤとも通信可能な態様で接続している。
【0039】
ウェアラブルデバイス１は、ユーザにＭＲ情報を提示可能な装置であり、例えば上述したＨＭＤやスマートグラスである。図２では、第１ウェアラブルデバイス１ａと第２ウェアラブルデバイス１ｂと第３ウェアラブルデバイス１ｃとの３つのウェアラブルデバイス１が図示されているが、ウェアラブルデバイス１の数は３に限られずそれ以上であってもよい。
【0040】
図２に示す例では、第１ウェアラブルデバイス１ａと第２ウェアラブルデバイス１ｂとはともにＨＭＤであり、第３ウェアラブルデバイス１ｃはスマートグラスであるが、ウェアラブルデバイス１はこれに限られず、コンタクトレンズ型の映像提示デバイス、網膜投影型の提示デバイス等のウェアラブルデバイスやスマートホンであってもよい。
【0041】
ＭＲデータベースＤは、ウェアラブルデバイス１を特定するデバイス識別子と物体とを紐づけてＭＲ情報を格納するデータベースである。ウェアラブルデバイス１は、ＭＲデータベースＤを参照して、ウェアラブルデバイス１に提示させるＭＲ映像を含む情報を管理する。なお、ＭＲデータベースＤの詳細は後述する。
【0042】
＜実施の形態に係る情報処理システムＳの機能構成＞
図３は、実施の形態に係るウェアラブルデバイス１と情報処理装置２とのそれぞれの機能構成を模式的に示す図である。ウェアラブルデバイス１は、通信部１０、記憶部１１、提示部１２、撮像部１３、及び制御部１４を備える。情報処理装置２は、通信部２０、記憶部２１、及び制御部２２を備える。
図３は、実施の形態に係るウェアラブルデバイス１と情報処理装置２とのそれぞれの機能構成を模式的に示す図である。ウェアラブルデバイス１は、通信部１０、記憶部１１、提示部１２、撮像部１３、及び制御部１４を備える。情報処理装置２は、通信部２０、記憶部２１、及び制御部２２を備える。
【0043】
図３において、矢印は主なデータの流れを示しており、図３に示していないデータの流れがあってもよい。図３において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図３に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
【0044】
通信部１０は、ウェアラブルデバイス１が情報処理装置２等の外部の装置と通信するための通信インターフェースであり、例えば無線通信モジュール等で実現されている。以下、ウェアラブルデバイス１の各部が外部の装置と通信する場合、通信部１０を介することを前提として、通信部１０の記載は省略することがある。
【0045】
記憶部１１は、ウェアラブルデバイス１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）やウェアラブルデバイス１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。
【0046】
提示部１２は、情報処理装置２から取得したＭＲ情報をユーザに提示するための装置である。撮像部１３は、ウェアラブルデバイス１の周囲を撮像する装置であり、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の既知の固体撮像素子で実現できる。
【0047】
制御部１４は、ウェアラブルデバイス１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１１に記憶されたプログラムを実行することによって、少なくとも注視点特定部１４０、ユーザ認証部１４１、生体情報取得部１４２、及びデバイス間距離取得部１４３として機能する。
【0048】
通信部２０は、情報処理装置２がウェアラブルデバイス１等の外部の装置と通信するための通信インターフェースであり、例えば無線通信モジュール等で実現されている。以下、情報処理装置２の各部が外部の装置と通信する場合、通信部２０を介することを前提として、通信部２０の記載は省略することがある。
【0049】
記憶部２１は、情報処理装置２を実現するコンピュータのＢＩＯＳ等を格納するＲＯＭや情報処理装置２の作業領域となるＲＡＭ、ＯＳやアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤやＳＳＤ等の大容量記憶装置である。
【0050】
制御部２２は、情報処理装置２のＣＰＵやＧＰＵ等のプロセッサであり、記憶部２１に記憶されたプログラムを実行することによって、少なくともＭＲ情報取得部２２０、表示位置特定部２２１、及びデータベース管理部２２２として機能する。
【0051】
実施の形態に係る情報処理システムＳにおいて、各ユーザＵが装着するウェアラブルデバイス１は、それぞれ計算リソースや通信速度、記憶容量がそれぞれ異なることが想定されている。このため、実施の形態に係る情報処理システムＳを実現するための機能の一部は、ウェアラブルデバイス１又は情報処理装置２の少なくともいずれか一方において実現されてもよいように構成されている。具体的には、例えば計算リソースやバッテリーの残量が乏しいウェアラブルデバイス１に対しては、演算処理の大部分を情報処理装置２が肩代わりする。反対に、有線で電源プラグに接続され計算リソースが豊富なウェアラブルデバイス１の場合、ウェアラブルデバイス１で可能な演算はウェアラブルデバイス１で実行する。
【0052】
このため、図２において斜線で示すように、位置情報取得部３０、物体特定部３１、位置関係取得部３２、予定情報取得部３３、ユーザ状態推定部３４、及び音声認識部３５は、制御部１４と制御部２２との少なくともいずれか一方において実現される。
【0053】
なお、図３は、情報処理装置２が単一の装置で構成されている場合の例を示している。しかしながら、情報処理装置２は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部２２を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。
【0054】
位置情報取得部３０は、ウェアラブルデバイス１の存在場所を示す位置情報を取得する。位置情報取得部３０は、ウェアラブルデバイス１に実装されている場合、既知のＧＰＳ（Global Positioning System）モジュールで実現され、航法衛星から受信した信号に基づいてウェアラブルデバイス１の絶対的な位置座標を位置情報として取得する。また、位置情報取得部３０は、ウェアラブルデバイス１に搭載された気圧センサ（不図示）に基づいて、ウェアラブルデバイス１の存在場所の高度を取得してもよい。
【0055】
位置情報取得部３０が情報処理装置２に実装されている場合、位置情報取得部３０は、まず、ウェアラブルデバイス１が発信したＷｉ－Ｆｉ（登録商標）信号を受信した複数のアクセスポイントの情報を取得する。情報処理装置２は、各アクセスポイントが存在する位置座標をあらかじめ保持しており、ウェアラブルデバイス１が発信したＷｉ－Ｆｉ信号を受信したアクセスポイントそれぞれの位置座標と、各アクセスポイントが受信した信号の信号強度とに基づいて、ウェアラブルデバイス１が存在する位置の絶対的な位置座標を、位置情報として取得する。
【0056】
物体特定部３１は、撮像部１３が撮像した映像を解析してウェアラブルデバイス１の存在場所を含む領域に存在する物体を特定する。物体特定部３１は、ウェアラブルデバイス１に実装されている場合、既知の物体認識技術を撮像部１３が撮像した映像に適用して物体を特定する。物体特定部３１が情報処理装置２に実装されている場合、物体特定部３１は撮像部１３が撮像した映像を通信ネットワークＮを介してウェアラブルデバイス１から受信する。物体特定部３１は、物体特定部３１から受信した映像に対して既知の物体認識技術を適用し、物体を特定する。
【0057】
なお、物体特定部３１は、ウェアラブルデバイス１と情報処理装置２との両方に備えられていてもよい。例えば、物体の特定に必要なリソースが少ない解析対象物はウェアラブルデバイス１で解析し、解析に大きなリソースを要する複雑な解析対象物は情報処理装置２が解析して特定してもよい。
【0058】
物体特定部３１は、その機能をウェアラブルデバイス１と情報処理装置２とが協働する態様で実装されてもよい。この場合、ウェアラブルデバイス１に実装されている物体特定部３１は、撮像部１３が撮像した映像から物体認識技術で用いられる特徴量を抽出して情報処理装置２に送信する。情報処理装置２に実装されている物体特定部３１は、ウェアラブルデバイス１から受信した特徴量に基づいて物体を特定する。これにより、計算リソースがウェアラブルデバイス１と情報処理装置２とに分配されるため、ウェアラブルデバイス１と情報処理装置２とのそれぞれの負荷を軽減できる。さらに、ウェアラブルデバイス１から情報処理装置２に送信される情報が特徴量に限定されるため、撮像部１３が撮像した映像と比較して通信量を削減することもできる。
【0059】
ここで、物体特定部３１が特定する「物体」は、ウェアラブルデバイス１がユーザＵに対して提示するＭＲ情報を表示するためのランドマークとなる物体である。例えば、ウェアラブルデバイス１の存在場所の周囲にある広告掲示板は、ウェアラブルデバイス１が広告に係るＭＲ情報を表示させるためのランドマークとなり得、あらかじめその絶対座標がＭＲデータベースＤに登録されている。別例としては、ユーザＵの指先は、ウェアラブルデバイス１が仮想ウィンドウに係るＭＲ情報を表示させるためのランドマークとなり得る。そのため、位置関係取得部３２は、物体特定部３１が特定した物体とウェアラブルデバイス１との位置関係を取得する。
【0060】
例えば、位置関係取得部３２がウェアラブルデバイス１に実装されている場合、位置関係取得部３２は、ウェアラブルデバイス１に搭載されたＢｌｕｅｔｏｏｔｈ（登録商標）センサが受信した信号の信号強度に基づいて、信号の送信部からの相対的な位置を位置情報として取得する。例えば、図１における広告掲示板である現実オブジェクトＯｒ１０は現実オブジェクトＯｒ１０上の複数の異なる位置にＢｌｕｅｔｏｏｔｈ信号の送受信部（不図示）を備えており、位置関係取得部３２は、各送受信部が取得した信号を受信する。位置関係取得部３２は、受信した信号それぞれの強度に基づいて、現実オブジェクトＯｒ１０との相対的な位置関係を位置情報として取得することができる。
【0061】
別の例として、位置関係取得部３２は、現実オブジェクトＯｒに表示されている識別用コード（例えば、ＱＲ（Quick Response）コード（登録商標））に基づいて、現実オブジェクトＯｒとの相対的な位置関係を取得してもよい。具体的には位置関係取得部３２は、撮像部１３が撮像した現実オブジェクトＯｒに貼付されている２以上の識別用コードを既知の画像認識技術を用いて検出し、検出した以上の識別用コードの距離及び並び方から現実オブジェクトＯｒとの相対的な位置関係を取得してもよい。
【0062】
位置情報取得部３０がウェアラブルデバイス１の絶対的な位置座標を取得している場合、位置関係取得部３２は、ウェアラブルデバイス１の絶対的な位置座標と、ＭＲデータベースＤから読み出した物体の絶対的な位置座標とに基づいて、物体とウェアラブルデバイス１との位置関係を取得してもよい。さらに、例えば、物体がユーザＵの指先である場合等、物体がＢｌｕｅｔｏｏｔｈ信号の送受信部を搭載していなかったり、あらかじめＭＲデータベースＤに絶対的な位置座標が格納されていなかったりする場合には、位置関係取得部３２は、撮像部１３が撮像した映像を既知の画像認識技術を用いて解析し、映像中の深度情報として撮像部１３と物体との相対的な位置関係を位置情報として取得してもよい。
【0063】
なお、位置関係取得部３２が情報処理装置２に実装されている場合には、位置関係取得部３２がウェアラブルデバイス１に実装されている場合と同様の処理を情報処理装置２が実行すればよい。このとき、位置関係取得部３２が物体とウェアラブルデバイス１との位置関係取得の演算に必要な情報があれば、情報処理装置２がウェアラブルデバイス１に要求してウェアラブルデバイス１からその情報を受信すればよい。
【0064】
ここで、ＭＲ情報がリアルタイム性を要求されるような情報（例えば、電車の遅延情報、事故情報などの場所に関係する情報、スポーツのライブ中継などの動画情報、あるいは多くのユーザが知りたいと思っている情報等）は、既知のＭＥＣ（Mobile Edge Computing）の手法を利用して、ウェアラブルデバイス１の存在位置の近くに存在するサーバ（不図示）又はＭＲデータベースから、ＭＲ情報取得部２２０が取得するようにしてもよい。これにより、ウェアラブルデバイス１がＭＲ情報を取得する際の遅延を抑制し、取得効率を高めることができる。
【0065】
ＭＲ情報取得部２２０は、ＭＲデータベースＤを参照して、ウェアラブルデバイス１に表示させるＭＲ情報である提示ＭＲ情報を取得する。例えば、物体特定部３１が特定した物体が広告情報を含むＭＲ情報を重畳させる物体として登録された広告提示物体である場合、ＭＲ情報取得部２２０は、ユーザ識別子で特定されるユーザに提示するためのＭＲ情報として広告情報をＭＲデータベースＤから読み出す。
【0066】
図４は、実施の形態に係るＭＲデータベースＤのデータ構造の一例を模式的に示す図である。ＭＲデータベースＤは、ウェアラブルデバイス１及び情報処理装置２とは独立した記憶装置に格納されており、ウェアラブルデバイス１によって管理されている。なお、ＭＲデータベースＤは、単一の記憶装置ではなく、複数の記憶装置に分散して格納されてもよい。また、ＭＲデータベースＤは、ブロックチェーンをはじめとする既知の分散型台帳技術を用いて格納されてもよい。
【0067】
図４に示すＭＲデータベースＤの例では、ウェアラブルデバイス１を特定するためのデバイス識別子及びウェアラブルデバイス１の性能を示すランクと、そのウェアラブルデバイス１を利用するユーザＵを特定するためのユーザ識別子とが紐づけられている。一つのウェアラブルデバイス１を複数のユーザＵで共有することがあるため、ＭＲデータベースＤには一つのデバイス識別子に複数のユーザ識別子が紐づけられている。図４に示すＭＲデータベースＤの例では、デバイス識別子がＤＩＤ００００１のウェアラブルデバイス１には、ユーザ識別子がＵＩＤ００００１とＵＩＤ００００Ｎとの少なくとも二つのユーザ識別子が対応づけられている。
【0068】
ＭＲデータベースＤにおいて、各ユーザ識別子には、ユーザＵに提示するＭＲ情報のランドマークとなる１以上の物体が紐づけられている。図４に示すＭＲデータベースＤの例では、ユーザ識別子ＵＩＤ００００１には、物体識別子がＯＩＤ００００１、ＯＩＤ００００２、及びＯＩＤ００ＸＸＸの少なくとも三つの物体識別子が紐づけられている。また、各物体識別子には、その物体識別子で特定される物体をランドマークとしてユーザＵに提示するＭＲ情報を特定するＭＲ情報識別子も紐づけられている。
【0069】
図４に示すＭＲデータベースＤの例では、物体識別子がＯＩＤ００ＸＸＸの物体と、ＭＲ情報識別子がＭＩＤ０ＺＺＺＺのＭＲ情報とが紐づけられており、ＭＩＤ０ＺＺＺＺで特定されるＭＲ情報は特定の広告掲示板に示される静止画の広告情報となっている。このため、図４に示すように、ＭＩＤ０ＺＺＺＺで特定されるＭＲ情報は、映像の種類が広告静止画であり、その識別子がＶＩＤ００００１、ＭＲ情報を提示する位置である提示位置が絶対座標として規定されている。また、ＭＲ情報を提示する期限も規定されている。図４に図示はしていないが、ＭＲ情報には、ユーザＵに提示する映像の形や傾き等の情報も含まれる。
【0070】
実施の形態に係る情報処理システムＳにおいて、ウェアラブルデバイス１がユーザＵに提示するＭＲ情報は多数あり、各ＭＲ情報にはそれぞれＭＲ情報を提示するランドマークとなる物体が規定されている。ＭＲ情報取得部２２０は、物体特定部３１が特定した物体の物体識別子が、ウェアラブルデバイス１を利用するユーザＵのユーザ識別子と紐づけてＭＲデータベースＤに格納されているか判定し、紐づけられている場合にはそのＭＲ情報を提示ＭＲ情報としてＭＲデータベースＤから読み出す。
【0071】
表示位置特定部２２１は、位置関係取得部３２が特定した位置関係に基づいて、提示ＭＲ情報を表示させる表示位置を特定する。例えば、ＭＲ情報取得部２２０がＭＲデータベースＤから読み出した提示ＭＲ情報が特定の広告掲示板における静止画の広告情報である場合、位置関係取得部３２が特定した位置関係と、ＭＲ情報取得部２２０がＭＲデータベースＤから読み出した提示位置の絶対座標とのいずれか一方を表示位置として特定すればよい。
【0072】
一方、ＭＲ情報取得部２２０がＭＲデータベースＤから読み出した提示ＭＲ情報が、図１に示す仮想オブジェクトＯｖ１のように提示位置が絶対座標として特定できない場合、表示位置特定部２２１は、位置関係取得部３２が特定した位置関係を基準として、仮想オブジェクトＯｖ１をウェアラブルデバイス１に表示させる表示位置を特定する。
【0073】
ウェアラブルデバイス１の提示部１２は、ＭＲ情報取得部２２０がＭＲデータベースＤから読み出した提示ＭＲ情報を、表示位置特定部２２１が特定した表示位置に表示することで、現実オブジェクトに提示ＭＲ情報を重畳させた映像をユーザＵに提示する。
【0074】
このように、ＭＲデータベースＤはユーザＵを特定するユーザ識別子とそのユーザＵに提示するＭＲ情報とをユーザＵ毎に格納しており、ＭＲ情報取得部２２０は、ＭＲデータベースＤを参照してユーザＵ毎に提示ＭＲ情報を読み出す。これにより、実施の形態に係る情報処理システムＳは、現実世界に重畳させるべき提示ＭＲ情報をユーザＵ毎に変更でき、結果として複合現実を利用するユーザＵの利便性を向上することができる。
【0075】
ここで、ユーザＵは、ＭＲ情報取得部２２０がＭＲデータベースＤから読み出した提示ＭＲ情報の種別によっては、提示部１２に提示させるか否かが選択できたり、提示位置が変更できたりすると便利である。例えば、市街地においてユーザＵが移動中（徒歩や車の運転中）の場合は、ＭＲ情報の提示によってユーザＵの関心が外れることを抑制することが望まれる場合もある。このような場合、ＭＲ情報取得部２２０は、ユーザＵに提示するＭＲ情報の情報量やＭＲ情報の取得頻度を落としてもよい。または、音声認識部３５がユーザＵからの音声の指示により、ＭＲ情報の提示の中断や提示の位置の変更を提示部１２に指示するようにしてもよい。ユーザＵが移動中であるか否かは、位置情報取得部３０が取得した位置情報の変化に基づいて位置情報取得部３０が判定すればよい。
【0076】
上述したように、ＭＲデータベースＤにおいて、各ユーザ識別子には、ユーザＵに提示するＭＲ情報のランドマークとなる１以上の物体が紐づけられている。したがって、ユーザＵの視覚に相当する撮像部１３が撮像した映像に複数の物体が含まれることも起こりうる。
【0077】
そのため、ウェアラブルデバイス１は、ユーザＵの注視点を特定する注視点特定部１４０を備えている。注視点特定部１４０は、例えば近赤外線の角膜反射のパターンから視点を追跡する技術等の既知の視点追跡技術を用いて実現されている。物体特定部３１は、注視点特定部１４０が測定したユーザＵの注視点を含む領域に存在する物体を特定する。これにより、情報処理装置２は、ウェアラブルデバイス１を装着するユーザＵが見ている方向に存在する物体に紐づけられたＭＲ情報を選択することができる。
【0078】
上述したように、実施の形態に係る情報処理システムＳにおいては、一つのウェアラブルデバイス１を複数のユーザＵで共有することがあることも想定しており、ＭＲデータベースＤには一つのデバイス識別子に複数のユーザ識別子が紐づけられている。このため、ウェアラブルデバイス１は、ウェアラブルデバイス１を装着するユーザＵを認証してそのユーザＵを特定するためのユーザ識別子を取得するユーザ認証部１４１を備えている。ユーザ認証部１４１は、例えば虹彩認証や声紋認証、指紋認証、静脈認証等の既知の生体認証を用いて実現されている。ユーザ認証部１４１がウェアラブルデバイス１のユーザＵを特定することにより、ＭＲ情報取得部２２０は、ユーザ識別子毎に紐づけられているＭＲ情報をＭＲデータベースＤから読み出すことができる。
【0079】
以上、ＭＲ情報のランドマークとなる物体に一つのＭＲ情報が紐づけられている場合について説明した。しかしながら、ＭＲデータベースＤは一つの物体に複数のＭＲ情報を紐づけて格納してもよい。具体的には、ＭＲデータベースＤは、ユーザＵの状況又はユーザＵの周囲の環境に応じて異なる複数のＭＲ情報を一つの物体に紐づけて格納してもよい。
【0080】
（ユーザＵのスケジュールに応じたＭＲ情報）
図５は、実施の形態に係るＭＲデータベースＤの一部を示す図であり、ユーザＵのスケジュールに応じたＭＲ情報のデータ構造を模式的に示す図である。図５に示すように、ＭＲデータベースＤは、スケジュールの種類をさらに対応づけてＭＲ情報を格納している。予定情報取得部３３は、ユーザＵのスケジュールを、あらかじめウェアラブルデバイス１と連動させているユーザＵのスケジューラから取得する。ＭＲ情報取得部２２０は、予定情報取得部３３が取得したユーザＵのスケジュールの種類に紐づけられているＭＲ情報をＭＲデータベースＤから読み出す。
図５は、実施の形態に係るＭＲデータベースＤの一部を示す図であり、ユーザＵのスケジュールに応じたＭＲ情報のデータ構造を模式的に示す図である。図５に示すように、ＭＲデータベースＤは、スケジュールの種類をさらに対応づけてＭＲ情報を格納している。予定情報取得部３３は、ユーザＵのスケジュールを、あらかじめウェアラブルデバイス１と連動させているユーザＵのスケジューラから取得する。ＭＲ情報取得部２２０は、予定情報取得部３３が取得したユーザＵのスケジュールの種類に紐づけられているＭＲ情報をＭＲデータベースＤから読み出す。
【0081】
例えば、ユーザＵのスケジュールの種類が会議・商談である場合、ＭＲデータベースＤにはそのスケジュールの種類に応じてユーザＵにリラックスを促すための動画を示すＭＲ情報が紐づけられている。ユーザＵが休憩室に設置された特定の物体を視認することを契機として、情報処理装置２はユーザＵに対してリラックスを促す動作を提示することができる。このように、ＭＲデータベースＤがユーザＵのスケジュールに応じたＭＲ情報を格納することにより、情報処理装置２は、時、場所、場合に応じたＭＲ情報をユーザＵに提示することができる。
【0082】
なお、ＭＲデータベースＤは、スケジュールの種類として上述した会議・商談の他、冠婚葬祭やデート、買い物等、種々の種類のスケジュールをＭＲ情報に紐づけて登録することができる。
【0083】
（ユーザＵの状態に応じたＭＲ情報）
図６は、実施の形態に係るＭＲデータベースＤの一部を示す図であり、ユーザＵの状態に応じたＭＲ情報のデータ構造を模式的に示す図である。図６に示すように、ＭＲデータベースＤは、ユーザＵの状態をさらに対応づけてＭＲ情報を格納している。
図６は、実施の形態に係るＭＲデータベースＤの一部を示す図であり、ユーザＵの状態に応じたＭＲ情報のデータ構造を模式的に示す図である。図６に示すように、ＭＲデータベースＤは、ユーザＵの状態をさらに対応づけてＭＲ情報を格納している。
【0084】
ウェアラブルデバイス１の生体情報取得部１４２は、ウェアラブルデバイス１を装着するユーザＵの生体情報を取得する。生体情報取得部１４２が取得する生体情報は、例えば、ユーザＵの発汗量、心拍数、脈拍数、瞳孔の開き具合、筋電位等、ユーザＵの精神状態の推定に用いられる情報である。生体情報取得部１４２は、例えばユーザＵが身に付けている腕時計型のデバイスが備える生体情報計測機器（不図示）からユーザＵの生体情報を取得する。ユーザ状態推定部３４は、生体情報取得部１４２が取得したユーザＵの生体情報を既知の緊張度評価手法を用いて解析し、ユーザＵの状態を推定する。ＭＲ情報取得部２２０は、ユーザ状態推定部３４が推定したユーザＵの状態に紐づけられているＭＲ情報をＭＲデータベースＤから読み出す。
【0085】
例えば、舞台俳優であるユーザＵが初日の公演を直前に控えて極度に緊張している状態にある場合等のために、ＭＲデータベースＤは「緊張状態」に紐づけてユーザＵにリラックスを促すための動画を示すＭＲ情報を格納している。ユーザＵが控え室に設置された特定の物体を視認することを契機として、情報処理装置２はユーザＵに対してリラックスを促す動作を提示することができる。このように、情報処理装置２は、ユーザＵの状態に応じたＭＲ情報をユーザＵに提示することができる。
【0086】
別の例として、予定情報取得部３３が取得したユーザＵのスケジュール情報からユーザＵが仕事中であると判定できる場合に、ユーザ状態推定部３４は、ユーザＵが集中を継続している時間を計測する。ユーザ状態推定部３４が計測した時間が所定の時間（例えば４５分）を超える場合、ＭＲ情報取得部２２０は、図示しない汎用ＭＲデータベースを参照して、ユーザＵに休憩を取るようにアドバイス示すＭＲ情報を取得したり、集中を高めるための映像や音声のＭＲ情報を取得したりしてもよい。
【0087】
（ユーザＵの位置に応じたＭＲ情報）
例えば、ユーザＵが総合ショッピングセンターで買い物をしている場合において、ユーザＵが総合ショッピングセンターの各階の地図情報をＭＲ情報として仮想ウィンドウに表示させている場合を考える。このような場合、総合ショッピングセンターにおけるユーザＵの存在位置に応じて地図情報が変更されると便利である。
例えば、ユーザＵが総合ショッピングセンターで買い物をしている場合において、ユーザＵが総合ショッピングセンターの各階の地図情報をＭＲ情報として仮想ウィンドウに表示させている場合を考える。このような場合、総合ショッピングセンターにおけるユーザＵの存在位置に応じて地図情報が変更されると便利である。
【0088】
図７は、実施の形態に係るＭＲデータベースＤの一部を示す図であり、ユーザＵの位置に応じたＭＲ情報のデータ構造を模式的に示す図である。図７に示すように、ＭＲデータベースＤは、ユーザＵの存在位置をさらに対応づけてＭＲ情報を格納している。ＭＲ情報取得部２２０は、ユーザＵが存在する位置の位置情報に紐づけられているＭＲ情報をＭＲデータベースから読み出す。
【0089】
図７に示す例では、ユーザＵが「Ｚショッピングモール」という施設の西館５階の店舗を示す地図の静止画が、映像識別子ＶＩＤ０３９６３として登録されていることを示している。このため、情報処理装置２は、ユーザＵがＺショッピングモールの西館５階に移動すると、Ｚショッピングモールの西館５階のフロアマップをユーザＵの目前の仮想ウィンドウに表示させる。このように、情報処理装置２は、ユーザＵの位置に応じたＭＲ情報をユーザＵに提示することができる。
【0090】
なお、ＭＲデータベースＤは、ユーザＵの位置として、行楽地、レストラン、山間部、病院、乗り物等、ユーザＵが存在しうる種々の位置をＭＲ情報と紐づけて登録することができる。
【0091】
（ウェアラブルデバイス１の性能に応じたＭＲ情報）
上述したように、実施の形態に係る情報処理システムＳにおいて、各ユーザＵが装着するウェアラブルデバイス１はそれぞれ計算リソースや通信速度、記憶容量がそれぞれ異なることが想定されている。このため、例えば動画像のようにウェアラブルデバイス１における再生時に負荷が大きいＭＲ情報等は、ウェアラブルデバイス１の性能を考慮して用意すべきである。
上述したように、実施の形態に係る情報処理システムＳにおいて、各ユーザＵが装着するウェアラブルデバイス１はそれぞれ計算リソースや通信速度、記憶容量がそれぞれ異なることが想定されている。このため、例えば動画像のようにウェアラブルデバイス１における再生時に負荷が大きいＭＲ情報等は、ウェアラブルデバイス１の性能を考慮して用意すべきである。
【0092】
図８は、実施の形態に係るＭＲデータベースＤの一部を示す図であり、ウェアラブルデバイス１の性能に応じたＭＲ情報のデータ構造を模式的に示す図である。図８に示すように、ＭＲデータベースＤは、デバイス識別子で特定されるウェアラブルデバイス１の性能に応じて異なる態様のＭＲ情報を格納している。具体的には、ＭＲデータベースＤにおいてウェアラブルデバイス１の性能は高さに応じて複数のランクにあらかじめ分類されており、各ＭＲ情報識別子で特定されるＭＲ情報毎に、各ランクのウェアラブルデバイス１に提示する映像識別子が特定されている。さらに具体的には、ＭＲデータベースＤは、性能が高いと分類されるランクには、再生時により負荷の高いＭＲ情報を紐づけている。
【0093】
ＭＲ情報取得部２２０は、デバイス識別子を参照してウェアラブルデバイス１のランクを取得し、ＭＲデータベースＤから読み出すＭＲ情報の態様を変更する。これにより、情報処理装置２は、ウェアラブルデバイス１の性能に応じてウェアラブルデバイス１において提示が容易なＭＲ情報を提供することができる。
【0094】
また、ＭＲ情報取得部２２０は、ウェアラブルデバイス１のバッテリーの残量に応じてＭＲデータベースＤから読み出すＭＲ情報の態様を変更してもよい。例えば、ＭＲ情報取得部２２０は、ウェアラブルデバイス１のバッテリーの残量が少ない場合は、多い場合よりも、取得するＭＲ情報取得部情報の量を少なくしたり、ＭＲ情報を取得する頻度を下げたりしてもよい。さらに、ウェアラブルデバイス１は、バッテリーの残量が少ない場合には、ＭＲ情報取得部２２０がＭＲ情報を取得する際に参照する情報（例えば、ユーザＵの位置、生体情報、物体情報）自体の取得の頻度を下げてもよい。
【0095】
ＭＲ情報取得部２２０は、ユーザＵの指示又はユーザＵの周囲の状況に応じて、ＭＲ情報を提示する位置である提示位置を変更してもよい。ＭＲ情報取得部２２０は、位置情報取得部３０が取得したウェアラブルデバイス１の位置情報と既存の地図情報との組み合わせ、及び撮像部１３が撮像した映像を物体特定部３１が解析して得られた情報から、ユーザＵの移動速度及び存在場所、その周辺の物体に関する情報、すなわちユーザＵの周囲の状況に関する情報を取得することができる。
【0096】
例えば、ユーザＵが人混みを歩いているような場合には、ユーザＵの許可なくＭＲ情報が提示されない方がよい場合もある。その場合、ＭＲ情報取得部２２０は、提示部１２に指示して、ウェアラブルデバイス１が備えるイヤホンや骨伝導スピーカ等の音声出力装置（不図示）を介して、ユーザＵにＭＲ情報の提示の可否を促す音声を送信すると同時に、情報量を落としたＭＲ情報（例えば、ユーザＵ宛てにメッセージが届いていることのみを示す情報、ＭＲ情報が動画の場合にはそのサムネイル情報、ユーザＵが特定の目的地に向かっている場合には目的地までの距離及び方向等）をユーザＵに提示させる。
【0097】
ユーザＵは、音声、ジェスチャ、及び目線の少なくとも一つの手段を用いて、提示部１２にＭＲ情報の提示の可否を伝える。ここで、ユーザＵの音声は音声認識部３５が取得することができ、ユーザＵのジェスチャは撮像部１３が撮像した映像を物体特定部３１が解析することで取得することができ、ユーザＵの目線は注視点特定部１４０が取得することができる。
【0098】
なお、提示部１２がユーザＵに広告動画を提示している間に、注視点特定部１４０はユーザＵの注視点を測定することにより、ユーザＵが広告動画を視聴している時間を計測してもよい。通信部１０は、ユーザＵに広告動画を提示した回数とその広告動画の視聴時間とを示す情報を、広告動画の広告主及び広告動画のＭＲ情報を提示するランドマークとなった広告掲示板の管理者に送信する。これにより、例えば広告動画のＭＲ情報を提示するランドマークとなった広告掲示板の管理者は、広告主から広告の視聴時間に応じた広告料を請求することができる。
【0099】
また、広告動画の広告主は、広告動画に対するユーザＵの視聴時間を取得することにより、広告動画に関するユーザＵの関心度を推定することができる。これにより、広告動画の広告主は、例えばユーザＵにとって関心の低いと判断される広告動画の再生を中止し、他の広告動画に切り替えることができる。
【0100】
また、ユーザＵは、視聴している広告動画の商品やサービスに興味を持った場合、ユーザＵは、興味を持つことを示す音声、所定のジェスチャ、又は所定の目線操作を実行する。音声認識部３５、物体特定部３１、又は注視点特定部１４０が、ユーザＵが承認又はサービスに興味を持ったことを検知した場合、ＭＲ情報取得部２２０は、広告動画の商品やサービスに関するウェブサイトにアクセス情報を取得する。ユーザＵは、ＭＲ情報取得部２２０が取得した情報を提示部１２を介して視聴することにより、興味を持った商品やサービスに関するより詳細な情報に触れることができる。
【0101】
（ＭＲ情報の提示の終了）
ユーザＵに提示したＭＲ情報は、例えばユーザＵによる明示的な指示等の何らかのタイミングで提示を終了することが望ましい。例えば、注視点特定部１４０は、提示部１２がユーザＵにＭＲ情報を提示した後に、ユーザＵの視点を追跡する。ユーザＵの視点が提示部１２が提示したＭＲ情報に向いた後、ユーザＵの視点がＭＲ情報から外れて所定の時間（例えば２０秒間）経過することを条件として、提示部１２はＭＲ情報の提示を終了する。これにより、ウェアラブルデバイス１は、ユーザＵによって確認されたその後ユーザＵの視点が向けられなくなったＭＲ情報の提示を中止でき、ユーザＵの視界がＭＲ情報で埋まることを抑制できる。
ユーザＵに提示したＭＲ情報は、例えばユーザＵによる明示的な指示等の何らかのタイミングで提示を終了することが望ましい。例えば、注視点特定部１４０は、提示部１２がユーザＵにＭＲ情報を提示した後に、ユーザＵの視点を追跡する。ユーザＵの視点が提示部１２が提示したＭＲ情報に向いた後、ユーザＵの視点がＭＲ情報から外れて所定の時間（例えば２０秒間）経過することを条件として、提示部１２はＭＲ情報の提示を終了する。これにより、ウェアラブルデバイス１は、ユーザＵによって確認されたその後ユーザＵの視点が向けられなくなったＭＲ情報の提示を中止でき、ユーザＵの視界がＭＲ情報で埋まることを抑制できる。
【0102】
ＭＲ情報の終了のタイミングの別の例として、提示部１２が提示したＭＲ情報にユーザＵの視点が向いた状態でユーザＵが所定のジェスチャをした場合、提示部１２はＭＲ情報の提示を終了してもよい。所定のジェスチャは、ユーザＵがＭＲ情報の提示の終了指示をウェアラブルデバイス１に伝えるためにあらかじめ定められた動作であり、一例としてはユーザＵが右手でスワイプする動作である。所定のジェスチャは、ユーザＵの動作を撮像部１３が撮像し、物体特定部３１が解析して取得すればよい。
【0103】
ＭＲ情報の終了のタイミングのさらに別の例として、提示部１２は、ユーザＵに提示しているＭＲ情報の近傍又はＭＲ情報に重畳させて、ＭＲ情報の提示を終了させるための所定のアイコンを表示してもよい。ユーザＵの視点がＭＲ情報の提示を終了させるための所定のアイコンに所定時間（例えば５秒間）とどまることを契機として、提示部１２はＭＲ情報の提示を終了してもよい。あるいは、ユーザＵの視点がアイコン上にある状態でユーザが複数回（例えば、３回）連続して瞬きすることを契機として、提示部１２はＭＲ情報の提示を終了してもよい。ユーザＵの瞬きは、注視点特定部１４０が既知の認識技術を用いて認識すればよい。
【0104】
ＭＲ情報の終了のタイミングのさらに別の例として、提示部１２は、ユーザＵが所定の指示音声を発声することを契機としてＭＲ情報の提示を終了してもよい。所定の指示音声とは、ユーザＵがＭＲ情報の提示の終了指示をウェアラブルデバイス１に伝えるためにあらかじめ定められた音声であり、例えば、「中止」、「閉じて」、「クローズ」等の音声である。ユーザＵの音声は、音声認識部３５がユーザＵの発声を解析することで取得すればよい。
【0105】
（ＭＲデータベースＤの管理）
以上、ＭＲデータベースＤはあらかじめ情報が既に登録された状態で存在していることを前提として説明したが、ＭＲデータベースＤは時間とともに登録内容が変更される動的なデータベースである。例えば、ＭＲデータベースＤに登録される情報として、どの場所に存在する物体を、どのようなタイミングで記憶し、どのタイミングで削除するかは、ＭＲデータベースＤのデータ量増加を抑制する観点から重要である。そこで、データベース管理部２２２は、種々の情報に応じてＭＲデータベースＤに情報を追加したり、ＭＲデータベースＤに登録されている情報を削除したりする。以下、データベース管理部２２２の動作について例示する。
以上、ＭＲデータベースＤはあらかじめ情報が既に登録された状態で存在していることを前提として説明したが、ＭＲデータベースＤは時間とともに登録内容が変更される動的なデータベースである。例えば、ＭＲデータベースＤに登録される情報として、どの場所に存在する物体を、どのようなタイミングで記憶し、どのタイミングで削除するかは、ＭＲデータベースＤのデータ量増加を抑制する観点から重要である。そこで、データベース管理部２２２は、種々の情報に応じてＭＲデータベースＤに情報を追加したり、ＭＲデータベースＤに登録されている情報を削除したりする。以下、データベース管理部２２２の動作について例示する。
【0106】
データベース管理部は、予定情報取得部３３から、ユーザＵの行き先及び日時を示す情報を取得する。データベース管理部は、ユーザＵが行き先に移動する所定の時間（例えば１時間前等）に、行き先に存在する物体（ＭＲ情報を表示するためのランドマークとなる物体）とその物体に関連付けられているＭＲデータベースＤ情報とをＭＲデータベースＤに登録する。また、データベース管理部は、位置情報取得部３０が取得したウェアラブルデバイス１の位置情報に基づいてユーザＵが行き先から移動した場合、その行き先に関する物体及びＭＲ情報をＭＲデータベースＤから削除する。
【0107】
また、データベース管理部２２２は、あらかじめユーザＵから購入を検討している商品又はその種別に関する情報を取得した場合、取得した商品又はその種別を販売している場所までの経路を示すＭＲ情報をＭＲデータベースＤに記憶する。加えて、データベース管理部２２２は、商品又はその種別を販売している場所に存在する物体と、商品の広告に関するＭＲ情報とを紐づけてＭＲデータベースＤに登録する。これにより、ユーザＵは、購入を検討している商品又はその種別の売り場までの経路と、売り場到着後には商品又はその種別に関する広告情報に触れることができる。
【0108】
（複数のユーザＵ間におけるＭＲ情報の共有）
以上、現実オブジェクトＯｒに重畳する仮想オブジェクトＯｖをユーザＵ毎に変更することについて主に説明した。一方で、例えば目的地までのルートを示す仮想オブジェクトＯｖや共同作業で用いる図表を示す仮想オブジェクトＯｖ、又はライブ動画等の複数人で楽しむことを目的とするコンテンツ等は、複数のユーザＵで共有できると便利である。そのため、実施の形態に係る情報処理システムＳは、複数のユーザ識別子同士をグループ化して格納するとともに、グループ化されたユーザ識別子それぞれで特定されるユーザＵに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースＣをさらに含んでいる。
以上、現実オブジェクトＯｒに重畳する仮想オブジェクトＯｖをユーザＵ毎に変更することについて主に説明した。一方で、例えば目的地までのルートを示す仮想オブジェクトＯｖや共同作業で用いる図表を示す仮想オブジェクトＯｖ、又はライブ動画等の複数人で楽しむことを目的とするコンテンツ等は、複数のユーザＵで共有できると便利である。そのため、実施の形態に係る情報処理システムＳは、複数のユーザ識別子同士をグループ化して格納するとともに、グループ化されたユーザ識別子それぞれで特定されるユーザＵに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースＣをさらに含んでいる。
【0109】
図９は、実施の形態に係る共有ユーザデータベースＣのデータ構造の一例を模式的に示す図である。共有ユーザデータベースＣは、ウェアラブルデバイス１及び情報処理装置２とは独立した記憶装置に格納されており、ウェアラブルデバイス１によって管理されている。共有ユーザデータベースＣは、ＭＲデータベースＤを格納する記憶装置と同じ記憶装置に格納されていてもよく、ＭＲデータベースＤの一部であってもよい。
【0110】
図９に示すように、共有ユーザデータベースＣは、あるユーザ識別子に対して複数の共有ユーザ識別子が紐づけられている。また、複数の共有ユーザ識別子には、同一の物体識別子とＭＲ情報識別子とが紐づけられている。図９に示す共有ユーザデータベースＣの例では、ＵＩＤ０００００１のユーザ識別子に、ＵＩＤ０３２９５４、ＵＩＤ０７８２６５、及びＵＩＤ０５９８２４の少なくとも三つの共有ユーザ識別子が紐づけられている。このうち、ＵＩＤ０３２９５４とＵＩＤ０７８２６５との二つのユーザ識別子には、同一の物体識別子ＯＩＤ０５２６８９とＭＲ情報識別子ＭＩＤ０００３４０とが紐づけられており、グループ化されている。
【0111】
ＭＲ情報取得部２２０は、共有ユーザデータベースＣを参照して、共有ＭＲ情報を取得する。表示位置特定部２２１は、グループ化されたユーザ識別子のいずれかで特定されるユーザＵが用いるウェアラブルデバイス１が存在する領域に存在する物体と、グループ化されたユーザ識別子それぞれで特定されるユーザＵが使用するウェアラブルデバイス１との位置関係に基づいて、各ウェアラブルデバイス１それぞれに共有ＭＲ情報を表示させるための表示位置を特定する。
【0112】
グループ化されたユーザ識別子それぞれで特定されるユーザＵそれぞれが使用するウェアラブルデバイス１は情報処理装置２から共有ＭＲ情報を取得し、各ウェアラブルデバイス１が備える提示部１２は、表示位置特定部２２１が特定した表示位置に共有ＭＲ情報を重畳した映像を提示する。これにより、情報処理装置２は、あるユーザＵと、そのユーザＵに紐づけてグループ化されたユーザＵとで、ＭＲ情報を共有させることができる。
【0113】
ユーザＵ同士でＭＲ情報を共有するＭＲ情報は、ユーザＵとグループ化されたユーザＵがどのような位置関係にあっても常に共有していれば、共有という観点からは便利である。一方で、共有するＭＲ情報が秘匿性の高い情報である場合には、共有に何らかの制限を設けるべきであり、一つの制限条件として、ユーザＵ同士の距離の近さが挙げられる。
【0114】
そこで、ウェアラブルデバイス１は、グループ化されたユーザ識別子それぞれで特定されるユーザＵが使用しているウェアラブルデバイス１との間の距離を取得するデバイス間距離取得部１４３を備えていてもよい。デバイス間距離取得部１４３は、例えば既知の測距センサを用いても実現できるし、ウェアラブルデバイス１がＧＰＳセンサを備えている場合には、デバイス間距離取得部１４３はウェアラブルデバイス１同士の絶対座標に基づいてウェアラブルデバイス１との間の距離を取得してもよい。
【0115】
この場合、表示位置特定部２２１は、デバイス間距離取得部１４３が取得した距離が所定の範囲内となっているウェアラブルデバイス１それぞれに共有ＭＲ情報を表示させるための表示位置を特定する。ここで「所定の範囲」とは、ユーザＵ同士でＭＲ情報を共有する場合に、各ユーザＵがそのＭＲ情報を視認できるようにあらかじめＭＲ情報毎に定められた共有許可範囲である。
【0116】
例えば、ユーザＵ同士で共有するＭＲ情報が広告掲示板に表示する広告情報である場合、その情報は広い範囲で表示させる公共性も高い情報であるため、共有許可範囲は例えば３０メートル等の比較的広い範囲で設定される。一方、ユーザＵ同士で共有するＭＲ情報が顧客との商談に用いる資料のように秘匿性の高い情報である場合、共有許可範囲は例えば１．５メートル等の比較的狭い範囲で設定される。このように、情報処理システムＳは、ユーザＵ同士にＭＲ情報を共有させる場合に、ＭＲ情報の秘匿性と、共有の利便性とのバランスを取ることができる。
【0117】
ユーザＵ同士でＭＲ情報を共有する場合の別の条件として、ユーザＵ同士が同一の会議に出席する場合も挙げられる。この場合、各ユーザＵは、仮想オブジェクトＯｖで表現される仮想の会議室において会議を出席する。ＭＲデータベースＤにおいて、グループ化されたユーザ識別子それぞれと、仮想の会議室を示す同一のＭＲ情報識別子とが対応づけられている場合、グループ化されたユーザ識別子それぞれで特定されるユーザＵは、同一の仮想会議室に入室して会議に出席することができる。具体的には、ＭＲ情報取得部２２０は、グループ化されたユーザ識別子それぞれで特定されるユーザＵのウェアラブルデバイス１に、同一の仮想の会議室を示すＭＲ情報を送信すればよい。
【0118】
＜ウェアラブルデバイス１が実行する情報処理方法の処理フロー＞
図１０は、実施の形態に係る情報処理システムＳにおいて実行される情報処理の流れを説明するためのシーケンス図である。
図１０は、実施の形態に係る情報処理システムＳにおいて実行される情報処理の流れを説明するためのシーケンス図である。
【0119】
ウェアラブルデバイス１の撮像部１３は、ウェアラブルデバイス１の周囲を撮像する（Ｓ２）。ウェアラブルデバイス１と情報処理装置２との少なくともいずれか一方に実装された位置情報取得部３０が、ウェアラブルデバイス１の存在場所を示す位置情報を取得する（Ｓ４）。ウェアラブルデバイス１と情報処理装置２との少なくともいずれか一方に実装された物体特定部３１が、撮像部１３が撮像した映像を解析してウェアラブルデバイス１の存在場所を含む領域に存在する物体を特定する（Ｓ６）。
【0120】
ウェアラブルデバイス１と情報処理装置２との少なくともいずれか一方に実装された位置関係取得部３２が、物体特定部３１が特定した物体とウェアラブルデバイス１との位置関係を取得する（Ｓ８）。情報処理装置２のＭＲ情報取得部２２０が、ＭＲデータベースＤを参照して、ウェアラブルデバイス１に表示させるＭＲ情報である提示ＭＲ情報を取得する（Ｓ１０）。
【0121】
情報処理装置２の表示位置特定部２２１が、物体特定部３１が取得した位置関係に基づいて、ＭＲ情報取得部２２０が取得した提示ＭＲ情報を表示させる表示位置を特定する（Ｓ１２）。ウェアラブルデバイス１の提示部１２が、表示位置特定部２２１が特定した表示位置に、ＭＲ情報取得部２２０が取得した提示ＭＲ情報を重畳した映像をユーザＵに提示する（Ｓ１４）。
【0122】
＜実施の形態に係るウェアラブルデバイス１が奏する効果＞
以上説明したように、実施の形態に係るウェアラブルデバイス１によれば、複合現実を利用するユーザＵの利便性を向上させることができる。
以上説明したように、実施の形態に係るウェアラブルデバイス１によれば、複合現実を利用するユーザＵの利便性を向上させることができる。
【0123】
なお、本発明により、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。
【0124】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。
【0125】
＜第１の変形例＞
上記では、情報処理装置２がユーザＵに提示するＭＲ情報が、ナビゲーションや広告等の日常生活やビジネスにおける支援情報である場合について主に説明した。しかしながら、情報処理装置２がユーザＵに提示するＭＲ情報は支援情報に限らず、例えばゲームや愛玩用のキャラクターであってもよい。
上記では、情報処理装置２がユーザＵに提示するＭＲ情報が、ナビゲーションや広告等の日常生活やビジネスにおける支援情報である場合について主に説明した。しかしながら、情報処理装置２がユーザＵに提示するＭＲ情報は支援情報に限らず、例えばゲームや愛玩用のキャラクターであってもよい。
【0126】
例えば、ＭＲ情報を提示するランドマークとなる物体がキャラクターの形をしたフィギュアである場合、ＭＲ情報がそのキャラクターに装備させる武器、防具、衣服、アクセサリ等の装備品であってもよい。ユーザＵは、情報処理装置２が提供する仮想の店でこれらの装備品のＭＲ情報を購入して自身が所有するフィギュアに紐づける。これにより、ユーザＵは、ウェアラブルデバイス１を介してフィギュアを見ることにより、購入した装備品を身に付けた状態のフィギュアを観察することができる。
【0127】
＜第２の変形例＞
上記では、物体特定部３１が特定した物体の位置を位置関係取得部３２が取得し、その位置に基づいて提示部１２がＭＲ情報をユーザＵに提示する場合について主に説明した。これに替えて、あるいはこれに加えて、提示部１２は、「物体の位置」によらずにＭＲ情報を提示してもよい。具体的には、まず物体特定部３１は、現実オブジェクトＯｒ及びその現実オブジェクトＯｒに表示されている識別用コードを認識する。提示部１２は、現実オブジェクトＯｒの位置を基準とせずに、物体特定部３１が認識した識別用コードを基準として、例えば広告などのＭＲ情報を提示するようにしてもよい。このとき、識別用コード自体にＵＲＩ（Uniform Resource Identifier）等のリンク情報を持たせておき、提示部１２は、リンク先からＭＲ情報を取得して提示するようにしてもよい。
上記では、物体特定部３１が特定した物体の位置を位置関係取得部３２が取得し、その位置に基づいて提示部１２がＭＲ情報をユーザＵに提示する場合について主に説明した。これに替えて、あるいはこれに加えて、提示部１２は、「物体の位置」によらずにＭＲ情報を提示してもよい。具体的には、まず物体特定部３１は、現実オブジェクトＯｒ及びその現実オブジェクトＯｒに表示されている識別用コードを認識する。提示部１２は、現実オブジェクトＯｒの位置を基準とせずに、物体特定部３１が認識した識別用コードを基準として、例えば広告などのＭＲ情報を提示するようにしてもよい。このとき、識別用コード自体にＵＲＩ（Uniform Resource Identifier）等のリンク情報を持たせておき、提示部１２は、リンク先からＭＲ情報を取得して提示するようにしてもよい。
【符号の説明】
【0128】
１・・・ウェアラブルデバイス
１０・・・通信部
１１・・・記憶部
１２・・・提示部
１３・・・撮像部
１４・・・制御部
１４０・・・注視点特定部
１４１・・・ユーザ認証部
１４２・・・生体情報取得部
１４３・・・デバイス間距離取得部
２・・・情報処理装置
２０・・・通信部
２１・・・記憶部
２２・・・制御部
２２０・・・ＭＲ情報取得部
２２１・・・表示位置特定部
２２２・・・データベース管理部
３０・・・位置情報取得部
３１・・・物体特定部
３２・・・位置関係取得部
３３・・・予定情報取得部
３４・・・ユーザ状態推定部
３５・・・音声認識部
Ｃ・・・共有ユーザデータベース
Ｄ・・・ＭＲデータベース
Ｎ・・・通信ネットワーク
Ｓ・・・情報処理システム
１０・・・通信部
１１・・・記憶部
１２・・・提示部
１３・・・撮像部
１４・・・制御部
１４０・・・注視点特定部
１４１・・・ユーザ認証部
１４２・・・生体情報取得部
１４３・・・デバイス間距離取得部
２・・・情報処理装置
２０・・・通信部
２１・・・記憶部
２２・・・制御部
２２０・・・ＭＲ情報取得部
２２１・・・表示位置特定部
２２２・・・データベース管理部
３０・・・位置情報取得部
３１・・・物体特定部
３２・・・位置関係取得部
３３・・・予定情報取得部
３４・・・ユーザ状態推定部
３５・・・音声認識部
Ｃ・・・共有ユーザデータベース
Ｄ・・・ＭＲデータベース
Ｎ・・・通信ネットワーク
Ｓ・・・情報処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2022-03-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のユーザそれぞれにＭＲ（Mixed Reality）情報を提示可能な複数のウェアラブルデバイスと、
前記複数のウェアラブルデバイスそれぞれと通信可能な態様で接続し、前記複数のウウェアラブルデバイスそれぞれに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記複数のウェアラブルデバイスそれぞれを特定する複数のデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、
複数のユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースと、を備える情報処理システムであって、
前記ウェアラブルデバイスの周囲を撮像する撮像部と、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、
前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、
前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するデバイス間距離取得部と、
を備え、
前記複数のウェアラブルデバイスそれぞれは、前記撮像部と前記提示部と前記デバイス間距離取得部とを備え、
前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、
前記物体特定部と前記位置関係取得部は、前記複数のウェアラブルデバイスそれぞれと前記情報処理装置との少なくともいずれかに備えられており、
前記ＭＲ情報取得部は、前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得し、
前記表示位置特定部は、前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記表示位置特定部は、前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記表示位置に前記共有ＭＲ情報を重畳した映像を提示する、
情報処理システム。
前記複数のウェアラブルデバイスそれぞれと通信可能な態様で接続し、前記複数のウウェアラブルデバイスそれぞれに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記複数のウェアラブルデバイスそれぞれを特定する複数のデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、
複数のユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースと、を備える情報処理システムであって、
前記ウェアラブルデバイスの周囲を撮像する撮像部と、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、
前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、
前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するデバイス間距離取得部と、
を備え、
前記複数のウェアラブルデバイスそれぞれは、前記撮像部と前記提示部と前記デバイス間距離取得部とを備え、
前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、
前記物体特定部と前記位置関係取得部は、前記複数のウェアラブルデバイスそれぞれと前記情報処理装置との少なくともいずれかに備えられており、
前記ＭＲ情報取得部は、前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得し、
前記表示位置特定部は、前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記表示位置特定部は、前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記表示位置に前記共有ＭＲ情報を重畳した映像を提示する、
情報処理システム。
【請求項2】
前記ウェアラブルデバイスは、前記ユーザの注視点を特定する注視点特定部をさらに備え、
前記物体特定部は、前記注視点を含む領域に存在する物体を特定する、
請求項１に記載の情報処理システム。
前記物体特定部は、前記注視点を含む領域に存在する物体を特定する、
請求項１に記載の情報処理システム。
【請求項3】
前記ウェアラブルデバイスは、
前記ウェアラブルデバイスを装着するユーザを認証して当該ユーザを特定するためのユーザ識別子を取得するユーザ認証部をさらに備え、
前記ＭＲデータベースは、
ユーザ識別子をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記ユーザ識別子毎に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１又は２に記載の情報処理システム。
前記ウェアラブルデバイスを装着するユーザを認証して当該ユーザを特定するためのユーザ識別子を取得するユーザ認証部をさらに備え、
前記ＭＲデータベースは、
ユーザ識別子をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記ユーザ識別子毎に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１又は２に記載の情報処理システム。
【請求項4】
前記ＭＲ情報取得部は、前記物体特定部が特定した物体が広告情報を含むＭＲ情報を重畳させる物体として登録された広告提示物体である場合、前記ユーザ識別子で特定されるユーザに提示するためのＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３に記載の情報処理システム。
請求項３に記載の情報処理システム。
【請求項5】
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記ユーザのスケジュールを取得する予定情報取得部をさらに備え、
前記ＭＲデータベースは、
前記スケジュールの種類をさらに対応づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記スケジュールの種類に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３または４に記載の情報処理システム。
前記ユーザのスケジュールを取得する予定情報取得部をさらに備え、
前記ＭＲデータベースは、
前記スケジュールの種類をさらに対応づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記スケジュールの種類に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３または４に記載の情報処理システム。
【請求項6】
前記ウェアラブルデバイスは、
前記ウェアラブルデバイスを装着するユーザの生体情報を取得する生体情報取得部をさらに備え、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記生体情報を解析して前記ユーザの状態を推定するユーザ状態推定部をさらに備え、
前記ＭＲデータベースは、
ユーザの状態をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記状態に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３から５のいずれか１項に記載の情報処理システム。
前記ウェアラブルデバイスを装着するユーザの生体情報を取得する生体情報取得部をさらに備え、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記生体情報を解析して前記ユーザの状態を推定するユーザ状態推定部をさらに備え、
前記ＭＲデータベースは、
ユーザの状態をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記状態に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３から５のいずれか１項に記載の情報処理システム。
【請求項7】
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、前記ウェアラブルデバイスの存在場所を示す位置情報を取得する位置情報取得部をさらに備え、
前記ＭＲデータベースは、
位置情報をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記位置情報に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１から６のいずれか１項に記載の情報処理システム。
前記ＭＲデータベースは、
位置情報をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記位置情報に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１から６のいずれか１項に記載の情報処理システム。
【請求項8】
前記ＭＲデータベースは、前記デバイス識別子で特定されるウェアラブルデバイスの性能に応じて異なる態様のＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記デバイス識別子を参照して前記ＭＲデータベースから読み出すＭＲ情報の態様を変更する、
請求項１から７のいずれか１項に記載の情報処理システム。
前記ＭＲ情報取得部は、前記デバイス識別子を参照して前記ＭＲデータベースから読み出すＭＲ情報の態様を変更する、
請求項１から７のいずれか１項に記載の情報処理システム。
【請求項9】
複数のユーザそれぞれにＭＲ情報を提示するための提示部を備える複数のウェアラブルデバイスと、
前記複数のウェアラブルデバイスそれぞれと通信可能な態様で接続し、前記複数のウェアラブルデバイスそれぞれに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記複数のウェアラブルデバイスそれぞれを特定する複数のデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと
複数のユーザのユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースと、
を備える情報処理システムにおいて実行される情報処理方法であって、
前記複数のウェアラブルデバイスそれぞれが、
前記ウェアラブルデバイスの周囲を撮像するステップと、
前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するステップと、
を実行し、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方が、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定するステップと、
前記物体と前記ウェアラブルデバイスとの位置関係を取得するステップと、
を実行し、
前記情報処理装置が、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するステップと、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定するステップと、
前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得するステップと、
前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定するステップと、
前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定するステップと、
を実行し、
前記ウェアラブルデバイスが、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示するステップを実行し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記共有ＭＲ情報を表示させるための表示位置に前記共有ＭＲ情報を重畳した映像を提示す留守轍鮒を実行する、
情報処理方法。
前記複数のウェアラブルデバイスそれぞれと通信可能な態様で接続し、前記複数のウェアラブルデバイスそれぞれに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記複数のウェアラブルデバイスそれぞれを特定する複数のデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと
複数のユーザのユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースと、
を備える情報処理システムにおいて実行される情報処理方法であって、
前記複数のウェアラブルデバイスそれぞれが、
前記ウェアラブルデバイスの周囲を撮像するステップと、
前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するステップと、
を実行し、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方が、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定するステップと、
前記物体と前記ウェアラブルデバイスとの位置関係を取得するステップと、
を実行し、
前記情報処理装置が、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するステップと、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定するステップと、
前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得するステップと、
前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定するステップと、
前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定するステップと、
を実行し、
前記ウェアラブルデバイスが、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示するステップを実行し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記共有ＭＲ情報を表示させるための表示位置に前記共有ＭＲ情報を重畳した映像を提示す留守轍鮒を実行する、
情報処理方法。
【請求項10】
ユーザにＭＲ情報を提示可能なウェアラブルデバイスと、
前記ウェアラブルデバイスと通信可能な態様で接続し、前記ウェアラブルデバイスに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記ウェアラブルデバイスを特定するデバイス識別子と物体とに紐づけてＭＲ情報を格納する分散型台帳と、を備える情報処理システムであって、
前記ウェアラブルデバイスの周囲を撮像する撮像部と、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、
前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、
前記分散型台帳を参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、を備え、
前記ウェアラブルデバイスは、前記撮像部と前記提示部とを備え、
前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、
前記物体特定部と前記位置関係取得部は、前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方に備えられている、
情報処理システム。
前記ウェアラブルデバイスと通信可能な態様で接続し、前記ウェアラブルデバイスに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記ウェアラブルデバイスを特定するデバイス識別子と物体とに紐づけてＭＲ情報を格納する分散型台帳と、を備える情報処理システムであって、
前記ウェアラブルデバイスの周囲を撮像する撮像部と、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、
前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、
前記分散型台帳を参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、を備え、
前記ウェアラブルデバイスは、前記撮像部と前記提示部とを備え、
前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、
前記物体特定部と前記位置関係取得部は、前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方に備えられている、
情報処理システム。
【手続補正書】
【提出日】2022-08-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のユーザそれぞれにＭＲ（Mixed Reality）情報を提示可能な複数のウェアラブルデバイスと、
前記複数のウェアラブルデバイスそれぞれと通信可能な態様で接続し、前記複数のウェアラブルデバイスそれぞれに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記複数のウェアラブルデバイスそれぞれを特定する複数のデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、
複数のユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースと、を備える情報処理システムであって、
前記ウェアラブルデバイスの周囲を撮像する撮像部と、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、
前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、
前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するデバイス間距離取得部と、
を備え、
前記複数のウェアラブルデバイスそれぞれは、前記撮像部と前記提示部と前記デバイス間距離取得部とを備え、
前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、
前記物体特定部と前記位置関係取得部は、前記複数のウェアラブルデバイスそれぞれと前記情報処理装置との少なくともいずれかに備えられており、
前記ＭＲ情報取得部は、前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得し、
前記表示位置特定部は、前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記表示位置特定部は、前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記表示位置に前記共有ＭＲ情報を重畳した映像を提示する、
情報処理システム。
前記複数のウェアラブルデバイスそれぞれと通信可能な態様で接続し、前記複数のウェアラブルデバイスそれぞれに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記複数のウェアラブルデバイスそれぞれを特定する複数のデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと、
複数のユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースと、を備える情報処理システムであって、
前記ウェアラブルデバイスの周囲を撮像する撮像部と、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定する物体特定部と、
前記物体と前記ウェアラブルデバイスとの位置関係を取得する位置関係取得部と、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するＭＲ情報取得部と、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定する表示位置特定部と、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示する提示部と、
前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するデバイス間距離取得部と、
を備え、
前記複数のウェアラブルデバイスそれぞれは、前記撮像部と前記提示部と前記デバイス間距離取得部とを備え、
前記情報処理装置は、前記ＭＲ情報取得部と前記表示位置特定部とを備え、
前記物体特定部と前記位置関係取得部は、前記複数のウェアラブルデバイスそれぞれと前記情報処理装置との少なくともいずれかに備えられており、
前記ＭＲ情報取得部は、前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得し、
前記表示位置特定部は、前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記表示位置特定部は、前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記表示位置に前記共有ＭＲ情報を重畳した映像を提示する、
情報処理システム。
【請求項2】
前記ウェアラブルデバイスは、前記ユーザの注視点を特定する注視点特定部をさらに備え、
前記物体特定部は、前記注視点を含む領域に存在する物体を特定する、
請求項１に記載の情報処理システム。
前記物体特定部は、前記注視点を含む領域に存在する物体を特定する、
請求項１に記載の情報処理システム。
【請求項3】
前記ウェアラブルデバイスは、
前記ウェアラブルデバイスを装着するユーザを認証して当該ユーザを特定するためのユーザ識別子を取得するユーザ認証部をさらに備え、
前記ＭＲデータベースは、
ユーザ識別子をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記ユーザ識別子毎に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１又は２に記載の情報処理システム。
前記ウェアラブルデバイスを装着するユーザを認証して当該ユーザを特定するためのユーザ識別子を取得するユーザ認証部をさらに備え、
前記ＭＲデータベースは、
ユーザ識別子をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記ユーザ識別子毎に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１又は２に記載の情報処理システム。
【請求項4】
前記ＭＲ情報取得部は、前記物体特定部が特定した物体が広告情報を含むＭＲ情報を重畳させる物体として登録された広告提示物体である場合、前記ユーザ識別子で特定されるユーザに提示するためのＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３に記載の情報処理システム。
請求項３に記載の情報処理システム。
【請求項5】
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記ユーザのスケジュールを取得する予定情報取得部をさらに備え、
前記ＭＲデータベースは、
前記スケジュールの種類をさらに対応づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記スケジュールの種類に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３または４に記載の情報処理システム。
前記ユーザのスケジュールを取得する予定情報取得部をさらに備え、
前記ＭＲデータベースは、
前記スケジュールの種類をさらに対応づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記スケジュールの種類に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３または４に記載の情報処理システム。
【請求項6】
前記ウェアラブルデバイスは、
前記ウェアラブルデバイスを装着するユーザの生体情報を取得する生体情報取得部をさらに備え、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記生体情報を解析して前記ユーザの状態を推定するユーザ状態推定部をさらに備え、
前記ＭＲデータベースは、
ユーザの状態をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記状態に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３から５のいずれか１項に記載の情報処理システム。
前記ウェアラブルデバイスを装着するユーザの生体情報を取得する生体情報取得部をさらに備え、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、
前記生体情報を解析して前記ユーザの状態を推定するユーザ状態推定部をさらに備え、
前記ＭＲデータベースは、
ユーザの状態をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記状態に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項３から５のいずれか１項に記載の情報処理システム。
【請求項7】
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方は、前記ウェアラブルデバイスの存在場所を示す位置情報を取得する位置情報取得部をさらに備え、
前記ＭＲデータベースは、
位置情報をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記位置情報に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１から６のいずれか１項に記載の情報処理システム。
前記ＭＲデータベースは、
位置情報をさらに紐づけて前記ＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記位置情報に紐づけられている前記ＭＲ情報を前記ＭＲデータベースから読み出す、
請求項１から６のいずれか１項に記載の情報処理システム。
【請求項8】
前記ＭＲデータベースは、前記デバイス識別子で特定されるウェアラブルデバイスの性能に応じて異なる態様のＭＲ情報を格納しており、
前記ＭＲ情報取得部は、前記デバイス識別子を参照して前記ＭＲデータベースから読み出すＭＲ情報の態様を変更する、
請求項１から７のいずれか１項に記載の情報処理システム。
前記ＭＲ情報取得部は、前記デバイス識別子を参照して前記ＭＲデータベースから読み出すＭＲ情報の態様を変更する、
請求項１から７のいずれか１項に記載の情報処理システム。
【請求項9】
複数のユーザそれぞれにＭＲ情報を提示するための提示部を備える複数のウェアラブルデバイスと、
前記複数のウェアラブルデバイスそれぞれと通信可能な態様で接続し、前記複数のウェアラブルデバイスそれぞれに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記複数のウェアラブルデバイスそれぞれを特定する複数のデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと
複数のユーザのユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースと、
を備える情報処理システムにおいて実行される情報処理方法であって、
前記複数のウェアラブルデバイスそれぞれが、
前記ウェアラブルデバイスの周囲を撮像するステップと、
前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するステップと、
を実行し、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方が、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定するステップと、
前記物体と前記ウェアラブルデバイスとの位置関係を取得するステップと、
を実行し、
前記情報処理装置が、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するステップと、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定するステップと、
前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得するステップと、
前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定するステップと、
前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定するステップと、
を実行し、
前記ウェアラブルデバイスが、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示するステップを実行し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記共有ＭＲ情報を表示させるための表示位置に前記共有ＭＲ情報を重畳した映像を提示するステップを実行する、
情報処理方法。
前記複数のウェアラブルデバイスそれぞれと通信可能な態様で接続し、前記複数のウェアラブルデバイスそれぞれに提示させるＭＲ映像を含む情報を管理する情報処理装置と、
前記複数のウェアラブルデバイスそれぞれを特定する複数のデバイス識別子と物体とに紐づけてＭＲ情報を格納するＭＲデータベースと
複数のユーザのユーザ識別子同士をグループ化して格納するとともに、前記グループ化されたユーザ識別子それぞれで特定されるユーザに共有させるための共有ＭＲ情報も格納する共有ユーザデータベースと、
を備える情報処理システムにおいて実行される情報処理方法であって、
前記複数のウェアラブルデバイスそれぞれが、
前記ウェアラブルデバイスの周囲を撮像するステップと、
前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用しているウェアラブルデバイスとの間の距離を取得するステップと、
を実行し、
前記ウェアラブルデバイスと前記情報処理装置との少なくともいずれか一方が、
撮像された映像を解析して前記ウェアラブルデバイスの存在場所を含む領域に存在する物体を特定するステップと、
前記物体と前記ウェアラブルデバイスとの位置関係を取得するステップと、
を実行し、
前記情報処理装置が、
前記ＭＲデータベースを参照して、前記ウェアラブルデバイスに表示させるＭＲ情報である提示ＭＲ情報を取得するステップと、
前記位置関係に基づいて、前記提示ＭＲ情報を表示させる表示位置を特定するステップと、
前記共有ユーザデータベースを参照して、前記共有ＭＲ情報を取得するステップと、
前記距離が所定の範囲内となっているウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定するステップと、
前記グループ化されたユーザ識別子のいずれかで特定されるユーザが用いるウェアラブルデバイスが存在する領域に存在する物体と、前記グループ化されたユーザ識別子それぞれで特定されるユーザが使用するウェアラブルデバイスとの位置関係に基づいて、各ウェアラブルデバイスそれぞれに前記共有ＭＲ情報を表示させるための表示位置を特定するステップと、
を実行し、
前記ウェアラブルデバイスが、
前記表示位置に前記提示ＭＲ情報を重畳した映像を前記ユーザに提示するステップを実行し、
前記グループ化されたユーザ識別子それぞれで特定されるユーザそれぞれが使用するウェアラブルデバイスが備える提示部が、前記共有ＭＲ情報を表示させるための表示位置に前記共有ＭＲ情報を重畳した映像を提示するステップを実行する、
情報処理方法。