IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソフトバンクモバイル株式会社の特許一覧

特開2024-71932情報処理装置、プログラム、及び表示方法
<>
  • 特開-情報処理装置、プログラム、及び表示方法 図1
  • 特開-情報処理装置、プログラム、及び表示方法 図2
  • 特開-情報処理装置、プログラム、及び表示方法 図3
  • 特開-情報処理装置、プログラム、及び表示方法 図4
  • 特開-情報処理装置、プログラム、及び表示方法 図5
  • 特開-情報処理装置、プログラム、及び表示方法 図6
  • 特開-情報処理装置、プログラム、及び表示方法 図7
  • 特開-情報処理装置、プログラム、及び表示方法 図8
  • 特開-情報処理装置、プログラム、及び表示方法 図9
  • 特開-情報処理装置、プログラム、及び表示方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024071932
(43)【公開日】2024-05-27
(54)【発明の名称】情報処理装置、プログラム、及び表示方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240520BHJP
   G06F 3/0481 20220101ALI20240520BHJP
   G06T 19/00 20110101ALI20240520BHJP
【FI】
G06F3/01 510
G06F3/0481
G06T19/00 600
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022182453
(22)【出願日】2022-11-15
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】可児 裕貴
(72)【発明者】
【氏名】佐藤 優也
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050BA09
5B050BA11
5B050CA07
5B050DA04
5B050EA13
5B050EA19
5B050FA05
5B050FA10
5E555AA23
5E555AA26
5E555AA30
5E555AA56
5E555AA76
5E555BA38
5E555BB38
5E555BC08
5E555BE17
5E555CA42
5E555CA44
5E555CA45
5E555CB45
5E555CB74
5E555CB82
5E555DA09
5E555DB41
5E555DB51
5E555DB53
5E555DC09
5E555DC11
5E555DC13
5E555DD01
5E555DD06
5E555EA07
5E555EA09
5E555EA11
5E555EA14
5E555EA22
5E555FA00
(57)【要約】      (修正有)
【課題】特定された場所の種類に対応するアプリケーションを特定し、特定された場所に対応する位置を表示させる情報処理装置、プログラム及び表示方法を提供する。
【解決手段】複数の眼鏡型デバイスと、サーバとが、ネットワークを介して通信するシステムにおいて、サーバ200は、眼鏡型デバイスのユーザが登録した、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶部と、眼鏡型デバイスの撮像部が撮像している撮像範囲に含まれる場所の種類を特定する場所特定部と、対応情報を参照して場所特定部によって特定された場所の種類に対応するアプリケーションを特定し、特定したアプリケーションのコンテンツを、眼鏡型デバイスの表示部における特定された場所に対応する位置に表示させる表示制御部とを備える。
【選択図】図8
【特許請求の範囲】
【請求項1】
眼鏡型デバイスのユーザによって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶部と、
前記眼鏡型デバイスのカメラが撮像している撮像範囲に含まれる場所の種類を特定する場所特定部と、
前記対応情報を参照して前記場所特定部によって特定された場所の種類に対応するアプリケーションを特定し、特定した前記アプリケーションのコンテンツを、前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる表示制御部と
を備える、情報処理装置。
【請求項2】
前記場所の種類は、地面、空、建造物、及び空間の少なくともいずれかを含む、請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、前記眼鏡型デバイスにおいて実行されているアプリケーションについて、当該アプリケーションに対応する種類の場所が前記眼鏡型デバイスの前記撮像範囲に含まれない場合、当該アプリケーションのコンテンツを表示させず、含まれる場合、当該アプリケーションのコンテンツを前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる、請求項1に記載の情報処理装置。
【請求項4】
前記場所の種類は、空間を含み、
前記対応情報は、空間の高さの範囲と前記アプリケーションとを対応付け、
前記表示制御部は、前記高さの範囲内の空間が前記眼鏡型デバイスの前記撮像範囲に含まれる場合に、当該空間の高さの範囲に対応する前記アプリケーションのコンテンツを、前記眼鏡型デバイスの前記表示部における当該空間の高さの範囲内に対応する位置に表示させる、請求項1に記載の情報処理装置。
【請求項5】
前記アプリケーションの提供者によって指定された場所の種類の条件を前記眼鏡型デバイスの前記ユーザに提示する条件提示部と、
前記アプリケーションに対して、前記条件提示部によって前記ユーザに対して提示された前記場所の種類の条件を満たす前記場所の種類が指定された場合に、当該アプリケーションと当該場所の種類とを前記対応情報に登録する登録部と
を備える、請求項1に記載の情報処理装置。
【請求項6】
前記条件提示部は、前記アプリケーションの提供者によって指定された空間の高さの範囲を前記眼鏡型デバイスの前記ユーザに提示し、
前記登録部は、前記アプリケーションに対して、前記条件提示部によって前記ユーザに対して提示された前記空間の高さの範囲内の、空間の高さの範囲が指定された場合に、当該アプリケーションと指定された空間の高さの範囲とを前記対応情報に登録する、請求項5に記載の情報処理装置。
【請求項7】
前記情報処理装置は、前記眼鏡型デバイスとネットワークを介して通信する、請求項1から6のいずれか一項に記載の情報処理装置。
【請求項8】
前記情報処理装置は、前記眼鏡型デバイスに搭載される、請求項1から6のいずれか一項に記載の情報処理装置。
【請求項9】
コンピュータを、請求項1から6のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
【請求項10】
コンピュータによって実行される表示方法であって、
眼鏡型デバイスのユーザによって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶段階と、
前記眼鏡型デバイスのカメラが撮像している撮像範囲に含まれる場所の種類を特定する場所特定段階と、
前記対応情報を参照して前記場所特定段階において特定された場所の種類に対応するアプリケーションを特定し、特定した前記アプリケーションのコンテンツを、前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる表示制御ステップと
を備える表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム、及び表示方法に関する。
【背景技術】
【0002】
特許文献1には、透明又は半透明の状態のまま、テキストや図等の画像を表示することで、実空間の風景にAR(Augmented Reality)の仮想オブジェクトを重畳表示することができる表示部を備えるARグラスが記載されている。
[先行技術文献]
[特許文献]
[特許文献1]特開2019-114078号公報
【発明の概要】
【課題を解決するための手段】
【0003】
本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、眼鏡型デバイスのユーザによって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶部を備えてよい。前記情報処理装置は、前記眼鏡型デバイスのカメラが撮像している撮像範囲に含まれる場所の種類を特定する場所特定部を備えてよい。前記情報処理装置は、前記対応情報を参照して前記場所特定部によって特定された場所の種類に対応するアプリケーションを特定し、特定した前記アプリケーションのコンテンツを、前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる表示制御部を備えてよい。
【0004】
前記情報処理装置において、前記場所の種類は、地面、空、建造物、及び空間の少なくともいずれかを含んでよい。
【0005】
前記いずれかの情報処理装置において、記表示制御部は、前記眼鏡型デバイスにおいて実行されているアプリケーションについて、当該アプリケーションに対応する種類の場所が前記眼鏡型デバイスの前記撮像範囲に含まれない場合、当該アプリケーションのコンテンツを表示させず、含まれる場合、当該アプリケーションのコンテンツを前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させてよい。
【0006】
前記いずれかの情報処理装置において、前記場所の種類は、空間を含んでよく、前記対応情報は、空間の高さの範囲と前記アプリケーションとを対応付けてよく、前記表示制御部は、前記高さの範囲内の空間が前記眼鏡型デバイスの前記撮像範囲に含まれる場合に、当該空間の高さの範囲に対応する前記アプリケーションのコンテンツを、前記眼鏡型デバイスの前記表示部における当該空間の高さの範囲内に対応する位置に表示させてよい。
【0007】
前記いずれかの情報処理装置は、前記アプリケーションの提供者によって指定された場所の種類の条件を前記眼鏡型デバイスの前記ユーザに提示する条件提示部と、前記アプリケーションに対して、前記条件提示部によって前記ユーザに対して提示された前記場所の種類の条件を満たす前記場所の種類が指定された場合に、当該アプリケーションと当該場所の種類とを前記対応情報に登録する登録部とを備えてよい。前記条件提示部は、前記アプリケーションの提供者によって指定された空間の高さの範囲を前記眼鏡型デバイスの前記ユーザに提示してよく、前記登録部は、前記アプリケーションに対して、前記条件提示部によって前記ユーザに対して提示された前記空間の高さの範囲内の、空間の高さの範囲が指定された場合に、当該アプリケーションと指定された空間の高さの範囲とを前記対応情報に登録してよい。
【0008】
前記いずれかの情報処理装置は、前記眼鏡型デバイスとネットワークを介して通信してよい。
【0009】
前記いずれかの情報処理装置は、前記眼鏡型デバイスに搭載されてよい。
【0010】
本発明の一実施態様によれば、コンピュータを、前記情報処理装置として機能させるためのプログラムが提供される。
【0011】
本発明の一実施態様によれば、コンピュータによって実行される表示方法が提供される。前記表示方法は、眼鏡型デバイスのユーザによって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶ステップを備えてよい。前記表示方法は、前記眼鏡型デバイスのカメラが撮像している撮像範囲に含まれる場所の種類を特定する場所特定ステップを備えてよい。前記表示方法は、前記対応情報を参照して前記場所特定部によって特定された場所の種類に対応するアプリケーションを特定し、特定した前記アプリケーションのコンテンツを、前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる表示制御ステップを備えてよい。
【0012】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0013】
図1】システム10の一例を概略的に示す。
図2】眼鏡型デバイス100の構成の一例を概略的に示す。
図3】対応情報410の一例を概略的に示す。
図4】対応情報420の一例を概略的に示す。
図5】眼鏡型デバイス100による表示例を概略的に示す。
図6】眼鏡型デバイス100による表示例を概略的に示す。
図7】眼鏡型デバイス100による表示例を概略的に示す。
図8】サーバ200の機能構成の一例を概略的に示す。
図9】眼鏡型デバイス100が対応情報を記憶して、眼鏡型デバイス100が主体となって、眼鏡型デバイス100におけるコンテンツの表示を制御する場合における、制御装置300の機能構成の一例を概略的に示す。
図10】サーバ200、又は制御装置300として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。
【発明を実施するための形態】
【0014】
例えば、ARグラス等の眼鏡型デバイスにおいて、ビル等の建造物にCG(Computer Graphics)コンテンツを重畳表示させる場合は、ビル等の所有者が表示するコンテンツを設定することは可能だが、道路上や空等、所有者のない空間には様々なコンテンツが乱立し、それらが一斉に表示されると、眼鏡型デバイス装着者の視界には多くのコンテンツが表示され、視認性が悪くなってしまう。表示するコンテンツを限定すると、そのコンテンツのみしか表示されない(道案内アプリ利用中、道案内以外のコンテンツ(ゲームキャラクタや天気予報等)が表示されなくなってしまう)。それに対して、本実施形態に係る眼鏡型デバイス100及びサーバ200は、例えば、場所毎に表示するコンテンツ(アプリ/サービス)を設定することで、複数の情報・コンテンツを表示可能にする。
【0015】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0016】
図1は、システム10の一例を概略的に示す。システム10は、複数の眼鏡型デバイス100及びサーバ200を備える。サーバ200は、情報処理装置の一例であってよい。
【0017】
複数の眼鏡型デバイス100とサーバ200とは、ネットワーク20を介して通信する。ネットワーク20は、クラウドを含む。ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、5G(5th Generation)通信方式、LTE(Long Term Evolution)通信方式、3G(3rd Generation)通信方式、6G(6th Generation)通信方式以降の通信方式のいずれに準拠していてもよい。ネットワーク20は、Wi-Fi(登録商標)通信方式に対応していてよい。ネットワーク20には、Wi-Fiアクセスポイントを介してアクセス可能であってよい。ネットワーク20には、その他無線通信全般を利用してアクセス可能であってよい。サーバ200は、ネットワーク20に有線接続されてよく、無線接続されてもよい。眼鏡型デバイス100は、移動体通信、Wi-Fi通信、その他無線通信全般によって、ネットワーク20に接続されてよい。
【0018】
眼鏡型デバイス100は、無線通信機能と、コンテンツを表示する表示機能とを有している眼鏡型のデバイスであれば、どのようなものであってもよい。眼鏡型デバイス100は、例えば、ARグラスであってよい。
【0019】
眼鏡型デバイス100は、複数のアプリケーションを実行可能である。眼鏡型デバイス100は、アプリケーションを実行することにより、アプリケーションのコンテンツを表示する。眼鏡型デバイス100は、例えば、道案内アプリ、天気予報アプリ、ガイドアプリ、及びゲームアプリ等を実行する。
【0020】
アプリケーションのコンテンツとは、アプリケーションにおいて生成されるコンテンツであってよい。例えば、天気予報アプリのコンテンツは、天気予報を示すコンテンツである。例えば、道案内アプリのコンテンツは、ユーザを道案内するための矢印等の各種コンテンツである。例えば、ガイドアプリのコンテンツは、ユーザをガイドするためのコンテンツであり、店舗に関するガイドを実行する場合には、店舗情報を示すコンテンツ等である。例えば、ゲームアプリのコンテンツは、ゲームのキャラクタ及びアイテム等を表すコンテンツである。
【0021】
眼鏡型デバイス100は、その他、学習アプリ、業務系アプリ、ショッピングアプリ、及び画像管理アプリ等を実行してよい。これらは一例であり、眼鏡型デバイス100は、任意のアプリを実行してよい。
【0022】
眼鏡型デバイス100が表示するコンテンツは、任意のデータ形式であってよい。例えば、コンテンツは、3DのCGデータである。例えば、コンテンツは、静止画である。また、例えば、コンテンツは、動画である。例えば、コンテンツは、テキストである。コンテンツは、これらを複合的に含んでもよい。
【0023】
眼鏡型デバイス100は、コンテンツを透明又は半透明のグラス上に表示することによって、実空間にコンテンツが配置されている感覚をユーザ102に与えることが可能なデバイスであってよい。すなわち、眼鏡型デバイス100は、いわゆる透過型(シースルー型)のデバイスであってよい。なお、眼鏡型デバイス100は、ビデオパススルー型のデバイスであってもよい。この場合、眼鏡型デバイス100は、ユーザ102の視界に対応する範囲を撮影している撮影画像を非透過型のディスプレイに表示し、コンテンツを重畳表示してよい。
【0024】
サーバ200は、複数の眼鏡型デバイス100のそれぞれを管理する。サーバ200は、眼鏡型デバイス100に配信するコンテンツを管理してよい。サーバ200は、眼鏡型デバイス100において実行されているアプリケーションと連携することによって、眼鏡型デバイス100にコンテンツを表示させてよい。
【0025】
本実施形態において、サーバ200は、複数の眼鏡型デバイス100のそれぞれについて、眼鏡型デバイス100のユーザ102によって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶してよい。サーバ200は、対応情報を用いて、複数の眼鏡型デバイス100のそれぞれにおけるコンテンツの表示を制御してよい。
【0026】
例えば、サーバ200は、眼鏡型デバイス100において実行されているアプリケーションについて、当該アプリケーションに対応する種類の場所が、眼鏡型デバイス100のカメラが撮像している撮像範囲に含まれない場合、当該アプリケーションのコンテンツを表示させず、含まれる場合、当該アプリケーションのコンテンツを眼鏡型デバイス100の表示部における、特定された場所に対応する位置に表示させる。これにより、ユーザ102の側で、アプリケーション単位で、コンテンツを表示させる場所の種類をコントロールすることを可能とすることができる。
【0027】
このように、本実施形態に係るシステム10においては、サーバ200が対応情報を記憶し、サーバ200が主体となって、眼鏡型デバイス100によるコンテンツの表示を制御してよいが、これに限られない。眼鏡型デバイス100が対応情報を記憶して、眼鏡型デバイス100が主体となって、眼鏡型デバイス100におけるコンテンツの表示を制御してもよい。
【0028】
この場合、眼鏡型デバイス100は、ユーザ102によって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する。眼鏡型デバイス100は、対応情報を用いて、コンテンツの表示を制御してよい。
【0029】
例えば、眼鏡型デバイス100は、実行中のアプリケーションについて、当該アプリケーションに対応する種類の場所が、眼鏡型デバイス100のカメラが撮像している撮像範囲に含まれない場合、当該アプリケーションのコンテンツを表示させず、含まれる場合、当該アプリケーションのコンテンツを眼鏡型デバイス100の表示部における、特定された場所に対応する位置に表示させる。
【0030】
図2は、眼鏡型デバイス100の構成の一例を概略的に示す。眼鏡型デバイス100は、リム112及びテンプル118を有するフレーム110を備える。眼鏡型デバイス100は、眼鏡型デバイス100における各種制御を実行する制御装置300を備える。
【0031】
図2における制御装置300の配置は一例であり、制御装置300は、フレーム110の他の位置に配置されてもよい。例えば、制御装置300は、フレーム110の外部に配置されてもよい。また、例えば、制御装置300は、テンプル118内に配置されてもよい。具体例として、制御装置300は、テンプル118の先端部、すなわち、モダンに配置されてもよい。制御装置300は、バッテリを備えてよい。制御装置300とバッテリは、別体として、フレーム110の別の位置に配置されてもよい。
【0032】
眼鏡型デバイス100は、カメラ120を備えてよい。カメラ120の撮像範囲は、眼鏡型デバイス100を装着しているユーザ102の視界に対応する範囲であってよい。図2におけるカメラ120の配置は一例であり、カメラ120は、他の位置に配置されてもよい。
【0033】
眼鏡型デバイス100は、センサ122を備えてよい。センサ122は、眼鏡型デバイス100の周囲の環境を特定するためのセンサであってよい。センサ122は、LiDAR(Light Detection and Ranging)を含んでよい。センサ122は、測距センサを含んでもよい。図2では、センサ122がブリッジ114に配置されている場合を例示しているが、図2におけるセンサ122の配置は一例であり、センサ122は、他の位置に配置されてもよい。
【0034】
眼鏡型デバイス100は、センサ124を備えてよい。センサ124は、例えば、眼鏡型デバイス100の装着者であるユーザ102の視線を検出する。センサ124は、例えば、ユーザ102の目を撮像して監視することによって、ユーザ102の視線を検出する。図2におけるセンサ124の配置は一例であり、センサ124は、他の位置に配置されてもよい。
【0035】
眼鏡型デバイス100は、マイク126を備えてよい。マイク126は、眼鏡型デバイス100の装着者であるユーザ102の発話を取得可能な位置に配置される。図2におけるマイク126の配置は一例であり、マイク126は、他の位置に配置されてもよい。
【0036】
制御装置300は、各種入力を受け付けてよい。制御装置300は、眼鏡型デバイス100の任意の位置に配置された操作部を介して、ユーザ102からの各種入力を受け付けてよい。制御装置300は、例えば、フレーム110の任意の位置に配置されたボタン等の入力部を介して、ユーザ102からの各種入力を受け付ける。制御装置300は、例えば、スマートフォン及びウェアラブル端末等の携帯端末、タブレット端末、及びPC等を介して、ユーザ102からの各種入力を受け付けてもよい。眼鏡型デバイス100は、例えば、Wi-Fi、Bluetooth(登録商標)及びZigbee(登録商標)等の短距離無線通信方式を用いて、これらと無線接続を確立してよい。
【0037】
制御装置300は、各種センサを備えてよい。制御装置300は、例えば、測位センサを備える。例えば、制御装置300は、GPS(Global Positioning System)センサ等のGNSS(Global Naviagtion Satellite System)センサを備える。制御装置300は、加速度センサを備えてよい。制御装置300は、ジャイロセンサを備えてよい。制御装置300は、その他のセンサを備えてもよい。
【0038】
制御装置300は、カメラ120の撮像範囲を示す撮像範囲情報を生成してよい。制御装置300は、眼鏡型デバイス100の位置、向き、及び姿勢に基づいて、撮像範囲情報を生成してよい。制御装置300は、各種センサの出力によって、眼鏡型デバイス100の位置、向き、及び姿勢を特定してよい。
【0039】
制御装置300は、レンズ116への表示機能を備えてよい。レンズ116は、眼鏡型デバイス100の表示部の一例であってよい。レンズ116は、透明又は半透明のディスプレイであってよく、制御装置300は、レンズ116に各種表示を実行させてよい。すなわち、眼鏡型デバイス100は、透明又は半透明のディスプレイ型のデバイスであってよい。また、制御装置300が、レンズ116に対して表示を投影する機能を有してもよい。すなわち、眼鏡型デバイス100は、投影型のデバイスであってよい。
【0040】
制御装置300は、ネットワーク20を介した通信を実行する機能を有してよい。制御装置300は、移動体通信、Wi-Fi通信、及びその他の無線通信全般の少なくともいずれかによって、ネットワーク20にアクセスしてよい。制御装置300は、ネットワーク20を介して、サーバ200と通信してよい。
【0041】
図3は、ある眼鏡型デバイス100の対応情報410の一例を概略的に示す。図3に例示する対応情報410においては、道案内アプリに対して地面が対応付けられ、天気予報アプリに対して空が対応付けられ、ゲームアプリに対して、空間が対応付けられている。ここでは、当該眼鏡型デバイス100において、道案内アプリ、天気予報アプリ、及びゲームアプリの全てが実行されているものとして説明する。
【0042】
サーバ200が主体となる場合、サーバ200は、当該眼鏡型デバイス100の撮像範囲に地面が含まれる場合、当該眼鏡型デバイス100に、レンズ116における当該地面に対応する位置に道案内アプリのコンテンツを表示させる。サーバ200は、当該眼鏡型デバイス100の撮像範囲に地面が含まれない場合には、当該眼鏡型デバイス100に道案内アプリのコンテンツを表示させない。サーバ200は、当該眼鏡型デバイス100の撮像範囲に空が含まれる場合、当該眼鏡型デバイス100に、レンズ116における当該空に対応する位置に天気予報アプリのコンテンツを表示させる。サーバ200は、当該眼鏡型デバイス100の撮像範囲に空が含まれない場合には、当該眼鏡型デバイス100に天気予報アプリのコンテンツを表示させない。サーバ200は、当該眼鏡型デバイス100に、レンズ116における空間に対応する位置にゲームアプリのコンテンツを表示させる。
【0043】
当該眼鏡型デバイス100が主体となる場合、当該眼鏡型デバイス100は、撮像範囲に地面が含まれる場合、レンズ116における当該地面に対応する位置に道案内アプリのコンテンツを表示する。当該眼鏡型デバイス100は、撮像範囲に地面が含まれない場合には、道案内アプリのコンテンツを表示しない。当該眼鏡型デバイス100は、撮像範囲に空が含まれる場合、レンズ116における当該空に対応する位置に天気予報アプリのコンテンツを表示する。当該眼鏡型デバイス100は、撮像範囲に空が含まれない場合には、天気予報アプリのコンテンツを表示しない。当該眼鏡型デバイス100は、レンズ116における空間に対応する位置にゲームアプリのコンテンツを表示させる。
【0044】
レンズ116に多数のアプリケーションのコンテンツが表示されると、ユーザ102の視認性が悪くなってしまう。一方、コンテンツを表示するアプリケーションを限定すると、そのアプリケーションのコンテンツのみしか表示されなくなる。それに対して、本実施形態に係るシステム10によれば、複数のアプリケーションのそれぞれに場所の種類を対応付けることによって、レンズ116に表示されるコンテンツの数を適切に制限することができ、かつ、ユーザ102が、複数のアプリケーションのそれぞれについて、コンテンツを表示することを希望する場所にコンテンツを表示するようにできる。これにより、空との関係性が強い天気予報アプリのコンテンツが空に表示され、道等の地面との関係性が強い道案内アプリのコンテンツが地面に表示される、といった環境をユーザ102に対して提供することができる。
【0045】
図4は、対応情報420の一例を概略的に示す。図4に例示する対応情報420においては、道案内アプリに対して地面が対応付けられ、ゲームアプリに対して地面から2mの空間が対応付けられ、ガイドアプリに対して高さ2~50mの空間が対応付けられ、天気予報アプリに対して50m以上の空間が対応付けられている。ここでは、一の眼鏡型デバイス100において、道案内アプリ、ゲームアプリ、ガイドアプリ、及び天気予報アプリの全てが実行されているものとして説明する。
【0046】
サーバ200が主体となる場合、サーバ200は、当該眼鏡型デバイス100の撮像範囲に地面が含まれる場合、当該眼鏡型デバイス100に、レンズ116における当該地面に対応する位置に道案内アプリのコンテンツを表示させる。サーバ200は、当該眼鏡型デバイス100の撮像範囲に地面が含まれない場合には、当該眼鏡型デバイス100に道案内アプリのコンテンツを表示させない。
【0047】
サーバ200は、当該眼鏡型デバイス100の撮像範囲に高さ2~50mの空間が含まれる場合、当該眼鏡型デバイス100に、レンズ116における当該高さ2~50mの空間に対応する位置にガイドアプリのコンテンツを表示させる。サーバ200は、当該眼鏡型デバイス100の撮像範囲に高さ2~50mの空間が含まれない場合には、当該眼鏡型デバイス100にガイドアプリのコンテンツを表示させない。
【0048】
サーバ200は、当該眼鏡型デバイス100の撮像範囲に50m以上の空間が含まれる場合、当該眼鏡型デバイス100に、レンズ116における当該50m以上の空間に対応する位置に天気予報アプリのコンテンツを表示させる。サーバ200は、当該眼鏡型デバイス100の撮像範囲に50m以上の空間が含まれない場合には、当該眼鏡型デバイス100に天気予報アプリのコンテンツを表示させない。
【0049】
当該眼鏡型デバイス100が主体となる場合、当該眼鏡型デバイス100は、撮像範囲に地面が含まれる場合、レンズ116における当該地面に対応する位置に道案内アプリのコンテンツを表示する。当該眼鏡型デバイス100は、撮像範囲に地面が含まれない場合には、道案内アプリのコンテンツを表示しない。
【0050】
当該眼鏡型デバイス100は、撮像範囲に地面から2mの空間が含まれる場合、レンズ116における当該地面から2mの空間に対応する位置にゲームアプリのコンテンツを表示する。当該眼鏡型デバイス100は、撮像範囲に地面から2mの空間が含まれない場合には、ゲームアプリのコンテンツを表示しない。
【0051】
当該眼鏡型デバイス100は、撮像範囲に高さ2m~50mの空間が含まれる場合、レンズ116における当該高さ2m~50mの空間に対応する位置にガイドアプリのコンテンツを表示する。当該眼鏡型デバイス100は、撮像範囲に高さ2m~50mの空間が含まれない場合には、ガイドアプリのコンテンツを表示しない。
【0052】
当該眼鏡型デバイス100は、撮像範囲に高さ50m以上の空間が含まれる場合、レンズ116における当該高さ50m以上の空間に対応する位置に天気予報アプリのコンテンツを表示する。当該眼鏡型デバイス100は、撮像範囲に高さ50m以上の空間が含まれない場合には、天気予報アプリのコンテンツを表示しない。
【0053】
このように、空間における高さの範囲を設定可能とすることによって、コンテンツを表示させる位置をより詳細に制御することができる。
【0054】
図5は、眼鏡型デバイス100における表示例を概略的に示す。ここでは、天気予報アプリに対して空が対応付けられ、道案内アプリに対して地面が対応付けられている場合について説明する。
【0055】
図5に示す例においては、眼鏡型デバイス100の撮像範囲に空及び地面が含まれているので、眼鏡型デバイス100のレンズ116における空に対応する位置に、天気予報アプリのコンテンツ510が表示され、眼鏡型デバイス100のレンズ116における地面に対応する位置に、道案内アプリのコンテンツ520が表示されている。
【0056】
図6は、眼鏡型デバイス100における表示例を概略的に示す。ここでは、図5と異なる点を主に説明する。本例においては、眼鏡型デバイス100のユーザ102の対応情報において、道案内アプリに対して地面から2mの空間が対応付けられている。眼鏡型デバイス100の撮像範囲に空及び地面から2mの空間が含まれているので、眼鏡型デバイス100のレンズ116における空に対応する位置に、天気予報アプリのコンテンツ510が表示され、眼鏡型デバイス100のレンズ116における地面から2mの空間に対応する位置に、道案内アプリのコンテンツ520が表示されている。
【0057】
図5図6に例示するように、あるアプリケーションにおいて、ある実世界の位置に登録されるコンテンツは、空間の種類に関わらずに同一であってよいが、空間の種類によって異なってもよい。例えば、あるアプリケーションにおいて、ある実世界の位置に対して、空間の種類によって、異なる表現やサイズのコンテンツが登録されてもよい。具体例として、地面に対して、平面的なコンテンツが登録され、空間に対して立体的なコンテンツが登録され得る。
【0058】
図7は、眼鏡型デバイス100における表示例を概略的に示す。ここでは、図6と異なる点を主に説明する。本例においては、道案内アプリに対して地面から2mの空間が対応付けられているが、道案内アプリにおいて、地面に対して平面的なコンテンツ520が登録されており、地面から2mの空間に対して立体的なコンテンツ522が登録されている。眼鏡型デバイス100のユーザ102の対応情報には、道案内アプリに対して地面から2mの空間が対応付けられている。眼鏡型デバイス100の撮像範囲に空及び地面から2mの空間が含まれているので、眼鏡型デバイス100のレンズ116における空に対応する位置に、天気予報アプリのコンテンツ510が表示され、眼鏡型デバイス100のレンズ116における地面から2mの空間に対応する位置に、道案内アプリのコンテンツ522が表示されている。
【0059】
図8は、サーバ200の機能構成の一例を概略的に示す。サーバ200は、記憶部202、登録部204、外部通信部206、条件提示部208、場所特定部210、及び表示制御部212を備える。なお、サーバ200がこれらの全てを備えることは必須とは限らない。
【0060】
記憶部202は、各種情報を記憶する。登録部204は、各種情報を登録する。登録部204は、登録した情報を記憶部202に記憶させる。登録部204は、例えば、サーバ200のユーザによる入力によって各種情報を登録する。
【0061】
外部通信部206は、外部との通信を実行する。外部通信部206は、ネットワーク20を介して、他の装置と通信してよい。登録部204は、外部通信部206を介して、他の装置から受信した情報を登録してもよい。
【0062】
外部通信部206は、例えば、眼鏡型デバイス100と通信する。外部通信部206は、例えば、管理対象の眼鏡型デバイス100から継続的に撮像範囲情報を受信する。眼鏡型デバイス100は、定期的に又は不定期に撮像範囲情報をサーバ200に送信してよい。また、眼鏡型デバイス100は、撮像範囲が変化する毎に、撮像範囲情報をサーバ200に送信してもよい。
【0063】
登録部204は、複数のコンテンツを登録してよい。登録部204は、複数のアプリケーションのそれぞれについて、複数のコンテンツを登録してよい。
【0064】
登録部204は、例えば、外部通信部206を介して、アプリケーションの提供者が利用する通信装置から、アプリケーションのコンテンツを受信して登録する。登録部204は、アプリケーションの提供者が利用する通信装置から、複数のコンテンツと、複数のコンテンツに対応する複数の実世界の位置とを受信して、複数のコンテンツと複数の実世界の位置とをそれぞれを対応付けて登録してよい。登録部204は、さらに、アプリケーションの提供者が利用する通信装置から、アプリケーションのコンテンツを表示可能な場所の種類の条件を受信して登録してよい。
【0065】
場所の種類の条件は、コンテンツを表示可能な場所の種類を示すものであってよい。場所の種類の条件は、例えば、コンテンツを表示可能な場所として地面を指定する条件であってよい。場所の種類の条件は、例えば、コンテンツを表示可能な場所として空を指定する条件であってよい。場所の種類の条件は、例えば、コンテンツを表示可能な場所として空間を指定する条件であってよい。場所の種類の条件は、例えば、コンテンツを表示可能な場所として空間の高さの範囲を指定する条件であってよい。
【0066】
場所の種類の条件は、コンテンツを表示しない場所の種類を示すものであってもよい。場所の種類の条件は、例えば、コンテンツを表示しない場所として地面を指定する条件であってよい。この場合、当該コンテンツに対応するアプリケーションを眼鏡型デバイス100が実行している場合において、眼鏡型デバイス100の撮像範囲に地面のみが含まれている場合、当該コンテンツは表示されず、地面が含まれずに他の場所が含まれる場合や、地面と他の場所との両方が含まれる場合に、当該コンテンツは表示される。
【0067】
場所の種類の条件は、例えば、コンテンツを表示しない場所として空を指定する条件であってよい。この場合、当該コンテンツに対応するアプリケーションを眼鏡型デバイス100が実行している場合において、眼鏡型デバイス100の撮像範囲に空のみが含まれている場合、当該コンテンツは表示されず、空が含まれずに他の場所が含まれる場合や、空と他の場所との両方が含まれる場合に、当該コンテンツは表示される。
【0068】
場所の種類の条件は、例えば、コンテンツを表示しない場所として空間を指定する条件であってよい。この場合、当該コンテンツに対応するアプリケーションを眼鏡型デバイス100が実行している場合において、眼鏡型デバイス100の撮像範囲に当該空間のみが含まれている場合、当該コンテンツは表示されず、当該空間が含まれずに他の場所が含まれる場合や、当該空間と他の場所との両方が含まれる場合に、当該コンテンツは表示される。
【0069】
場所の種類の条件は、例えば、コンテンツを表示しない場所として空間の高さの範囲を指定する条件であってよい。この場合、当該コンテンツに対応するアプリケーションを眼鏡型デバイス100が実行している場合において、眼鏡型デバイス100の撮像範囲に当該空間の高さの範囲のみが含まれている場合、当該コンテンツは表示されず、当該空間の高さの範囲が含まれずに他の場所が含まれる場合や、当該空間の高さの範囲と他の場所との両方が含まれる場合に、当該コンテンツは表示される。
【0070】
登録部204は、外部通信部206を介して、眼鏡型デバイス100のユーザ102による入力を受け付けることによって、各種情報を登録してよい。例えば、登録部204は、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を登録する。
【0071】
場所の種類は、地面を含んでよい。場所の種類は、空を含んでよい。場所の種類は、建造物を含んでよい。場所の種類は、空間を含んでよい。場所の種類は、床を含んでもよい。場所の種類は、山を含んでもよい。場所の種類は、池、湖、沼、川及び海等を含んでもよい。場所の種類は、これら以外を含んでもよい。対応情報は、場所の種類が空間である場合に、空間の高さの範囲とアプリケーションとを対応付けてもよい。
【0072】
条件提示部208は、アプリケーションの提供者によって指定された場所の種類の条件を眼鏡型デバイス100のユーザ102に提示する。条件提示部208は、登録部204がアプリケーションに対して登録した、アプリケーションの提供者が利用する通信装置から受信した場所の種類の条件を、外部通信部206を介して眼鏡型デバイス100に送信することによって、眼鏡型デバイス100のユーザ102に提示してよい。
【0073】
眼鏡型デバイス100のユーザ102は、アプリケーションに対応する場所の種類を登録する場合に、提示された場所の種類の条件を満たすように登録する。登録部204は、アプリケーションに対して、条件提示部208によってユーザ102に対して提示された場所の種類の条件を満たす場所の種類が指定された場合、当該アプリケーションと当該場所の種類とを対応情報に登録する。登録部204は、アプリケーションに対して、条件提示部208によってユーザ102に対して提示された場所の種類の条件を満たさない場所の種類が指定された場合には、登録を拒否してよい。
【0074】
条件提示部208は、アプリケーションの提供者によって指定された空間の高さの範囲を眼鏡型デバイス100のユーザ102に提示してよい。登録部204は、アプリケーションに対して、条件提示部208によってユーザ102に対して提示された空間の高さの範囲内の、空間の高さの範囲が指定された場合に、当該アプリケーションと、指定された空間の高さの範囲とを対応情報に登録する。登録部204は、アプリケーションに対して、条件提示部208によってユーザ102に対して提示された空間の高さの範囲外の、空間の高さの範囲が指定された場合、登録を拒否してよい。例えば、条件提示部208によって、高さ30m以上の空間がユーザ102に対して提示された場合であって、ユーザ102が、高さ30m以上や、高さ50m以上等の、条件を満たす範囲を指定した場合には、登録部204が登録を実行し、高さ30mよりも低い範囲等の、条件を満たさない範囲を指定した場合には、登録部204が登録を拒否する。
【0075】
登録部204は、複数のアプリケーションのそれぞれについて、場所の種類毎に、複数のコンテンツを登録してもよい。登録部204は、例えば、アプリケーションの提供者が利用する通信端末からの登録指示に従って、当該アプリケーションについて、地面に表示する場合の複数のコンテンツと、空間に表示する場合の複数のコンテンツと、空に表示する場合の複数のコンテンツとを登録する。
【0076】
これにより、例えば、実世界のある位置に対して、地面に表示する場合のコンテンツAと、空間に表示する場合のコンテンツBと、空に表示する場合のコンテンツCとが登録され得る。コンテンツA、コンテンツB、コンテンツCは、例えば、同じ内容を示すが、コンテンツのサイズや、コンテンツの表現(コンテンツが平面的であるか立体的であるか等)が異なるコンテンツであってよい。なお、コンテンツA、コンテンツB、コンテンツCは、異なる内容を示すものであってもよい。
【0077】
そして、眼鏡型デバイス100のユーザ102が、当該アプリケーションに対して、場所の種類として地面を登録した場合、眼鏡型デバイス100の撮像範囲に当該実世界の位置の地面が含まれたときに、コンテンツAが表示される。また、眼鏡型デバイス100のユーザ102が、当該アプリケーションに対して、場所の種類として空間を登録した場合、眼鏡型デバイス100の撮像範囲に当該実世界の位置の空間が含まれたときに、コンテンツBが表示される。また、眼鏡型デバイス100のユーザ102が、当該アプリケーションに対して、場所の種類として空を登録した場合、眼鏡型デバイス100の撮像範囲に当該実世界の位置の空が含まれたときに、コンテンツCが表示される。
【0078】
一具体例として、道案内アプリの提供者によって、地面に表示する場合のコンテンツとして、平面的なコンテンツAが登録され、高さ2m~50mの空間に表示する場合のコンテンツとして、デフォルトよりも小さいサイズのコンテンツBが登録され、高さ50m以上の空間に表示する場合のコンテンツとして、デフォルトのサイズのコンテンツCが登録される。
【0079】
条件提示部208は、複数のアプリケーション毎に、コンテンツが登録されている場所の種類を、眼鏡型デバイス100のユーザ102に提示してよい。例えば、あるアプリケーションに対して、地面に表示するコンテンツと、空間に表示するコンテンツと、空に表示するコンテンツとが登録されている場合、条件提示部208は、当該アプリケーションについて、地面、空間、及び空をユーザ102に提示する。例えば、他のアプリケーションに対して、地面に表示するコンテンツと、空間に表示するコンテンツとが登録されている場合、条件提示部208は、地面、及び空間をユーザ102に提示する。
【0080】
具体的な流れの例として、まず、眼鏡型デバイス100において、ユーザ102がアプリケーションを選択する。当該選択に応じて、条件提示部208が、選択されたアプリケーションについて、コンテンツが登録されている場所の種類を特定して、特定した場所の種類をユーザ102に提示する。ユーザ102は、提示された場所の種類から少なくとも1つを選択する。登録部204は、選択された場所の種類を、選択されたアプリケーションに対して登録する。
【0081】
一具体例として、ユーザ102によって道案内アプリが選択された場合に、条件提示部208は、道案内アプリにおいて、コンテンツが登録されている場所の種類をユーザ102に提示する。本例においては、コンテンツAが地面に、コンテンツBが高さ2~50mの空間に、コンテンツCが高さ50m以上の空間に登録されているので、条件提示部208は、地面、高さ2~50mの空間、高さ50m以上の空間をユーザ102に提示する。ユーザ102は、提示された3つから少なくとも1つを選択する。例えば、地面が選択された場合、対応情報には、道案内アプリに対して地面が対応付けて登録される。これにより、道案内アプリについて、コンテンツが登録されている場所の種類をユーザ102に把握させるさせることができ、ユーザ102による登録を支援することができる。
【0082】
なお、例えば、眼鏡型デバイス100において、まず、ユーザ102による場所の種類の選択を受け付けて、条件提示部208が、選択された場所の種類に表示するコンテンツが登録されているアプリケーションの一覧をユーザ102に対して提示してもよい。
【0083】
具体的な流れの例として、まず、眼鏡型デバイス100において、ユーザ102が場所の種類を選択する。当該選択に応じて、条件提示部208が、選択された場所の種類に表示するコンテンツが登録されているアプリケーションを特定し、特定したアプリケーションの一覧をユーザ102に提示する。ユーザ102は、提示されたアプリケーションから少なくとも1つを選択する。登録部204は、選択されたアプリケーションを、選択された場所の種類に対して登録する。
【0084】
一具体例として、ユーザ102によって地面が選択された場合に、条件提示部208は、地面に表示するコンテンツが登録されているアプリケーションをユーザ102に提示する。ここでは、道案内アプリと、ゲームアプリに対して、地面に表示するコンテンツが登録されている場合を例に挙げる。ユーザ102は、提示された道案内アプリ及びゲームアプリから、少なくとも1つを選択する。例えば、道案内アプリが選択された場合、対応情報には、道案内アプリに対して地面が対応付けて登録される。これにより、地面に表示するコンテンツが登録されているアプリケーションをユーザ102に把握させることができ、ユーザ102による登録を支援することができる。
【0085】
場所特定部210は、眼鏡型デバイス100のカメラ120が撮像している撮像範囲に含まれる場所の種類を特定する。場所特定部210は、外部通信部206が眼鏡型デバイス100から継続的に受信する撮像範囲情報に基づいて、撮像範囲に含まれる場所の種類を特定してよい。
【0086】
場所特定部210は、例えば、各地の地図データを予め記憶しておき、眼鏡型デバイス100から受信する撮像範囲情報に含まれる位置、向き、及び姿勢から、地図データにおけるどの範囲が眼鏡型デバイス100の撮像範囲に含まれるかを特定することによって、眼鏡型デバイス100の撮像範囲に含まれる場所の種類を特定する。地図データは、例えば、カバー範囲に含まれる物体の3次元形状の情報を含む3次元地図データである。地図データは、カバー範囲に含まれる物体の3次元形状の情報を別途含む、2次元地図データであってもよい。地図データは、Geospatial APIのような2次元画像や、GPSベースの地図データであってもよい。場所特定部210は、その他任意の方法を用いて、眼鏡型デバイス100の撮像範囲に含まれる場所の種類を特定してよい。
【0087】
なお、場所の特定処理をサーバ200が実行するのではなく、眼鏡型デバイス100が実行してもよい。この場合、場所特定部210は、眼鏡型デバイス100から、撮像範囲情報とともに、撮像範囲に含まれる場所の種類の情報を取得してよい。眼鏡型デバイス100は、カメラ120による撮像画像、及びセンサ122による検知結果から、撮像範囲に含まれる場所の種類を特定してよい。眼鏡型デバイス100は、VPS(Visual Positioning System)サーバと連携するなど、任意の方法を用いて、撮像範囲に含まれる場所の種類を特定してもよい。
【0088】
表示制御部212は、眼鏡型デバイス100によるコンテンツの表示を制御する。表示制御部212は、眼鏡型デバイス100が実行しているアプリケーションのコンテンツの表示を制御する。表示制御部212は、外部通信部206が受信した撮像範囲情報に基づいて、眼鏡型デバイス100に対するコンテンツの表示制御を行う。
【0089】
例えば、表示制御部212は、記憶部202に記憶されている眼鏡型デバイス100の対応情報を参照して、場所特定部210によって特定された場所の種類に対応するアプリケーションを特定し、特定したアプリケーションのコンテンツを、眼鏡型デバイス100のレンズ116における、特定された場所に対応する位置に表示させる。表示制御部212は、場所特定部210によって特定された場所の種類に対応するアプリケーションを特定し、当該アプリケーションのコンテンツのうち、対応する実世界の位置が眼鏡型デバイス100の撮像範囲に含まれるコンテンツがある場合に、当該コンテンツを、眼鏡型デバイス100のレンズ116における、特定された場所に対応する位置に表示させてもよい。
【0090】
表示制御部212は、眼鏡型デバイス100において実行されているアプリケーションについて、当該アプリケーションに対応する種類の場所が眼鏡型デバイス100の撮像範囲に含まれない場合、当該アプリケーションのコンテンツを表示させず、含まれる場合、当該アプリケーションのコンテンツを眼鏡型デバイス100のレンズ116における特定された場所に対応する位置に表示させてよい。
【0091】
表示制御部212は、場所特定部210によって、地面から2m等の、空間の高さの範囲が特定された場合、当該空間の高さの範囲に対応するアプリケーションのコンテンツを、眼鏡型デバイス100のレンズ116における当該空間の高さの範囲内に対応する位置に表示させる。
【0092】
登録部204が、複数のアプリケーションのそれぞれについて、場所の種類毎にコンテンツを登録している場合、表示制御部212は、記憶部202に記憶されている眼鏡型デバイス100の対応情報を参照して、場所特定部210によって特定された場所の種類に対応するアプリケーションを特定し、特定したアプリケーションの、当該場所の種類に対応するコンテンツを、眼鏡型デバイス100のレンズ116における、特定された場所に対応する位置に表示させてよい。例えば、表示制御部212は、場所特定部210によって地面が特定された場合に、地面に対応するアプリケーションを特定し、特定したアプリケーションの、地面に対応するコンテンツを、眼鏡型デバイス100のレンズ116における、地面に対応する位置に表示させてよい。
【0093】
図9は、眼鏡型デバイス100が対応情報を記憶して、眼鏡型デバイス100が主体となって、眼鏡型デバイス100におけるコンテンツの表示を制御する場合における、制御装置300の機能構成の一例を概略的に示す。制御装置300は、情報処理装置の一例であってよい。
【0094】
制御装置300は、記憶部302、情報取得部304、サーバ通信部306、登録部308、条件提示部310、場所特定部312、及び表示制御部314を備える。制御装置300がこれらの全てを備えることは必須とは限らない。
【0095】
記憶部302は、各種情報を記憶する。情報取得部304は、各種情報を取得する。情報取得部304は、取得した情報を記憶部302に記憶させてよい。
【0096】
情報取得部304は、例えば、カメラ120によって撮像された撮像画像をカメラ120から取得する。情報取得部304は、例えば、各種センサによって出力された情報を取得する。情報取得部304は、センサ122によって出力された情報を取得してよい。情報取得部304は、センサ124によって出力された情報を取得してよい。情報取得部304は、測位センサによって出力された情報を取得してよい。情報取得部304は、加速度センサによって出力された情報を取得してよい。情報取得部304は、ジャイロセンサによって出力された情報を取得してよい。情報取得部304は、その他のセンサによって出力された情報を取得してよい。情報取得部304は、例えば、マイク126が取得したユーザ102の発話を取得する。情報取得部304は、マイク126が取得したユーザ102の発話を音声認識することによって、発話内容を取得してよい。
【0097】
情報取得部304は、ユーザ102からの各種入力を取得してよい。情報取得部304は、ユーザ102が、操作部や携帯端末を介して入力した入力情報を取得してよい。情報取得部304は、ユーザ102の音声入力内容を取得してよい。情報取得部304は、ユーザ102の手の動きによる入力情報を取得してよい。
【0098】
情報取得部304は、カメラ120の撮像範囲を示す撮像範囲情報を生成してよい。情報取得部304は、眼鏡型デバイス100の位置、向き、及び姿勢に基づいて、撮像範囲情報を生成してよい。情報取得部304は、各種センサの出力によって、眼鏡型デバイス100の位置、向き、及び姿勢を特定してよい。
【0099】
情報取得部304は、眼鏡型デバイス100におけるアプリケーションの実行状況を取得する。情報取得部304は、眼鏡型デバイス100にインストールされている複数のアプリケーションのうち、実行されているアプリケーションを示すアプリ実行状況を取得してよい。
【0100】
サーバ通信部306は、ネットワーク20を介してサーバ200と通信する。サーバ通信部306は、例えば、情報取得部304が取得した各種情報をサーバ200に送信する。
【0101】
登録部308は、各種情報を登録する。登録部308は、情報取得部304が取得したユーザ102からの各種入力に従って、各種情報を登録してよい。登録部308は、登録した情報を記憶部302に記憶させる。
【0102】
登録部308は、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を登録する。ユーザ102は、複数のアプリケーションのそれぞれについて、コンテンツを表示させたい場所の種類を検討して、登録してよい。
【0103】
条件提示部310は、アプリケーションの提供者によって指定された場所の種類の条件をユーザ102に提示する。条件提示部310は、サーバ200から、アプリケーションの提供者によって指定された場所の種類の条件を受信して、ユーザ102に提示してよい。条件提示部310は、例えば、レンズ116に場所の種類の条件を表示させてよい。
【0104】
場所特定部312は、カメラ120が撮像している撮像範囲に含まれる場所の種類を特定する。場所特定部312は、例えば、各地の地図データを予め記憶しておき、情報取得部304が取得する撮像範囲情報に含まれる位置、向き、及び姿勢から、データ地図におけるどの範囲がカメラ120の撮像範囲に含まれるかを特定することによって、撮像範囲に含まれる場所の種類を特定する。場所特定部312は、VPSサーバと連携するなど、任意の方法を用いて、撮像範囲に含まれる場所の種類を特定してもよい。
【0105】
表示制御部314は、レンズ116の表示を制御する。表示制御部314は、サーバ通信部306がサーバ200から受信したコンテンツをレンズ116に表示させてよい。3表示制御部314は、眼鏡型デバイス100におけるアプリケーションの実行状況と、場所特定部312によって特定された場所の種類とに基づいて、コンテンツの表示を制御してよい。
【0106】
例えば、まず、サーバ通信部306が、情報取得部304が取得した撮像範囲情報をサーバ200に送信して、サーバ200から、表示対象のコンテンツを受信し、記憶部302に記憶させる。サーバ通信部306は、撮像範囲情報が示す撮像範囲に、対応する実世界の位置が含まれるコンテンツを全てサーバ200から受信してよい。表示制御部314は、記憶部302に記憶されている対応情報を参照して、場所特定部312によって特定された場所の種類に対応するアプリケーションを特定する。そして、サーバ通信部306が受信したコンテンツに、特定したアプリケーションであって、実行中のアプリケーションのコンテンツが含まれる場合に、当該コンテンツを、レンズ116における特定された場所に対応する位置に表示させる。表示制御部314は、眼鏡型デバイス100において実行されているアプリケーションであっても、当該アプリケーションに対応する種類の場所がカメラ120の撮像範囲に含まれない場合、当該アプリケーションのコンテンツは表示させない。
【0107】
複数のアプリケーションのそれぞれについて、場所の種類毎にコンテンツが登録されている場合、サーバ通信部306は、撮像範囲情報が示す撮像範囲に、対応する実世界の位置が含まれるコンテンツを、対応する場所の種類に関わらず、全てサーバ200から受信してよい。表示制御部314は、記憶部302に記憶されている対応情報を参照して、場所特定部312によって特定された場所の種類に対応するアプリケーションを特定する。そして、サーバ通信部306が受信したコンテンツに、特定したアプリケーションであって、実行中のアプリケーションの、特定された場所の種類に対応するコンテンツが含まれる場合に、当該コンテンツを、レンズ116における特定された場所に対応する位置に表示させてよい。例えば、道案内アプリについて、地面、空間、空のそれぞれにコンテンツが登録されており、対応情報において道案内アプリと地面とが対応付けられており、場所特定部312によって地面が特定された場合、表示制御部314は、地面に対応する道案内アプリを特定し、道案内アプリの、地面に対応するコンテンツを、レンズ116における地面に対応する位置に表示させる。
【0108】
また、例えば、まず、サーバ通信部306が、情報取得部304が取得した撮像範囲情報及びアプリ実行状況と、場所特定部312が特定した場所の種類とをサーバ200に送信する。サーバ200は、記憶部202に記憶されている対応情報を参照して、眼鏡型デバイス100において実行されているアプリケーションのうち、対応する場所の種類が、眼鏡型デバイス100から受信した場所の種類に一致するアプリケーションを特定し、特定したアプリケーションのコンテンツを眼鏡型デバイス100に送信する。サーバ通信部306は、眼鏡型デバイス100によって送信されたコンテンツを受信して、レンズ116における、場所特定部312によって特定された場所に対応する位置に、当該コンテンツを表示させる。
【0109】
複数のアプリケーションのそれぞれについて、場所の種類毎にコンテンツが登録されている場合、撮像範囲情報、アプリ実行状況、及び場所の種類を受信したサーバ200は、記憶部202に記憶されている対応情報を参照して、眼鏡型デバイス100において実行されているアプリケーションのうち、対応する場所の種類が、眼鏡型デバイス100から受信した場所の種類に一致するアプリケーションを特定し、特定したアプリケーションの、当該場所の種類に対応するコンテンツを、眼鏡型デバイス100に送信する。
【0110】
図10は、サーバ200、又は制御装置300のハードウェア構成の一例を概略的に示す。本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
【0111】
CPU1212は、ROM1230及びRAM1214内に記憶されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
【0112】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを記憶する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
【0113】
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを記憶する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
【0114】
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【0115】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に記憶された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0116】
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に記憶されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0117】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に記憶され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に記憶される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に記憶された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0118】
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に記憶されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0119】
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に記憶されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に記憶されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【0120】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を記憶可能な任意の有形なデバイスを含んでよく、その結果、そこに記憶される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピーディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイディスク、メモリスティック、集積回路カード等が含まれてよい。
【0121】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
【0122】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0123】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0124】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0125】
10 システム、100 眼鏡型デバイス、102 ユーザ、110 フレーム、112 リム、114 ブリッジ、116 レンズ、118 テンプル、120 カメラ、122 センサ、124 センサ、126 マイク、200 サーバ、202 記憶部、204 登録部、206 外部通信部、208 条件提示部、210 場所特定部、212 表示制御部、300 制御装置、302 記憶部、304 情報取得部、306 サーバ通信部、308 登録部、310 条件提示部、312 場所特定部、314 表示制御部、410 対応情報、420 対応情報、510、520、522 コンテンツ、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1230 ROM、1240 入出力チップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【手続補正書】
【提出日】2024-04-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
眼鏡型デバイスのユーザによって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶部と、
前記眼鏡型デバイスのカメラが撮像している撮像範囲に含まれる場所の種類を特定する場所特定部と、
前記対応情報を参照して前記場所特定部によって特定された場所の種類に対応するアプリケーションを特定し、特定した前記アプリケーションのコンテンツを、前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる表示制御部と
を備え、
前記アプリケーションの提供者によって指定された場所の種類の条件を前記眼鏡型デバイスの前記ユーザに提示する条件提示部と、
前記アプリケーションに対して、前記条件提示部によって前記ユーザに対して提示された前記場所の種類の条件を満たす前記場所の種類が指定された場合に、当該アプリケーションと当該場所の種類とを前記対応情報に登録する登録部と
を更に備える、情報処理装置。
【請求項2】
前記登録部は、前記アプリケーションに対して、前記条件提示部によって前記ユーザに対して提示された前記場所の種類の条件を満たさない前記場所の種類が指定された場合に、当該アプリケーションと当該場所の種類とを前記対応情報に登録しない、請求項1に記載の情報処理装置
【請求項3】
前記場所の種類は、地面、空、建造物、及び空間の少なくともいずれかを含む、請求項1に記載の情報処理装置。
【請求項4】
前記表示制御部は、前記眼鏡型デバイスにおいて実行されているアプリケーションについて、当該アプリケーションに対応する種類の場所が前記眼鏡型デバイスの前記撮像範囲に含まれない場合、当該アプリケーションのコンテンツを表示させず、含まれる場合、当該アプリケーションのコンテンツを前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる、請求項1に記載の情報処理装置。
【請求項5】
前記場所の種類は、空間を含み、
前記対応情報は、空間の高さの範囲と前記アプリケーションとを対応付け、
前記表示制御部は、前記高さの範囲内の空間が前記眼鏡型デバイスの前記撮像範囲に含まれる場合に、当該空間の高さの範囲に対応する前記アプリケーションのコンテンツを、前記眼鏡型デバイスの前記表示部における当該空間の高さの範囲内に対応する位置に表示させる、請求項1に記載の情報処理装置。
【請求項6】
前記条件提示部は、前記アプリケーションの提供者によって指定された空間の高さの範囲を前記眼鏡型デバイスの前記ユーザに提示し、
前記登録部は、前記アプリケーションに対して、前記条件提示部によって前記ユーザに対して提示された前記空間の高さの範囲内の、空間の高さの範囲が指定された場合に、当該アプリケーションと指定された空間の高さの範囲とを前記対応情報に登録する、請求項に記載の情報処理装置。
【請求項7】
眼鏡型デバイスのユーザによって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶部と、
前記眼鏡型デバイスのカメラが撮像している撮像範囲に含まれる場所の種類を特定する場所特定部と、
前記対応情報を参照して前記場所特定部によって特定された場所の種類に対応するアプリケーションを特定し、特定した前記アプリケーションのコンテンツを、前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる表示制御部と
を備え、
前記場所の種類は、空間を含み、
前記対応情報は、空間の高さの範囲と前記アプリケーションとを対応付け、
前記表示制御部は、前記高さの範囲内の空間が前記眼鏡型デバイスの前記撮像範囲に含まれる場合に、当該空間の高さの範囲に対応する前記アプリケーションのコンテンツを、前記眼鏡型デバイスの前記表示部における当該空間の高さの範囲内に対応する位置に表示させる、情報処理装置
【請求項8】
前記情報処理装置は、前記眼鏡型デバイスとネットワークを介して通信する、請求項1からのいずれか一項に記載の情報処理装置。
【請求項9】
前記情報処理装置は、前記眼鏡型デバイスに搭載される、請求項1からのいずれか一項に記載の情報処理装置。
【請求項10】
コンピュータを、請求項1からのいずれか一項に記載の情報処理装置として機能させるためのプログラム。
【請求項11】
コンピュータによって実行される表示方法であって、
眼鏡型デバイスのユーザによって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶段階と、
前記眼鏡型デバイスのカメラが撮像している撮像範囲に含まれる場所の種類を特定する場所特定段階と、
前記対応情報を参照して前記場所特定段階において特定された場所の種類に対応するアプリケーションを特定し、特定した前記アプリケーションのコンテンツを、前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる表示制御段階
を備え
前記アプリケーションの提供者によって指定された場所の種類の条件を前記眼鏡型デバイスの前記ユーザに提示する条件提示段階と、
前記アプリケーションに対して、前記条件提示段階によって前記ユーザに対して提示された前記場所の種類の条件を満たす前記場所の種類が指定された場合に、当該アプリケーションと当該場所の種類とを前記対応情報に登録する登録段階と
を更に備える、表示方法。
【請求項12】
コンピュータによって実行される表示方法であって、
眼鏡型デバイスのユーザによって登録された、複数のアプリケーションのそれぞれに場所の種類が対応付けられた対応情報を記憶する記憶段階と、
前記眼鏡型デバイスのカメラが撮像している撮像範囲に含まれる場所の種類を特定する場所特定段階と、
前記対応情報を参照して前記場所特定段階において特定された場所の種類に対応するアプリケーションを特定し、特定した前記アプリケーションのコンテンツを、前記眼鏡型デバイスの表示部における前記特定された場所に対応する位置に表示させる表示制御段階と
を備え、
前記場所の種類は、空間を含み、
前記対応情報は、空間の高さの範囲と前記アプリケーションとを対応付け、
前記表示制御段階は、前記高さの範囲内の空間が前記眼鏡型デバイスの前記撮像範囲に含まれる場合に、当該空間の高さの範囲に対応する前記アプリケーションのコンテンツを、前記眼鏡型デバイスの前記表示部における当該空間の高さの範囲内に対応する位置に表示させる、表示方法。