特許 7574929 情報処理装置、情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241022BHJP

   G06F 3/0346 20130101ALI20241022BHJP

   G06F 3/04815 20220101ALI20241022BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

G06F3/0346 426

G06F3/04815

【請求項の数】 13

(21)【出願番号】P 2023528895

(86)(22)【出願日】2021-06-17

(86)【国際出願番号】 JP2021023088

(87)【国際公開番号】W WO2022264377

(87)【国際公開日】2022-12-22

【審査請求日】2023-12-11

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】冬野 哲也

(72)【発明者】

【氏名】高地 成彦

【審査官】三吉 翔子

(56)【参考文献】

【文献】特開２０１５－０１１３６０（ＪＰ，Ａ）

【文献】特開２０１６－０８１３３８（ＪＰ，Ａ）

【文献】国際公開第２０２０／２３４９３９（ＷＯ，Ａ１）

【文献】特開２０１８－１５６４７８（ＪＰ，Ａ）

【文献】特開２０１９－１９７４９９（ＪＰ，Ａ）

【文献】特開２０１８－００８０７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択手段と、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得手段と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出手段と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する生成手段と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と、
前記ユーザ及び前記ユーザの同伴者のうち少なくとも一方の人物の個人情報を取得する個人情報取得手段と、
を備え、
前記個人情報取得手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記ユーザの個人情報に対する前記同伴者の個人情報の重要度の情報とを取得し、
前記生成手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記重要度とに基づいて、前記重畳情報を生成する、
情報処理装置。

【請求項2】

前記選択手段は、前記ユーザとの間の契約に関する契約情報を取得し、
前記契約情報に応じて前記１の動作モードを選択する
請求項１に記載の情報処理装置。

【請求項3】

前記出力制御手段は、前記ユーザ端末に対して、前記視野領域に重なるように選択受付画像を表示させ、
前記情報処理装置は、前記撮影画像中の前記ユーザの手の位置と、前記視野領域上の前記選択受付画像の重畳位置とに基づいて、前記ユーザによる前記選択受付画像の選択操作を検出する操作検出手段を備え、
前記選択手段は、前記選択操作が検出されたことに応じて、前記動作モードを変更する
請求項１又は２に記載の情報処理装置。

【請求項4】

前記対象要素に関連する前記重畳情報は、前記対象要素に関連する人物、物体、建物、風景、又は前記対象要素を説明する説明員のアバター、を表す画像情報を含む
請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記生成手段は、
前記複数の動作モードのうち少なくとも１つの動作モードにおいて、少なくとも前記対象要素の識別情報に基づいて、前記対象要素に関連する音声出力情報を生成する
請求項１から４のいずれか一項に記載の情報処理装置。

【請求項6】

前記生成手段は、前記複数の動作モードのうち少なくとも１つの動作モードにおいて、前記対象要素の識別情報及び前記個人情報に基づいて、前記重畳情報を生成する
請求項１から５のいずれか一項に記載の情報処理装置。

【請求項7】

前記個人情報は、属性情報、位置情報、行動履歴、購入履歴及びスケジュール情報のうち少なくとも１つを含む
請求項６に記載の情報処理装置。

【請求項8】

前記生成手段は、前記個人情報に基づいて前記対象要素に関連する人物、物体、建物、風景、又は前記対象要素を説明する説明員のアバターの表現態様を決定し、前記表現態様に基づいて前記重畳情報を生成する
請求項６又は７に記載の情報処理装置。

【請求項9】

前記生成手段は、前記少なくとも１つの動作モードにおいて、前記対象要素の識別情報及び前記個人情報に基づいて、前記対象要素に関連する音声出力情報を生成する
請求項６から８のいずれか一項に記載の情報処理装置。

【請求項10】

前記複数の動作モードは、前記ユーザ端末に出力させる出力情報の種別が互いに異なる複数の動作モードを含み、
前記複数の動作モードの各々の前記出力情報は、ノンインタラクティブな処理に基づく重畳情報及び音声出力情報、並びにインタラクティブな処理に基づく重畳情報及び音声出力情報、のうち少なくとも１つを含む
請求項１から９のいずれか一項に記載の情報処理装置。

【請求項11】

ユーザが使用し、前記ユーザの視野を撮影するユーザ端末と、
情報処理装置と
を備え、
前記情報処理装置は、
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択手段と、
前記ユーザ端末により生成された撮影画像を取得する画像取得手段と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出手段と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する生成手段と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と、
前記ユーザ及び前記ユーザの同伴者のうち少なくとも一方の人物の個人情報を取得する個人情報取得手段と、
を有し、
前記個人情報取得手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記ユーザの個人情報に対する前記同伴者の個人情報の重要度の情報とを取得し、
前記生成手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記重要度とに基づいて、前記重畳情報を生成する、
情報処理システム。

【請求項12】

予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択し、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得し、
前記撮影画像から、予め定められた対象要素を検出し、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成し、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させ、
前記ユーザ及び前記ユーザの同伴者のうち少なくとも一方の人物の個人情報を取得し、
前記ユーザの個人情報と、前記同伴者の個人情報と、前記ユーザの個人情報に対する前記同伴者の個人情報の重要度の情報とを取得し、
前記ユーザの個人情報と、前記同伴者の個人情報と、前記重要度とに基づいて、前記重畳情報を生成する、
情報処理方法。

【請求項13】

予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択処理と、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得処理と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出処理と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する第１の生成処理と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御処理と、
前記ユーザ及び前記ユーザの同伴者のうち少なくとも一方の人物の個人情報を取得する個人情報取得処理と、
前記ユーザの個人情報と、前記同伴者の個人情報と、前記ユーザの個人情報に対する前記同伴者の個人情報の重要度の情報とを取得する前記個人情報取得処理と、
前記ユーザの個人情報と、前記同伴者の個人情報と、前記重要度とに基づいて、前記重畳情報を生成する第２の生成処理と、
を、コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体に関し、特にユーザに対して対象要素に関する情報を提供する情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体に関する。

【背景技術】

【0002】

観光客が展示物に近づいた場合、その観光客に対して展示物に関する情報を提供する方法が提案されている。例えば特許文献１には、遺跡の見学者が所持する携帯型端末装置に、近距離無線通信により展示物に関する要素情報を取得させ、環境の実写画像又は実景画像に要素情報を重ね合わせて表示させる方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－１０２８３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述の特許文献１に記載の方法では、見学者に対しては見学者の目の前にある展示物に関連する情報を、一律で同じように提供するだけであって、見学者毎又は契約プラン毎に異なる情報を提供することができなかった。

【0005】

本開示の目的は、上述した課題に鑑み、ユーザに対してユーザの視界に入った物に関連する情報を提供する場合、状況に応じて異なる情報を提供する情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様にかかる情報処理装置は、
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択手段と、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得手段と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出手段と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する生成手段と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
を備える。

【0007】

本開示の一態様にかかる情報処理システムは、
ユーザが使用し、前記ユーザの視野を撮影するユーザ端末と、
情報処理装置と
を備え、
前記情報処理装置は、
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択手段と、
前記ユーザ端末により生成された撮影画像を取得する画像取得手段と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出手段と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する生成手段と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
を有する。

【0008】

本開示の一態様にかかる情報処理方法は、
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択し、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得し、
前記撮影画像から、予め定められた対象要素を検出し、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成し、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる。

【0009】

本開示の一態様にかかる非一時的なコンピュータ可読媒体は、
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択処理と、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得処理と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出処理と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する生成処理と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御処理と
を、コンピュータに実行させるためのプログラムが格納される。

【発明の効果】

【0010】

本開示により、ユーザに対してユーザの視界に入った物に関連する情報を提供する場合、状況に応じて異なる情報を提供する情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供できる。

【図面の簡単な説明】

【0011】

【図1】実施形態１にかかる情報処理装置の構成を示すブロック図である。

【図2】実施形態１にかかる情報処理方法の流れを示すフローチャートである。

【図3】実施形態２にかかる情報処理システムの全体構成を示すブロック図である。

【図4】実施形態２にかかる第１ユーザ端末の構成を示すブロック図である。

【図5】実施形態２にかかる第２ユーザ端末の構成を示すブロック図である。

【図6】実施形態２にかかるサーバの構成を示すブロック図である。

【図7】実施形態２にかかる動作モードを説明するための図である。

【図8】実施形態２にかかる編集情報のデータ構造の一例を示す図である。

【図9】実施形態２にかかるユーザ登録処理の流れを示すシーケンス図である。

【図10】実施形態２にかかる第２ユーザ端末に表示される個人情報の入力画面の一例を示す図である。

【図11】実施形態２にかかる第２ユーザ端末に表示される契約情報の入力画面の一例を示す図である。

【図12】実施形態２にかかる出力処理の流れを示すシーケンス図である。

【図13】複数のユーザの視野内に対象要素が存在する場合の例を示す図である。

【図14】実施形態２にかかる第１ユーザ端末に表示される重畳情報の一例を示す図である。

【図15】実施形態２にかかる第１ユーザ端末に表示される重畳情報の一例を示す図である。

【図16】実施形態２にかかる第１ユーザ端末に表示される重畳情報の一例を示す図である。

【図17】実施形態３にかかるサーバの構成を示すブロック図である。

【図18】実施形態３にかかる選択操作の検出処理を説明するための図である。

【図19】実施形態３にかかる出力処理の流れを示すシーケンス図である。

【図20】実施形態４にかかる動作モードを説明するための図である。

【図21】実施形態４にかかる第１ユーザ端末に表示される重畳情報の一例を示す図である。

【図22】実施形態５にかかる第２ユーザ端末に表示される個人情報の重要度の入力画面の一例を示す図である。

【発明を実施するための形態】

【0012】

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

【0013】

＜実施形態１＞
まず、本開示の実施形態１について説明する。図１は、実施形態１にかかる情報処理装置１０の構成を示すブロック図である。

【0014】

情報処理装置１０は、ユーザの視界に入った対象要素に関連する情報をユーザに提供する情報処理装置である。対象要素は、建物、美術品、又は展示物等であってよい。この場合、対象要素は対象物とも呼ばれてよい。また対象要素は、これに代えて、遺跡又は景色等であってもよい。この場合、対象要素は対象風景とも呼ばれてよい。対象要素は、予め定められている。ここで、情報処理装置１０は、ネットワーク（不図示）に接続される。ネットワークは、有線であっても無線であってもよい。また、当該ネットワークには、ユーザが使用するユーザ端末（不図示）が直接的又は間接的に接続されている。つまり、情報処理装置１０は、ユーザ端末と通信可能に接続される。

【0015】

情報処理装置１０は、選択部１１と、画像取得部１３と、対象要素検出部１４と、生成部１５と、出力制御部１６とを備える。

【0016】

選択部１１は、選択手段とも呼ばれる。選択部１１は、予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する。予め定められた条件とは、ユーザが情報を提供するサービス事業者との間で所定の契約をしたこと又はユーザが所定の選択操作を実行したことであってよい。そして選択部１１は、生成部１５に対して、選択された動作モードの種別を通知する。

【0017】

画像取得部１３は、画像取得手段とも呼ばれる。画像取得部１３は、ユーザの視野を示す撮影画像を取得する。撮影画像は、ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像である。画像取得部１３は、取得した撮影画像を対象要素検出部１４に供給する。

【0018】

対象要素検出部１４は、対象要素検出手段とも呼ばれる。対象要素検出部１４は、撮影画像から、予め定められた対象要素を検出する。そして対象要素検出部１４は、検出した対象要素の識別情報（ＩＤ）を特定する。対象要素検出部１４は、対象要素のＩＤを生成部１５に供給する。

【0019】

生成部１５は、生成手段とも呼ばれる。生成部１５は、少なくとも対象要素のＩＤと、選択された動作モードの種別とに基づいて、対象要素に関連する重畳情報を生成する。重畳情報は、画像情報である。画像情報は、静止画であってもよいし、動画であってもよい。重畳情報は、テキストデータを含んでもよい。生成部１５は、重畳情報を出力制御部１６に供給する。

【0020】

出力制御部１６は、出力制御手段とも呼ばれる。出力制御部１６は、視野を示す視野領域に重畳情報が重なるように、ユーザ端末に対して重畳情報を表示させる。

【0021】

図２は、実施形態１にかかる情報処理方法の流れを示すフローチャートである。まず、情報処理装置１０の選択部１１は、予め定められた条件に応じて、動作モードを選択する（Ｓ１０）。次に、画像取得部１３は、ユーザ端末で撮影された、ユーザの視野の撮影画像を取得する（Ｓ１１）。次に、対象要素検出部１４は、撮影画像から、予め定められた対象要素を検出し、対象要素のＩＤを特定する（Ｓ１２）。次に、生成部１５は、対象要素のＩＤと、選択された動作モードの種別とに基づいて、対象要素に関連する重畳情報を生成する（Ｓ１３）。次に、出力制御部１６は、ユーザの視野領域に重畳情報が重なるように、ユーザ端末に重畳情報を表示させる（Ｓ１４）。

【0022】

このように実施形態１によれば、情報処理装置１０は、ユーザに対して、ユーザの視界に入った対象要素に関連する情報を提供する場合に、動作モードに応じて提供する情報を異ならせる。これにより、情報処理装置１０がユーザに対して状況に応じて異なる情報を提供することができる。したがって、例えば契約プランや課金状況に応じて、情報量や情報の質又は提供形態に差をつけることで、ユーザに対して上位の契約プランへの加入や、課金を促すことができる。

【0023】

＜実施形態２＞
次に、本開示の実施形態２について説明する。
図３は、実施形態２にかかる情報処理システム１０００の全体構成を示すブロック図である。情報処理システム１０００は、サービス事業者が観光客や見物客であるユーザにサービスを提供するためのコンピュータシステムである。ここでサービスは、ユーザの視界に入った対象要素に関連する情報を提供するサービスである。情報処理システム１０００は、情報処理装置（以下、サーバと呼ぶ）１００と、ユーザＵが使用するユーザ端末（群）とを備える。ユーザ端末（群）は、第１ユーザ端末２００と、第２ユーザ端末３００とを含む。サーバ１００及び第１ユーザ端末２００は、移動通信ネットワークで接続されている。例えば、サーバ１００及び第１ユーザ端末２００は、ローカル５Ｇで接続されている。またサーバ１００及び第２ユーザ端末３００は、ネットワークＮを介して互いに接続されている。ここで、ネットワークＮは、有線又は無線の通信回線である。

【0024】

第１ユーザ端末２００は、ユーザＵの身体に装着されたウェアラブル端末である。例えば、第１ユーザ端末２００は、ユーザＵの頭部に装着されたウェアラブル端末である。一例として、第１ユーザ端末２００は、重畳情報として、ユーザＵの視野を示す視野領域に画像を表示させることが可能なＡＲ（Augmented Reality）グラス又はＭＲ（Mixed Reality）グラスといった眼鏡型端末である。重畳情報はテキストデータを含んでもよい。また重畳画像は、静止画であってもよいし、動画であってもよい。重畳画像は、テキスト画像を含んでもよい。第１ユーザ端末２００は、ユーザＵの視野を撮影し、撮影画像をサーバ１００に送信する。また第１ユーザ端末２００は、サーバ１００から受信した重畳情報を、ユーザＵの視野領域に重ねて表示する。また第１ユーザ端末２００は、重畳情報の表示とともに、サーバ１００から受信した音声出力情報を出力する。

【0025】

第２ユーザ端末３００は、ユーザＵが使用する、スマートフォン、タブレット端末又はパーソナルコンピュータ（ＰＣ）等の情報端末である。第２ユーザ端末３００は、予めユーザＵの個人情報をサーバ１００のユーザデータベース（ＤＢ）（不図示）に登録させる。

【0026】

サーバ１００は、第２ユーザ端末３００から個人情報を受信し、個人情報に基づいてユーザ登録を行う。また、サーバ１００は、第１ユーザ端末２００から、ユーザＵの視野を示す撮影画像を受信する。そして、サーバ１００は、撮影画像から、ユーザＵの視野内に含まれる対象要素を検出し、後述する対象要素の要素関連情報に基づいて、第１ユーザ端末２００に表示させる重畳情報と、第１ユーザ端末２００に出力させる音声出力情報とを生成する。尚、重畳情報及び音声出力情報の生成には、個人情報が用いられてもよい。そして、サーバ１００は、重畳情報及び音声出力情報を第１ユーザ端末２００に送信する。

【0027】

ここで、第１ユーザ端末２００について詳細に説明する。図４は、実施形態２にかかる第１ユーザ端末２００の構成を示すブロック図である。第１ユーザ端末２００は、カメラ２１０と、記憶部２２０と、通信部２３０と、表示部２４０と、音声出力部２４５と、入力部２５０と、制御部２６０とを備える。

【0028】

カメラ２１０は、制御部２６０の制御に応じて撮影を行う撮影装置である。カメラ２１０は、その視野が、ユーザＵの視野に対応するように、第１ユーザ端末２００に設けられている。例えば、カメラ２１０は、ユーザＵが第１ユーザ端末２００を装着した場合に、その光軸方向がユーザＵの視線方向と対応するように設けられている。記憶部２２０は、第１ユーザ端末２００の各機能を実現するためのプログラムが格納される記憶装置である。また記憶部２２０は、サーバ１００から発行されたユーザＩＤを記憶する。通信部２３０は、サーバ１００との通信のための通信インタフェースである。表示部２４０は、表示装置である。第１ユーザ端末２００がＡＲグラスやＭＲグラスの場合は、表示部２４０はレンズ上に配設される。音声出力部２４５は、音声を出力するスピーカを含む。入力部２５０は、入力を受け付ける入力装置である。尚、本実施形態２において、入力部２５０は必須ではない。制御部２６０は、第１ユーザ端末２００が有するハードウェアの制御を行う。

【0029】

制御部２６０は、カメラ２１０を制御し、ユーザＵが視認できる風景（視野）を撮影する。そして、制御部２６０は、通信部２３０を介して、撮影画像をサーバ１００に送信する。また制御部２６０は、サーバ１００から受信した重畳情報を、表示部２４０に表示する。尚、第１ユーザ端末２００がＡＲグラスの場合、ユーザＵの視野領域は、視野を撮影した撮影画像に相当する。この場合、制御部２６０は、撮影画像に重畳情報を重畳させた画像を、表示部２４０に表示する。一方、第１ユーザ端末２００がＭＲグラスの場合、ユーザＵの視野領域は、レンズを介してユーザＵが視認できる実空間の領域である。この場合、制御部２６０は、上述の実空間に重畳情報が重なるように、重畳情報をレンズ上の表示部２４０に表示する。

【0030】

次に、第２ユーザ端末３００について詳細を説明する。図５は、実施形態２にかかる第２ユーザ端末３００の構成を示すブロック図である。第２ユーザ端末３００は、カメラ３１０と、記憶部３２０と、通信部３３０と、表示部３４０と、入力部３５０と、制御部３６０とを備える。

【0031】

カメラ３１０は、制御部３６０の制御に応じて撮影を行う撮影装置である。尚、本実施形態２において、カメラ３１０は必須ではない。記憶部３２０は、第２ユーザ端末３００の各機能を実現するためのプログラムが格納される記憶装置である。通信部３３０は、ネットワークＮとの通信インタフェースを含む。表示部３４０は、表示装置である。入力部３５０は、入力を受け付ける入力装置である。表示部３４０及び入力部３５０は、タッチパネルのように、一体的に構成されていてもよい。制御部３６０は、第２ユーザ端末３００が有するハードウェアの制御を行う。

【0032】

制御部３６０は、ユーザ登録時に、ユーザＵから入力部３５０を介して受け付けた個人情報を、通信部３３０を介してサーバ１００に送信する。

【0033】

次に、サーバ１００について詳細を説明する。図６は、実施形態２にかかるサーバ１００の構成を示すブロック図である。サーバ１００は、記憶部１１０、メモリ１２０、通信部１３０、及び制御部１４０を備える。

【0034】

記憶部１１０は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部１１０は、プログラム１１１と、ユーザＤＢ１１２と、要素ＤＢ１１３とを記憶する。プログラム１１１は、本実施形態２にかかる情報処理方法の処理が実装されたコンピュータプログラムである。

【0035】

ユーザＤＢ１１２は、ユーザＵに関連する基本情報を記憶するデータベースである。具体的には、ユーザＤＢ１１２は、ユーザＩＤ１１２１と、個人情報１１２２と、契約情報１１２３とを対応付けた情報を記憶する。ここで、ユーザＩＤ１１２１は、ユーザＵを識別する情報である。

【0036】

個人情報１１２２は、ユーザＵの属性情報、位置情報、行動履歴、購入履歴及びスケジュール情報のうち少なくとも１つを含む。また個人情報１１２２は、ユーザＵが訪問した地点と訪問回数とを含んでもよい。一例として本図では、個人情報１１２２は、ユーザＵの属性情報、位置情報、及び購入履歴を含んでいる。属性情報は、年齢、居住地、性別、家族構成、連絡先、クレジットカード番号、宗教情報、志向属性、及び嗜好性情報（趣味嗜好）のうち少なくとも１つを含んでよい。位置情報は、ユーザＵが使用する第１ユーザ端末２００又は第２ユーザ端末３００の位置情報である。スケジュール情報は、ユーザＵの旅程を含んでよい。

【0037】

契約情報１１２３は、ユーザＵとサービス事業者との間の契約に関する契約情報である。

【0038】

要素ＤＢ１１３は、対象要素に関連する各種情報を記憶するデータベースである。具体的には、要素ＤＢ１１３は、要素ＩＤ１１３１と、要素特徴情報１１３２と、要素関連情報１１３３とを備える。

【0039】

要素ＩＤ１１３１は、対象要素を識別する情報である。
要素特徴情報１１３２は、対象要素の特徴量に関する情報である。特徴量は、その対象要素を示す画像から抽出される。

【0040】

要素関連情報１１３３は、対象要素に関連する情報である。対象要素に関連する情報は、対象要素を説明するための画像情報と、対象要素を説明するための音声情報である。対象要素を説明するための画像情報及び音声情報は、対象要素の歴史又は対象要素の価値を示す画像情報及び音声情報であってよい。また対象要素を説明するための画像情報は、対象要素に関連する人物、物体、建物若しくは風景、又は対象要素を説明する説明員のアバター、を表す画像情報であってもよい。
要素関連情報１１３３は、基本画像情報１１３４と、基本音声情報１１３５と、編集情報１１３６とを有する。

【0041】

基本画像情報１１３４は、生成部１４５による重畳情報の生成処理において、重畳情報の基礎として使用される画像情報である。
基本音声情報１１３５は、生成部１４５による音声出力情報の生成処理において、音声出力情報の基礎として使用される音声情報である。
編集情報１１３６は、動作モードに応じて、基本画像情報１１３４及び基本音声情報１１３５の少なくとも一方を編集するための情報である。編集とは、付加、削除、置換又は変換（変調）することであってよい。

【0042】

メモリ１２０は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部１４０の動作時に一時的に情報を保持するための記憶領域である。通信部１３０は、第１ユーザ端末２００との間の通信の通信インタフェースと、ネットワークＮとの通信インタフェースとを含む。

【0043】

制御部１４０は、サーバ１００の各構成を制御するプロセッサつまり制御装置である。制御部１４０は、記憶部１１０からプログラム１１１をメモリ１２０へ読み込ませ、プログラム１１１を実行する。これにより、制御部１４０は、選択部１４１、個人情報取得部１４２、画像取得部１４３、対象要素検出部１４４、生成部１４５、及び出力制御部１４６の機能を実現する。

【0044】

選択部１４１は、上述した選択部１１の一例である。選択部１４１は、対象要素検出部１４４が対象要素を検出した場合、ユーザＤＢ１１２から、ユーザＩＤに対応付けられた契約情報１１２３を取得する。そして選択部１４１は、ユーザＵの契約情報１１２３に応じて１の動作モードを選択する。選択部１４１は、生成部１４５に動作モードの種別の情報を通知する。

【0045】

個人情報取得部１４２は、個人情報取得手段とも呼ばれる。個人情報取得部１４２は、第２ユーザ端末３００からユーザ登録要求を受信し、ユーザ登録を行い、ユーザＩＤを発行する。このとき個人情報取得部１４２は、第２ユーザ端末３００からユーザＵの個人情報を取得する。また、個人情報取得部１４２は、ユーザ登録時に関わらず、所定のタイミングで、ユーザＵの個人情報をユーザＩＤとともに取得してよい。

【0046】

以下では、個人情報の取得方法の例を挙げる。例えば、個人情報取得部１４２は、ユーザＵが入力した属性情報を第２ユーザ端末３００から取得する。また個人情報取得部１４２は、所定のタイミングで第２ユーザ端末３００の位置情報を取得する。尚、位置情報は、第１ユーザ端末２００から取得してもよい。

【0047】

個人情報１１２２に行動履歴が含まれる場合は、個人情報取得部１４２は、ユーザＵの位置情報の履歴に基づいて、行動履歴を生成してよい。または個人情報取得部１４２は、第２ユーザ端末３００からユーザＵのスケジュール情報を取得し、スケジュール情報に基づいて行動履歴を生成してもよい。尚、個人情報取得部１４２は、ユーザＵのスケジュール情報を、ユーザＵのスケジュールを管理するスケジュール管理アプリケーションから取得してよい。あるいは、個人情報取得部１４２は、ユーザＵの購入履歴から、行動履歴を生成してもよい。尚、個人情報取得部１４２は、購入履歴を管理するアプリケーションから、ユーザＵの購入履歴を取得してよい。

【0048】

個人情報取得部１４２は、第２ユーザ端末３００から取得した個人情報、及び第２ユーザ端末３００から取得した情報に基づいて生成することにより得られた個人情報を、ユーザ登録に伴い発行されたユーザＩＤに対応付けてユーザＤＢ１１２に登録する。

【0049】

また個人情報取得部１４２は、ユーザ登録時や契約時に、第１ユーザ端末２００から契約情報を取得する。個人情報取得部１４２は、取得した契約情報を、ユーザＩＤに対応付けてユーザＤＢ１１２に登録する。

【0050】

画像取得部１４３は、上述した画像取得部１３の一例である。画像取得部１４３は、第２ユーザ端末３００から撮影画像を受信し、取得する。

【0051】

対象要素検出部１４４は、上述した対象要素検出部１４の一例である。対象要素検出部１４４は、撮影画像から対象要素が検出されるか否かを判定する。まず、対象要素検出部１４４は、撮影画像から特徴量を抽出する。このとき対象要素検出部１４４は、撮影画像から所定の画像領域を切り出し、切り出し画像の特徴量を抽出してもよい。そして対象要素検出部１４４は、抽出された特徴量と、要素ＤＢ１１３に含まれる要素特徴情報１１３２とを照合し、抽出された特徴量との類似度が所定閾値以上の要素特徴情報１１３２があるか否かを判定する。対象要素検出部１４４は、類似度が所定閾値以上の要素特徴情報１１３２がある場合、その要素特徴情報１１３２に対応する要素ＩＤ１１３１を、対象要素のＩＤとして特定する。

【0052】

生成部１４５は、上述した生成部１５の一例である。生成部１４５は、要素ＤＢ１１３において、特定した要素ＩＤ１１３１に対応付けられる要素関連情報１１３３を取得する。また生成部１４５は、選択部１４１から動作モードの種別の情報を取得する。そして生成部１４５は、取得した要素関連情報１１３３と、動作モードの種別の情報とに基づいて、重畳情報を生成する。また生成部１４５は、取得した要素関連情報１１３３と、動作モードの種別の情報とに基づいて、音声出力情報を生成する。

【0053】

ここで、図７は、実施形態２にかかる動作モードを説明するための図である。一例として、動作モードは、第１の動作モードと、第２の動作モードと、第３の動作モードとを含む。各動作モードは、第１ユーザ端末２００に出力させる出力情報の種別が互いに異なる。

【0054】

第１の動作モードは、ユーザＵが加入中の契約プランが第１プランである場合の動作モードである。第１の動作モードにおいては、生成部１４５は、画像情報の編集を行わずに重畳情報を生成し、音声情報の編集を行わずに音声出力情報を生成する。つまり、生成部１４５は、要素関連情報１１３３の基本画像情報１１３４を重畳情報として特定し、要素関連情報１１３３の基本音声情報１１３５を音声出力情報として特定する。

【0055】

第２の動作モードは、ユーザＵが加入中の契約プランが第２プランである場合の動作モードである。第２の動作モードにおいては、生成部１４５は、画像情報の編集を行わずに重畳情報を生成し、音声情報の編集を行って音声出力情報を生成する。つまり、生成部１４５は、要素関連情報１１３３の基本画像情報１１３４を重畳情報として特定し、要素関連情報１１３３の基本音声情報１１３５を編集情報１１３６に基づいて編集して、音声出力情報を生成する。

【0056】

第３の動作モードは、ユーザＵが加入中の契約プランが第３プランである場合の動作モードである。第３の動作モードにおいては、生成部１４５は、画像情報の編集を行って重畳情報を生成し、音声情報の編集を行って音声出力情報を生成する。つまり、生成部１４５は、要素関連情報１１３３の基本画像情報１１３４を編集情報１１３６に基づいて編集して、重畳情報を生成し、要素関連情報１１３３の基本音声情報１１３５を編集情報１１３６に基づいて編集して、音声出力情報を生成する。

【0057】

尚、生成部１４５が、画像情報の編集を行って重畳情報を生成し、音声情報の編集を行わずに音声出力情報を生成する動作モードがあってもよい。また、第１～第３の動作モードは、いずれも画像情報の編集及び音声情報の編集を行うが、動作モードに応じて加工編集の程度が異なってもよい。例えば、第１の動作モード＜第２の動作モード＜第３の動作モードの順で編集量や編集のバリエーションが多くなってよい。

【0058】

ここで、編集情報１１３６は、動作モード毎に一律で定められた編集情報であってもよいが、ユーザＵの特徴に応じて複数種類の編集情報を含んでもよい。ユーザＵの特徴は、例えばユーザＵの属性又はユーザＵがその場所に滞在する時間であってよい。そして生成部１４５は、基本画像情報１１３４又は基本音声情報１１３５を編集する場合、ユーザＵの個人情報からユーザＵの特徴を特定し、ユーザＵの特徴に応じた編集情報を用いて編集処理を行ってよい。つまり、生成部１４５は、少なくとも１つの動作モードにおいて、要素ＩＤ及び個人情報に基づいて、重畳情報又は音声出力情報を生成してよい。

【0059】

図８は、実施形態２にかかる編集情報１１３６のデータ構造の一例を示す図である。編集情報１１３６は、ユーザＵの特徴と、編集画像情報とを対応付けた情報を含む。編集画像情報は、基本画像情報１１３４を編集するための情報である。例えば、基本画像情報１１３４の編集を行う第３の動作モードであり、ユーザＵが子どもである場合、生成部１４５は、子ども向けの画像を生成するための編集画像情報１を用いる。例えば、第３の動作モードであり、ユーザＵが大人である場合、生成部１４５は、大人向けの画像を生成するための編集画像情報２を用いる。

【0060】

これにより生成部１４５は、個人情報に基づいて対象要素に関連する人物若しくは物体又は説明員のアバターの表現態様を決定し、表現態様に基づいて画像情報を生成することができる。そしてユーザＵは、動作モードに応じて好みの画像コンテンツを見ることができる。

【0061】

また編集情報１１３６は、ユーザＵの特徴と、編集音声情報とを対応付けた情報を含む。編集音声情報は、基本音声情報１１３５を編集するための情報である。例えば、基本音声情報１１３５の編集を行う第２又は第３の動作モードであり、ユーザＵが声優Ａのファンである場合、生成部１４５は、声優Ａの音声に置換したり、あるいは声優Ａの声質に変調するための編集音声情報１を用いる。また例えば、第２又は第３の動作モードであり、ユーザＵが子どもである場合、生成部１４５は、子ども向けの言葉遣いに変換したり、子供向けの音声に置換したり、子ども向けの声質に変調するための編集音声情報３を用いる。

【0062】

これによりユーザは、動作モードに応じて好みの音声コンテンツを聞くことができる。

【0063】

尚、個人情報にユーザＵの旅程等を含んだスケジュール情報が含まれる場合、生成部１４５は、スケジュール情報に基づいてユーザＵの滞在時間を推定する。そして生成部１４５は、少なくとも１つの動作モードにおいて、滞在時間に基づいて、提供するコンテンツの上映時間を調整してよい。例えば生成部１４５は、重畳情報及び音声出力情報の上映終了時刻を滞在時間に基づいて決定し、コンテンツの再生時間が上映開始予定時刻から上映終了時刻までの間に収まるように、基本画像情報１１３４及び基本音声情報１１３５を編集してよい。一例として、生成部１４５は、基本画像情報１１３４及び基本音声情報１１３５の再生速度を変化させたり、情報量を変更したりしてよい。これにより、ユーザＵは、スケジュールに合わせたコンテンツを視聴することができる。尚、生成部１４５は、スケジュール情報及びこれに基づいて推定された滞在時間に限らず、ユーザＵの位置情報に基づいて、上映時間を決定してもよい。この場合も、同様の効果を奏する。

【0064】

また、個人情報にユーザＵの訪問回数が含まれる場合、生成部１４５は、少なくとも１つの動作モードにおいて、訪問回数に基づいて、提供するコンテンツの編集をしてよい。例えば、生成部１４５は、訪問回数が１回のユーザＵと、訪問回数が２回のユーザＵとでは、基本画像情報１１３４及び基本音声情報１１３５を編集するための編集情報の種別を異ならせてよい。これにより、例えばユーザＵが複数回その場所を訪れたとしても、サーバ１００は、毎回異なった重畳情報を提供することができる。

【0065】

このように、動作モードによっては、ユーザＵの特徴（例えば、性別、年齢、趣味及びスケジュール）に応じて画像又は音声の加工編集態様を変更してよい。これにより上位の契約プランや課金額が高い契約に対応する動作モードほど、よりパーソナライズされた加工編集を施すようにすることができる。したがってユーザＵの満足度を向上させ、ユーザＵに対して上位の契約プランに加入を促すことができる。

【0066】

図６に戻り、説明を続ける。出力制御部１４６は、上述した出力制御部１６の一例である。出力制御部１４６は、第１ユーザ端末２００に重畳情報及び音声出力情報を送信する。これにより出力制御部１４６は、第１ユーザ端末２００の表示部２４０に重畳情報を表示させ、第１ユーザ端末２００の音声出力部２４５に音声出力情報を出力させる。このとき、出力制御部１４６は、ユーザＵの視野領域における、検出した対象要素に重畳情報が重なる又は対象要素の近傍に位置するように、重畳情報の表示位置を指定する情報を、第１ユーザ端末２００に送信してよい。

【0067】

尚、出力制御部１４６は、第２ユーザ端末３００に対して、個人情報及び契約情報の入力手段を出力させる機能を有してよい。

【0068】

図９は、実施形態２にかかるユーザ登録処理の流れを示すシーケンス図である。まず第２ユーザ端末３００は、サーバ１００に対してユーザ登録要求を送信する（Ｓ１００）。サーバ１００の出力制御部１４６は、個人情報の入力領域（入力画面とも呼ばれる）を、第２ユーザ端末３００に対して送信し、第２ユーザ端末３００に表示させる（Ｓ１０１）。尚、サーバ１００の出力制御部１４６は、これに代えて個人情報の音声入力手段を、第２ユーザ端末３００に対して出力させてもよい。ここで、ユーザＵは、第２ユーザ端末３００の入力部３５０を用いて、個人情報の入力操作を行う（Ｓ１０２）。入力操作を受け付けた第２ユーザ端末３００は、入力された個人情報を、サーバ１００に送信する（Ｓ１０３）。これにより、サーバ１００の個人情報取得部１４２は、入力領域に入力された個人情報を第２ユーザ端末３００から受信する。またサーバ１００の出力制御部１４６は、個人情報と同様に、契約情報についても入力手段を第２ユーザ端末３００に出力させ、第２ユーザ端末３００から契約情報を取得する（Ｓ１０４、Ｓ１０５、Ｓ１０６）。

【0069】

個人情報及び契約情報を受信したサーバ１００の個人情報取得部１４２は、ユーザＩＤを発行し、ユーザＩＤと、個人情報と、契約情報とを対応付けて、ユーザＤＢ１１２に登録する（Ｓ１０７）。そしてサーバ１００の個人情報取得部１４２は、ユーザＩＤを、第１ユーザ端末２００に通知する（Ｓ１０８）。そして第１ユーザ端末２００は、ユーザＩＤを記憶部２２０に格納する（Ｓ１０９）。尚、Ｓ１０８に代えて、サーバ１００の個人情報取得部１４２は、ユーザＩＤを第２ユーザ端末３００に通知してよい。この場合、ユーザＵが第１ユーザ端末２００の入力部２５０にユーザＩＤを入力して、ユーザＩＤを記憶部２２０に格納してよい。

【0070】

図１０は、実施形態２にかかる第２ユーザ端末３００に表示される個人情報の入力画面の一例を示す図である。図９のＳ１０２において、第２ユーザ端末３００の表示部３４０には、ユーザ登録に必要な個人情報の入力領域が表示される。例えば、表示部３４０には、属性情報を入力する領域と、第２ユーザ端末３００の位置情報の使用、行動履歴の使用、購入履歴の使用、及びスケジュール情報の使用のそれぞれを許可するか否かを入力する領域とが表示されている。本図では、属性情報の入力領域として、年齢、性別、居住地、家族構成、宗教及び趣味嗜好の入力領域が示されている。さらに表示部３４０には、「決定」の入力領域が表示される。ユーザＵが当該入力領域を選択したことに応じて、Ｓ１０３において第２ユーザ端末３００は、入力されたユーザＵの個人情報をサーバ１００に送信する。

【0071】

図１１は、実施形態２にかかる第２ユーザ端末３００に表示される契約情報の入力画面の一例を示す図である。図９のＳ１０５において、第２ユーザ端末３００の表示部３４０には、契約情報の入力領域が表示される。例えば契約情報は、契約プランの種別である。一例として、ユーザＵは、第１～第３プランの中から、契約を希望する１の契約プランを選択する。第１プランは、基本画像情報及び基本音声情報が提供される通常の契約プランであってよい。第２プランは、通常の画像情報に加えて、アレンジされた音声情報が提供される契約プランであってよい。第３プランは、アレンジされた画像情報及びアレンジされた音声情報が提供される契約プランであってよい。第１プランから第３プランは、料金設定が異なっていてよい。例えば、第１プランは無料で利用でき、第２及び第３プランは、有料で利用できてよい。アレンジの量が多い第３プランは、利用料金が第２プランよりも高額であってよい。尚、第１～第３プランに限らず、ユーザＵの特徴（例えば、性別、年齢、趣味及び旅程）に応じた画像及び音声の加工編集の量が第３プランよりも多く、利用料金が第３プランよりも高い契約プランがあってもよい。このような構成をとることで、上位の契約プランや課金額が高い契約に対応する動作モードほど、よりパーソナライズされた加工編集を施すようにすることができる。したがってユーザＵの満足度を向上させ、ユーザＵに対して上位の契約プランに加入を促すことができる。

【0072】

さらに表示部３４０には、「決定」の入力領域が表示される。ユーザＵが当該入力領域を選択したことに応じて、Ｓ１０６において第２ユーザ端末３００は、選択された契約情報をサーバ１００に送信する。そしてサーバ１００は、契約処理を進め、契約処理が完了したことに応じて、Ｓ１０７に示す処理を実行してよい。またこれに代えて、ユーザＵは、本入力画面において、既に契約済の契約プランを指定してもよい。この場合、サーバ１００は、Ｓ１０６で契約済の契約情報を取得したことに応じて、Ｓ１０７に示す処理を実行する。

【0073】

図１２は、実施形態２にかかる出力処理の流れを示すシーケンス図である。まず第１ユーザ端末２００は、ユーザＵの視野を撮影し（Ｓ１１１）、撮影画像をユーザＩＤとともにサーバ１００に送信する（Ｓ１１２）。これにより、サーバ１００の画像取得部１４３は、撮影画像及びユーザＩＤを取得する。

【0074】

次にサーバ１００の対象要素検出部１４４は、撮影画像から、対象要素を検出し（Ｓ１１３）、対象要素の特徴量を抽出し、抽出した特徴量に基づいて、要素ＤＢ１１３を用いて対象要素の要素ＩＤを特定する（Ｓ１１４）。対象要素検出部１４４は、特定した要素ＩＤを、生成部１４５に供給する。また、選択部１４１は、ユーザＤＢ１１２を用いて、取得したユーザＩＤに対応付けられた契約情報１１２３を取得し、契約情報１１２３に基づいて動作モードを選択する（Ｓ１１５）。選択部１４１は、選択した動作モードの種別を生成部１４５に供給する。

【0075】

次に、生成部１４５は、ユーザＤＢ１１２を用いて、取得したユーザＩＤに対応付けられた個人情報を取得する（Ｓ１１６）。次に、生成部１４５は、要素ＩＤ及び動作モードに基づいて、要素ＤＢ１１３を用いて出力情報を生成する（Ｓ１１７）。このとき、生成部１４５は、動作モードの種別に応じて個人情報をさらに用いて、出力情報を生成する。生成部１４５による具体的な生成処理は、以下の通りである。まず生成部１４５は、要素ＤＢ１１３から、特定した要素ＩＤに対応付けられた要素関連情報１１３３を取得する。また生成部１４５は、個人情報からユーザＵの特徴を推定する。また生成部１４５は、要素関連情報１１３３に含まれる基本画像情報１１３４及び基本音声情報１１３５に対して編集が必要か否かと、編集対象となる情報の種別（基本画像情報１１３４か、基本音声情報１１３５かの別）とを、動作モードに基づいて決定する。
そして生成部１４５は、編集を要しない場合は、基本画像情報１１３４及び基本音声情報１１３５を、そのまま出力情報として特定（生成）する。
一方、生成部１４５は、編集が必要な場合、要素関連情報１１３３に含まれる編集情報１１３６のうち、編集対象となる情報の種別に応じた編集情報であって、推定されるユーザＵの特徴に対応付けられた編集情報を特定する。そして生成部１４５は、その基本情報を、特定した編集情報で編集して、出力情報を生成する。例えば、生成部１４５は、第２の動作モードにおいて、基本音声情報１１３５を、編集情報１１３６の編集音声情報で編集して、音声出力情報を生成する。そして生成部１４５は、基本画像情報１１３４を重畳情報として、重畳情報と音声出力情報とを対応付けた出力情報を生成する。また生成部１４５は、第３の動作モードにおいて、基本画像情報１１３４を、編集情報１１３６の画像編集情報で編集して重畳情報を生成し、基本音声情報１１３５を、音声編集情報で編集して音声出力情報を生成する。そして生成部１４５は、重畳情報と音声出力情報とを対応付けた出力情報を生成する。

【0076】

そして出力制御部１４６は、出力情報を第１ユーザ端末２００に送信する（Ｓ１１８）。出力情報を受信した第１ユーザ端末２００は、出力情報に含まれる重畳情報を表示部２４０に表示し、出力情報に含まれる音声出力情報を音声出力部２４５に出力する（Ｓ１１９）。

【0077】

図１３は、複数のユーザの視野内に対象要素Ｔが存在する場合の例を示す図である。対象要素Ｔは、歴史博物館で展示物として展示されている鎧である。複数のユーザＵ１，Ｕ２が、第１ユーザ端末２００越しに、同じ対象要素Ｔを見ている。

【0078】

例えば、ユーザＵ１は大人であり、ユーザＵ２は子どもである。ユーザＵ１及びユーザＵ２はいずれも、第３プランを契約しているとする。

【0079】

図１４は、実施形態２にかかる、ユーザＵ１の第１ユーザ端末２００に表示される重畳情報の一例を示す図である。本図に示す斜線部分は、ユーザＵ１の第１ユーザ端末２００の表示部２４０に表示される重畳画像４００を示している。重畳画像４００は、対象要素Ｔである鎧を使用していた歴史上の人物のアバターを示している。重畳画像４００が示すアバターは、ユーザＵ１の個人情報から推定された特徴「大人」に合うように、「大人」に対応付けられた編集画像情報を用いて基本画像情報から編集されたものである。尚、重畳画像４００を表示中、第１ユーザ端末２００の音声出力部２４５は、重畳画像４００に連動して対象要素Ｔを説明するための音声出力情報を出力する。この音声出力情報は、ユーザＵ１の個人情報から推定された特徴「大人」に合う言葉遣い又は声質になるように、「大人」に対応付けられた編集音声情報を用いて基本音声情報から編集されたものであってよい。

【0080】

図１５は、実施形態２にかかる、ユーザＵ２の第１ユーザ端末２００に表示される重畳情報の一例を示す図である。本図に示す斜線部分は、ユーザＵ２の第１ユーザ端末２００の表示部２４０に表示される重畳画像４１０を示している。重畳画像４１０は、対象要素Ｔである鎧を使用していたアニメキャラクターのアバターを示している。重畳画像４１０が示すアバターは、ユーザＵ２の個人情報から推定された特徴「子ども」に合うように、「子ども」に対応付けられた編集画像情報を用いて基本画像情報から編集されたものである。尚、重畳画像４１０を表示中、第１ユーザ端末２００の音声出力部２４５は、重畳画像４１０に連動して音声出力情報を出力する。この音声出力情報は、ユーザＵ２の個人情報から推定された特徴「子ども」に合う言葉遣い又は声質になるように、「子ども」に対応付けられた編集音声情報を用いて基本音声情報から編集されたものであってよい。

【0081】

尚、ユーザＵ２がアニメ好き又はドラマ好きの場合、重畳画像４１０が示すアバターは、その対象要素Ｔが展示されている場所が舞台となったアニメのキャラクターや、その場所が舞台となったドラマに出演した俳優のアバターであってよい。また、音声出力情報は、アニメのキャラクターの声優若しくはその俳優の音声、又は声優若しくは俳優の声質に似せた音声であってよい。

【0082】

このように、対象要素Ｔに関連する重畳情報は、対象要素Ｔに関連する人物、又は対象要素Ｔを説明する説明員のアバターを表す画像情報を含んでよく、ユーザの好みに合った表現態様になるように編集されたものであってよい。また対象要素Ｔに関連する重畳情報は、これに限らず、対象要素Ｔに関連する物体、建物若しくは風景を表す画像情報を含んでもよい。

【0083】

尚、対象要素Ｔに関連する重畳情報は、対象要素Ｔが存在する空間を演出するものであってもよい。
図１６は、実施形態２にかかる第１ユーザ端末２００に表示される重畳情報の一例を示す図である。例えば対象要素Ｔが風景や建物であり、ユーザＵが第１ユーザ端末２００越しに対象要素Ｔを見たことに応じて、第１ユーザ端末２００の表示部２４０に重畳画像４１５が表示される。重畳画像４１５は、対象要素Ｔが存在する空間を演出するための画像であり、本図では「春」を演出するための桜の木及び花びらの画像である。

【0084】

ここでサーバ１００は、契約プランに応じた動作モード毎に、異なる演出を加えてよい。例えば、サーバ１００は、第１プランを契約したユーザＵに提供する重畳情報には、「春」を演出するための上述した画像を含まないようにしてよい。一方、サーバ１００は、第２及び第３プランを契約したユーザＵに提供する重畳情報には、「春」を演出するための上述した画像を含むようにしてよい。これにより、ユーザＵに対して、契約プランのアップデートを促すことができる。

【0085】

このように実施形態２によれば、サーバ１００は、ユーザＵに対して、ユーザＵの視界に入った対象要素Ｔに関連する情報を提供する場合に、動作モードに応じて提供する情報を異ならせる。動作モードは、契約の内容に応じて決定されてよく、これにより、サーバ１００がユーザＵの契約プランや課金状況に応じて、情報量や情報の質又は提供形態に差をつけることができる。例えば、サーバ１００は、上位の契約プランや課金額が高い契約に対応する動作モードほど、ユーザＵの特徴に応じたパーソナライズ編集がより充実化された画像及び音声を、ユーザＵに提供してよい。これにより、上位の契約プランや課金額が高くなるほど、ユーザＵにとって満足度が高い情報を提供できる。したがって、ユーザＵに対して上位の契約プランへの加入を促すことができる。

【0086】

＜実施形態３＞
次に、本開示の実施形態３について説明する。実施形態３は、サーバが、ユーザからの操作を検出し、操作内容に応じた動作モード変更処理を実行することに特徴を有する。図１７は、実施形態３にかかるサーバ１００ａの構成を示すブロック図である。サーバ１００ａは、記憶部１１０及び制御部１４０に代えて、記憶部１１０ａ及び制御部１４０ａを備える。記憶部１１０ａは、プログラム１１１に代えてプログラム１１１ａを記憶する。プログラム１１１ａは、実施形態３にかかる情報処理方法の処理が実装されたコンピュータプログラムである。

【0087】

制御部１４０ａは、制御部１４０の構成要素に加えて、操作検出部１４７を有する。操作検出部１４７は、操作検出手段とも呼ばれる。操作検出部１４７は、ユーザＵによる選択操作を検出する。ここで、実施形態３においては、出力制御部１４６は、所定のタイミングで、第１ユーザ端末２００に対して、視野領域に重なるように選択受付画像を表示させる。選択受付画像は、動作モードを変更するための画像である。動作モードを、上位の動作モードに変更する場合、選択受付画像はアドオンボタンと呼ばれることがある。上位の動作モードとは、上位の契約プランに対応する動作モード、又は編集量の多い動作モードであってよい。また、選択受付画像は、ユーザＵの個人情報に基づいてサーバ１００ａからユーザＵにリコメンドされる動作モードであってよい。第１ユーザ端末２００の表示部２４０には、選択受付画像が表示されており、サーバ１００ａの画像取得部１４３は、選択受付画像を表示中のユーザＵの視野を示す撮影画像を取得したとする。この場合、操作検出部１４７は、撮影画像中のユーザＵの手の位置と、視野領域における選択受付画像の重畳位置（つまり、表示部２４０における選択受付画像の表示位置）とに基づいて、ユーザＵによる選択受付画像の選択操作を検出する。

【0088】

図１８は、実施形態３にかかる選択操作の検出処理を説明するための図である。本図には、選択受付画像４２０表示されている場合の、ユーザＵの視野の撮影画像Ｖを示している。ここで、撮影画像Ｖには、ユーザＵの手を示す画像領域（手領域６００）が含まれている。尚、本図では便宜上、選択受付画像４２０を示したが、撮影画像Ｖに選択受付画像４２０は含まれていなくてよい。

【0089】

操作検出部１４７は、まず撮影画像Ｖから手領域６００を検出し、手領域６００から指先を検出する。そして操作検出部１４７は、指先の位置が選択受付画像４２０の表示位置に対応するか否かを判定する。本図の場合、操作検出部１４７は、指先の位置が、選択受付画像４２０の表示位置に対応すると判定する。これにより、操作検出部１４７は、ユーザＵによって選択受付画像４２０が押下（選択）されたと判定する。尚、操作検出部１４７は、誤操作回避のために、指先の位置が選択受付画像４２０の表示位置に対応することに加えて、その前後で所定の動作が行われたと判定した場合に、ユーザＵによる選択操作を検出してもよい。所定の動作は、例えば、指先が選択受付画像４２０の表示位置に対応する位置に所定の時間置いていることであってもよいし、指でクリック動作が行われたことであってもよい。

【0090】

そして選択部１４１は、選択受付画像４２０の選択操作が検出されたことに応じて、動作モードを変更する。例えば選択部１４１は、上位の動作モードに変更してよい。また選択受付画像が動作モードに応じて複数表示されている場合、選択部１４１は、選択された選択受付画像に応じた動作モードに変更してもよい。また、選択部１４１は、選択操作が検出されたことに応じて、契約処理を進め、契約情報を更新後、動作モードを変更してもよい。契約処理及び契約情報の更新においては、選択部１４１は、ユーザＵが選択した契約プランの等級が高いほど（上位であるほど）、課金額が高くなるように処理してよい。

【0091】

また、選択部１４１は、動作モードの選択操作の検出をトリガとして、契約情報を更新しないで、つまりお試しで、所定の時間（例えば、数十秒間）だけ上位の契約プランに対応する動作モードに変更してもよい。このお試し期間中に、出力制御部１４６は、当該上位の契約プランの利用金額と、契約情報を更新するか否かを選択するための選択受付画像とを第１ユーザ端末２００に表示させてよい。そして選択部１４１は、契約情報を更新する旨の選択受付画像の選択操作を検出した場合、契約処理を進め、契約情報を更新後、動作モードを維持してよい。一方、選択部１４１は、契約情報を更新しない旨の選択受付画像の選択操作を検出した場合、動作モードを変更前の動作モードに戻してよい。

【0092】

動作モードが変更したことに応じて、生成部１４５は、実施形態２と同様の方法で、動作モードに応じた重畳情報及び音声出力情報を生成する。そして出力制御部１４６は、ユーザＵの視野領域に、変更後の重畳情報が重なるように、第１ユーザ端末２００に対して変更後の重畳情報を表示させる。また出力制御部１４６は、変更後の音声出力情報を、第１ユーザ端末２００に対して出力させる。

【0093】

図１９は、実施形態３にかかる出力処理の流れを示すシーケンス図である。図１９に示すステップは、図１２に示すＳ１１１～Ｓ１１２に代えて、Ｓ１３０～Ｓ１３５を含む。

【0094】

まずユーザＵは、選択受付画像をクリックする動作を実行する等、動作モードの選択操作を実行する（Ｓ１３０）。第１ユーザ端末２００は、ユーザＵの視野を撮影し（Ｓ１３１）、撮影画像をユーザＩＤとともにサーバ１００に送信する（Ｓ１３２）。これにより、サーバ１００の画像取得部１４３は、撮影画像及びユーザＩＤを取得する。

【0095】

サーバ１００ａの操作検出部１４７は、撮影画像から選択操作を検出する（Ｓ１３３）。選択操作を検出したことに応じて、選択部１４１は、ユーザＤＢ１１２のユーザＩＤに対応付けられた契約情報を更新する（Ｓ１３４）。そして選択部１４１は、契約情報の更新に応じて動作モードを変更する（Ｓ１３５）。尚、Ｓ１１３～Ｓ１１９は、図１２と同様である。

【0096】

このように実施形態３によれば、サーバ１００ａは、撮影画像中のユーザＵの手の位置と、選択受付画像の表示位置とに基づいて、ユーザＵによる選択操作を検出し、選択操作に応じた動作モード変更処理を実行する。これにより、事前の登録だけでなく、ユーザＵがリアルタイムでサービスを受けている場合に、契約プランを変更・更新できる。ユーザＵが課金するほど、又は上位の契約プランを契約するほど提供する情報の内容を、ユーザＵにパーソナライズされた満足度が高いものとすることによって、ユーザＵに対してより課金、又は上位の契約プランへの加入を促すことができる。尚、第１ユーザ端末２００を使用中にタッチレスで容易に課金又は契約プランの変更ができるようにすることで、ユーザＵに、課金又は上位の契約プランへの加入をますます促進することができる。

【0097】

尚、契約プランには、趣味や嗜好に応じて異なる契約プランがあってよい。そして、サーバ１００ａは、ユーザＵの個人情報（趣味・嗜好）に応じて、候補となる複数（２～３個）の契約プランをユーザＵに提案してもよい。例えば、サーバ１００ａは、アニメ好きなユーザＵに対してはアニメファン向けの契約プラン、野球好きのユーザＵに対しては野球ファン向けの契約プラン、旅行好きなユーザＵに対しては旅行ファン向けの契約プランをリコメンドしてよい。この場合、サーバ１００ａは、選択受付画像として、候補となる契約プランを第１ユーザ端末２００に表示させてよい。

【0098】

＜実施形態４＞
次に、本開示の実施形態４について説明する。実施形態４にかかるサーバ１００ａは、実施形態３にかかるサーバ１００ａと基本的に同様の構成及び機能を有するため、説明は省略する。ただし実施形態４は、動作モードが、インタラクティブな処理に基づく情報を提供する動作モードを含むことに特徴を有する。

【0099】

図２０は、実施形態４にかかる動作モードを説明するための図である。本図の第４の動作モードでは、インタラクティブな処理に基づく情報を第１ユーザ端末２００に出力（表示及び音声出力）させる。インタラクティブな処理とは、ユーザＵの反応に応じた対話型の情報を生成する処理である。ここで反応とは、心理状態又は会話内容であってよい。例えばサーバ１００ａの画像取得部１４３は、ユーザＵの顔を撮影した撮影画像及びユーザＵが発した音声のうち少なくとも一方を第１ユーザ端末２００から取得する。生成部１４５は、取得した情報に基づいてユーザＵの反応を推定し、反応に応じた画像情報及び音声情報を生成する。このとき生成部１４５は、反応に応じた画像情報及び音声情報を基礎として、個人情報に応じた編集情報で、当該画像情報及び音声情報を編集してよい。これにより、生成部１４５は、インタラクティブな出力情報を生成する。

【0100】

尚、本図の第１～第３の動作モードでは、ノンインタラクティブな処理に基づく情報を第１ユーザ端末２００に出力させてよい。例えば第１の動作モードでは、予め定められた基本画像情報及び基本音声情報を、そのまま出力させる。また第２の動作モードでは、予め定められた基本画像情報と、予め定められた基本音声情報を個人情報に応じた編集情報で編集した情報とを出力させる。また第３の動作モードでは、予め定められた基本画像情報を個人情報に応じた編集画像情報で編集した情報と、予め定められた基本音声情報を個人情報に応じた編集音声情報で編集した情報とを出力させる。

【0101】

本図では、インタラクティブな処理に基づく情報を出力させる動作モードは、第４の動作モードのみであるが、これに限らず複数の動作モードがあってよい。例えば、ユーザＵが課金した金額や契約プランに応じた動作モード間で、ユーザＵがアバターと対話できる量（時間又は回数）が変わってよい。また、ユーザＵが課金した金額や契約プランに応じた動作モード間で、アバターとして登場するキャラクターの人気度が変わってもよい。

【0102】

図２１は、実施形態４にかかる第１ユーザ端末２００に表示される重畳情報の一例を示す図である。例えば、第４の動作モードにおいて、表示部２４０には、ユーザＵと対話するアバターが重畳画像４３０として表示されていてよい。サーバ１００ａの生成部１４５は、ユーザＵの反応に応じてアバターの表情を変化させたり、動作を変えたり、セリフを変更してよい。アバターのセリフの変更は、アバターのセリフの文言の変更に加えて、アバターが話す内容の変更を含んでもよい。アバターが話す内容を変更する場合、例えば、生成部１４５は、ユーザＵが話す内容、表情及び受け答え内容（リアクションや返事）等に基づいて、ユーザＵの興味がありそうな話題を特定し、アバターが話す内容の中心に、特定した話題を入れてよい。一方で、生成部１４５は、アバターが話す内容から、ユーザＵに興味がなさそうな話題を除外してよい。このように第４の動作モードにおいては、ユーザＵとの対話内容に応じて変化させた重畳画像及び音声を提供できるため、ユーザＵはアバターを対話することが可能となり、よりユーザＵの満足度を高めることができる。一方で、第１～第３の動作モードのユーザＵは、アバターと対話することができない。したがって、第４の動作モードに対応する、利用料金の高い第４プランへの加入を、ユーザＵに促すことができる。

【0103】

このように、実施形態４では、動作モードにおける出力情報は、ノンインタラクティブな処理に基づく重畳情報及び音声出力情報、並びにインタラクティブな処理に基づく情報の重畳情報及び音声出力情報、のうち少なくとも１つを含む。出力情報のバリエーションを増やすことにより、ユーザＵに対して、上位の契約プラン又は課金を効果的に促すことが可能となる。

【0104】

＜実施形態５＞
次に、本開示の実施形態５について説明する。実施形態５は、サーバ１００ａがユーザＵの同伴者の個人情報を、ユーザＵへの情報提供に用いることに特徴を有する。実施形態５にかかるサーバ１００ａは、実施形態４にかかるサーバ１００ａと基本的に同様の構成及び機能を有する。ただし実施形態５においては、ユーザＵの第２ユーザ端末３００は、ユーザＵの個人情報に加えて又は代えて、ユーザＵの同伴者の個人情報を、サーバ１００ａに送信する。例えば、図１０に示す個人情報の入力画面に、同伴者の個人情報を入力する領域が含まれていてよい。

【0105】

サーバ１００ａの個人情報取得部１４２は、ユーザＵの個人情報と、同伴者の個人情報とを、ユーザＵの第２ユーザ端末３００から取得する。そして生成部１４５は、対象要素の要素ＩＤと、ユーザＵの個人情報と、同伴者の個人情報とに基づいて、出力情報（重畳情報及び音声出力情報）を生成する。これにより、サーバ１００ａは、ユーザＵ本人だけではなく、同伴者の趣味嗜好等の個人情報を考慮した情報を提供できる。

【0106】

さらに、個人情報取得部１４２は、ユーザＵの個人情報及び同伴者の個人情報に加えて、ユーザＵの個人情報に対する同伴者の個人情報の重要度の情報を、第２ユーザ端末３００から取得してよい。

【0107】

ここで、サーバ１００ａの出力制御部１４６は、図９のステップＳ１０１において、第２ユーザ端末３００に対して、重要度の入力画面を表示させる。図２２は、実施形態５にかかる第２ユーザ端末３００に表示される個人情報の重要度の入力画面の一例を示す図である。

【0108】

図２２に示すように、表示部３４０には、ユーザＵの個人情報の重要度の入力領域と、同伴者の個人情報の重要度の入力領域とが表示される。本入力画面では、ユーザＵからの加算操作又は減算操作を受け付けて、各重要度の値が変更できるようになっている。尚、本入力画面では、ユーザＵの個人情報の重要度と、同伴者の個人情報の重要度との割合（比率）が、合計で１になるように、調整されてよい。同伴者が複数いる場合は、ユーザＵの個人情報の重要度と、全ての同伴者の個人情報の重要度との割合が合計で１になるように、調整されてよい。あるいはこれらの調整は、サーバ１００ａの個人情報取得部１４２により行われてもよい。さらに表示部３４０には、「決定」の入力領域が表示される。ユーザＵが当該入力領域を選択したことに応じて、第２ユーザ端末３００は、入力されたユーザＵの個人情報の重要度の情報及び同伴者の個人情報の重要度の情報を、ユーザＩＤとともにサーバ１００ａに送信する。

【0109】

尚、重要度の入力画面は、第２ユーザ端末３００の表示部３４０だけでなく、第１ユーザ端末２００の表示部２４０に表示されてもよい。この場合、サーバ１００ａは、操作検出部１４７を備えてよい。表示部２４０に重要度の入力画面が表示されたことに応じてユーザＵが実空間上で所定の動作を実行すると、操作検出部１４７は、撮影画像から入力操作を検出し、入力操作に応じた処理を実行してよい。

【0110】

個人情報取得部１４２が同伴者の個人情報と重要度の情報とを取得した場合、生成部１４５は、ユーザＵの個人情報と、同伴者の個人情報と、重要度とに基づいて、重畳情報を生成する。例えば、まず生成部１４５は、ユーザＵの個人情報と、重要度で重み付けされた同伴者の個人情報とから、団体としての個人情報を生成する。そして生成部１４５は、要素ＩＤに対応付けられた要素関連情報と、団体としての個人情報とに基づいて、重畳情報を生成する。また、生成部１４５は、要素ＩＤに対応付けられた要素関連情報と、団体としての個人情報とに基づいて、音声出力情報を生成してよい。重畳情報及び音声出力情報の生成方法については、上述の実施形態１～４で説明した方法と同様であってよいが、「ユーザＵの個人情報」を「団体としての個人情報」に読み替える。

【0111】

このように実施形態５によれば、サーバ１００ａは、ユーザＵの個人情報と同伴者の個人情報との間の重要度で重み付けされた個人情報に基づいて、出力情報を生成する。したがって、団体としての意向をより適切に反映させた情報を、ユーザＵに提供できる。

【0112】

尚、ユーザＵ及びユーザＵの同伴者は、それぞれ第１ユーザ端末２００を所持又は装着しており、第１ユーザ端末２００越しに対象要素を見てよい。それぞれの第１ユーザ端末２００には、同じ重畳情報が表示され、同じ音声出力情報が出力されてよい。これにより、ユーザＵ及びユーザＵの同伴者は、映像体験を共有することができる。

【0113】

上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

【0114】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0115】

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば上述の実施形態では、サーバ１００，１００ａが生成した重畳情報及び音声出力情報を、いずれも第１ユーザ端末２００が出力することで、ユーザＵに提供していた。これに代えて、重畳情報及び音声出力情報のうち一方又は両方を、第２ユーザ端末３００が出力してもよい。例えば、重畳情報は第１ユーザ端末２００が出力し、音声出力情報は第２ユーザ端末３００が出力するようにしてもよい。

【0116】

また例えば、第１ユーザ端末２００は、第２ユーザ端末３００に有線又は無線で接続されており、サーバ１００，１００ａと第２ユーザ端末３００との情報の送受信は、ネットワークＮに接続された第２ユーザ端末３００を介して行われてもよい。一例として、第１ユーザ端末２００は、Bluetooth（登録商標）等の近距離無線通信によって、第２ユーザ端末３００と通信してよい。第１ユーザ端末２００は、ユーザＵの視野を撮影し、撮影画像を、第２ユーザ端末３００を介してサーバ１００，１００ａに送信する。このとき第２ユーザ端末３００は、撮影画像にユーザＩＤを付して、サーバ１００，１００ａに送信してよい。また第１ユーザ端末２００は、第２ユーザ端末３００を介してサーバ１００，１００ａから受信した重畳情報を、ユーザＵの視野領域に重ねて表示する。また第１ユーザ端末２００は、第２ユーザ端末３００を介してサーバ１００，１００ａから受信した音声出力情報を、音声出力部２４５により出力する。またサーバ１００，１００ａは、個人情報の入力画面を第１ユーザ端末２００に表示させ、ユーザＵが所定の動作を実行した撮影画像に基づいて個人情報の入力操作を検出することで、個人情報を取得してよい。また、情報処理システム１０００は、第１ユーザ端末２００及び第２ユーザ端末３００に代えて、第１ユーザ端末２００の機能と第２ユーザ端末３００の機能とが一体化したユーザ端末を備えてもよい。

【0117】

また上述の実施形態では、サーバ１００，１００ａの個人情報取得部１４２は、ユーザＵや同伴者（ユーザ等）の個人情報を、第２ユーザ端末３００等のユーザ端末から取得するとした。しかしこれに代えて、個人情報取得部１４２は、ネットワークＮに接続され、ユーザ等の個人情報の一部又は全部を記憶する外部装置から、個人情報を取得してよい。
例えば、外部装置は、スケジュール管理アプリケーションを動作させ、これらの動作によって取得された、ユーザ等のスケジュール情報を蓄積してよい。そして外部装置は、所定のタイミングで、ネットワークＮを介して、ユーザＩＤ及びスケジュール情報を、サーバ１００に送信してよい。また例えば、外部装置は、購入履歴を管理するアプリケーションを動作させ、この動作によって取得された、ユーザ等の購入履歴を記憶してよい。
また各施設には顔認証端末が設置され、ユーザ等が各施設を訪問した場合に、顔認証端末が、ユーザＩＤと、訪問履歴とをネットワークＮを介してサーバ１００，１００ａに送信するようになっていてもよい。そしてサーバ１００，１００ａは、訪問履歴を行動履歴として、ユーザＩＤに対応付けてユーザＤＢ１１２に登録してよい。
また各施設には、顔決済端末が設置され、ユーザ等が店舗で決済した場合に、顔決済端末が、ユーザＩＤと、決済履歴とをネットワークＮを介してサーバ１００，１００ａに送信するようになっていてもよい。そしてサーバ１００，１００ａは、決済履歴を購入履歴として、ユーザＩＤに対応付けてユーザＤＢ１１２に登録してよい。

【0118】

また上述の実施形態では、サーバ１００，１００ａは、対象要素を撮影画像から検出し、第１ユーザ端末２００に出力情報を提供した。サーバ１００，１００ａは、これに加えて、ユーザＵの位置情報に基づいてユーザＵが対象要素に近づいているか否かを判定し、近づいていると判定した場合に、出力情報を紹介するための紹介情報又は対象要素の広告情報を第１ユーザ端末２００に出力させてよい。尚、サーバ１００，１００ａは、ユーザＵの位置と対象要素の位置との距離が所定閾値以内である場合、あるいは、上記距離が所定閾値以内であり、かつユーザＵの進行方向に対象要素が位置している場合に、ユーザＵが対象要素に近づいていると判定してよい。また紹介情報又は広告情報の出力方式としては、表示であってもよいし、音声出力であってもよい。例えばサーバ１００，１００ａは、第１ユーザ端末２００に、「そろそろ対象要素の展示スペースに着きます。映像コンテンツが流れます。」というメッセージを音声出力させてよい。

【0119】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択手段と、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得手段と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出手段と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する生成手段と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
を備える情報処理装置。
（付記２）
前記選択手段は、前記ユーザとの間の契約に関する契約情報を取得し、
前記契約情報に応じて前記１の動作モードを選択する
付記１に記載の情報処理装置。
（付記３）
前記出力制御手段は、前記ユーザ端末に対して、前記視野領域に重なるように選択受付画像を表示させ、
前記情報処理装置は、前記撮影画像中の前記ユーザの手の位置と、前記視野領域上の前記選択受付画像の重畳位置とに基づいて、前記ユーザによる前記選択受付画像の選択操作を検出する操作検出手段を備え、
前記選択手段は、前記選択操作が検出されたことに応じて、前記動作モードを変更する
付記１又は２に記載の情報処理装置。
（付記４）
前記対象要素に関連する重畳情報は、前記対象要素に関連する人物、物体、建物、風景、又は前記対象要素を説明する説明員のアバター、を表す画像情報を含む
付記１から３のいずれか一項に記載の情報処理装置。
（付記５）
前記生成手段は、
前記複数の動作モードのうち少なくとも１つの動作モードにおいて、少なくとも前記対象要素の識別情報に基づいて、前記対象要素に関連する音声出力情報を生成する
付記１から４のいずれか一項に記載の情報処理装置。
（付記６）
前記ユーザ及び前記ユーザの同伴者のうち少なくとも一方の人物の個人情報を取得する個人情報取得手段をさらに備え、
前記生成手段は、前記複数の動作モードのうち少なくとも１つの動作モードにおいて、前記対象要素の識別情報及び前記個人情報に基づいて、前記重畳情報を生成する
付記１から５のいずれか一項に記載の情報処理装置。
（付記７）
前記個人情報は、属性情報、位置情報、行動履歴、購入履歴及びスケジュール情報のうち少なくとも１つを含む
付記６に記載の情報処理装置。
（付記８）
前記生成手段は、前記個人情報に基づいて前記対象要素に関連する人物、物体、建物、風景、又は前記対象要素を説明する説明員のアバターの表現態様を決定し、前記表現態様に基づいて前記重畳情報を生成する
付記６又は７に記載の情報処理装置。
（付記９）
前記個人情報取得手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記ユーザの個人情報に対する前記同伴者の個人情報の重要度の情報とを取得し、
前記生成手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記重要度とに基づいて、前記重畳情報を生成する
付記６から８のいずれか一項に記載の情報処理装置。
（付記１０）
前記生成手段は、前記少なくとも１つの動作モードにおいて、前記対象要素の識別情報及び前記個人情報に基づいて、前記対象要素に関連する音声出力情報を生成する
付記６から９のいずれか一項に記載の情報処理装置。
（付記１１）
前記複数の動作モードは、前記ユーザ端末に出力させる出力情報の種別が互いに異なる複数の動作モードを含み、
前記複数の動作モードの各々の前記出力情報は、ノンインタラクティブな処理に基づく重畳情報及び音声出力情報、並びにインタラクティブな処理に基づく重畳情報及び音声出力情報、のうち少なくとも１つを含む
付記１から１０のいずれか一項に記載の情報処理装置。
（付記１２）
ユーザが使用し、前記ユーザの視野を撮影するユーザ端末と、
情報処理装置と
を備え、
前記情報処理装置は、
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択手段と、
前記ユーザ端末により生成された撮影画像を取得する画像取得手段と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出手段と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する生成手段と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
を有する
情報処理システム。
（付記１３）
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択し、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得し、
前記撮影画像から、予め定められた対象要素を検出し、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成し、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる
情報処理方法。
（付記１４）
予め定められた条件に応じて、複数の動作モードのうち、１の動作モードを選択する選択処理と、
ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得処理と、
前記撮影画像から、予め定められた対象要素を検出する対象要素検出処理と、
少なくとも前記対象要素の識別情報と、選択された動作モードの種別とに基づいて、前記対象要素に関連する重畳情報を生成する生成処理と、
前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御処理と
を、コンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。

【符号の説明】

【0120】

１０ 情報処理装置
１１，１４１ 選択部
１３，１４３ 画像取得部
１４，１４４ 対象要素検出部
１５，１４５ 生成部
１６，１４６ 出力制御部
１００，１００ａ サーバ（情報処理装置）
１１０，１１０ａ 記憶部
１１１，１１１ａ プログラム
１１２ ユーザＤＢ
１１２１ ユーザＩＤ
１１２２ 個人情報
１１２３ 契約情報
１１３ 要素ＤＢ
１１３１ 要素ＩＤ
１１３２ 要素特徴情報
１１３３ 要素関連情報
１１３４ 基本画像情報
１１３５ 基本音声情報
１１３６ 編集情報
１２０ メモリ
１３０ 通信部
１４０，１４０ａ 制御部
１４２ 個人情報取得部
１４７ 操作検出部
２００ 第１ユーザ端末
２１０ カメラ
２２０ 記憶部
２３０ 通信部
２４０ 表示部
２４５ 音声出力部
２５０ 入力部
２６０ 制御部
３００ 第２ユーザ端末
３１０ カメラ
３２０ 記憶部
３３０ 通信部
３４０ 表示部
３５０ 入力部
３６０ 制御部
４００，４１０，４１５，４３０ 重畳画像
４２０ 選択受付画像
６００ 手領域
１０００ 情報処理システム
Ｕ ユーザ
Ｎ ネットワーク
Ｔ 対象要素
Ｖ 撮影画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】