ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022033135
(43)【公開日】2022-02-28
(54)【発明の名称】サーバ、クライアント端末、制御方法、およびプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220218BHJP
G06F 3/01 20060101ALI20220218BHJP
G06F 3/04815 20220101ALI20220218BHJP
H04L 51/02 20220101ALI20220218BHJP
H04L 67/131 20220101ALI20220218BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
G06F3/0481 150
H04L51/02
H04L67/131
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2021196084
(22)【出願日】2021-12-02
(62)【分割の表示】P 2018543739の分割
【原出願日】2017-07-05
(31)【優先権主張番号】P 2016199028
(32)【優先日】2016-10-07
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】細田 育英
(57)【要約】
【課題】ユーザが見逃している情報を提示することが可能なサーバ、クライアント端末、
制御方法、および記憶媒体を提供する。
【解決手段】クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部と、を備える、サーバ。
【選択図】図１
制御方法、および記憶媒体を提供する。
【解決手段】クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部と、を備える、サーバ。
【選択図】図１
【特許請求の範囲】
【請求項1】
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部を備えるサーバ。
【請求項2】
前記制御部は、前記クライアント端末の撮像部により取得されたユーザの視界画像から、前記ユーザの興味情報に応じたオブジェクトに対応する情報を抽出し、前記オブジェクトに対応する情報に対して重畳表示させるキャラクタを示すキャラクタ情報と、前記ユーザに提示する提示情報を前記クライアント端末に送信するように制御する、請求項１に記載のサーバ。
【請求項3】
前記制御部は、ユーザ情報に関連するオブジェクトに関連する情報と前記ユーザの興味情報との比較に基づいて、前記ユーザに提示する提示情報を決定する、請求項２に記載のサーバ。
【請求項4】
ユーザ情報に関連するオブジェクトに対応する情報に対して重畳表示させるキャラクタに対する前記ユーザの視線に関連する情報を受信すると、
前記制御部は、前記ユーザの視線に関連する情報に応じて、前記ユーザに提示する提示情報の内容を変更する、請求項１～３のいずれか１項に記載のサーバ。
前記制御部は、前記ユーザの視線に関連する情報に応じて、前記ユーザに提示する提示情報の内容を変更する、請求項１～３のいずれか１項に記載のサーバ。
【請求項5】
前記ユーザの視線に関連する情報は、提示情報更新依頼である、請求項４に記載のサーバ。
【請求項6】
前記制御部は、前記提示情報更新依頼に応じて、さらに詳細な情報に変更する、請求項５に記載のサーバ。
【請求項7】
前記重畳表示させるキャラクタに対するユーザの視線に関連する情報は、前記ユーザが前記キャラクタに注目したことに関する情報である、請求項４に記載のサーバ。
【請求項8】
前記制御部は、
前記クライアント端末のユーザによって入力される音声の意味を理解し、対応する音声メッセージを前記クライアント端末に送信する機能を有する、請求項１に記載のサーバ。
前記クライアント端末のユーザによって入力される音声の意味を理解し、対応する音声メッセージを前記クライアント端末に送信する機能を有する、請求項１に記載のサーバ。
【請求項9】
前記制御部は、
前記クライアント端末の撮像部により撮像される、少なくとも、前記ユーザの視界外の画像から前記予め登録されている人物が検知されると、それを前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように制御する、請求項８に記載のサーバ。
前記クライアント端末の撮像部により撮像される、少なくとも、前記ユーザの視界外の画像から前記予め登録されている人物が検知されると、それを前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように制御する、請求項８に記載のサーバ。
【請求項10】
前記制御部は、
前記クライアント端末の撮像部により撮像される画像と共に、当該クライアント端末の位置と向きの情報を取得し；
さらに、
前記予め登録されている人物のアカウントに、前記ユーザへの通知の許諾と現在の位置情報を要求するリクエストを送信し；
前記リクエストに応じて受信した、前記ユーザへの通知の許諾の要求に対する承認と、前記位置情報とに応じて、前記予め登録されている人物がいる方向を示す情報を前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように；
通信部を制御する、請求項８または９に記載のサーバ。
前記クライアント端末の撮像部により撮像される画像と共に、当該クライアント端末の位置と向きの情報を取得し；
さらに、
前記予め登録されている人物のアカウントに、前記ユーザへの通知の許諾と現在の位置情報を要求するリクエストを送信し；
前記リクエストに応じて受信した、前記ユーザへの通知の許諾の要求に対する承認と、前記位置情報とに応じて、前記予め登録されている人物がいる方向を示す情報を前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように；
通信部を制御する、請求項８または９に記載のサーバ。
【請求項11】
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部を備えるクライアント端末。
【請求項12】
前記制御部は、
前記画像における前記ユーザの興味情報に関連するオブジェクトに対して、キャラクタ情報を重畳表示すると共に、前記ユーザに提示する提示情報を出力するように前記出力部を制御する、請求項１１に記載のクライアント端末。
前記画像における前記ユーザの興味情報に関連するオブジェクトに対して、キャラクタ情報を重畳表示すると共に、前記ユーザに提示する提示情報を出力するように前記出力部を制御する、請求項１１に記載のクライアント端末。
【請求項13】
前記制御部は、
撮像部により撮像される画像から予め登録されている人物が検知されると、当該人物が検知されたことをユーザに通知するための音声メッセージを出力するように前記出力部を制御する、請求項１１に記載のクライアント端末。
撮像部により撮像される画像から予め登録されている人物が検知されると、当該人物が検知されたことをユーザに通知するための音声メッセージを出力するように前記出力部を制御する、請求項１１に記載のクライアント端末。
【請求項14】
プロセッサが、
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信することと、
前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信することと、
を含む、制御方法。
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信することと、
前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信することと、
を含む、制御方法。
【請求項15】
コンピュータを、
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部として機能させるためのプログラム。
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部として機能させるためのプログラム。
【請求項16】
プロセッサが、
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力することを含む、制御方法。
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力することを含む、制御方法。
【請求項17】
コンピュータを、
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部として機能させるためのプログラム。
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、サーバ、クライアント端末、制御方法、およびプログラムに関する。
【背景技術】
【0002】
近年、ユーザの視界に入る対象物に関する情報をテキストや音声により提示する技術が提案されている。例えば下記特許文献１では、ユーザが装着するＨＭＤ（Head Mounted Display）において、対象物の説明を重畳表示する技術が提案されている。
【0003】
また、下記特許文献２では、ユーザの表情を反映したアバタの画像をメッセージと共に授受するチャットシステムが提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１４－１６７７１６号公報
【特許文献2】特開２０１３－９０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ユーザが見逃している対象物に関する情報までは提示されていなかった。
【0006】
そこで、本開示では、ユーザが見逃している情報を提示することが可能なサーバ、クライアント端末、制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部を備えるサーバを提案する。
【0008】
本開示によれば、撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部を備えるクライアント端末を提案する。
【0009】
本開示によれば、プロセッサが、クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信することと、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信することと、を含む、制御方法を提案する。
【0010】
本開示によれば、コンピュータを、クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部として機能させるためのプログラムを提案する。
【0011】
本開示によれば、プロセッサが、撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力することを含む、制御方法を提案する。
【0012】
本開示によれば、コンピュータを、撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部として機能させるためのプログラムを提案する。
【発明の効果】
【0013】
以上説明したように本開示によれば、ユーザが見逃している情報を提示することが可能となる。
【0014】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0015】
【図1】本開示の第１の実施形態による情報処理システムの概要について説明する図である。
【図2】第１の実施形態による情報処理システムの全体構成について説明する図である。
【図3】第１の実施形態によるメガネ型端末の構成の一例を示すブロック図である。
【図4】第１の実施形態によるサーバの構成の一例を示すブロック図である。
【図5】第１の実施形態によるユーザ情報ＤＢに蓄積されるユーザ情報の一例を示す図である。
【図6】第１の実施形態によるオブジェクト情報ＤＢに蓄積されるオブジェクト情報の一例を示す図である。
【図7】第１の実施形態による情報処理システムの動作処理を示すシーケンス図である。
【図8】第１の実施形態によるタグ画像の検出処理を示すフローチャートである。
【図9】一般的な人間の視野について説明する図である。
【図10】第１の実施形態による提示情報取得処理を示すフローチャートである。
【図11】第１の実施形態によるオブジェクト情報取得処理を示すフローチャートである。
【図12】第１の実施形態による注目度設定処理を示すフローチャートである。
【図13】第１の実施形態による提示情報提供処理を示すフローチャートである。
【図14】第１の実施形態による提示方法設定処理を示すフローチャートである。
【図15】第１の実施形態による情報提示処理を示すフローチャートである。
【図16】第１の実施形態によるユーザ行動検出処理を示すフローチャートである。
【図17】第１の実施形態によるメガネ型端末による提示情報更新処理を示すフローチャートである。
【図18】第１の実施形態によるサーバによる提示情報更新処理を示すフローチャートである。
【図19】第１の実施形態によるキャラクタ表示の具体例を示す図である。
【図20】第１の実施形態による構造物の視線の向きを変更する具体例を示す図である。
【図21】第１の実施形態によるタグ画像マップデータの一例を示す図である
【図22】第２の実施形態による情報処理システムの概要について説明する図である。
【図23】第２の実施形態による情報処理システムの各構成について説明する図である。
【図24】第２の実施形態による撮像部の設置例について説明する図である。
【図25】第２の実施形態による撮像部の他の設置例について説明する図である。
【図26】第２の実施形態による情報処理システムの動作処理を示すシーケンス図である。
【図27】第２の実施形態による情報処理システムの動作処理を示すシーケンス図である。
【図28】第２の実施形態の第１の応用例による情報処理システムの全体構成を示す図である。
【図29】第２の実施形態の第１の応用例による情報処理システムの動作処理を示すフローチャートである。
【図30】第２の実施形態の第２の応用例による情報処理システムの全体構成を示す図である。
【図31】第２の実施形態の第２の応用例による情報処理システムの動作処理を示すフローチャートである。
【図32】第２の実施形態の第２の応用例による情報処理システムの動作処理を示すフローチャートである。
【図33】第２の実施形態の第３の応用例による情報処理システムの全体構成を示す図である。
【図34】第２の実施形態の第３の応用例による情報処理システムの動作処理を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0017】
また、説明は以下の順序で行うものとする。
１．第１の実施形態
１－１．概要
１－２．構成
１－３．動作処理
１－４．表示例
１－５．補足
２．第２の実施形態
２－１．概要
２－２．構成
２－３．動作処理
２－４．応用例
２－５．補足
３．まとめ
１．第１の実施形態
１－１．概要
１－２．構成
１－３．動作処理
１－４．表示例
１－５．補足
２．第２の実施形態
２－１．概要
２－２．構成
２－３．動作処理
２－４．応用例
２－５．補足
３．まとめ
【0018】
＜＜１．第１の実施形態＞＞
＜１－１．概要＞
図１は、本開示の第１の実施形態による情報処理システムの概要について説明する図である。図１に示すように、例えばユーザが透過式のメガネ型端末１（クライアント端末の一例）を装着して街を歩いている際に、視界に入ってはいるが注視せず気付いていなかった看板３０に、ユーザの注意を引くために動く「目」のキャラクタ画像３４がＡＲ（Augmented Reality）表示され、「新作スカートが入荷されたよ！」といった音声が出力される。
＜１－１．概要＞
図１は、本開示の第１の実施形態による情報処理システムの概要について説明する図である。図１に示すように、例えばユーザが透過式のメガネ型端末１（クライアント端末の一例）を装着して街を歩いている際に、視界に入ってはいるが注視せず気付いていなかった看板３０に、ユーザの注意を引くために動く「目」のキャラクタ画像３４がＡＲ（Augmented Reality）表示され、「新作スカートが入荷されたよ！」といった音声が出力される。
【0019】
より具体的には、メガネ型端末１は、メガネ型端末１に設けられたユーザの視界を撮像する撮像部により看板３０のタグ画像３２を抽出すると、当該タグ画像３２に対応する情報を提示するよう制御する。この際、メガネ型端末１はユーザの視線検出を行ってユーザの注視領域を把握し、少なくとも注視領域の外、具体的にはユーザの視界に入ってはいるが認識できていない範囲からタグ画像３２を抽出した場合に、見逃し情報として提示するよう制御する。なお提示する情報はユーザの興味がある事象に限るようにしてもよい。
【0020】
これにより、ユーザは看板３０に気付き、自身が興味のある洋服の店を見逃してしまうことを防止することができる。
【0021】
このような第１の実施形態による情報処理システムについて、以下その構成および動作処理を具体的に説明する。
【0022】
＜１－２．構成＞
（１－２－１．全体構成）
図２は、第１の実施形態による情報処理システムの全体構成について説明する図である。図２に示すように、本実施形態による情報処理システムは、メガネ型端末１とサーバ２を含む。メガネ型端末１およびサーバ２は、ネットワーク３を介して接続し、データの送受信を行う。
（１－２－１．全体構成）
図２は、第１の実施形態による情報処理システムの全体構成について説明する図である。図２に示すように、本実施形態による情報処理システムは、メガネ型端末１とサーバ２を含む。メガネ型端末１およびサーバ２は、ネットワーク３を介して接続し、データの送受信を行う。
【0023】
メガネ型端末１は、透過式メガネ型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。ＨＭＤは、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の透過式の表示部１３（図３）が配置される構成となっている。表示部１３には、文字、図形等の画像が表示され、現実空間に重畳される。ＨＭＤには、ユーザに装着された状態でユーザが視認する方向を被写体方向として撮像する撮像レンズが設けられ、ユーザの視界を撮像することが可能である。
【0024】
なお、図２に示すメガネ型端末１の外観は一例であり、メガネ型端末１をユーザが装着するための構造は多様に考えられる。メガネ型端末１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部１３が設けられていればよい。また表示部１３は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
【0025】
サーバ２は、ユーザ情報やオブジェクト情報を蓄積し、メガネ型端末１により抽出されたタグ画像に対応する提示情報をメガネ型端末１に送信する機能を有する。
【0026】
【0027】
図３に示すように、メガネ型端末１は、制御部１０、通信部１１、撮像部１２、表示部１３、音声出力部１４、記憶部１５、および視線検出部１６を有する。
【0028】
（制御部１０）
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従ってメガネ型端末１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従ってメガネ型端末１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
【0029】
また、本実施形態による制御部１０は、タグ画像検出部１０１、提示情報取得部１０２、提示方法設定部１０３、情報提示制御部１０４、ユーザ行動検出部１０５、および提示情報更新部１０６として機能する。
【0030】
タグ画像検出部１０１は、撮像部１２により撮像された撮像画像を解析し、タグ画像を検出する。タグ画像の検出は、例えば予め記憶部１５に記憶された画像とのパターンマッチングにより行われてもよい。例えば図１に示すような目のマークのタグ画像３２が予め記憶部１５に登録されていることで、タグ画像検出部１０１は、撮像部１２により撮像した撮像画像から看板３０における目のイラストをタグ画像３２として検出することが可能となる。
【0031】
提示情報取得部１０２は、検出したタグ画像に基づく提示情報をサーバ２から取得する。具体的には、提示情報取得部１０２は、検出したタグ画像または当該タグ画像に電子透かしにより埋め込まれたタグ情報（具体的には、例えばタグＩＤ）をサーバ２に送信し、提示情報として、タグ情報に対応するオブジェクト情報（例えば商品に関する情報）を取得する。
【0032】
提示方法設定部１０３は、オブジェクト情報をユーザに提示する方法を設定する。具体的には、提示方法設定部１０３は、設定された注目度に応じて、オブジェクト情報を提示する際の表示設定や音量設定を決定する。
【0033】
情報提示制御部１０４は、提示情報取得部１０２により取得されたオブジェクト情報を、提示方法設定部１０３により設定された方法でユーザに提示するよう制御する。具体的には、情報提示制御部１０４は、表示部１３や音声出力部１４から提示情報であるオブジェクト情報を出力するよう制御する。
【0034】
ユーザ行動検出部１０５は、ユーザの行動を検出し、タグ画像へのユーザの注目度を設定する機能を有する。例えばユーザ行動検出部１０５は、視線検出部１６により検出されたユーザの視線に応じて、ユーザの視線が対象のタグ画像に向けられている場合、当該タグ画像の注目度を「高」に設定する。
【0035】
提示情報更新部１０６は、注目度が変更された際、サーバから新たな提示情報を取得し、ユーザに提示する提示情報を更新する。
【0036】
（通信部１１）
通信部１１は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部１１は、Bluetooth（登録商標）、Ｗｉ－Ｆｉ（Wireless Fidelity、登録商標）、無線ＬＡＮ（Local Area Network）等により、ネットワーク３に接続し、ネットワーク上のサーバ２とデータの送受信を行う。
通信部１１は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部１１は、Bluetooth（登録商標）、Ｗｉ－Ｆｉ（Wireless Fidelity、登録商標）、無線ＬＡＮ（Local Area Network）等により、ネットワーク３に接続し、ネットワーク上のサーバ２とデータの送受信を行う。
【0037】
（撮像部１２）
撮像部１２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
撮像部１２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【0038】
また、本実施形態による撮像部１２は、ユーザがメガネ型端末１を装着した際にユーザの視線方向（視界）を撮像する向きに設けられている。
【0039】
（視線検出部１６）
視線検出部１６は、メガネ型端末１を装着しているユーザの視線方向を検出する機能を有する。より具体的には、視線検出部１６は、ユーザの眼の動きや頭部の動き、または姿勢等に基づいて、ユーザの視線方向（さらには、注視点）を検出する。ユーザの眼の動きは、例えばユーザの顔または眼を撮像した撮像画像、検知した眼電、または筋電等に基づいて解析され得る。また、頭部の動きや姿勢は、メガネ型端末１に設けられたジャイロセンサ、加速度センサ、地磁気センサ等（いずれも不図示）により検知され得る。
視線検出部１６は、メガネ型端末１を装着しているユーザの視線方向を検出する機能を有する。より具体的には、視線検出部１６は、ユーザの眼の動きや頭部の動き、または姿勢等に基づいて、ユーザの視線方向（さらには、注視点）を検出する。ユーザの眼の動きは、例えばユーザの顔または眼を撮像した撮像画像、検知した眼電、または筋電等に基づいて解析され得る。また、頭部の動きや姿勢は、メガネ型端末１に設けられたジャイロセンサ、加速度センサ、地磁気センサ等（いずれも不図示）により検知され得る。
【0040】
（表示部１３）
表示部１３は、例えば液晶パネルにより実現され、制御部１０は、液晶パネルの透過率を制御することで、スルー状態、即ち透明または半透明の状態にすることができる。また、表示部１３は、ホログラム導光板技術により、テキスト、シンボル、画像等の情報をユーザの視界（実空間）に重ねて表示するレンズにより実現されてもよい。
表示部１３は、例えば液晶パネルにより実現され、制御部１０は、液晶パネルの透過率を制御することで、スルー状態、即ち透明または半透明の状態にすることができる。また、表示部１３は、ホログラム導光板技術により、テキスト、シンボル、画像等の情報をユーザの視界（実空間）に重ねて表示するレンズにより実現されてもよい。
【0041】
（音声出力部１４）
音声出力部１４は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。音声出力部１４は、例えば一対のイヤホンスピーカと、そのイヤホンスピーカに対するアンプ回路により実現される。一対のイヤホンスピーカは、メガネ型端末１を装着した際にユーザの右耳孔および左耳孔に挿入される位置に設けられ得る。また、音声出力部１４は、いわゆる骨伝導スピーカとして構成されてもよい。
音声出力部１４は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。音声出力部１４は、例えば一対のイヤホンスピーカと、そのイヤホンスピーカに対するアンプ回路により実現される。一対のイヤホンスピーカは、メガネ型端末１を装着した際にユーザの右耳孔および左耳孔に挿入される位置に設けられ得る。また、音声出力部１４は、いわゆる骨伝導スピーカとして構成されてもよい。
【0042】
（記憶部１５）
記憶部１５は、制御部１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
記憶部１５は、制御部１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
【0043】
以上、本実施形態によるメガネ型端末１の構成について具体的に説明した。なおメガネ型端末１の構成は図３に示す例に限定されず、例えば音声を集音するマイクロホンや、位置情報取得部等を有していてもよい。マイクロホンを備えることで、ユーザによる音声入力が可能となる。
【0044】
また、本明細書では、情報提示を行うクライアント端末の一例として図２に示すようなメガネ型端末１を用いるが、本開示によるクライアント端末はメガネ型端末１に限定されない。例えば、クライアント端末は、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。また、メガネ型端末によりユーザの視界撮像、視線検出、および情報提示を行い、メガネ型端末と通信を行い得るスマートフォン等により各種制御（タグ画像検出、提示情報取得、提示方法設定、情報提示制御、ユーザ行動検出、および提示情報更新）を行うようにしてもよい。
【0045】
（１－２－３．サーバ２の構成）
次に、本実施形態によるサーバ２の構成について図４を参照して説明する。図４に示すように、本実施形態によるサーバ２は、制御部２０、通信部２１、ユーザ情報ＤＢ（データベース）２２、およびオブジェクト情報ＤＢ２３を有する。
次に、本実施形態によるサーバ２の構成について図４を参照して説明する。図４に示すように、本実施形態によるサーバ２は、制御部２０、通信部２１、ユーザ情報ＤＢ（データベース）２２、およびオブジェクト情報ＤＢ２３を有する。
【0046】
（制御部２０）
制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２内の動作全般を制御する。制御部２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２内の動作全般を制御する。制御部２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
【0047】
また、本実施形態による制御部２０は、オブジェクト情報取得部２０１、注目度設定部２０２、提示情報提供部２０３、および提示情報更新部２０４として機能する。
【0048】
オブジェクト情報取得部２０１は、メガネ型端末１から送信されたタグ情報に基づいて、オブジェクト情報ＤＢ２３からオブジェクト情報を取得する。
【0049】
注目度設定部２０２は、取得したオブジェクト情報に対するユーザの注目度を設定する。具体的には、注目度設定部２０２、オブジェクト情報とユーザ情報とを比較して、ユーザの性別、年齢、または嗜好情報（興味情報）がオブジェクト情報の属性情報（オブジェクト特性やターゲット）と合致するか否か（関連するか否か）に応じて注目度を設定する。
【0050】
提示情報提供部２０３は、設定された注目度に応じてオブジェクト情報からユーザに提示する情報を取得し、通信部２１を介して提示情報をメガネ型端末１へ送信する。また、提示情報提供部２０３は、キャラクタ画像も併せてメガネ型端末１へ送信する。
【0051】
提示情報更新部２０４は、ユーザ行動（具体的にはユーザの視線方向）の変化により変更された注目度に応じて、ユーザに提示する情報を更新する。具体的には、提示情報更新部２０４は、メガネ型端末１から送信された更新依頼に応じて詳細な提示情報をオブジェクト情報から取得し、メガネ型端末１に返信する。
【0052】
（通信部２１）
通信部２１は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部２１は、無線または有線ＬＡＮ（Local Area Network）等により、ネットワーク３に接続し、ネットワーク３を介してメガネ型端末１とデータの送受信を行う。
通信部２１は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部２１は、無線または有線ＬＡＮ（Local Area Network）等により、ネットワーク３に接続し、ネットワーク３を介してメガネ型端末１とデータの送受信を行う。
【0053】
（ユーザ情報ＤＢ２２）
ユーザ情報ＤＢ２２は、ユーザに関する情報を蓄積する。ここで、図５に、ユーザ情報ＤＢ２２に蓄積されるユーザ情報の一例を示す。図５に示すように、ユーザ情報は、ユーザＩＤ、性別、年齢、および嗜好情報等を含む。
ユーザ情報ＤＢ２２は、ユーザに関する情報を蓄積する。ここで、図５に、ユーザ情報ＤＢ２２に蓄積されるユーザ情報の一例を示す。図５に示すように、ユーザ情報は、ユーザＩＤ、性別、年齢、および嗜好情報等を含む。
【0054】
（オブジェクト情報ＤＢ２３）
オブジェクト情報ＤＢ２３は、オブジェクトに関する情報を蓄積する。ここで、図６に、オブジェクト情報ＤＢ２３に蓄積されるオブジェクト情報の一例を示す。図６に示すように、オブジェクト情報は、オブジェクトＩＤ、タグＩＤ（タグ情報）、属性情報、提示情報（簡易情報および詳細情報）、キャラクタ画像、および特徴情報を含む。キャラクタ画像は、静止画または動画（アニメーション）であってもよい。
オブジェクト情報ＤＢ２３は、オブジェクトに関する情報を蓄積する。ここで、図６に、オブジェクト情報ＤＢ２３に蓄積されるオブジェクト情報の一例を示す。図６に示すように、オブジェクト情報は、オブジェクトＩＤ、タグＩＤ（タグ情報）、属性情報、提示情報（簡易情報および詳細情報）、キャラクタ画像、および特徴情報を含む。キャラクタ画像は、静止画または動画（アニメーション）であってもよい。
【0055】
以上、本実施形態によるサーバ２の構成について具体的に説明した。
【0056】
【0057】
図７は、本実施形態による情報処理システムの動作処理を示すシーケンス図である。図７に示すように、まず、メガネ型端末１は、タグ画像検出部１０１により撮像部１２で撮像したユーザの視界からタグ画像の検出を行う（ステップＳ１０３）。ここで、本実施形態によるタグ画像の検出処理について図８を参照して詳細に説明する。
【0058】
図８に示すように、撮像部１２でユーザの視界が撮像されると（ステップＳ１４３）、タグ画像検出部１０１は、タグ画像の探索範囲をユーザの注視領域の外側に設定する（ステップＳ１４６）。ユーザの注視領域とは、視線検出部１６により検出されたユーザの注視点の周辺であって、例えば人間の視界におけるシンボルの認識限界に相当する領域である。一般的に人間の視野は、図９に示すように、注視点（０°）を中心として左右水平略５～１０°の範囲が数字や文字の語（ワード）の意識限界範囲となり、この範囲で文字を読んだり、特定の物や出来事に注目（物の形や色等をしっかりと認識）している。また、注視点（０°）を中心として左右水平略５～３０°の範囲がシンボルの認識限界範囲となり、物や出来事をほぼ明瞭に認識できる。また、略３０～６０°の範囲は、色や輝度が変化する場合の色の弁別限界範囲となり、物の形や色などを明瞭に認識することはできないが、色の変化や動く物については認識しやすい。そして、注視点（０°）を中心として左右水平略９４°が視野の限界範囲となる。本実施形態では、シンボルの認識限界範囲を注視領域とし、ユーザの注視点から少なくとも略３０°より外側の範囲の領域をタグ画像の探索範囲とする。シンボルの認識限界範囲外の領域は、視界範囲内であってもユーザが認識できておらず、情報を見落としている可能性が高いためである。
【0059】
そして、タグ画像検出部１０１は、撮像画像における上記注視領域の外側からタグ画像を検出する（ステップＳ１４９）。具体的には、例えば記憶部１５に予め記憶されている画像とパターンマッチングにより一致する画像をタグ画像として検出するようにしてもよい。
【0060】
以上、タグ画像の検出処理について説明した。
【0061】
続いて、メガネ型端末１は、提示情報取得部１０２によりサーバ２から提示情報を取得する（ステップＳ１０６）。ここで、本実施形態による提示情報取得処理について図１０を参照して詳細に説明する。
【0062】
図１０に示すように、タグ画像検出部１０１によりタグ画像が検出された場合（ステップＳ１５３／Ｙｅｓ）、提示情報取得部１０２は、検出されたタグ画像を解析し、タグ情報（具体的には、タグＩＤ）を抽出する。本実施形態によるタグ画像には、例えば電子透かしによりタグ情報が埋め込まれているものとする。なお、タグ情報は、タグ画像に載せられたＱＲコード（登録商標）から抽出するようにしてもよい。
【0063】
次に、提示情報取得部１０２は、通信部１１によりタグ情報をサーバ２に送信し（ステップＳ１５９）、サーバ２から当該タグ情報に対応するキャラクタ画像を受信する（ステップＳ１６２）。
【0064】
また、提示情報取得部１０２は、当該タグ情報に基づく提示情報および当該提示情報に対するユーザの注目度をサーバ２から受信する（ステップＳ１６５、ステップＳ１６８）。
【0065】
以上、提示情報取得処理について説明した。
【0066】
一方、サーバ２は、メガネ型端末１から送信されたタグ情報に基づいてオブジェクト情報を取得する（ステップＳ１０９）。ここで、オブジェクト情報取得処理の詳細を図１１に示す。
【0067】
図１１に示すように、サーバ２は、メガネ型端末１からタグ情報を受信すると（ステップＳ１７３）、オブジェクト情報取得部２０１により、タグ情報に対応するオブジェクト情報をオブジェクト情報ＤＢ２３から取得する（ステップＳ１７６）。タグ情報は、例えば一意のタグＩＤであって、図６に示すように、当該タグＩＤに基づいてオブジェクト情報を検索することが可能である。なお、メガネ型端末１からタグ画像が送信された場合、サーバ２側において、オブジェクト情報取得部２０１により、当該タグ画像を解析して電子透かしにより埋め込まれたタグ情報を抽出するようにしてもよい。
【0068】
以上、オブジェクト情報取得処理について説明した。
【0069】
次いで、サーバ２は、注目度設定部２０２により、取得したオブジェクト情報に対するユーザの注目度を設定する（ステップＳ１１２）。ここで、注目度設定処理の詳細を図１２に示す。
【0070】
図１２に示すように、サーバ２の注目度設定部２０２は、オブジェクト情報とユーザ情報を比較し（ステップＳ１７９）、合致するか否かを判断する（ステップＳ１８２）。より具体的には、例えば注目度設定部２０２は、オブジェクト情報の属性情報（オブジェクトの特性やターゲットに関する情報を含む）と、ユーザ情報（年齢や、性別、嗜好情報を含む）とを比較して、合致する項目があるか否かを判断する。これにより、注目度設定部２０２はオブジェクトに対するユーザの関連度合いを把握することができる。
【0071】
次に、合致すると判断した場合（ステップＳ１８２／Ｙｅｓ）、注目度設定部２０２は、注目度を「中」に設定する（ステップＳ１８５）。
【0072】
一方、合致しないと判断した場合（ステップＳ１８２／Ｎｏ）、注目度設定部２０２は、注目度を「低」に設定する（ステップＳ１８８）。
【0073】
以上、注目度設定処理について説明した。
【0074】
続いて、サーバ２は、提示情報提供部２０３により、提示情報をメガネ型端末１へ提供（送信）する（ステップＳ１１５）。ここで、提示情報提供処理の詳細を図１３に示す。
【0075】
図１３に示すように、提示情報提供部２０３は、設定された注目度が「中」である場合には（ステップＳ１９３／Ｙｅｓ）、オブジェクト情報に含まれるキャラクタ画像をメガネ型端末１へ送信し（ステップＳ１９６）、また、設定された注目度をメガネ型端末１へ送信する（ステップＳ１９９）。
【0076】
次に、提示情報提供部２０３は、オブジェクト情報に含まれる情報のうち、「簡易情報」を提示情報として設定し（ステップＳ２０２）、メガネ型端末１へ送信する（ステップＳ２０５）。
【0077】
一方、設定された注目度が「低」である場合（ステップＳ１９３／Ｎｏ）、オブジェクト情報はユーザとは関連性が低いものであるため、提示情報等のメガネ型端末１への送信は行わない。
【0078】
以上、提示情報提供処理について説明した。
【0079】
次いで、サーバ２から提示情報を受信したメガネ型端末１は、提示方法設定部１０３により提示方法を設定する（ステップＳ１１８）。ここで、提示方法設定処理の詳細を図１４に示す。
【0080】
図１４に示すように、メガネ型端末１は、サーバ２により設定された注目度が「高」であるか否かを判断する（ステップＳ２１３）。
【0081】
次に、注目度が「高」ではない場合（ステップＳ２１３／Ｎｏ）、提示方法設定部１０３は、提示するキャラクタの視線をユーザから逸らす表示設定にする（ステップＳ２２５）。例えば注目度が「中」の場合、オブジェクト情報（の簡易な提示情報）にユーザが関心を持つ可能性がそれほど高くないため、提示方法設定部１０３はキャラクタの視線をユーザに向けない表示設定する。
【0082】
次いで、提示方法設定部１０３は、提示するキャラクタのサイズを「小」に設定し（ステップＳ２２８）、さらに音量を「小」に設定する（ステップＳ２３１）。
【0083】
一方、注目度が「高」である場合（ステップＳ２１３／Ｙｅｓ）、提示方法設定部１０３は、提示するキャラクタの視線をユーザに向ける表示設定にする（ステップＳ２１６）。例えば注目度が「高」の場合、オブジェクト情報（の詳細な提示情報）にユーザが関心を持つ可能性が高いため、提示方法設定部１０３はキャラクタの視線をユーザに向ける表示設定にし、キャラクタの視線によりユーザが気付き易いようにする。
【0084】
次いで、提示方法設定部１０３は、提示するキャラクタのサイズを「大」に設定し（ステップＳ２１９）、さらに音量を「大」に設定する（ステップＳ２２２）。いずれもユーザがキャラクタにより気付き易いようにするためである。
【0085】
以上、提示方法設定処理について説明した。
【0086】
次に、メガネ型端末１は、情報提示制御部１０４により、サーバ２から送信された提示情報を、設定した提示方法でユーザに提示するよう制御する（ステップＳ１２１）。ここで、情報提示処理の詳細を図１５に示す。
【0087】
図１５に示すように、メガネ型端末１は、情報提示制御部１０４により、タグ画像の取得位置にキャラクタを重畳表示するよう制御する（ステップＳ２３４）。すなわち、例えば図１に示すように看板３０からタグ画像３２が検出された場合、情報提示制御部１０４は、看板３０の位置にキャラクタ画像３４を重畳表示する。キャラクタ画像３４は目や眉が動くアニメーション画像であってもよい。キャラクタ画像３４がユーザの注視領域外（例えば図９に示す「シンボルの認識限界範囲」の外側）に表示されていても、キャラクタ画像３４が動くことで、ユーザがキャラクタ画像３４を認識する可能性が高い。
【0088】
次いで、情報提示制御部１０４は、サーバ２から受信した提示情報をユーザに提示するよう制御する（ステップＳ２３７）。具体的には、例えば情報提示制御部１０４は、「新作のスカートが入荷されたよ！」といった提示情報をキャラクタ画像３４の近くに表示したり、音声出力部１４から音声出力したりする。音声出力の音量は、上記提示方法の設定に従って制御する。
【0089】
以上、情報提示処理について説明した。
【0090】
次いで、メガネ型端末１は、ユーザ行動検出部１０５により、ユーザ行動を検出する（ステップＳ１２４）。ここで、ユーザ行動検出処理の詳細を図１６に示す。
【0091】
図１６に示すように、ユーザ行動検出部１０５は、視線検出部１６によりユーザの視線が検出されると（ステップＳ２４０）、ユーザがキャラクタを見ているか否か（具体的には、例えば注視領域にキャラクタが入っているか否か）を判断する（ステップＳ２４３）。
【0092】
次に、ユーザがキャラクタを見ていると判断した場合（ステップＳ２４３／Ｙｅｓ）、ユーザ行動検出部１０５は、ユーザがキャラクタに注目しているため、注目度を「高」に設定（変更）する（ステップＳ２４６）。
【0093】
一方、ユーザがキャラクタを見ていないと判断した場合（ステップＳ２４３／Ｎｏ）、ユーザはキャラクタに注目していないため、注目度の変更は行わない。
【0094】
以上、ユーザ行動検出処理について説明した。
【0095】
続いて、メガネ型端末１は、提示情報の更新処理を行う（ステップＳ１２７）。また、サーバ２も、メガネ型端末１からの依頼に応じて提示情報の更新処理を行う（ステップＳ１３０）。ここで、メガネ型端末１による提示情報更新処理の詳細を図１７に示し、また、サーバ２による提示情報更新処理の詳細を図１８に示す。
【0096】
図１７に示すように、メガネ型端末１の提示情報更新部１０６は、重畳表示したキャラクタ画像に対するユーザ視線に基づいて注目度が変更された場合（ステップＳ２５３／Ｙｅｓ）、提示情報更新依頼（重畳表示させるキャラクタに対するユーザの視線に関連する情報）をサーバ２に送信する（ステップＳ２５６）。本実施形態では、図１６を参照して説明したように、注目度が「高」に変更されることが想定される。
【0097】
そして、メガネ型端末１は、変更した注目度に対応する提示情報をサーバ２から受信する（ステップＳ２５９）。
【0098】
一方、サーバ２は、図１８に示すように、情報更新依頼をメガネ型端末１から受信した場合（ステップＳ２６３／Ｙｅｓ）、提示情報更新部２０４により、オブジェクト情報に含まれる情報のうち「詳細情報」（例えば「新作の夏物フレアスカートが入荷されたよ！」といった情報）を提示情報として設定し（ステップＳ２６６）、メガネ型端末１に提示情報を送信する（ステップＳ２６９）。
【0099】
以上説明したように、メガネ型端末１は、ユーザの視線がキャラクタに向くと注目度を「高」に変更し、詳細情報をサーバ２から受信する。
【0100】
そして、メガネ型端末１は、再度、提示方法の設定を行う（ステップＳ１１８）。提示方法の設定では、注目度が「高」に変更されたことに応じて、キャラクタの視線をユーザに向ける表示設定、キャラクタの表示サイズを「大」にする設定、および音量を「大」にする設定が行われ得る。そして、設定された提示方法に従って、詳細情報の情報提示が行われる（ステップＳ１２１）。
【0101】
上述したステップＳ１１８～Ｓ１３３は、電源がＯＦＦされる等、所定の終了条件となるまで繰り替えされる（ステップＳ１３３、ステップＳ１３６）。
【0102】
以上、本実施形態による動作処理について説明した。なお、本実施形態による情報処理システムは、ユーザに提示する詳細情報をパーソナライズしてもよい。例えばサーバ２は、ユーザ周辺に配置されたカメラにより撮像された撮像画像に基づいてユーザが所持している鞄を認識できた場合、「新作の夏物フレアスカートが入荷されたよ！そのショルダーポーチと合わせてみない！？」とパーソナライズした詳細情報を提示情報として設定し、メガネ型端末１に送信する。また、サーバ２は、オブジェクト情報に含まれる特徴情報を参照して詳細情報をパーソナライズすることも可能である。例えば、オブジェクト情報の特徴情報が「モノクロ（モノクローム）のバッグとコーディネートしやすい」というものであって、さらにユーザの鞄がモノクロであれば、「そのバッグとコーディネートしやすいよ」という情報を詳細情報に追加する。
【0103】
また、本実施形態による情報処理システムは、ユーザからの操作入力や音声入力に応じた動作処理を行うことも可能である。例えば、図１に示すようにキャラクタ画像３４を看板３０にＡＲ表示し、「新作の夏物フレアスカートが入荷されたよ！」と音声出力した際に、ユーザが興味を持ち、「どうゆう柄？」「写真を見せて」等と音声入力し、さらに詳細な情報を明示的に要求することが可能である。メガネ型端末１は、マイクロホン（不図示）によりユーザ音声を収音し、音声認識処理により意味解析を行うと、ネットワーク上のサーバ２や、店のＷｅｂページから情報を収集し、当該スカートの画像を表示したり、質問された柄の内容についてテキストまたは音声により説明したりすることが可能である。このように、本実施形態によるメガネ型端末１は、興味を示したユーザからの問い掛けに答えることで、見逃し情報の提示による宣伝効果をより高めることが可能となる。
【0104】
＜１－４．表示例＞
上述した実施形態では、図１に示すように、「目」のキャラクタ画像を用いているが、本実施形態はこれに限定されない。例えば、ユーザの視界を撮像した撮像画像に映る構造物のうち、眼に類似した部分をタグ画像として検出し、「口」のキャラクタ画像を眼に類似した部分の下に配置してＡＲ表示することで、シミュラクラ現象を生かしたＡＲ表示を行うことが可能である。以下、図１９を参照して具体例について説明する。
上述した実施形態では、図１に示すように、「目」のキャラクタ画像を用いているが、本実施形態はこれに限定されない。例えば、ユーザの視界を撮像した撮像画像に映る構造物のうち、眼に類似した部分をタグ画像として検出し、「口」のキャラクタ画像を眼に類似した部分の下に配置してＡＲ表示することで、シミュラクラ現象を生かしたＡＲ表示を行うことが可能である。以下、図１９を参照して具体例について説明する。
【0105】
図１９は、本実施形態によるキャラクタ表示の具体例を示す図である。メガネ型端末１は、図１９上段に示すように、自動車のヘッドライト部分３６をタグ画像として検出した場合、「口」のキャラクタ画像４２をヘッドライトの下に配置してＡＲ表示することで、自動車が顔に見えるようにし、ユーザの注目を引き易くすることが可能である。
【0106】
また、メガネ型端末１は、図１９中段に示すように、建物の２つの窓部分３８をタグ画像として検出した場合、「口」のキャラクタ画像４３を窓の下に配置してＡＲ表示することで、家が顔に見えるようにし、ユーザの注目を引き易くすることが可能である。
【0107】
また、メガネ型端末１は、図１９下段に示すように、洗面所の２つの水栓ハンドル４０をタグ画像として検出した場合、「口」のキャラクタ画像４４を水栓ハンドルの下に配置してＡＲ表示することで、洗面所が顔に見えるようにし、ユーザの注目を引き易くすることが可能である。
【0108】
これらの「口」のキャラクタ画像４２～４４は、静止画または動画（アニメーション）により成る。
【0109】
また、上述した実施形態では「目」のキャラクタ画像を制御してユーザに視線を向けたりユーザから視線を逸らせたりすることが可能であった。一方、図１９に示すシミュラクラ現象を生かしたＡＲ表示でも、「口」のキャラクタ画像の向きや、さらに「鼻」のキャラクタ画像を用いることで、顔のように見せた構造物の視線の向きを変更することが可能である。以下、図２０を参照して具体的に説明する。
【0110】
図２０は、本実施形態による構造物の視線の向きを変更する具体例を示す図である。図２０の左側に示す例では、「鼻」のキャラクタ画像４５ａと「口」のキャラクタ画像４６ａを右方向に向けてＡＲ表示することで、家屋が右を向いている（ユーザから視線を逸らしている）ように見せることが可能となる。一方、図２０の右側に示す例では、「鼻」のキャラクタ画像４５ｂと「口」のキャラクタ画像４６ｂを正面に向けてＡＲ表示することで、家屋が正面を向いている（ユーザに視線を向けている）ように見せることが可能となる。
【0111】
＜１－５．補足＞
以上説明した第１の実施形態では、図７を参照して説明したように、メガネ型端末１の撮像部１２により継続的に撮像するユーザの視界からタグ画像が検出された場合に提示情報の取得処理が行われため、撮像部１２の電源が常にＯＮであることが必要となるが、本実施形態はこれに限定されない。例えば、撮像部１２の電源をＯＦＦにした状態で、メガネ型端末１が有する位置情報取得部（図示せず）およびジャイロセンサ（図示せず）から取得された現在位置情報および方向情報に基づいて、ユーザの視野範囲を推定し、視野範囲にタグ画像が存在する場合に撮像部１２の電源をＯＮにするようにしてもよい。以下、図２１を参照して説明する。
以上説明した第１の実施形態では、図７を参照して説明したように、メガネ型端末１の撮像部１２により継続的に撮像するユーザの視界からタグ画像が検出された場合に提示情報の取得処理が行われため、撮像部１２の電源が常にＯＮであることが必要となるが、本実施形態はこれに限定されない。例えば、撮像部１２の電源をＯＦＦにした状態で、メガネ型端末１が有する位置情報取得部（図示せず）およびジャイロセンサ（図示せず）から取得された現在位置情報および方向情報に基づいて、ユーザの視野範囲を推定し、視野範囲にタグ画像が存在する場合に撮像部１２の電源をＯＮにするようにしてもよい。以下、図２１を参照して説明する。
【0112】
図２１は、タグ画像マップデータの一例を示す図である。図２１に示すタグ画像マップデータ１５０は、例えばメガネ型端末１の記憶部１５に記憶されている。メガネ型端末１の制御部１０は、タグ画像マップデータ１５０を用いて、現在位置情報および方向情報に基づきユーザの視野範囲１５１を推定し、視野範囲１５１内にタグ画像１５２存在すると判断することができる。
【0113】
視野範囲１５１内にタグ画像１５２存在すると判断した場合、制御部１０は、撮像部１２の電源をＯＮにしてユーザの視界範囲を撮像してタグ画像を検出し、当該タグ画像から抽出したタグ情報をサーバ２に送信して提示情報を取得する。そして、タグ画像位置にキャラクタ画像をＡＲ表示すると共に、提示情報をユーザに提示することが可能である。
【0114】
なお、タグ画像マップデータはサーバ２側に保存されていてもよい。この場合、メガネ型端末１は、現在位置情報および方向情報をサーバ２に送信してタグ画像有無の問い合わせを行い、サーバ側においてタグ画像の存在有無が判断され、その判断結果がメガネ型端末１に返信される。
【0115】
＜＜２．第２の実施形態＞＞
＜２－１．概要＞
続いて、本開示の第２の実施形態について説明する。上述した第１の実施形態では、実空間からタグ画像を検出した際に「目」や「口」のキャラクタ画像をＡＲ表示して実空間のポイントの見逃しを防止しているが、本開示はこれに限定されない。例えば、ユーザの友人等、登録した顔（オブジェクト（例えば友人）に対応する情報の一例）が少なくとも注視領域外（以下、視野外とも称す）から検出された際にユーザに通知を行い、近くにいるが認識していなかった友人の見逃しを防止することが可能となる。
＜２－１．概要＞
続いて、本開示の第２の実施形態について説明する。上述した第１の実施形態では、実空間からタグ画像を検出した際に「目」や「口」のキャラクタ画像をＡＲ表示して実空間のポイントの見逃しを防止しているが、本開示はこれに限定されない。例えば、ユーザの友人等、登録した顔（オブジェクト（例えば友人）に対応する情報の一例）が少なくとも注視領域外（以下、視野外とも称す）から検出された際にユーザに通知を行い、近くにいるが認識していなかった友人の見逃しを防止することが可能となる。
【0116】
図２２は、第２の実施形態による情報処理システムの概要について説明する図である。図２２に示すように、本実施形態では、例えばユーザＡが歩いている際に、ユーザＡの視界には入っていないが近くに居るユーザの友人（ユーザＢ）の存在をユーザＡが装着するヘッドホン装置５（クライアント端末の一例）の音声エージェントにより音声で通知することが可能である。ヘッドホン装置５には、ユーザＡと人工音声で会話を行う音声エージェント機能が搭載され、道案内や音楽再生等、様々な情報をユーザに提供する。ユーザＡとエージェントとの音声会話は、ヘッドホン装置５に設けられたマイクロホン５２およびスピーカ５４（図２３参照）により実現される。
【0117】
また、ヘッドホン装置５には、少なくともユーザＡの視界外（具体的には、注視領域外）を撮像する撮像部５１（図２３、図２４参照）が設けられている。ヘッドホン装置５は、撮像部５１により周辺を継続的に撮像し、撮像画像から予め登録された顔（ここでは、ユーザＢの顔）が検出されると、ユーザＡへの通知を行う。登録顔の検出は、ヘッドホン装置５と通信し得るネットワーク上のサーバ６（図２３参照）で行われてもよい。
【0118】
以上により、本実施形態によるヘッドホン装置５は、周辺に所定の人物を見つけるとユーザに通知を行い、所定の人物の見逃しを防止することを可能とする。
【0119】
＜２－２．構成＞
次に、本実施形態による情報処理システムの各構成について図２３を参照して説明する。図２３に示すように、本実施形態による情報処理システムは、ヘッドホン装置５およびサーバ６を含む。ヘッドホン装置５およびサーバ６は、ネットワーク７を介して接続し、データの送受信を行い得る。以下、各装置の構成について具体的に説明する。
次に、本実施形態による情報処理システムの各構成について図２３を参照して説明する。図２３に示すように、本実施形態による情報処理システムは、ヘッドホン装置５およびサーバ６を含む。ヘッドホン装置５およびサーバ６は、ネットワーク７を介して接続し、データの送受信を行い得る。以下、各装置の構成について具体的に説明する。
【0120】
（２－２－１．ヘッドホン装置５の構成）
図２３に示すように、本実施形態によるヘッドホン装置５は、制御部５０、撮像部５１、マイクロホン５２、通信部５３、およびスピーカ５４を有する。
図２３に示すように、本実施形態によるヘッドホン装置５は、制御部５０、撮像部５１、マイクロホン５２、通信部５３、およびスピーカ５４を有する。
【0121】
制御部５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってヘッドホン装置５内の動作全般を制御する。制御部５０は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、制御部５０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ、及び適宜変化するパラメータ等を一時記憶するＲＡＭを含んでいてもよい。
【0122】
また、本実施形態による制御部５０は、マイクロホン５２で収音したユーザ音声をサーバ６へ送信し、サーバ６から受信した応答メッセージ（すなわちエージェント音声）をスピーカ５４から出力するよう制御することで、エージェントとの音声会話サービスを提供することができる。また、制御部５０は、撮像部５１により撮像された撮像画像を継続的に通信部５３を介してサーバ６へ送信するよう制御する。
【0123】
撮像部５１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤセンサアレイや、ＣＭＯＳセンサアレイにより実現されてもよい。
【0124】
また、本実施形態による撮像部５１は、ユーザがヘッドホン装置５を装着した際にユーザの周辺（少なくともユーザの視界外）を撮像する向きに設けられている。また、撮像部５１は複数設けられていてもよい。ここで、図２４および図２５を参照して、撮像部５１の設置例について説明する。
【0125】
図２４は、本実施形態による撮像部５１の設置例について説明する図である。図２４に示すように、例えば９０度の視野角を持つ撮像部５１ａ～５１ｄを、少なくともユーザの視野の限界範囲外を撮像するよう、ヘッドホン装置５の左右のハウジング部５６Ｒ、５６Ｌに２つずつ設置してもよい。
【0126】
図２５は、本実施形態による撮像部５１の他の設置例について説明する図である。図２５に示すように、例えば１８０度の視野角を持つ撮像部５１ｅ、５１ｆを、少なくともユーザの視野の限界範囲外を撮像するよう、ヘッドホン装置５の左右のハウジング部５６Ｒ、５６Ｌに１つずつ設置してもよい。
【0127】
なお、図２４および図２５に示す例では、ユーザの視野範囲外を視野角とするカメラを例に挙げたが、本実施形態はこれに限定されず、ユーザの視野範囲内を含めて撮像する撮像部であってもよい。例えばヘッドホン装置５を装着した際に頭上に位置するヘッドセットに、魚眼レンズや双曲面ミラーカメラ等を設けて３６０度の映像を取得するようにしてもよい。
【0128】
マイクロホン５２は、ユーザの音声を収音し、音声信号を制御部５０に出力する。
【0129】
通信部５３は、外部装置と有線または無線で接続し、データの送受信を行う機能を有する。例えば通信部５３は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または無線ＬＡＮ（Local Area Network）等により、ネットワーク７に接続し、ネットワーク７を介してサーバ６とデータの送受信を行う。
【0130】
スピーカ５４は、音声信号を再生する機能を有する。本実施形態によるスピーカ５４は、例えば一対のイヤー部により構成され、ヘッドホン装置５を装着した際にユーザの右耳および左耳を各々覆うよう、ハウジング部５６Ｒ、５６Ｌ内部に設けられる。また、スピーカ５４は、いわゆる骨伝導スピーカとして構成されてもよい。
【0131】
以上、ヘッドホン装置５の構成例について具体的に説明した。
【0132】
（２－２－２．サーバ６の構成）
続いて、サーバ６の構成について説明する。図２３に示すように、本実施形態によるサーバ６は、制御部６０、通信部６１、ユーザプロファイル記憶部６２、音素ＤＢ６３、および顔画像ＤＢ６４を有する。
続いて、サーバ６の構成について説明する。図２３に示すように、本実施形態によるサーバ６は、制御部６０、通信部６１、ユーザプロファイル記憶部６２、音素ＤＢ６３、および顔画像ＤＢ６４を有する。
【0133】
制御部６０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ６内の動作全般を制御する。制御部６０は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、制御部６０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ、及び適宜変化するパラメータ等を一時記憶するＲＡＭを含んでいてもよい。
【0134】
また、本実施形態による制御部６０は、音声／テキスト変換部６０１、意味理解部６０２、顔画像認識部６０３、および応答メッセージ生成部６０４としても機能する。
【0135】
音声／テキスト変換部６０１は、ヘッドホン装置５から送信された音声信号を解析し、テキストへの変換を行う。また、音声／テキスト変換部６０１は、後述する応答メッセージ生成部６０４により生成された応答メッセージの音声信号への変換も行う。音声信号へ変換する際は、音素ＤＢ６３に蓄積されている音素データを用いて所定のエージェント音声に変換する。
【0136】
意味理解部６０２は、音声／テキスト変換部６０１により変換されたテキストを解析して意味理解を行う。例えば意味理解部６０２は、形態素解析および構文解析を行ってテキストの意味を理解する。
【0137】
顔画像認識部６０３は、ヘッドホン装置５から送信された撮像画像を解析し、顔画像の認識を行う。また、顔画像認識部６０３は、顔画像ＤＢ６４に登録されている登録顔画像を参照し、顔の特徴量が一致する顔画像があるか否かを判断する。
【0138】
応答メッセージ生成部６０４は、意味理解部６０２により解析した意味解析結果に基づいて、ユーザ音声に対する応答メッセージの生成を行う。また、応答メッセージ生成部６０４は、顔画像認識部６０３により撮像画像から登録された所定人物の顔画像が認識された場合、当該人物の存在をユーザに通知する応答メッセージを生成する。
【0139】
通信部６１は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部６１は、無線または有線ＬＡＮ（Local Area Network）等により、ネットワーク３に接続し、ヘッドホン装置５とデータの送受信を行う。
【0140】
ユーザプロファイル記憶部６２は、ユーザに関する情報を蓄積する。ユーザに関する情報は、例えばエージェント設定情報および友人情報等を含む。
【0141】
音素ＤＢ６３は、音素データを格納する記憶部である。音素ＤＢ６３は、エージェント毎の音素データが含まれる。
【0142】
顔画像ＤＢ６４は、各ユーザの友人等、所定の人物の顔画像情報（画像データや、特徴量データ）を蓄積する記憶部である。
【0143】
【0144】
図２６に示すように、まず、ヘッドホン装置５は、ユーザによるヘッドホン装着を検知する（ステップＳ３０３）。ヘッドホン装着の検知は、例えばヘッドホン装置５の電源がＯＮされた場合等に検知され得る。
【0145】
次に、ヘッドホン装置５は、ヘッドホン装着をサーバ６に通知する（ステップＳ３０６）。この際、ユーザＩＤ等のユーザ識別情報も併せてサーバ６に送信する。
【0146】
次いで、サーバ６は、特定ユーザのヘッドホン装着を受信すると（ステップＳ３０９）、ユーザプロファイルを参照し、当該特定ユーザに設定されている所定のキャラクタ（エージェントキャラクタ）の音声エージェントを起動する（ステップＳ３１２）。これにより、エージェントキャラクタとの音声会話が開始される。
【0147】
次に、ヘッドホン装置５は、マイクロホン５２により収音したユーザの音声メッセージ（すなわち発話音声データ）や、撮像部５１により撮像した撮像画像（具体的には、少なくとも視界外を撮像した撮像画像）を、継続的にサーバ６に送信する（ステップＳ３１５）。
【0148】
次いで、サーバ６は、ヘッドホン装置５から音声メッセージを受信した場合（ステップＳ３１８／Ｙｅｓ）、音声／テキスト変換部６０１により音声メッセージをテキストに変換し（ステップＳ３２１）、意味理解部６０２により形態素解析および構文解析を行い、テキスト化した音声メッセージの意味理解を行う。
【0149】
次に、サーバ６は、応答メッセージ生成部６０４により、意味理解の結果に応じて応答音声メッセージを生成し（ステップＳ３２７）、音声／テキスト変換部６０１により音声信号に変換した応答音声メッセージをヘッドホン装置５に送信する（ステップＳ３４５）。
【0150】
一方、サーバ６が、音声メッセージではなく（ステップＳ３１８／Ｎｏ）、撮像画像をヘッドホン装置５から受信した場合（ステップＳ３３０／Ｙｅｓ）、ヘッドホン装置５は、顔画像認識部６０３により顔画像の認識を行う（ステップＳ３３３）。
【0151】
次に、顔画像認識部６０３は、認識した顔画像を、顔画像ＤＢ６４に予め登録されているユーザの友達等の所定の人物の顔画像と比較し、友達等の所定の人物の顔の認識処理を行う（ステップＳ３３６）。
【0152】
次いで、友達等の所定の人物の顔を認識した場合（ステップＳ３３６／Ｙｅｓ）、応答メッセージ生成部６０４は、所定の人物を見つけたことをユーザに知らせる応答音声メッセージを生成する（ステップＳ３２７）。
【0153】
一方、友達等の所定の人物を認識せず（ステップＳ３３６／Ｎｏ）、所定時間（例えば３０秒）音声メッセージを受信しなかった場合（ステップＳ３３９／Ｎｏ）、サーバ６の応答メッセージ生成部６０４は、タイマーリセットと共に、応答音声メッセージを選択する（ステップＳ３４２）。例えば応答メッセージ生成部６０４は、「何しているの？」、「ねぇねぇ」等、ユーザへの呼び掛けメッセージを選択し、生成する。
【0154】
そして、ヘッドホン装置５は、サーバ６から応答音声メッセージを受信すると（ステップＳ３４８／Ｙｅｓ）、スピーカ５４から応答音声メッセージを再生する（ステップＳ３５１）。
【0155】
以上説明したように、本実施形態では、友達等の所定の人物の顔画像を顔画像ＤＢ６４に予め登録しておき、音声エージェントとユーザが会話中にバックグラウンドで撮像部５１により撮像された撮像画像内の顔と顔画像ＤＢ６４に登録されている顔とをマッチングする。そして、登録されている友達の顔が見つかった場合に音声エージェントがユーザに通知を行う。
【0156】
これにより、本実施形態によるヘッドホン装置５を装着することで、音声エージェントが話相手になったり、ユーザの視界外から友達を見つけた場合にはユーザに知らせることができ、ユーザはいつも誰かと繋がっていられることが可能となる。
【0157】
＜２－４．応用例＞
続いて、本実施形態の応用例について図面を参照して具体的に説明する。
続いて、本実施形態の応用例について図面を参照して具体的に説明する。
【0158】
（２－４－１．第１の応用例）
上述した実施形態では、友達を見つけた場合にユーザにお知らせを行っているが、本実施形態はこれに限定されず、見つけられても良い友達だけをユーザに知らせるようにしてもよい。具体的には、バックグラウンドの処理で登録されている友達が見つかった場合、当該友達の通信端末に、ユーザに見つけられてもよいかの承認を得るための通知をコミュニケーションＡＰＩ（Application Programming Interface）を介して行い、見つけられてもＯＫな場合のみ音声エージェントがユーザに通知する。これにより、見つけられたくない友達をユーザに知らせてしまうことを回避することができる。以下、図２８～図２９を参照して具体的に説明する。
上述した実施形態では、友達を見つけた場合にユーザにお知らせを行っているが、本実施形態はこれに限定されず、見つけられても良い友達だけをユーザに知らせるようにしてもよい。具体的には、バックグラウンドの処理で登録されている友達が見つかった場合、当該友達の通信端末に、ユーザに見つけられてもよいかの承認を得るための通知をコミュニケーションＡＰＩ（Application Programming Interface）を介して行い、見つけられてもＯＫな場合のみ音声エージェントがユーザに通知する。これにより、見つけられたくない友達をユーザに知らせてしまうことを回避することができる。以下、図２８～図２９を参照して具体的に説明する。
【0159】
（構成）
図２８は、第１の応用例による情報処理システムの全体構成を示す図である。図２８に示すように、第１の応用例による情報処理システムは、ヘッドホン装置５、サーバ６、およびメッセンジャーサーバ８を含む。
図２８は、第１の応用例による情報処理システムの全体構成を示す図である。図２８に示すように、第１の応用例による情報処理システムは、ヘッドホン装置５、サーバ６、およびメッセンジャーサーバ８を含む。
【0160】
ヘッドホン装置５およびサーバ６の構成は図２３を参照して説明した構成と同様であるため、ここでの図示および説明は省略する。
【0161】
メッセンジャーサーバ８は、コミュニケーションＡＰＩを実現するサーバであって、制御部８０、通信部８１、メッセージ履歴記憶部８２、およびユーザアドレスＤＢ８３を有する。
【0162】
制御部８０は、通信部８１を介して各ユーザの通信端末と接続し、データの送受信を行う。具体的には、制御部８０は、ユーザ間のメッセージの送受信を行い得る。また、制御部８０は、サーバ６からのリクエストに応じて、所定のユーザの通信端末に問い合わせメッセージを送信し、ユーザからの回答をサーバ６に返信するよう制御する。
【0163】
メッセージ履歴記憶部８２は、各ユーザ間でやり取りされたメッセージを記憶する。
【0164】
ユーザアドレスＤＢ８３は、各ユーザのアドレスを記憶する。
【0165】
【0166】
【0167】
また、本応用例では、サーバ６が顔画像認識部６０３により友達の顔（ここでは、「ユーザＢ」とする）を認識した場合（ステップＳ３３６／Ｙｅｓ）、ユーザ（ここでは、「ユーザＡ」とする）のヘッドホン装置５に見つけられてもＯＫか否かをユーザＢに確認するリクエストをメッセンジャーサーバ８に送信する（ステップＳ３６３）。
【0168】
次に、メッセンジャーサーバ８は、ユーザＢの通信端末（スマートフォン、携帯電話端末、タブレット端末、またはウェアラブル装置等）に問い合わせメッセージを送信する（ステップＳ３６６）。具体的には、メッセンジャーサーバ８は、ユーザＡのヘッドホン装置５に見つけられてもＯＫか否かを問い合わせる。ユーザＢの通信端末から当該問い合せが音声または表示により出力されると、ユーザＢは、ＯＫか否かの回答を行う。
【0169】
次いで、ユーザＢの回答を受信すると、メッセンジャーサーバ８は、回答をサーバ６に通知する（ステップＳ３６９）。
【0170】
そして、サーバ６は、ユーザＢの承認を得られた場合（ステップＳ３４２／Ｙｅｓ）、応答メッセージ生成部６０４により、ユーザＢを見つけたことをユーザＡに知らせる応答音声メッセージを生成する（ステップＳ３２７）。
【0171】
一方、ユーザＢの承認を得られなかった場合（ステップＳ３４２／Ｎｏ）、サーバ６は、ユーザＢを見つけたことを知らせる応答音声メッセージは生成しない。
【0172】
以上説明したように、第１の応用例では、ユーザＡのヘッドホン装置５に見つけられても、見つけられた本人の承認が無ければユーザＡには通知されないようにすることができる。
【0173】
（２－４－２．第２の応用例）
次に、本実施形態による情報処理システムは、友達を見つけたことを通知する際に、友達が居る方向を通知することが可能である。具体的には、バックグラウンドの処理で登録されている友達が見つかった場合、友達の位置とユーザの位置との相対関係に基づいて、友達が居る方向をユーザに通知することが可能である。以下、図３０～図３２を参照して具体的に説明する。
次に、本実施形態による情報処理システムは、友達を見つけたことを通知する際に、友達が居る方向を通知することが可能である。具体的には、バックグラウンドの処理で登録されている友達が見つかった場合、友達の位置とユーザの位置との相対関係に基づいて、友達が居る方向をユーザに通知することが可能である。以下、図３０～図３２を参照して具体的に説明する。
【0174】
（構成）
図３０は、第２の応用例による情報処理システムの全体構成を示す図である。図３０に示すように、第２の応用例による情報処理システムは、ヘッドホン装置５ａ、サーバ６ａ、およびメッセンジャーサーバ８を含む。ここでは、一例として上記第１の応用例で説明したメッセンジャーサーバ８も含むことで、見つけられた友達の承認が得られた場合にユーザに通知する機能も備える場合について説明する。
図３０は、第２の応用例による情報処理システムの全体構成を示す図である。図３０に示すように、第２の応用例による情報処理システムは、ヘッドホン装置５ａ、サーバ６ａ、およびメッセンジャーサーバ８を含む。ここでは、一例として上記第１の応用例で説明したメッセンジャーサーバ８も含むことで、見つけられた友達の承認が得られた場合にユーザに通知する機能も備える場合について説明する。
【0175】
また、ヘッドホン装置５ａは、図２３を参照して説明した構成に加えて、位置・方向検出部５５を有する。位置・方向検出部５５は、ヘッドホン装置５の位置情報を検出する機能と、ヘッドホン装置５の向きを検出する機能とを有する。位置情報を検出する機能は、例えばＧＰＳ（Global Positioning System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、ヘッドホン装置５が存在している位置を検知し、検知した位置情報を制御部５０に出力する。また、位置情報を検出する機能は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものにより実現されてもよい。また、向きを検出する機能は、ジャイロセンサまたは地磁気センサにより実現され、ヘッドホン装置５ａを装着するユーザが向いている方向を検出し得る。
【0176】
サーバ６ａは、図２３を参照して説明した構成に加えて、制御部６０の機能として方向算出部６０５を有する。
【0177】
方向算出部６０５は、ユーザの現在位置と、顔画像認識部６０３により認識した友達の位置とに基づいて、ユーザＢが居る方向を算出する。ユーザＢがいる方向は、「右後ろにいます」「左後ろにいます」等、ユーザＡの向きを基準としてもよいし、周辺に存在する目印となるポイントを用いて、「○○ビルの方向にいます」「○○駅の方向にいます」等としてもよい。
【0178】
（動作処理）
図３１および図３２は、第２の応用例による情報処理システムの動作処理を示すフローチャートである。なお、図２６および図２７を参照して説明した動作処理と同様の処理については、同じステップ番号を付している。
図３１および図３２は、第２の応用例による情報処理システムの動作処理を示すフローチャートである。なお、図２６および図２７を参照して説明した動作処理と同様の処理については、同じステップ番号を付している。
【0179】
図３１に示すように、まず、ヘッドホン装置５ａは、ヘッドホン装着を検知すると（ステップＳ３０３）、サーバ６ａに通知する（ステップＳ３０６）。
【0180】
次に、サーバ６ａは、特定ユーザのヘッドホン装着を受信すると（ステップＳ３０９）、設定されている所定のキャラクタ（エージェントキャラクタ）の音声エージェントを起動する（ステップＳ３１２）。
【0181】
次いで、ヘッドホン装置５ａは、音声メッセージ、または位置・方向検出部５５により検出された位置情報と向き情報を付加した撮像画像をサーバ６ａに継続的に送信する（ステップＳ３１６）。
【0182】
次に、サーバ６ａは、ヘッドホン装置５ａから音声メッセージを受信した場合（ステップＳ３１８／Ｙｅｓ）、音声／テキスト変換部６０１により音声メッセージをテキストに変換し（ステップＳ３２１）、意味理解部６０２により形態素解析および構文解析を行い、テキスト化した音声メッセージの意味理解を行う。
【0183】
次に、サーバ６ａは、応答メッセージ生成部６０４により、意味理解の結果に応じて応答音声メッセージを生成し（ステップＳ３２８）、音声／テキスト変換部６０１により音声信号に変換した応答音声メッセージをヘッドホン装置５ａに送信する（ステップＳ３４５）。
【0184】
一方、サーバ６ａが、音声メッセージではなく（ステップＳ３１８／Ｎｏ）、撮像画像をヘッドホン装置５ａから受信した場合（ステップＳ３３０／Ｙｅｓ）、ヘッドホン装置５ａは、顔画像認識部６０３により顔画像の認識を行う（ステップＳ３３３）。
【0185】
次に、顔画像認識部６０３は、認識した顔画像を、顔画像ＤＢ６４に予め登録されているユーザの友達等の所定の人物の顔画像と比較し、友達の顔（ここでは、「ユーザＢ」とする）を認識した場合（ステップＳ３３６／Ｙｅｓ）、ユーザ（ここでは、「ユーザＡ」とする）のヘッドホン装置５ａに見つけられてもＯＫか否かをユーザＢに確認するリクエストをメッセンジャーサーバ８に送信する（ステップＳ３６３）。
【0186】
次に、メッセンジャーサーバ８は、ユーザＢの通信端末に問い合わせメッセージを送信する（ステップＳ３６７）。この際、メッセンジャーサーバ８は、ユーザＢの現在位置情報の要求も行う。
【0187】
次いで、ユーザＢの回答を受信すると、メッセンジャーサーバ８は、回答をサーバ６ａに通知する（ステップＳ３６９）。この際、回答にはユーザＢの通信端末で得られた現在位置情報が付加され得る。
【0188】
続いて、サーバ６ａは、ユーザＢの承認および位置情報を得られた場合（ステップＳ３４３／Ｙｅｓ）、方向算出部６０５により、ヘッドホン装置５ａの位置および向きと、ユーザの位置から、ユーザＡに対するユーザＢの相対的位置関係を特定する（ステップＳ３４４）。なおユーザＢの方向を示す情報は、上述したように、周辺に存在する目印となる建物等を用いたものであってもよい。
【0189】
そして、サーバ６ａは、応答メッセージ生成部６０４により、ユーザＢを見つけたことおよびユーザＢが居る方向をユーザＡに知らせる応答音声メッセージを生成する（ステップＳ３２８）。
【0190】
以上説明したように、第２の応用例では、友達を見つけた場合、友達が居る方向も併せてユーザＡに通知することが可能となる。
【0191】
（２－４－３．第３の応用例）
上述した実施形態および応用例では、撮像画像から登録された顔画像を認識する処理をサーバ６側で行っているが、本実施形態はこれに限定されず、ヘッドホン装置５側で友達を見つける処理を行うことも可能である。以下、図３３～図３４を参照して説明する。
上述した実施形態および応用例では、撮像画像から登録された顔画像を認識する処理をサーバ６側で行っているが、本実施形態はこれに限定されず、ヘッドホン装置５側で友達を見つける処理を行うことも可能である。以下、図３３～図３４を参照して説明する。
【0192】
【0193】
ヘッドホン装置５ｂは、図２３を参照して説明した構成に加えて、ユーザプロファイル記憶部５６、音素ＤＢ５７、および顔画像ＤＢ５８を有する。また、ヘッドホン装置５ｂの制御部５０ｂは、顔画像認識部５０１および応答メッセージ生成部５０２として機能する。
【0194】
ユーザプロファイル記憶部５６、音素ＤＢ５７、および顔画像ＤＢ５８は、図２３を参照して説明したサーバ６のユーザプロファイル記憶部６２、音素ＤＢ６３、および顔画像ＤＢ６４と同様に、ユーザに関する情報、音素データ、およびユーザの友人等所定の人物の顔画像情報をそれぞれ蓄積する。
【0195】
顔画像認識部５０１は、撮像部５１により撮像された、少なくとも視界外の撮像画像を解析し、顔画像の認識を行う。また、顔画像認識部５０１は、顔画像ＤＢ５８に登録されている登録顔画像（友達の顔画像）を参照し、顔の特徴量が一致する顔画像が撮像画像内にあるか否かを判断する。
【0196】
応答メッセージ生成部５０２は、顔画像認識部５０１により撮像画像から登録された所定人物の顔画像が認識された場合、当該人物の存在をユーザに通知する応答メッセージを生成する。
【0197】
（動作処理）
図３４は、第３の応用例による情報処理システムの動作処理を示すフローチャートである。なお、図２６および図２７を参照して説明した動作処理と同様の処理については、同じステップ番号を付している。
図３４は、第３の応用例による情報処理システムの動作処理を示すフローチャートである。なお、図２６および図２７を参照して説明した動作処理と同様の処理については、同じステップ番号を付している。
【0198】
図３４に示すように、まず、ヘッドホン装置５ｂは、ヘッドホン装着を検知すると（ステップＳ３０３）、サーバ６ｂに通知する（ステップＳ３０６）。
【0199】
次に、サーバ６ｂは、特定ユーザのヘッドホン装着を受信すると（ステップＳ３０９）、設定されている所定のキャラクタ（エージェントキャラクタ）の音声エージェントを起動する（ステップＳ３１２）。
【0200】
次いで、ヘッドホン装置５ｂは、音声メッセージをサーバ６ａに継続的に送信し（ステップＳ３１７）、サーバ６ｂ側で音声メッセージの意味理解が行われ（ステップＳ３１８～Ｓ３２４）、応答音声メッセージが生成される（ステップＳ３２７）。
【0201】
また、所定時間（例えば３０秒）以上音声メッセージの受信が無い場合は（ステップＳ３３９／Ｙｅｓ）、自動的に応答音声メッセージが選択される（ステップＳ３４２）。
【0202】
そして、サーバ６ｂから応答音声メッセージを受信すると（ステップＳ３４８／Ｙｅｓ）、ヘッドホン装置５ｂは、エージェントの応答音声メッセージをスピーカ５４から再生する（ステップＳ３５１）。
【0203】
さらに、本実施形態によるヘッドホン装置５ｂは、顔画像認識部５０１により、撮像した画像から顔画像の認識を行う（ステップＳ４０３）。この際、顔画像認識部５０１は、顔画像ＤＢ５８に予め登録されている友達の顔と、認識した顔とのマッチングも行う。
【0204】
次いで、撮像画像から友達の顔を認識できた場合（ステップＳ４０６／Ｙｅｓ）、ヘッドホン装置５ｂは、応答メッセージ生成部５０２により、友達を見つけた旨の応答音声メッセージを生成する（ステップＳ４０９）。また、応答メッセージ生成部５０２は、音素ＤＢ５７に格納されている特定エージェントの音素データを用いて、生成した応答メッセージを音声信号に変換する。
【0205】
そして、ヘッドホン装置５ｂは、生成されたエージェントの応答音声メッセージをスピーカ５４から再生する（ステップＳ３５１）。
【0206】
以上説明したように、第３の応用例では、ヘッドホン装置５単体でも友達を見つけてユーザに通知することが可能である。
【0207】
＜２－５．補足＞
以上説明した第２の実施形態について、以下補足する。
以上説明した第２の実施形態について、以下補足する。
【0208】
本実施形態では、音声エージェントが複数設定されていてもよく、ユーザが名前を呼ぶことでエージェントを選択して会話できるようにしてもよい。具体的には、特開２００２－３５８０９２号公報に記載されているように、複数の音声エージェント用に複数セットの音素を音素ＤＢに蓄積しておくことで実現可能である。名前と音素ＤＢを関連付けておくことで、サーバ６は、音声認識処理によりユーザから指定されたエージェントの名前を検知すると、自動的に音素を切り替えることが可能である。また、ユーザは、音声エージェントの声質で音声エージェントを選択することも可能である。
【0209】
また、上述した第２の応用例において、友達の音素データが音素ＤＢに登録されている場合、音像定位の技術と組み合わせて、友達が居る方向から友達の声でユーザに呼びかけるような応答音声メッセージを再生することも可能である。
【0210】
また、友達を見つけた場合に、ユーザ自身の位置情報をメッセンジャーサーバ８等を介して友達に通知し、友達の通信端末においてナビゲーションを開始させてもよい。
【0211】
また、ユーザが忙しい場合や急いでいる場合等もあるため、本実施形態による友達を見つける機能をＯＦＦすることも可能である。
【0212】
また、上述した第１の応用例では、見つけられたユーザ側での承認処理が必要であるが、承認の手間を省くため、予め友達に見つけられてよいか否かをスマートフォンやヘッドホン装置の音声エージェントにより設定しておくことも可能である。
【0213】
また、ヘッドホン装置５は、さらにユーザの視界方向（前方）を撮像する撮像部を有していてもよい。
【0214】
また、上述した第３の応用例では、友達を見つける処理をヘッドホン装置５で行う場合について説明したが、さらに音声エージェントの会話生成処理もヘッドホン装置５で行うようにしてもよい。
【0215】
また、上述した第２の実施形態および各応用例では、ヘッドホン装置５が通信部５３を介してネットワーク上のサーバ６と直接通信するようなシステム構成としたが、本実施形態はこれに限定されず、ユーザが所持するスマートフォン等の外部の通信端末を介してサーバ６と通信する構成としてもよい。
【0216】
＜＜３．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、ユーザが見逃している情報を提示することが可能となる。
上述したように、本開示の実施形態による情報処理システムでは、ユーザが見逃している情報を提示することが可能となる。
【0217】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0218】
例えば、上述したメガネ型端末１、サーバ２、ヘッドホン装置５、またはサーバ６に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、メガネ型端末１、サーバ２、ヘッドホン装置５、またはサーバ６の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【0219】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0220】
なお、本技術は以下のような構成も取ることができる。
（１）クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部と、
を備える、サーバ。
（２）前記制御部は、前記クライアント端末の撮像部により取得されたユーザの視界画像から、前記ユーザの興味情報に応じたオブジェクトに対応する情報を抽出し、前記オブジェクトに対応する情報に対して重畳表示させるキャラクタを示すキャラクタ情報と、前記ユーザに提示する提示情報を前記クライアント端末に送信するように制御する、前記（１）に記載のサーバ。
（３）前記制御部は、ユーザ情報に関連するオブジェクトに関連する情報と前記ユーザの興味情報との比較に基づいて、前記ユーザに提示する提示情報を決定する、前記（２）に記載のサーバ。
（４）ユーザ情報に関連するオブジェクトに対応する情報に対して重畳表示させるキャラクタに対する前記ユーザの視線に関連する情報を受信すると、
前記制御部は、前記ユーザの視線に関連する情報に応じて、前記ユーザに提示する提示情報の内容を変更する、前記（１）～（３）のいずれか１つに記載のサーバ。
（５）前記ユーザの視線に関連する情報は、提示情報更新依頼である、前記（４）に記載のサーバ。
（６）前記制御部は、前記提示情報更新依頼に応じて、さらに詳細な情報に変更する、前記（５）に記載のサーバ。
（７）前記重畳表示させるキャラクタに対するユーザの視線に関連する情報は、前記ユーザが前記キャラクタに注目したことに関する情報である、前記（４）に記載のサーバ。
（８）前記制御部は、
前記クライアント端末のユーザによって入力される音声の意味を理解し、対応する音声メッセージをクライアント端末に送信する機能する、前記（１）に記載のサーバ。
（９）前記制御部は、
前記クライアント端末の撮像部により撮像される、少なくとも、前記ユーザの視界外の画像から前記予め登録されている人物が検知されると、それを前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように制御する、前記（８）に記載のサーバ。
（１０）前記制御部は、
前記クライアント端末の撮像部により撮像される画像と共に、当該クライアント端末の位置と向きの情報を取得し；
さらに、
前記予め登録されている人物のアカウントに、前記ユーザへの通知の許諾と現在の位置情報を要求するリクエストを送信し；
前記リクエストに応じて受信した、前記ユーザへの通知の許諾の要求に対する承認と、前記位置情報とに応じて、前記予め登録されている人物がいる方向を示す情報を前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように；
通信部を制御する、前記（８）または（９）に記載のサーバ。
（１１）撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部を備えるクライアント端末。
（１２）前記制御部は、
前記画像における前記ユーザの興味情報に関連するオブジェクトに対して、キャラクタ情報を重畳表示すると共に、前記ユーザに提示する提示情報を出力するように前記出力部を制御する、前記（１１）に記載のクライアント端末。
（１３）前記制御部は、
撮像部により撮像される画像から予め登録されている人物が検知されると、当該人物が検知されたことをユーザに通知するための音声メッセージを出力するように前記出力部を制御する、前記（１１）に記載のクライアント端末。
（１４）プロセッサが、
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信することと、
前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信することと、
を含む、制御方法。
（１５）コンピュータを、
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部として機能させるためのプログラム。
（１６）プロセッサが、
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力することを含む、制御方法。
（１７）コンピュータを、
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部として機能させるためのプログラム。
（１）クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部と、
を備える、サーバ。
（２）前記制御部は、前記クライアント端末の撮像部により取得されたユーザの視界画像から、前記ユーザの興味情報に応じたオブジェクトに対応する情報を抽出し、前記オブジェクトに対応する情報に対して重畳表示させるキャラクタを示すキャラクタ情報と、前記ユーザに提示する提示情報を前記クライアント端末に送信するように制御する、前記（１）に記載のサーバ。
（３）前記制御部は、ユーザ情報に関連するオブジェクトに関連する情報と前記ユーザの興味情報との比較に基づいて、前記ユーザに提示する提示情報を決定する、前記（２）に記載のサーバ。
（４）ユーザ情報に関連するオブジェクトに対応する情報に対して重畳表示させるキャラクタに対する前記ユーザの視線に関連する情報を受信すると、
前記制御部は、前記ユーザの視線に関連する情報に応じて、前記ユーザに提示する提示情報の内容を変更する、前記（１）～（３）のいずれか１つに記載のサーバ。
（５）前記ユーザの視線に関連する情報は、提示情報更新依頼である、前記（４）に記載のサーバ。
（６）前記制御部は、前記提示情報更新依頼に応じて、さらに詳細な情報に変更する、前記（５）に記載のサーバ。
（７）前記重畳表示させるキャラクタに対するユーザの視線に関連する情報は、前記ユーザが前記キャラクタに注目したことに関する情報である、前記（４）に記載のサーバ。
（８）前記制御部は、
前記クライアント端末のユーザによって入力される音声の意味を理解し、対応する音声メッセージをクライアント端末に送信する機能する、前記（１）に記載のサーバ。
（９）前記制御部は、
前記クライアント端末の撮像部により撮像される、少なくとも、前記ユーザの視界外の画像から前記予め登録されている人物が検知されると、それを前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように制御する、前記（８）に記載のサーバ。
（１０）前記制御部は、
前記クライアント端末の撮像部により撮像される画像と共に、当該クライアント端末の位置と向きの情報を取得し；
さらに、
前記予め登録されている人物のアカウントに、前記ユーザへの通知の許諾と現在の位置情報を要求するリクエストを送信し；
前記リクエストに応じて受信した、前記ユーザへの通知の許諾の要求に対する承認と、前記位置情報とに応じて、前記予め登録されている人物がいる方向を示す情報を前記ユーザに通知するための音声メッセージを前記クライアント端末に送信するように；
通信部を制御する、前記（８）または（９）に記載のサーバ。
（１１）撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部を備えるクライアント端末。
（１２）前記制御部は、
前記画像における前記ユーザの興味情報に関連するオブジェクトに対して、キャラクタ情報を重畳表示すると共に、前記ユーザに提示する提示情報を出力するように前記出力部を制御する、前記（１１）に記載のクライアント端末。
（１３）前記制御部は、
撮像部により撮像される画像から予め登録されている人物が検知されると、当該人物が検知されたことをユーザに通知するための音声メッセージを出力するように前記出力部を制御する、前記（１１）に記載のクライアント端末。
（１４）プロセッサが、
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信することと、
前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信することと、
を含む、制御方法。
（１５）コンピュータを、
クライアント端末の撮像部により取得された画像から検知された予め登録されている登録ユーザのアカウントに、前記クライアント端末のユーザへの通知の許諾を要求するリクエストを送信し、前記リクエストに応じて受信した応答に応じて、前記ユーザに通知するためのメッセージを前記クライアント端末に送信するように制御する制御部として機能させるためのプログラム。
（１６）プロセッサが、
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力することを含む、制御方法。
（１７）コンピュータを、
撮像部により撮像された画像をサーバに送信し、前記画像から予め登録されている登録ユーザが検知されたとき、前記登録ユーザによる承認に応じて、前記登録ユーザが検知されたことを通知するためのメッセージを前記サーバから受信すると共に出力部を介してユーザに前記メッセージを出力するように制御する制御部として機能させるためのプログラム。
【符号の説明】
【0221】
１ メガネ型端末
２ サーバ
３ ネットワーク
５ ヘッドホン装置
６ サーバ
７ ネットワーク
８ メッセンジャーサーバ
１０ 制御部
１０１ タグ画像検出部
１０２ 提示情報取得部
１０３ 提示方法設定部
１０４ 情報提示制御部
１０５ ユーザ行動検出部
１０６ 提示情報更新部
１１ 通信部
１２ 撮像部
１３ 表示部
１４ 音声出力部
１５ 記憶部
１６ 視線検出部
２０ 制御部
２０１ オブジェクト情報取得部
２０２ 注目度設定部
２０３ 提示情報提供部
２０４ 提示情報更新部
２１ 通信部
２２ ユーザ情報ＤＢ
２３ オブジェクト情報ＤＢ
３０ 看板
３２ タグ画像
３４ キャラクタ画像
５０ 制御部
５１ 撮像部
５２ マイクロホン
５３ 通信部
５４ スピーカ
５５ 位置・方向検出部
５６ ユーザプロファイル記憶部
６０ 制御部
６０１ テキスト変換部
６０２ 意味理解部
６０３ 顔画像認識部
６０４ 応答メッセージ生成部
６０５ 方向算出部
６１ 通信部
６２ ユーザプロファイル記憶部
６３ 音素ＤＢ
６４ 顔画像ＤＢ
８０ 制御部
８１ 通信部
８２ メッセージ履歴記憶部
２ サーバ
３ ネットワーク
５ ヘッドホン装置
６ サーバ
７ ネットワーク
８ メッセンジャーサーバ
１０ 制御部
１０１ タグ画像検出部
１０２ 提示情報取得部
１０３ 提示方法設定部
１０４ 情報提示制御部
１０５ ユーザ行動検出部
１０６ 提示情報更新部
１１ 通信部
１２ 撮像部
１３ 表示部
１４ 音声出力部
１５ 記憶部
１６ 視線検出部
２０ 制御部
２０１ オブジェクト情報取得部
２０２ 注目度設定部
２０３ 提示情報提供部
２０４ 提示情報更新部
２１ 通信部
２２ ユーザ情報ＤＢ
２３ オブジェクト情報ＤＢ
３０ 看板
３２ タグ画像
３４ キャラクタ画像
５０ 制御部
５１ 撮像部
５２ マイクロホン
５３ 通信部
５４ スピーカ
５５ 位置・方向検出部
５６ ユーザプロファイル記憶部
６０ 制御部
６０１ テキスト変換部
６０２ 意味理解部
６０３ 顔画像認識部
６０４ 応答メッセージ生成部
６０５ 方向算出部
６１ 通信部
６２ ユーザプロファイル記憶部
６３ 音素ＤＢ
６４ 顔画像ＤＢ
８０ 制御部
８１ 通信部
８２ メッセージ履歴記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】