特許 7116200 ＡＲプラットフォームシステム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-01

(45)【発行日】2022-08-09

(54)【発明の名称】ＡＲプラットフォームシステム、方法およびプログラム

(51)【国際特許分類】

   G06F 16/535 20190101AFI20220802BHJP

【ＦＩ】

G06F16/535

【請求項の数】 7

(21)【出願番号】P 2021000876

(22)【出願日】2021-01-06

(62)【分割の表示】P 2019066434の分割

【原出願日】2019-03-29

(65)【公開番号】P2021077384

(43)【公開日】2021-05-20

【審査請求日】2021-01-06

(73)【特許権者】

【識別番号】397077955

【氏名又は名称】株式会社三井住友銀行

(73)【特許権者】

【識別番号】302064762

【氏名又は名称】株式会社日本総合研究所

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】神山 健司郎

(72)【発明者】

【氏名】菱田 実希

(72)【発明者】

【氏名】松田 卓久

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】特開２０１８－０４９６２３（ＪＰ，Ａ）

【文献】特表２０１３－５１９１６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２００２９６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／００３２５２３（ＵＳ，Ａ１）

【文献】特開２０１３－２５４３０５（ＪＰ，Ａ）

【文献】特許第６４７０３７４（ＪＰ，Ｂ１）

【文献】特開２０１６－１６８９２７（ＪＰ，Ａ）

【文献】特開２０１２－１１８８８２（ＪＰ，Ａ）

【文献】国際公開第２０１７／２１８４３６（ＷＯ，Ａ１）

【文献】特開２０１１－２１７１９７（ＪＰ，Ａ）

【文献】特開２０１８－０１０６４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００７７３３７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０１４４３５６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０１４２４４７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／０３２７１１９（ＵＳ，Ａ１）

【文献】山下大貴，外６名，“仮想現実感を用いた遠隔音楽ライブシステムＫＳＡ２”，情報処理学会研究報告，情報処理学会，2018年01月27日，p.1-7

【文献】中原 守勇、外２名，複合現実感における視覚と触覚の融合効果を利用した物体形状提示に関する実験的検討，日本バーチャルリアリティ学会論文誌，日本，特定非営利活動法人 日本バーチャルリアリティ学会，2008年03月31日，第１３巻，第１号，ｐ．２５－３５，ISSN 1344-011X

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

情報利用者を識別する情報、前記情報利用者の視覚特性、前記情報利用者に関連付けられる秘密鍵および検索条件を含む第１のリクエストを第１のデバイスから受信し、
受信した前記第１のリクエストに基づいて、情報提供者の提供情報、情報公開対象者情報、および位置情報を記憶しているデータベースを検索し、検索結果は前記情報利用者を識別する情報、前記検索条件および前記情報公開対象者情報に従って制限され、前記情報提供者の提供情報は、前記情報利用者に関連付けられる公開鍵を含んでおり、
前記検索結果に関連付けられる前記情報提供者の位置情報を強調表示する内容を含む第１のＡＲ表示情報を作成して、前記秘密鍵および前記公開鍵を使用して前記第１のデバイスのみに送信し、
前記第１のＡＲ表示情報に対する前記情報利用者による評価情報に関連付けられる第２のリクエストを受信した場合、受信した前記第２のリクエストに基づいて、前記データベースを検索し、検索結果から前記評価情報に従う第２のＡＲ表示情報を作成して、送信し、前記評価情報は、前記第１のＡＲ表示情報の情報量または表示形式が適切かどうかを示し、前記第２のＡＲ表示情報は、優先度情報を含み、前記優先度情報の高さは、前記評価情報の内容に応じて決定される
ように構成されたプロセッサを備えた、ＡＲプラットフォームシステムであって、
前記プロセッサは、前記情報利用者の視覚特性と時間または外的な明度に応じて、エッジの強調表示、拡大表示、色変換のうちの１つまたは複数と明度変化とを行うことによって、前記第１のＡＲ表示情報および前記第２のＡＲ表示情報を補正するようにさらに構成されている、ＡＲプラットフォームシステム。

【請求項2】

前記プロセッサは、前記評価情報に基づいて前記第１のＡＲ表示情報をアップデートすることによって前記第２のＡＲ表示情報を作成するようにさらに構成される、
請求項１に記載のＡＲプラットフォームシステム。

【請求項3】

前記プロセッサは、
前記情報利用者の眼の画像または音声に基づいて感情を分析し、
分析された前記感情を使用して、閲覧履歴を優先度付けする
ようにさらに構成された、請求項１に記載のＡＲプラットフォームシステム。

【請求項4】

情報利用者を識別する情報および検索条件を含む第１のリクエストを受信し、
受信した前記第１のリクエストに基づいて、情報提供者の提供情報、情報公開対象者情報、および位置情報を記憶しているデータベースを検索し、検索結果は前記情報利用者を識別する情報、前記検索条件および前記情報公開対象者情報に従って制限され、
前記検索結果から第１のＡＲ表示情報を作成して、送信し、
前記第１のＡＲ表示情報に対する前記情報利用者による評価情報に関連付けられる第２のリクエストを受信した場合、受信した前記第２のリクエストに基づいて、前記データベースを検索し、検索結果から前記評価情報に従う第２のＡＲ表示情報を作成して、送信し、前記評価情報は、前記第１のＡＲ表示情報の情報量または表示形式が適切かどうかを示し、前記第２のＡＲ表示情報は、優先度情報を含み、前記優先度情報の高さは、前記評価情報の内容に応じて決定される
ように構成されたプロセッサを備えた、ＡＲプラットフォームシステム。

【請求項5】

ＡＲプラットフォームシステムにより実施される方法であって、
情報利用者を識別する情報、前記情報利用者の視覚特性、前記情報利用者に関連付けられる秘密鍵および検索条件を含む第１のリクエストを第１のデバイスから受信することと、
受信した前記第１のリクエストに基づいて、情報提供者の提供情報、情報公開対象者情報、および位置情報を記憶しているデータベースを検索することであって、検索結果は前記情報利用者を識別する情報、前記検索条件および前記情報公開対象者情報に従って制限され、前記情報提供者の提供情報は、前記情報利用者に関連付けられる公開鍵を含んでいる、ことと、
前記検索結果に関連付けられる前記情報提供者の位置情報を強調表示する内容を含む第１のＡＲ表示情報を作成して、前記秘密鍵および前記公開鍵を使用して前記第１のデバイスのみに送信することと、
前記第１のＡＲ表示情報に対する前記情報利用者による評価情報に関連付けられる第２のリクエストを受信した場合、受信した前記第２のリクエストに基づいて、前記データベースを検索し、検索結果から前記評価情報に従う第２のＡＲ表示情報を作成して、送信することであって、前記評価情報は、前記第１のＡＲ表示情報の情報量または表示形式が適切かどうかを示し、前記第２のＡＲ表示情報は、優先度情報を含み、前記優先度情報の高さは、前記評価情報の内容に応じて決定される、ことと
を含む、方法であって、
前記方法は、
前記情報利用者の視覚特性と時間または外的な明度に応じて、エッジの強調表示、拡大表示、色変換のうちの１つまたは複数と明度変化とを行うことによって、前記第１のＡＲ表示情報および前記第２のＡＲ表示情報を補正することをさらに含む、方法。

【請求項6】

ＡＲプラットフォームシステムにより実施される方法であって、
情報利用者を識別する情報および検索条件を含む第１のリクエストを受信することと、
受信した前記第１のリクエストに基づいて、情報提供者の提供情報、情報公開対象者情報、および位置情報を記憶しているデータベースを検索することであって、検索結果は前記情報利用者を識別する情報、前記検索条件および前記情報公開対象者情報に従って制限される、ことと、
前記検索結果から第１のＡＲ表示情報を作成して、送信することと、
前記第１のＡＲ表示情報に対する前記情報利用者による評価情報に関連付けられる第２のリクエストを受信した場合、受信した前記第２のリクエストに基づいて、前記データベースを検索し、検索結果から前記評価情報に従う第２のＡＲ表示情報を作成して、送信することであって、前記評価情報は、前記第１のＡＲ表示情報の情報量または表示形式が適切かどうかを示し、前記第２のＡＲ表示情報は、優先度情報を含み、前記優先度情報の高さは、前記評価情報の内容に応じて決定される、ことと
を含む、方法。

【請求項7】

請求項５または６に記載の方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＲプラットフォームシステム、方法およびプログラムに関する。

【背景技術】

【0002】

現実の風景に仮想の視覚情報を重ねて表示するＡＲ（Augmented Reality：拡張現実）に関するサービスが提供されている。ＡＲは、例えば現実の風景に付随する情報をメッセージ、記号等の形式を用いて、重ねて表示できる。従来のＡＲは、異なるユーザに対しても一律の情報を表示するか、またはユーザごとに見たい情報を予め設定して表示するものであった。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０５３９６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、撮影者が撮影した画像を解析して、撮影者が有する端末装置のディスプレイにおいて、被写体と被写体に関連付けられた宣伝情報とを重ねて表示する技術が開示されている。また、特許文献１には、被写体から撮影者に対する宣伝情報の提供を制限する技術が開示されている。

【0005】

しかしながら、特許文献１に記載の発明は、ＡＲを目視する利用者が見たい／知りたい情報と宣伝情報とが必ずしも合致するものではない。さらに、特許文献１に記載の発明は、ＡＲを目視する利用者の属性や視覚特性に応じて表示を変更するものではなく、利用者が置かれた状況に応じてリアルタイムで表示を変更するものでもない。

【0006】

本発明はこのような課題に対し、ＡＲを目視する利用者が見たい／知りたい情報をリアルタイムで表示するＡＲプラットフォームシステム、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様である、ＡＲプラットフォームシステムは、情報利用者を識別する情報を含むリクエストを受信し、受信したリクエストに基づいて、情報提供者の提供情報、情報公開対象者情報、および位置情報を記憶しているデータベースを検索し、検索結果は情報利用者を識別する情報と情報公開対象者情報とに従って制限され、検索結果からＡＲ表示情報を作成して、送信するように構成されたプロセッサを備える。

【発明の効果】

【0008】

本発明によれば、ＡＲを目視する利用者が見たい／知りたい情報、または見たい／知りたいと推定される情報をリアルタイムで表示できる。また、本発明によれば、ＡＲを目視する利用者の視覚特性に応じて表示を変更できる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係るＡＲプラットフォームシステムの機能ブロックを例示する図である。

【図2】本発明の一実施形態に係るＡＲデバイス１００の構成を例示する図である。

【図3】本発明の一実施形態に係る情報利用者デバイス１１０、情報提供者デバイス１２０、およびプラットフォーム１４０の汎用的な構成を例示する図である。

【図4】本発明の一実施形態に係る能動的なＡＲ表示処理フローを例示する図である。

【図5】本発明の一実施形態に係る受動的なＡＲ表示処理フローを例示する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら本発明の実施形態について説明する。複数の図面において同一の符号は同一の要素を表し、重複した説明は省略する。

【0011】

図１は、本発明の一実施形態に係るＡＲプラットフォーム１４０システムの機能ブロックを例示する図である。図１は概略的に、ＡＲデバイス１００、情報利用者デバイス１１０、情報提供者デバイス１２０、外部システム１３０、プラットフォーム１４０、およびネットワーク１５０を含む。

【0012】

ＡＲデバイス１００は、情報利用者によって使用されるデバイスであり、例えば眼鏡形状を有するヘッドマウントディスプレイ方式のウェアラブル端末、スマートフォン、タブレット等とすることができる。本明細書では、ＡＲデバイス１００をヘッドマウントディスプレイ方式のウェアラブル端末として説明する。ＡＲデバイス１００は、任意の無線通信技術を使用して情報利用者デバイス１１０と情報を送受信し、および情報利用者デバイス１１０から受信した制御指示に従って画像の表示等ができる。

【0013】

ＡＲデバイス１００は、情報利用者の視野の一部または全部、情報利用者の虹彩等を撮像できる。ＡＲデバイス１００は、所定の時間間隔または情報利用者の操作に応じて撮像でき、動画を撮像してもよい。ＡＲデバイス１００はまた、眼鏡のレンズに相当するディスプレイに光を投影することによって、画像を表示できる。ＡＲデバイス１００はさらに、情報利用者によるボタン入力、マイクを使用した音声入力、情報利用者の視野と重なるように行うジェスチャー入力等によって、情報利用者から知りたい情報に関するリクエストの入力を受け付けることができる。撮像された画像データおよび入力されたリクエストは、情報利用者デバイス１１０に送信（連携）される。ＡＲデバイス１００は、リクエストが音声により入力される場合、情報利用者による任意のキーワードの発声をトリガとして、入力を受け付けてもよい。

【0014】

情報利用者デバイス１１０は、情報利用者によって使用されるデバイスであり、スマートフォン、タブレット等とすることができる。情報利用者デバイス１１０は、任意の無線通信技術によりＡＲデバイス１００と情報を送受信し、およびＡＲデバイス１００に対する制御指示を送信できる。ＡＲデバイス１００によって撮像された画像データは、情報利用者デバイス１１０に記憶されてもよい。情報利用者デバイス１１０は、ＡＲデバイス１００と同一のデバイスであってもよい。

【0015】

情報利用者デバイス１１０は、ＡＲデバイス１００が撮像した画像データ、およびＡＲデバイス１００に入力されたリクエスト等の情報をプラットフォーム１４０に送信できる。リクエストは、例えば情報利用者を識別する任意の情報（例えば、ＩＤ）、情報提供者の属性、商品・サービス情報、在庫状況、サービス提供状況、質問等を含み、文字列、数字列等の形式は問わない。情報利用者デバイス１１０はまた、リクエストに応答して表示されたＡＲ画像の閲覧履歴、視聴時間等をプラットフォーム１４０に送信してもよい。

【0016】

情報利用者デバイス１１０は、パスワード認証、虹彩認証、声紋認証等を含む生体認証等を行うことによって、ＡＲデバイス１００を装着または使用している情報利用者を識別できる。生体認証は、ＡＲデバイス１００から受信した虹彩画像、音声等のデータを使用できる。情報利用者の識別は所定の時間間隔で行われてもよく、ＡＲデバイス１００によって単独で行われてもよい。

【0017】

情報利用者デバイス１１０は、任意的に、情報利用者から視覚特性の入力を受け付け、プラットフォーム１４０に送信できる。視覚特性は、情報利用者の視力（近視、遠視、乱視等を含む）、色覚を含む。

【0018】

情報提供者デバイス１２０は、情報提供者によって使用されるデバイスであり、スマートフォン、タブレット等とすることができる。情報提供者デバイス１２０は、情報提供者から利用サービス・利用目的ごとに提供情報の入力を受け付け、プラットフォーム１４０に送信できる。提供情報は、例えば情報利用者の公開鍵、情報提供者の属性（氏名・名称、仕事、趣味・嗜好、技能、語学、社会活動等を含み得る）、提供する商品・サービスの情報、在庫状況、交通状況等、任意の情報を含み、文字列、数字列等の形式は問わない。提供する商品・サービスの情報は、例えば広告情報、サービスの提供状況、商品の販売時期・範囲、サービスの提供時期・範囲、商品・サービスの価格情報等を含んでもよい。

【0019】

情報提供者デバイス１２０は、情報提供者から利用サービス・利用目的ごとに情報公開対象者情報の入力を受け付け、プラットフォーム１４０に送信できる。情報公開対象者情報は、例えば対象者名・ＩＤ、アプリケーション・ユースケース、アクセス範囲、アクセス許可方法（パスワード認証、虹彩認証、声紋認証等を含む生体認証等）とすることができる。情報公開対象者情報は、情報利用者がどの範囲まで提供情報を閲覧できるか、どの情報利用者が提供情報を閲覧できるか、提供情報の時間／場所等について制限できる。情報公開対象者情報は、例えば特定のイベントの参加者、チケット購入者のみに提供情報を閲覧可能とすること、情報利用者の年齢に応じて酒類を提供する飲食店のサービス状況の閲覧を制限すること等が挙げられる。

【0020】

情報提供者デバイス１２０は、ＧＰＳ（Global Positioning System）、ＶＰＳ（Virtual Positioning System）等により位置情報を取得して、プラットフォーム１４０に送信できる。情報提供者デバイス１２０はまた、情報提供者の顔、服装等の外観に関する画像を取得して、プラットフォーム１４０に送信できる。情報提供者が施設、店舗、法人等である場合、位置情報は住所、所在地、建物の外観等とすることができる。情報提供者デバイス１２０は、位置情報および外観に関する画像をリアルタイムでプラットフォーム１４０に送信できる。

【0021】

外部システム１３０は、外部企業が管理する任意のシステムであり、ＡＰＩ（Application Programming Interface）を介してプラットフォーム１４０と任意の情報を送受信できる。

【0022】

プラットフォーム１４０は、１つまたは複数のサーバ、ＰＣ等により構成され得る。プラットフォーム１４０は、属性情報ＤＢ１４５、情報公開対象者ＤＢ１４６、位置情報ＤＢ１４７、閲覧履歴ＤＢ１４８、および視覚特性ＤＢ１４９を備える。プラットフォーム１４０は、情報利用者デバイス１１０、情報提供者デバイス１２０、および外部システム１３０とリアルタイムで任意の情報を送受信できる。

【0023】

プラットフォーム１４０は、ＡＰＩを介して、外部システム１３０から任意の情報を取得できる。外部システム１３０から取得する情報は、例えば広告情報、サービスの提供状況、商品の販売時期・範囲、サービスの提供時期・範囲、商品・サービスの価格情報、情報利用者の閲覧履歴等とすることができる。

【0024】

プラットフォーム１４０は、任意的に、Ｗｅｂスクレイピング技術を使用して、Ｗｅｂ上の任意の情報を取得してもよい。スクレイピングにより取得する情報は、例えば店舗のサービス提供状況、交通状況、天気・気温等の情報、商品の販売時期・範囲、サービスの提供時期・範囲、商品・サービスの価格情報等とすることができる。

【0025】

プラットフォーム１４０は、情報提供者デバイス１２０から受信した提供情報を属性情報ＤＢ１４５、情報公開対象者情報を情報公開対象者ＤＢ１４６、位置情報を位置情報ＤＢ１４７にそれぞれ格納できる。プラットフォーム１４０は、外部システム１３０から受信した情報利用者の閲覧履歴を閲覧履歴ＤＢ１４８に格納でき、任意的に、情報利用者から受信した閲覧履歴等を閲覧履歴ＤＢ１４８に格納してもよい。プラットフォーム１４０は、情報利用者を識別する任意の情報と視覚特性とを関連付けて視覚特性ＤＢ１４９に格納できる。

【0026】

プラットフォーム１４０は、画像認識部１４１によって、情報利用者の視野を撮像した視野画像データに対して画像認識を実行して、画像情報を認識できる。認識された画像情報は、例えば人物、物体等を識別でき、店舗の看板、ロゴ等から識別した文字情報、色彩情報等を含み得る。画像認識は、任意の画像処理アルゴリズム、認識技術等を使用して実施され得る。

【0027】

プラットフォーム１４０は、嗜好情報抽出部１４２によって、情報利用者の嗜好情報を抽出できる。嗜好情報の抽出は、画像情報に含まれる文字情報等のキーワードを使用して、属性情報ＤＢ１４５から取得する。嗜好情報の抽出はまた、画像情報に含まれる文字情報等を使用した部分一致検索や類語検索を行うことによって、属性情報ＤＢ１４５から嗜好関連情報を抽出してもよい。嗜好関連情報は、例えば画像情報に店舗の看板から抽出した文字情報に「中華料理」が含まれる場合、他の中華料理店、「四川」や「広東」等のキーワードで抽出した飲食店の情報が含まれ得る。

【0028】

嗜好情報の抽出は、情報利用者の視野を撮像した視野画像データから特定の特徴（容姿、行動、物体）が現れる頻度、視野内に占める範囲、および／または情報利用者の眼を撮像した画像情報から得られる視線の偏り等に基づいて抽出されてもよい。視線の偏りは、例えば情報利用者の焦点、同じ対象物を注視する時間、視点の流れ等を分析することにより取得し得る。プラットフォーム１４０は、情報利用者の嗜好情報、嗜好関連情報を必要に応じて加工し、外部システム１３０に送信してもよい。

【0029】

プラットフォーム１４０は、表示情報作成部１４３によって、ＡＲデバイス１００に表示するためのＡＲ表示情報を作成することができる。ＡＲ表示情報は、例えば情報利用者デバイス１１０から受信したリクエストに含まれるキーワードを使用して、属性情報ＤＢ１４５、情報公開対象者ＤＢ１４６、位置情報ＤＢ１４７等の検索結果から作成され得る。検索結果は、例えばリクエストに合致する情報提供者のリスト、詳細情報、情報提供者の位置情報等とすることができる。ＡＲ表示情報は、例えば特定の情報提供者の位置、方角、距離をタグ、記号、メッセージ等により表示する情報等が含まれ得る。ＡＲ表示情報は、例えば任意の表示対象物の一部または全部についてタグ付け、色付け、枠、太字、スポットライト等の任意の形式で強調表示が行われてもよい。

【0030】

ＡＲ表示情報は、属性情報ＤＢ１４５から取得した嗜好情報、嗜好関連情報から作成されてもよい。ＡＲ表示情報は、例えば嗜好情報に「中華料理Ａ」の店舗が含まれている場合、「中華料理Ａ」、および嗜好関連情報として抽出した「中華料理Ｂ」や「四川料理Ｃ」等の店舗情報を含めてもよい。ＡＲ表示情報は、情報利用者の嗜好情報と、外部システム１３０から取得した広告情報またはスクレイピングにより取得した広告情報等とをマッチングさせて作成されてもよい。ＡＲ表示情報は、例えば嗜好情報に「猫」が含まれている場合、ペットショップが運営する外部システム１３０から取得したペット用の新商品の広告情報等を含めてもよい。ＡＲ表示情報は、嗜好情報または嗜好関連情報に合致する表示対象物について、任意の形式で強調表示が行われてもよい。

【0031】

ＡＲ表示情報は、閲覧履歴を使用して優先度付けされてもよい。優先度付けは、嗜好情報、嗜好関連情報等と合致する閲覧履歴が閲覧履歴ＤＢ１４８に存在する場合、ＡＲ表示情報において強調表示、上位表示、最前面表示等がなされるようにしてもよい。優先度付けは、例えば嗜好情報に「中華料理」、「洋食」が含まれ、かつ情報利用者の閲覧履歴（例えば中華料理店のＷｅｂサイトの閲覧履歴）が閲覧履歴ＤＢ１４８に存在する場合、「中華料理」の優先度を高くすることができる。

【0032】

ＡＲ表示情報は、情報利用者デバイス１１０からリクエストを受信しているかどうかに応じて、情報量を調整してもよい。情報量は、例えば目的地までの道案内を行うＡＲ表示情報がＡＲデバイス１００に表示されている間は、他のＡＲ表示情報を非表示とするか、または優先度の高い情報量のみ表示する等のように調整してもよい。

【0033】

プラットフォーム１４０は、情報利用者デバイス１１０からＡＲ表示情報の評価を受信してもよい。評価は、ＡＲ表示情報を閲覧した情報利用者により入力された評価であり、例えば情報利用者の嗜好に合っているか否か、情報量または表示形式が適切か、等の情報を含み得る。ＡＲ表示情報は、評価の高いＡＲ表示情報の優先度を高くするように優先度付けされてもよく、評価の内容に応じて作成または変更されてもよい。プラットフォーム１４０はまた、情報利用者デバイス１１０からＡＲ表示情報の登録依頼を受信して、ＡＲ表示情報を登録してもよい。登録依頼は、例えば評価の高いＡＲ表示情報と、情報利用者の属性（性別、年齢など）や嗜好情報とに関連付けられてもよい。プラットフォーム１４０は、ＡＲ表示情報を作成するとき、登録されたＡＲ表示情報を利用してもよい。プラットフォーム１４０は、属性（性別、年齢等）、嗜好情報が類似する他の情報利用者に対してＡＲ表示情報を作成するとき、登録されたＡＲ表示情報を利用してもよい。ＡＲ表示情報は、他の情報利用者の属性や嗜好情報に基づいて、登録されたＡＲ表示情報の一部を変更して作成されてもよい。登録されたＡＲ表示情報を利用することにより、情報利用者または他の情報利用者は、自分の嗜好情報に合ったＡＲ表示情報を閲覧するまでの時間を短縮できる。

【0034】

プラットフォーム１４０は、視覚特性補正部１４４によって、情報利用者の視力に応じたＡＲの拡大表示、エッジの強調処理、色覚に応じたＡＲおよび／または視野の一部または全部の色変換を行うようにＡＲ表示情報を補正してもよい。拡大表示およびエッジの強調表示は、例えば情報利用者の視力が老視等により低下している場合、文字の拡大、障害物に対するエッジの強調を行ってＡＲを表示してもよい。色変換は、例えば情報利用者の色覚が低下している場合、色覚に応じたルックアップテーブルを使用して、ＲＧＢ値で表現される画像の色情報を入力値として、所定の配列置換により色情報を変換してもよい。

【0035】

ＡＲ表示情報の補正は、時間または外的な明度に応じてＡＲおよび／または視野の一部または全部の明度を変化させてもよい。明度の変化は、例えば夏、午後から夕方等のように画像の明度が高い場合、情報利用者の視野の一部または全部の明度を下げるようにＡＲ表示情報を補正してもよい。ＡＲ表示情報の補正は、情報利用者デバイス１１０に送信する前のＡＲ表示情報を直接補正してもよい。ＡＲ表示情報の補正はまた、情報利用者からの音声入力等をトリガとしてＡＲ表示情報と補正されたＡＲ表示情報とを切り替えられるようにしてもよい。ＡＲ表示情報の補正は、ＡＲデバイス１００または情報利用者デバイス１１０によって実行されてもよい。

【0036】

プラットフォーム１４０は、任意的に、情報利用者の瞳孔反応や眼球運動等の画像、音声の揺らぎ等の情報に基づいて情報利用者の感情を分析できる。感情の分析は、例えば瞳孔反応や眼球運動の画像から特徴量を抽出し、快不快、緊張、恐怖等の特徴量の統計モデルとの関係から感情を推定すること等、任意の分析手法により実行され得る。プラットフォーム１４０は、分析された感情にさらに基づいて嗜好情報を抽出してもよい。分析された感情は、閲覧履歴ＤＢ１４８に記憶された閲覧履歴に対する優先度付けに使用されてもよい。閲覧履歴に対する優先度付けは、例えば分析された感情が不快、緊張等のカテゴリに属するものだった場合、ＡＲ表示情報を作成するときの表示順等の優先度を低くしてもよい。分析された感情は、ＡＲ表示情報として情報利用者デバイス１１０に送信されてもよい。

【0037】

ネットワーク１５０は、情報利用者デバイス１１０とプラットフォーム１４０との間、情報提供者デバイス１２０とプラットフォーム１４０との間、および外部システム１３０とプラットフォーム１４０との間で相互通信可能な任意のネットワークとすることができ、特に限定されることはない。

【0038】

図２は、本発明の一実施形態に係るＡＲデバイス１００の構成を例示する図である。図２に例示するように、制御部２０１、記憶部２０２、通信部２０３、カメラ２０４、操作部２０５、および表示部２０６がバス２０７等によって接続される。

【0039】

制御部２０１は、ＣＰＵ等により構成され、記憶部２０２に記憶されたプログラムを読み出して実行することにより、ＡＲデバイス１００に関する種々の情報処理または制御処理等を行うことができる。記憶部２０２は、例えばＲＡＭ、ＲＯＭ等により構成され、制御部２０１が処理を実行するために必要なプログラムまたはデータ等を記憶できる。記憶部２０２はまた、制御部２０１が演算処理を実行するために必要なデータ等を一時的に記憶できる。通信部２０３は、例えばアンテナおよび通信に関する処理を行うための処理回路等を含み、任意の無線通信技術により情報利用者デバイス１１０と情報の送受信を行うことができる。

【0040】

カメラ２０４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等により構成されたアウトカメラを備える。アウトカメラは、ＡＲデバイス１００を装着している情報利用者の視野の全部または一部の範囲を撮像できる。アウトカメラは、例えば眼鏡レンズの周辺に相当するＡＲデバイス１００の前部周辺に設けることができる。カメラ２０４は、任意的に、例えばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ等により構成されたインカメラを備えてもよい。インカメラは、ＡＲデバイス１００を装着する情報利用者の虹彩等を撮像できる。インカメラは、例えば眼鏡レンズの片方に相当するＡＲデバイス１００の上部等に設けることができる。アウトカメラおよびインカメラによって撮像された画像データは、記憶部２０２に記憶できる。

【0041】

操作部２０５は、例えばタッチパッドまたは押下式のボタン、マイク等により構成され得る。操作部２０５は、例えば眼鏡のフレーム部分に相当するＡＲデバイス１００の側部に設けられ、情報利用者による操作、音声入力を受け付ける。表示部２０６は、例えば光源、ハーフミラー、眼鏡レンズ形状の半透過部材等を含んで構成され得る。光源から照射された光がハーフミラーを介して半透過部材に投影されることにより、表示部２０６は画像を表示する。

【0042】

図３は、本発明の一実施形態に係る情報利用者デバイス１１０、情報提供者デバイス１２０、プラットフォーム１４０の汎用的な構成を例示する図である。図３に例示するように、制御部３０１、主記憶部３０２、補助記憶部３０３、通信部３０４、操作部３０５、および表示部３０６がバス３０７等によって接続される。情報提供者デバイス１２０はさらに、ＧＰＳ機能またはＶＰＳ機能を備える。情報利用者デバイス１１０もまた、ＧＰＳ機能またはＶＰＳ機能を備えてもよい。

【0043】

制御部３０１はＣＰＵであり、業務システムの各構成要素の制御やデータの演算を行うことができる。主記憶部３０２はメインメモリであり、入力されたデータ、コンピュータ実行可能な命令および命令による演算処理後のデータ等を記憶できる。補助記憶部３０３はハードディスク等の記憶装置であり、データやプログラムを長期的に保存する際に使用される。制御部３０１は、補助記憶部３０３に格納されているプログラムを主記憶部３０２に読み出して実行できる。

【0044】

通信部３０４は、他のシステムまたは装置との間でデータを送受信する際のインタフェースである。操作部３０５は、キーボード、マウス、タッチパネル等により構成され、アプリケーションの各種操作や入力データを受け付けることができる。表示部３０６は、ディスプレイ等により構成され、アプリケーションの各種画面等を提供できる。

【0045】

図４は、本発明の一実施形態に係る能動的なＡＲ表示処理フローを例示する図である。図４は、例えば懇親会、ネットワーキングイベント等において、情報利用者が情報提供者を探す場合について説明する。プラットフォーム１４０は、情報提供者から受信した提供情報を属性情報ＤＢ１４５、情報公開対象者情報を情報公開対象者ＤＢ１４６、および位置情報をそれぞれデータベースに記憶しているものとする。また、位置情報はリアルタイムで取得して位置情報ＤＢ１４７を更新できるものとする。提供情報は、例えば情報提供者がＩＴ業界において特定の技能を有するという情報を含み得る。位置情報は、例えば懇親会、ネットワーキングイベント等において、ＶＰＳにより取得された情報提供者の会場内の位置情報とすることができる。

【0046】

Ｓ４０１：情報利用者デバイス１１０は、任意の無線技術によって、情報利用者が装着しているＡＲデバイス１００との相互通信を確立する。

【0047】

Ｓ４０２：情報利用者デバイス１１０は、ＡＲデバイス１００を装着している情報利用者を識別する。情報利用者の識別は、パスワード認証、虹彩認証、声紋認証等を含む生体認証等により行うことができ、所定の時間間隔で行われてもよい。

【0048】

Ｓ４０３：ＡＲデバイス１００は、音声、ジェスチャー等を介して、情報利用者からリクエストの入力を受け付ける。入力されたリクエストは、情報利用者デバイス１１０に送信される。ここでは、リクエストに「会場内で特定の話題を持つ人（例えば、ＩＴ業界の人）を探す」という内容が含まれているものとする。

【0049】

Ｓ４０４：情報利用者デバイス１１０は、リクエストをプラットフォーム１４０に送信する。リクエストは任意の加工が行われてもよく、時間情報、ＡＲデバイス１００によって撮像された画像等を併せて送信してもよい。

【0050】

Ｓ４０５：プラットフォーム１４０は、情報利用者デバイス１１０から受信したリクエストに基づいて、ＡＲ表示情報を作成する。ＡＲ表示情報は、リクエストに含まれるキーワードを使用して、属性情報ＤＢ１４５、情報公開対象者ＤＢ１４６、位置情報ＤＢ１４７等の検索結果から作成され得る。検索結果は、例えば会場内のＩＴ業界の人のリスト、人数や割合等の情報が得られる。プラットフォーム１４０は、情報公開対象者情報として情報利用者に閲覧制限がある場合、制限のある提供情報を検索条件または検索結果から除外してもよい。

【0051】

Ｓ４０６：プラットフォーム１４０は、ＡＲ表示情報を情報利用者デバイス１１０に送信する。ＡＲ表示情報は、例えば会場内のＩＴ業界の人のリスト、人数等をメッセージ形式で表示する情報等が含まれ得る。

【0052】

Ｓ４０７：情報利用者デバイス１１０は、プラットフォーム１４０から受信したＡＲ表示情報に基づいて、ＡＲデバイス１００を制御する。ＡＲデバイス１００は、情報利用者の視野内でＡＲを表示する。

【0053】

Ｓ４０８：ＡＲデバイス１００は、音声、ジェスチャー等を介して、情報利用者からリクエストの入力を受け付ける。入力されたリクエストは、情報利用者デバイス１１０に送信される。リクエストは、例えばＡＲデバイス１００に表示されたＩＴ業界の人のリストの中から、特定の人の位置を知るという内容が含まれているものとする。

【0054】

Ｓ４０９：情報利用者デバイス１１０は、リクエストをプラットフォーム１４０に送信する。リクエストは任意の加工が行われてもよく、時間情報、ＡＲデバイス１００によって撮像された画像等を併せて送信してもよい。

【0055】

Ｓ４１０：プラットフォーム１４０は、情報利用者デバイス１１０から受信したリクエストに基づいて、ＡＲ表示情報を作成する。ＡＲ表示情報は、リクエストに含まれる特定の人の氏名・名称等を使用して、属性情報ＤＢ１４５、情報公開対象者ＤＢ１４６、位置情報ＤＢ１４７等の検索結果から作成され得る。プラットフォーム１４０は、情報提供者デバイス１２０に位置情報の取得要求を送信して、情報提供者の最新の位置情報を取得してもよい。

【0056】

Ｓ４１１：プラットフォーム１４０は、ＡＲ表示情報を情報利用者デバイス１１０に送信する。ＡＲ表示情報は、例えば特定の情報提供者の位置を強調表示する情報、位置、方角、距離をタグ、記号、メッセージ等により表示する情報等が含まれ得る。位置の強調表示は、例えば情報提供者のタグ付け、色付け、枠、スポットライト等の任意の形式で行われてもよい。

【0057】

Ｓ４１２：情報利用者デバイス１１０は、プラットフォーム１４０から受信したＡＲ表示情報に基づいて、ＡＲデバイス１００を制御する。ＡＲデバイス１００は、情報利用者の視野内でＡＲを表示する。

【0058】

このようにすることで、情報利用者が知りたい情報（特定の人を探すこと等）をリアルタイムで表示できる。情報利用者は、距離や遮蔽物等によって目視では確認困難な場合であっても、情報提供者の位置を知ることができる。上記の実施形態において、リクエストの入力（Ｓ４０３、Ｓ４０８）は２回行われているが、少なくとも１回行わればよい。ＡＲデバイス１００はまた、情報利用者の視野内に情報提供者が現れた場合、視野画像データをプラットフォーム１４０に送信してもよい。プラットフォーム１４０は、視野画像データに対して画像認識を実行して、情報提供者の顔認識結果を情報利用者にフィードバックしてもよい。フィードバックによって、情報利用者は、情報提供者を位置情報と顔認識により確認することができる。

【0059】

別の実施形態において、情報利用者は、例えば初対面の人または迷子等の情報提供者を探すことができる。情報提供者デバイス１２０は、情報利用者の公開鍵および位置情報をプラットフォーム１４０に送信する。情報利用者デバイス１１０は、情報利用者の秘密鍵をプラットフォーム１４０に送信する。公開鍵と秘密鍵は、情報利用者のみに情報提供者の位置情報を提供するために使用されるものであり、情報利用者が識別できる任意の情報で代替してもよい。プラットフォーム１４０は、情報利用者の視野の少なくとも一部において情報提供者の位置を強調表示する内容を含むＡＲ表示情報を情報利用者デバイス１１０に送信する。情報利用者デバイス１１０は、プラットフォーム１４０から受信したＡＲ表示情報に基づいて、情報提供者の位置を強調表示するようにＡＲデバイス１００を制御する。

【0060】

別の実施形態において、情報利用者は、外国語案内やボランティアを行う情報提供者を探すことができる。プラットフォーム１４０は、例えば語学（英語、中国語、韓国語等）の会話スキルを有しているという提供情報を情報提供者デバイス１２０から受信し、属性情報ＤＢ１４５に記憶する。ＡＲデバイス１００は、語学の会話スキルを有している特定の人を探すというリクエストの入力を受け付け、情報利用者デバイス１１０を介してプラットフォーム１４０に送信する。プラットフォーム１４０は、リクエストに基づいて属性情報ＤＢ１４５および位置情報ＤＢ１４７を検索し、語学の会話スキルを有している特定の人の位置を強調表示する内容を含むＡＲ表示情報を情報利用者デバイス１１０に送信する。情報利用者デバイス１１０は、プラットフォーム１４０から受信したＡＲ表示情報に基づいて、情報提供者の位置を強調表示するようにＡＲデバイス１００を制御する。

【0061】

別の実施形態において、情報利用者は、特定の建物、店舗を探すことができる。リクエストは、例えば情報利用者が繁華街にいる場合において、居酒屋の空席状況、提供する酒類（銘柄）を検索する等の内容を含んでもよい。プラットフォーム１４０は、ＡＰＩを介して、外部企業システムからリアルタイムで居酒屋の空席状況等を取得する。空席状況等は、属性情報ＤＢ１４５の検索および／またはスクレイピングにより取得されてもよい。プラットフォーム１４０は、検索結果を含めてＡＲ表示情報を作成し、情報利用者デバイス１１０に送信する。プラットフォーム１４０は、さらに居酒屋等の予約を行うリクエストを受信してもよい。プラットフォーム１４０は、リクエストに基づいて、外部企業システム（予約サイト、居酒屋チェーンのＷｅｂサイト等）に対して、ＡＰＩを介する予約を行ってもよい。プラットフォーム１４０は、予約が完了したメッセージ、店舗までの道案内等を含めてＡＲ表示情報を作成してもよい。

【0062】

図５は、本発明の一実施形態に係る受動的なＡＲ表示処理フローを例示する図である。図５は、例えば情報利用者が街中を歩いている場合であって、目的地までの間に特定の目的または用事がない場合について説明する。

【0063】

Ｓ５０１：情報利用者デバイス１１０は、任意の無線技術によって、情報利用者が装着しているＡＲデバイス１００との相互通信を確立する。

【0064】

Ｓ５０２：情報利用者デバイス１１０は、ＡＲデバイス１００を装着している情報利用者を識別する。情報利用者の識別は、パスワード認証、虹彩認証、声紋認証等を含む生体認証等により行うことができ、所定の時間間隔で行われてもよい。

【0065】

Ｓ５０３：ＡＲデバイス１００は、情報利用者の視野の一部または全部を撮像する。ＡＲデバイス１００は、例えば所定の時間間隔で情報利用者の視野を撮像することによって、情報利用者が無意識に見ている人、物体等の視野画像データを取得できる。撮像された視野画像データは、情報利用者デバイス１１０に送信される。

【0066】

Ｓ５０４：情報利用者デバイス１１０は、情報利用者の視野画像データをプラットフォーム１４０に送信する。画像は任意の加工が行われてもよく、画像処理フィルタを利用して抽出した特徴量のみ送信されてもよく、時間情報、情報利用者の眼等を撮像した画像等を併せて送信してもよい。

【0067】

Ｓ５０５：プラットフォーム１４０は、情報利用者デバイス１１０から受信した視野画像データに対して画像認識を実行して、画像情報を認識する。

【0068】

Ｓ５０６：プラットフォーム１４０は、情報利用者の嗜好情報を抽出する。嗜好情報の抽出は、画像情報に含まれる文字情報等のキーワードを使用して、属性情報ＤＢ１４５から取得する。嗜好情報の抽出はまた、画像情報に含まれる文字情報等を使用した部分一致検索や類語検索を行うことによって、属性情報ＤＢ１４５から嗜好関連情報を抽出してもよい。嗜好関連情報は、例えば画像情報に店舗の看板から抽出した文字情報に「中華料理」が含まれる場合、他の中華料理店、「四川」や「広東」等のキーワードで抽出した飲食店の情報が含まれ得る。

【0069】

Ｓ５０７：プラットフォーム１４０は、情報利用者の嗜好情報に基づいて、ＡＲ表示情報を作成する。情報利用者の位置情報が取得できる場合、プラットフォーム１４０は近隣の店舗情報を優先して表示するようにＡＲ表示情報を作成してもよい。

【0070】

Ｓ５０８：プラットフォーム１４０は、ＡＲ表示情報を情報利用者デバイス１１０に送信する。

【0071】

Ｓ５０９：情報利用者デバイス１１０は、プラットフォーム１４０から受信したＡＲ表示情報に基づいて、ＡＲデバイス１００を制御する。ＡＲデバイス１００は、情報利用者の視野内でＡＲを表示する。

【0072】

このようにすることで、ＡＲを目視する情報利用者が見たい／知りたいと推定される情報をリアルタイムで表示できる。プラットフォーム１４０はまた、任意的に情報利用者の感情の分析を行ってもよい。プラットフォーム１４０は、分析された感情にさらに基づいて嗜好情報を抽出してもよい。分析された感情は、閲覧履歴ＤＢ１４８に対する優先度付けの情報として使用されてもよく、ＡＲ表示情報として情報利用者デバイス１１０に送信されてもよい。このようにすることで、情報利用者が無意識の内に嗜好情報の抽出を補完し、より潜在的なニーズに沿ったＡＲ表示情報を情報利用者に提供できる。

【0073】

別の実施形態において、嗜好情報の抽出は、認識された画像情報から特定の特徴（容姿、行動、物体）が現れる頻度、視野内に占める範囲、および／または情報利用者の眼を撮像した画像から得られる視線の偏り等に基づいて抽出されてもよい。プラットフォーム１４０は、例えば嗜好情報に「猫」が含まれている場合、「猫」をキーワードに属性情報ＤＢ１４５を検索して、ペットショップの店舗情報、猫に関するグッズ販売の店舗情報、動物病院の情報等を含めて、ＡＲ表示情報を作成してもよい。

【0074】

別の実施形態において、情報利用者は、ＡＲデバイス１００および情報利用者デバイス１１０を使用して、購入したい商品情報（例えば、特定の輸入食品）が含まれるリクエストを予めプラットフォーム１４０に送信してもよい。プラットフォーム１４０は、ＡＲデバイス１００が撮像した情報利用者の視野画像データに対して画像認識を実行して、画像情報を認識する。プラットフォーム１４０は、リクエストに含まれる商品情報と画像情報とをマッチングする。プラットフォーム１４０は、画像情報に特定の輸入食品を取り扱う店舗の外観が含まれる場合、取り扱いがある店舗を強調表示する内容を含むＡＲ表示情報を作成する。プラットフォーム１４０はまた、特定の輸入食品を取り扱う他の店舗情報、価格情報、在庫情報等をＡＲ表示情報に含めてもよい。このようにすることで、情報利用者は、購入したい商品情報を取り扱う店舗を事前に調べる必要がなく、情報利用者の行動範囲において店舗が存在すればＡＲ表示情報により通知を受けることができる。

【0075】

別の実施形態において、プラットフォーム１４０は、情報利用者とは異なる第三者（例えば、知人、親族等）が使用するデバイスから、ＡＲ表示情報に任意の情報を含めるための追加リクエストを受信してもよい。追加リクエストは、例えば情報利用者が特定の地域、施設に移動したとき、第三者が勧める飲食店の情報、商品等をＡＲ表示情報に含む内容とすることができる。このようにすることで、情報利用者は、特定の地域、施設を初めて訪れるような場合であっても、ＡＲ表示情報に含まれる第三者からのガイドに従って行動できる。追加リクエストは、第三者から情報利用者に対して、購入を依頼する商品（例えば、日用品）の情報としてもよい。プラットフォーム１４０は、情報利用者が日用品を販売するスーパーマーケット等に近づいたとき、ＡＲ表示情報に日用品を含めて作成することによって、情報利用者の買い忘れ等を防止することができる。

【0076】

別の実施形態において、ＡＲ表示情報は、装着している情報利用者の視覚特性に応じて、階段や看板等の障害物に対するエッジの強調表示、ＰＣのマウスカーソルの強調表示または拡大表示、色変換等の補正が行われてもよい。このようにすることで、ＡＲ表示情報は、より情報利用者に沿った内容をすることができる。

【0077】

説明のため各処理を分けて記載したが、各処理を統合、連携させ、それぞれが有する処理の一部または全部を他方が行うように実装されてもよい。

【0078】

以上、例示的な実施形態を参照しながら本発明の原理を説明したが、本発明の要旨を逸脱することなく、構成および細部において変更する様々な実施形態を実現可能である。すなわち、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を採用することが可能である。

【符号の説明】

【0079】

１００ ＡＲデバイス
１１０ 情報利用者デバイス
１２０ 情報提供者デバイス
１３０ 外部システム
１４０ プラットフォーム１４０
１４１ 画像認識部
１４２ 嗜好情報抽出部
１４３ 表示情報作成部
１４４ 視覚特性補正部
１４５ 属性情報ＤＢ
１４６ 情報公開対象者ＤＢ
１４７ 位置情報ＤＢ
１４８ 閲覧履歴ＤＢ
１４９ 視覚特性ＤＢ
１５０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】